BRPI0806829A2 - Método e aparelho para ocultamento de erros na transmissão de vídeo em vídeos codificados em múltiplas vistas que utilizam um alto nível de sintaxe - Google Patents

Description

“MÉTODO E APARELHO PARA OCULTAMENTO DE ERROS NA TRANSMISSÃO DE VÍDEO EM VÍDEOS CODIFICADOS EM MÚLTIPLAS VISTAS QUE UTILIZAM UM ALTO NÍVEL DE SINTAXE”

REFERÊNCIA REMISSIVA AOS PEDIDOS DE DEPÓSITO CORRELATOS

O presente pedido reivindica o benefício ao Pedido Provisório U.S. com Número de Série 60/883.454, depositado em 4 de janeiro de 2007, sendo que o mesmo encontra-se aqui incorporado em sua totalidade a título de referência.

CAMPO DA TÉCNICA

Os presentes princípios referem-se, em geral, à codificação e decodificação de vídeo e, mais particularmente, a um método e aparelho para ocultamento de erros na transmissão de vídeo que utilizam um alto nível de sintaxe.

FUNDAMENTOS

Quando se perde uma imagem em um fluxo de bits corrompido, podem-se utilizar vários métodos de ocultamento de erros baseados em imagens para ocultar a imagem perdida. Com a finalidade de realizar um ocultamento, a perda de uma imagem e o local da imagem precisam ser determinados.

Existem vários métodos para detectar a perda de uma imagem no caso de vista única. No padrão Avançado de Codificação de Vídeo (AVC) do Grupo de Especialistas de Imagens em Movimento-4 (MPEG-4) Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional (ISSO/IEC) / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações (ITU-T) (mais adiante neste documento o "padrão MPEG-4 AVC"), o conceito de frame_num serve o propósito de detectar a perda de imagens de referência. Adicionalmente, mensagens de Informação Suplementar de Enriquecimento (SEI), tais como a mensagem de SEI de ponto de recuperação, mensagem de SEI de subsequência, mensagem de SEI de ponto de recuperação, mensagem de SEI de repetição da marcação da imagem de referência, assim como o projeto de contagem de ordem de imagem (POC), e o armazenamento temporário de imagem de referência múltipla pode ser usado para o propósito de detecção de perda de imagens.

No entanto, esses métodos não se estendem ao caso de múltiplas vistas.

SUMÁRIO

Essas e outras desvantagens ou dificuldades da técnica anterior são atendidas pelos presentes princípios, que estão voltados a um método e aparelho para ocultamento de erros na transmissão de vídeo em vídeos codificados em múltiplas vistas que utilizam um alto nível de sintaxe.

De acordo com um aspecto dos presentes princípios, proporcionou-se um aparelho. O aparelho inclui um decodificador que serve para decodificar imagens para ao menos uma vista correspondente a um conteúdo de vídeo em múltiplas vistas a partir de um fluxo de bits. As imagens são representativas de ao menos uma parte de uma seqüência de vídeo. Pelo menos algumas das imagens correspondem a diferentes instantes de tempo na seqüência de vídeo. O decodificador determina se alguma imagem correspondente a uma imagem particular dos diferentes instantes de tempo é perdida utilizando-se um elemento de sintaxe existente. O elemento de sintaxe existente serve para indicar uma série de vistas codificadas no fluxo de bits, incluindo a ao menos uma vista.

De acordo com outro aspecto dos presentes princípios, proporcionou-se um método. O método inclui decodificar imagens para ao menos uma vista correspondente ao conteúdo de vídeo em múltiplas vistas a partir de um fluxo de bits. As imagens são representativas de ao menos uma parte de uma seqüência de vídeo. Pelo menos algumas das imagens correspondem a diferentes instantes de tempo na seqüência de vídeo. A etapa de decodificação inclui determinar se alguma das imagens que corresponde a uma imagem particular dos diferentes instantes de tempo é perdida utilizando-se um elemento de sintaxe existente. O elemento de sintaxe existente serve para indicar uma série de vistas codificadas no fluxo de bits, incluindo a ao menos uma vista.

Estes e outros aspectos, recursos e vantagens dos presentes princípios tornar-se- ão aparentes a partir da descrição detalhada a seguir das modalidades exemplificadoras, que devem ser lidas em relação aos desenhos em anexo.

BREVE DESCRIÇÃO DOS DESENHOS

Os presentes princípios podem ser mais bem compreendidos de acordo com as figuras exemplificadoras a seguir, onde:

A FIGURA 1 é um diagrama de blocos para um decodificador exemplificador de Codificação de Vídeo em Múltiplas Vistas (MVC) ao qual os presentes princípios podem ser aplicados, de acordo com uma modalidade dos presentes princípios;

A FIGURA 2 é um diagrama para uma primeira estrutura de codificação de tempo para um sistema de codificação de vídeo em múltiplas vistas com 8 vistas ao qual os presentes princípios podem ser aplicados, de acordo com uma modalidade dos presentes princípios;

A FIGURA 3 é um fluxograma para um método exemplificador destinado a decodificar dados de vídeo correspondentes a uma seqüência de vídeo que utiliza um ocultamento de erros para imagens perdidas, de acordo com uma modalidade dos presentes princípios; e

A FIGURA 4 é um fluxograma para outro método exemplificador destinado à decodificação de dados de vídeo correspondentes a uma seqüência de vídeo que utiliza um ocultamento de erros para imagens perdidas, de acordo com uma modalidade dos presentes princípios. DESCRICÁO DETALHADA Os presentes princípios se referem a um método e aparelho para ocultamento de erros de vídeo em vídeos codificados em múltiplas vistas que utilizam um alto nível de sintaxe.

A presente descrição ilustra os presentes princípios. Portanto, avaliar-se-á que os indivíduos versados na técnica serão capazes de desenvolver várias disposições que, embora não explicitamente descritas ou mostradas no presente documento, incorporam os presentes princípios e estão incluídas em seu espírito e escopo.

Todos os exemplos e linguagem condicional aqui citados são destinados a propósitos pedagógicos com a finalidade de auxiliar o leitor na compreensão dos presentes princípios e conceitos fornecidos pelo(s) inventor(es) para incrementar a técnica, e devem ser construídos sem nenhum caráter Iimitativo aos exemplos e condições especificamente citados.

Além disso, todas as declarações do presente documento que citam princípios, aspectos e modalidades dos presentes princípios, assim como os exemplos específicos das mesmas, são destinadas a abranger os equivalentes tanto estruturais como funcionais destas. Adicionalmente, pretende-se que esses equivalentes incluam tanto equivalentes atualmente conhecidos assim como equivalentes desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos que realizem a mesma função, independentemente da estrutura.

Portanto, por exemplo, os indivíduos versados na técnica avaliarão que os diagramas de bloco aqui apresentados representam visões conceituais co circuito ilustrativo que incorpora os presentes princípios. De maneira semelhante, avaliar-se-á que quaisquer fluxogramas, diagramas de transição de estado, pseudocódigos, e similares representam vários processos que podem ser substancialmente representados em mídias legíveis por computador e, logo, executados por um computador ou processador, seja o dito computador ou processador explicitamente mostrado ou não.

As funções dos vários elementos mostrados nas figuras podem ser proporcionadas através do uso de hardwares, assim como hardwares dedicados capazes de executar softwares em associação aos softwares apropriados. Quando proporcionadas por um processador, as funções podem ser fornecidas por um único processador dedicado, por um unido processador compartilhado, ou por uma pluralidade de processadores individuais, sendo que alguns desses podem ser compartilhados. Além disso, o uso explicito do termo "processador" ou "controlador" não deve ser construído de modo a se referir exclusivamente a hardwares capazes de executar softwares, e pode incluir implicitamente, sem limitações, hardwares de processador de sinal digital ("DSP"), memória somente para leitura ("ROM") que serve para armazenar softwares, memória de acesso aleatório ("RAM"), e armazenamento não-volátil. Podem-se incluir, também, outros hardwares convencionais e/ou personalizados. De maneira semelhante, quaisquer comutadores mostrados nas figuras são meramente conceituais. Sua função pode ser realizada através da operação de uma lógica de programa, através de lógica dedicada, através da interação entre controle de programa e lógica dedicada, ou até mesmo manualmente, sendo que a técnica particular é selecionável pelo implementador, conforme compreendido de maneira mais específica a partir do contexto.

Nas reivindicações do presente documento, pretende-se que qualquer elemento expresso como um meio para realização de uma função específica abranja qualquer forma de realizar a dita função, incluindo, por exemplo, a) uma combinação de elementos de circuito que realizam a dita função ou b) softwares em qualquer forma, incluindo, portanto, firmwares, micro-códigos ou similares, combinados com o circuito apropriado para execução o dito software com a finalidade de realizar a função. Os presentes princípios, conforme definidos pelas reivindicações, reside no fato de que as funcionalidades proporcionadas pelos vários meios citados são combinadas e juntadas da maneira em que as reivindicações exigirem. Portanto, observa-se que quaisquer meios que possam proporcionar essas funcionalidades são equivalentes aos meios mostrados no presente documento.

A referência no relatório descritivo a “uma modalidade” dos presentes princípios significa que um recurso particular, estrutura, característica, e similares descritos em conjunto com a modalidade estão incluídos em ao menos uma modalidade dos presentes princípios. Portanto, os aspectos da frase "em uma modalidade” que aparecem em vários lugares no decorrer do relatório descritivo não se referem necessariamente à mesma modalidade.

Conforme o uso em questão, a frase "alto nível de sintaxe" se refere à sintaxe presente no fluxo de bits que reside hierarquicamente acima da camada de macroblocos. Por exemplo, a frase “alto nível de sintaxe”, conforme o uso em questão, pode se referir, mas não se limita a, sintaxe no nível do cabeçalho dividido em fatias, no nível do conjunto de parâmetros de seqüência (SPS), no nível do conjunto de parâmetros de imagem (PPS), no nível do conjunto de parâmetros de vistas (VPS), no nível do cabeçalho de unidade da camada de abstração de rede (NAL)1 e em uma mensagem de informações suplementares de enriquecimento (SEI).

Em prol de ilustração e brevidade, as modalidades a seguir são descritas no presente documento em relação ao uso do conjunto de parâmetros de seqüência. No entanto, deve-se avaliar que os presentes princípios não se limitam apenas ao uso do conjunto de parâmetros de seqüência em relação à sinalização aperfeiçoada descrita no presente documento, e, portanto, tal sinalização aperfeiçoada pode ser implementada em relação a pelo menos os tipos descritos anteriormente de altos níveis de sintaxes que incluem, mas não se limitam a, sintaxes no nível do cabeçalho dividido em fatias, no nível do conjunto de parâmetros de seqüência (SPS), no nível do conjunto de parâmetros de imagem (PPS), no nível do conjunto de parâmetros de vistas (VPS), no nível do cabeçalho de unidade da camada de abstração de rede (NAL)1 e em uma mensagem de informações suplementares de enriquecimento (SEI), enquanto se mantém o espírito dos presentes princípios.

Deve-se avaliar que embora uma ou mais modalidades dos presentes princípios sejam descritas no presente documento em relação ao padrão MPEG-4 AVC1 os presentes princípios não se limitam apenas a este padrão, e, portanto, podem ser utilizados em relação a outros padrões de codificação de vídeo, recomendações, e extensões dos mesmos, que incluem extensões do padrão MPEG-4 AVC, enquanto se mantém o espírito dos presentes princípios.

Além disso, deve-se avaliar que o uso do termo "e/ou", por exemplo, no caso de "A e/ou B", se destina a abranger a seleção da primeira opção listada (A), a seleção da segunda opção listada (B)1 ou a seleção de ambas as opções (A e B). Como um exemplo adicional, no de "A, B e/ou C", pretende-se que essa fraseologia abranja a seleção da primeira opção listada (A), a seleção da segunda opção listada (B)1 a seleção da terceira opção listada (C), a seleção da primeira e da segunda opções listadas (A e B), a seleção da primeira e da terceira opções listadas (A e C), a seleção da segunda e da terceira opções listadas (B e C), ou a seleção de todas as três opções (AeBe C). Isto pode se estender, conforme prontamente aparente por um indivíduo versado na técnica nesta e em técnicas relacionadas, para quantos forem os termos listados.

Voltando-se à FIGURA 1, um decodificador de Codificação de Vídeo em Múltiplas Vistas (MVC) exemplificador é indicado, genericamente, pela referência numérica 100. TO decodificador 100 inclui um decodificador de entropia 105 tendo uma saída conectada, em comunicação de sinal, a uma entrada de um quantizador inverso 110. Uma saída do quantizador inverso é conectada, em comunicação de sinal, a uma entrada de um transformador inverso 115. Uma saída do transformador inverso 115 é conectado, em comunicação de sinal, a uma primeira entrada não-invertida de um combinador 120. Uma saída do combinador 120 é conectada, em comunicação de sinal, a uma entrada de um filtro redutor de blocagem 125 e uma entrada de um preditor intra 130. Uma saída do filtro redutor de blocagem 125 é conectada, em comunicação de sinal, a uma entrada de um armazenamento de imagem de referência 140 (para vista i). Uma saída do armazenamento de imagem de referência 140 é conectada, em comunicação de sinal, a uma primeira entrada de um compensador de movimento 135.

Uma saída de um armazenamento de imagem de referência 145 (para outras vistas) é conectada, em comunicação de sinal, a uma primeira entrada de um compensador de disparidade /iluminação 150.

Uma entrada do codificador de entropia 105 está disponível como uma entrada ao decodificador 100 com a finalidade de receber um fluxo de bits residual. Além disso, uma entrada de um módulo de modo 160 também está disponível como uma entrada ao 5 decodificador 100, com a finalidade de receber uma sintaxe de controle de modo a controlar qual entrada é selecionada pelo comutador 155. Além disso, uma segunda entrada do compensador de movimento 135 está disponível como uma entrada do decodificador 100, com a finalidade de receber vetores de movimento. Da mesma forma, uma segunda entrada do compensador de disparidade/iluminação 150 está disponível como uma entrada ao 10 decodificador 100, com a finalidade de receber vetores de disparidade e sintaxe de compensação de iluminação.

Conecta-se uma saída de um comutador 155, em comunicação de sinal, com uma segunda entrada não-inversora do combinador 120. Conecta-se uma primeira entrada do comutador 155, em comunicação de sinal, com uma saída do compensador de 15 disparidade/iluminação 150. Conecta-se uma segunda entrada do comutador 155, em comunicação de sinal, com uma saída do compensador de movimento 135. Conecta-se uma terceira entrada do comutador 155, em comunicação de sinal, com uma saída do preditor intra 130. Conecta-se uma saída do módulo de modo 160, em comunicação de sinal, com o comutador 155 de modo a controlar qual entrada é selecionada pelo comutador 155. Uma 20 saída do filtro redutor de blocagem 125 está disponível como uma saída do decodificador.

De acordo com os presentes princípios, proporcionam-se métodos e aparelhos para ocultamento de erros na transmissão de vídeo em vídeos codificador em múltiplas vistas que utilizam um alto nível de sintaxe. No entanto, os presentes princípios se voltam ao problema de detecção de perda de imagem no caso de vídeos codificados em múltiplas 25 vistas. Proporcionam-se, no presente documento, métodos e aparelhos para identificar/detectar quais imagens de uma vista estão faltando, perdidas ou suspensas durante a transmissão de uma seqüência de vídeo codificado em múltiplas vistas. Em um ambiente de transmissão propenso a erros, tal como a Internet, redes sem fio, e similares, um fluxo de bits de vídeo transmitido pode sofrer corrompimentos causados, por exemplo, 30 por defeitos no canal. Uma situação comum encontrada em alguns sistemas práticos é que determinadas imagens de vídeo compactadas são suspensas a partir de um fluxo de bits. Isto é especialmente verdadeiro para aplicações com baixa taxa de bits onde uma imagem é pequena o suficiente para ser codificada em uma unidade de transmissão, tal como um pacote de protocolo de transporta em tempo real (RTP). No fim da recepção, um 35 decodificador de vídeo robusto deve ser capaz de detectar essas perdas com a finalidade de ocultá-las.

Na codificação de vídeo em múltiplas vistas (MVC), existem várias vistas presentes na seqüência de vídeo codificado. No caso da extensão de MVC atual do Padrão MPEG-4 AVC1 cada imagem tem associada a ela mesma um identificador de vistas que serve para identificar a qual vista ela pertence. A TABELA 1 mostra o cabeçalho de unidade da Camada de Abstração de Rede (NAL) para a sintaxe de extensão de codificação de vídeo 5 escalável (SVC) e codificação de vídeo em múltiplas vistas (MVC). Adicionalmente, existem várias sintaxes de alto nível (além das sintaxes padrão MPEG- 4 AVC) que estão presentes para auxiliar na decodificação das imagens a partir de diferentes vistas. Essas sintaxes estão presentes na extensão do Conjunto de Parâmetros de Seqüência (SPS). A TABELA 2 mostra o conjunto de parâmetros de seqüência (SPS) na extensão de codificação de vídeo 10 em múltiplas vistas (MVC) do Padrão MPEG-4 AVC.

TABELA 1

nal_unit_header_svc_mvc_extension() { C Descritor svc_mvc_flag Todos u(1) if(!svc_mvc_flag) { priorityjd Todos u(6) discardable_flag Todos u(1) temporaljevel Todos u(3) dependencyjd Todos u(3) qualityjevel Todos u(2) layer_base_flag Todos u(1) use_base_prediction_flag Todos u(1) fragment_flag Todos u(1) last_fragment_flag Todos u(1) fragment_order Todos u(2) reserved_zero_two_bits Todos u(2( }else { temporaljevel Todos u(3) viewjevel Todos u(3) anchor_pic_flag Todos u(1) view_id Todos u(10) idr_flag Todos u(1) reserved_zero_five_bits Todos u(5) } naIUnitHeaderBytes +=3 } TABELA 2

seq_parameter_set_mvc_extension() { C Descritor num_views_minus_1 ue(v) for(i = 0,1 <= num_views_minus_1; i++) { num_anchor_refs_IO[i] ue(v) for(j = 0; j < num_anchor_refs_IO[i]; j++) anchor_ref_IO[i][j] ue(v) num_anchor_refs_l 1 [i] ue(v) for(j = 0, j < num_anchor_refs_l1[i]; j++) anchor_refJ1[i][j] ue(v) } for(i = 0; i <= num_views_minus_1; i++) { num_non_anchor_refs_IO[i] ue(v) for(j = 0; j < num_non_anchor_refs_IO[i]; j++ non_anchor_ref_IO[i][j] ue(v) num_non_anchor_refsJ1 [i] ue(v) for(j = 0; j < num_non_anchor_refs_M[i]; j++) non_anchor_ref_l1 [i][j] ue(v) } } Portanto, a proposta atual para codificação de vídeo em múltiplas vistas com base no Padrão MPEG-4 AVC (mais adiante neste documento proposta de MVC atual para MPEG-4 AVC) inclui uma sintaxe de alto nível no conjunto de parâmetros de seqüência 5 (SPS) com a finalidade de indicar o número de vistas codificadas na seqüência. Adicionalmente, a proposta de MVC atual para o MPEG-4 AVC inclui as informações de referencias entre as vistas para uma vista. A proposta de MVC atual para o MPEG-4 AVC distingue, ainda, as dependências da imagem ancorada ou não-ancorada enviando-se separadamente os identificadores de vistas de referência. Isto é mostrado na TABELA 2, 10 que inclui informações de quais vistas são usadas como referência para uma determinada vista. Reconhece-se e propõe-se que esta informação (o número de vistas codificadas) pode ser usada para detectar perda de imagem no caso de vídeo codificado em múltiplas vistas.

Na extensão atual de codificação de vídeo em múltiplas vistas (MVC) do Padrão MPEG-4 AVC, designa-se que as imagens pertencentes a um determinado instante de tempo são codificadas para todas as vistas. Voltando-se à FIGURA 2, uma primeira estrutura de codificação de tempo para um sistema de codificação de vídeo em múltiplas vistas com 8 vistas é indicada genericamente pela referência numérica 200. No exemplo da FIGURA 2, todas as imagens no mesmo instante de tempo a partir de diferentes vistas são contiguamente codificadas. Portanto, todas as imagens (S0-S7) no instante de tempo TO são codificadas primeiramente, seguidas pelas imagens (S0-S7) no instante de tempo T8, e assim por diante. Isto é denominado como uma primeira codificação de tempo. O ocultamento conveniente da imagem perdida é crítico em relação à qualidade objetiva de outras vistas.

Tendo conhecimento sobre a primeira codificação de tempo e também sobre o número de vistas codificadas na seqüência a partir do conjunto de parâmetros de seqüência (SPS), pode-se detectar a perda de uma imagem. Adicionalmente, na modalidade ilustrada, presume-se que todas as vistas tem a mesma taxa de quadros. No entanto, deve-se avaliar que os presentes princípios não são apenas limitados às aplicações que envolvem vídeos com a mesma taxa de quadros, e, portanto, também podem ser prontamente aplicadas em aplicações que envolvem vídeos com diferentes taxas de quadros, embora se mantenha o espírito dos presentes princípios. A informação sobre a taxa de quadros nos parâmetros de Informações de Usabílídade de Vídeo (VUI) presentes no conjunto de parâmetros de seqüência. Visto que os parâmetros são opcionais, os mesmos podem estar presentes ou não. No caso de estarem presentes, um conjunto de parâmetros de seqüência separado precisa ser sinalizado para a vista com uma taxa de quadros diferente. Visto que o decodificador conhece a vista que tem uma taxa de quadros diferente, o mesmo executa um método de detecção de erros ou simplesmente não leva em consideração o efeito do método de detecção de erros. Adicionalmente, o decodificador por optar por ocultar a imagem, porém, não utilizar a imagem por propósitos de exibição.

Uma modalidade deste algoritmo de detecção ocorre da seguinte maneira. A partir do conjunto de parâmetros de seqüência, sabe-se o número de vistas que são codificadas (num_views_minus_1). Sabe-se, também, que todas as imagens em um determinado momento são codificadas primeiramente (primeira codificação de tempo). Portanto, para cada instante de tempo, pode-se, primeiramente, armazenar temporariamente todas as imagens a partir de cada vista (por exemplo, o instante de tempo TO). Mantém-se uma contagem do número de imagens que chega para o instante de tempo (N) e identificador de vista (viewjd) das imagens. Uma vez que se conhecer o número de vistas codificadas a partir da sintaxe do conjunto de parâmetros de seqüência, comparamos estes valores de modo a determinar se houveram perdas. Se N for menor que o valor indicado no SPS, então, sabe-se que houve uma perda. Adicionalmente, uma vez que se mantiver a trajetória do viewjd que chegou, pode-se determinar quais viewjds estão faltando.

Da mesma forma, se for suposto que a vista compatível de Padrão MPEG-4 AVC é a primeira vista codificada, então, sabe-se que entre duas unidades NAL compatíveis de Padrão MPEG-4 AVC espera-se vistas num_views_minus_1. Esta informação também pode ser usada para detectar a perda de imagens. De maneira semelhante à modalidade anterior, pode-se determinar, então, a(s) view_id(s) que está(estão) faltando.

Em outra modalidade, precisa-se realizar apenas o armazenamento temporário uma vez no início do fluxo de bits ou após uma alteração da ordem de codificação. Uma vez que se determinar a ordem de codificação considerando-se a ordem de viewjd durante o primeiro período de armazenamento temporário, para o instante de tempo subsequente apenas precisa-se verificar se a imagem que chega tem a viewjd esperada. Se for determinado que a mesma não tenha a viewjd esperada, então, sabe-se que uma imagem pertencente à viewjd esperada foi perdida e, portanto, precisa ser ocultada antes de decodificar outras imagens.

Voltando-se à FIGURA 3, um método exemplificador para decodificar dados de vídeo correspondentes a uma seqüência de vídeo utilizando-se um ocultamento de erros para imagens perdidas é indicado, genericamente, pela referência numérica 300.

O método 300 inclui um bloco de partida 305 que passa o controle a um bloco de função 310. O bloco de função 310 analisa o conjunto de parâmetros de seqüência (SPS), o conjunto de parâmetros de imagem (PPS), o conjunto de parâmetros de vistas (VPS), o cabeçalho de unidade da camada de abstração de rede (NAL), e/ou quaisquer mensagens de informação suplementar de enriquecimento (SEI), e passa o controle a um bloco de função 315. O bloco de função 315 ajusta uma variável NumViews igual a num_view_minus1 + 1, ajusta uma variável PrevPOC igual a zero, ajusta uma variável RecvPic igual a zero, e passa o controle a um bloco de decisão 320. O bloco de decisão 320 determina se o fim da seqüência de vídeo foi alcançado ou não. Se o fim tiver sido alcançado, então, passa-se o controle a um bloco final 399. Caso contrário, passa-se o controle a um bloco de função 325.

O bloco de função 325 lê a contagem de ordem de imagens (POC) das próximas imagens, incrementa a variável RecvPic1 e passa o controle a um bloco de decisão 330. O bloco de decisão 330 determina se a variável CurrPOC é igual à variável PrevPOC ou não. Se for igual, passa-se o controle a um bloco de função 335. Caso contrário, passa-se o controle a um bloco de função 340.

O bloco de função 335 armazena temporariamente a imagem atual, e retoma o controle ao bloco de função 325.

O bloco de função 340 armazena temporariamente a imagem atual, ajusta a variável PrevPOC igual à variável CurrPOC, e passa o controle ao bloco de decisão 345. O bloco de decisão 345 determina se a variável RecvPic é igual à variável NumViews ou não. Se for igual, então, passa-se o controle a um bloco de decisão 355. Caso contrário, passa- se o controle a um bloco de função 350.

O bloco de decisão 355 determina se a variável ReevPic é igual a zero ou não. Se for igual a zero, então, passa-se o controle a um bloco de função 360. Caso contrário, passa-se o controle a um bloco de função 370.

O bloco de função 360 analisa a próxima imagem, e passa o controle a um bloco de função 365. O bloco de função 365 decodifica a imagem atual, e retorna o controle ao bloco de decisão 355.

O bloco de função 350 verifica e armazena as viewjds que estão faltando, e passa o controle ao bloco de decisão 355.

O bloco de função 370 oculta as imagens correspondentes às viewjds que estão faltando, e retorna o controle ao bloco de decisão 320.

Voltando-se à FIGURA 4, outro método exemplificador para decodificar dados de

vídeo correspondentes a uma seqüência de vídeo utilizando-se um ocultamento de erros para imagens perdidas é indicado, genericamente, pela referência numérica 400.

O método 400 inclui um bloco de partida 405 que passa o controle a um bloco de função 410. O bloco de função 410 analisa o conjunto de parâmetros de seqüência (SPS), o 15 conjunto de parâmetros de imagem (PPS), o conjunto de parâmetros de vistas (VPS), o cabeçalho de unidade da camada de abstração de rede (NAL), e/ou quaisquer mensagens de informação suplementar de enriquecimento (SEI), e passa o controle a um bloco de função 415. O bloco de função 415 ajusta uma variável NumViews igual a num_view_minus1 + 1, ajusta uma variável PrevPOC igual a zero, ajusta uma variável 20 RecvPic igual a zero, ajusta uma variável ViewCodingOrder igual a zero, e passa o controle a um bloco de decisão 420. O bloco de decisão 420 determina se o fim da seqüência de vídeo foi alcançado ou não. Se o fim tiver sido alcançado, então, passa-se o controle a um bloco final 499. Caso contrário, passa-se controle a um bloco de função 425.

O bloco de função 425 lê a contagem de ordem de imagem (POC) das próximas imagens, incrementa a variável RecvPic1 e passa o controle a um bloco de decisão 430. O bloco de decisão 430 determina se a variável CurrPOC é igual à variável PrevPOC ou não. Se for igual, passa-se o controle a um bloco de decisão 435. Caso contrário, passa-se o controle a um bloco de função 450.

O bloco de decisão 435 determina se a variável ViewCodingOrder é igual a um ou não. Se for igual, então, passa-se o controle a um bloco de decisão 440. Caso contrário, passa-se o controle a um bloco de função 485.

O bloco de decisão 440 determina se o ocultamento é necessário ou não. Se forme necessário, então, passa-se o controle a um bloco de função 445. Caso contrário, passa-se o controle a um bloco de função 490.

O bloco de função 445 oculta as imagens das viewjds que estão faltando, e

retorna o controle a um bloco de decisão 420.

O bloco de função 450 armazena temporariamente a imagem atual, ajusta a variável PrevPoc igual à variável CurrPOC1 e passa o controle ao bloco de decisão 455. O bloco de decisão 455 determina se a variável RecvPic é igual à variável NumViews ou não. Se for igual, então, passa-se o controle a um bloco de função 460. Caso contrário, passa-se o controle a um bloco de função 480.

O bloco de função 460 armazena a ordem de codificação de vista, ajusta a variável ViewCodingOrder igual a um, e passa controle a um bloco de decisão 465. O bloco de decisão 465 determina se a variável RecvPic é igual a zero ou não. Se for igual, então, passa-se o controle a um bloco de função 470. Caso contrário, passa-se o controle a um bloco de função 445.

O bloco de função 470 analisa a próxima imagem, e passa o controle a um bloco de função 475. O bloco de função 475 decodifica a imagem atual, e retorna o controle ao bloco de decisão 465.

O bloco de função 485 armazena temporariamente a imagem atual, e retorna o controle a um bloco de função 425.

O bloco de função 480 verifica e armazena as viewjds que estão faltando, e passa o controle ao bloco de decisão 465.

O bloco de função 490 decodifica a imagem atual, e retorna o controle ao bloco de decisão 420.

Proporcionar-se-á, agora, uma descrição de algumas das várias vantagens/recursos da presente invenção, algumas dessas foram mencionadas anteriormente. Por exemplo, uma vantagem/recurso consiste em um aparelho que inclui um decodificador que serve para decodificar imagens para ao menos uma vista correspondente ao conteúdo de vídeo em múltiplas vistas a partir de um fluxo de bits. As imagens são representativas de ao menos uma porção de uma seqüência de vídeo. Ao menos algumas das imagens correspondem a diferentes instantes de tempo na seqüência de vídeo. O decodificador determina se alguma das imagens correspondentes a um instante de tempo particular entre os diferentes instantes de tempo é perdida utilizando-se um elemento de sintaxe existente. O elemento de sintaxe existente serve para indicar uma série de vistas codificadas no fluxo de bits, incluído a ao menos uma vista.

Outra vantagem/recursos consiste em um aparelho dotado de um decodificador, conforme descrito anteriormente, sendo que o elemento de sintaxe existente consiste em um elemento de sintaxe de codificação de vídeo em múltiplas vistas.

Ainda outra vantagem/recurso consiste em um aparelho dotado de um decodificador, sendo que o elemento de sintaxe existente consiste em um elemento de sintaxe de vídeo em múltiplas vistas, conforme descrito anteriormente, sendo que o elemento de sintaxe de codificação de vídeo em múltiplas vistas corresponde a uma extensão do padrão Avançado de Codificação de Vídeo do Grupo de Especialistas de Imagens em Movimento-4 Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações.

Ainda outra vantagem/recurso consiste em um aparelho dotado de um decodificador, conforme descrito anteriormente, sendo que o elemento de sintaxe existente está presente em um alto nível.

Além disso, outra vantagem/recurso consiste em um aparelho dotado de um decodificador, conforme descrito anteriormente, sendo que o alto nível corresponde a pelo menos: um nível do cabeçalho dividido em fatias, um nível do conjunto de parâmetros de 10 seqüência, um nível do conjunto de parâmetros de imagem, um nível do conjunto de parâmetros de vistas, um nível do cabeçalho de unidade da camada de abstração de rede, e um nível correspondente a uma mensagem de informação suplementar de enriquecimento.

Além disso, outra vantagem/recurso consiste em um aparelho dotado de um decodificador, conforme descrito anteriormente, sendo que todas as imagens correspondentes a um instante de tempo particular entre os diferentes instantes de tempo são temporariamente armazenadas, e o decodificador mantém uma contagem para as imagens que chegam no instante de tempo particular entre os diferentes instantes de tempo.

Da mesma forma, outra vantagem/recurso consiste no aparelho dotado de um decodificador, sendo que todas as imagens correspondentes ao instante de tempo particular 20 entre os diferentes instantes de tempo são temporariamente armazenadas, e o decodificador mantém uma contagem para as imagens que chegam no instante de tempo particular entre os diferentes instantes de tempo, conforme descrito anteriormente, sendo que o decodificador compara um valor da contagem a um valor do elemento de sintaxe existente.

Adicionalmente, outra vantagem/recurso consiste em um aparelho dotado de um

decodificador que compara um valor da contagem a um valor do elemento de sintaxe existente, conforme descrito anteriormente, sendo que uma imagem particular é designada como perdida, quando o valor da contagem da imagem particular não for igual ao valor do elemento de sintaxe existente.

Além disso, outra vantagem/recurso consiste em um aparelho dotado de um

decodificador, sendo que uma imagem particular é designada como perdida, quando o valor da contagem da imagem particular não for igual ao valor do elemento de sintaxe existente, conforme descrito anteriormente, sendo que o decodificador determina um identificador de vista da imagem particular designada como perdida buscando-se por um identificador de 35 vista ausente entre um conjunto de identificadores de vista que chegaram correspondentes ao fluxo de bits.

Além disso, outra vantagem/recurso consiste em um aparelho dotado de um decodificador, conforme descrito anteriormente, sendo que para decodificador as imagens a partir do fluxo de bits, o decodificador armazena temporariamente as imagens apenas uma vez.

Da mesma forma, outra vantagem/recurso consiste em um aparelho dotado de um decodificador que armazena temporariamente as imagens apenas uma vez, de modo a decodificar as imagens a partir do fluxo de bits conforme descrito anteriormente, sendo que o decodificador armazena temporariamente as imagens apenas uma vez, no início do fluxo de bits.

Adicionalmente, outra vantagem/recurso consiste em um aparelho dotado de um decodificador que armazena temporariamente as imagens apenas uma vez, de modo a decodificar as imagens a partir do fluxo de bits, conforme descrito anteriormente, sendo que o decodificador armazena temporariamente as imagens apenas uma vez, subsequente a uma alteração da ordem de codificação.

Além disso, outra vantagem/recurso consiste em um aparelho dotado de um decodificador que armazena temporariamente as imagens apenas uma vez, de modo a decodificar as imagens a partir do fluxo de bits, conforme descrito anteriormente, sendo que o decodificador mantém uma ordem dos identificadores de vista para as imagens, subsequente ao armazenamento temporário.

Além disso, outra vantagem/recurso consiste em um aparelho dotado de um decodificador que mantém uma ordem de identificadores de vista para as imagens, subsequente ao armazenamento temporário, conforme descrito anteriormente, sendo que o decodificador utiliza a ordem que é mantida para os diferentes instantes de tempo subseqüentes, de modo a determinar se alguma das imagens correspondentes aos diferentes instantes de tempo subsequentes é perdida, sendo que os diferentes instantes de tempo subsequentes são subsequentes em relação aos diferentes instantes de tempo particulares.

Da mesma forma, outra vantagem/recurso consiste em um aparelho dotado de um decodificador, conforme descrito anteriormente, sendo que a pelo menos uma vista compreende ao menos duas vistas, e o decodificador utiliza uma série de vistas entre as duas vistas com a finalidade de determinar se alguma das imagens é perdida, quando uma primeira vista codificada entre a pelo menos uma vista, e as duas vistas, forem vistas compatíveis em relação ao padrão Avançado de Codificação de Vídeo do Grupo de Especialistas de Imagens em Movimento-4 Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações, sendo que a primeira vista codificada consiste em uma das duas vistas ou em outra vista.

Esses e outros recursos e vantagens dos presentes princípios podem ser prontamente averiguados por um indivíduo versado na técnica pertinente com base nos ensinamentos do presente documento. Deve-se compreender que os ensinamentos dos presentes princípios podem ser implementados sob várias formas de hardwares, softwares, firmwares, processadores para propósitos especiais, ou combinações dos mesmos.

Com a máxima preferência, os ensinamentos dos presentes princípios são

implementados como uma combinação de hardwares e softwares. Além disso, o software pode ser implementado como um programa aplicativo incorporado, de forma tangível, em uma unidade de armazenamento de programas. O programa aplicativo pode ser transferido

a, e executado por, uma máquina que compreenda qualquer arquitetura adequada. De 10 preferência, a máquina é implementada em uma plataforma computacional dotada de um hardware, tal como uma ou mais unidades de processamento central ("CPU"), uma memória de acesso aleatório ("RAM"), e interfaces de entrada/saída ("l/O"). A plataforma computacional pode incluir, também, um sistema operacional e um código de micro- instrução. Os vários processos e funções descritos no presente documento podem ser parte 15 do código de micro-instrução ou parte do programa aplicativo, ou qualquer combinação dos mesmos, que podem ser executados por uma CPU. Além disso, várias outras unidades periféricas podem ser conectadas à plataforma computacional, tal como uma unidade de armazenamento de dados e uma unidade de impressão.

Deve-se compreender que, pelo fato de os componentes e métodos do sistema 20 constituinte descritos nos desenhos em anexo serem preferencialmente implementados em softwares, as conexões reais entre os componentes do sistema ou os blocos de função do processo podem ser diferentes dependendo da maneira na qual os presentes princípios são programados. Dados os ensinamentos do presente documento, um indivíduo versado na técnica pertinente será capaz de contemplar essas e implementações ou configurações 25 similares dos presentes princípios.

Muito embora as modalidades ilustrativas tenham sido descritas no presente documento com referência aos desenhos em anexo, deve-se compreender que os presentes princípios não se limitam a essas modalidades precisas, e que várias alterações e modificações podem ser realizadas por um indivíduo versado na técnica pertinente sem que 30 se divirja do escopo e espírito dos presentes princípios. Pretende-se que todas as alterações e modificações estejam incluídas no escopo dos presentes princípios conforme apresentado nas reivindicações em anexo.

Claims (30)

1. Aparelho, CARACTERIZADO pelo fato de que compreende: um decodificador (100) que serve para decodificar imagens para ao menos uma vista correspondente a um conteúdo de vídeo em múltiplas vistas a partir de um fluxo de bits, as imagens representativas de ao menos uma porção de uma seqüência de vídeo, ao menos algumas das imagens correspondentes a diferentes instantes de tempo na seqüência de vídeo, sendo que o dito decodificador determina se alguma das imagens correspondentes a um instante de tempo particular dos diferentes instantes de tempo é perdida utilizando-se um elemento de sintaxe existente, sendo que o elemento de sintaxe existente serve para indicar uma série de vistas codificadas no fluxo de bits, incluindo a ao menos uma vista.

2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o elemento de sintaxe existente consiste em um elemento de sintaxe de codificação de vídeo em múltiplas vistas.

3. Aparelho, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o elemento de sintaxe de codificação de vídeo em múltiplas vistas corresponde a uma extensão do padrão Avançado de Codificação de Vídeo do Grupo de Especialistas de Imagens em Movimento-4 Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações.

4. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o elemento de sintaxe existente está presente em um alto nível.

5. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o alto nível corresponde a pelo menos um entre: um nível do cabeçalho dividido em fatias, um nível do conjunto de parâmetros de seqüência, um nível do conjunto de parâmetros de imagem, um nível do conjunto de parâmetros de vistas, um nível do cabeçalho de unidade da camada de abstração de rede, e um nível correspondente a uma mensagem de informação suplementar de enriquecimento.

6. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que qualquer uma das imagens correspondentes ao instante de tempo particular dos diferentes instantes de tempo são temporariamente armazenadas, e o dito decodificador (100) mantém uma contagem para as imagens que chegam no instante de tempo particular dos diferentes instantes de tempo.

7. Aparelho, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que o dito decodificador (100) compreende um valor da contagem a um valor do elemento de sintaxe existente.

8. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que uma imagem particular das imagens é designada como perdida, quando o valor da contagem para a imagem particular não for igual ao valor do elemento de sintaxe existente.

9. Aparelho, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que o dito decodificador (100) determina um identificador de vista da imagem particular das imagens designada como perdida buscando-se por um identificador de vista ausente entre um conjunto de identificadores de vista que chegaram correspondentes ao fluxo de bits.

10. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que para decodificar as imagens a partir do fluxo de bits, o dito decodificador (100) armazena temporariamente as imagens apenas uma vez.

11. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que o dito decodificador (100) armazena temporariamente as imagens apenas uma vez, no início do fluxo de bits.

12. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que o dito decodificador (100) armazena temporariamente as imagens apenas uma vez, subsequente a uma alteração da ordem de codificação.

13. Aparelho, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que o dito decodificador (100) mantém uma ordem de identificadores de vista para as imagens, subsequente ao armazenamento temporário.

14. Aparelho, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o dito decodificador (100) utiliza a ordem que é mantida para os instantes de tempo subsequentes dos diferentes instantes de tempo, com a finalidade de determinar se alguma das imagens correspondentes aos instantes de tempo subsequentes dos diferentes instantes de tempo é perdida, sendo que os instantes de tempo subsequentes dos diferentes instantes de tempo são subsequentes em relação a ao instante de tempo particular dos diferentes instantes de tempo.

15. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a pelo menos uma vista compreende ao menos duas vistas, e o dito decodificador (100) utiliza uma série de vistas entre as duas vistas com a finalidade de determinar se alguma das imagens é perdida, quando uma primeira vista codificada entre a pelo menos uma vista, e as duas vistas, for compatível às vistas em relação ao padrão Avançado de Codificação de Vídeo do Grupo de Especialistas de Imagens em Movimento-4 Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações, sendo que a primeira vista codificada consiste em uma entre as duas vistas ou em outra vista.

16. Método, CARACTERIZADO pelo fato de que compreende: decodificar imagens para ao menos uma vista correspondente a um conteúdo de vídeo em múltiplas vistas a partir de um fluxo de bits, as imagens representativas de ao menos uma porção de uma seqüência de vídeo, ao menos alguma das imagens correspondentes a diferentes instantes de tempo na seqüência de vídeo, sendo que a dita etapa de decodificação compreende determinar se alguma das imagens correspondentes a um instante de tempo particular dos diferentes instantes de tempo é perdida utilizando-se um elemento de sintaxe existente, sendo que o elemento de sintaxe existente serve para indicar uma série de vistas codificadas no fluxo de bits, incluindo a pelo menos uma vista (315, 345).

17. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que o elemento de sintaxe existente consiste em um elemento de sintaxe de codificação de vídeo e múltiplas vistas (315).

18. Método, de acordo com a reivindicação 17, CARACTERIZADO pelo fato de que o elemento de sintaxe de codificação de vídeo em múltiplas vistas corresponde a uma extensão do padrão Avançado de Codificação de Vídeo do Grupo de Especialistas de Imagens em Movimento-4 Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações (310).

19. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que o elemento de sintaxe existente está presente em um alto nível (310).

20. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que o alto nível corresponde a pelo menos um entre: um nível do cabeçalho dividido em fatias, um nível do conjunto de parâmetros de seqüência, um nível do conjunto de parâmetros de imagem, um nível do conjunto de parâmetros de vistas, um nível do cabeçalho de unidade da camada de abstração de rede, e um nível correspondente a uma mensagem de informação suplementar de enriquecimento (310).

21. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que qualquer uma das imagens correspondentes ao instante de tempo particular dos diferentes instantes de tempo são temporariamente armazenadas, e a dita etapa de decodificação compreende manter uma contagem para as imagens que chegam no instante de tempo particular dos diferentes instantes de tempo (325, 335).

22. Método, de acordo com a reivindicação 21, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende comprar um valor da contagem a um valor do elemento de sintaxe existente (315, 345).

23. Método, de acordo com a reivindicação 22, CARACTERIZADO pelo fato de que uma imagem particular das imagens é designada como perdida, quando o valor da contagem para as imagens particulares não for igual ao valor do elemento de sintaxe existente (345).

24. Método, de acordo com a reivindicação 23, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende determinar um identificador de vista da imagem particular das imagens designadas como perdidas buscando-se por um identificador de vista ausente entre um conjunto de identificadores de vista que chegaram correspondentes ao fluxo de bits (350).

25. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que para decodificar as imagens a partir do fluxo de bits, a dita etapa de decodificação compreende armazenar temporariamente as imagens apenas uma vez (450, 485, 460, 435).

26. Método, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador armazena temporariamente as imagens apenas uma vez, no início do fluxo de bits (450, 485, 460, 435).

27. Método, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que o dito decodificador armazena temporariamente as imagens apenas uma vez, subsequente a uma alteração da ordem de codificação (450, 485, 460, 435).

28. Método, de acordo com a reivindicação 25, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende manter uma ordem de identificadores de vista para as imagens, subsequente ao armazenamento temporário (460).

29. Método, de acordo com a reivindicação 28, CARACTERIZADO pelo fato de que a dita etapa de decodificação compreende utilizar a ordem que é mantida para as imagens dos diferentes instantes de tempo, com a finalidade de determinar se alguma das imagens correspondentes aos instantes de tempo subsequentes dos diferentes instantes de tempo é perdida, sendo que os instantes de tempo subsequentes dos diferentes instantes de tempo são subsequentes em relação a um instante de tempo particular dos diferentes instantes de tempo (445, 440).

30. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que ao menos uma vista compreende ao menos duas vistas, e a dita etapa de decodificação utiliza uma série de vistas entre as duas vistas com a finalidade de determinar se alguma das imagens é perdida, quando uma primeira imagem codificada entre ao menos uma vista, e as duas vistas, são vistas compatíveis em relação ao padrão Avançado de Codificação de Vídeo do Grupo de Especialistas de Imagens em Movimento-4 Parte 10 da Organização Internacional para Padronização/Comissão Eletrotécnica Internacional / recomendação H.264 do Setor de Telecomunicações da União Internacional de Telecomunicações, sendo que a primeira vista codificada consiste em uma das duas vistas ou em outra vista (415).