BRPI0614204A2

BRPI0614204A2 - indicação de dependência de codificação em codificação de vìdeo escalável

Info

Publication number: BRPI0614204A2
Application number: BRPI0614204-4A
Authority: BR
Inventors: Ye-Kui Wang; Yiliang Bao
Original assignee: Nokia Corp
Priority date: 2005-07-13
Filing date: 2006-07-05
Publication date: 2011-03-15
Also published as: EP1902585A4; JP2008544615A; TW200715868A; EP1902585A1; KR20080027338A; CN101213841A; US20070014346A1; MY141344A; EP1902585B1; CN104661025A; KR100950720B1; MX2008000569A; WO2007006855A1

Abstract

MéTODO PARA ATUALIZAR CONTEúDO DE INFORMAçãO DA UMA PáGINA DA WEB; MéTODO PARA FORNECER UM SERVIDOR DE REDE COM INFORMAçãO SOBRE ATUALIZAçãO DA PáGINA DA WEB PROVENIENTE DO TERMINAL; SERVIDOR DA REDE QUE MANTEM UMA PáGINA DA REDE; TERMINAL PARA MANTER UMA CONEXAO COM O SERVIDOR DA REDE QUE MANTéM A PáGINA DA REDE; PRODUTO DE PROGRAMA DE COMPUTADOR ARMAZENADO EM UM MEIO FISICO LEGìVEL PELO COMPUTADOR E EXECUTáVEL EM UM DISPOSITIVO DE PROCESSAMENTO DE DADOS PARA MANTER A PáGINA DA REDE; E PRODUTO DE PROGRAMA DE COMPUTADOR, ARMAZENADO EM UM MEIO FìSICO LEGìVEL PELO COMPUTADOR E EXECUTáVEL EM UM DISPOSITIVO DE PROCESSAMENTO DE DADOS, PARA FORNECER UM SERVIDOR DE REDE COM INFORMAçãO SOBRE ATUALIZAçõES FEITAS NA PáGINA DA REDE. Trata-se de um método para atualizar o conteúdo da informação de uma página da Rede, em que um servidor de Rede, que opera a página da Rede, recebe um pedido para um modelo de mensagem para a atualização da página da Rede proveniente de um terminal, O servidor transmite o modelo de mensagem, que inclui um módulo de comandos de edição, para o terminal, fazendo com que um modelo de mensagem editado, que inclui informação para atualização da página da Rede, seja recebido do terminal. Então, a página da Rede é atualizada de acordo com o conteúdo editado do modelo de mensagem.

Description

"INDICAÇÃO DE DEPENDÊNCIA DE CODIFICAÇÃO EMCODIFICAÇÃO DE VÍDEO ESCALÁVEL".

Campo da Invenção

A presente invenção refere-se à codificação de vídeo escalável, emais particularmente à indicação de dependências de codificação em codificaçãode vídeo escalável.

Antecedentes da invenção

Alguns sistemas de codificação de vídeo utilizam codificaçãoescalável na qual alguns elementos ou grupos de elementos de uma seqüência devídeo podem ser removidos sem afetar a reconstrução de outras partes daseqüência de vídeo. A codificação de vídeo escalável é um aspecto desejável paramuitas aplicações de multimídia e serviços usados nos sistemas utilizandodecodificadores com uma ampla faixa de poder de processamento. Fluxos de bitescaláveis podem ser usados, por exemplo, para adaptação da taxa de fluxos deunidifusão pré-codificados em um servidor de transferência contínua de dados epara transmissão de um único fluxo de bit para terminais tendo capacidadesdiferentes e/ou com condições de rede diferentes.

A capacidade escalável é tipicamente implementada peloagrupamento dos quadros de imagem em um número de camadas hierárquicas.Os quadros de imagem codificados nos quadros da imagem da camada basesubstancialmente compreendem somente os que são compulsórios para adecodificação da informação de vídeo na extremidade de recepção. Uma ou maiscamadas de otimização podem ser determinadas acima da camada base, cadauma das camadas melhorando a qualidade do vídeo decodificado em comparaçãocom uma camada inferior. Entretanto, uma representação decodificadasignificativa pode ser produzida pela decodificação somente de certas partes deum fluxo de bit escalável.

Uma camada de otimização pode otimizar a resolução temporal (istoé, a velocidade de projeção), a resolução espacial ou apenas a qualidade. Emalguns casos, os dados de uma camada de otimização podem estar truncadosdepois de uma certa locação, até mesmo em posições arbitrárias, por meio dissocada posição de truncagem com alguns dados adicionais representa qualidadevisual cada vez mais otimizada. Tal capacidade escalável é chamada capacidadeescalável granulada fina (granulação) (FGS). Em contraste com FGS, acapacidade escalável provida por uma camada de otimização de qualidade nãoprovendo capacidade escalável granulada fina é chamada capacidade escalávelgranulada grossa (CGS).

Um dos projetos atuais de desenvolvimento no campo da codificaçãode vídeo escalável é o padrão de codificação de vídeo escalável (SVC), queposteriormente se tornará a extensão escalável para o padrão de codificação devídeo ITU-T H.264 (também conhecido como ISO/IEC MPEG-4 AVC). De acordocom o esboço do padrão SVC, uma imagem codificada em uma camada espacialou de otimização CGS inclui uma indicação da base de predição entre camadas. Apredição entre camadas inclui a predição de um ou mais dos três parâmetrosseguintes: modo de codificação, informação de movimento e residual da amostra.O uso da predição entre camadas pode melhorar significativamente a eficiência decodificação das camadas de otimização. A predição entre camadas sempre seorigina de camadas inferiores, isto é, uma camada superior não é nunca requeridana codificação de uma camada inferior.

Em um fluxo de bits de vídeo escalável, para uma imagem dacamada de otimização, uma imagem de qualquer que seja a camada inferior podeser selecionada para a predição entre camadas. Dessa maneira, se o fluxo devídeo inclui múltiplas camadas escaláveis, ele pode incluir imagens em camadasintermediárias, que não são necessárias na decodificação e reprodução de umacada superior inteira. Tais imagens são citadas como imagens não requeridas(para a decodificação de toda a camada superior).

Entretanto, os métodos de vídeo escalável da técnica anterior têm aséria desvantagem que não existem meios para indicar tal informação dedependência antes da decodificação das imagens não requeridas.Consequentemente, o decodificador tem que decodificar as imagens nãorequeridas, o que é esbanjador em termos de carga computacional, e tem quearmazenar temporariamente as imagens decodificadas correspondentes, o que éesbanjador em termos de consumo de memória. Alternativamente, se a imagemnão requerida em uma locação temporal particular é uma imagem sem referência,o decodificador pode esperar a chegada da imagem nessa locação temporal nacamada escalável desejada para reprodução e a seguir analisar a informação dedependência. Entretanto, isso causa retardo maior de extremidade paraextremidade, o que não é aceitável para aplicações visuais em tempo real.

Sumário da invenção

Agora é inventado um método aperfeiçoado e equipamento técnicoimplementando o método, pelo qual as imagens não requeridas podem serindicadas para o decodificador antes da sua decodificação. Vários aspectos dainvenção incluem um método de codificação e um de decodificação, umcodificador, um decodificador, um dispositivo de codificação de vídeo, umdispositivo de decodificação de vídeo, programas de computador para executar acodificação e a decodificação e uma estrutura de dados, cujos aspectos sãocaracterizados pelo que é declarado abaixo. Várias modalidades da invenção sãoreveladas.

De acordo com um primeiro aspecto, um método de acordo com ainvenção é baseado na idéia da codificação de um fluxo de dados de vídeoescalável, que compreende uma camada base e pelo menos uma camada deotimização, onde um fluxo de dados escalável, que inclui pelo menos uma imagemnão requerida em uma locação temporal de uma camada onde a decodificaçãodas imagens em uma camada superior na e sucedendo a dita locação temporal naordem de decodificação não requer a dita imagem não requerida e a informaçãoda pelo menos uma imagem não requerida é sinalizada no fluxo de dados de vídeoescalável.

De acordo com uma modalidade, a uma ou mais camadas deotimização compreendem uma ou mais camadas de otimização espacial, dequalidade ou de capacidade escalável de granulação fina (FGS).De acordo com uma modalidade, a dita sinalização é executadadentro de uma porção do dito fluxo de dados escalável.

De acordo com uma modalidade, a dita sinalização é executada emuma mensagem de informação suplementar de otimização (SEI).

De acordo com um segundo aspecto, é provido um método dedecodificação de um fluxo de dados de vídeo escalável compreendendo umacamada base e pelo menos uma camada de otimização, o métodocompreendendo: decodificar a informação de sinalização recebida com um fluxode dados escalável, a dita informação de sinalização incluindo informação sobrepelo menos uma imagem não requerida em uma locação temporal de umacamada e decodificar imagens em uma camada acima da imagem não requeridana e sucedendo a dita locação temporal na ordem de decodificação semdecodificar a dita imagem não requerida.

A disposição de acordo com a invenção provê vantagenssignificativas. A informação de indicação das imagens não requeridas, que ésinalizada em conjunto com o fluxo de vídeo escalável, possibilita que odecodificador determine as imagens não requeridas antes da decodificação, pormeio disso qualquer decodificação e armazenamento temporário desnecessáriosdas imagens não requeridas são evitados. Isso diminui a carga computacional e oconsumo de memória do processo de decodificação. Além do mais, a disposiçãode acordo com a invenção possibilita a manutenção de um retardo mínimo deextremidade para extremidade.

Os aspectos adicionais da invenção incluem vários aparelhosdispostos para executar as etapas inventivas dos métodos acima.

Breve Descrição dos Desenhos

No seguinte, várias modalidades da invenção serão descritas emmais detalhes com referência aos desenhos anexos, nos quais

A Figura 1 mostra a estrutura conceituai do projeto H.264,

A Figura 2 mostra um exemplo da hierarquia da dependência decodificação de um fluxo de vídeo escalável,A Figura 3 mostra um outro exemplo da hierarquia de dependênciada codificação de um fluxo de vídeo escalável,

A Figura 4 mostra um exemplo da hierarquia de dependência dacodificação de um fluxo de vídeo escalável onde camadas FGS estão envolvidas,

A Figura 5 mostra um exemplo da hierarquia de dependência dacodificação de um fluxo de vídeo escalável como uma variação da hierarquia dedependência da Figura 4,

A Figura 6 mostra ainda um outro exemplo da hierarquia dedependência da codificação de um fluxo de vídeo escalável,

A Figura 7 mostra um dispositivo de codificação de acordo com umamodalidade em um diagrama de blocos simplificado,

A Figura 8 mostra um dispositivo de decodificação de acordo comuma modalidade em um diagrama de blocos simplificado,

A Figura 9 mostra um diagrama de blocos de um dispositivo decomunicação móvel de acordo com uma modalidade preferida e

A Figura 10 mostra um sistema de comunicação de vídeo, onde ainvenção é aplicável.

Descrição Detalhada da Invenção

A invenção é aplicável a todos os métodos de codificação de vídeousando codificação de vídeo escalável. Os padrões de codificação de vídeoincluem ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 ou ISO/IEC MPEG-2Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual e ITU-T H.264 (também conhecidocomo ISO/EIC MPEG-4 AVC). Além disso, existem esforços trabalhando paranovos padrões de codificação de vídeo. Um é o desenvolvimento do padrão decodificação de vídeo escalável (SVC), que se tornará a extensão escalável paraH.264/AVC. O padrão SVC está atualmente sendo desenvolvido sob o JVT, ogrupo de união de vídeo formado por ITU-T VCEG e ISO/IEC MPEG. O segundoesforço é o desenvolvimento dos padrões de codificação de vídeo Chinaorganizado pelo grupo de trabalho de padrão de codificação áudio visual China(AVS).O seguinte é uma ilustração exemplar da invenção usando acodificação de vídeo H.264 como um exemplo. A codificação H.264 será descritaem um nível de detalhe considerado satisfatório para o entendimento da invençãoe suas modalidades preferidas. Para uma descrição mais detalhada daimplementação de H.264, é feito referência ao padrão H.264, a últimaespecificação do qual é descrita em JVT-N050d1, "Draft of Version 4 ofH.264/AVC", 14° Encontro JVT1 Hong Kong, China, 18-21 Janeiro de 2005.

De acordo com a Figura 1, H.264/AVC distingue entre duas camadasconceituais diferentes, a camada de codificação de vídeo (VCL) e a camada deabstração de rede (NAL). Ambas a VCL e a NAL são parte do padrão H.264/AVC.A VCL especifica uma representação eficiente para o sinal de vídeo codificado. ANAL da H.264/AVC define a interface entre o próprio codec de vídeo e o mundoexterior. Ela opera em unidades NAL, que fornecem suporte para a abordagemcom base no pacote da maior parte das redes existentes. Na interface dodecodificador NAL, assume-se que as unidades NAL são entregues na ordem dedecodificação e que os pacotes são recebidos corretamente, são perdidos ou umindicador de erro no cabeçalho da unidade da NAL pode ser elevado se a cargaútil contém erros de bit. O último aspecto não é parte do padrão já que o indicadorpode ser usado para finalidades diferentes. Entretanto, ele provê uma maneirapara sinalizar uma indicação de erro através de toda a rede. Adicionalmente,especificações de interface são requeridas para protocolos de transportediferentes que serão especificados pelos corpos de padronização responsáveis. Otransporte e a encapsulação exatos das unidades NAL para sistemas detransporte diferentes, tais como H.320, sistemas MPEG-2 e RTP/IP estão tambémfora do escopo da padronização H.264/AVC. A interface do decodificador da NALé definida de maneira normativa no padrão, enquanto que a interface entre a VCLe a NAL é conceituai e ajuda na descrição e separação das tarefas da VCL e daNAL.

O esboço de trabalho da extensão escalável (SVC) para H.264/AVCatualmente possibilita a codificação de múltiplas camadas escaláveis. O últimoesboço é descrito em JVT-0202 Anexo S, "Scalable video coding - working draft2", 15a reunião JVT1 Busan1 Coréia do Sul1 abril de 2005. Nessa codificação demúltiplas camadas escaláveis, a variável dependencyjd sinalizada no fluxo de bitsé usada para indicar as dependências de codificação de camadas escaláveisdiferentes.

Um fluxo de bit escalável contém pelo menos duas camadas decapacidade escalável, a camada base e uma ou mais camadas de otimização. Seum fluxo de bit escalável contém uma pluralidade de camadas de capacidadeescalável, ele então tem o mesmo número de alternativas para decodificação ereprodução. Cada camada é uma alternativa de decodificação. A camada 0, acamada base, é a primeira alternativa de decodificação. A camada 1, a primeiracamada de otimização, é a segunda alternativa de decodificação, etc. Esse padrãocontinua com camadas subseqüentes. Tipicamente, uma camada inferior estácontida nas camadas superiores. Por exemplo, a camada 0 está contida nacamada 1 e a camada 1 está contida na camada 2.

Uma imagem em uma camada inferior pode não ser necessariamentenecessária na decodificação e reprodução de toda uma camada superior. Taisimagens são chamadas imagens não requeridas (para decodificação de toda acamada superior).

Uma desvantagem significativa na codificação SVC, bem como emoutros métodos de codificação de vídeo escalável, é que não existe meio paraindicar as imagens não requeridas para o decodificador antes que as imagens nãorequeridas sejam decodificadas. A decodificação das imagens não requeridascausa carga computacional desnecessária e a colocação em armazenamentotemporário das imagens decodificadas não requeridas reserva espaço de memóriadesnecessariamente. A variável dependencyjd sinalizada no fluxo de bits ésomente usada para indicar as dependências de codificação das camadasescaláveis diferentes, mas não as imagens não requeridas. A variáveldependencyjd pode somente ser utilizada na determinação da imagem nãorequerida em uma tal situação, onde o decodificador aguarda a chegada daimagem em uma locação temporal particular na camada escalável, que éselecionada para reprodução, e a seguir o decodificador obtém a informação dedependência incluída na variável dependencyjd depois que a variáveldependencyjd foi analisada e decodificada. Entretanto, isso causa um retardoconsiderável de extremidade para extremidade, o que não é aceitável paraaplicações de vídeo de pequena latência em tempo real, tal como telefonia porvídeo ou conferência por vídeo.

Agora de acordo com um aspecto da invenção, um fluxo de vídeoescalável compreendendo pelo menos duas camadas é formado, por meio dissouma indicação das imagens não requeridas, que não são necessárias paradecodificação de pelo menos uma camada, é criada. A informação de indicaçãodas imagens não requeridas é sinalizada em conjunto com o fluxo de vídeoescalável tal que o decodificador pode determinar as imagens não requeridasantes da sua decodificação e assim evitar decodificar e armazenartemporariamente as imagens não requeridas.

A informação de indicação das imagens não requeridas pode sersinalizada no fluxo de bits do fluxo de vídeo escalável. O padrão H.264/AVC incluíum mecanismo de sinalização chamado informação suplementar de otimização(SEI) para auxiliar na decodificação e exibição da seqüência de vídeo. Asmensagens SEI são transferidas de maneira síncrona com o conteúdo de dadosde vídeo. Uma pluralidade de mensagens SEI é definida no anexo D do padrãoH.264/AVC: JVT-B050d1, "Draft of Version 4 of H.264/AVC".

De acordo com uma modalidade preferida, uma indicação dainformação da imagem não requerida é transferida usando uma nova mensagemSEI, onde novos campos são definidos para a indicação da informação da imagemnão requerida.

De acordo com uma modalidade preferida, a informação das imagensnão requeridas é transportada em uma mensagem SEI de acordo com a seguintesintaxe e semânticas:

Sintaxe da mensagem SEI da informação de dependência entrecamadas.

<table>table see original document page 10</column></row><table>

A informação transportada nessa mensagem SEI se refere a umaunidade de acesso, que inclui as fatias codificadas e as divisões dos dadosfatiados codificados de todas as camadas escaláveis na mesma locação temporal.

Quando presente, essa mensagem SEI deve aparecer antes de qualquer unidadeNAL de fatia codificada ou unidade NAL de divisão de dados de fatia codificada daunidade de acesso correspondente. As semânticas dessa mensagem SEI sãocomo segue:

num_info_entries_minus1 mais 1 indica o número das entradas deinformação seguintes.

entry_dependency_id[ i ] indica o valor dependencyjd da imagemalvo cuja informação das imagens não requeridas é descrita pelos seguinteselementos de sintaxe. O valor qualityjevel da imagem alvo é sempre zero. Isso édevido ao fato que uma imagem tendo qualityjevel maior do que 0 é uma imagemFGS cuja fonte de referência entre predições é sempre fixa. Portanto, ainformação das imagens não requeridas é a mesma que a imagem tendo o mesmovalor dependencyjd como a imagem FGS e qualityjevel igual a 0. Uma imagemnão requerida da imagem alvo também não é requerida na decodificação dequaisquer outras imagens na seqüência de vídeo codificada e tendo o mesmovalor dependencyjd e valor qualityjevel como a imagem alvo.

num_non_required_pics_minu1[ i ] mais 1 indica o número deimagens não requeridas explicitamente sinalizadas para a imagem alvo tendo ovalor dependencyjd igual à entry_dependency_id[ i ] e o valor qualityjevel igual a0. Além das imagens não requeridas explicitamente sinalizadas, podem tambémexistir imagens não requeridas adicionais derivadas como especificado abaixo.

non_required_pic_dependency_id{ i ][ j] indica o valor dependencyjdda ja imagem não requerida explicitamente sinalizada para a imagem alvo tendo ovalor dependencyjd igual a entry_dependencyjd[ i ] e o valor qualityjevel igual a 0.

nonjrequired_pic_quality_level{ i ][j] indica o valor dependencyjd daja imagem não requerida explicitamente sinalizada para a imagem alvo tendo ovalor dependencyjd igual a entry_dependencyjd[ i ] e o valor qualityjevel igual a0. Além disso, essas imagens que têm dependencyjd igual anon_required_pic_dependencyJd[ i ][ j ] e qualityjevel maior do quenon_required_pic_qualityJevel[ i ][ j] são também imagens não requeridas para amesma imagem alvo.

A implementação da mensagem SEI acima e das semânticas étambém ilustrada com os exemplos seguintes. Deixe-nos primeiro supor que umfluxo de vídeo compreende três camadas, basejayer_0, CGSJayeM espatialjayer_2, e elas têm a mesma velocidade de projeção. A hierarquia dadependência da predição entre camadas é mostrada na Figura 2, onde uma setaindica que o objeto apontado para usa o objeto apontado de para referência depredição entre camadas, e o par de valores à direita de cada camada na Figurarepresenta os valores de dependencyjd e qualityjevel. Nesse exemplo, umaimagem na CGSJayer_1 usa a basejayer_0 para a predição entre camadas.

Além do mais, uma imagem na spatialjayer_2 usa basejayer_0 (isto é, não aCGSJayeM próxima dela) para a predição entre camadas. Dessa maneira, aimagem da CGS_layer_1 (dependency_id=1, quality_level=0) é uma imagem nãorequerida para decodificar a imagem da spatial_layer-2.

A seguir, assumindo que a imagem mostrada da CGS_layer_1também não é necessária na decodificação de qualquer uma das imagens despatial_layer_2 que sucedem a imagem mostrada da spatial_layer_2 na ordem dedecodificação, de acordo com a sintaxe SEI e semânticas acima, os valoressinalizados para o exemplo da Figura 2 seriam:num_info_entries_minus1 = 0

{ entry_dependency_id[ 0 ] = 2 num_non_required_pics_minus1 [ 0 ] = 0{ non_required_pic_dependency_id[ 0 ][ 0 ] = 1 non_required_pic_quality_level[ 0 ][0] = 0}}

Além do que, é possível que uma imagem na spatial_layer_2 usebase_layer_0 para a predição entre camadas, enquanto na mesma locaçãotemporal, a imagem na CGS_layer_1 não usa a predição entre camadasabsolutamente, como mostrado na hierarquia de dependência da Figura 3. Dessamaneira, a imagem CGS_layer_1 (dependency_id=1, qualityJeveNO) é umaimagem não requerida para decodificação da imagem spatial_layer_2, e a imagembase_layer_0 (dependency_id=0, quality_level=0) é uma imagem não requeridapara a decodificação da imagem CGS_layer_1.

Novamente, assumindo que a imagem mostrada CGSJayerJ não énecessária na decodificação de qualquer uma das imagens spatialjayer_2 quesucedem a imagem mostrada spatialjayer_2 na ordem de decodificação, e que aimagem basejayer_0 mostrada também não é necessária na decodificação dequalquer uma das imagens CGSJayer_1 que sucedem a imagem mostradaCGSJayeM na ordem de decodificação, os valores sinalizados para o exemploda Figura 3 seriam:

numJnfo_entries_minusl = 1 {entry_dependencyjd[ 0 ] = Inum_non_required_pics_minusl [ 0 ] = 0

{ non_required_pic_dependencyJd[ 0 ][ 0 ] = 0 non_required_pic_qualityJevel[ 0][ 0 ] = 0} entry_dependency_id[ 0 ] = 2 num_non_required_pics_minusl[ 0 ] = 0{ non_required_pic_dependency_id[ O ][ O ] = I non_required_pic_quality_level[ O ][O ] = O >>

Quando as camadas FGS são envolvidas, a predição entre camadaspara o modo de codificação e a informação de movimento pode vir de umacamada base diferente do que a predição entre camadas para o residual daamostra. Um exemplo disso é mostrado na Figura 4, onde para a imagemspatial_layer_2, a predição entre camadas para o modo de codificação e ainformação de movimento vem da imagem CGSJayeM, enquanto a prediçãoentre camadas para o residual da amostra vem da imagem FGS_layer_1_0. Dessamaneira, a imagem FGS_layer_1_1 (dependency_id=1, quality_level=2) é umaimagem não requerida para decodificar a imagem spatial_layer_2. Novamente,assumindo que a imagem mostrada FGS_layer_1_1 também não é necessária nadecodificação de qualquer uma das imagens spatial_layer_2 que sucedem aimagem mostrada spatial_layer_2 na ordem de decodificação, os valoressinalizados para o exemplo da Figura 4 seriam:

numJnfo_entries_minusl = 0 { entry_dependency_id[ 0 ]= 2num_non_required_pics_minusl [ 0 ] = 0

{ non_required_pic_dependency_id[ 0 ][ 0 ] = 1 non_required_pic_quality_level [ 0][0] = 2}}

A Figura 5 ilustra uma variação da hierarquia de dependência daFigura 4. Aqui, todos os aspectos da predição entre camadas, isto é, o modo decodificação, a informação de movimento e o residual da amostra, para a imagemspatial_layer_2 vêm da imagem CGS_layer_1. Dessa maneira, ambas a imagemFGSJayer_1_0 (dependencyjd=1, qualityjevel=1) e a imagem FGSJayer_1_1(dependencyjd=1, qualityjevel=2) são imagens não requeridas para decodificar aimagem spatialjayer_2. Novamente, assumindo que nem a imagemFGSJayeM_0 nem a imagem FGSJayeM_1 é necessária na decodificação dequalquer uma das imagens spatialjayer_2 que sucedem a imagem mostradaspatialjayer_2 na ordem de decodificação, os valores sinalizados para o exemploda Figura 5 seriam:numJnfo_entries_minusl = O

{entry_dependencyjd[ O ] = 2 num_non_required_pics_minusl[ O ] = O{ non_required_pic_dependency_id[ O ][ O ] = non_required_pic_quality_level[ O ][ O] = 1}}

Observem que aqui é somente requerido indicar a imagemFGS_layer_1_0 (dependency_id=1, quality_level=1) como uma imagem nãorequerida, desde que a imagem FGS_layer_1_1 é dependente somente daimagem FGS_layer_1_0, por meio do que a imagem FGS_layer_1_1 éevidentemente também uma imagem não requerida.

Para a interpretação da semântica da mensagem SEI definida acima,existem algumas situações adicionais, que devem ser consideradas. Se a camadadesejada para a reprodução tem dependencyjd = Ά' que não é igual a qualquerum dos valores entry_dependency_id[ i ] sinalizados na mensagem SEI, então a naentry_dependency_id[ i ] tendo o maior entry_dependency_id[ i ], porém menor doque Ά' é investigada. A imagem tendo dependencyjd = Ά' deve ter as mesmasimagens não requeridas como especificado na na entrada. Se não existe entradaque tenha entry_dependency_id[ i ] menor do que Ά', então não existem imagensnão requeridas na unidade de acesso correspondente (isto é, na locação temporalcorrespondendo com a mensagem SEI) para a imagem tendo dependencyjd =Ά'.

Se uma imagem tendo dependencyjd = Ά' não é uma imagem nãorequerida para a imagem tendo dependencyjd = 'B', onde 'B' é maior do que ouigual a Ά', então todas as imagens não requeridas para a imagem tendodependencyjd = Ά' são também imagens não requeridas para a imagem tendodependencyjd = 'B'.

Um exemplo é fornecido na Figura 6, onde um fluxo de vídeocompreende cinco camadas, basejayer_0, CGSJayeM, spatialjayer_2,spatialjayer_3 e spatialjayer_4, e elas têm a mesma velocidade de projeção.Uma imagem na CGSJayeM usa a basejayer_0 para a predição entrecamadas. Uma imagem na spatialjayer_2 usa basejayer_0 (isto é, não aCGS_layer_1 próxima a ela) para a predição entre camadas. Uma imagem naspatial_layer_3 usa spatial_layer_2 para a predição entre camadas. Finalmente,uma imagem na spatial_layer_4 usa somente spatial_layer_2 para a prediçãoentre camadas. Dessa maneira, a imagem CGS_layer_1 (dependency_id=1,quality_level=0) é uma imagem não requerida para decodificar a imagemspatial_layer_2 e a imagem spatial_layer_3 (dependency_id=3, quality_level=0) éuma imagem não requerida para decodificar a imagem spatial_layer_4. De acordocom a regra acima, a imagem CGS_layer_1 é uma imagem não requerida paradecodificar a imagem spatial_layer_3 e a imagem spatial_layer_4 também, desdeque seus valores de dependencyjd (3 e 4) são maiores do que esse da imagemspatial_layer_2 (dependency_id=2) e a imagem spatial_layer_2 não é uma imagemnão requerida para a imagem spatial_layer_3 e a imagem spatial_layer_4.

Novamente, assumindo que as relações de dependência entrecamadas nas unidades de acesso seguintes na ordem do decodificador são asmesmas, os valores sinalizados para o exemplo da Figura 6 seriam:

num_info_entries_minusl = 1 (entry_dependency_id [ 0 ] = 2num_non_required_pics_minusl [ 0 ] = 0{ non_required_pic_dependency_id[ 0 ][ 0 ] = Inon_required_pic_quality_level[ 0 ][ 0 ] = 0entry_dependency_id[ 0 ] = 4 num_non_required_pics_minus1 [ 0 ] = 0

{ non_required_pic_dependency_id[ 0 ][ 0 ] = 3 non_required_pic_quality_level[ 0][0] = 0}}

A Figura 7 ilustra um dispositivo de codificação de acordo com umamodalidade, onde o dispositivo de codificação 700 recebe um fluxo de dadosbrutos 702, que é codificado e uma ou mais camadas são produzidas pelocodificador de dados escalável 704 do codificador 700. O codificador de dadosescalável 704 deduz as imagens não requeridas enquanto codificando o fluxo dedados e insere a informação de indicação das imagens não requeridas em umaunidade de formação de mensagem 706, que pode ser, por exemplo, umcompositor da unidade de acesso. O fluxo de dados codificados 708 é fornecidocomo saída do codificador 700, assim permitindo que um decodificador determineas imagens não requeridas antes da sua decodificação e evite a decodificação e acolocação em armazenamento temporário desnecessários das imagens nãorequeridas.

A Figura 8 ilustra um dispositivo de decodificação de acordo comuma modalidade, onde o dispositivo de decodificação 800 recebe o fluxo de dadoscodificado 802 via um receptor 804. A informação de indicação das imagens nãorequeridas é extraída do fluxo de dados em uma unidade de deformação demensagem 806, que pode ser, por exemplo, um decompositor da unidade deacesso. Um decodificador 808 então decodifica a camada selecionada do fluxo dedados codificado de acordo com a informação de indicação das imagens nãorequeridas tal que as imagens não requeridas não são decodificadas ouarmazenadas temporariamente. O fluxo de dados decodificado 810 é fornecidocomo saída do decodificador 800.

As partes diferentes dos sistemas de comunicação com base emvídeo, particularmente terminais, podem compreender propriedades parapossibilitar a transferência bidirecional dos fluxos de multimídia, isto é, atransferência e a recepção dos fluxos. Isso permite que o codificador e odecodificador sejam implementados como um codec de vídeo compreendendo asfuncionalidades de ambos um codificador e um decodificador.

É para ser observado que os elementos funcionais da invenção nocodificador de vídeo acima, decodificador de vídeo e terminal podem serimplementados preferivelmente como software, hardware ou uma combinação dosdois. Os métodos de codificação e decodificação da invenção são particularmentebem adequados para serem implementados como software de computadorcompreendendo comandos legíveis por computador para a execução das etapasfuncionais da invenção. O codificador e o decodificador podem ser preferivelmenteimplementados como um código de software armazenado em meio dearmazenamento e executável por um dispositivo semelhante a um computador, talcomo um computador pessoal (PC) ou uma estação móvel (MS), para realizar asfuncionalidades de codificação/decodificação com o dito dispositivo. Outrosexemplos de dispositivos eletrônicos, nos quais tais funcionalidades decodificação/decodificação podem ser aplicadas, são dispositivos assistentesdigitais pessoais (PDAs), conversores para sistemas de televisão digital, consolesde jogos, reprodutores de mídia e televisores.

A Figura 9 mostra um diagrama de blocos de um dispositivo decomunicação móvel MS de acordo com a modalidade preferida da invenção. Nodispositivo de comunicação móvel, uma unidade de controle mestre MCU controlablocos responsáveis pelas várias funções do dispositivo de comunicação móvel:uma memória de acesso aleatório RAM, uma parte de radiofreqüência RF, umamemória somente de leitura ROM, codec de vídeo CODEC e uma interface deusuário Ul. A interface do usuário compreende um teclado KB, um monitor DP, umalto-falante SP e um microfone MF. A MCU é um microprocessador, ou emmodalidades alternativas, algum outro tipo de processador, por exemplo, oprocessador de sinal digital. Vantajosamente, as instruções de operação da MCUforam armazenadas previamente na memória ROM. De acordo com suasinstruções (isto é, um programa de computador), a MCU usa o bloco de RF paratransmitir e receber dados sobre uma trajetória de rádio via uma antena AER. Ocodec de vídeo pode ser baseado em hardware ou total ou parcialmente baseadoem software, em cujo caso o CODEC compreende programas de computador paracontrolar a MCU para executar as funções de codificação e decodificação de vídeocomo requerido. A MCU usa a RAM como sua memória de trabalho. O dispositivode comunicação móvel pode capturar vídeo animado pela câmara de vídeo,codificar e empacotar o vídeo animado usando a MCU, a RAM e o software combase no CODEC. O bloco de RF é então usado para trocar vídeo codificado comoutras partes.

A Figura 10 mostra o sistema de comunicação de vídeo 100compreendendo uma pluralidade de dispositivos de comunicação móvel MS, umarede de telecomunicações móvel 110, a Internet 120, um servidor de vídeo 130 eum PC fixo conectado na Internet. O servidor de vídeo tem um codificador devídeo e pode prover fluxos de vídeo sob demanda tal como previsões de tempo ounotícias.

Deve ser evidente que a presente invenção não é limitada somenteàs modalidades acima apresentadas, mas ela pode ser modificada dentro doescopo das reivindicações anexas.

Claims

1. Um método de codificação de fluxo escalável de dados de vídeo,CARACTERIZADO por compreender uma camada base e pelo menos umacamada de otimização, o método compreendendo:-a codificação de um fluxo de dados escalável, que inclui pelo menosuma imagem não requerida numa locação temporal de uma camada onde adecodificação de imagens numa camada superior na e sucedendo a locaçãotemporal na ordem de decodificação que não requer a imagem não requerida;-e sinalizando informação de pelo menos uma imagem não requeridano fluxo escalável de dados de vídeo.

2. O método de acordo com a reivindicação 1, CARACTERIZADO porser onde uma ou mais camadas de otimização compreendem uma ou maiscamadas de otimização espaciais, de qualidade ou granulação fina escalável(FGS).

3. O método de acordo com a reivindicação 1, CARACTERIZADO porser onde a sinalização é executada dentro de uma parte do fluxo escalável dedados.

4. O método de acordo com a reivindicação 3, CARACTERIZADO porser onde a sinalização é executada em uma mensagem de InformaçãoSuplementar de Otimização (SEI).

5. O método de decodificação de um fluxo escalável de dados devídeo, CARACTERIZADO por compreender uma camada base e pelo menos umacamada de otimização, o método compreendendo:-decodificação da informação de sinalização recebida com um fluxoescalável de dados, a informação de sinalização incluindo informações sobre pelomenos uma imagem não requerida numa locação temporal de uma camada;-e decodificação de imagens numa camada acima da imagem nãorequerida na e sucedendo a locação temporal na ordem de decodificação semdecodificar a imagem não requerida.

6. 0 método de acordo com a reivindicação 5, CARACTERIZADO porser onde uma ou mais camadas de otimização compreendem uma ou maiscamadas de otimização espaciais, de qualidade ou de granulação fina escalável(FGS).

7. O método de acordo com a reivindicação 5, CARACTERIZADO porser onde a informação de sinalização é recebida dentro de uma parte do fluxoescalável de dados.

8. O método de acordo com a reivindicação 7, CARACTERIZADO porser onde a informação de sinalização é recebida numa mensagem de InformaçãoSuplementar de Otimização.

9. Um codificador de vídeo para codificar um fluxo escalável dedados de vídeo, CARACTERIZADO por compreender uma camada base e pelomenos uma camada de otimização, o codificador de vídeo compreendendo:-meios para codificar um fluxo escalável de dados, o qual inclui pelomenos uma imagem não requerida numa locação temporal de uma camada, ondea decodificação de imagens numa camada superior na e sucedendo a locaçãotemporal na ordem de decodificação não requer a imagem não requerida;-e meios para incluir informação de pelo menos uma imagem nãorequerida no fluxo escalável de dados de vídeo.

10. O codificador de vídeo de acordo com a reivindicação 9,CARACTERIZADO por ser onde informação de pelo menos uma imagem nãorequerida é formatada para ser sinalizada dentro do fluxo escalável de dados.

11. O codificador de vídeo de acordo com a reivindicação 10,CARACTERIZADO por ser onde informação de pelo menos uma imagem nãorequerida é formatada para ser sinalizada numa mensagem de InformaçãoSuplementar de Otimização (SEI).

12. Um decodificador de vídeo para decodificar um fluxo escalável dedados de vídeo, CARACTERIZADO por conter uma camada base e pelo menosuma camada de otimização, o codificador de vídeo compreendendo:-meios para decodificar informação de sinalização recebida com umfluxo escalável de dados,- a informação de sinalização incluindo informação sobre pelo menosuma imagem não requerida numa locação temporal de uma camada;- meios para decodificar imagens numa camada acima da imagemnão requerida na e sucedendo a locação temporal na ordem de decodificação daimagem não requerida.

13. O decodificador de vídeo de acordo com a reivindicação 12,CARACTERIZADO por ser onde a informação de sinalização é formatada para serdecodificada de uma parte do fluxo escalável de dados.

14. O decodificador de vídeo de acordo com a reivindicação 13,CARACTERIZADO por ser onde a informação de sinalização é formatada para serdecodificada de uma mensagem de Informação Suplementar de Otimização (SEI).

15. Um dispositivo eletrônico para codificação de fluxo escalável dedados de vídeo, CARACTERIZADO por compreender uma camada base e pelomenos uma camada de otimização,- o dispositivo incluindo um codificador de vídeo compreendendo umacamada base e pelo menos uma camada de otimização,- o dispositivo inclui pelo menos uma imagem não requerida numalocação temporal de uma camada onde a decodificação de imagens numa camadasuperior na e sucedendo a locação temporal na ordem de decodificação nãorequer a imagem não requerida,- e meios incluindo informação de pelo menos uma imagem nãorequerida no fluxo escalável de dados de vídeo.

16. Um dispositivo eletrônico para decodificação de um fluxoescalável de dados de vídeo, CARACTERIZADO por compreender uma camadabase e pelo menos uma camada de otimização,- o dispositivo incluindo um decodificador de vídeo compreendendo:- meios para decodificar informação de sinalização recebida com umfluxo escalável de dados,- a informação de sinalização incluindo informação sobre pelo menosuma imagem não requerida numa locação temporal de uma camada;-e meios para decodificar imagens numa camada acima da imagemnão requerida na e sucedendo a locação temporal na ordem de decodificação semdecodificar a imagem não requerida.

17. O dispositivo eletrônico de acordo com a reivindicação 15,CARACTERIZADO por ser onde este dispositivo eletrônico pode ter uma dasseguintes configurações:-um telefone móvel,-um computador,-um equipamento digital portátil,-um conversor para sistema de televisão digital,-um console de jogos,-um reprodutor de mídia ou um televisor.

18. Um produto de programa de computador, CARACTERIZADO porser armazenado numa mídia legível por um computador e executável numdispositivo de processamento de dados, para codificação de um fluxo escalável dedados de vídeo compreendendo uma camada base e pelo menos uma camada deotimização,-o produto de programa de computador compreendendo:-uma seção de um programa código de computador para codificar umfluxo escalável de dados, o qual inclui pelo menos uma imagem não requeridanuma locação temporal de uma camada onde a decodificação de imagens numacamada superior na e sucedendo a locação temporal na ordem de decodificaçãonão requer a imagem não requerida;-e uma seção de programa código de computador para incluirinformação de pelo menos uma imagem não requerida no fluxo escalável de dadosde vídeo.

19. Um produto de programa de computador CARACTERIZADO porestar armazenado numa mídia legível por um computador e executável numdispositivo de processamento de dados, para decodificação de um fluxo escalávelde dados de vídeo compreendendo uma camada base e pelo menos uma camadade otimização,- o produto de programa de computador compreendendo:- uma seção de um programa código de computador paradecodificação de informação de sinalização recebida com o fluxo escalável dedados,- a informação de sinalização incluindo informação sobre pelo menosuma imagem não requerida numa locação temporal de uma camada;- e uma seção de um programa código de computador paradecodificação de imagens numa camada acima da imagem não requerida na esucedendo a locação temporal na ordem de decodificação sem decodificar aimagem não requerida.

20. Uma estrutura de dados para implementar um fluxo escalável dedados de vídeo CARACTERIZADA por compreender uma camada base de dadosde vídeo;- pelo menos uma camada de otimização de dados de vídeo;- pelo menos uma imagem não requerida numa locação temporal deuma camada, cuja imagem não requerida não é requerida para decodificação dasimagens alvo numa camada superior na e sucedendo a locação temporal naordem de decodificação;- e uma indicação de dados identificando pelo menos uma imagemnão requerida.

21. Uma estrutura de dados de acordo com a reivindicação 20,CARACTERIZADA por ser onde a indicação de dados compreende:- uma primeira indicação de pelo menos uma imagem alvo;- uma segunda indicação de pelo menos uma imagem não requeridapara a imagem alvo;- e uma terceira indicação do nível de qualidade de pelo menos umaimagem não requerida.

22. Uma estrutura de dados de acordo com a reivindicação 20,CARACTERIZADA por ser onde os dados de indicação estão associados comuma parte do fluxo escalável de dados como uma mensagem de InformaçãoSuplementarde Otimização (SEI).

23. O dispositivo eletrônico de acordo com a reivindicação 16,CARACTERIZADO por poder assumir uma das seguintes configurações:- um telefone móvel,- um computador,- um equipamento digital portátil,- um conversor para sistema de televisão digital,- um console de jogos,- um reprodutor de mídia ou um televisor.