BR112015006551B1

BR112015006551B1 - Processamento de figuração de referência entre camadas para escalabilidade padrão de codificação

Info

Publication number: BR112015006551B1
Application number: BR112015006551-1A
Authority: BR
Inventors: Tao Chen; Peng Yin; Taoran Lu
Original assignee: Dolby Laboratories Licensing Corporation
Priority date: 2012-09-27
Filing date: 2013-09-24
Publication date: 2022-12-06
Also published as: AU2013323836A1; TW201419871A; US20170264905A1; US20160286225A1; RU2595966C1; SG11201502435XA; EP3255890A2; BR112015006551A2; HK1205838A1; KR20150060736A; CN104685879A; US20150326865A1; CN110460846B; MX2015003865A; MY172388A; IN2015DN02130A; CA2884500C; MX346164B; EP3748969A1; EP3255890B1

Abstract

PROCESSAMENTO DE FIGURAÇÃO DE REFERÊNCIA ENTRE CAMADAS PARA ESCALABILIDADE PADRÃO DE CODIFICAÇÃO. A presente invenção refere-se a dados de vídeo que são codificados em um fluxo de bits de padrão de codificação em camadas. Dada uma camada base (BL) e um ou mais sinais de camada de enriquecimento (EL), o sinal BL é codificado em um fluxo BL codificado com o uso de um codificador BL que é compatível com um primeiro padrão de codificação. Em resposta ao sinal BL e ao sinal EL, uma unidade de processamento de referência (RPU) determina parâmetros de processamento de RPU. Em resposta aos parâmetros de processamento de RPU e ao sinal BL, a RPU gera um sinal de referência entre camadas. Utilizando um codificador EL que é compatível com um segundo padrão de codificação, o sinal EL é codificado em um fluxo EL codificado, sendo que a codificação do sinal EL é baseada pelo menos em parte no sinal de referência entre camadas. Receptores com uma RPU e decodificadores de vídeo compatíveis tanto com o primeiro quanto com o segundo padrão de codificação podem decodificar tanto os fluxos codificados BL quanto EL.

Description

REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS

[001] Este pedido reivindica prioridade do Pedido de Patente Provisório no US. 61/706.480, depositado no dia 27 de setembro de 2012, incorporado ao presente documento em sua totalidade, a título de referência.

TECNOLOGIA

[002] A presente invenção refere-se, de modo geral, a imagens. Mais particularmente, uma modalidade da presente invenção se refere ao processamento de figuração de referência entre camadas para es- calabilidade padrão de codificação.

ANTECEDENTES

[003] A compressão de áudio e vídeo é um componente-chave no desenvolvimento, armazenamento, distribuição e consumo de conteúdo multimídia. A escolha de um método de compressão envolve trocas entre eficiência de codificação, complexidade e atraso de codificação. À medida que a razão entre a potência de processamento e os custos de computação aumenta, há um desenvolvimento de técnicas de compressão mais complexas que permitem uma compressão mais eficiente. Como um exemplo, em compressão de vídeo, o Grupo de Especialistas em Imagens com Movimento (Motion Pictures Expert Group - MPEG) da Organização Internacional para Padronização (International Standards Organization - ISO) continuou aprimorando o padrão de vídeo original MPEG-1 vídeo lançando os padrões de codificação MPEG-2, MPEG-4 (parte 2) e H.264/AVC (ou MPEG-4, parte 10).

[004] Apesar da eficiência e sucesso de compressão do H.264, uma nova geração de tecnologia de compressão de vídeo, conhecida como Codificação de Vídeo de Alta Frequência (High Efficiency Video Coding - HEVC), desenvolve-se agora. O documento JCTVC-J1003 da equipe Joint Collaborative Team on Video Coding (JCT-VC) de ITU- T/ISO/IEC, HEVC, cuja versão preliminar encontra-se disponível em "High efficiency video coding (HEVC) text specification draft 8," de julho de 2012, por B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm e T. Wiege, que é incorporado ao presente documento em sua totalidade a título de referência, visa oferecer uma capacidade de compressão aprimorada, em relação ao padrão existente H.264 (também conhecido como AVC) publicado como, "Advanced Video Coding for generic audio-visual services," ITU T Rec. H.264 e ISO/IEC 14496-10, que é incorporado ao presente documento em sua totalidade. Como avaliado pelos inventores aqui, espera-se que, nos próximos anos, o H.264 ainda seja o padrão de codificação de vídeo dominante usado mundialmente para a distribuição de vídeo digital. É avaliado, ainda, que novos padrões, tais como HEVC, devem permitir compatibilidade com a versão anterior dos padrões existentes.

[005] Para uso na presente invenção, o termo "padrão de codificação" denota algoritmos de compressão (codificação) e descompressão (decodificação) que podem tanto ser com base em padrão quanto de código aberto ou proprietário, tais como padrões MPEG, Windows Media Video (WMV), vídeo flash, VP8 e similares.

[006] As abordagens descritas nessa seção são abordagens que poderiam ser seguidas, mas, não necessariamente abordagens que foram anteriormente concebidas ou seguidas. Portanto, salvo indicado em contrário, não se deve supor que nenhuma das abordagens descritas nessa seção se qualifica como técnica anterior simplesmente em virtude de estarem incluídas nessa seção. De modo semelhante, questões identificadas com relação a uma ou mais abordagens não devem ser entendidas como sendo reconhecidas em qualquer técnica anterior com base nessa seção, salvo indicado em contrário.

BREVE DESCRIÇÃO DAS FIGURAS

[007] Uma modalidade da presente invenção é ilustrada a título de exemplo e não a título de limitação, nas Figuras dos desenhos anexos e, nos quais, números de referência similares referem-se a elementos similares e, em que:

[008] A Figura 1 retrata uma implementação de exemplo de um sistema de codificação que suporta escalabilidade de padrão de codificação, de acordo com uma modalidade desta invenção;

[009] A Figura 2A e Figura 2B retratam implementações de exemplo de um sistema de codificação que suporta escalabilidade codec AVC/H.264 e HEVC, de acordo com uma modalidade desta invenção;

[0010] A Figura 3 retrata um exemplo de codificação em camada com uma janela de corte de acordo com uma modalidade desta invenção;

[0011] A Figura 4 retrata um exemplo de processamento entre camadas para figurações entrelaçadas, de acordo com uma modalidade desta invenção;

[0012] A Figura 5A e Figura 5B retratam exemplos de processamento entre camadas que suportam escalabilidade de padrão de codificação, de acordo com uma modalidade desta invenção;

[0013] A Figura 6 retrata um exemplo de processamento de RPU para escalabilidade de modelo de codificação de sinal, de acordo com uma modalidade desta invenção;

[0014] A Figura 7 retrata um exemplo de processo de codificação, de acordo com uma modalidade desta invenção;

[0015] A Figura 8 retrata um exemplo de processo de decodifica- ção, de acordo com uma modalidade desta invenção; e

[0016] A Figura 9 retrata um exemplo de processo de decodifica- ção de RPU, de acordo com uma modalidade desta invenção. DESCRIÇÃO DAS MODALIDADES EXEMPLIFICATIVAS

[0017] O processamento de figuração de referência entre camadas para escalabilidade de padrão de codificação é descrito no presente documento. Dado um sinal de camada base, que é codificado por um codificador de camada base (BL) compatível com um primeiro padrão de codificação (por exemplo, H.264), um processo de unidade de processamento de referência (RPU) gera figurações de referência e parâmetros de RPU de acordo com as características dos sinais de entrada na camada base e uma ou mais camadas de enriquecimento. Esses quadros de referência entre camadas podem ser usados por um codificador de camada de enriquecimento (EL) que é compatível com um segundo padrão de codificação (por exemplo, HEVC), para comprimir (codificar) um ou mais sinais de camada de enriquecimento e combiná-los com a camada base para formar um fluxo de bits que pode ser escalado. Em um receptor, após a decodificação de um fluxo BL com um decodificador BL que é compatível ao primeiro padrão de codificação, uma RPU de decodificador pode aplicar parâmetros de RPU recebidos para gerar quadros de referência entre camadas a partir do fluxo BL decodificado. Esses quadros de referência podem ser usados por um decodificador EL que é compatível ao segundo padrão de codificação para decodificar o fluxo EL codificado.

[0018] Na descrição a seguir, para fins de esclarecimentos, inúmeros detalhes específicos são demonstrados a fim de fornecer um entendimento presente da invenção. Ficará evidente, entretanto, que a presente invenção pode ser praticada sem esses detalhes específicos. Em outros exemplos, estruturas e dispositivos conhecidos não são descritos exaustivamente em detalhes, a fim de evitar suscitar dúvidas desnecessárias relacionadas à presente invenção.

VISÃO GERAL:

[0019] As modalidades exemplificativas descritas no presente documento relacionam-se ao processamento de figuração de referência entre camadas para escalabilidade de padrão de codificação. Em uma modalidade, dados de vídeo são codificados em um fluxo de bits de padrão de codificação em camadas. Dados sinais de uma camada base (BL) e de camada de enriquecimento (EL), o sinal BL é codificado em um fluxo BL com o uso de um codificador BL que é compatível com um primeiro padrão de codificação. Em resposta ao sinal BL e ao sinal EL, uma unidade de processamento de referência (RPU) determina parâmetros de processamento de RPU. Em resposta aos parâmetros de processamento de RPU e ao sinal BL, a RPU gera um sinal de referência entre camadas. Utilizando um codificador EL que é compatível com um segundo padrão de codificação, o sinal EL é codificado em um a fluxo EL codificado, sendo que a codificação do sinal EL é baseada pelo menos em parte no sinal de referência entre camadas.

[0020] Em outra modalidade, um receptor demultiplexa um fluxo de bits recebido que pode ser escalado para gerar um fluxo BL codificado, um fluxo EL codificado e um fluxo de dados de RPU. Um decodificador BL compatível com um primeiro padrão de codificação decodifica o fluxo BL codificado para gerar um sinal BL decodificado. Um receptor com uma RPU também pode decodificar o fluxo de dados de RPU para determinar parâmetros de processo RPU. Em resposta aos parâmetros de processamento de RPU e ao sinal BL, a RPU pode gerar um sinal de referência entre camadas. Um decodificador EL compatível com um segundo padrão de codificação pode decodificar o fluxo EL codificado para gerar um sinal EL decodificado, sendo a decodi- ficação do fluxo EL codificado baseada pelo menos em parte no sinal de referência entre camadas.

ESCALABILIDADE DE PADRÃO DE CODIFICAÇÃO COM BASE EM CAMADAS

[0021] Padrões de compressão, tais como MPEG-2, MPEG-4 (parte 2), H.264, flash e similares estão sendo usados mundialmente para veiculação de conteúdo digital através de uma variedade de mídias como discos de DVD ou discos de Blu-ray ou para transmissão via aérea (over the air), por cabo ou banda larga. À medida que novos padrões de codificações de vídeo, como HEVC, são desenvolvidos, a adoção de novos padrões poderia ser elevada se os mesmos suportassem alguma compatibilidade com a versão anterior de padrões existentes.

[0022] A Figura 1 retrata uma modalidade de uma implementação exemplificativa de um sistema que suporta escalabilidade de padrão de codificação. O codificador compreende um codificador de camada base (BL) (110) e um codificador (120) de camada de enriquecimento (EL). Em uma modalidade, o Codificador BL 110 é um codificador legado, tal como um MPEG-2 ou codificador H.264 e o codificador EL 120 é um codificador de novo padrão, como um codificador HEVC. Entretanto, esse sistema pode ser aplicado à qualquer combinação de codificadores tanto conhecidos quanto futuros, sejam os mesmos com base em padrões ou proprietários. O sistema também pode ser estendido para suportar mais de dois padrões ou algoritmos de codificação.

[0023] De acordo com a Figura 1, um sinal de entrada pode compreender dois ou mais sinais, por exemplo, um sinal 102 de camada base (BL) e um ou mais sinais de camada de enriquecimento (EL), por exemplo, EL 104. O sinal BL 102 é comprimido (ou codificado) com o Codificador BL 110 para gerar um fluxo BL codificado 112. O sinal EL 104 é comprimido pelo codificador EL 120 para gerar um fluxo EL codificado 122. Os dois fluxos são multiplexados (por exemplo, por MUX 125) para gerar um fluxo de bits codificado que pode ser escalado 127. Em um receptor, um demultiplexador (DEMUX 130) pode separar os dois fluxos de bits codificados. Um decodificador legado (por exemplo, Decodificador BL 140) pode decodificar apenas a camada base 132 para gerar um sinal de saída BL 142. Entretanto, um decodificador que suporta um novo método de codificação (Decodificador EL 120), também pode decodificar informações adicionais fornecidas pelo fluxo EL codificado 134 para gerar um sinal de saída EL output 144. O Decodificador BL 140 (por exemplo, um decodificador MPEG-2 ou H.264) corresponde ao codificador BL 110. O decodificador EL 150 (por exemplo, um decodificador HEVC) corresponde ao Decodificador EL 120.

[0024] Tal sistema que pode ser escalado pode melhorar a eficiência de codificação comparada ao sistema de transmissão simultânea ao explorar de forma adequada predição entre camadas, ou seja, codificando o sinal de camada de enriquecimento (por exemplo, 104) considerando informações disponíveis a partir das camadas inferiores (por exemplo, 102). Visto que o Codificador BL e o Codificador EL são compatíveis com diferentes padrões de codificação, em uma modalidade, a escalabilidade do padrão de codificação pode ser obtida através de uma unidade de processamento separada, a unidade de processamento de referência de codificação (RPU) 115.

[0025] A RPU 115 pode ser considerada uma extensão do modelo de RPU descrito no pedido no PCT PCT/US2010/040545, " Encoding and decoding architecture for format compatible 3D video delivery," por A. Tourapis, et al., depositado em 30 de junho de 2010 e publicado como documento de patente no WO 2011/005624, que é incorporado ao presente documento em sua totalidade a título de referência. As seguintes descrições da RPU se aplicam, salvo especificado em contrário, tanto à RPU de um codificador e quanto à RPU de um decodificador. Pessoas de habilidade comum na técnica em áreas que se relacionam à codificação de vídeo entenderão as diferenças e poderão distinguir entre descrições, funções e processos de codificação específicas, de decodificação específicas e de RPU genéricas mediante leitu- ra da presente revelação. Dentro do contexto de um sistema de codificação de vídeo, como retratado na Figura 1, a RPU (115) gera quadros de referência entre camadas com base em imagens codificadas a partir do Codificador BL 110, de acordo com um conjunto de regras de seleção de diferentes filtros e processos de RPU.

[0026] A RPU 115 permite que o processamento seja adaptativo em um nível de região, em que cada região da figuração/sequência é processada de acordo com as características daquela região. A RPU 115 pode usar filtros horizontais, verticais ou bidimensionais (2D), filtros dependentes de região adaptativos de borda ou baseados em frequência, e/ou filtros de replicação de pixel ou outros métodos ou meios para entrelaçamento, desentrelaçamento, amostragem superior e outros processamentos de imagens.

[0027] Um codificador pode selecionar processos de RPU e sinais de processamento regional de saída, que são fornecidos como dados de entrada para uma RPU de decodificador (por exemplo, 135). A sinalização (por exemplo, 117) pode especificar o método de processamento em uma base por região. Por exemplo, parâmetros que se relacionam aos atributos de região tais como número, tamanho, formato e outras características podem ser especificados em um cabeçalho de dados relacionados aos dados de RPU. Alguns dos filtros podem compreender coeficientes de filtração fixos, de qualquer modo os coeficientes de filtração não precisam ser explicitamente sinalizados pela RPU. Outros modos de processamento compreendem modos explícitos, nos quais os parâmetros de processamento, tais como valores de coeficiente, são sinalizados explicitamente. Os processos de RPU podem, adicionalmente, ser especificados por cada componente de cor.

[0028] A sinalização de dados de RPU 117 pode tanto ser incorporada pelo fluxo de bits codificado (por exemplo, 127) quanto ser transmitida separadamente ao decodificador. Os dados de RPU podem ser sinalizados juntamente com a camada na qual o processamento de RPU é realizado. Adicionalmente ou de forma alternativa, os dados de RPU de todas as camadas podem ser sinalizados dentro de um pacote de dados de RPU, que é incorporado no fluxo de bits tanto antes como depois da incorporação doa dados codificados EL. O fornecimento de dados de RPU pode ser opcional para uma determinada camada. Caso os dados de RPU não estejam disponíveis, um esquema de valor predefinido pode, dessa forma, ser usado para conversão superior daquela camada. Não de maneira diferente, o fornecimento um fluxo de bits de camada de enriquecimento também é opcional.

[0029] Uma modalidade permite múltiplos métodos possíveis de selecionar etapas de processamento em uma RPU. Inúmeros critérios podem ser usados separadamente ou em conjunto em determinados processamentos de RPU. Os critérios de seleção de RPU podem incluir a qualidade de decodificação do fluxo de bits de camada base, a qualidade de decodificação dos fluxos de bits das camadas de enriquecimento, a taxa de bits necessária para codificação de cada camada que inclui os dados de RPU e/ou a complexidade de decodificação e dados de processamento de RPU.

[0030] A RPU pode servir como um estágio de pré-processamento que processa informações do codificador BL 110, antes de utilizar essas informações como um instrumento de predição potencial para a camada de enriquecimento no codificador EL 120. As informações relacionadas ao processamento de RPU podem ser comunicadas (por exemplo, como metadados) para um decodificador, como retratado na Figura 1 com o uso de um fluxo de camada de RPU 136. O processamento de RPU pode compreender uma variedade de operações de processamento de imagens, tais como: transformações de espaço de cor, quantização não linear, amostragem superior de luma e croma e filtragem. Em uma implementação típica, os sinais de dados EL 122, BL 112 e de RPU 117 são multiplexados em um único fluxo de bits co-dificado 127.

[0031] A RPU de decodificador 135 corresponde à RPU de codificador 115 e, com a orientação da entrada de dados de RPU 136, pode auxiliar na decodificação da camada EL 134 executando operações que correspondem às operações executadas pela RPU de codificador 115.

[0032] A modalidade retratada na Figura 1 pode ser facilmente estendida para suportar mais de duas camadas. Além disso, a mesma pode ser estendida para suportar características adicionais de escala- bilidade, que incluem: escalabilidade temporal, espacial, SNR, de croma, de profundidade de bits e de visualização múltipla.

ESCALABILIDADE DE PADRÃO DE CODIFICAÇÃO H.264 E HEVC

[0033] Em uma modalidade exemplificativa, a Figura 2A e a Figura 2B retratam uma modalidade exemplificativa para escalabilidade de padrão de codificação com base em camadas, como pode ser aplicado aos padrões HEVC e H.264. Sem perda geral, a Figura 2A e a Figura 2B retratam apenas duas camadas; entretanto, os métodos podem ser facilmente estendidos aos sistemas que suportam múltiplas camadas de enriquecimento.

[0034] Como ilustrado na Figura 2A, tanto o codificador H.264 110 quanto o codificador HEVC 120 compreendem intrapredição, interpre- dição, transformação e quantização direta (FT), transformação e quan- tização inversa (IFT), codificação de entropia (EC), filtros de desbloqueio (DF) e armazenamento temporário de dados de figurações decodificadas (Decoded Picture Buffers - DPB). Além disso, um codificador HEVC inclui, ainda, um bloco de deslocamento adaptativo de amostras (Sample Adaptive Offset - SAO). Em uma modalidade, como será explicado mais adiante, a RPU 115 pode acessar os dados BL tanto antes do filtro de desbloqueio (DF) quanto a partir do DPB. De forma semelhante, em um decodificador de padrões múltiplos (ver Figura 2B), a RPU de decodificador 135 também pode acessar dados BL tanto antes do filtro de desbloqueio (DF) quanto a partir do DPB.

[0035] Em codificação de vídeo que poder ser escalado, o termo "solução multi-loop" indica um decodificador em camadas em que as figurações em uma camada de enriquecimento são decodificadas com base nas figurações de referência extraídas tanto pela mesma camada quanto por outras subcamadas. As figurações das camadas base/de referência são reconstruídas e armazenadas no armazenamento temporário de dados de figurações decodificadas (DPB). Essas figurações de camada base, denominadas de figurações de referência entre camadas podem servir como figurações de referência adicionais, na de- codificação da camada de enriquecimento. A camada de enriquecimento tem, então, a opção de usar tanto as figurações de referência temporal quanto as figurações de referência entre camadas. Em geral, a predição entre camadas ajuda a melhorar a eficiência da codificação EL em um sistema que pode ser escalado. Visto que o AVC e HEVC são dois padrões de codificação diferentes e utilizam processos de codificação diferentes, o processamento adicional entre camadas pode ser necessário para garantir que as figurações codificadas AVC sejam consideradas figurações de referência HEVC válidas. Em uma modalidade, tal processamento pode ser realizado pela RPU 115, como será explicado a seguir por vários casos de interesse. Para escalabilidade de padrão de codificação, o uso de RPU 115 visa solucionar as diferenças ou conflitos que surgem a partir do uso de dois padrões diferentes, tanto em um nível de sintaxe elevada quanto em um nível de ferramentas de codificação.

CONTAGEM DA ORDEM DE FIGURAÇÕES (PICTURE ORDER COUNT - POC)

[0036] HEVC e AVC têm várias diferenças no nível de sintaxe ele- vada. Além disso, a mesma sintaxe pode ter um significado diferente em cada padrão. A RPU pode trabalhar como um "tradutor" de sintaxe de nível elevado entre a camada base e a camada de enriquecimento. Tal exemplo é a sintaxe relacionada à Contagem da Ordem de Figurações (Picture Order Count - POC). Em predição entre camadas, é importante sincronizar as figurações de referência entre camadas a partir da camada base com as figurações sendo codificadas na camada de enriquecimento. Tal sincronização é ainda mais importante quando a camada base e as camadas de enriquecimento utilizam diferentes estruturas de codificação de figurações. Tanto para os padrões AVC quanto HEVC, o termo Contagem da Ordem de Figurações (Picture Order Count - POC) é usado para indicar a ordem de exibição das figurações codificadas. Entretanto, em AVC, há três métodos para sinalizar informações POC (indicadas pela variável pic_order_cnt_type), enquanto que em HEVC, apenas um método é permitido, que é o mesmo que pic_order_cnt_type == 0 no caso AVC. Em uma modalidade, quando o pic_order_cnt_type não for igual a 0 em um fluxo AVC, então, a RPU (135) precisará traduzir o mesmo em um valor POC que se conforme à sintaxe HEVC. Em uma modalidade, uma RPU de codificador (115) pode sinalizar dados adicionais relacionados à POC com o uso de uma nova variável pic_order_cnt_lsb como mostrado na Tabela 1. Em outra modalidade, a RPU de codificador pode simplesmente forçar o codificador AVC de camada base a utilizar apenas pic_order_cnt_type == 0. TABELA 1 SINTAXE POC

[0037] Na tabela 1, o pic_order_cnt_lsb específica a contagem da ordem de figurações de módulo MaxPicOrderCntLsb para a figura- ção de referência entre camadas atual. O comprimento do elemento de sintaxe pic_order_cnt_lsb é log2_max_pic_order_cnt_lsb_minus4 + 4 bits. O valor de pic_order_cnt_lsb deverá estar na faixa de 0 a Max- PicOrderCntLsb-1, inclusivo. Quando pic_order_cnt_lsb não estiver presente, pic_order_cnt_lsb é inferido para ser igual a 0.

JANELA DE CORTE

[0038] Na codificação AVC, a resolução da figuração precisa ser um múltiplo de 16. Na HEVC, a resolução pode ser um múltiplo de 8. Ao processar uma figuração de referência entre camadas na RPU, a janela de corte pode ser usada para se livrar dos pixels cheios, em AVC. Se a camada base e a camada de enriquecimento tiverem diferentes resoluções de espaço (por exemplo, a camada base for de 1920 x 1080 e a camada de enriquecimento for de 4K), ou se as razões de aspecto da figuração (PAR) forem diferentes (digamos, 16:9 PAR para a camada de enriquecimento e 4:3 PAR para a camada base), a imagem deve ser cortada e pode ser redimensionada, de forma adequada. Um exemplo de janela de corte relacionado à sintaxe de RPU é mostrado na tabela 2. TABELA 2: SINTAXE DE CORTE DE IMAGEM

[0039] Na tabela 2, pic_cropping_flag igual a 1 indica que os parâmetros de deslocamento de corte de figuração vêm a seguir. Se pic_cropping_flag = 0, então os parâmetros de deslocamento de corte de imagem não estão presentes e não é necessário nenhum corte.

[0040] pic_crop_left_offset, pic_crop_right_offset, pic_crop_top_offset, e pic_crop_bottom_offset especificam o número de amostras nas figurações da sequência de vídeo codificada que são entradas para o processo de decodificação de RPU, em termos de uma região retangular especificada na figuração que coordena a entrada de RPU.

[0041] Note que, visto que o processo de RPU é realizado para cada referência entre camadas, os parâmetros da janela de corte podem mudar em uma base quadro a quadro. O redirecionamento de vídeo baseado na região de interesse adaptativa é, dessa forma, suportado com o uso de uma abordagem pan-(zoom)-scan.

[0042] A Figura 3 retrata um exemplo de codificação em camada, em que uma camada base de HD (por exemplo, 1920x1080) é codificada com o uso de H.264 e fornece uma figuração que pode ser codificada por todos os decodificadores legado HD. Uma camada de enriquecimento de resolução inferior (por exemplo, 640x480) pode ser utilizada para fornecer suporte adicional para um recurso de "zoom". A camada EL tem uma resolução menor que a BL, mas pode ser codificada em HEVC para reduzir a taxa média de bits. A codificação entre camadas, como descrito no presente documento, pode, ainda, aprimorar a eficiência de codificação dessa camada EL.

FILTRO DE DESBLOQUEIO IN-LOOP

[0043] Tanto AVC quanto HEVC empregam um filtro de desbloqueio (DF) nos processos de codificação e decodificação. O filtro de desbloqueio destina-se à reduzir os artefatos de bloqueio devido à codificação com base em bloqueio. Mas seus modelos em cada padrão são bem diferentes. Em AVC, o filtro de desbloqueio é aplicado em uma base de rede de amostra 4x4, mas em HEVC, o filtro de desblo- queio é aplicado apenas às bordas que estão alinhadas em uma rede de amostra 8x8. Em HEVC, a força do filtro de desbloqueio é controlada pelos valores de diversos elementos de sintaxe semelhantes ao AVC, mas o AVC suporta cinco resistências enquanto o HEVC suporta apenas três resistências. Em HEVC, há menos casos de filtragem, comparado ao AVC. Por exemplo, para luma, um dos três casos é selecionado: filtragem forte, filtragem fraca ou sem filtragem. Para croma, há apenas dois casos: sem filtragem ou filtragem normal. Para alinhar as operações de filtro de desbloqueio entre a figuração de referência de base em camada e uma figuração de referência temporal a partir da camada de enriquecimento, diversas abordagens podem ser aplicadas.

[0044] Em uma modalidade, a figuração de referência sem desbloqueio de AVC pode ser acessada diretamente pela RPU, sem pós- processamento adicional. Em outra modalidade, a RPU pode aplicar o filtro de desbloqueio HEVC à figuração de referência entre camadas. A decisão do filtro no HEVC é baseada no valor de diversos elementos de sintaxe, tais como, coeficientes de transformação, índice de referência e vetores de movimento. Pode ser realmente complicado se a RPU precisar analisar todas as informações para tomar uma decisão do filtro. Em vez disso, uma pessoa pode sinalizar explicitamente o índice de filtro em um nível de bloco 8x8, nível CU (Coding Unit - Unidade de Codificação), nível LCU/CTU (Largest Coding Unit - Maior Unidade de Codificação ou Coded Tree Unit - Unidade de Árvore de Código), múltiplo de nível LCU, nível de corte ou nível de figuração. Uma pessoa pode sinalizar índices de filtros de luma e croma separadamente ou os mesmos podem compartilhar a mesma sintaxe. A tabela 3 mostra um exemplo de como a decisão de filtro de desbloqueio poderia ser indicada como parte de um fluxo de dados de RPU. TABELA 3: SINTAXE DE FILTRO DE DESBLOQUEIO

[0045] Na tabela 3, o filter_idx específica o índice de filtro para componentes de luma e croma. Para luma, filter_idx igual a 0 específica nenhuma filtragem. filter_idx igual a 1 específica filtragem fraca e filter_idx igual a 2 específica filtragem forte. Para croma, filter_idx igual a 0 ou 1 específica nenhuma filtragem e filter_idx igual a 2 específica filtragem normal.

DESLOCAMENTO ADAPTATIVO DE AMOSTRAS (SAMPLE ADAPTIVE OFFSET - SAO)

[0046] O SAO é um processo que modifica, através de uma tabela de consulta, as amostras após o filtro de desbloqueio (DF). Como ilustrado na Figura 2A e na Figura 2B, o mesmo é apenas parte do padrão HEVC. O objetivo do SAO é melhor reconstruir as amplitudes de sinal originais com o uso de uma tabela de consulta que é descrita por alguns parâmetros adicionais que podem ser determinados pela análise do histograma, no lado do codificador. Em uma modalidade, a RPU pode processar o bloqueio/não desbloqueio da figuração de referência entre camadas a partir da camada base AVC com o uso do processo SAO exato, como descrito em HEVC. A sinalização pode ser baseada pela região, adaptada pelo nível CTU (LCU), múltiplos níveis LCU, um nível de corte ou um nível de figuração. A tabela 4 mostra uma sintaxe exemplificativa para comunicação de parâmetros SAO. Na tabela 4, a sintaxe de notação é a mesma descrita na especificação HEVC. TABELA 4: SINTAXE DE DESLOCAMENTO ADAPTATIVO DE AMOSTRAS

FILTRO ADAPTATIVO DE LOOP (ALF)

[0047] Durante o desenvolvimento do HEVC, um filtro adaptativo de loop (ALF) também foi avaliado como um bloco de processamento que segue o SAO; entretanto, o ALF não faz parte da primeira versão do HEVC. Visto que o processamento ALF pode melhorar a codificação entre camadas, se implementado por um codificador futuro, o mesmo é outra etapa de processamento que também poderia ser implementada pela RPU. A adaptação do ALF pode ser baseada pela região, adaptada pelo nível CTU (LCU), múltiplos de nível LCU, um nível de corte ou um nível de figuração. Um exemplo de parâmetros de ALF é descrito por alf_picture_info() em, "High efficiency vídeo coding (HEVC) text specification draft 7," por B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm, e T. Wiege, no documento JCTVC-J1003 da equipe Joint Collaborative Team on Video Coding (JCT-VC) de ITU- T/ISO/IEC, maio de 2012, que é incorporado ao presente documento em sua totalidade a título de referência.

VARREDURAS ENTRELAÇADAS E PROGRESSIVAS

[0048] O AVC suporta ferramentas de codificação tanto para conteúdo progressivo quanto para entrelaçado. Para sequências entrelaçadas, o mesmo permite tanto codificação de quadro quanto codificação de campo. Em HEVC, não há a presença de ferramentas de codificação explícita para suportar o uso de varredura entrelaçada. OHEVC fornece apenas sintaxe de metadados (sintaxe de mensagem SEI indicação de campo e VUI) para permitir que um codificador indique como o conteúdo entrelaçado foi codificado. Os seguintes cenários são considerados.

CENÁRIO 1: TANTO A CAMADA BASE QUANTO A CAMADA DE ENRIQUECIMENTO SÃO ENTRELAÇADAS

[0049] Para esse cenário, vários métodos podem ser considerados. Em uma primeira modalidade, o codificador pode ser forçado a mudar a codificação de camada base em um modo de quadro ou campo apenas por uma base de sequência. A camada de enriquecimento seguirá a decisão de codificação da camada base. Ou seja, se a camada base AVC usar codificação de campo em uma sequência, a camada de enriquecimento HEVC também usará a codificação de campo na sequência correspondente. Do mesmo modo, se a camada base AVC usar codificação de quadro em uma sequência, a camada de enriquecimento HEVC também usará a codificação de quadro na se-quência correspondente. Nota-se que, para codificação de campo, a re-solução vertical sinalizada na sintaxe AVC é a altura do quadro; entretanto, em HEVC, a resolução vertical sinalizada na sintaxe é a altura do campo. Especial atenção precisa ser dada em comunicar essas informações no fluxo de bits, especialmente se uma janela de corte for utilizada.

[0050] Em outra modalidade, o codificador AVC pode usar codificação de quadro ou campo adaptativa de nível de figuração, ao passo que o codificador HEVC realiza codificação de quadro ou campo adap- tativa de nível de sequência. Em ambos os casos, a RPU pode processar figurações de referência entre camadas em uma das seguintes maneiras: a) a RPU pode processar a figuração de referência entre camadas como campos, independentemente da decisão de quadro ou codificação de campo na camada base AVC, ou b) a RPU pode adap-tar o processamento das figurações de referência entre camadas com base na decisão de codificação de quadro/campo na camada base AVC. Ou seja, se a camada base AVC for codificada a quadro, a RPU processará a figuração de referência entre camadas como um quadro, caso contrário, processará a figuração de referência entre camadas como campos.

[0051] A Figura 4 retrata um exemplo de cenário 1. A notação Di ou D p indica uma taxa de quadro e se o formato é entrelaçado ou progressivo. Dessa forma, Di indica D quadros entrelaçados por segundo (ou 2D campos por segundo) e Dp indica D quadros progressivos por segundo. Nesse exemplo, a camada base compreende uma definição padrão (SD) 720x480, sequência 30i, codificada com o uso de AVC. A camada de enriquecimento é uma sequência 60i de alta definição (HD) 1920x1080, codificada com o uso de HEVC. Esse exemplo incorpora escalabilidade codec, escalabilidade temporal e escalabilidade espaci-al. A escalabilidade temporal é administrada pelo decodificador de ca-mada de enriquecimento HEVC com o uso de uma estrutura hierárqui-ca apenas com predição temporal (esse modo é suportado pelo HEVC em uma camada única). A escalabilidade espacial é manipulada pela RPU que ajusta e sincroniza cortes de campo/quadro de referência entre camadas com seus cortes de campo/quadro correspondentes na camada de enriquecimento.

CENÁRIO 2: A CAMADA BASE É ENTRELAÇADA E A CAMADA DE ENRIQUECIMENTO É PROGRESSIVA

[0052] Nesse cenário, a camada base AVC é uma sequência en-trelaçada e a camada de enriquecimento HEVC é uma sequência pro-gressiva. A Figura 5A retrata uma modalidade exemplificativa em que um sinal de entrada 4K 120p 502 é codificado como três camadas: um fluxo BL 1080 30i (532), um primeiro fluxo de camada de enriqueci-mento (EL0) 537, codificado como 1080 60p, e um segundo fluxo de camada de enriquecimento (EL1) 517, codificado como 4K 120p. Os sinais BL e EL0 são codificados com o uso de um codificador H.264/AVC enquanto o sinal EL1 pode ser codificado com o uso de HEVC. No codificador, começando com um sinal 120p de alta resolu-ção, de alto quadro 4K 502, o codificador aplica subamostragem tem-poral e espacial 510 para gerar um sinal 60p progressivo 1080 512. Com o uso de uma técnica progressiva a desentrelaçamento comple-mentar 520, o codificador também pode gerar dois sinais entrelaçados, BL 522-1 e EL0 522-2, complementares, 1080 30i. Para uso na pre-sente invenção, o termo "técnica progressiva a desentrelaçamento complementar" indica um esquema que gera dois sinais entrelaçados a partir da mesma entrada progressiva, em que ambos os sinais entre-laçados têm a mesma resolução, mas um sinal entrelaçado inclui os campos do sinal progressivo que não fazem parte do segundo sinal entrelaçado. Por exemplo, se o sinal de entrada no tempo Ti, i=0, 1,...., n, estiver dividido entre campos entrelaçados superior e inferior (Supe- rior-Ti, Inferior-Ti), então o primeiro sinal entrelaçado pode ser constru-ído com o uso de (Superior-T0, Inferior-T1), (Superior-T2, Inferior-T3), etc., enquanto que um segundo sinal entrelaçado pode ser construído com o uso de campos restantes, ou seja: (Superior-T1, Inferior-T0), (Superior-T3, InferiorT2), etc..

[0053] Nesse exemplo, o sinal BL 522-1 é um sinal entrelaçado compatível com versões anteriores que pode ser decodificado por de- codificadores legado enquanto o sinal EL0 522-2 representa as amos-tras complementares do sinal progressivo original. Para a composição final da figuração da taxa de quadro integral, cada figuração de campo reconstruída a partir do sinal BL precisa ser combinada com uma figu-ração de campo dentro da mesma unidade de acesso, mas com pari-dade de campo oposta. O codificador 530 pode ser um codificador AVC que compreende dois codificadores AVC (530-1 e 530-2) e um processador de RPU 530-3. O codificador 530 pode usar processa-mento entre camadas para comprimir o sinal EL0 com o uso de qua-dros de referência a partir de ambos os sinais BL e EL0. A RPU 530-3 pode ser usada para preparar os quadros de referência BL usados pelo codificador 530-2. A mesma também pode ser usada para criar o sinal progressivo 537, a ser utilizado para codificação do sinal EL1 502 pelo codificador EL1 515.

[0054] Em uma modalidade, um processo de amostragem superior na RPU (535) é usado para converter a saída 1080 60p 537 da RPU 530-3 em um sinal 4K 60p a ser usado pelo codificador HEVC 515 durante a predição entre camadas. O sinal EL1 502 pode ser codificado com o uso de escalabilidade temporal e espacial para gerar um fluxo 120p 4K comprimido 517. Os decodificadores podem aplicar um processo semelhante para decodificar tanto um sinal 1080 30i, quanto um sinal 1080 60p ou 4K 120p.

[0055] A Figura 5B retrata outra implementação exemplificativa de um sistema entrelaçado/progressivo, de acordo com uma modalidade. Esse é um sistema de duas camadas em que um sinal de camada ba-se 1080 30i 522 é codificado com o uso de um codificador AVC 540 para gerar um fluxo BL codificado 542 e um sinal de camada de enri-quecimento 502 4K 120p é codificado com o uso de um codificador HEVC 515 para gerar um fluxo EL codificado 552. Esses dois fluxos podem ser multiplexados para formar um fluxo de bits codificado que pode ser escalado 572.

[0056] Como ilustrado na Figura 5B, a RPU 560 pode compreender dois processos: um processo de desentrelaçamento, que converte um sinal BL 522 em um sinal 1080 60p e, um segundo processo de amostragem superior para converter o sinal 1080 60p novamente em um sinal 60p 4K, de modo que a saída de RPU possa ser usada como um sinal de referência durante a predição entre camadas no codificador 515. CENÁRIO 3: A CAMADA BASE É PROGRESSIVA E A CAMADA DE ENRIQUECIMENTO É ENTRELAÇADA

[0057] Nesse cenário, em uma modalidade, a RPU pode converter a figuração de referência entre camadas progressiva em uma figuração entrelaçada. Essas figurações entrelaçadas podem ser processadas pela RPU como a) sempre como campos, independente se o codi- ficador HEVC usa um quadro com base em sequência ou codificação de campo, ou como b) campos e quadros, dependendo do modo usado pelo codificador HEVC. A tabela 5 retrata uma sintaxe exemplifica- tiva que pode ser usada para orientar a RPU de decodificador sobre o processo do codificador. TABELA 5: SINTAXE DE PROCESSAMENTO ENTRELAÇADO

[0058] Na tabela 5, base_field_seq_flag igual a 1 indica que a sequência de vídeo codificada em camada base transmite figurações que representam campos. base_field_seq_flag igual a 0 indica que a sequência de vídeo codificada em camada base transmite figurações que representam quadros.

[0059] enh_field_seq_flag igual a 1 igual a 1 indica que a sequência de vídeo codificada em camada de enriquecimento transmite figurações que representam campos. enh_field_seq_flag igual a 0 indica que a sequência de vídeo codificada em camada de enriquecimento transmite figurações que representam quadros.

[0060] A tabela 6 mostra como uma RPU pode processar as figurações de referência baseadas em indicadores base_field_seq_flag ou enh_field_seq_flag. TABELA 6: PROCESSAMENTO DE RPU PARA SEQUÊNCIAS DE VARREDURA PROGRESSIVAS/ENTRELAÇADAS

ESCALABILIDADE DE MODELO DE CODIFICAÇÃO DE SINAL

[0061] A codificação gama é discutivelmente o modelo de codificação mais usado, devido à sua eficiência para representar imagens de faixa dinâmica (SDR) padrão. Em pesquisas recentes para imagens de faixa dinâmica elevada (HDR), foi constatado que, para vários tipos de imagem, outros modelos de codificação, tais como Quantizador de Percepção (Perceptual Quantizer - PQ) descrito em "Parameter values for UHDTV", uma proposta ao SG6 WP 6C, WP6C/USA002, por Craig Todd ou pedido de patente provisório no US 61/674.503, depositado em 23 de julho de 2012 e intitulado "Perceptual luminance nonlinearity-based image data exchange across different display capabilities," por Jon S. Miller et al., ambos incorporados no presente documento em sua totalidade, a título de referência, poderia representar os dados de forma mais eficiente. Portanto, é possível que um sistema de escalabi- lidade possa ter uma camada de conteúdo SDR que é codificada por gama e outra camada de conteúdo de faixa dinâmica elevada que é codificada com o uso de outros modelos de codificação de sinais.

[0062] A Figura 6 retrata uma modalidade em que a RPU 610 (por exemplo, a RPU 115 na Figura 1) pode ser definida para ajustar o quantizador de sinal da camada base. Dado um sinal BL 102 (por exemplo, 8-bits, sinal de vídeo SDR, codificado por gama em 4:2:0 Rec. 709), e um sinal EL 104 (por exemplo, sinal de vídeo HDR de 12- bit, codificado PQ em 4:4:4 em espaço de cor P3), o processamento na RPU 610 pode compreender: decodificação gama, outros mapea-mentos inversos (por exemplo, conversões de espaço de cor, conver-sões de profundidade de bits, amostragem de croma e similares) e quantização de percepção SDR a HDR (PQ). O método de decodifica- ção e codificação de sinal (por exemplo, gama e PQ) e o parâmetros relacionados podem fazer parte dos metadados que são transmitidos em conjunto com o fluxo de bits codificado ou podem ser parte de uma futura sintaxe HEVC. Tal processamento de RPU pode ser combinado com outro processamento relacionado a outros tipos de escalabilida- des, tais como, escalabilidade de profundidade de bits, formato de croma e espaço de cor. Como ilustrado na Figura 1, o processamento de RPU semelhante também pode ser realizado por um decodificador RPU durante a decodificação do fluxo de bits que pode ser escalado 127.

[0063] A extensão da escalabilidade pode incluir várias categorias, tais como: escalabilidade espacial ou SNR, escalabilidade temporal, escalabilidade de profundidade de bits e escalablidade de resolução de croma. Portanto, uma RPU pode ser configurada para processar figurações de referência entre camadas sob uma variedade de cenários de codificação. Para uma melhor compatibilidade codificador- decodificador, os codificadores podem incorporar sintaxe de fluxo de bits especiais relacionadas à RPU para orientar a RPU de decodifica- dor correspondente. A sintaxe pode ser atualizada em uma variedade de níveis de codificação, que incluem: o nível de corte, o nível de figu-ração, o nível GOP, o nível de cenário ou em um nível de sequência. A mesma também pode ser incluída em uma variedade de dados auxilia-res, tais como: o cabeçalho de unidade NAL, definição de parâmetro de sequência (Sequence Parameter Set - SPS) e suas extensões, SubSPS, definição de parâmetro de figuração (Picture Parameter Set - PPS), cabeçalho de corte, mensagem SEI ou um novo cabeçalho de unidade NAL. Visto que pode haver muitas ferramentas de processa-mento relacionadas à RPU, para maior flexibilidade e facilidade de im-plementação, em uma modalidade, propomos reservar um novo tipo de unidade NAL para a RPU fazê-la em um fluxo de bits separado. Sob tal implementação, um módulo de RPU separado é adicionado aos módulos de codificador e decodificador para interagir com a camada base e com uma ou mais camadas de enriquecimento. A tabela 7 mostra uma sintaxe exemplificativa de dados de RPU que inclui rpu_header_data() (mostrado na tabela 8) e rpu_payload_data() (mos-trado na tabela 9), em uma nova unidade NAL. Nesse exemplo, múlti-plas divisões são permitidas para autorizar decisões de desbloqueio e SAO com base em região. TABELA 7: SINTAXE DE DADOS RPU

[0064] Na tabela 8, o rpu_type específica o propósito do tipo de predição para o sinal de RPU. O mesmo pode ser usado para especifi-car diferentes tipos de escalabilidade. Por exemplo, rpu_type igual a 0 pode especificar escalabilidade espacial e rpu_type igual a 1 pode es-pecificar escalabilidade de profundidade de bits. A fim de combinar di-ferentes modos de escalabilidade, é ainda possível utilizar uma variável de mascaramento, tal como rpu_mask. Por exemplo, rpu_mask=0x01 (binário 00000001) pode indicar que apenas a escala- bilidade espacial é disponibilizada. rpu_mask=0x02 (binário 00000010) pode indicar que apenas a escalabilidade de profundidade de bits é disponibilizada. rpu_mask = 0x03 (binário 00000011) pode indicar que tanto a escalabilidade espacial quanto a escalabilidade de profundidade de bits são disponibilizadas.

[0065] deblocking_present_flag igual a 1 indica que a sintaxe relacionada ao filtro de desbloqueio está presente nos dados de RPU.

[0066] sao_present_flag igual a 1 indica que a sintaxe relacionada ao SAO está presente nos dados de RPU.

[0067] alf_present_flag igual a 1 indica que a sintaxe relacionada ao filtro ALF está presente nos dados de RPU.

[0068] num_x_partitions_minus1 sinaliza o número de divisões que são usadas para subdividir a figuração processada na dimensão horizontal na RPU.

[0069] num_y_partitions_minus1 sinaliza o número de divisões que são usadas para subdividir a figuração processada na dimensão vertical na RPU.

[0070] Em outra modalidade, em vez de usar o POC para sincronizar as figurações de camada base e de camada de enriquecimento, a sintaxe de RPU é sinalizada no nível da figuração, de modo que múlti-plas figurações possam reutilizar a mesma sintaxe de RPU, o que re-sulta em baixas despesas gerais de bits e possivelmente reduz a des-pesa geral de processamento em algumas implementações. Sob essa implementação, o rpu_id será adicionado na sintaxe da RPU. Em sli- ce_header(), o mesmo sempre se refere a rpu_id pra sincronizar a sin-taxe de RPU ao corte atual, em que a variável rpu_id identifica o rpu_data() que é denominado no cabeçalho de corte.

[0071] A Figura 7 retrata um exemplo de processo de codificação, de acordo com uma modalidade. Dada uma série de figurações (ou quadros), o codificador codifica uma camada base com um codificador BL com o uso de um primeiro padrão de compressão (por exemplo, AVC) (715). A seguir (720, 725), como retratado na Figura 2A e 2B, o processo de RPU 115, pode acessar figurações de camada base tanto antes quanto depois do filtro de desbloqueio (DF). A decisão pode ser tomada com base na otimização de RD (distorção de faixa) no proces-samento que a RPU executa. Por exemplo, se a RPU executa uma amostragem superior, que também pode ser usada no desbloqueio dos limites de bloco, então, a RPU pode apenas usar a camada base decodificada antes do filtro de desbloqueio e o processo de amostra-gem superior pode reter mais detalhes. A RPU pode determinar os pa-râmetros de processamento da RPU com base nos parâmetros de co-dificação BL e EL. Se necessário, o processo de RPU também pode acessar dados da entrada EL. Então, na etapa 730, a RPU processa as figurações de referência entre camadas de acordo com os parâmetros de processo de RPU determinados. As figurações entre camadas geradas (735) podem agora ser usadas pelo codificador EL com o uso de um segundo padrão de compressão (por exemplo, um codificador HEVC) para comprimir o sinal de camada de enriquecimento.

[0072] A Figura 8 retrata um exemplo de processo de decodifica- ção, de acordo com uma modalidade. Primeiro (810), o decodificador analisa a sintaxe de nível elevado do fluxo de bits de entrada para ex-trair os parâmetros de sequência e informações relacionadas à RPU. A seguir (820), o mesmo decodifica a camada base com um decodifica-dor BL de acordo com um primeiro padrão de compressão (por exem-plo, um decodificador AVC). Após decodificar o processo de RPU rela-cionado aos parâmetros (825), o processo de RPU gera figurações de referência entre camadas de acordo com esses parâmetros (etapas 830 e 835). Finalmente, o decodificador decodifica a camada de enri-quecimento com o uso de um decodificador EL que está em conformi-dade com um segundo padrão de compressão (por exemplo, um de- codificador HEVC) (840).

[0073] Dado o exemplo dos parâmetros de RPU definidos nas tabelas 1 a 9, a Figura 9 retrata um exemplo de processo de decodifica- ção de RPU, de acordo com uma modalidade. Primeiro (910), o decodificador extrai da sintaxe do fluxo de bits dados de nível elevado relacionados à RPU, tais como tipo RPU (por exemplo, rpu_type na Tabela 8), POC(), e pic_cropping(). O termo "tipo RPU" refere-se a subpro- cessos relacionados à RPU que precisam ser considerados, tais como: escalabilidade de padrão de codificação, escalabilidade espacial, es- calabilidade de profundidade de bits e similares, como discutido ante-riormente. Dado um quadro BL, corte e operações relacionadas ao ALF podem ser processadas primeiro (por exemplo, 915, 925). A seguir, após extrair o modo desentrelaçado ou entrelaçado necessário (930), para cada divisão, a RPU realiza o desbloqueio e as operações relacionadas ao SAO (por exemplo, 935, 940). Se o processamento adicional de RPU precisa ser realizado (945), então a RPU decodifica os parâmetros adequados (950) e, então, realiza as operações de acordo com esses parâmetros. Ao final desse processo, uma sequên-cia de quadros entre camadas está disponível para que o decodifica- dor EL decodifique o fluxo EL.

IMPLEMENTAÇÃO DE SISTEMA DE COMPUTADOR EXEMPLIFICA- TIVA

[0074] Modalidades da presente invenção podem ser implementadas com um sistema de computador, sistemas configurados em circuitos eletrônicos e componentes, um dispositivo de circuito integrado (IC), como um microcontrolador, um arranjo de portas programável em campo (FPGA), ou outro dispositivo lógico que pode ser programado ou configurado (PLD), um processador de sinal de tempo discreto ou de sinal digital (DSP), uma aplicação específica IC (ASIC), e/ou aparelho que inclua um ou mais de tais sistemas dispositivos ou componentes. O computador e/ou IC pode realizar, controlar ou executar instruções que se relacionam ao processamento de RPU, tais como aqueles descritos no presente documento. O computador e/ou IC pode compu-tar qualquer uma das variedades de parâmetros ou valores que se re-lacionam ao processamento de RPU, como descrito no presente do-cumento. As modalidades relacionadas à RPU podem ser implemen-tadas em hardware, software, firmware e várias combinações dos mesmos.

[0075] Determinadas implementações da invenção compreendem processadores de computador que executam instruções de software que fazem com que os processadores realizem um método da inven-ção. Por exemplo, um ou mais processadores em uma exibição, um codificador, um decodificador de sinais, uma transcodificador ou simi-lares podem implementar métodos de processamento de RPU como descritos acima, executando instruções de software em uma memória de programa acessível aos processadores. A invenção pode, ainda, ser fornecida na forma de um produto de programa. O produto de pro-grama pode compreender qualquer meio que transporta um conjunto de sinais que podem ser lidos por computador que compreendem ins-truções que, quando executadas por um processador de dados, façam com que o processador de dados execute um método da invenção. Os programas de produto, de acordo com a invenção, podem ser qualquer uma dentre uma ampla variedade de formas. O produto de programa pode compreender, por exemplo, meios físicos, tais como, mídia de armazenamento de dados magnéticos que incluem disquetes, unidades de disco rígido, mídia de armazenamento de dados ópticos, CD ROMs, DVDs, mídia de armazenamento de dados eletrônicos, que inclui ROMs, RAM flash e similares. Os sinais que podem ser lidos por computador no produto de programa podem, opcionalmente, ser com-primido ou criptografado.

[0076] Quando um componente (por exemplo, módulo de software, processador, conjunto, dispositivo, circuito, etc.) for denominado acima, salvo indicado em contrário, a referência àquele componente (incluindo a referência aos "meios") deve ser interpretada como incluindo, como equivalentes daquele componente, qualquer componente que desempenhe a função do componente descrito (por exemplo, que seja equivalente funcionalmente), incluindo componentes que não são es-truturalmente equivalentes à estrutura revelada que desempenha a função referida nas modalidades exemplificadas, ilustradas nesta in-venção.

EQUIVALENTES, EXTENSÕES, ALTERNATIVAS E DIVERSOS

[0077] As modalidades exemplificativas que se relacionam ao pro-cessamento de RPU e escalabilidade codec com base em padrões são, dessa forma, descritas. No relatório descritivo anteriormente mencionado, as modalidades da presente invenção foram descritas com referência a inúmeros detalhes específicos que podem variar de implementação para implementação. Dessa forma, o único e exclusivo indicador do que é esta invenção e do que é pretendido pelos reque-rentes que seja a invenção, é a definição, de acordo com as reivindi-cações, que resulta a partir deste pedido, na forma específica na qual tais reivindicações emitem, incluindo qualquer correção subsequente. Quaisquer definições expressamente descritas no presente documento, para termos contidos em tais reivindicações, deverão governar o significado de tais termos, como usado nas reivindicações. Portanto, nenhuma limitação, elemento, propriedade, característica, vantagem ou atributo que não esteja expressamente citado em uma reivindicação deverá limitar o escopo de tal reivindicação de algum modo. Con-sequentemente, o relatório descritivo e desenhos devem ser conside-rados em um sentido ilustrativo e não em um sentido restritivo.

Claims

1. Método para decodificar um fluxo de vídeo por meio de um decodificador, sendo que o método é caracterizado pelo fato de que compreende: receber um primeiro fluxo de vídeo codificado compreendendo uma camada de enriquecimento codificada em um primeiro modelo de codificação de sinal; acessar uma figuração de camada base em um segundo fluxo de vídeo codificado, em que o segundo fluxo de vídeo codificado é codificado separadamente em um segundo modelo de codificação de sinal, e em que o primeiro modelo de codificação de sinal é diferente do segundo modelo de codificação de sinal; receber um indicador de corte de figuração no primeiro fluxo de vídeo codificado que indica que os parâmetros de deslocamento de corte estão presentes; e em resposta ao recebimento do indicador de corte de figuração que indica que os parâmetros de deslocamento de corte estão presentes: acessar os parâmetros de deslocamento de corte; cortar uma ou mais regiões da figuração de camada base segundo os parâmetros de deslocamento de corte acessados para gerar uma figuração de referência cortada; e gerar uma figuração de referência para a camada de enriquecimento de acordo com a figuração de referência cortada, em que gerar uma figuração de referência para a camada de enriquecimento compreende ainda realizar um ou mais dentre: de acordo com parâmetros suplementares recebidos para predição entre camadas, (i) selecionar uma força do filtro de desbloqueio a partir de várias forças de filtro em conformidade com o referido primeiro modelo de codificação de sinal e aplicar o filtro de desbloqueio em repetição com a força de filtro selecionada; (ii) aplicar um processo de deslocamento adaptativo de amostras (SAO) do primeiro modelo de codificação de sinal de acordo com os parâmetros SAO recebidos; e (iii) aplicar o inverso do segundo modelo de codificação de sinal e, posteriormente, aplicar o primeiro modelo de codificação de sinal.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a figuração de camada base está em uma primeira resolução de espaço, e em que gerar a figuração de referência compreende escalonar a figuração de referência cortada, da primeira resolução de espaço para uma segunda resolução de espaço, de tal modo que a figuração de referência para a camada de enriquecimento esteja na segunda resolução de espaço.

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os parâmetros de deslocamento de corte são atualizados em uma base quadro a quadro, no fluxo de vídeo.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende, ainda, detectar que o indicador de corte de figuração está definido para um valor predeterminado.

5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que o valor predeterminado é 1.

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que os parâmetros de deslocamento de corte compreendem um deslocamento para a esquerda, um deslocamento para a direita, um deslocamento superior e um deslocamento inferior.

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o primeiro modelo de codificação de sinal compreende codificação PQ e o segundo modelo de codificação de sinal compreende codificação gama.

8. Decodificador para decodificar um fluxo de vídeo caracterizado pelo fato de que compreende: um ou mais processadores configurados para: receber um primeiro fluxo de vídeo codificado compreendendo uma camada de enriquecimento codificada em um primeiro modelo de codificação de sinal; acessar uma figuração de camada base em um segundo fluxo de vídeo codificado, em que o segundo fluxo de vídeo codificado é codificado separadamente em um segundo modelo de codificação de sinal, e em que o primeiro modelo de codificação de sinal é diferente do segundo modelo de codificação de sinal; receber um indicador de corte de figuração no fluxo de vídeo que indica que os parâmetros de deslocamento de corte estão presentes; e em resposta ao recebimento do indicador de corte de figuração que indica que os parâmetros de deslocamento de corte estão presentes: acessar os parâmetros de deslocamento de corte; cortar uma ou mais regiões da figuração de camada base segundo os parâmetros de deslocamento de corte acessados para gerar uma figuração de referência cortada; e gerar uma figuração de referência para uma camada de enriquecimento de acordo com a figuração de referência cortada, em que gerar uma figuração de referência para a camada de enriquecimento compreende ainda realizar um ou mais dentre: de acordo com parâmetros suplementares recebidos para predição entre camadas, (i) selecionar uma força do filtro de desbloqueio a partir de várias forças de filtro em conformidade com o referido primeiro modelo de codificação de sinal e aplicar o filtro de desbloqueio em repetição com a força de filtro selecionada; (ii) aplicar um processo de deslocamento adaptativo de amostras (SAO) do primeiro modelo de codificação de sinal de acordo com os parâmetros SAO recebidos; e (iii) aplicar o inverso do segundo modelo de codificação de sinal e, posteriormente, aplicar o primeiro modelo de codificação de sinal.

9. Decodificador, de acordo com a reivindicação 8, caracterizado pelo fato de que a figuração de camada base está em uma primeira resolução de espaço, e em que gerar a figuração de referência compreende escalonar a figuração de referência cortada, da primeira resolução de espaço para uma segunda resolução de espaço, de tal modo que a figuração de referência para a camada de enriquecimento esteja na segunda resolução de espaço.

10. Decodificador, de acordo com a reivindicação 8, caracterizado pelo fato de que os parâmetros de deslocamento de corte são atualizados em uma base quadro a quadro, no fluxo de vídeo.

11. Decodificador, de acordo com a reivindicação 8, caracterizado pelo fato de que compreende, ainda, detectar que o indicador de corte de figuração está definido para um valor predeterminado.

12. Decodificador, de acordo com a reivindicação 11, carac-terizado pelo fato de que o valor predeterminado é 1.

13. Decodificador, de acordo com a reivindicação 8, caracterizado pelo fato de que os parâmetros de deslocamento de corte compreendem um deslocamento para a esquerda, um deslocamento para a direita, um deslocamento superior e um deslocamento inferior.

14. Meio de armazenamento legível por computador acoplado a um ou mais processadores, caracterizado pelo fato de que tem instruções armazenadas no mesmo que, quando executadas por um ou mais processadores, fazem com que os um ou mais processadores executem operações que compreendem: receber um primeiro fluxo de vídeo codificado compreendendo uma camada de enriquecimento codificada em um primeiro modelo de codificação de sinal acessar uma figuração de camada base em um segundo fluxo de vídeo codificado, em que o segundo fluxo de vídeo codificado é codificado separadamente em um segundo modelo de codificação de sinal, e em que o primeiro modelo de codificação de sinal é diferente do segundo modelo de codificação de sinal; receber um indicador de corte de figuração no fluxo de vídeo que indica que os parâmetros de deslocamento de corte estão presentes; e em resposta ao recebimento do indicador de corte de figuração que indica que os parâmetros de deslocamento de corte estão presentes: acessar os parâmetros de deslocamento de corte; cortar uma ou mais regiões da figuração de camada base segundo os parâmetros de deslocamento de corte acessados para gerar uma figuração de referência cortada; e gerar uma figuração de referência para uma camada de enriquecimento de acordo com a figuração de referência cortada, em que gerar uma figuração de referência para a camada de enriquecimento compreende ainda realizar um ou mais dentre: de acordo com parâmetros suplementares recebidos para predição entre camadas, (i) selecionar uma força do filtro de desbloqueio a partir de várias forças de filtro em conformidade com o referido primeiro modelo de codificação de sinal e aplicar o filtro de desbloqueio em repetição com a força de filtro selecionada; (ii) aplicar um processo de deslocamento adaptativo de amostras (SAO) do primeiro modelo de codificação de sinal de acordo com os parâmetros SAO recebidos; e (iii) aplicar o inverso do segundo modelo de codificação de sinal e, posteriormente, aplicar o primeiro modelo de codificação de sinal.

15. Meio de armazenamento legível por computador, de acordo com a reivindicação 14, caracterizado pelo fato de que a figuração de camada base está em uma primeira resolução de espaço, e em que gerar a figuração de referência compreende escalonar a figuração de referência cortada, da primeira resolução de espaço para uma segunda resolução de espaço, de tal modo que a figuração de referência para a camada de enriquecimento esteja na segunda resolução de espaço.

16. Meio de armazenamento legível por computador, de acordo com a reivindicação 14, caracterizado pelo fato de que os parâmetros de deslocamento de corte são atualizados em uma base quadro a quadro, no fluxo de vídeo.

17. Meio de armazenamento legível por computador, de acordo com a reivindicação 14, caracterizado pelo fato de que compreende, ainda, detectar que o indicador de corte de figuração está definido para um valor predeterminado.

18. Meio de armazenamento legível por computador, de acordo com a reivindicação 17, caracterizado pelo fato de que o valor predeterminado é 1.

19. Meio de armazenamento legível por computador, de acordo com a reivindicação 14, caracterizado pelo fato de que os parâmetros de deslocamento de corte compreendem um deslocamento para a esquerda, um deslocamento para a direita, um deslocamento superior e um deslocamento inferior.