BR122020007529B1 - Conceito de codificação que permite o processamento paralelo, desmultiplexador de transporte e fluxo de bites de vídeo - Google Patents

Abstract

conceito de codificação que permite o processamento paralelo, desmultiplexador de transporte e fluxo de bites de vídeo. uma carga útil de sequência de bytes em bruto, que descreve uma imagem em pedaços, subfluxos ou placas wpp e codificada usando a codificação aritmética binária adaptativa de contexto, está subdividida ou cortada em parcelas com a continuação da adaptação de probabilidade de codificação aritmética binária adaptativa de contexto para além dos limites da parcela. através desta medida, os limites da parcela adicionalmente introduzidos dentro de pedaços, subfluxos ou tiles wpp não reduzem a eficiência da codificação entrópica destes elementos. por outro lado, porém, as parcelas são mais pequenas do que os pedaços originais, subfluxos ou tiles wpp e podem respetivamente ser transmitidas mais cedo, isto é, com menos atraso do que as entidades originais não cortadas, isto é, os pedaços, subfluxos ou tiles wpp. de acordo com outro aspeto, que pode ser combinado com o primeiro aspeto, as unidades nal de marcador de subfluxo são utilizadas dentro da sequência de unidades nal de um fluxo de bites de vídeo para permitir um desmultiplexador de transporte para atribuir dados de pedaços dentro das unidades nal aos correspondentes subfluxos ou tiles, de modo a poder, em paralelo, servir de decodificador multi-roscado com os correspondentes subfluxos ou tiles.

Description

[001] A presente invenção refere-se a conceitos de codificação que permitem um processamento paralelo, como no envolvimento HEVC, um desmultiplexador de transporte e um fluxo de bites de vídeo.

[002] A paralelização de codificador e decodificador é muito importante devido aos requisitos de processamento aumentados pelo padrão HEVC, assim como, pelo aumento esperado da resolução de vídeo. As arquiteturas de múltiplos núcleos estão a ficar disponíveis em uma ampla variedade de dispositivos eletrônicos modernos. Consequentemente, são necessários eficientes métodos para permitir o uso de arquiteturas de múltiplos núcleos.

[003] A codificação ou decodificação de LCUs ocorre em uma análise por varrimento, pela qual as probabilidades CABAC são adaptadas às especificidades de cada imagem. Existem dependências espaciais entre LCUs adjacentes. Cada LCU depende do seu vizinho esquerdo, acima, acima à esquerda e acima à direita, devido a diferentes componentes, por exemplo, vetor de movimento, predição, intra-predição e outros. De modo a permitir a paralelização na decodificação, estas dependências têm de ser normalmente interrompidas ou são interrompidas em aplicações da tecnologia atual.

[004] Foram propostos alguns conceitos de paralelização, nomeadamente o processamento da frente de onda, que usam pedaços entrópicos [3], operações de processamento paralelo da frente de onda (WPP), usando subfluxos [2] [4], [11] ou tiles [5]. O último não tem de ser necessariamente combinado com o processamento de frente de inda para permitir a paralelização na decodificação ou codificação. Deste ponto de vista, os tiles são idênticos a subfluxos WPP. O nosso motivador inicial para continuar a estudar o conceito de pedaços entrópicos é concretizar técnicas que reduzem a perda da eficiência de codificação, diminuindo assim o fardo sobre o fluxo de bites para abordagens de paralelização na codificação e decodificação.

[005] Para uma melhor compreensão, particularmente o uso de LCUs, é necessário olhar primeiro para a estrutura de H.264/AVC [1].

[006] Uma sequência de vídeo codificada em H.264/AVC consiste de séries de unidades de acesso que são recolhidas no fluxo da unidade NAL e usam apenas um conjunto de parâmetros de sequência. Cada sequência de vídeo pode ser decodificada independentemente. Uma sequência codificada consiste de uma sequência de imagens codificadas. Uma imagem codificada pode ser uma imagem inteira ou um campo único. Cada imagem é dividida em macro-blocos de tamanho fixo (em HEVC [5]: LCUs). Vário macro-blocos ou LCUs podem ser fundido em um pedaço. Uma imagem é, por isso, uma coleção de um ou mais pedaços. O objetivo desta separação de dados é permitir uma decodificação independente de amostras na área da imagem, que é representada pelo pedaço, sem usar os dados de outros pedaços.

[007] Uma técnica que é frequentemente chamada de “pedaços entrópicos” [3] é um fracionamento do pedaço tradicional em sub-pedaços adicionais. Especificamente, quer dizer formar pedaços de dados codificados entrópicos de um único pedaço. A disposição de pedaços entrópicos em um pedaço pode ter diferentes variedades. A mais simples é usar cada fila de LCUs/macroblocos em uma imagem como um pedaço entrópico. Em alternativa, as colunas ou regiões separadas podem ser utilizadas como pedaços entrópicos, que podem ser interrompidos e articulados uns com os outros, p. ex. pedaço 1 na Fig. 1.

[008] Um objetivo óbvio do conceito de pedaço entrópico é permitir o uso de CPU/GPU paralelo e arquiteturas de múltiplos núcleos, para melhorar o tempo do processo de decodificação, isto é, para acelerar o processo. O pedaço atual pode ser dividido em partições que podem ser analisadas e reconstruídas sem referência a outros dados de pedaços. Apesar de se poderem alcançar algumas vantagens com a abordagem de pedaços entrópicos, emergem algumas penalidades.

[009] O conceito de pedaços entrópicos foi estendido ao processamento de frente de onda de subfluxos (WPP), conforme proposto na [2], [10], [11] e parcialmente integrado em [5]. Aqui é definido o esquema de repetição dos subfluxos. Que têm uma inicialização do estado de entropia melhorada por linha comparada com pedaços entrópicos.

[010] O conceito de tile permite a separação da informação da imagem a codificar, ao mesmo tempo que cada tile possui a sua própria ordem da análise por varrimento. Um tile é definido por uma estrutura comum, que é repetida na imagem. Um tile também pode ter uma certa largura de coluna e altura de linha em termos de LCUs ou CUs.

[011] Os tiles podem ser codificados de modo independente e podem ser também codificados de modo a não precisarem de um processamento de união com outros tiles, para que essas tramas do decodificador possam processar tiles de uma Unidade de Acesso totalmente, ou pelo menos para alguns passos de operação de codificação, de modo independe, isto é, a codificação entrópica e codificação de transformação.

[012] Por isso, um tile permite fortemente correr codificadores de tiles, assim como decodificadores, total ou parcialmente independente, de um modo paralelo para cima, no último caso, p. ex. para o estágio de filtragem do codec HEVC.

[013] Para usar totalmente as técnicas de paralelização na corrente de captura, codificação, transmissão, decodificação e apresentação de um sistema de comunicação de vídeo ou sistemas idênticos, o transporte e o acesso dos dados entre os participantes de comunicação é um passo importante e demorado para toda a injeção de atraso extremo-a-extremo. Isto é especialmente um problema, se usar técnicas de paralelização, como tiles, subfluxos ou pedaços entrópicos.

[014] As abordagens de dados de subfluxos WPP implicam que os dados codificados das partições, se forem processados, não têm localidade de dados, isto é, um único encadeamento a decodificar a Unidade de Acesso, tem de saltar potencialmente grandes partes de memória para aceder a dados da próxima linha de subfluxo WPP. Um sistema de decodificação de encadeamento múltiplo tem de esperar para transmitir certos dados, isto é, subfluxos WPP, para trabalhar de um modo completamente paralelizado, explorando o processamento de frente de onda.

[015] No fluxo de vídeo, a permitir mais altas resoluções (Full-HD, QUAD- HD etc.) leva a maiores quantidades de dados que têm de ser transmitidos. Para cenários sensíveis ao tempo, os chamados Atrasos Baixos uso-caso, como conferências de vídeo (<145 ms) ou aplicações de jogos, (<40 ms) são precisos atrasos muito baixos extremo-a-extremo.

[016] Por isso, o tempo de transmissão torna-se em um fator crítico. Considere a ligação de carregamento de ADSL para uma aplicação de conferência de vídeo. Aqui, os chamados pontos de fluxo de acesso aleatório, normalmente estes referem-se a imagens I, serão os candidatos a causar um estrangulamento durante a transmissão.

[017] HEVC permite o chamado processamento Frente de Onda, assim como, o processamento de tiles no lado do codificador e no lado do decodificador. Isto é permitido pelo uso de pedaços entrópicos, subfluxos WPP ou mesmo uma combinação desses. O processamento paralelo é também permitido pela codificação e decodificação paralela de tiles.

[018] No caso “objetivo de não paralelização”, os dados de um pedaço inteiro seriam entregues de uma só vez, sendo assim o último CU dos pedaços acessível pelo decodificador se tiver sido transmitido. Isto não é um problema, se houver um decodificador encadeado único.

[019] No caso de encadeamento múltiplo, se puderem ser usados múltiplos CPUs ou núcleos, o processo de decodificação gostaria, porém, de começar assim que os dados codificados chegarem ao decodificador de Frente de Onda ou encadeamentos de decodificador de tiles.

[020] Assim sendo, seria favorável ter conceitos à mão que permitem reduzir o atraso de codificação em ambientes de processamento paralelos com menos sérias reduções na eficiência de codificação.

[021] Correspondentemente, a presente invenção tem por objetivo fornecer um conceito de codificação, um conceito de desmultiplexação de transporte e um fluxo de bites de vídeo, que permitem muito mais eficiência, uma codificação de baixo atraso em ambientes de processamento paralelos.

[022] Este objeto é conseguido pela questão das reivindicações independentes anexas.

[023] De acordo com um primeiro aspeto do presente pedido, uma carga útil de sequência de bytes em bruto que descreve uma imagem em pedaços, subfluxos WPP ou tiles e codificada usando a codificação aritmética binária adaptativa de contexto está subdividida ou cortada em parcelas com a continuação da adaptação de probabilidade de codificação aritmética binária adaptativa de contexto para além dos limites da parcela. Através desta medida, os limites da parcela adicionalmente introduzidos dentro de pedaços, subfluxos WPP ou tiles não reduzem a eficiência de codificação entrópica destes elementos. Por outro lado, porém, as parcelas são menores do que os pedaços originais, subfluxos WPP ou tiles e podem respectivamente ser transmitidas mais cedo, isto é, com menos atraso do que as entidades originais não cortadas, isto é, os pedaços, subfluxos WPP ou tiles.

[024] De acordo um outro aspeto, que pode ser combinado com o primeiro aspeto, as unidades NAL de marcador de subfluxo são utilizadas dentro da sequência de unidades NAL de um fluxo de bites de vídeo para permitir que um desmultiplexador de transporte atribua dados de pedaços dentro das unidades NAL aos correspondentes subfluxos ou tiles, de modo a poder, em paralelo, servir de decodificador de encadeamento múltiplo com os correspondentes subfluxos ou tiles.

[025] As implementações vantajosas são objeto das reivindicações dependentes. Além disso, as versões privilegiadas da presente invenção são explicadas em mais detalhe abaixo relativamente às figuras, entre as quais:

[026] a Fig.1 mostra uma esquemática que ilustra os possíveis compostos de pedaços entrópicos;

[027] a Fig.2 mostra uma esquemática que ilustra três tiles espalhados sobre três pedaços;

[028] a Fig.3 mostra a esquemática que ilustra um exemplo intercalar de trances de um esquema intercalar cíclico de parcelas de comprimento variável em quatro;

[029] a Fig.4 mostra uma esquemática que ilustra uma codificação, segmentação, intercalação e decodificação de dados de pedaços entrópicos;

[030] a Fig.5 mostra uma esquemática que ilustra um exemplo intercalar de trances do esquema intercalar cíclico de trances de comprimento variável em quatro, usando sempre códigos de marcador e a divulgação dos dados atuais do pedaço sobre múltiplas unidades NAL. Os códigos de marcador são usados, mesmo se a partição não estiver presente. Isto pode ser ainda mais melhorado, usando um identificador de parcelas, a seguir ao marcador, indicando o número de parcela. Isto prescinde da necessidade de enviar sempre um marcador, conforme exigido para o modo cíclico;

[031] a Fig. 6 mostra uma tabela de pseudo-códigos, ilustrando sintaxe de unidade;

[032] a Fig. 7 mostra uma tabela de pseudo-códigos, ilustrando uma sequência de sintaxe de conjunto de parâmetros;

[033] a Fig. 8 mostra uma tabela de pseudo-códigos, ilustrando uma sintaxe RBSP de camada de Pedaços de Baixo Atraso;

[034] a Fig. 9 mostra uma tabela de pseudo-códigos, ilustrando uma sintaxe de cabeçalho de pedaço;

[035] a Fig. 10 mostra uma tabela de pseudo-códigos, ilustrando uma sintaxe de marcador de subfluxos;

[036] a Fig. 11 mostra uma esquemática que ilustra um exemplo para um encapsulamento único de dados de pedaços entrópicos (AF é o Campo de Adaptação MPEG-2 TS);

[037] a Fig. 12 mostra uma esquemática que ilustra um exemplo para um encapsulamento único ES de dados de pedaços entrópicos;

[038] a Fig. 13 mostra uma esquemática que ilustra outro exemplo para um encapsulamento Empacotado Multi-ES de dados de pedaços entrópicos;

[039] a Fig. 14 mostra uma esquemática de diagrama de bloco, que ilustra um desmultiplexador de Transporte para ES único;

[040] a Fig. 15 mostra uma esquemática de diagrama de bloco, que ilustra um desmultiplexador de Transporte para multi-ES;

[041] a Fig. 16 mostra uma esquemática de diagrama de bloco, que ilustra um codificador;

[042] a Fig. 17 mostra uma esquemática de diagrama de bloco, que ilustra um decodificador;

[043] a Fig. 18 mostra um fluxograma de passos realizados pelos decodificador; e

[044] a Fig. 19 mostra uma esquemática que ilustra um exemplo para multi-ES, usando RTP.

[045] Para reduzir o tempo em que um encadeamento de decodificador paralelo pode iniciar e terminar os seus dados de uma imagem, as versões abaixo usam uma segmentação dos dados, estruturada para a paralelização, como dados de um ou mais tiles ou dados de um ou mais subfluxos WPP em pequenas parcelas através de uma abordagem intercalar de baixo atraso.

[046] Assim sendo, o codificador pode entregar dados, correspondentes a um conjunto em particular de LCUs ou pelo menos uma parte alinhada de bytes de um subfluxo ou tile ou partes suas em forma de uma parcela para o decodificador através do caminho de transmissão do codificador para o decodificador.

[047] Uma vez que as parcelas são menores do que todo o subfluxo WPP ou tile e/ou podem ser adaptadas à atual unidade de transferência máxima (MTU) do caminho de transmissão, de modo a que as parcelas de múltiplos subfluxos WPP ou tiles possam ser dispostas em uma unidade de transferência entre o codificador e decodificador, antes da finalização da unidade de acesso completa, a decodificação no lado de decodificação pode ser iniciada significativamente mais cedo do que se usar uma transmissão sequencial dos subfluxos WPP ou tiles completos de uma Unidade de Acesso.

[048] Isto resulta obviamente em uma transmissão mais rápida das parcelas e arranque mais cedo de um processo de decodificação paralelo no decodificador. A abordagem pode ser também aplicada para além de limites de imagem, no caso de o(s) próximo(s) pedaço(s) de imagem ou pedaço(s) entrópico(s) já puderem estar decodificados, p. ex., em um modo de frente de onda, com base no conhecimento de que a informação exigida para decodificar um pedaço entrópico de um imagem que se segue devido à disponibilidade e referências inter-imagem. Esses dados já decodificáveis de uma imagem que sucede na ordem de decodificação podem ser derivados a partir do comprimento máximo do vetor de movimento permitido/sinalizado ou da informação adicional no fluxo que indica as dependências de partes de dados para a(s) imagem/imagens precedentes, ou um esquema de referenciação fixado, indicando a posição usada sinalizada em uma posição de sequência fixa, como um conjunto de parâmetros.

[049] Uma imagem pode ser codificada com um pedaço entrópico por linha(s) (LCU) da unidade de codificação maior ou usando subfluxos WPP ou mesmo uma combinação como um subfluxo WPP por linha, que pode ainda estar incluído em um Pedaço Entrópico separada. Esse tipo de estrutura de dados é necessário para fazer uso da técnica de processamento de Frente de Onda no lado do decodificador. Ou podem ser usadas tiles para permitir o processamento paralelo.

[050] Durante o processo de codificação, o fluxo de bites de cada pedaço, que contém os dados de fluxos WPP ou tiles, pode ser dividido em parcelas de tamanho variável para corresponder ao tamanho máximo da unidade de transferência, entre codificador e decodificador. Depois, as parcelas resultantes são intercaladas e podem ser passadas à transmissão e colocadas em pacotes do tamanho MTU.

[051] Para permitir um processamento no lado do decodificador, antes ou depois de cada parcela, pode ser inserido um código de marcador. Um código de marcador apropriado para HEVC pode ser “0x00 00 02”, que até passaria a prevenção de emulação do código de arranque. Após recepção de um pacote que inclui múltiplas parcelas, o receptor ou decodificador podem analisar o fluxo de bites atualmente contidos durante o processo de prevenção de emulação do código de arranque para não exigir um passo de análise adicional. Pode haver, por exemplo, dois modos para a identificação da parcela. Pode haver sempre uma disposição cíclica das parcelas, a começar pela parcela com parcela_id (identificador de parcela) igual a 1 para a parcela com parcela_id igual a n. Isto pode guardar os dados de sinalização para o segundo método geral. Um método alternativo pode ser um cabeçalho específico a seguir ao marcador, indicando o parcela_id, p. ex. como um valor de bit 8.

[052] A desintercalação dos dados de parcela intercalada pode ser aplicada com base no conhecimento do número de parcelas por pacote, que pode ser um pacote de unidade NAL. Por isso, pode haver adicionalmente um mapeamento de subfluxos WPP ou tiles para parcelas. Este mapeamento pode ser implicitamente derivado do número de tiles/número de subfluxos WPP, ou pode ser sinalizado diretamente no CLP. O mapeamento é importante para o processo de desintercalação, de modo a que os dados de certos subfluxos WPP ou tiles possam ser identificados e servidos à frente de onda ou encadeamento de decodificador paralelo encarregue da decodificação do subfluxo WPP ou tile em questão.

[053] Para informar o decodificador sobre o uso do esquema de intercalação para o encapsulamento de baixo atraso, pode haver uma baixo_atraso_bandeira no cabeçalho de unidade NAL.

[054] Outro modo pode ser uma intercalação e desintercalação sobre a camada de transporte, isto é, fora do processo de decodificação talvez no RTP [8] [9] [0154] ou camada de Fluxo de Transporte MPEG-2 [7].

[055] Por isso, pode ser colocado um cabeçalho à frente do pacote, indicando a presença de uma parcela através de uma bandeira incluindo uma informação de tamanho em bytes por parcela presente. Uma vez que a camada de transporte é desacoplada do processo de decodificação, pode não haver necessidade de integrar um código de marcador, uma vez que a informação adicional da camada de transporte tem de ser, de qualquer modo, removida antes de passar esses dados para o decodificador. A camada de transporte registra depois também os dados para a entrega de fluxos de bites ao decodificador.

[056] Um cabeçalho de comprimento variável pode ser utilizado em uma camada de multiplexação extra. Esta camada de multiplexação também pode fazer parte de um codec e pode ser introduzida antes dos atual acesso dos Dados de Sequência de Bytes em Bruto (RBSP) no decodificador. Um esquema de cabeçalho pode ser encontrado na Fig. 3. Mas também pode haver um cabeçalho diretamente em frente a cada parcela, indicando o comprimento, assim como, do seu indicador. Onde continua a existir a necessidade de mapear o indicador para estruturas de fluxos de bites conforme já foi declarado antes.

[057] O tamanho da parcela pode ser também constante, p. ex. x bytes por parcela. Isto resulta em um esquema de multiplexação simples, como é apresentado na Fig. 4.

[058] O tamanho constante dos segmentos pode trazer um problema no fim do fluxo de bites devido ao seu tamanho variável.

[059] São possíveis duas soluções gerais. A primeira é uma geração de segmentos cíclicos de x-bytes (usualmente a representação do fluxo de bites do pedaço está alinhado com o byte) e o controle do consumo de bytes por cada motor de decodificador, isto é, o decodificador descobre a complementação de um pedaço entrópico ou incluindo um código de marcador.

[060] O segundo método é a sinalização de comprimentos de parcelas, se as parcelas forem de tamanho variável em um cabeçalho, conforme se pode ver na figura.

[061] O tamanho do segmento e o modo de intercalação podem ser sinalizados em uma mensagem SEI ou no CLP.

[062] O esquema de transmissão é apresentado na Figura 4.

[063] Outro método interessante é a utilização de códigos de finalização ou códigos de marcador no fim do conjunto de parcelas no pacote, como NAL ou pacote de pedaço. Neste caso, são possíveis segmentos de comprimento variável, sendo necessária uma análise completa do fluxo de bites. Para limitar aqui o acesso à memória, este processo de análise adicional para a multiplexação pode ser combinado com a análise de prevenção da emulação do código de arranque, exigido como primeiro passo antes de aceder aos dados RBSP contidos em uma unidade NAL. Este tipo de esquema de marcador é apresentado na Figura 5.

[064] A ideia aqui é dividir de modo intercalar uma estrutura de nível superior, como um pedaço atual, pedaço entrópico ou similar, na sua estrutura de dados de nível inferior contida, como subfluxos WPP ou tiles, enquanto intercala os dados em parcelas. Estas parcelas, pertencendo, cada uma, a uma estrutura de baixo nível, p. ex. um subfluxo WPP ou um tile específico, são intercaladas em um pacote de baixo atraso, que pode ser uma unidade NAL específica, uma unidade NAL com sinalização adicional através de uma bandeira de intercalação de baixo atraso ou mesmo um pedaço ou cabeçalho de pedaço de baixo peso que indica a abordagem de intercalação de baixo atraso através de uma bandeira ou o tipo de pedaço, conforme apresentado para a “unidade NAL #1” na figura, sendo assim o decodificador informado para aplicar uma função de gravação para um decodificador de encadeamento “único”, que está a usar um processamento sequencial das parcelas na ordem original/desintercalada no decodificador. Para dividir os dados de um pedaço atual como parcelas intercaladas sobre múltiplos pacotes para ganhar a característica de baixo atraso, uma camada de transporte pode fragmentar a unidade NAL que contém os dados intercalados de baixo atraso para pacotes de redes de tamanho máximo MTU. A fragmentação dos dados atuais do pedaço em múltiplas unidades NAL pode ser também diretamente aplicada pela camada de codificação, existindo assim a necessidade de sinalizar esse tipo de unidade NAL que contém a continuação de um pedaço, conforme apresentado na Fig. 5 para “unidade NAL #2”. Para detectar a finalização dos dados intercalados em múltiplos pacotes, como unidades NAL. Pode haver a necessidade de um código de finalização específico, como também é apresentado para “unidade NAL #2” na figura ou uma bandeira que indica a conclusão no pedaço ou cabeçalho NAL.

[065] No caso de perder os pacotes NAL, existe também a necessidade de detectar perdas. Isto pode ser aplicado por informação adicional no cabeçalho, p. ex. o cabeçalho de pedaço de baixo peso, como os primeiros MBs das parcelas contidas ou apenas de uma parcela específica #1. Possuindo informação como os desvios para os subfluxos WPP ou o atual tamanho da parcela, alguém pode também usar estes valores de tamanho (valores de desvio para um subfluxo WPP ou tile específico) para fazer uma verificação de sanidade depois de receber a unidade NAL com o código de finalização e as unidades NAL precedentes.

[066] Isto é, conforme descrito, as parcelas podem ser empacotados em pacotes 300 de modo a que cada pacote 300 compreenda uma parcela T# de cada subfluxo WPP ou tile da imagem, ou um subconjunto dos subfluxos WPP ou tiles da imagem (porque, por exemplo, um certo subfluxo WPP ou tile já foi completamente transportado através dos pacotes precedentes), dispostas por uma ordem # definida de entre os subfluxos WPP ou tiles, compreendendo cada pacote um cabeçalho 302 com a revelação das posições e/ou comprimentos das parcelas T# empacotados no respetivo pacote 300, ou marcadores 304 a separar as parcelas T# entre si dentro do respetivo pacote 300, em que o decodificador pode estar configurado para, ao receber a carga útil de sequência de bytes em bruto, usar a informação compreendida pelos cabeçalhos 302 ou os marcadores 304, de modo a aceder às parcelas dentro dos pacotes. Os pacotes 300a que compreendem as primeiras - de acordo com a ordem definida de entre os subfluxos WPP ou tiles - parcelas dos subfluxos WPP ou tiles da imagem, podem compreender um indicador 306 de características de atraso baixo, e os pacotes 300b que compreendem as segundas ou subsequentes - de acordo com a ordem definida de entre os subfluxos WPP ou tiles - parcelas T# dos subfluxos WPP ou tiles da imagem, podem compreender um indicador de continuação 308. Os pacotes 300 podem ser unidades NAL ou pedaços.

[067] Em seguida, é providenciado um exemplo para sinalizar a sintaxe e a semântica para a intercalação de baixo atraso em parcelas.

[068] No entanto, a divisão de dados de parcelas, como os dados de um subfluxo WPP ou tile, pode ser também aplicado no nível de pedaço ou abaixo, conforme declarado em cima.

[069] Agora, é apresentada uma abordagem, que pode ser combinada com a análise para a prevenção de emulação do código de arranque para reduzir passos de processamento adicionais. Por isso, é aplicada uma intercalação no nível RBSP do codec HEVC.

[070] Uma parcela pode ser vista como dividir dados RBSP em seções para serem intercaladas na seção de carga útil da unidade NAL para acesso a dados de baixo atraso. A finalização de uma parcela pode ser indicada pelo código 0x000002 e pode ser seguida por um identificador de parcela 8bit parcela_id. As parcelas podem ser intercaladas de modo cíclico, de modo a que o código final da parcela não seja seguida pelo parcela_id, que está implicitamente derivado. Os dados Rbsp em uma única parcela correspondem a dados de um tile, dados de subfluxo, dados de pedaço ou dados de um pedaço entrópico.

[071] Na sintaxe da unidade NAL, podem ser permitidos dois modos para a intercalação de baixo atraso conforme indicado pela “encapsulamento_bandeira de baixo atraso”, isto é a disposição cíclica das parcelas, assim como, uma indicação da parcela através de um identificador adicional “parcela_id” que segue o codificador de marcador através de uma bandeira, como a “cíclica_bandeira de baixo atraso” no cabeçalho da unidade NAL. Estas duas bandeiras podem estar também presentes no Conjunto de Parâmetros de Sequência ou mesmo no APS. Para as disposições de parcelas cíclicas, pode continuar a haver a necessidade de conhecer o número de parcelas durante a análise, conforme é providenciado no CLP como “núm_baixo_atraso_parcelas”.

[072] Na unidade NAL, os intercalados “LD_rbsp_byte”s são lidos pelo analisador, um gravador para a atual ordem RBSP sequencial no último para- ciclo na sintaxe NAL:

[073] Pode haver também uma sinalização explícita no CLP ou no APS para um tamanho fixo de parcelas ciclicamente dispostas conforme indicado no “baixo_atraso_parcela_comprimento_menos1”. O último não foi usado no exemplo da sintaxe da unidade NAL, mas é direto se tiver um empacotamento conforme apresentado na Fig. 4 em pelo menos na sintaxe da unidade NAL da Fig. 6, um empacotamento conforme apresentado na Fig. 5 e discutida acima era o básico.

[074] Para possibilitar esta característica de intercalação de parcelas sobre múltiplos pacotes, como pedaços e/ou unidades NAL, pode haver um requisito para uma memória temporária global, como a rede de LD_rbsp_byte para as parcelas, de modo a ter acesso repetido aos dados RBSP de unidades NAL já recebidas. Para permitir a resiliência de erros, depois de receber um código de finalização, ou se a soma do número de bytes recebidos para uma parcela for igual ao tamanho da parcela, que pode ser derivado dos valores de desvio conforme providenciado para os dados de parcela contidos, p. ex. dos dados relativos ao respetivo subfluxo WPP ou tile, da qual a parcela em questão faz parte.

[075] Uma condição importante para subfluxos WPP dispostos em parcelas intercaladas de baixo atraso é que uma parcela n+1 apenas consiga aceder a dados da parcela n, que já foram fornecidos na parcela n e já estão guardados ou disponíveis no decodificador.

[076] A sintaxe RBSP da camada do Pedaço de Baixo Atraso para reordenar/desintercalar ao nível do pedaço pode ser concebida do seguinte modo. Em particular, a sintaxe deve, nesse caso, ter quase o mesmo comportamento da camada da unidade NAL, mas a reordenação tem de ser definida ao nível do pedaço. A Fig. 8 mostra uma sintaxe RBSP de camada de Pedaços de Baixo Atraso.

[077] No caso de usar o cabeçalho do pedaço para empacotar as parcelas intercaladas, pode haver o requisito de indicar, ao nível de codec, se receber um novo pedaço, a não reposição do estado CABAC, uma vez que a codificação entrópica de parcelas de, p. ex. um subfluxo WPP, não deve ser interrompida. Não repor o CABAC em um pedaço é indicado como “não_cabac_reset_bandeira” no cabeçalho do pedaço. O cabeçalho de pedaço apresentado é adequado para pedaços de baixo atraso, devendo assim ser apresentadas as características entropia_pedaço. É apresentada uma correspondente sintaxe de cabeçalho do pedaço na Fig. 9.

[078] A camada de transporte permite a otimização da organização de dados reencaminhados para a(s) unidade(s) de decodificador com base no fato de um número de subfluxos/tiles/parcelas (na camada de transporte, nós assumimos uma entidade abstrata que pode ser representada por um subfluxo, um tile, parte de um subfluxo ou tile, ou uma parte do fluxo de bites que tem uma função idêntica, isto é, permite a decodificação paralela ou a renovação gradual do decodificador) poder ser processado na camada de codificação independentemente uns dos outros. Uma possibilidade é começar a enviar parcelas em paralelo para várias unidades de decodificação com atraso mínimo. O fluxo de bites consiste de uma sequência de unidades NAL que são os itens mais pequenos que podem ser individualmente manuseados na camada de transporte. Consequentemente, os seguintes métodos de manuseamento na camada de transporte baseiam-se em subfluxos/tiles/parcelas, que estão contidas em um pedaço separado ou em unidades de pedaços entrópicos NAL.

[079] A camada de transporte deve também otimizar o desempenho do decodificador e a resiliência de erros com base no fato de a camada de codificação usar uma renovação gradual de decodificador. Uma opção é prescindir de partes irrelevantes do fluxo de bites se houver partes anteriores do fluxo de bites que não foram corretamente recebidas, p. ex. devido a erros de transmissão, ou que nem sequer foram recebidas, p. ex. devido a um interruptor entre canais de transporte.

[080] Para permitir essa exploração/otimização, é sinalizada uma diferente informação na camada de transporte.

[081] A informação lateral geral é sinalizada, usando descritores:

[082] - O número de subfluxos/tiles, onde "1" significa que existe apenas um fluxo/tile que contém toda a imagem de vídeo ;

[083] - Informação comum a todos os subfluxos/tiles, p. ex. se todos os subfluxos/tiles tiverem o mesmo tamanho ou se os requisitos da memória temporária forem os mesmos;

[084] - Informação individual sobre cada subfluxo/tile, p. ex. se os subfluxos/tiles tiverem tamanho diferente ou se os seus requisitos de memória temporária diferirem;

[085] - Número de passos de renovação gradual do decodificador, em que "1" significa que não é utilizada a renovação gradual do decodificador;

[086] - Uma bandeira que indica se estes subfluxos/tiles permitem o processamento paralelo de baixo atraso;

[087] Se o número de subfluxos/tiles > 1, os elementos da sintaxe são inseridos no fluxo antes de cada bloco de dados que contém um certo subfluxo/tile. Estes elementos de sintaxe seguem a sintaxe da unidade NAL, mas usam um único tipo de unidade NAL que não é usado pela camada de codificação (p. ex. nal_unidade_tipo = 0x19 ou nal_unidade_tipo=0x1F), que passa a ser designado de marcadores de subfluxos.

[088] Estes elementos de sintaxe são utilizados como marcadores e transportam informação sobre o bloco de dados que segue pelo menos um campo de dados que identifica o subfluxo/tile.

[089] Se o número de passos de renovação gradual do decodificador > 1, estes elementos de sintaxe também transportam uma bandeira que indica se o subfluxo/tile está intra-codificada (permite a renovação gradual do decodificador).

[090] É apresentada uma correspondente sintaxe na Fig. 10. Podem ser aplicadas as seguintes restrições:

que pertence a uma imagem, incrementado por cada pedaço ou pedaço entrópico a mais que pertence à mesma imagem; é_intra : se ‘1’, a unidade NAL que se segue contém um pedaço intra-codificado ou um pedaço entrópico intra-codificado.

[091] Um método para o encapsulamento do fluxo de vídeo em uma multiplexação de transporte é apresentado na Fig. 11, onde cada pedaço ou pedaço entrópico é separadamente transportado em um número inteiro de pacotes de fluxo de transporte. Se o tamanho da carga útil não corresponder exatamente aos bytes disponíveis nos pacotes TS de tamanho fixo, o último pacote TS contém um campo de adaptação.

[092] Note-se que pode ser também providenciado um comportamento similar do Fluxo Elementar dos Fluxos de Transporte MPEG-2 por uma sessão RTP ou um fluxo RTP do Protocolo de Transporte em Tempo Real, conforme ilustrado na Fig. 19. No RTP [0149], um Fluxo de RTP (identificado pelo tipo de meio e tipo de carga útil como indicado no SDP [0153]) pode estar contido na sua própria sessão RTP, em que uma Sessão RTP é identificada pelo endereço de rede (IP), a porta (UDP), assim como, o identificador de origem (SSRC). Uma sessão de meio como indicado no SDP pode conter múltiplas sessões RTP, possuindo cada uma um diferente tipo de meio. Mas também é possível transportar o mesmo fluxo de meio (p. ex. vídeo) em diferentes fluxos RTP, onde os fluxos RTP podem estar contidos na mesma sessão RTP (análogo a 1. abaixo) ou pode estar contido nas suas próprias sessões RTP (análogo a 2. abaixo). A Fig. 19 ilustra o caso 2.

[093] Os formatos de carga útil RTP [0150] [0154] têm um número de ordem de decodificação (DON), que permite recuperar a ordem de decodificação das unidades NAL no receptor no caso de serem intencionalmente transmitidas fora da ordem de decodificação para efeitos de resiliência de erros, conforme descrito em [0150][0154]. Os marcadores adicionais MKR não são, por isso, necessários. No caso de parcelas de transporte dos subfluxos WPP ou tiles pela ordem pela qual ficam disponíveis a partir dos processos de codificação, o DON também pode ser utilizado para recuperar a ordem de parcelas antes de fornecê-las ao decodificador único.

[094] Mas neste caso, seria introduzido um atraso adicional no decodificador devido ao processo separado de desintercalação antes do processo de decodificação. O sistema descrito aqui pode providenciar as parcelas codificadas diretamente para os processos de decodificação dos diferentes subfluxos WPP ou tiles, enquanto os dados chegam ao receptor. A identificação das parcelas associada a um subfluxo WPP ou tile pode ser derivada pelo endereço de pedaços no cabeçalho de segmento do pedaço do segmento do pedaço e a ordem de transmissão dos pacotes conforme indicado pelo número de sequência RTP no cabeçalho RTP.

[095] Neste cenário, o DON é utilizado para a compatibilidade inversa, isto é, para decodificadores que não fornecem a capacidade melhorada de decodificar parcelas de subfluxos WPP ou tiles enviados fora da ordem de decodificação quando chegam. O envio de dados de parcelas fora da ordem de decodificação é apenas aplicada relativamente ao nível de subfluxos WPP ou tiles, isto é, nos dados transmitidos, as parcelas de um único subfluxo WPP ou tile são transmitidas por ordem de decodificação, sendo que os dados dos diferentes subfluxos WPP ou tiles estão intercalados.

[096] Há duas opções possíveis: 1. Todos os pedaços e pedaços entrópicos estão contidos no mesmo fluxo elementar, isto é, o mesmo PID é atribuído a todos os pacotes TS desse fluxo de vídeo; no texto que se segue este método é chamado de encapsulamento ES único. 2. Os diferentes PIDs estão atribuídos a pedaços e pedaços entrópicos do mesmo fluxo de bites de vídeo; no texto que se segue este método é chamado de encapsulamento multi-ES.

[097] A Fig. 11 é válida para ambas as opções se a primeira opção for considerada um caso especial da estrutura mais generalista através da definição do mesmo PID para todos os ES.

[098] É apresentado na Fig. 12 um modo mais eficiente para o encapsulamento em um único ES. Aqui, é necessário, no máximo, um campo de adaptação por imagem.

[099] É apresentado na Fig. 13 um modo mais eficiente para o encapsulamento em um múltiplo ES. Aqui, os campos de adaptação são evitados; em vez disso, outro pedaço, p. ex. o tile colocado da imagem seguinte, começa imediatamente no mesmo pacote de fluxo de transporte.

[0100] Na Fig. 14 é apresentada uma possível estrutura do desmultiplexador de transporte para o encapsulamento com um único fluxo elementar (ES) dirigido a um decodificador de múltiplo encadeamento. O pedaço entrópico na figura pode conter dados de um subfluxo WPP ou tile específico.

[0101] A Memória Temporária de Transporte (TB) recolhe dados que pertencem a um pacote de transporte e reencaminha-os para a Memória Temporária de Multiplexação (MB). Na saída do MB, os cabeçalhos da unidade NAL são avaliados e prescinde-se dos marcadores de subfluxos, enquanto os dados transportados no marcador de subfluxo são guardados. Os dados de cada pedaço ou pedaço entrópico são guardados em uma Memória Temporária de Pedaços (SB) separada, de onde são puxados por um decodificador de múltiplos encadeamentos, assim que ficar disponível um encadeamento de decodificador.

[0102] Na Fig. 15 é apresentada uma possível estrutura do desmultiplexador de transporte para o encapsulamento com fluxos elementares múltiplos dirigidos a um decodificador de múltiplo encadeamento.

[0103] Os conceitos acima delineados são descritos novamente em baixo, mas por outras palavras. A descrição abaixo pode ser, por isso, combinada individualmente com detalhes adicionais da descrição acima.

[0104] A Fig. 16 mostra uma estrutura generalista de um codificador de acordo com um modelo do presente pedido. O codificador 10 podia ser implementado para ser capaz de operar em um modo de múltiplo encadeamento, isto é, apenas de encadeamento único. Isto é, o codificador 10 devia, por exemplo, ser implementado usando múltiplos núcleos CPU. Por outras palavras, o codificador 10 podia suportar um processamento paralelo, mas não tem de o fazer. O conceito de codificação do presente pedido permite aos codificadores de processamento paralelo aplicar eficazmente um processamento paralelo sem, porém, comprometer a eficácia da compressão. Relativamente à capacidade de processamento paralelo, são válidas declarações similares para o decodificador, que é descrito mais tarde relativamente à Fig. 17.

[0105] O codificador 10 é um codificador de vídeo, mas em geral o codificador 10 pode ser também um codificador de imagem. Uma imagem 12 de um vídeo 14 é apresentada como codificador de entrada 10 em uma entrada 16.

[0106] O codificador 10 é um codificador híbrido, isto é, a imagem 12 é prevista no preditor 18, e o residual de predição 20 tal como é obtido por um determinador residual 22, como por exemplo um subtrator, é sujeito a uma transformação, como por exemplo uma decomposição espectral como um DCT, e a uma quantização em um módulo de transformação/quantização 24. Um residual quantizado 26 assim obtido é sujeito à codificação entrópica em um codificador entrópico 28, nomeadamente a codificação aritmética binária adaptativa de contexto. A versão reconstruível do residual como disponível para o decodificador, isto é, o sinal residual desquantizado e retransformado 30, é recuperada por um módulo de retransformação e requantização 31, e combinada com o sinal de predição 32 do preditor 18 através do combinador 33, resultando assim em uma reconstrução 34 da imagem 12. No entanto, o codificador 10 opera em uma base de bloco. De acordo com isso, o sinal reconstruído 34 sofre de descontinuidades nos limites do bloco e correspondentemente, pode ser aplicado um filtro 36 ao sinal reconstruído 34 para rentabilizar uma imagem de referência 38, à base da qual o preditor 18 prediz subsequentemente imagens codificadas. Como se pode ver a tracejado na Fig. 16, o preditor 18 pode, porém, também explorar o sinal reconstruído 34 diretamente sem filtro 36 ou uma versão intermédia. No caso de codificação de imagem, pode prescindir-se do filtro 36.

[0107] O preditor 18 pode escolher entre diferentes modos de predição para predizer certos blocos da imagem 12. Pode haver um modo de predição temporal, de acordo com o qual um bloco é previsto com base em imagens previamente codificadas, um modo de predição espacial, de acordo com o qual um bloco é previsto com base nos blocos previamente codificados da mesma imagem, modos de predição inter-camadas, de acordo com o qual um bloco de uma imagem que mostra a cena em uma camada mais alta, como em uma resolução espacial mais alta ou de um outro ponto de vista, é previsto com base em uma imagem correspondente que mostra esta cena em uma camada mais baixa, como em uma resolução espacial mais baixa ou de um outro ponto de vista.

[0108] É utilizada uma certa sintaxe para compilar os dados residuais quantizados 26, isto é, níveis de coeficientes de transformação e outros dados residuais, assim como, os dados do modo de codificação incluindo, por exemplo, os modos de predição e parâmetros de predição para os blocos individuais da imagem 12 conforme determinado pelo preditor 18 e estes elementos de sintaxe são sujeito à codificação entrópica pelo codificador entrópico 28. Os fluxos de dados assim obtidos como saída pelo codificador entrópico 28 são chamados de carga útil de sequência de bytes em bruto 40.

[0109] Os elementos do codificador 10 da Fig. 16 estão interligados, como se pode ver na Fig. 16.

[0110] A Fig. 17 mostra um decodificador que se adapta ao codificador da Fig. 16, isto é, que é capaz de decodificar a carga útil de sequência dos bytes em bruto. O decodificador da Fig. 17 é geralmente indicado pelo sinal de referência 50 e compreende um decodificador entrópico 52, um módulo de retransformação/desquantização 54, um combinador 56, um filtro 58 e um preditor 60. O decodificador entrópico 42 recebe a carga útil de sequência de bytes em bruto 40 e realiza a decodificação entrópica usando a decodificação aritmética de binário adaptativa de contexto para recuperar o sinal residual 62 e os parâmetros de codificação 64. Os módulos de retransformação/desquantização 54 desquantiza e retransforma os dados residuais 62 e reencaminha o sinal residual, obtido assim para o combinador 56. O combinador 56 também recebe um sinal de predição 66 do preditor 60 que, por sua vez, forma o sinal de predição 66 usando os parâmetros de codificação 64 com base no sinal reconstruído 68 determinado pelo combinador 56 ao combinar o sinal de predição 66 e o sinal residual 65. Como já foi explicado acima relativamente à Fig. 16, o preditor 60 pode usar a versão filtrada do sinal reconstruído 68 ou alguma versão intermédia, em alternativa ou como complemento. A imagem por reproduzir e emitida finalmente na saída 70 do decodificador 50 pode igualmente ser determinada em uma versão não filtrada do sinal de combinação 68 ou alguma sua versão filtrada.

[0111] De acordo com o conceito de tile, a imagem 12 está subdividida em tiles e pelo menos as predições de blocos dentro destes tiles estão restringidas ao uso, como base para uma predição espacial, de dados meramente relacionados com o mesmo tile. Através desta medida, pelo menos a predição pode ser realizada em paralelo para cada tile individualmente. Para efeitos ilustrativos apenas, a Fig. 16 ilustra a imagem 12 como estando subdividida em nove tiles. A subdivisão de cada tile em novo blocos, como se pode ver Fig. 16, serve também meramente como exemplo. Além disso, para ficar completo, note-se que o modo de codificar os tiles separadamente pode não estar limitado à predição espacial (intra predição). Em vez disso, qualquer predição de parâmetros de codificação de um respectivo tile através dos limites do tile e qualquer dependência da seleção de contexto na codificação entrópica de um respectivo tile através dos respectivos limites do tile podem ser também proibida, de modo a ser limitada a ficar dependente apenas de dados do mesmo tile. Por conseguinte, o decodificador é capaz de realizar as operações mencionadas me paralelo, nomeadamente em unidades de tiles.

[0112] Para ser transmitido através de algum canal de transmissão, os elementos de sintaxe têm de ser entropicamente codificados pedaço a pedaço pelo codificador entrópico 28. Para este fim, o codificador entrópico 28 analisa os blocos dos tiles, atravessando os blocos de um primeiro tile em primeiro lugar e depois procede com os blocos do próximo tile por ordem de tiles e assim por diante. Uma análise por varrimento pode, por exemplo, ser usada para analisar os blocos dentro dos tiles e os tiles, respectivamente. Os pedaços são depois empacotados em unidades NAL, que são as unidades menores para transmissão. Antes de codificar entropicamente um pedaço, o codificador entrópico 28 inicializa as suas probabilidades CABAC, isto é, as probabilidades usadas para codificar aritmeticamente o elemento de sintaxe desse pedaço. O decodificador entrópico 52 faz o mesmo, isto é, inicializa as suas probabilidades nos inícios do pedaço. Cada inicialização, porém, afeta negativamente a eficiência da codificação entrópica, uma vez que as probabilidades são continuamente adaptadas às atuais estatísticas da probabilidade o símbolo dos vários contextos e a correspondente redefinição das probabilidades CABAC representa um desvio do estado adaptado. Como é do conhecimento de qualquer profissional na matéria, a codificação entrópica leva a uma compressão otimizada apenas se as probabilidades se adaptarem às atuais estatísticas de probabilidade do símbolo.

[0113] Correspondentemente, um decodificador, de acordo com uma versão do presente pedido, opera como se pode ver na Fig. 18. O decodificador recebe no passo 80 a carga útil da sequência de bytes em bruto que descreve uma imagem 12 em tiles 82, em parcelas de tiles. Na Fig. 18, o primeiro tile 82 na ordem de tiles 84 é apresentada, a título exemplificativo, cortada ou dividida em duas parcelas 86a e 86b, cada uma cobrindo a título de exemplo uma sub-sequência da sequência de blocos dentro do tile. Depois, no passo 82, as parcelas 86a e 86b estão entropicamente decodificadas. No entanto, na decodificação entrópica, as parcelas 86a e 86b, a adaptação das probabilidades CABAC é continuada para além dos limites da parcela. Isto é, durante a decodificação da parcela 86a, as probabilidades CABAC são continuamente adaptadas às atuais estatísticas do símbolo e o estado no fim da decodificação entrópica da parcela 86a é adaptado ao começar a decodificação entrópica da parcela 86b. No passo 90, a carga útil da sequência de bytes em bruto, assim entropicamente decodificado, é decodificada para obter a imagem 12.

[0114] Devido à contínua adaptação da probabilidade CABAC para além dos limites 92 da parcela posicionada nos tiles interiores 82, estes limites de parcela não afetam negativamente a eficiência da codificação entrópica para além da sub-divisão da imagem 12 em tiles 82. Por outro lado, é ainda possível o processamento paralelo do tile. Para além disso, é possível transmitir individualmente as parcelas e, como as parcelas são menores do que os tiles completos 82, é possível iniciar no passo 90 a decodificação de cada tile, assim que a primeira parcela do respectivo tile tiver sido recebida e entropicamente decodificada.

[0115] A descrição das Figs. 16 até 18 dizem principalmente respeito à utilização dos tiles. Tal como descrito acima, os tiles resultam de uma partição espacial de uma imagem. Similarmente aos tiles, os pedaços também subdividem espacialmente uma imagem. Os pedaços são, correspondentemente, também um meio para permitir a codificação/decodificação paralela. Similarmente aos tiles, a predição e assim por diante estão proibidas, de modo a que os pedaços possam ser individualmente decodificáveis. Correspondentemente, a descrição das Figs. 16 até 18 é também válida para dividir pedaços em parcelas.

[0116] O mesmo aplica-se quando se usa subfluxos WPP. Os subfluxos WPP também representam uma partição espacial de uma imagem 12, nomeadamente em subfluxos WPP. Ao contrário dos tiles e pedaços, os subfluxos WPP não impõem restrições a predições e seleções de contato através dos subfluxos WPP. Os subfluxos WPP estendem-se ao longo das filas de bloco, como filas LCU, como se pode ver na Fig. 4, e para permitir o processamento paralelo é apenas feito um compromisso relativamente à codificação entrópica CABAC pela ordem conforme definido de entre os subfluxos WPP (ver Fig. 4) 92 e para cada subfluxo WPP 92, exceto o primeiro subfluxo WPP, as probabilidades CABAC não são completamente repostas mas são adotadas ou definidas para serem iguais, resultando as probabilidades CABAC depois de ter entropicamente decodificado subfluxo WPP imediatamente anterior até ao segundo LCU 94 daí, com a ordem LCU a começar, para cada subfluxo WPP, no mesmo lado da imagem 12, como o lado esquerdo tal como está ilustrado na Fig. 4. Correspondentemente, o mesmo atraso de codificação cumpridor entre a sequência de subfluxos WPP, estes subfluxos WPP 92 são decodificáveis em paralelo, de modo a que as porções, às quais a imagem 12 é decodificada em paralelo, isto é, concorrentemente, forma um tipo de frente de onda 96 que se move através da imagem de um modo em tile da esquerda para a direita.

[0117] Isto é, ao transferir a descrição das Fig. 16 até 18 para subfluxos WPP, qualquer subfluxo WPP 92 (Fig. 4) pode ser também sub-dividido em parcelas 98a e 98b sem interromper a adaptação da probabilidade CABAC no limite 100 entre estas parcelas 98a e 98b no interior do respetivo subfluxo WPP 92, evitando assim penalidades no que diz respeito à eficiência da codificação entrópica devido à transmissibilidade individual de ambas as parcelas 98a e 98b, mas mantendo a capacidade de usar o processamento paralelo de frente de onda e permitir o arranque deste processamento paralelo de frente de onda mais cedo, uma vez que as parcelas são mais pequenas do que os subfluxos WPP 92 completos.

[0118] Tal como é descrito acima relativamente às Figs. 1 até 15, existem várias possibilidades para transmitir parcelas empacotados em unidades NAL. É feita referência à Fig. 3, onde os tiles ou subfluxos ou pedaços dessas parcelas ou subfluxos foram divididas em parcelas no domínio aritmeticamente codificado com um cabeçalho anterior à na parcela de cada subfluxo ou tile e apresentam informação que permite a localização dos limites da parcela. Outra versão era a apresentada na Fig. 9.

[0119] Aí a sub-divisão de tiles ou subfluxos WPP em parcelas foi feita pela mudança ligeira na estrutura do pedaço: os pedaços que começam em um limite de tile ou subfluxo WPP, isto é, que começam no início de um tile ou subfluxo WPP, têm o não_cabac_reset_bandeira definido para zero, causando assim a usual inicialização/reset da probabilidade CABAC. Os pedaços, porém, que carregam parcelas que começam no interior de um tile ou subfluxo WPP têm não_cabac_reset_bandeira definido para um, causando assim a continuação acima descrita da adaptação da probabilidade CABAC.

[0120] No que diz respeito à desintercalação, que se concretiza no passo de recepção 80, para cada parcela é determinado a que subfluxo WPP ou tile pertence a respectiva parcela. As diferentes possibilidades têm sido descritas acima como, por exemplo, um ciclo round-robin através do número de subfluxos WPP ou tiles de uma imagem atual. Em alternativa, no caso de usar cabeçalhos de pedaços para transportar as parcelas, os cabeçalhos de pedaços podem compreender uma indicação que permite a localização do início do respetivo pedaço dentro da imagem atual 12.

[0121] Relativamente a isto, note-se que a decomposição dos pedaços, subfluxos WPP ou tiles em parcelas é realizada ao longo de uma ordem, de decodificação dentro de cada pedaço, subfluxo WPP ou tile: isto é, dentro de cada pedaço, subfluxo WPP ou tile, a porção da imagem espacialmente coberta pelo respetivo pedaço, subfluxo WPP ou tile, é codificada em, ou decodificada de, o respetivo pedaço, subfluxo WPP ou tile por essa ordem de decodificação, e cada parcela de um respetivo pedaço, subfluxo WPP ou tile cobre uma porção contínua do respetivo pedaço, subfluxo WPP ou tile ao longo da ordem de decodificação. Deste modo, é definida uma ordem de entre parcelas que pertencem ao mesmo pedaço, subfluxo WPP ou tile, nomeadamente a ordem de codificação/decodificação, e cada parcela tem uma classificação dentro dessa ordem. Uma vez que a subdivisão da imagem em subfluxos WPP ou tiles é sinalizada para o decodificador, o decodificador está informado sobre as subdivisões. Correspondentemente, para associar cada parcela a um respetivo subfluxo WPP ou tile, por exemplo, é suficiente se cada parcela tiver um endereço de arranque que identifica uma posição inicial, a partir da qual a respectiva parcela cobre continuamente a imagem usando a ordem de codificação/decodificação para o tile/subfluxos WPP, da qual a respectiva parcela faz parte. Mesmo a ordem de entre as parcelas que pertencem a um certo tile ou subfluxo WPP, por exemplo, pode ser reconstruída em um desmultiplexador de transporte ou pelo decodificador usando as posições iniciais. No entanto, para reclassificar, pode ser utilizada também a informação dos cabeçalhos de pacote de transporte das camadas baixas OSI, conforme descrito acima relativamente às transmissões RTP, como o número da ordem de decodificação, isto é, DONs. Um desmultiplexador de transporte do tipo mencionado pode ser configurado de modo idêntico ao desmultiplexador de transporte acima discutido, para guardar dados de parcelas de subfluxo WPP ou tile igual em uma memória temporária de pedaços, e os dados de parcelas de subfluxos WPP ou tiles associaram diferentes subfluxos WPP ou tiles em diferentes memórias temporárias de pedaços. Tal como mencionado acima, a estrutura do pedaço, isto é, os cabeçalhos dos pedaços, pode ser utilizada para transportar parcelas.

[0122] De seguida, faz-se referência às versões das Figs. 11 até 15 para descrevê-las novamente por outras palavras. Tal como descrito nestas figuras, os pedaços Si são empacotados em unidades NAL com cada unidade NAL 110 (ver Fig. 11) a compreender um cabeçalho da unidade NAL 112. Note-se que os pedaços Si podem ser pedaços normais ou pedaços que carregam parcelas de acordo com a Fig. 9. Correspondentemente, estes pedaços unicamente carregam dados que dizem respeito a um subfluxo WPP ou tile de uma imagem atual, nomeadamente do subfluxo WPP ou tile, respectivamente. Através da fragmentação, as unidades NAL 110 são transportadas através de pacotes 114 de fluxos de transporte (TS), nomeadamente a seção de carga útil 116 disso. Ao fazê-lo, cada unidade NAL 110 e o correspondente pedaço Si é precedido por um respetivo marcador de subfluxo MKR que indica i, isto é, o subfluxo WPP ou tile, à qual pertence o pedaço imediatamente a seguir da unidade NAL 110 imediatamente a seguir.

[0123] As unidades NAL 110, que carregam pedaços que pertencem a diferentes subfluxos WPP ou tiles, podem ser distribuídas em mais do que um fluxo elementar ES ou para o mesmo fluxo elementar, conforme explicado nas Figs. 11 até 13. Conforme mencionado acima, o “fluxo elementar” pode também identificar um fluxo RTP separado na sua própria sessão RTP.

[0124] Tal como é explicado relativamente às Figs. 14 e 15, um desmultiplexador de transporte pode compreender uma memória temporária multiplex MB, memórias temporárias de pedaços SB e uma memória temporária de transporte TB. As memórias temporárias de pedaços SB são puxadas por um decodificador e encadeamento múltiplo que permite uma decodificação paralela de uma imagem em subfluxos ou tiles WPP; a memória temporária de transporte TB configurada para recolher dados que pertencem a um pacote TS de um fluxo elementar pré-determinado de um fluxo de bits de vídeo, e reencaminhar os dados para a memória temporária MB. O desmultiplexador de transporte é depois configurado para avaliar cabeçalhos da unidade NAL de unidades NAL de uma sequência de unidades NAL empacotados nos pacotes TS em uma saída da memória temporária MB, descartar MKR de unidades NAL de marcadores de subfluxo com armazenamento dos dados do marcador de subfluxo transportados dentro das unidades NAL de marcadores de subfluxo e guardar dados de pedaços de subfluxos ou tiles dentro de unidades NAL que seguem unidades NAL de marcadores de subfluxo, cujo campo de dados identifica um subfluxo ou paca WPP igual em um, isto é, a mesma, memória temporária de pedaços SB, e dados de pedaços de subfluxos ou tiles WPP dentro de unidades NAL que seguem unidades NAL de marcadores de subfluxos, cujo campo de dados identifica diferentes subfluxos ou tiles WPP em diferentes memórias temporárias de pedaços SB. Como se pode ver na Fig. 15, o desmultiplexador de transporte pode compreender um desmultiplexador chamado TS demux na Fig. 15, e está configurado para receber o fluxo de bites de vídeo e dividir pacotes TS do fluxo de bites de vídeo em diferentes fluxos elementares, isto é, distribuir os pacotes TS do fluxo de bites de vídeo aso diferentes fluxos elementares. O desmultiplexador realiza esta divisão ou distribuição de acordo com os PIDs contidos nos cabeçalhos TS do pacote TS, de modo a que cada fluxo elementar seja composto por pacotes TS de um PAD de pacotes TS de outros fluxos elementares.

[0125] Isto é, se os pedaços corresponderem às parcelas no sentido da versão da Fig. 9, o MTD, isto é, o decodificador de múltiplos encadeamentos é capaz de iniciar o processamento de mais do que um subfluxo WPP ou tile de uma imagem atual, assim que a correspondente memória temporária de pedaços SB do respetivo subfluxo WPP ou tile tem dados contidos, reduzindo assim o atraso.

[0126] Apesar de alguns aspetos terem sido descritos no contexto de um aparelho, é claro que estes aspetos também representam uma descrição do correspondente método, em que um bloco ou dispositivo corresponde a um passo de método ou a uma característica de um passo de método. De modo análogo, os aspetos descritos no contexto de um passo de método também representam uma descrição de um correspondente bloco ou item ou característica de um correspondente aparelho. Alguns ou todos os passos do método podem ser executados (ou usados) por um aparelho de hardware, com por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas versões, um ou mais dos mais importantes passos do método podem ser executados por um aparelho destes.

[0127] O fluxo de bites codificados da invenção pode ser guardado em um meio de armazenamento digital ou pode ser transmitido em um meio de transmissão, como um meio de transmissão sem fios ou um meio de transmissão com fios, como a Internet.

[0128] Estas contribuições acima descrevem, assim, entre outras coisas, métodos para encapsulamento de baixo atraso e transmissão de dados de vídeo estruturados conforme providenciado pelo novo padrão de codificação HEVC, como estruturado em tiles, subfluxos de processamento paralelo de frente de onda (WPP), pedaços ou pedaços entrópicos. Entre outras coisas, foram apresentadas técnicas que permitem o transporte de baixo atraso em um ambiente paralelizado de codificador - transmissor - receptor - decodificador através do transporte intercalado de pedaços entrópicos/pedaços/tiles /subfluxos. Para resolver os problemas de estrangulamento delineados na parte introdutória da especificação e para minimizar o atraso do tempo de transmissão e decodificação, isto é, o atraso extremo a extremo, foi apresentada uma técnica para um esquema de pedaços entrópicos intercalados para a transmissão e processamento paralelos.

[0129] Dependendo de certos requisitos de implementação, as versões da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada usando um meio de armazenamento digital, por exemplo uma disquete, um DVD, um Blu-Ray, um CD, um ROM, um PROM, um EPROM, um EEPROM ou uma memória FLASH, com sinais de controle de leitura eletrônica guardados lá, que cooperam (ou são capazes de cooperar) com um sistema de computador programável, de modo a que seja executado o respetivo método. Por isso, o meio de armazenamento digital pode ser lido em computador.

[0130] Algumas versões de acordo com a invenção compreendem um suporte de dados com sinais de controle de leitura eletrônica, que são capazes de cooperar com um sistema de computador programável, de modo a que seja executado um dos métodos aqui descritos.

[0131] De um modo geral, as versões da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, sendo o código de programa operativo para executar um dos métodos quando o produto do programa de computador corre em um computador. O código de programa pode, por exemplo, ser guardado em um suporte de leitura em máquina.

[0132] Outras versões compreendem o programa de computador para executar um dos métodos aqui descritos, guardados em um suporte de leitura em máquina.

[0133] Por outras palavras, uma versão do método da invenção é, por isso, um programa de computador com um código de programa para executar um dos métodos aqui descritos, quando o programa de computador corre em um computador.

[0134] Outra versão dos métodos da invenção é, por isso, um suporte de dados (ou um suporte de armazenamento digital, ou um suporte de leitura em computador) compreendendo, aí gravados, o programa de computador para executar um dos métodos aqui descritos. O suporte de dados, o suporte de armazenamento digital ou o suporte gravado são tipicamente tangíveis e/ou não transicionais.

[0135] Outra versão do método da invenção é, por isso, um fluxo de dados ou uma sequência de sinais que representam o programa de computador para executar um dos métodos aqui descritos.

[0136] O fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurado para ser transferido através de uma ligação de comunicação de dados, por exemplo via Internet.

[0137] Outra versão compreende um meio de processamento, por exemplo, um computador, ou um dispositivo lógico programável, configurado para ou adaptado para executar um dos métodos aqui descritos.

[0138] Outra versão compreende um computador com o programa de computador instalado para executar um dos métodos aqui descritos.

[0139] Outra versão de acordo com a invenção compreende um aparelho ou um sistema configurado para transferir (por exemplo, eletronicamente ou opticamente) um programa de computador para executar um dos métodos aqui descritos para um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou idêntico. O aparelho ou sistema pode, por exemplo, compreender um servidor de ficheiros para transferir o programa de computador para o receptor.

[0140] Em algumas versões, pode ser utilizado um dispositivo programável lógico (por exemplo uma rede de portas lógicas programáveis) para executar algumas ou todas as funcionalidades dos métodos aqui descritos Em algumas versões, uma rede de portas lógicas programáveis pode cooperar com um microprocessador para executar um dos métodos aqui descritos. De um modo geral, os métodos são preferencialmente executados por qualquer aparelho de hardware.

[0141] As versões acima descritas são meramente ilustradas para os princípios da presente invenção. Compreende-se que as modificações e variações das disposições e dos detalhes descritos serão evidentes aos profissionais da matéria. Pretende-se, por isso, que seja limitado apenas pelo âmbito das reivindicações de patente impendentes e não pelos detalhes específicos da descrição e explicação das versões aqui constantes. REFERÊNCIAS

[0142] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, ”Overview of the H.264/AVC Video Coding Standard”, IEEE Trans. Sist. Circuitos Tecnol. Video, vol. 13, N7, julho de 2003.

[0143] JCTVC-E196, “Wavefront Parallel Processing”, 5° Encontro JCT-VC, Genebra 2011.

[0144] JCTVC-D070, “Lightweight slicing for entropy coding”, 4° Encontro, Daegu, 2011.

[0145] JCTVC-D073, “Periodic initialization for wavefront coding functionality”, 4° Encontro, Daegu, 2011.

[0146] HEVC WD5: Rascunho 5 da Alta Eficiência da Codificação de Vídeo JTCVC-G1103, 5° Encontro JCT-VC, Genebra Encontro de novembro de 2011.

[0147] JTCVC-D243, "Analysis of entropy slices approaches", 4° Encontro, Daegu, 2011.

[0148] ISO/IEC 13818-1/2011, MPEG-2 Fluxo de Transporte incluindo AMDs 1 - 6.

[0149] IETF Protocolo de transporte em tempo real, RTP RFC 3550.

[0150] IETF RTP Formato Carga Útil, IETF RFC 6184.

[0151] JCTVC-F275, Frente de Onda e Escoamento Cabac: Diferentes Graus de Paralelismo Sem Transcodificação, Encontro de Torino

[0152] JCT-VC-F724, Frente de Onda Processamento Paralelo para HEVC Codificação e Decodificação, Encontro de Torino** no fim da descrição

[0153] IETF Protocolo de Descrição de Sessão (SDP), RFC 4566

[0154] IETF RTP Formato Carga Útil para Alta Eficiência da Codificação de Vídeo, draft-schierl-payload-h265.

Claims (6)

1. Demultiplexador de transporte caracterizado porser configurado para receber um fluxo contínuo de bits de vídeo que compreende carga útil da sequência de byte bruta que descreve uma figura em subfluxos contínuos WPP ou tiles e codificada usando CABAC, o fluxo contínuo de bits de vídeo sendo decomposto em parcelas dos subfluxos contínuos WPP ou tiles com adaptação de probabilidade CABAC contínua através das delimitações da parcela, em que cada parcela compreende informação que identifica, para cada parcela, a quais subfluxo contínuo WPP ou tile a respectiva parcela pertence, e para associar as parcelas aos subfluxos contínuos WPP ou aos tiles usando a informação.

2. Demultiplexador de transporte, de acordo com a reivindicação 1, caracterizado por, para cada parcela, a informação compreendida pela respectiva parcela compreender um endereço de uma posição de início na figura, início a partir do qual a respectiva parcela cobre continuamente uma parte do subfluxo contínuo WPP ou do tile aos quais a respectiva parcela pertence.

3. Demultiplexador de transporte, de acordo com qualquer uma das reivindicações 1 ou 2, caracterizado poro demultiplexador de transporte ser configurado para classificar, para cada subfluxo contínuo WPP ou tile, as parcelas dos mesmos usando um número de ordem de decodificação em cabeçalhos de pacote dos pacotes nos quais as parcelas são empacotadas.

4. Demultiplexador de transporte, de acordo com a reivindicação 1, caracterizado pora carga útil da sequência de byte bruta ter, codificada, uma cena em camadas correspondentes a diferentes pontos de visualização.

5. Demultiplexador de transporte, de acordo com a reivindicação 1, caracterizado pora carga útil da sequência de byte bruta ter, codificada na mesma, a figura em camadas.

6. Método para demultiplexação de transporte caracterizado por compreender receber um fluxo contínuo de bits de vídeo que compreende carga útil da sequência de byte bruta que descreve uma figura em subfluxos contínuos WPP ou tiles e codificada usando CABAC, o fluxo contínuo de bits de vídeo sendo decomposto em parcelas dos subfluxos contínuos WPP ou tiles com adaptação de probabilidade CABAC contínua através das delimitações da parcela, em que cada parcela compreende informação que identifica, para cada parcela, a quais subfluxo contínuo WPP ou tile a respectiva parcela pertence, e associar as parcelas aos subfluxos contínuos WPP ou aos tiles usando a informação.

Images