BRPI0407527B1

BRPI0407527B1 - Método para armazenar dados de mídia em buffer, método para decodificar o fluxo de imagem codificado em um decodificador, sistema, dispositivo de transmissão, dispositivo de recepção, sinal, módulo para recepção de fluxo de imagem codificado, processador, codificador e decodificador.

Info

Publication number: BRPI0407527B1
Application number: BRPI0407527-7A
Authority: BR
Inventors: Miska Hannuksela
Original assignee: Nokia Technologies Oy
Priority date: 2003-02-18
Filing date: 2004-02-17
Publication date: 2019-04-02
Also published as: CA2515354C; AU2004214313B2; JP2009124748A; EP1595405A1; KR20050099999A; WO2004075555A1; BRPI0407527A8; JP2006515137A; EP1595405B1; CA2515354A1; TWI268700B; TW200427311A; US8670486B2; RU2005129107A; MXPA05008404A; KR100711635B1; US20040223551A1; RU2375839C2; CN1751518B; AU2004214313A2

Abstract

"método, e, aparelho para decodificar e codificar o fluxo de imagem, método para armazenar os dados de mídia na memória, processador para processar o fluxo de mídia, módulo para receber o fluxo de imagem codificado, sinal transportando o sinal de mídia, e, programa de computador". a invenção relaciona a um método para armazenar a informação de multimídia, onde um parâmetro é definido, indicativo da quantia máxima das unidades de transmissão compreendendo os dados de multimídia que precedem qualquer unidade de transmissão compreendendo os dados de multimídia no fluxo de pacote na ordem de transmissão da unidade de transmissão e a seguir a unidade de transmissão compreende os dados de multimídia na ordem de decodificação. a invenção também relaciona a um sistema, a um dispositivo de transmissão, a um dispositivo de recepção, a um produto de programa de computador, a um sinal e a um módulo.

Description

A presente invenção relaciona a um método para armazenar a informação de multimídia. A Invenção também relaciona a um método para decodificar um fluxo de imagem 10 codificado no decodificador, no qual o fluxo da imagem codificado é recebido como unidades de transmissão compreendendo os dados multimídia. A invenção também relaciona a um sistema, a um dispositivo de transmissão, a um dispositivo de recepção, a um produto de programa de computador para armazenar as imagens codificadas, um produto de computador para decodificar o fluxo de imagem codificado, a um sinal e a um módulo, e um processador 15 para processar os dados de mídia no dispositivo receptor, um codificador e um decodificador.

Descrição da Técnica Anterior

Os padrões de codificação de vídeo publicados incluem o ITU-T H.261, ITU-T H263, ISSO/IEC MPEG-1, ISSO/IEC MPEG-2, e ISSO/IEC MPEG-4 Parte 2. Estes padrões são aqui 20 referenciados como os padrões de codificação de vídeo convencional.

Sistemas de Comunicação de Vídeo

Os sistemas de comunicação de vídeo podem ser divididos em sistemas conversacionais e não conversacionais. Os sistemas conversacionais incluem conferência de 25 vídeo e vídeo-telefonia. Exemplos de tais sistemas incluem as Recomendações ITU-T H.320, H.323 e H.324 que especificam um sistema de telefonia/conferência de vídeo operando respectivamente nas redes ISDN, IP, e PSTN. Os sistemas conversacionais são caracterizados pelo fato de minimizar o retardo de extremo-a-extremo (da captura de áudiovídeo para a apresentação de áudio-vídeo) de forma a melhorar a experiência do usuário.

Os sistemas não-conversacionais incluem a reprodução do conteúdo armazenado, tal como os Discos Versáteis Digitais (DVD, Digital Versatile Disks) ou os arquivos de vídeo armazenados em uma memória de massa do dispositivo de reprodução, TV, e streaming. Uma pequena revisão dos padrões mais importantes nestas áreas de tecnologia é dada 35 abaixo.

Petição 870190000229, de 02/01/2019, pág. 9/30 / 31

Hoje, o padrão dominante dos aparelhos eletrônicos de vídeo digital é o MPEG-2, que inclui as especificações para a compressão de vídeo, a compressão de áudio, armazenagem e transporte. A armazenagem e o transporte de vídeo codificado é baseado no conceito de um fluxo elementar. Um fluxo elementar consiste dos dados codificados de uma única fonte 5 (por exemplo, vídeo) mais os dados acessórios necessários para a sincronização, identificação e a caracterização da informação da fonte. Um fluxo elementar é empacotado nos pacotes de comprimento-constante ou de comprimento-varável para formar o Fluxo Elementar Empacotado (PES, Packetized Elementary Stream). Cada pacote PES dos vários fluxos elementares são combinados para formar o Fluxo do Programa (OS, Program Stream) 10 ou o Fluxo de Transporte (TS, Transport Stream). O propósito do PS é nas aplicações possuindo erros de transmissão insignificante, tal como o tipo de aplicação armazenar-ereproduzir. O propósito do TS é nas aplicações que são suscetíveis de erros de transmissão. Contudo, o TS assume que o tráfego de rede é garantido para ser constante.

O Joint Vídeo Team (JVT) do ITU-T e ISSO/IEC tem liberado a minuta do padrão que inclui o mesmo texto padrão com a Recomendação ITU-T H.264 e o Padrão Internacional ISSO/IEC 14496-10 (MPEG-4 Parte 10). O padrão da minuta é referenciado como padrão de codificação JVT neste papel, e o codec de acordo com o padrão da minuta é referenciado como o codec JVT.

A própria especificação do codec distingue conceitualmente entre a camada de codificação de vídeo (VCL, Vídeo Coding Layer), e a camada de abstração de rede (NAL, Network Abstraction Layer). O VCL contém a funcionalidade de processamento do sinal codec, coisas tal como transformada, quantização, busca/compensação de movimento, e o 25 filtro de laço. Isto segue o conceito geral da maioria dos codecs de vídeo de hoje, um codificador baseado no macrobloco que utiliza a predição de imagem inter com a compensação de movimento, e a codificação da transformada do sinal residual. A

Petição 870190000229, de 02/01/2019, pág. 10/30 / 31 saída do VCL é uma fatia: uma série de bits que contém os dados do macrobloco de um número inteiro de macroblocos, e a informação do cabeçalho da fatia (contendo o endereço espacial do primeiro macrobloco na fatia, o parâmetro de quantização inicial, e similar). Os macroblocos nas fatias são ordenados na ordem de varredura, a menos que uma aloação de 5 macrobloco diferente seja especificada, usando a sintaxe de Ordenação do Macrobloco Flexível. A predição dentro-imagem é usada dentro da fatia.

O NAL encapsula a saída da fatia do VCL nas Unidades de Camada de Abstração da Rede (NALUs, Network Abstraction Layer Units), que são adequadas para a transmissão 10 sobre as redes de pacote ou o uso nos modelos multiplexadores orientados a pacote. O Anexo B do JVT define um processo de encapsulamento para transmitir tal NALUs sobre as redes orientadas pelo fluxo de byte.

O modo de seleção de imagem de referência ótima do H. 263 e a ferramenta de 15 codificação NEWPRED do MPEG-4 Parte 2 possibilita a seleção do quadro de referência para a compensação de movimento para cada segmento da imagem, por exemplo, para cada fatia no H. 263. Em adição, o modo ótimo de Seleção de Imagem de Referência Melhorada do H.263 e o padrão de codificação JVT possibilitam a seleção do quadro de referência para casa macrobloco separadamente.

A seleção de imagem de referência possibilita vários tipos de esquemas de escalabilidade temporal. A Figura 1 apresenta um exemplo do esquema de escalabilidade temporal, que é aqui referenciado como escalabilidade temporal recursiva. O esquema exemplar pode ser decodificado com três taxas de quadro constantes, A Figura 2 descreve o 25 esquema referenciado como Codificação de Redundância de Vídeo, onde uma sequência de imagens é dividida em duas ou mais filas codificadas independentemente de uma maneira intercalada. As setas neste e em todas as figuras subsequentes indicam a direção de compensação do movimento e os valores abaixo dos quadros correspondem aos tempos de captura relativa e de exibição dos quadros.

Ordem de Transmissão

Nos padrões de codificação de vídeo convencional, a ordem de decodificação das imagens é a mesma da ordem de exibição para as imagens B. Um bloco na imagem B convencional pode ser predito temporalmente e

Petição 870190000229, de 02/01/2019, pág. 11/30 / 31

Bidirecionalmente das duas imagens de referência, onde uma imagem de referência é precedida temporalmente e a outra imagem de referência é sucedida temporalmente na ordem de exibição. Apenas a última imagem de referência na ordem de decodificação pode suceder a imagem B na ordem de exibição (Exceção: codificação intercalada no H.263 onde 5 ambos os campos de imagens de um quadro de referência temporalmente subsequente pode preceder uma imagem B na ordem de decodificação). Uma imagem B convencional não pode ser usada como uma imagem de referência para a predição temporal e então a imagem B convencional pode ser disposta sem afetar a decodificação de quaisquer outras imagens.

O padrão de codificação JVT inclui as características técnicas novas a seguir comparadas aos padrões anteriores:

- A ordem de decodificação das imagens é desacoplada da ordem de exibição. O número da imagem indica a ordem de decodificação e a conta da ordem da imagem indica a ordem de exibição.

- As imagens de referência para o bloco na imagem B podem ser antes ou após a imagem B na ordem de exibição. Consequentemente, a imagem B uma imagem bi-preditiva ao invés de uma imagem bidirecional.

- As imagens que não forem usadas como imagens de referência são marcadas 20 explicitamente. Uma imagem de qualquer tipo (inter, intra, B, etc) pode ser uma imagem de referência ou uma imagem de não referência. (Assim, a imagem B pode ser usada como uma imagem de referência para a predição temporal de outras imagens.).

- Uma imagem pode conter as fatias que são codificadas com um tipo de codificação diferente. Em outras palavras, a imagem codificada pode consistir de uma fatia intra- codificada e uma fatia B-codificada, por exemplo.

O desacoplamento da ordem de exibição da ordem de decodificação pode ser benéfico da eficiência de compressão e do ponto de vista de resiliência de erro.

Um exemplo da eficiência de compressão de melhoramento potencial da estrutura de predição é apresentado na Figura 3. As caixas indicam as imagens, as letras maiúsculas dentro das caixas indicam os tipos de codificação, os números dentro das caixas são números de imagem de acordo com o padrão de codificação JVT, e as setas

Petição 870190000229, de 02/01/2019, pág. 12/30 / 31

Indicam as dependências de predição. Note que a imagem B17 é uma imagem de referência para as imagens B18. A eficiência de compressão é potencialmente melhorada comparada à codificação convencional, por causa das imagens de referência para as imagens B18 serem temporalmente mais próximas comparadas à codificação convencional com os padrões de 5 imagem codificados PBBP ou PBBBP. A eficiência de compressão é potencialmente melhorada comparada ao padrão da imagem codificada PBP convencional, por causa de partes das imagens de referência serem preditas bidirecionalmente.

A Figura 4 apresenta um exemplo de método de adiamento da imagem intra que pode 10 ser usado para melhorar a resiliência de erro. Convencionalmente, uma imagem intra é codificada imediatamente após um corte de cena ou como uma resposta para um período de restauração de imagem intra expirado, por exemplo. No método de adiamento da imagem intra, a imagem intra não é codificada imediatamente após surgir a necessidade para codificar uma imagem intra, mas preferivelmente uma imagem subsequente temporalmente é 15 selecionada como uma imagem intra. Cada imagem entra a imagem intra codificada e a locação convencional de uma imagem intra é predita da próxima imagem subsequente temporalmente. A Figura 4 apresenta, o método de adiamento da imagem intra que gera duas cadeias independentes de predição de imagem inter, considerando que os algoritmos de codificação convencional produzem uma única cadeia de imagem inter. É intuitivamente claro 20 que a aproximação de duas cadeias é mais robusta aos erros de apagamento do que uma aproximação convencional de uma cadeia. Se uma cadeia sofre da perda de pacote, a outra cadeia pode ainda ser corretamente recebida. Na codificação convencional, a perda de pacote sempre ocasiona propagação de erro para o resto da cadeia de predição de imagem inter.

Dois tipos de informação de ordenação e de temporização têm sido associados convencionalmente com o vídeo digital: a ordem de decodificação e de apresentação. Uma olhada na tecnologia relacionada é descrita abaixo.

O protocolo de decodificação (DTS, Decoding Timestamp) indica o tempo relativo ao 30 clock de referência que a unidade de dados codificada é suposta para ser decodificada. Se o DTS for codificado e transmitido, este serve para dois propósitos.

Petição 870190000229, de 02/01/2019, pág. 13/30

6/31 • ·· · · ·

Primeiro, se a ordem de decodificação das imagens difere da sua ordem de saída, o DTS

indica explicitamente a ordem de decodificação. Segundo, o DTS garante um determinado procedimento de armazenagem do pré-decodificador, contanto que a taxa de recepção * esteja próxima da taxa de transmissão em qualquer momento. Nas redes, a latência de extremo-a-extremo varia, o segundo uso do DTS não produz ou produz pouca função. Ao invés, os dados recebidos são decodificados, tão rápido quanto possível, contanto que exista um compartimento na memória do pós-decodificador para as imagens nãocompactadas.

O comportamento do DTS depende do sistema de comunicação e do padrão de codificação de vídeo em uso. Nos Sistemas MPEG-2, o DTS pode opcionalmente ser transmitido como um item no cabeçalho do pacote PES. No padrão de codificação JVT, o

DTS pode opcionalmente ser carregado como uma parte da Informação de Melhoramento Suplementar (SEI, Supplemental Enhancement Information), e é usado na operação do Decodificador de Referência Hipotético. No Formato de Arquivo de Mídia Base ISO, o

DTS é dedicado ao seu próprio tipo de caixa, o Tempo de Decodificação para Caixa de Amostragem. Em vários sistemas, tal como o sistema streaming baseado em RTP, o DTS não de todo carregado, devido a ordem de decodificação assumida ser a mesma da ordem de transmissão e o tempo exato de decodificação não produzir uma função importante.

O Anexo U H.263 opcional e o Anexo W.6.12 especificam um número de imagem que é incrementado por 1 relativo a uma imagem de referência prévia na ordem de decodificação. No padrão de codificação JVT, o elemento de codificação do número do quadro é especificado similarmente com o número de imagem do H.263. O padrão de codificação JVT especifica um tipo particular de imagem intra, denominada de imagem de restauração instantânea do decodificador (IDR, Instantaneous Decoder Refresh).

Nenhuma imagem subseqüente pode referenciar às imagens que são anteriores a imagem IDR na ordem de decodificação. Uma imagem IDR é freqüentemente codificada como uma resposta à troca de cena. No padrão de codificação JVT, o número do quadro é reestabelecido para 0 na imagem IDR, de forma a melhorar a resiliência de erro no caso de perda da imagem IDR como é apresentado nas Figuras 5a e 5b. Contudo, deveria ser observado que a mensagem SEI de informação de cena do padrão de codificação JVT

7/31 *

• · · « · · · · ···«·· * · ··· · · • « · · · • · · • t· ♦

♦ ·· pode também ser usado para detectar as trocas de cena.

O número de imagem H.263 pode ser usado para recuperar a ordem de decodificação das imagens de referência. Similarmente, o número de quadro JVT pode ser usado para recuperar a ordem de decodificação dos quadros entre uma imagem IDR (inclusive) e na próxima imagem IDR (exclusivo) na ordem de decodificação. Contudo, por causa dos pares do campo de referência complementares (imagens consecutivas codificadas como campos que são de paridade diferente) compartilharem o mesmo número de quadro, sua ordem de decodificação não pode ser reconstruída dos números de quadro.

O número de imagem H.263 ou o número de quadro JVT de uma imagem de não-referência é especificado para ser igual à imagem ou o número de quadro da imagem de referência prévia na ordem de decodificação mais 1. Se várias imagens de nãoreferência forem consecutivas na ordem de decodificação, eles compartilham a mesma imagem ou o número do quadro. A imagem ou o número do quadro de uma imagem de não-referência é também a mesma da imagem ou do número do quadro da imagem de referência seguinte na ordem de decodificação. A ordem de decodificação das imagens de não-referência consecutivas pode ser recuperada usando o elemento de codificação de Referência Temporal (TR, Temporal Reference) no H.263 ou o conceito de Conta da Ordem de Imagem (POC, Picture Order Çount) do padrão de codificação JVT.

O protocolo de apresentação (PTS, Presentation Timestamp) indica o tempo relativo ao clock de referência quando a imagem é suposta para ser exibida. O protocolo de apresentação é também denominado de protocolo de exibição, de protocolo de saída, e de protocolo de composição.

O comportamento do PTS depende do sistema de comunicação e do padrão de codificação de vídeo em uso. Nos Sistemas MPEG-2, o PTS pode opcionalmente ser transmitido como um item no cabeçalho do pacote PES. No padrão de codificação JVT, o PTS pode opcionalmente ser carregado como uma parte da Informação de Melhoramento Suplementar (SEI). No Formato de Arquivo de Mídia Base ISO, o PTS é dedicado ao seu próprio tipo de caixa, Tempo de Composição para Caixa de Amostragem, onde o protocolo de apresentação é codificado relativo ao protocolo de decodificação correspondente. No RTP, o protocolo RTP no cabeçalho do pacote RTP corresponde ao / 31

PTS.

Os padrões de codificação de vídeo convencionais caracterizam o elemento de codificação de Referência Temporal (TR) que é similar ao PTS em vários aspectos. Em alguns 5 dos padrões de codificação convencional, tal como vídeo MPEG-2, o TR é restaurado para 0 no início do Grupo de Imagens (GOP, Group of Pictures). No padrão de codificação JVT, não existe o conceito de tempo na camada de codificação de vídeo. Contagem da Ordem de Imagem (POC) é especificado para cada quadro e o campo é usado similarmente para o TR na predição temporal direta das fatias B, por exemplo. O POC é restaurado para 0 a uma 10 imagem IDR.

Armazenagem

Os clientes streaming tipicamente têm a memória do receptor que é capaz de armazenar uma quantidade relativamente ampla de dados. Inicialmente, quando a sessão 15 streaming é estabelecida, o cliente não inicia a reprodução do retorno do fluxo imediatamente, mas preferivelmente e tipicamente armazena os dados entrantes por poucos segundos. Esta armazenagem ajuda a manter uma reprodução contínua, porque, no caso dos retardos ocasionais de transmissão aumentados alguns dados podem ser descartados, o cliente pode decodificar e reproduzir os dados armazenados. Caso contrário, sem a armazenagem inicial, 20 o cliente tem de congelar a exibição, para a decodificação, e esperar pelos dados entrantes.

A armazenagem é também necessária para a retransmissão automática ou seletiva em qualquer nível de protocolo. Se qualquer parte de uma imagem é perdida, o mecanismo de reprodução pode ser usado para re-enviar os dados perdidos. Se os dados retransmitidos são recebidos antes da sua decodificação programada ou do tempo de reprodução, a perda é 25 perfeitamente recuperada.

As imagens codificadas podem ser classificadas de acordo com a sua importância na qualidade subjetiva da sequência decodificada. Por exemplo, as imagens não-referência, tal como a imagens B convencionais, são subjetivamente menos importantes, por causa da sua 30 ausência não afetar a decodificação de quaisquer outras imagens. A classificação subjetiva pode também ser feita na partição de dados ou com base no grupo da fatia. As fatias codificadas e as partições de dados que são subjetivamente o mais importante podem ser enviadas antes da indicação de sua ordem de

Petição 870190000229, de 02/01/2019, pág. 14/30

9/31 *

·· · • · • · decodificação, considerando as fatias codificadas e as partições de dados que são subjetivamente o menos importante e que podem ser enviadas depois da sua indicação da ordem de codificação natural. Conseqüentemente, quaisquer partes retransmitidas da fatia mais importante e as partições de dados são mais comumente de serem recebidas antes da decodificação programada ou do tempo de reprodução comparado às fatias menos importantes e as partições de dados.

Armazenagem do Pré-decodificador

A armazenagem do Pré-decodificador refere-se à armazenagem dos dados codificados antes destes serem decodificados. A armazenagem inicial refere à armazenagem do pré-decodificador no início da sessão streaming. A armazenagem inicial é feita convencionalmente para as duas razões explicadas abaixo.

Nos sistemas de multimídia comutados por pacote conversacional, por exemplo, nos sistemas de vídeo conferência baseado em IP, diferentes tipos de mídia são normalmente carregados em pacotes separados. Além disso, os pacotes são tipicamente carregados no topo da rede de melhor-esforço que não pode garantir um retardo de transmissão constante, mas preferivelmente o retardo pode variar de pacote para pacote. Conseqüentemente, os pacotes tendo o mesmo protocolo de apresentação (reprodução) não podem ser recebidos ao mesmo tempo, e o intervalo de recepção de dois pacotes pode não ser o mesmo do seu intervalo de apresentação (em termos de tempo). Assim, de forma a manter a sincronização de reprodução entre diferentes tipos de mídia e para manter a taxa de reprodução correta, o terminal de multimídia tipicamente armazena os dados recebidos por um curto período (por exemplo, menos de meio segundo) de forma a suavizar a variação de retardo. Aqui, este tipo de componente de memória é referenciado como memória de flutuação de fase de retardo. A armazenagem pode ocorrer antes e/ou após a decodificação dos dados de mídia.

« · • · • · * · • · *·· • · ·· · · * * «·« · ·· • · ·2 • · · • « *

♦ • * *

A armazenagem de flutuação de fase de retardo é também aplicada nos sistemas streaming. Devido ao fato de que o streaming é uma aplicação nãoconversacional, a memória de flutuação de fase de retardo requerida pode ser consideravelmente maior do que nas aplicações conversacionais. Quando o leitor 30 streaming tem estabelecido uma conexão com o servidor e solicitado um fluxo de

10/31

* • · « ♦	• • • ·	• • · • «	··· • •	··· • ··	• • · • A
• · • · •	• ·· • •	• · • · •	• •	« « •	• ··*

multimídia a ser transferido, o servidor começa a transmitir o fluxo desejado. O leitor não ίο inicia a reprodução do fluxo imediatamente, mas preferivelmente este tipicamente armazena os dados entrantes por um certo período, tipicamente de poucos segundos. Aqui, esta armazenagem é referenciada como armazenagem inicial. A armazenagem inicial provê a habilidade em suavizar as variações de retardo de transmissão de uma maneira similar à fornecida pela armazenagem de flutuação de fase de retardo nas aplicações conversacionais. Em adição, este pode possibilitar o uso das retransmissões da camada de enlace, transporte, e/ou aplicação das unidades de dados de protocolo perdidas (PDUs, Protocol Data Units). O leitor pode decodificar e produzir os dados armazenados enquanto as PDUs retransmitidas podem ser recebidas no momento de serem decodificadas e reproduzidas no momento programado.

A armazenagem inicial nos clientes streaming provê ainda outra vantagem que não pode ser alcançada nos sistemas conversacionais: esta permite que a taxa de dados de mídia transmitida do servidor varie. Em outras palavras, os pacotes de mídia podem ser temporariamente transmitidos mais rápidos ou mais devagar do que a sua taxa de reprodução, contanto que a memória do receptor não exceda ou exceda negativamente. A flutuação na taxa de dados pode originar de duas fontes.

Primeiro, a eficiência de compressão alcançável em alguns tipos de mídia, tal como vídeo, depende do conteúdo dos dados da fonte. Conseqüentemente, se a qualidade estável for desejada, a taxa de bit do fluxo de bit compactado resultante varia.

Tipicamente, uma qualidade áudio-visual estável é subjetivamente mais favorável do que a qualidade variável. Assim, a armazenagem inicial possibilita uma qualidade áudio-visual mais favorável a ser alcançada comparada com o sistema sem a armazenagem inicial, tal como o sistema de vídeo conferência.

Segundo é comumente conhecido que as perdas de pacote nas redes IP fixas ocorre em rajadas. De forma a evitar os erros de rajada e as taxas de pico de bit e as taxas de pacote, os servidores de streaming bem projetados programam a transmissão dos pacotes de dados cuidadosamente. Os pacotes podem ser enviados precisamente a uma taxa que eles são reproduzidos na extremidade de recepção, mas preferivelmente os servidores podem tentar alcançar um intervalo invariável entre os pacotes transmitidos. O

11/31 • · • ··♦ ♦·· servidor pode também ajustar a taxa da transmissão de pacote de acordo com as condições

2>O de rede que prevalecem, reduzindo a taxa de transmissão de pacote quando a rede fica congestionada e aumenta esta se as condições de rede permitirem, por exemplo.

Transmissão dos fluxos de multimídia

Um sistema streaming de multimídia consiste de um servidor streaming e do número de leitores, que acessam o servidor através da rede. A rede é tipicamente orientada a pacote e provê pouco ou nenhum meio para garantir a qualidade de serviço. Os leitores buscam o conteúdo de multimídia pré-armazenado ou ativo do servidor e reproduz este de volta em tempo real enquanto o conteúdo está sendo transferido. O tipo 10 de comunicação pode ser ponto-a-ponto ou de múltiplos pontos. No streaming ponto-aponto, o servidor provê uma conexão separada para cada leitor. No streaming de múltiplos endereços, o servidor transmite um único fluxo de dados para um número de leitores, e os elementos de rede duplicam o fluxo apenas se este for necessário.

Quando o leitor tem estabelecido uma conexão ao servidor e solicitado um 15 fluxo de multimídia, o servidor começa a transmitir o fluxo desejado. O leitor não inicia a reprodução do fluxo imediatamente, mas preferivelmente este tipicamente armazena os dados entrantes por poucos segundos. Aqui, esta armazenagem é referenciada como armazenagem inicial. A armazenagem inicial ajuda a manter a reprodução pausada, porque, no caso dos retardos ocasionais de transmissão aumentados ou da queda do 20 tráfego de rede, o leitor pode decodificar e produzir os dados armazenados.

De forma a evitar um retardo de transmissão ilimitado, é incomum favorecer os protocolos de transporte confiáveis nos sistemas streaming. Ao invés, os sistemas preferem os protocolos de transporte não confiáveis, tal como o UDP, que, por um lado, herda um retardo de transmissão mais estável, mas, por outro lado, também 25 sofre da corrupção ou perda de dados.

Os protocolos RTP e RTCP podem ser usados no topo do UDP para controlar as comunicações em tempo real. O RTP provê meios para detectar as perdas dos pacotes de transmissão, para remontar a ordem correta dos pacotes na extremidade de recepção, e para associar o protocolo de amostragem com cada pacote. O RTCP carrega a 30 informação sobre quão ampla uma parte dos pacotes foi corretamente recebida, e, então este pode ser usado para os propósitos de controle de fluxo.

12/31

Nos padrões de codificação de vídeo convencional, a ordem de decodificação é acoplada com a ordem de saída. Em outras palavras, a ordem de decodificação das imagens I e P é a mesma da sua ordem de saída, e a ordem de decodificação de uma imagem B imediatamente segue a ordem de decodificação da última imagem de referência da imagem B na ordem de saída. Conseqüentemente, é possível recuperar a ordem de decodificação baseada na ordem de saída conhecida. A ordem de saída é tipicamente carregada no fluxo de bit de vídeo elementar no campo de Referência Temporal (TR) e também na camada multiplexadora do sistema, tal como no cabeçalho

RTP.

Algumas especificações de carga útil RTP permitem a transmissão dos dados codificados fora da ordem de decodificação. A quantia de desordem é tipicamente caracterizada pelo fato de que um valor é definido similarmente em várias especificações relevantes. Por exemplo, na minuta do Formato RTP da Carga Útil para Transporte dos 15 Fluxos Elementares MPEG-4, o parâmetro maxDeslocamento é especificado como a seguir.

O deslocamento máximo no tempo da unidade de acesso (AU - Access Unit, correspondendo à imagem codificada) é a diferença máxima entre o protocolo de um AU no padrão e do protocolo do AU mais anterior que não está ainda presente. Em outras 20 palavras, ao considerar uma seqüência de AUs intercalados, então:

Deslocamento máximo = max{TS(i) - TS(j)} para qualquer i e quaisquer j>i, onde i e j indicam o índice do AU no padrão de intercalamento e TS denota o protocolo do AU.

Tem sido observado na presente invenção que neste método existem alguns 25 problemas e este oferece um valor muito maior para a memória.

Resumo da Invenção

Um exemplo de um esquema é fornecido, onde à definição do deslocamento máximo falha totalmente na especificação, e as especificações da memória (em termos de espaço da memória e a duração de armazenagem inicial) são como a seguir. A seqüência é 30 dividida em partes de 15 AUs, e o último AU na decodificação e na ordem de saída em tal / 31

Parte de 15AU é o primeiro transmitido e todas as outras AUs são transmitidas na decodificação e na ordem de saída. Assim a sequência transmitida de AUs é:

0 1 2 3 4 5 6 7 8 9 10 11 12 13 29 15 16 17 18 19 ...

O deslocamento máximo para esta sequência é 14 para AU (14 + k * 15) (para todos os valores inteiros não-negativos de k).

Contudo, a sequência requer espaço de memória e armazenagem inicial para apenas 10 um AU.

Na minuta do formato de carga útil RFT para o H.264 (draft-ietf-avt-rtph264- 0l.txt), o parâmetro num-reorder-VCL-NAL-units é especificado como a seguir. Este parâmetro pode ser usado para sinalizar as propriedades de um fluxo da unidade NAL ou as capacidades de 15 implementação do transmissor ou do receptor. O parâmetro especifica a quantia máxima de unidades VCL NAL que precedem qualquer unidade VCL NAL no fluxo da unidade NAL na ordem de decodificação da unidade NAL e a seguir a unidade VCL NAL na ordem do número da sequência RTP ou na ordem de composição do pacote de agregação contendo a unidade VCL NAL. Se o parâmetro não estiver presente, o num-reorder-VCL-NAL-units igual a zero 20 deve ser implicado. O valor do num-reorder-VCL-NAL-units deve ser um inteiro na faixa de 0 a 32767, inclusive.

De acordo com o padrão H.264, as unidades VCL NAL são especificadas como estas unidades NAL nal_unit-type igual a 1 até 5, inclusive. No padrão os tipos de unidade NAL 25 seguintes 1 a 5 são definidos:

Fatia codificada de uma imagem não-IDR

Partição A dos dados da fatia codificados

Partição B dos dados da fatia codificados

4 Partição C dos dados da fatia codificados

Fatia codificada de uma imagem IDR.

O parâmetro num-reorder- VCL-NAL-units ocasiona um problema similar ao problema apresentado para o parâmetro de deslocamento máximo acima. Quer dizer, é impossível concluir as especificações do espaço de armazenagem e do tempo de armazenagem inicial 35 baseado no parâmetro.

Petição 870190000229, de 02/01/2019, pág. 15/30 / 31

A invenção possibilita a sinalização do tamanho da memória de recepção para o decodificador.

A seguir, um GOP independente consiste de imagens de uma imagem IDR (inclusive) 5 para a próxima imagem IDR (exclusiva) na ordem de decodificação .

Na presente invenção o parâmetro que sinaliza a quantia máxima de armazenagem requerida é definido mais exatamente do que nos sistemas da técnica anterior. Na descrição a seguir, a invenção é descrita ao usar o sistema baseado no codificador-decodificador, mas 10 é obvio que a invenção pode também ser implementada nos sistemas, nos quais os sinais de vídeo são armazenados. Os sinais de vídeo armazenados podem ser sinais não-codificados armazenados antes da codificação, ou como sinais codificados armazenados após a codificação, ou como sinais decodificados armazenados após o processo de codificação e decodificação. Por exemplo, o codificador produz os fluxos de bit na ordem de transmissão. 15 Um sistema de arquivo recebe os fluxos de bit de áudio e/ou vídeo que são encapsulados, por exemplo, na ordem de decodificação armazenados como um arquivo. O arquivo pode ser armazenado em uma base de dados, na qual o servidor streaming pode ler as unidades NAL e as encapsular nos pacotes RTP.

Em adição, na descrição seguinte a invenção é descrita ao usar um sistema baseado no codificador-decodificador, mas é óbvio que a invenção pode ser também implementada nos sistemas onde o codificador produz e transmite os dados codificados para outro componente, tal como o servidor streaming, na primeira ordem, onde os outros componentes reordenam os dados codificados da primeira ordem para outra ordem, define o tamanho da 25 memória requerido para outra ordem e direciona os dados codificados na sua forma reordenada para o decodificador.

De acordo com o primeiro aspecto da presente invenção é fornecido um método para armazenar os dados de mídia na memória, os dados de mídia sendo incluídos nas unidades 30 de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, caracterizado pelo fato de que um parâmetro é definido indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão no fluxo de pacote

Petição 870190000229, de 02/01/2019, pág. 16/30

15/31 • · · · · ··· *·· · ··· • · · · · · · · · ♦ · *

9 999999 9 99 99

9 9 999 · 9 9· · *

9 9 9 9 9 9 9 9 9«

9 99999999 na ordem de transmissão e a seguir a unidade de transmissão na ordem de decodificação.

De acordo com o segundo aspecto da presente invenção é fornecido um método para decodificar o fluxo de imagem codificada no decodificador, no qual o fluxo de imagem codificado é recebido como unidades de transmissão de dados compreendendo 5 os dados de mídia, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão, que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão, armazenando as unidades de transmissão de dados que são executadas, o método é caracterizado pelo fato de que as especificações de armazenagem são indicadas para o processo de decodificação como um parâmetro 10 indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodificação.

De acordo com o terceiro aspecto da presente invenção é fornecido um sistema compreendendo um codificador para codificar as imagens e uma memória para 15 armazenar os dados de mídia, os dados de mídia sendo incluídos nas unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, o sistema é caracterizado pelo fato de que compreende um dispositivo de definição adaptado para definir o número máximo 20 das unidades de transmissão de dados que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodificação.

De acordo com o quarto aspecto da presente invenção é fornecido um dispositivo de transmissão para transmitir os dados de mídia sendo incluídos nas unidades 25 de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, o dispositivo de transmissão é caracterizado pelo fato de que compreende um dispositivo de definição adaptado para definir o parâmetro indicativo do número máximo das unidades de transmissão de dados 30 que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de

16/31 ·· transmissão e a seguir a unidade de transmissão de dados na ordem de decodifícação.

De acordo com o quinto aspecto da presente invenção é fornecido um

dispositivo de recepção para receber o fluxo de imagem codificado como unidades de transmissão de dados compreendendo os dados de mídia, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão, que é ao menos parcialmente diferente da ordem de decodifícação dos dados de mídia nas unidades de transmissão de dados, o dispositivo de recepção é caracterizado pelo fato de que compreende um dispositivo para determinar as especificações de armazenagem ao usar o indicativo do número máximo de unidades de transmissão de dados que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodifícação.

De acordo com o sexto aspecto da presente invenção é fornecido um programa de computador compreendendo os passos executáveis de máquina para armazenar as imagens codificadas na memória, os dados de mídia sendo incluídos nas 15 unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão, que é ao menos parcialmente diferente da ordem de decodifícação dos dados de mídia nas unidades de transmissão de dados, o programa de computador é caracterizado pelo fato de que também compreende os passos executáveis de máquina para definir um parâmetro indicativo do número máximo de unidades de 20 transmissão de dados que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodifícação.

De acordo com o sétimo aspecto da presente invenção é fornecido um programa de computador compreendendo os passos executáveis de máquina para 25 decodificar o fluxo de imagem codificado no decodificador, no qual o fluxo de imagem codificado é recebido como unidades de transmissão compreendendo os dados de multimídia, e os passos executáveis de máquina para armazenar as unidades de transmissão, o programa de computador é caracterizado pelo fato de que compreende os passos executáveis de máquina para determinar as especificações de armazenagem para o 30 processo de decodifícação ao usar o parâmetro indicativo da quantia máxima de unidades

17/31

• ·	• · ·	• · · ·	···	•
♦ ♦	• · · · ·	• · «	• ·	•
	• · · · · ·	• · *	•	•
	• · ·	• ·	*	• · ·

· de transmissão compreendendo os dados de multimídia que precedem qualquer unidade de transmissão compreendendo os dados de multimídia no fluxo de pacote na ordem de transmissão da unidade de transmissão e a seguir a unidade de transmissão que compreende os dados de multimídia na ordem de decodificação.

De acordo com o oitavo aspecto da presente invenção é fornecido um sinal que carrega os dados de mídia incluídos nas unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, o sinal é caracterizado pelo fato de que inclui um parâmetro 10 indicativo do número máximo de unidades de transmissão de dados que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodificação.

De acordo com o nono aspecto da presente invenção é fornecido um módulo para receber o fluxo de imagem codificado como unidades de transmissão de 15 dados compreendendo os dados de mídia, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, o módulo é caracterizado pelo fato de que compreende um meio para determinar as especificações de armazenagem ao usar o parâmetro indicativo do número máximo de unidades de 20 transmissão de dados que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodificação.

De acordo com o décimo aspecto da presente invenção é fornecido um processador para processar os dados de mídia no dispositivo de transmissão, o processador 25 é caracterizado pelo fato de que compreende um dispositivo de definição adaptado para definir um parâmetro indicativo da quantia máxima de unidades de transmissão compreendendo os dados de multimídia que precedem qualquer unidade de transmissão compreendendo os dados de multimídia no fluxo de pacote na ordem de transmissão da unidade de transmissão e a seguir a unidade de transmissão compreendendo os dados de multimídia na ordem de decodificação.

18/31

• ·	• · «	* · · ·	• ♦ ·	•	··· *
• ♦	•	• · · ·	« · ·	• ·	•	•
	•	• · · · ·	• · ·	•	•	•
						•
	•	• ·	• ·	•	♦ · ·	•

De acordo com o décimo primeiro aspecto da presente invenção é fornecido um processador para processar os dados de mídia no dispositivo de recepção para receber o fluxo de imagem codificado como unidades de transmissão compreendendo os dados da fatia, o processador é caracterizado pelo fato de que compreende um dispositivo para 5 determinar as especificações de armazenagem ao usar o parâmetro indicativo da quantia máxima de unidades de transmissão compreendendo os dados de multimídia que precedem qualquer unidade de transmissão compreendendo os dados de multimídia no fluxo de pacote na ordem de transmissão da unidade de transmissão e a seguir a unidade de transmissão compreendendo os dados de multimídia na ordem de decodificação.

De acordo com o décimo segundo aspecto da presente invenção é fornecido um codificador para codificar os dados de mídia sendo incluídos nas unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, o codificador é caracterizado pelo 15 fato de que compreende um dispositivo de definição adaptado para definir um parâmetro indicativo do número máximo das unidades de transmissão de dados que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodificação.

De acordo com o décimo terceiro aspecto da presente invenção é fornecido 20 um decodificador para decodificar o fluxo de imagem codificado incluído nas unidades de transmissão de dados compreendo os dados de mídia, as unidades de transmissão de dados tendo sido ordenadas na ordem de transmissão, que é ao menos parcialmente diferente da ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, o decodificador é caracterizado pelo fato de que compreende um dispositivo para determinar 25 as especificações de armazenagem ao usar o parâmetro indicativo do número máximo de unidades de transmissão que precede qualquer unidade de transmissão de dados no fluxo de pacote na ordem de transmissão e a seguir a unidade de transmissão de dados na ordem de decodificação.

Em um exemplo da incorporação da presente invenção a unidade de transmissão que compreende os dados de multimídia é uma unidade VCL NAL.

/ 31

A presente invenção melhora a eficiência de armazenagem dos sistemas de codificação. Ao usar a presente invenção é possível usar uma quantia adequada de armazenagem realmente requerida. Consequentemente, não há necessidade de alocar mais memória do que o necessário para a memória de codificação no dispositivo de codificação e a memória de pré-decodificação no dispositivo de decodificação. Em adição, a sobrecarga da memória de pré-decodificação pode ser evitada.

Breve Descrição das Figuras

Figura 1 - apresenta um exemplo de um esquema de escalabilidade temporal 10 recursiva;

Figura 2 - descreve o esquema referenciado como Codificação de Redundância de Vídeo, onde uma sequência de imagens é dividida em duas ou mais filas codificadas independentemente de uma maneira intercalada;

Figura 3 - apresenta um exemplo de uma estrutura de predição melhorando 15 potencialmente a eficiência de compressão;

Figura 4 - apresenta um exemplo de um método de adiamento da imagem intra que pode ser usado para melhorar a resiliência de erro;

Figura 5 - descreve uma incorporação vantajosa do sistema de acordo com a presente invenção;

Figura 6 - descreve uma incorporação vantajosa do codificador de acordo com a presente invenção;

Figura 7 - descreve uma incorporação vantajosa do decodificador de acordo com a presente invenção.

Descrição Detalhada da Invenção

A seguir a invenção será descrita em maiores detalhes com referência ao sistema da Figura 5, ao codificador da Figura 6 e ao decodificador 2 da Figura 7. As imagens a serem codificadas podem ser, por exemplo, as imagens de um fluxo de vídeo da fonte de vídeo 3, por exemplo, uma câmera, um gravador de vídeo, etc. As imagens (quadros) do fluxo de vídeo 30 podem ser divididas em partes menores tal como as fatias. As fatias podem ser divididas em blocos. No codificador 1, o fluxo de vídeo é codificado para reduzir a informação a ser transmitida através do canal de transmissão 4, ou para a

Petição 870190000229, de 02/01/2019, pág. 17/30

20/31 • · · * · ······ · · ····· · · ··*·· • #····*·· * · · • · · · · · · ·· · ♦ • · · · · · ··· · mídia de armazenagem (não apresentada). As imagens do fluxo de vídeo são entradas para o codificador 1. O codificador tem uma memória de armazenagem 1.1 (Figura 6) para armazenar temporariamente algumas das imagens a serem codificadas. O codificador 1 também inclui a memória 1.3 e o processador 1.2, no qual as tarefas de codificação de acordo com a invenção podem ser aplicadas. A memória 1.3 e o processador 1.2 podem ser comuns com o dispositivo de transmissão 6 ou o dispositivo de transmissão 6 pode ter outro processador e/ou memória (não apresentado) para outras funções do dispositivo de transmissão 6. O codificador 1 executa a estimação de movimento e/ou algumas outras tarefas para compactar o fluxo de vídeo. As similaridades de estimação de movimento 10 entre a imagem a ser codificada (a imagem atual) e a prévia e/ou a última imagem são alcançadas. Se as similaridades forem encontradas a imagem comparada ou parte desta pode ser usada como uma imagem de referência para a imagem a ser codificada. No JVT a ordem de exibição e a ordem de decodificação das imagens não são necessariamente as mesmas, onde a imagem de referência tem de ser armazenada na memória (por exemplo, 15 na memória de codificação 1.1), contanto que esta seja usada como uma imagem de referência. O codificador 1 também insere a informação na ordem de exibição das imagens no fluxo de transmissão.

Do processo de codificação, as imagens codificadas são movidas para a memória 5.2 da imagem codificada, se necessário. As imagens codificadas são 20 transmitidas do codificador 1 para o decodificador 2 através do canal de transmissão 4.

No decodificador 2, as imagens codificadas são decodificadas para formar as imagens não-compactadas correspondendo tanto quanto possível às imagens codificadas.

O decodificador 1 também inclui uma memória 2.3 e um processador 2.2, no qual as tarefas de decodificação de acordo com a invenção podem ser aplicadas. A 25 memória 2.3 e o processador 2.2 podem ser comuns com o dispositivo receptor 8 ou o dispositivo receptor 8 pode ter outro processador e/ou memória (não apresentado) para outras funções do dispositivo receptor 8.

Codificação

Vamos considerar o processo de codificação-decodificação em maiores 30 detalhes. As imagens da fonte de vídeo 3 são entradas no codificador 1 e vantajosamente ♦ ·

21/31

♦ ·	< ·	•	• · · ·	·*·	♦
• «	•	i ·	• ·	• · ·	··	•
	•	• «	♦ · ·	• « ·	«	•
	•	•	•	• ·	•	* · ·

·· ’ Mo armazenadas na memória de codificação 1.1. O processo de codificação não é iniciado necessariamente e imediatamente após a primeira imagem ser entrada para o codificador, mas após uma certa quantia de imagens estarem disponíveis na memória de codificação

1.1. Então, o codificador 1 tenta encontrar os candidatos adequados das imagens a serem usadas como quadros de referência. O codificador 1 então executa a codificação para formar as imagens codificadas. As imagens codificadas podem ser, por exemplo, as imagens preditas (P), as imagens bi-preditivas (B), e/ou as imagens intra-codificadas (I). As imagens intra-codificadas podem ser decodificadas sem usar quaisquer outras imagens, mas outros tipos de imagens necessitam de ao menos uma imagem de referência antes 10 delas poderem ser decodificadas. As imagens de qualquer dos tipos de imagem mencionados acima podem ser usadas como imagem de referência.

O codificador vantajosamente acopla dois protocolos às imagens: o protocolo de decodificação (DTS, Decoding Time Stamp) e o protocolo de saída (OTS, Output Time Stamp). O decodificador pode usar os protocolos de tempo para determinar o tempo de decodificação correto e o tempo para produzir (exibir) as imagens. Contudo, estes protocolos de tempo não são necessariamente transmitidos para o decodificador ou este não os usa.

As unidades NAL podem ser entregues em diferentes tipos de pacote. Nesta incorporação vantajosa, os diferentes formatos de pacote incluem os pacotes simples e os 20 pacotes de agregação. Os pacotes de agregação podem também ser divididos nos pacotes de agregação de tempo-único e nos pacotes de agregação de múltiplos tempos.

O formato de carga útil dos pacotes RTP é definido como um número de diferentes estruturas de carga útil dependendo da necessidade. Contudo, a estrutura que um pacote RTP recebido contêm é evidente do primeiro byte da carga útil. Este byte 25 sempre será estruturado como o cabeçalho da unidade NAL. O campo do tipo da unidade NAL indica que a estrutura está presente. As estruturas possíveis são: Pacote da Unidade NAL Único, o Pacote de Agregação e a Unidade de Fragmentação. O Pacote da Unidade NAL Único contém apenas uma única unidade NAL na carga útil. O campo do tipo do cabeçalho NAL será igual ao tipo da unidade NAL original, isto é, na faixa de 1 a 23, 30 inclusive. O tipo do pacote de agregação é usado para agregar múltiplas unidades NAL

22/31 •·· ♦· · » • ·

• · * · ·*· · · ·	• · ·

	«	• » · ·	• · · · ·

’’ Ml em uma carga útil única RTP. Este pacote existe em quatro versões, o tipo A de Pacote de

Agregação de Tempo Único (STAP-A, Single-Time Aggregation Packet), o tipo B do Pacote de Agregação de Tempo Único (STAP-B), o Pacote de Agregação de MúltiplosTempos (MTAP, Multi-Time Aggregation Packet) com deslocamento de 16 bits (MTAP16), e o Pacote de Agregação de Múltiplos-Tempos (MTAP) com deslocamento de 24 bits (MTAP24). Os números do tipo de unidade NAL designados para STAP-A,

STAP-B, MTAP 16, e MTAP24 são respectivamente 24, 25, 26 e 27. A unidade de fragmentação é usada para fragmentar uma única unidade NAL sobre múltiplos pacotes RTP. Isto existe com duas versões identificadas com os números do tipo de unidade NAL

28 e 29.

Existem três casos de modos de empacotamento definidos para a transmissão de pacote RTP:

- Modo de unidade NAL único;

- Modo não-intercalado, e

- Modo intercalado.

O modo de unidade NAL único é alvo para os sistemas conversacionais que estão de acordo com a recomendação ITU-T H.241. O modo não-intercalado é alvo para os sistemas conversacionais que não atuam com a Recomendação ITU-T H.241. As unidades NAL no modo não-intercalado são transmitidas na ordem de decodificação da 20 unidade NAL. O modo intercalado é alvo para os sistemas que não requerem uma latência de extremo-a-extremo muito baixa. O modo intercalado permite a transmissão das unidades NAL fora da ordem de decodificação da unidade NAL.

O modo de empacotamento em uso pode ser sinalizado pelo valor do parâmetro MIME do modo de empacotamento opcional ou por meios externos. O modo 25 de empacotamento usado governa quais os tipos de unidade NAL são permitidas nas cargas úteis RTP.

No modo de empacotamento intercalado, a ordem de transmissão das unidades NAL é permitida para diferenciar da ordem de decodificação das unidades NAL. O número de ordem de decodificação (DON, Decoding Order Number) é um campo na 30 estrutura da carga útil ou uma variável derivada que indica a ordem de decodificação da

23/31 * * *

«

•	* «	* »··	• · *	•
•	• ·	• ·	• · ·	• *	•
•	• ·	« »*	* 4 *	•	•
•	•	•	« ·	•	• · ·

♦ · · ··· *

unidade NAL.

O acoplamento da transmissão e da ordem de decodificação é controlado pelo parâmetro MIME opcional de profundidade-intercalação como a seguir. Quando o valor do parâmetro MIME opcional de profundidade-intercalação é igual a 0 e a 5 transmissão das unidades NAL fora da sua ordem de decodificação não é permitida por meios externos, a ordem de transmissão das unidades NAL conforma à ordem de decodificação da unidade NAL. Quando o valor do parâmetro MIME opcional de profundidade-intercalação é maior do que 0 ou a transmissão das unidades NAL fora da sua ordem de decodificação é permitida por meios externos:

- a ordem das unidades NAL em um Pacote de Agregação de MúltiplosTempos 16 (MTAP 16) e em um Pacote de Agregação de Múltiplos-Tempos 24 (MTAP24) não é requerida para ter a ordem de decodificação da unidade NAL, e

- a ordem das unidades NAL composta ao dês-encapsular os Pacotes B de Agregação de Múltiplos-Tempos (STAP-B), MTAPs, e as Unidades de Fragmentação 15 (FU, Fragmentation Units) em dois pacotes consecutivos não é requerida para estar na ordem de decodificação da unidade NAL.

As estruturas da carga útil RTP para o pacote da unidade NAL única, um STAP-A, e um FU-A não incluem o DON. As estruturas STAP-B e FU-B incluem DON, e a estrutura dos MTAPs possibilitam a derivação do DON.

Se o transmissor quer encapsular uma unidade NAL por pacote e transmitir os pacotes fora da sua ordem de decodificação, o tipo do pacote STAP-B pode ser usado.

No modo de empacotamento da unidade NAL única, a ordem de transmissão das unidades NAL é a mesma da sua ordem de decodificação da unidade NAL. No modo de empacotamento não-intercalado, a ordem de transmissão das unidades 25 NAL nos pacotes da unidade NAL única e os ST AP-As, e FU-As é a mesma da sua ordem de decodificação da unidade NAL. As unidades NAL dentro do STAP aparecem na ordem de decodificação da unidade NAL.

Devido ao fato do H.264 permitir que a ordem de decodificação seja diferente da ordem de exibição, os valores dos protocolos RTP não podem ser monotonicamente não-decrescente como uma função dos números da seqüência RTP.

24/31

•	•	*	···	···	•	··· •
• ·	• «	• ·	•	··	•	•
• ·	• ··	• «	•	«	•	•
• ·	•	• ·	•	• ·	•	•
•	•	•	•	•	« ··	•

O valor DON da primeira unidade NAL na ordem de transmissão pode ser estabelecido para qualquer valor. Os valores de DON estão na faixa de 0 a 65535, *

inclusive. Após buscar o valor máximo, o valor de DON está em torno de 0.

• A seqüência de vídeo de acordo com esta especificação pode ser qualquer parte do fluxo NALU, o qual pode ser decodificado independentemente de outras partes . do fluxo NALU.

Um exemplo da programação de pacote robusta é como a seguir.

Nas figuras exemplares a seguir, o tempo roda da esquerda para a direita, I denota uma imagem IDR, R denota uma imagem de referência, N denota uma imagem de 10 não-referência, e o número indica o tempo de saída relativo proporcional à imagem IDR prévia na ordem de decodificação. Os valores abaixo da seqüência de imagens indicam os protocolos de clock do sistema escalado, e eles são iniciados arbitrariamente neste exemplo. Cada imagem I, R, e N é mapeada na mesma linha de tempo comparada ao passo de processamento anterior, se houver, assumindo que a codificação, transmissão e a 15 decodificação não levam tempo.

O sub-grupo de imagens nas múltiplas seqüências de vídeo é descrito abaixo na ordem de saída.

N58 N59 100 N01 N02 R03 N04 N05 N06 ... N58 N59 100 N01 N02 ...

59 60 61 62 63 64 65 66 ... 128 129 130 131 132

A ordem de codificação (e de decodificação) destas imagens é da esquerda para a direita como a seguir:

N58 N59 100 R03 N01 N02 R06 N04 N05

61 62 63 64 65 66 67 68

O número da ordem de decodificação (DON) para uma imagem é igual ao valor do DON para a imagem prévia na ordem de decodificação mais um.

Por motivo de simplicidade, vamos assumir que:

- a taxa de quadro da seqüência é constante, / 31

- cada imagem consiste de apenas uma fatia,

- cada fatia é encapsulada em um pacote da unidade NAL único,

- as imagens são transmitidas na ordem de decodificação, e

- as imagens são transmitidas em intervalos constantes (que é igual a 1/taxa de quadro).

Assim, as imagens são recebidas na ordem de decodificação:

... N58 N59

I00 R03 N01

N02

R06 N04 N05

... -]-- --]... 60 61

--]- --]- --]- --]62 63 64 65

--]- --]- --]66 67 68

O parâmetro num-reorder- VCL-NAL-units é estabelecido para 0, por que nenhuma armazenagem é necessária para recuperar a ordem de decodificação correta da transmissão (ou da ordem de recepção).

O decodificador tem de armazenar um intervalo de imagem na sua memória de imagem decodificada para organizar as imagens da ordem de decodificação para a ordem de saída como descrito abaixo:

N58	N59	I00	N01	N02	R03	N04	N05	R06
-]--	--1-	--1-	--1-	--1-	--1-	--1-	--1-	--1-
61	62	63	64	65	66	67	68	69

A quantia de armazenagem inicial requerida na memória da imagem decodificada pode ser sinalizada na mensagem SEI do período de armazenagem ou no valor do elemento de sintaxe num_reorder_frames da informação de usabilidade de vídeo H.264. num_reorder_frames indica o número máximo de quadros, os pares do campo complementares, ou os campos não-pareados que precedem qualquer quadro, o par do campo complementar, ou o campo não-pareado na sequência da ordem de decodificação e a seguir esta na ordem de saída.

Por motivo de simplicidade, é assumido que o num_reorder_frames é usado para indicar a memória inicial na memória da imagem decodificada. Neste exemplo, num_reorder_frames é igual a 1.

Petição 870190000229, de 02/01/2019, pág. 18/30 / 31

Pode ser observado que se a imagem IDR 100 for perdida durante a transmissão, e o pedido de retransmissão for emitido quando o valor do relógio do sistema for 62, existe um intervalo de tempo de imagem (até o clock do sistema alcançar o protocolo 63) para receber a imagem IDR 100 retransmitida.

Vamos então assumir que as imagens IDR são transmitidas nos dois intervalos de quadro anteriores do que a sua posição de decodificação, i.e., as imagens são transmitidas na ordem a seguir:

... I00 N58 N59 R03 N01 N02 R06 N04 N05 ...

... -]-- --1- --1- --1- --1- --1- --1- --1- --1- ...

... 62 63 64 65 66 67 68 69 70 ...

A variável id1 é especificada de acordo com a técnica anterior (como descrito em draft15 ietf-avt-rtp-h264-01. txt), i.e., este especifica a quantia máxima das unidades VCL NAL que precedem qualquer unidade VCL NAL no fluxo da unidade NAL na ordem de decodificação da unidade NAL e a seguir a unidade VCL NAL na ordem do número da seqüência RTP ou na ordem de composição do pacote de agregação contendo a unidade VCL NAL. A variável id2 é especificada de acordo com a presente invenção, i.e., especifica a quantia máxima das 20 unidades VCL NAL que precedem qualquer unidade VCL NAL no fluxo da unidade NAL na ordem de transmissão e a seguir a unidade VCL NAL na ordem de decodificação.

No exemplo, o valor de id1 é igual a 2 e o valor de id2 é igual a 1. Como já apresentado na seção 2, o valor de id1 não é proporcional ao tempo ou o espaço de armazenagem 25 requerido para a armazenagem inicial para reordenar os pacotes da ordem de recepção para a ordem de decodificação. Neste exemplo, o tempo de armazenagem inicial igual a um intervalo de imagem é requerido para recuperar a ordem de decodificação como ilustrado abaixo (a figura apresenta a saída do processo de armazenagem do receptor). Este exemplo também demonstra que o valor do tempo de armazenagem inicial e o espaço de 30 armazenagem podem ser concluídos de acordo com a invenção.

Petição 870190000229, de 02/01/2019, pág. 19/30 / 31

N58	N59	l00	R03	N01	N02	R06	N04	N05
-]--	--1-	--1-	--1-	--1-	--1-	--1-	--1-	--1-
63	64	65	66	67	68	69	70	71

Novamente, um retardo de armazenamento inicial de um intervalo de imagem é necessário para organizar as imagens da ordem da decodificação para a ordem de saída como descrito abaixo:

... N58 N59 l00 N01 N02 R03 N04 N05 R06...

... -]-- --1- --1- --1- --1- --1- --1- --1- --1-...

... 64 65 66 67 68 69 70 71 72...

Pode ser observado que o retardo máximo que as imagens IDR podem ter durante a transmissão, incluindo uma possível retransmissão da camada de aplicação, transporte, ou enlace, é igual ao num reorder frames + id2. Assim, a menor resiliência das imagens IDR é melhorada nos sistemas que suportam a retransmissão.

O receptor é capaz de organizar as imagens na ordem de decodificação baseada no valor do DON associado com cada imagem.

Transmissão

A transmissão e/ou a armazenagem das imagens codificadas (e a decodificação virtual opcional) pode ser iniciada imediatamente após a primeira imagem codificada estar pronta. A imagem não é necessariamente a primeira na ordem de saída do decodificador porque a ordem de decodificação e a ordem de saída podem não ser as mesmas.

Quando a primeira imagem do fluxo de vídeo é codificada, a transmissão pode ser iniciada. As imagens codificadas são opcionalmente armazenadas na memória da imagem codificada 5.2. A transmissão pode também iniciar no último estágio, por exemplo, após uma certa parte do fluxo de vídeo ser codificado.

O decodificador 2 deveria também produzir as imagens decodificadas na ordem correta, por exemplo, ao usar a ordenação da conta da ordem da imagem.

Desempacotamento

O processo de desempacotamento é dependente da implementação.

Petição 870190000229, de 02/01/2019, pág. 20/30 / 31

Consequentemente, a descrição a seguir é um exemplo não-restritivo de uma implementação adequada. Outros esquemas podem ser também usados. Otimizações relativas aos algoritmos descritos são também possíveis.

O conceito geral destas regras de dês-empacotamento é para reordenar as unidades

NAL da ordem de transmissão para a ordem de entrega da unidade NAL.

Decodificação

A seguir, a operação do receptor 8 será descrita. O receptor 8 coleciona todos os 10 pacotes pertencentes a imagem, trazendo-os em uma ordem absoluta razoável da ordem dependente do perfil empregado. Os pacotes recebidos são armazenados na memória de recepção 9.1 (memória de pré-decodificação). O receptor 8 descarta qualquer coisa que não é usada, e passa o resto para o decodificador 2. Os pacotes de agregação são controlados ao descarregar a sua carga útil nos pacotes RTP individuais que carregam as NALUs. Estas 15 NALUs são processadas como se elas fossem recebidas nos pacotes RTP separados, de forma que eles sejam dispostos no Pacote de Agregação.

Aqui, N é o valor do parâmetro opcional num-reorder -VCL-NAL-units (parâmetro de profundidade-intercalação), que especifica a quantia máxima das unidades VCL NAL que 20 precedem qualquer unidade VCL NAL no fluxo de pacote na ordem de transmissão da unidade NAL e a seguir a unidade VCL NAL na ordem de decodificação.

Se o parâmetro não estiver presente, o valor 0 poderia ser insinuado.

Quando a sessão de transferência do fluxo de vídeo é iniciada, o receptor 8 aloca a memória para a memória de recepção 9.1 para armazenar ao menos N peças das unidades VCL NAL. O receptor então inicia a recepção do fluxo de vídeo e armazena as unidades VCL NAL recebidas na memória de recepção. O buffer inicial dura:

- até ao menos N peças das unidades VCL NAL são armazenadas na memória de 30 recepção 9 .1, ou

- se o parâmetro MIME max-don_diff estiver presente, até que o valor da função don_dif (m,n) seja maior do que o valor de max-don_diff, no qual n corresponde a unidade NAL possuindo o maior valor do AbsDON dentre as unidades NAL recebidas e m corresponde à unidade NAL possuindo o menor valor de AbsDON dentre as unidades NAL, ou

Petição 870190000229, de 02/01/2019, pág. 21/30 / 31

- até a armazenagem inicial ter a última duração igual ou maior do que o valor do parâmetro MIME opcional init-buf-time.

A função don diff(m,n) é especificada como a seguir:

Se DON(m) = = DON(n), don_diff(m,n) = 0

Se (DON(m) < DON(n) e DON(n) - DON(m) < 32768), don_diff(m,n) = DON(n) - DON(m)

Se (DON(m) > DON(n) e DON(m) - DON(n) > = 32768), don_diff(m,n) = 65536 - DON(m) + DON(n)

Se (DON(m) < DON(n) e DON(n) - DON(m) > = 32768), don_diff(m,n) = - (DON(m) + 65536 - DON(n)),

Se (DON(m) > DON(n) e DON(m) - DON(n) < 32768), don_diff(m,n) = - (DON(m) - DON(n)), onde DON(i) é o número da ordem de decodifícação da unidade NAL possuindo o índice i na ordem de transmissão.

Um valor positivo de don_diff(m,n) indica que a unidade NAL que possui o índice n da ordem de transmissão segue, na ordem de decodificação, à unidade NAL possuindo o índice m da ordem de transmissão.

AbsDON denota o número da ordem de decodificação da unidade NAL que não envolve O após 65535. Em outras palavras, AbsDON é calculado como a seguir.

Então, m e n são unidades NAL consecutivas na ordem de transmissão. Para a primeira unidade NAL na ordem de transmissão (cujo índice é 0), AbsDON(0)=DON(0). Para outras unidades NAL, AbsDON é calculado como a seguir:

Se DON(m) = = DON(n), AbsDON(n)= AbsDON(m)

Se (DON(m) < DON(n) e DON(n) - DON(m)< 32768),

AbsDON(n)= AbsDON(m) + DON(n) - DON(m)

Se (DON(m) > DON(n) e DON(m) - DON(n)> = 32768),

AbsDON(n)= AbsDON(m) + 65536 - DON(m) + DON(n)

Se (DON(m) < DON(n) e DON(n) - DON(m)> = 32768),

AbsDON(n)= AbsDON(m) - (DON(m) + 65536 - DON(n)),

Se (DON(m) > DON(n) e DON(m) - DON(n) < 32768),

Petição 870190000229, de 02/01/2019, pág. 22/30

AbsDON(n) = AbsDON(m) - (DON(m) - DON(n)).

onde DON(i) é o número da ordem de decodificação da unidade NAL possuindo o índice i na ordem de transmissão.

Quando a memória do receptor 9.1 contém ao menos as unidades VCL

NAL, as unidades NAL são removidas uma a uma da memória do receptor 9.1 e passadas

30/31

• ·	* ·	•	•	• « ·	·· · ·
• ·	•	• ♦	• ·	• ·	•	00 ·
	•	• ♦	♦ ♦ ·	• ·	•	0 *
	•	• ·	•	• ♦	•	0 0*
	♦	•	•	•	•	• 0 · ·

• ·· para o decodificador 2. As unidades NAL não são necessariamente removidas na mesma ordem na qual elas foram armazenadas na memória do receptor 9.1, mas de acordo com o

DON das unidades NAL como descrito abaixo. A entrega dos pacotes para o decodificador 2 é continuada até a memória conter menos do que as unidades N VCL 10 NAL, isto é, as unidades N-l VCL NAL.

As unidades NAL a serem removidas da memória do receptor são determinadas como a seguir:

Se a memória do receptor contém ao menos as unidades N VCL NAL, as unidades NAL são removidas da memória do receptor e passadas para o decodificador na 15 ordem especificada abaixo até a memória conter as unidades N-l VCL NAL.

Se max-don-dif estiver presente, todas as unidades NAL m para o qual don_dif(m,n) é maior do que max-don-dif são removidas da memória do receptor e passadas para o decodificador na ordem especificada abaixo. Aqui, n corresponde à unidade NAL possuindo o maior valor de ABsDON dentre as unidades NAL recebidas.

A variável ts é estabelecida para o valor do temporizador do sistema que foi iniciado em 0 quando o primeiro pacote do fluxo da unidade NAL foi recebido. Se a memória do receptor contém uma unidade NAL cujo tempo de recepção tr preenche a condição onde ts - tr > inicio-tempo-armazenagem, as unidades NAL são passadas para o decodificador (e removidas da memória do receptor) na ordem especificada abaixo até que a memória do receptor não contenha a unidade NAL cujo tempo de recepção tr preenche a condição especificada.

A ordem que as unidades NAL são passadas para o decodificador é especificada como a seguir.

PDON é uma variável que é iniciada em 0 no início de uma sessão RTP.

Para cada unidade NAL associada com o valor de DON, a distância DON é calculada / 31 como a seguir. Se o valor de DON da unidade NAL for maior do que o valor de PDON, a distância DON é igual a DON-PDON. Caso contrário, a distância DON é igual a 65535-PDON + DON+ 1.

As unidades NAL são entregues para o decodificador na ordem ascendente da distância DON. Se várias unidades NAL compartilham o mesmo valor da distância DON, elas podem ser passadas para o decodificador em qualquer ordem. Quando um número desejado de unidades NAL tem sido passado para o decodificador, o valor de PDON é estabelecido para o valor de DON para a última unidade NAL passada para o decodificador.

A memória da imagem decodificada (DPB, Decoded Picture Buffer) 2.1 contém os lugares de memória para armazenar um número de imagens. Estes lugares são também denominados de armazenagens de quadro na descrição. O decodificador 2 decodifica as imagens recebidas na ordem correta.

A presente invenção pode ser aplicada em quaisquer tipos de sistemas e dispositivos.

O dispositivo de transmissão 6 incluindo o codificador 1 vantajosamente também inclui o transmissor 7 para transmitir as imagens codificadas para o canal de transmissão 4. O dispositivo de recepção 8 inclui o receptor 9 para receber as imagens codificadas, o 20 decodificador 2, e o visor 10 no qual as imagens decodificadas podem ser exibidas. O canal de transmissão pode ser, por exemplo, um canal de comunicação de linha terrestre e/ou um canal de comunicação sem fio. O dispositivo de transmissão e o dispositivo de recepção incluem também um ou mais processadores 1.2, 2.2 que podem executar os passos necessários para controlar o processo de codificação/decodificação do fluxo de vídeo de 25 acordo com a invenção. Consequentemente, o método de acordo com a presente invenção pode ser implementado principalmente como os passos executáveis de máquina dos processadores. A armazenagem das imagens pode ser implementada na memória 1.3, 2.3 dos dispositivos. O código do programa 1.4 do codificador pode ser armazenado na memória 1.3 e respectivamente, o código do programa 2.4 do decodificador pode ser armazenado na 30 memória 2.3.

Claims

1. Um método para armazenar dados de mídia em buffer, os dados de mídia sendo incluídos em unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados multimídia sendo diferente da ordem de saída dos dados multimídia, caracterizado por um parâmetro ser definido como indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados em um fluxo de pacotes na ordem de transmissão, e seguem a unidade de transmissão de dados na ordem de decodificação.

2. Método de acordo com a reivindicação 1, caracterizado pelos referidos dados de mídia compreenderem pelo menos um dos seguintes:

• Dados de vídeo, • Dados de áudio.

3. Método de acordo com a reivindicação 1 ou 2, caracterizado pelos referidos dados de mídia compreenderem uma fatia de uma imagem codificada.

4. Método de acordo com as reivindicações 1, 2 ou 3, caracterizado pela referida unidade de transmissão compreendendo dados de mídia ser uma unidade VCL NAL.

5. Um método para decodificar o fluxo de imagem codificado em um decodificador, no qual o fluxo de imagem codificado é recebido como unidades de transmissão de dados compreendendo dados de mídia, unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia sendo diferentes da ordem de saída dos dados de mídia, o armazenamento em buffer de unidades de transmissão de dados é

Petição 870190000229, de 02/01/2019, pág. 24/30

2 / 7 executado, caracterizado pelos requisitos de armazenamento em buffer serem indicados para o processo de decodificação como um parâmetro indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no fluxo de pacotes em ordem de transmissão, e segue a unidade de transmissão de dados na ordem de decodificação.

6. Método de acordo com a reivindicação 5, caracterizado pelo referido parâmetro ser examinado, e os locais de memória serem reservados para armazenamento em buffer de acordo com o referido parâmetro.

7. Método de acordo com a reivindicação 6, caracterizado pelas imagens serem decodificadas a partir do fluxo de imagem codificado recebido, e as imagens codificadas serem armazenadas em buffer utilizando os locais de memória reservados.

8. Um sistema compreendendo um codificador (1) para codificação de imagens, um buffer para armazenamento em buffer de dados de mídia, os dados de mídia sendo incluídos em unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia sendo diferente da ordem de saída dos dados de mídia, caracterizado pelo sistema compreender um definidor adaptado para definir um parâmetro indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no fluxo de pacotes em ordem de transmissão, e segue a unidade de transmissão de dados na ordem de decodificação.

9. Sistema de acordo com a reivindicação 8, caracterizado por compreender um decodificador (2) para decodificar imagens codificadas e uma memória para guardar imagens decodificadas, em que o referido parâmetro é disposto para ser utilizado para determinar a quantidade necessária de locais de

Petição 870190000229, de 02/01/2019, pág. 25/30

3 / 7 memória a serem reservados da memória para o armazenamento em buffer das imagens decodificadas.

10. Sistema de acordo com a reivindicação 8, caracterizado pelos referidos dados de mídia compreenderem uma fatia de uma imagem codificada.

11. Sistema de acordo com a reivindicação 8, caracterizado pela referida unidade de transmissão de dados ser uma unidade VCL NAL.

12. Um dispositivo de transmissão (6) para transmitir dados de mídia sendo incluídos em unidades de transmissão de dados, unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia diferente da ordem de saída dos dados de mídia, caracterizado pelo dispositivo de transmissão (6) compreender um definidor adaptado para definir um parâmetro indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no fluxo de pacotes em ordem de transmissão, e segue a unidade de transmissão de dados na ordem de decodificação.

13. Dispositivo de transmissão (6) de acordo com a reivindicação 12, caracterizado pelos referidos dados de mídia compreenderem uma fatia de uma imagem codificada.

14. Dispositivo de transmissão (6) de acordo com a reivindicação 12, caracterizado pela referida unidade de transmissão compreendendo dados de mídia ser uma unidade VCL NAL.

15. Um dispositivo de recepção (8) para receber fluxo de imagem codificado como unidades de transmissão de dados compreendendo dados de mídia, as unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de

Petição 870190000229, de 02/01/2019, pág. 26/30

4 / 7 mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia diferente da ordem de saída dos dados de mídia, caracterizada pelo dispositivo receptor (8) compreender meios para determinar os requisitos de armazenamento em buffer utilizando um parâmetro indicativo do número máximo de unidades de transmissão que precede qualquer unidade de transmissão de dados no fluxo de pacotes em ordem de transmissão, e segue a unidade de transmissão de dados na ordem de decodificação.

16. Dispositivo de recepção (8) de acordo com a reivindicação 15, caracterizado por compreender uma memória, e os referidos meios para utilização de um parâmetro compreenderem um definidor para examinar o referido parâmetro e para reservar locais de memória para armazenamento de buffer da referida memória de acordo com o referido parâmetro.

17. Dispositivo de recepção (8) de acordo com a reivindicação 16, caracterizado por compreender um decodificador para decodificar imagens do fluxo de imagens codificado recebido, e meios para utilizar os locais de memória reservados para armazenamento de buffer das imagens codificadas.

18. Um sinal carregando dados de mídia incluídos em unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia diferente da ordem de saída dos dados de mídia, caracterizado pelo sinal incluir um parâmetro indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no fluxo de pacotes em ordem de transmissão, e a unidade de transmissão de dados seguir a ordem de decodificação.

19. Um módulo para recepção de fluxo de imagem codificado como unidades de transmissão de dados compreendendo dados de mídia, as unidades de

Petição 870190000229, de 02/01/2019, pág. 27/30

5 / 7 transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia sendo diferente da ordem de saída dos dados de mídia, caracterizados pelo módulo compreender meios para determinar os requisitos de armazenamento de buffer utilizando um parâmetro indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no pacote transmitir em ordem de transmissão e seguir a unidade de transmissão de dados na ordem de decodificação.

20. Um processador (1.2) para processamento de dados de mídia em um dispositivo de transmissão, caracterizado pelo processador compreender um definidor adaptado para definir um parâmetro indicativo da quantidade máxima de unidades de transmissão que compreende dados de mídia que precedem qualquer unidade de transmissão compreendendo dados de mídia no fluxo de pacotes na ordem de transmissão da unidade de transmissão, e segue a unidade de transmissão compreendendo dados de mídia na ordem de decodificação, em que a ordem de decodificação dos dados de mídia é diferente da ordem de saída dos dados de mídia.

21. Processador (1.2) de acordo com a reivindicação 20, caracterizado pelos referidos dados de mídia compreenderem uma fatia de uma imagem codificada.

22. Processador (1.2) de acordo com a reivindicação 20, caracterizado pela referida unidade de transmissão compreendendo dados de mídia ser uma unidade VCL NAL.

23. Processador (2.2) para processamento de dados de mídia em um dispositivo receptor para receber fluxo de imagem codificado como unidades de transmissão compreendendo dados de fatia, caracterizado pelo processador compreender meios para determinar requisitos de armazenamento em buffer

Petição 870190000229, de 02/01/2019, pág. 28/30

6 / 7 utilizando um parâmetro indicativo da quantidade máxima de unidades de transmissão que compreende dados de mídia que precedem qualquer unidade de transmissão que compreende dados de mídia no fluxo de pacotes na ordem de transmissão da unidade de transmissão, e segue a unidade de transmissão compreendendo dados de mídia na ordem de decodificação, a ordem de decodificação dos dados de mídia sendo diferente da ordem de saída dos dados de mídia.

24. Processador (2.2) de acordo com a reivindicação 23, caracterizado por compreender uma memória, e os referidos meios para utilização de um parâmetro compreendendo um definidor para examinar o referido parâmetro e para reservar locais de memória para o armazenamento de buffer da referida memória de acordo com o referido parâmetro.

25. Processador (2.2) de acordo com a reivindicação 23, caracterizado por compreender um decodificador para decodificar imagens a partir do fluxo de imagem codificado recebido, e meios para utilizar os locais de memória reservados para armazenar em buffer as imagens codificadas.

26. Um codificador (1) para codificação de dados de mídia sendo incluídos em unidades de transmissão de dados, as unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados de mídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados da mídia diferentes da ordem de saída dos dados de mídia, caracterizado pelo codificador compreender um definidor adaptado para definir um parâmetro indicativo do número máximo de unidades de transmissão de dados que precedem qualquer unidade de transmissão de dados no fluxo de pacotes em ordem de transmissão, e segue a unidade de transmissão de dados na ordem de decodificação.

Petição 870190000229, de 02/01/2019, pág. 29/30

7 / 7

27. Codificador (1) de acordo com a reivindicação 26, caracterizado pelos referidos dados de mídia compreenderem uma fatia de uma imagem codificada.

28. Codificador (1) acordo com a reivindicação 26, caracterizado pela referida unidade de transmissão compreendendo dados de mídia ser uma unidade VCL NAL.

29. Um decodificador (2) para decodificação de fluxo de imagem codificado incluído em unidades de transmissão de dados que compreendem dados multimídia, as unidades de transmissão de dados tendo sido ordenadas em uma ordem de transmissão que é diferente de uma ordem de decodificação dos dados multimídia nas unidades de transmissão de dados, e a ordem de decodificação dos dados de mídia sendo diferentes da ordem de saída dos dados de mídia, caracterizado pelo decodificador compreender meios para determinar os requisitos de armazenamento de buffer utilizando um parâmetro indicativo do número máximo de unidades de transmissão que precede qualquer unidade de transmissão de dados no pacote em ordem de transmissão, e segue a unidade de transmissão de dados na ordem de decodificação.

30. Decodificador (2) de acordo com a reivindicação 29, caracterizado por compreender uma memória, e os referidos meios para utilização de um parâmetro compreendendo um definidor para examinar o referido parâmetro e para reservar locais de memória para armazenamento em buffer da referida memória de acordo com o referido parâmetro.

31. Decodificador (2) de acordo com a reivindicação 30, caracterizado por compreender meios para utilizar os locais de memória reservados para armazenar em buffer as imagens codificadas.