BRPI0622135A2

BRPI0622135A2 - mÉtodo para suporte corretivo de erros futuros para dados de vÍdeo e Áudio em tempo real atravÉs de redes de trabalho protocoladas na internet

Info

Publication number: BRPI0622135A2
Application number: BRPI0622135-1A
Authority: BR
Inventors: Hang Liu; Mary-Luc Champel; Mingquan Wu; Ma Xiaojun; Huanqiang Zhang; Jun Li
Original assignee: Thomson Licensing
Priority date: 2006-12-21
Filing date: 2006-12-21
Publication date: 2011-12-27
Also published as: US20090276686A1; CN101563874B; EP2103026A1; TW200849877A; WO2008076125A1; US8990663B2; EP2103026B1; CN101563874A; TWI353134B; EP2103026A4; JP2010514348A

Abstract

MÉTODO PARA SUPORTE CORRETIVO DE ERROS FUTUROS PARA DADOS DE VÍDEO E ÁUDIO EM TEMPO REAL ATRAVÉS DE REDES DE TRABALHO PROTOCOLADAS NA INTERNET. Descreve-se um método e aparelhagem para proteção de mídias em tempo real, incluindo os pacotes de mídias, aplicação de um código de correção de erro futuro através das cadeias de dígitos binários geradas, para geração de, pelo menos, uma cadeia de dígitos de correção de erro futuro e geração de, pelo menos, um pacote de correção de erro futuro, a partir de , pelo menos, um pacote de correção de erro futuro, a partir de, pelo menos, uma cadeia de digitos binários de correção de erro futuro. São igualmente descritos um método e aparelhagem para a restauração de pacotes extraviados em tempo real, incluindo-se formação de cadeias de dígitos binários de mídias a partir de pacotes de mídias recebidos, formação de cadeia de dígitos binários de correção de erro futuro a partir de pacotes de correção de erro futuro recebidos, decodificação das cadeias de dígitos binários de mídias formadas e cadeias de dígitos binários para correção de erro futuro visando obtenção das cadeias de dígitos binários restauradas, e restaurando os pacotes de mídias extraviados a partir das cadeias de dígitos binários de mídias restauradas. Descreve-se ainda uma estrutura de dados para um componente principal de correção de erro futuro em mídias de leitura por computador.

Description

"MÉTODO PARA SUPORTE CORRETIVO DE ERROS FUTUROS PARA DADOS DE VÍDEO E ÁUDIO EM TEMPO REAL ATRAVÉS DE REDES DE TRABALHO PROTOCOLADAS NA INTERNET"

CAMPO DA INVENÇÃO

A presente invenção refere-se, em termos gerais, a correção de erros futuros (FEC) para dados de vídeo e áudio transmitidos em tempo real através de redes de trabalho proto- coladas na internet (IP), e, em particular, a um método de sinalização para suporte FEC quanto a vídeo e áudio transmitidos em tempo real através de redes de trabalho IP e pa- drões de sintaxe em suporte ao método de sinalização.

ANTECEDENTES DA INVENÇÃO

Pacotes podem ser extraviados durante a transmissão através de redes de trabalho IP. Contudo, os extravios de pacotes não são aceitáveis em muitas aplicações em rede, tal como aplicações de áudio e vídeo em tempo real. A correção de erro futuro em camada de aplicação (FEC) fornece um método de restauração de pacotes extraviados de ori- gem/dados/mídia junto ao receptor/decodificador. O símbolo "/" é aqui utilizado para indicar nomes alternativos para componentes semelhantes. Os códigos FEC são aplicados ao lon- go dos pacotes originados junto ao transporte ou camada de aplicação para geração dos pacotes FEC, que contêm a informação redundante, junto ao emissor/codificador ou para outros nodos na rede de trabalho. Estes pacotes FEC são transmitidos para o receptor e o receptor faz a restauração dos pacotes de origem extraviados utilizando a informação re- dundante nos pacotes FEC recebidos.

Podem ser utilizados diferentes métodos de codificação e diferentes códigos FEC para gerar-se a redundância no emissor/codificador. O receptor/decodificador precisa da informação quanto ao método e parâmetros de codificação de forma a poder decodificar e restaurar os pacotes de origem extraviados. Portanto, torna-se preciso um método de sinali- zação e sintaxe para que o emissor/codificador informe ao receptor/decodificador com res- peito à informação de codificação FEC.

Em via de regra, protocola-se o transporte em tempo real (RTP) e usa-se o Protoco- lo em Datagrama para Usuário (UDP) no caso de redes de trabalho IP transmitin- do/transportando vídeo/áudio em tempo real. A carga útil (pacotes de origem) é inserida no conjunto de protocolos RTP/UDP/IP. Defini-se um formato de carga útil RTP fazendo-se re- ferência a pacotes genéricos FEC no padrão RFC 2733, viabilizando-se a correção de erros para mídias em tempo real. Entretanto, o RFC 2733 limita o escopo dos pacotes emprega- dos que geram carga útil FEC à taxa de 24 pacotes consecutivos, possibilitando, porém, a geração de somente um pacote FEC por bloco de pacotes de dados/origem/mídia.

O padrão 2002-1 da Sociedade de Engenheiros da Televisão e Cinema (SMPTE) define uma extensão para o RFC 2733, possibilitando que sejam aplicados códigos de cor- reção de erros junto a pacotes de mídias não-consecutivos, que podem ser espaçados em torno de mais do que 24 pacotes de mídias/origem intensificando a restauração de extravi- os. Contudo, o padrão SMPTE 2002-1 possibilita somente codificação OR Exclusiva (XOR) em um bloco de pacotes de mídias para geração de um simples pacote de paridade FEC1 de modo que somente pode ser corrigido o extravio de um pacote em um bloco de pacotes co- dificado. Nas redes de trabalho IP, especialmente aquelas com conexões sem fios, os extra- vios de pacotes podem ser bastante elevados, de maneira que faz-se necessário um es- quema de codificação FEC apresentando uma capacidade de correção de erro mais pos- sante para haver detecção e correção adequadas dos extravios de pacotes para vídeo e áudio transmitidos em tempo real através de redes de trabalho IP. Além disso, no padrão SMPTE 2002-1, o método de sinalização e sintaxe de pacote FEC não inclui a quantidade total de pacotes (mídia+FEC) para um bloco codificado. Ou seja, o tamanho do bloco FEC não se apresenta incluído em um componente principal. O emissor/codificador não pode informar ao receptor/decodificador com respeito à informação referente ao tamanho do bloco FEC. Para ter-se um código FEC(N1K) mais possante, o valor da quantidade total de paco- tes para um bloco codificado, ou seja, o tamanho do bloco, deve ser Neo número de pa- cotes de mídias a serem protegidos em um bloco codificado deve ser K. Por exemplo, caso os pacotes de mídias K sejam codificados para gerarem N-K pacotes FEC com um código Reed-Solomon (N,K), pode-se restaurar até N-K pacotes extraviados de um bloco consistin- do de N pacotes codificados. Para o caso de codificação XOR, o tamanho do bloco N pode ser obtido a partir da quantidade de pacotes de mídias a serem protegidos, ou seja, N é sempre igual a K+1, uma vez que a codificação XOR gera somente um único pacote FEC a partir de K pacotes de mídias protegidos, corrigindo somente o extravio de um pacote. En- tretanto, isto não é verdade para o caso de um código FEC (N,K) apresentando uma capaci- dade mais possante para a correção de erros. Diferentemente da codificação XOR, o tama- nho N do bloco para um código FEC(N1K) consiste de um parâmetro independente e pode não estar diretamente relacionado a Κ. O tamanho do bloco N deve ser do conhecimento do receptor/decodificador para a forma correta de restauração dos pacotes extraviados. O pa- drão SMPTE 2002-1 por si só não é suficiente para dar sustentação a sinalização dos parâ- metros de código FEC(N1K) que requerem informação do bloco FEC para a operação de decodifi cação/restauração.

Portanto, seria vantajoso ter-se uma nova estrutura/sintaxe de dados para um com- ponente principal FEC fornecendo um suporte mais possante de código FEC, por exemplo, o código RS, para o transporte de vídeo/áudio em tempo real através de redes de trabalho IP. Relacionado com essa nova estrutura/sintaxe de dados para o componente principal FE, necessita-se de um novo método de proteção/codificação de forma que tanto o componente principal RTP como a carga útil dos pacotes de mídias possam ser devidamente protegidos. Além do mais, necessita-se de um novo método junto ao receptor.

SUMÁRIO DA INVENÇÃO

A presente invenção fornece um método de sinalização e sintaxe para suporte FEC a áudio e vídeo transmitidos em tempo real através de redes de trabalho IP. Além disso, a presente invenção fornece um método que irá gerar pacotes FEC aplicando a codificação FEC junto a pacotes originados no emissor/codificador e um método para restauração de pacotes de origem extraviados junto ao receptor/decodificador. Embora seja utilizada a codi- ficação Reed-Solomon como forma de exemplo para se explicar os métodos de acordo com a presente invenção, a presente invenção é igualmente aplicável para outros esquemas de codificação FEC.

Um método e aparelhagem são descritos voltados à proteção de mídia em tempo real, incluído o recebimento de pacotes de mídias, geração de cadeias de dígitos binários em mídias a partir de pacotes de mídias, aplicação de um código de correção de erro futuro através da cadeia de dígitos binários gerada, gerando-se, pelo menos, a correção de um erro futuro da cadeia de dígitos binários, e gerando-se, pelo menos, um pacote de correção de erro futuro, a partir de, pelo menos, uma cadeia de dígitos binários de correção de erro futuro. Também são descritos um método e aparelhagem para a restauração de extravios de pacotes de mídias em tempo real, inclusa a formação de cadeias de dígitos binários de mí- dias a partir de pacotes de mídias recebidos, formação de cadeias de dígitos binários de correção de erro futuro a partir de pacotes de correção de erro futuro recebidos, decodifica- ção de cadeias de dígitos binários das mídias formadas e cadeias de dígitos binários de cor- reção de erro futuro para a obtenção de cadeias de dígitos binários de mídias restauradas com restauração de pacotes de mídias extraviados a partir de cadeias de dígitos binários de mídias restauradas. Descreve-se ainda uma estrutura de dados referente a um componente principal de correção de erro futuro junto à mídias de leitura por computador, aonde a estru- tura de dados inclui um campo para a armazenagem de uma quantidade pré-determinada de dígitos binários de ordem mais elevada advindos de uma indexação de pacotes com pa- ridade corretiva de erros futuros. Descreve-se ainda uma estrutura de dados referente a um componente principal de correção de erro futuro em uma mídia de leitura por computador, em que a estrutura de dados inclui um campo para indicação de uma quantidade total de pacotes de correção de erros futuros e pacotes de mídias.

BREVE DESCRIÇÃO DOS DESENHOS

A presente invenção será mais bem compreendida a partir da descrição detalhada a seguir quando lida em conjunto com os desenhos de acompanhamento. Os desenhos in- cluem as figuras abaixo descritas de forma sucinta:

A Figura 1 ilustra o processo junto ao emissor/codificador.

A Figura 2 ilustra um esquema de acordo com a presente invenção. A Figura 3 ilustra um esquema de codificação alternativo de acordo com a presente invenção.

A Figura 4 descreve a estrutura de pacote FEC de acordo com a presente inven- ção.

A Figura 5 apresenta um componente principal FEC de acordo com a presente in- venção.

A Figura 6 apresenta um fluxograma do método de proteção para suporte FEC para vídeo e áudio em tempo real através de redes de trabalho IP junto ao emissor/codificador de acordo com a presente invenção.

A Figura 7 consiste de um fluxograma do método de restauração para suporte FEC para áudio e vídeo em tempo real através de redes de trabalho IP junto ao recep- tor/decodificador de acordo com a presente invenção.

A Figura 8 consiste de um diagrama esquemático do processo de codifica- ção/proteção para suporte FEC de áudio e vídeo em tempo real através de redes de traba- Iho IP junto ao emissor/codificador de acordo com a presente invenção.

A Figura 9 consiste de um diagrama esquemático do processo de restauração para suporte FEC para áudio e vídeo em tempo real através de redes de trabalho IP junto ao re- ceptor/decodificador de acordo com a presente invenção.

DESCRIÇÃO DETALHADA DAS MODALIDADES PREFERIDAS

Em acréscimo ao tipo de código FEC1 especifica-se um código FEC por seus parâ- metros, tal como o bloco de tamanho Nea quantidade de símbolos K originados. Quando um código FEC sistemático de ordem (N1K) é aplicado ao longo de pacotes de da- dos/origem/mídia K1 gera-se N-K pacotes FEC. Por exemplo, os códigos Reed-Solomon (RS) são códigos de correção de erro bem conhecidos. Caso sejam codificados K pacotes de mídias para gerar-se N-K pacotes FEC com um código RS(N1K)1 qualquer sub-conjunto de K pacotes se apresenta como suficiente para reconstruir-se o dado de mídias de forma correta, ou seja, um código RS(N1K) possibilita a restauração de até N-K pacotes extravia- dos em um bloco de N pacotes codificados. Devido a todo um pacote ser descartado através da camada rebaixada, tal como, uma camada de controle de acesso a mídias, camada IP ou camada UDP1 no caso da existência mesmo de um simples dígito binário errado, um pacote virá, ou chegará corrigido, ou então, não passará da camada UDP, ou seja, do RTP ou ca- mada de aplicação. O método da presente invenção atua para além da camada UDP. Na presente invenção se assume que um pacote apresente-se tanto corrigido quanto extravia- do. Caso um pacote seja perdido, a posição do pacote extraviado é conhecida a partir da seqüência numérica junto ao componente principal RTP.

Com referência a Figura 1, os dados advindos da origem/mídias, tais como, dados de áudio e/ou vídeo, são empacotados pelo empacotador RTP 105, com um componente principal RTP inserido nos mesmos. Aplica-se, então, o código FEC através de múltiplos pacotes de mídias via um processo 110 de codificação FEC para gerar-se pacotes FEC. Os pacotes de mídias e os pacotes FEC adicionais são transmitidos através do conjunto de pro- tocolo UDP/IP 115, 120 através da interface de comunicações 125. De forma a haver com- patibilidade com sistemas anteriores capacitados sem FEC1 não se altera o formato dos pa- cotes de mídias pelo processo de codificação FEC da presente invenção. Ou seja, os paco- tes de mídias são ainda capazes de serem recebidos e restaurados através de um sistema sem o FEC. A informação de sinalização com respeito aos parâmetros FEC é conduzida nos pacotes FEC. Os pacotes de mídias e os pacotes FEC podem ser transmitidos utilizando-se diferentes entradas UDP. Os sistemas sem FE recebem, dessa maneira, somente pacotes de mídias a partir da entrada UDP utilizada para pacotes de mídias. O pacote FEC pode ser especificado também através de um diferente tipo de carga útil no componente principal RTP. Em uma modalidade alternativa, o pacote FEC e o pacote de mídias podem ser distin- guidos através de seus tipos de cargas úteis. Um sistema sem FEC irá descartar os pacotes FEC caso não possa identificar o tipo de carga útil.

O esquema da presente invenção é capaz de restaurar múltiplos pacotes extravia- dos em um bloco codificado. Caso seja utilizado um esquema unidimensional com base em um código RS (N1K) (ou seja, o código RS(N1K) é aplicado ao longo de K pacotes de mídias consecutivos) pode-se restaurar pacotes de mídias extraviados de ordem de N-K1 ou menor, devido a um surgimento de erro.

Antes da aplicação do método de codificação da presente invenção, os pacotes RTP de mídias podem ser reordenados. Com referência a Figura 2, pacotes de mídias de ordem LxD formam uma matriz bi-dimensional. Os pacotes de mídias em um bloco codifica- do podem ser selecionados periodicamente. Ou seja, os pacotes FEC são gerados ao curso de pacotes RTP de mídias com a seqüência numérica aumentada de um valor igual a L (L > 1). O L representando o número de colunas de pacotes a serem protegidas e o D represen- tando o número de linhas de pacotes a serem protegidas. Caso um esquema bidimensional para um esquema de codificação FEC seja empregado, a capacidade de restauração de surgimento de erro é bem melhorada, uma vez que pode haver uma restauração consecuti- va de ordem de L x(N-K) de pacotes extraviados. Quando na etapa de transmissão, os pa- cotes de mídias protegidos pelos mesmos pacotes FEC são separados por L pacotes prote- gidos pelos outros pacotes FEC, reduzindo assim a quantidade de pacotes com erros em um bloco codificado, caso ocorra um surgimento de erro. Antes da decodificação junto ao receptor, os pacotes recebidos são reordenados da forma mostrada na Figura 2. Portanto, pode-se restaurar pacotes RTP consecutivos a partir de diferentes pacotes FEC.

Na Figura 2, ilustra-se o esquema de codificação para pacotes de mídias L*D. O período escolhido entre os pacotes de mídias abrangidos para um dado de código FEC (N1K) (por exp., RS) é L. Assim, a carga útil do pacote FEC (h,m) (h=0,1,...N-K-1;m=0,1,...L- 1) é computada com base dos pacotes D (D=K) numerados iL+m (0<i O esquema

unidimensional, ou seja, a aplicação de um código FEC (N1K) junto a K consecutivos paco- tes extraviados representa um caso especial do esquema bi-dimensional com L igual a 1. O alinhamento das colunas é exemplificado para fins ilustrativos. Sendo possíveis outros mé- todos de organização dos pacotes de dados para a criação das cadeias de colunas FEC.

Dois fluxos FEC simultâneos são também possíveis de serem sustentados, o que virá a fornecer uma capacidade de correção de erro de ordem mais elevada, ao custo de se produzir uma carga extra. Estes fluxos FEC podem ser conduzidos em entradas UDP em separado e podem apresentar uma seqüência numérica RTP separada com capacidade de manter compatibilidade com receptores anteriores que comportam somente um único fluxo FEC. Como forma de exemplo, a entrada com a numeração rebaixada pode conduzir o fluxo de colunas FEC e a segunda entrada pode conduzir o fluxo de linhas FEC.

O fluxo de colunas FE (o primeiro fluxo) e o fluxo de linhas FEC (o segundo fluxo) podem ser gerados utilizando-se diferentes códigos FEC. O fluxo de linhas FEC é aplicado junto a uma linha de pacotes consecutivos com o parâmetro de comprimento L. Caso as colunas apresentem-se alinhadas, isto irá produzir uma estrutura FEC conforme mostrado na Figura 3, aonde os pacotes denominados RTP consistem dos pacotes de mídias, os pa- cotes denominados FEC consistem dos pacotes de fluxo de colunas FEC que são gerados pelo código FEC (N1K) (K=D), e os pacotes denominados de FEC' consistem dos pacotes de fluxo de linhas FEC que são gerados pelo código FEC (N',K') (K-I).

O receptor/decodificador necessita de ser informado com respeito a informação de controle relacionada ao FEC e a informação de associação entre o pacote FEC e os pacotes de mídias protegidos pelo pacote FEC, de forma que o receptor/decodificador possa decodi- ficar de maneira correta o bloco FEC e restaurar quaisquer pacotes de mídias extraviados. Esta informação é prestada no componente principal FEC do pacote FEC. O formato básico para um pacote FEC é descrito na Figura 4. O dado FEC consiste da carga útil RTP 420. O componente principal RTP 405 é seguido pelo componente principal FEC 410, e daí, pela carga útil FEC 415. O componente principal FEC contém, em acréscimo a outras informa- ções, o tipo FEC, a quantidade total de pacotes (mídia+FEC) resultantes da operação de codificação FEC (ou seja, o tamanho do bloco FEC), a quantidade de pacotes de mídias associados com o pacote FEC, o número mínimo de seqüências dos pacotes de mídias as- sociados junto ao pacote FEC, o período utilizado para seleção dos pacotes de mídias as- sociados com este pacote FEC, o índice do pacote FEC, uma indicação do fluxo de colunas FEC e do fluxo de linhas FEC. O componente principal FEC inclui também os campos de abrangência da restauração, a restauração do tipo de carga útil e restauração com o tempo indicado para restauração do componente principal RTP dos pacotes de mídias. Com refe- rência a Figura 5, um componente principal FEC é apresentado com as seguintes definições dos campos.

• Dígitos binários rebaixados de BaseSN: Consiste do número mínimo de seqüên- cias dos pacotes associados com o pacote FEC. Em sendo suficiente 16 números de se- quências de dígitos binários, este parâmetro contém toda a seqüência numérica. Para o transporte de protocolos com uma seqüência de números mais longa, este campo contém o menos significativo dos 16 dígitos binários da seqüência numérica.

• Restauração de Extensão: Este campo deve ser utilizado para restauração do campo de qualquer dos pacotes de mídias extraviados associados com o pacote FEC.

• E: Este campo indica se o componente principal foi estendido. É ajustado para 1 para indicar que o componente principal foi estendido.

• Restauração PT: Este campo deve ser utilizado para restaurar o Tipo de Carga Ú- til de qualquer dos pacotes de mídias extraviados associados com o pacote FEC.

• Indice ext(estendido): Este campo contém os cinco dígitos binários mais significa- tivos do índice de pacote com paridade FEC. Para o código FEC (N1K) com N-K<8, seu valor e O.

• Reservado: Este campo não é utilizado. Ele é reservado para futura extensão e é ajustado como zero. O receptor ignora o valor deste campo.

• Quantidade Total: Este campo indica a quantidade total de pacotes (mídia+FEC) resultada da operação de codificação FEC, ou seja, o tamanho do bloco FEC. Para um có- digo FEC (N1K) (por exp., RS), o valor deste campo é igual a N.

• Restauração TS: Este campo é utilizado para restaurar o tempo indicado de qual- quer dosi pacotes de mídias extraviados associados com o pacote FEC.

• N: Este dígito binário é reservado para futuras extensões do componente principal e é ajustado em zero.

• D: Este dígito binário é fornecido como um elemento adicional de determinação de quais pacotes FEC apresentam-se associados com quais fluxos FEC. É ajustado como 0 para os pacotes FEC a partir do fluxo de colunas FEC (primeiro), e é ajustado como 1 para pacotes FEC a partir do fluxo de linhas FEC (segundo).

• Tipo: Este campo indica qual código de correção de erro foi escolhido e é ajustado para 2 caso seja empregado o código RS de 8-dígitos binários. Os receptores ignoram os pacotes apresentando um valor de tipo não-identificado. Os receptores sem a capacidade de decodificação do FEC específico ignoram os pacotes FEC.

• Indice: Este campo contém, pelo menos, 3 dígitos binários significativos do índice de pacote FEC.

• Offset: Este campo consiste do período empregado para seleção dos pacotes de mídias associados com este pacote FEC, e para os pacotes computados em função das colunas (ο primeiro fluxo FEC), conforme mostrado na Figura 3, representa o número de colunas (parâmetro L) na matriz. Para os pacotes computados em função das colunas (o segundo fluxo FEC) este parâmetro é sempre unitário. Este campo pode ser alterado duran- te uma sessão para cada fluxo FEC para o FEC adaptado.

NA: Este campo indica o número de pacotes de mídias associados com os paco- tes FEC codificados com um código FEC(,K), e para os pacotes fazendo parte junto ao pri- meiro fluxo FEC1 conforme mostrado na Figura 3, ele consiste do número de linhas na ma- triz (parâmetro D), e corresponde ao número de colunas (parâmetro L) para os pacotes per- tencendo ao segundo fluxo FEC. O primeiro fluxo FEC e o segundo fluxo FEC podem ser gerados pelos códigos FEC com diferentes parâmetros N e/ou Κ. O valor de K é igual a D para o primeiro fluxo FEC, e é igual a L para o segundo fluxo FEC. Este campo pode ser alterado durante uma sessão para cada fluxo FEC para o FEC adaptado.

Dígitos binários ext (estendidos) de BaseSN: Este campo é para uso junto a pro- tocolos que requeiram seqüências numéricas estendidas maiores do que 16 dígitos binários.

Quando uma seqüência numérica de 16 dígitos binários é suficiente, este parâmetro é ajus- tado como zero. Para o caso de protocolos com seqüências numéricas mais longas, este campo contém os oito dígitos binários mais significativos da seqüência numérica. Ou seja, o campo de dígitos binários rebaixado de BaseSN contém os 16 dígitos binários de ordem rebaixada da seqüência numérica e este campo contém os oito maiores dígitos binários em relação aos 16 dígitos binários de ordem rebaixada da seqüência numérica.

O campo índice ext e o campo Quantidade Total consistem de campos novos adi- cionados pela presente invenção de maneira a oferecem condições de suporte para códigos FEC mais poderosos junto ao bloco de tamanho Nea quantidade de pacotes de mídias K protegidos para dados de áudio e vídeo transmitidos em tempo real através de redes de trabalho IP. Os pacotes de mídias protegidos por um dado pacote FEC são definidos como aqueles em que as seqüências numéricas são fornecidas pela fórmula:

<formula>formula see original document page 9</formula>

Assim que um pacote FEC é recebido pelo receptor/decodificador, a informação de associação e o controle relacionado ao FEC podem ser obtidos a partir do componente prin- cipal FEC.

Tanto o componente principal RTP quanto a carga útil dos pacotes de mídias são protegidos. Com referência a Figura 6, ilustra-se um método de codificação/proteção FEC utilizando-se um fluxograma. O método de proteção FEC envolve a geração de uma cadeia de dígitos binários para cada pacote de mídias a ser protegido pela concatenação de cam- pos específicos a partir do componente principal RTP do pacote de mídias e da carga útil na etapa 605, preenchimento das cadeias de dígitos com zeros pela extensão da maior cadeia de dígitos binários a vir a ser protegida no bloco de codificação na etapa 615, aplicação de um código FEC ao longo da cadeia de dígitos binários de mídia gerando as cadeias de dígi- tos binários FEC na etapa 620, e gerando os pacotes FEC a partir das cadeias de dígitos binários FEC na etapa 625.

A presente invenção fornece um método para a formação de uma cadeia de dígitos binários a partir de um pacote de mídias. Os procedimentos a seguir são acompanhados pela operação de proteção/codificação. Para cada pacote de mídias a ser protegido, gera-se uma cadeia de dígitos binários pela concatenação dos campos indicados a seguir em con- junto, na ordem especificada:

Dígito binário de Marcação (I bit) (o valor do dígito binário de marca sendo 0)

• Tipo de Carga Útil (7 bits)

• Tempo Indicado (32 bits)

• Representação das extensões de 16 bits ordenados na rede de trabalho sem in- dexação (em bytes) da carga útil de mídia (16 bits)

A carga útil (extensão variável)

Caso a extensão de uma cadeia de dígitos binários não seja igual a um múltiplo de símbolos RS, a cadeia de dígitos binários é preenchida com o múltiplo de símbolos mais próximo. O valor para este preenchimento sendo zero. O preenchimento é adicionado ao final da cadeia de dígitos binários. Caso as extensões das cadeias de dígitos binários não sejam idênticas, cada cadeia de dígito binário que seja mais curta do que a extensão da maior cadeia de dígitos binário fica preenchida pela extensão da maior cadeia de dígitos binários. O valor para este preenchimento é também zero. O preenchimento é adicionado junto à extremidade da cadeia de dígitos binários. Cada cadeia de dígitos binários resultante apresenta a mesma extensão e contém S símbolos.

Aplica-se então o código FEC(N1K), por exp., o código RS, através das K cadeias de dígitos binários de mídias para se gerar (N-K) cadeias de dígitos binários FEC de símbo- los de tamanho S cada. As N-K cadeias de dígitos binários FEC geradas são utilizadas para a obtenção dos N-K pacotes FEC. Para cada cadeia de dígito binário FEC, o primeiro dígito binário (o mais significativo) na cadeia de dígitos binários FEC é escrito no dígito binário de marcação do componente principal RTP do pacote FEC. Os sete dígitos binários da cadeia de dígitos binários FEC são escritos no campo de restauração PT no componente principal de pacote FEC. Os 32 dígitos binários seguintes da cadeia de dígitos binários FEC são es- critos no campo de restauração TS no componente principal de pacote FEC. Os 16 dígitos binários seguintes são escritos no campo de restauração de extensão no componente prin- cipal de pacote FEC. Os dígitos binários restantes são ajustados para consistirem da carga útil do pacote FEC. A posição dos pacotes FEC em um bloco de codificação FEC é indexa- da de 0 a N-K-1. Os 3 dígitos binários rebaixados do índice do pacote FEC são inseridos no campo índice do componente principal FEC, os 5 dígitos binários mais elevados são inseri- dos no campo índice ext. A quantidade total no componente principal FEC é ajustada como sendo N.

Os pacotes FEC possibilitam a que os receptores/decodificadores restaurem paco- tes de mídias extraviados. A presente invenção fornece um método para a restauração de extravio de pacote no receptor. Cada componente principal de pacote FEC individual indica o tamanho do bloco FEC1 a seqüência numérica básica (SNbase), a compensação (offset), e a quantidade de pacotes de mídias protegidos (NA), bem como o índice de pacote FEC. Um receptor recupera estes valores transmitidos em cada pacote FEC para associação correta do pacote FEC com os pacotes de mídias originais, posicionando o pacote na posição corre- ta para a restauração. Os pacotes (mídia e FEC) são dispostos corretamente. Executa-se a decodificação FEC RS junto às cadeias de dígitos binários obtidas a partir da mídia recebida e dos pacotes FEC, recuperando-se estes pacotes extraviados. Com referência a Figura 7, a presente invenção fornece um método para a restauração dos pacotes extraviados como se segue abaixo:

• Formação de cadeias de dígitos binários a partir de pacotes de mídias recebidos através da reversão do processo delineado acima na etapa 705.

• No caso do pacote FEC, gera-se uma cadeia de dígitos binários pela concatena- ção dos campos a seguir em conjunto e na ordem especificada na etapa 710:

o Dígito binário de marcação (1 bit)

o Restauração PT (7 bits)

o Restauração TS (32 bits)

o Restauração de Extensão (16 bits)

o Carga útil FEC (extensão variável)

• Caso quaisquer das cadeias de dígitos binários geradas a partir dos pacotes de mídias sejam mais curtas do que a cadeia de dígitos binários gerada a partir do pacote FEC, o preenchimento é realizado como sendo de mesma extensão da cadeia de dígitos binários gerada a partir do pacote FEC na etapa 715. O preenchimento é adicionado na ponta final da cadeia de dígitos binários, sendo o valor do preenchimento igual a zero.

• Executar a decodificação RS através das cadeias de dígitos binários, resultando nas cadeias de dígitos binários restauradas na etapa 720.

• Obter cada pacote restaurado a partir de cada cadeia de dígito binário restaurada na etapa 725.

o Criar um pacote restaurado com o padrão de 12 bytes do componente principal RTP, sem carga útil.

o Ajustar a versão do novo pacote para 2.

o Ajustar os valores dos campos P,X,CC e M. o Descartar o primeiro dígito binário na cadeia de dígitos binários restaurada, o Ajustar o tipo de carga útil no pacote de restauração para os 7 dígitos binários seguintes na cadeia de dígitos binários restaurada.

o Ajustar o campo SN no pacote de restauração de acordo com a BaseSN1 Offset e posição da cadeia de dígito binário restaurado no bloco codificado. Caso o pacote restaura- do seja o j-ésimo pacote de mídias no bloco codificado, o seu SN é igual a SNBase + (j- 1)xOffset, (1<j<NA).

o Ajustar o campo TS no pacote restaurado para os 32 dígitos binários a seguir na cadeia de dígitos binário restaurada.

o Os 16 dígitos binários seguintes da cadeia de dígitos binários restaurada (assu- mindo-se uma ordem na rede de trabalho e inteiros sem indexação) representam a extensão da carga útil. A consideração da quantidade de bytes representados por estes 16 dígitos binários da cadeia de dígitos binários restaurada a partir da cadeia de dígitos binários res- taurada na seqüência, com a e anexação dos mesmos junto ao pacote restaurado. Isto vem a consistir da carga útil.

o Ajustar o SSRC do pacote restaurado ao SSRC do fluxo de mídia que está sendo protegido.

Este método recupera plenamente tanto o componente principal quanto a carga útil de um pacote RTP.

Qualquer esquema de interposição e algoritmo de agendamento de transmissão de pacote pode ser empregado para garantir-se que os pacotes FEC sejam entrepostos com pacotes de dados em uma maneira que se evite grandes mudanças no regime de envio ao longo do tempo. Por exemplo, o módulo de processo FEC do emissor pode passar através de pacotes de mídias imediatamente mediante o recebimento dos mesmos, mantendo-se uma cópia local. Quando são recebidos pacotes de mídias suficientes para um bloco de co- dificação, ou dá-se por encerrada uma regulação de tempo faz-se a geração de pacotes FEC, os quais são enviados para fora. Deve-se observar que em cada caso, cada pacote FEC individual indica o tamanho do bloco FEC, a seqüência numérica básica (SNbase), a compensação (Offset) e a quantidade de pacotes de dados (NA), bem como o índice de pa- cote FEC. Os receptores recuperam estes valores transmitidos em cada pacote FEC para associar corretamente o pacote FEC com os pacotes de fluxo de dados originais, posicio- nando o pacote na posição correta para restauração.

A Figura 8 consiste de um diagrama esquemático do processo de codifica- ção/proteção para FEC de suporte para áudio e vídeo em tempo real através de redes de trabalho IP junto ao emissor/codificador de acordo com a presente invenção. O processo de proteção/codificação FEC envolve a geração de uma cadeia de dígitos binários para cada pacote de mídias a ser protegido através da concatenação de campos específicos a partir do componente principal RTP do pacote de mídias e da carga útil, preenchimento das ca- deias de dígitos binários geradas com zeros junto aos múltiplos de símbolos mais próximos e preenchimento das cadeias de dígitos binários com zeros junto à extensão da maior ca- deia de dígitos binários a ser protegida no bloco de codificação pelo módulo de empacota- mento RTP 805. Aplica-se em seguida um código FEC através das cadeias de dígitos biná- rios de mídia para a geração das cadeias de dígitos binários FEC e para geração dos paco- tes FEC a partir das cadeias de dígitos binários FEC pela codificação FEC e módulo de em- pacotamento 810. Então, faz-se a comunicação dos pacotes de mídias e dos pacotes FEC através do conjunto de protocolo UDP/IP 815 e da interface 820 de rede de trabalho. O mó- dulo de empacotamento RTP 815, a codificação FEC e o módulo de empacotamento 810, o conjunto de protocolo UDP/IP 815 e a interface 820 de rede de trabalho apresentam-se to- dos em comunicação com, e sendo controlados pelo módulo de controle de sessão 825.

A Figura 9 consiste de um diagrama esquemático do processo de restauração para FEC de suporte para áudio e vídeo em tempo real através de redes de trabalho IP junto ao receptor/decodificador de acordo com a presente invenção. Os pacotes FEC e de mídia são recebidos pela interface de rede de trabalho 905. A interface de rede de trabalho destina os pacotes de mídias recebidos e os pacotes FEC para o conjunto de protocolo UDP/IP 910. O conjunto de protocolo UDP/IP 910 destina os pacotes de mídias e os pacotes FEC ao módu- lo de decodificação FEC e desempacotamento 915. O módulo de decodificação FEC e de desempacotamento 915 separa e interpreta os campos do componente principal de pacote FEC e posiciona os pacotes de mídias recebidos e os pacotes FEC na ordem correta em um bloco de codificação FEC, formando as cadeias de dígitos binários de mídias a partir de pa- cotes de mídias formados e das cadeias de dígitos binários FEC recebidas a partir dos pa- cotes FEC. Então executa-se a decodificação RS através das cadeias de dígitos binários resultando nas cadeias de dígitos binários restauradas. Os pacotes restaurados são obtidos a partir das cadeias de dígitos binários restauradas. O módulo de desempacotamento e de- codificação FEC destina dados ao módulo de desempacotamento RTP 920, o qual obtém a informação do componente principal RTP e dados da carga útil RTP a partir do pacote RTP. A interface de rede de trabalho 905, o conjunto de protocolo UDP/IP 910, o módulo de de- sempacotamento e decodificação FEC 915 e o módulo de desempacotamento RTP 920 en- contram-se todos em comunicação e controlados pelo módulo de controle de sessão 925.

Deve-se compreender que a presente invenção pode ser implementada em vários formatos de hardware, software, firmware, processadores para finalidades especiais, ou uma combinação dos mesmos. Preferencialmente, fez-se a implementação da presente in- venção na forma de uma combinação de hardware com software. Mais ainda, o software é preferencialmente implementado como um programa de aplicação, virtualmente composto de um dispositivo para armazenagem de programas. O programa de aplicação pode ser carregado, e executado através de uma máquina que contenha qualquer tipo adequado de estrutura. Preferencialmente, a máquina é implementada em uma plataforma computacional apresentando hardware, tal como, uma ou mais unidades de processamento central (CPU), uma memória de acesso aleatório (RAM), e interfaces de entrada/saída (l/O). A plataforma computacional inclui ainda um sistema operacional e código para micro-instruções. Os vá- rios processos e funções descritas no presente relatório podem tanto fazer parte do código de micro-instruções como parte do programa de aplicação (ou uma combinação dos mes- mos), que é executado via sistema operacional. Ainda, vários outros dispositivos periféricos podem ser conectados junto à plataforma computacional, tal como, um dispositivo de arma- zenamento de dados adicional e um dispositivo de impressão.

Deve-se compreender ainda que, devido a que alguns dos componentes do sistema constituinte e as etapas dos métodos descritas nas figuras acompanhantes sejam preferen- cialmente implementados no software, as atuais conexões entre os componentes do sistema (ou as etapas do processo) podem diferir dependendo da maneira com que a presente in- venção é programada. A partir dos ensinamentos prestados no presente relatório, especia- listas da área relacionada serão capazes de assimilar estas e outras implementações ou configurações semelhantes da presente invenção.

Claims

1. Método para proteção de mídia em tempo real, CARACTERIZADO pelo fato do método compreender: recebimento de pacotes de mídias; geração de cadeias de dígitos binários de mídias a partir dos referidos pacotes de mídias; aplicação de um código de correção de erro futuro através das referidas cadeias de dígitos binários de mídias geradas para a geração de, pelo menos, uma cadeia de dígitos binários para correção de erro futuro; e geração de, pelo menos, um pacote de correção de erro futuro a partir da referida, pelo menos, uma cadeia de dígitos binários para correção de erro future-

2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de com- preender ainda: preenchimento de cada uma das referidas cadeias de dígitos binários de mídias ge- radas junto ao mais próximo múltiplo de símbolos na ponta final de cada uma das referidas cadeias de dígitos binários de mídias geradas; e preenchimento adicional em uma ponta final da referida cadeia de dígitos binários anteriormente preenchida, de modo que, cada cadeia de dígitos binários preenchida repre- sente a extensão da maior cadeia de dígitos.

3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que cada uma das referidas cadeias de dígitos binários de mídias é gerada pela concatenação de um conjunto de campos a partir de um componente principal de protocolo de transporte em tempo real, uma extensão de carga útil e uma carga útil de cada um dos referidos paco- tes de mídias ordenados.

4. Método, de acordo com a reivindicação 3, CARACTERIZADO pelo fato ainda dos referidos conjuntos de campos e referida ordem consistirem de um dígito binário de marcação, de um tipo de carga útil, de um carimbo horário, de uma representação de uma extensão de uma carga útil de mídia e da referida carga útil de mídia.

5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de cada uma das referidas cadeias de dígitos binários de correção de erro futuro geradas ser utiliza- da para enchimento de um componente principal de pacote de correção de erro futuro.

6. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de com- preender ainda: inserção de uma quantidade pré-determinada de dígitos binários de ordem rebaixa- da de um índice de referido pacote de correção de erro futuro em um primeiro campo de índice do referido componente principal de pacote de correção de erro futuro; inserção de uma quantidade pré-determinada de dígitos binários de ordem elevada do referido índice do referido pacote de correção de erro futuro em um segundo campo de índice do referido componente principal de correção de erro futuro; e estabelecimento de uma quantidade total de campos do referido componente prin- cipal de pacote de correção de erro futuro para uma quantidade pré-determinada indicando uma quantidade total de pacotes de correção de erro futuro e pacotes de mídias em um blo- co de correção de erro futuro.

7. Aparelho para proteção de mídia em tempo real, CARACTERIZADO pelo fato de compreender: elementos para recebimento de pacotes de mídias; elementos para geração de cadeias de dígitos binários de mídia a partir de referidos pacotes de mídias; elementos para a aplicação de um código de correção de erro futuro através das re- feridas cadeias de dígitos binários de mídia geradas para a geração de, pelo menos, uma cadeia de dígitos binários para correção de erro futuro;e elementos para a geração de, pelo menos, um pacote de correção de erro futuro a partir de, pelo menos, uma referida cadeia de dígitos binários para correção de erro futuro.

8. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de com- preender ainda: elementos para o preenchimento das referidas cadeias de dígitos binários de mí- dias geradas junto ao mais próximo múltiplo de símbolos em uma ponta final das referidas cadeias de dígitos binários de mídias geradas; e elementos para preenchimento posterior em uma ponta final da referida cadeia de dígitos binários previamente preenchida, de modo que cada cadeia de dígitos binários pre- enchida apresente a extensão da maior cadeia de dígitos binários.

9. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de cada uma das referidas cadeias de dígitos binários de mídia ser gerada pela concatenação de um conjunto de campos a partir de um componente principal de protocolo de transporte em tempo real, uma extensão de carga útil e uma carga útil de cada um dos referidos pacotes de mídias ordenados.

10. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato ainda do referido conjunto de campos e referida ordem consistirem de um dígito binário de marca- ção, de um tipo de carga útil, de um carimbo horário, de uma representação de uma exten- são de uma carga útil de mídia e da referida carga útil de mídia.

11. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de ca- da uma das referidas cadeias de dígitos binários de correção de erro futuro geradas ser utili- zada para enchimento de um componente principal de pacote de correção de erro futuro.

12. Aparelho, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de compreender ainda: elementos para a inserção de uma quantidade pré-determinada de dígitos binários de ordem rebaixada de um índice do referido pacote de correção de erro futuro em um pri- meiro campo de índice do referido componente principal de pacote de correção de erro futu- ro; elementos para a inserção de uma quantidade pré-determinada de dígitos binários de ordem elevada do referido índice do referido pacote de correção de erro futuro em um segundo campo de índice do referido componente principal de pacote de correção de erro futuro; e elementos para estabelecimento de uma quantidade total de campos do referido componente principal de pacote de correção de erro futuro junto a uma quantidade pré- determinada indicando uma quantidade total de pacotes de correção de erro futuro e paco- tes de mídias em um bloco de correção de erro futuro.

13. Método para restauração de pacotes de mídias extraviados em tempo real, CARACTERIZADO pelo fato do referido método compreender: formação de cadeias de dígitos binários de mídias a partir de pacotes de mídias re- cebidos; formação de cadeias de dígitos binários de correção de erro futuro a partir dos pa- cotes de correção de erro futuro; decodificação das referidas cadeias de dígitos binários de mídias e das referidas cadeias de dígitos binários para correção de erro futuro para a obtenção de cadeias de dígi- tos binários de mídias restauradas; e geração de pacotes de mídias restaurados a partir das referidas cadeias de dígitos binários de mídias restauradas.

14. Método, de acordo coma reivindicação 13, CARACTERIZADO pelo fato de compreender ainda preenchimento de referidas cadeias de dígitos binários de mídias junto a uma ponta final de referidas cadeias de dígitos binários de mídias pela extensão das referi- das cadeias de dígitos binários de correção de erro futuro.

15. Aparelho para restauração de pacotes de mídias extraviados em tempo real, CARACTERIZADO pelo fato de compreender: elementos para a formação de cadeias de dígitos binários de mídias a partir de pa- cotes de mídias recebidos; elementos para a formação de cadeias de dígitos binários para correção de erro fu- turo a partir de pacotes de correção de erro futuro recebidos; elementos para a decodificação das referidas cadeias de dígitos binários de mídias e das referidas cadeias de dígitos binários de correção de erro futuro para a obtenção de cadeias de dígitos binários restauradas; e elementos para a geração de pacotes de mídias restaurados a partir de cadeias de dígitos binários de mídias restauradas.

16. Aparelho, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de compreender ainda elementos para o preenchimento das referidas cadeias de dígitos biná- rios de mídias em uma ponta final das referidas cadeias de dígitos binários de mídias junto à extensão das referidas cadeias de dígitos binários de correção de erro futuro.

17. Mídia de leitura por computador, CARACTERIZADA pelo fato de apresentar armazenada na mesma uma estrutura de dados para um componente principal de correção de erro futuro, com a referida estrutura de dados consistindo de um campo para a indicação de uma quantidade total de pacotes de correção de erro futuro e de pacotes de mídias.

18. Mídia de leitura por cõmputaCrOr, CARACTERIZADA pelo fato de apresentar armazenada na mesma uma estrutura de dados para um componente principal de correção de erro futuro, a referida estrutura de dados consistindo de um campo para armazenamento de uma quantidade pré-determinada de um índice de pacote de correção de erro futuro.