BRPI0611141A2 - método e aparelho - Google Patents

método e aparelho Download PDF

Info

Publication number
BRPI0611141A2
BRPI0611141A2 BRPI0611141-6A BRPI0611141A BRPI0611141A2 BR PI0611141 A2 BRPI0611141 A2 BR PI0611141A2 BR PI0611141 A BRPI0611141 A BR PI0611141A BR PI0611141 A2 BRPI0611141 A2 BR PI0611141A2
Authority
BR
Brazil
Prior art keywords
program
pcr
audio
streams
stream
Prior art date
Application number
BRPI0611141-6A
Other languages
English (en)
Inventor
James A Michener
Leon J Stanger
Original Assignee
Directv Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Directv Group Inc filed Critical Directv Group Inc
Publication of BRPI0611141A2 publication Critical patent/BRPI0611141A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

MéTOTODO E APARELHO Um sistema e método para a fusão de fluxos múltiplos deáudio e vídeo codificados dentro de um programa único no fluxo de transporte possibilitam a reprodução de qualquer fluxo de áudio com qualquer fluxo de xrídeo. Isto é conseguido primeiro pelo bloqueio da freqúência dos fluxos de entrada de áudio e vídeo para uma pluralidade de programas diferentes para um relógio fonte, independentemente codificando cada programa com seu próprio PCR e PTS dentro de um fluxo de programa, multiplexando os fluxos de programa dentro de um fluxo de transporte, e depois sincronizando o PCR e PTS dosfluxos de programa a um PCR mestre declarado.

Description

MÉTODO E APARELHO
ANTECEDENTES DA INVENÇÃO
CAMPO DA INVENÇÃO
A presente invenção refere-se à transmissão deprogramação de entretenimento, e mais especificamente à fusãode fluxos múltiplos de áudio e vídeo codificados em umprograma único no fluxo de transporte para possibilitar areprodução de qualquer fluxo de áudio com qualquer fluxo devideo.
DESCRIÇÃO DA TÉCNICA ANTERIOR
Programas de televisão são distribuídos para ostelespectadores por uma variedade de métodos de difusão.Estes métodos incluem televisão por difusão analógicatradicional (National Television Systems Committee ou padrão"NTSC"), a televisão por difusão digital (Advanced TelevisionSystems Committee ou padrão "ATSC") , televisão a cabo (ambasanalógica e digital), difusão por satélite (ambas analógica edigital), assim como outros métodos. Estes métodos permitemque fluxos de áudio e vídeo para programação de televisãosejam codificados multiplexados em um fluxo de transporte queé transmitido por um meio de transmissão comum.
Como é mostrado na figura 1, a "headend" 10 de umsistema de difusão por satélite 12 inclui entre outrasfunções um centro de programação e tráfego 14, um centro dedifusão por satélite 16 e um centro de gerenciamento deacesso condicional (CAMC) 18. 0 centro de difusão codifica,criptografa e multiplexa o conteúdo da programação,armazenado ou de alimentações ao vivo 20, em um fluxo detransporte empacotado 22 que é uplinked a satélites 24 pormeio de uma antena 26.
Para assistir a um programa de televisão em uma TV 28,um assinante pode ter que concordar com um pacote de serviçosoferecido por um provedor de transmissão/serviço de TV pagatal como uma operadora satélite (DBS) de difusão direta (porexemplo, DIRECTV) ou uma companhia a cabo. Tal provedor deserviço de TV paga pode requerer que o assinante utilize umdecodificador receptor integrado (IRD) 30 que possibilite aseparação e decifragem da transmissão baixada de uma antena32. 0 IRD pode ser configurado para permitir assistir um oumais canais ou programas particulares, etc. baseado nopagamento do assinante ou assinatura.
Como é mostrado na Figura 2, um pacote MPEG típico 40 nofluxo de transporte é de um comprimento fixo, 188 bytes porDVB padrão, do qual os primeiros 4 bytes contêm informação decabeçalho 42 e os restantes são cargas comerciais 44. Ocabeçalho inclui, entre outras coisas, um byte sincronizado"0x47", um sinalizador payload_unit_start, o programa ID(PID), e um sinalizador adaptation_field_control. O PID é umnúmero. O guia de programa define o que (áudio, vídeo, tabelade acesso condicional, etc.) está em um dado PID. Se ossinalizadores de adaptation_field_control são definidos, opacote contém um campo de adaptação e pode conter umareferencia de relógio de programa (PCR) para o fluxo de dadosassociado. Tradicionalmente, o PCR aparece no fluxo de vídeo,mas pode aparecer em ambos áudio e vídeo ou em um PIDseparado. Se o sinalizador da payload_unit_start é alto, opacote contém um cabeçalho PES, que pode conter um selo detempo de apresentação (PTS) . Cada programa incluindo um fluxode vídeo e/ou uma ou mais fluxos de áudio tem um PCRassociado que estabelece seu relógio. O PTS é incluído emambos os fluxos de áudio e vídeo e diz ao IRD a que horasrelacionada ao PCR acionar a fluxo. 0. cabeçalho PES podetambém incluir um selo de tempo decodificador (DST) quesugere quando o decodificador deveria começar a decodificarpara alcançar o PTS. Para a descrição completa da estruturado pacote e fluxo de transporte veja ISO/IEC 13818-1.
Como é mostrado na Figura 3, a primeira geração decodificadores MPEG 50 utilizados pela DirecTV e produzidospor Compression Labs, Inc. (CLI) pegou entradas deáudio/vídeo (A/V) sincronizadas 52 de várias fontes de modoque todas as fontes tivessem exatamente a mesma freqüência.A sincronização de quadro foi realizada tipicamente pelosuprimento de um sinal de referência 54 junto com as entradasA/V 52 para um sincronizador de quadro 56. Depois cadaprograma foi codificado e multiplexado junto. 0 Mux 58 tinhauma referência 59 de relógio MHz MPEG 27 fechada para umvideo de entrada de referência através dos pulsossincronizados em video analógico ou um video digital serialdentro. Um contador na referência de relógio 59 derivou o PCRpara cada fluxo de código codificado daquele relógio. Comoresultado, todos os programas estavam em sincronização comambos o "quadro" e o "relógio". Entretanto, porque a propostado relógio MPEG comum de CLI precisou que todas as entradasfossem sincronizadas e todos os codificadores são colocadoscom o Mux em uma caixa de cartão ele não foi bem aceito pelosclientes e a proposta foi abandonada pela indústria.
Os fabricantes da geração atual tais como Divicom,Thomson, e Motorola agora produzem caixas 60 de CodificadorMPEG/Programa Mux que operam independentemente um do outrocomo mostrado na Figura 4 para codificar um video e uma oumais entradas de áudio. Cada caixa inclui uma referência derelógio MPEG 61, separada, que é fechada para o video deentrada para gerar um fluxo de programa multiplexado 62 comPCR único e selos de tempo PTS. Um contador simplesmenteconta os tiques da referência do relógio para gerar os selosde tempo. 0 PCR tem um "período" ou começo do tempo onde ocontador é zerado e então reinicia algum tempo mais tarde,por exemplo, a cada 36 horas. Os contadores em caixascodificadoras diferentes terão períodos diferentes, e assimnão serão codificadores sincronizados. Um provedor pode usarcaixas codificadoras distintas para fontes diferentes (não-sincronizadas) de programação e um Mux 64 para multiplicar osfluxos de programa juntos para dentro do fluxo de transporte22. Um fluxo de transporte no qual os programas sãorelacionados fora de PCRs independentes e diferentes suportaa busca de canais normal e não tem os embaraços associadoscom quadro e sincronização do relógio.
SUMÁRIO DA INVENÇÃOA presente invenção fornece um sistema e método para afusão de fluxos de áudio e video de codificação múltipla emum programa único no fluxo de transporte para possibilitar areprodução de qualquer fluxo de áudio com qualquer fluxo devideo.
Isto é realizado primeiro pelo bloqueio da freqüência defluxos de entrada de áudio e video para uma pluralidade deprogramas diferentes para um relógio fonte, independentementecodificando cada programa com seus próprios PCR e PTS em umfluxo de programa, multiplexando os fluxos de programa em umfluxo de transporte, e então sincronizando o PCR e PTS dosfluxos do programa a um PCR mestre declarado. Os fluxos A/Vpodem ter a freqüência bloqueada pelo uso da sincronização dequadro ou pelo fornecimento de um relógio fonte comum. OsPCRs são sincronizados pela declaração de um programa e seuPCR ser o mestre e pela comparação de cada valor de PCRescravo com um valor interpolado do PCR mestre. 0 PCR escravoé determinado para o valor interpolado e o deslocamentoadicionado a cada ocorrência do PTS (ou DTS) . 0 deslocamentopode ter uma média de tempo para melhorar a resolução noscodificadores de alta instabilidade. Esta proposta pode serusada com a segunda geração de hardware existente atualmentepara possibilitar a reprodução de ura fluxo de áudio de umprograma e caixa codificadora com um fluxo de video de umoutro programa e caixa codificadora. Embora esta propostanecessite de bloqueio de freqüência de fluxos de entrada, elanão necessita de um relógio de referência codificador úniconem necessita de colocação de caixas codificadoras.
Estas e outras características e vantagens da invençãoserão aparentes para aqueles versados na técnica da seguintedescrição detalhada de modalidades preferidas, feitasjuntamente com os desenhos que a acompanham, nos quais:
BREVE DESCRIÇÃO DOS DESENHOS
A Figura 1, como descrita acima, é um diagrama de umbloco simplificado de um sistema de difusão por satélite;
A Figura 2, como descrita acima, é um diagrama de umaestrutura de pacote de MPEG;
A Figura 3, como descrita acima, é um diagrama de blocode uma primeira geração de codificador MPEG que codifica emultiplexa fluxos de áudio e video múltiplos em um fluxo detransporte usando um relógio de referência MPEG único paragerar o PCR e o PTS;
A Figura 4, como descrita acima, é um diagrama de blocode uma pluralidade de segunda geração de codificadores MPEGque operam independentemente incluindo relógios de referênciaMPEG separados para gerar fluxos de programa com PCR e PTSúnicos que são multiplexados em um fluxo de transporte.
A Figura 5 é um diagrama de bloco de um sistema deacordo com a presente invenção para uso com codificadores deA/V operados independentemente para fundir os fluxos em umprograma com freqüência de relógio fonte bloqueada ecodificador sincronizado com relógio;
A Figura 6 é um diagrama de um fluxo de transporteincluindo fluxos de áudio e video múltiplos e seus PCR e PTS;
A Figura 7 é um fluxograma do processo para sincronizaros relógios codificadores;
A Figura 8 é um diagrama de fluxo de transporte no qualos fluxos de áudio e video foram sincronizados com o relógiocodificador;
A Figura 9 é um fluxograma ilustrando o processo dedecodificação do fluxo de transporte para reprodução de videode um programa com o áudio de outro programa; e
A Figura 10 é um diagrama de bloco para programação deevento fornecendo suprimento de video intensificado emacréscimo ao suprimento de programa normal do qual o clientepode selecionar.
DESCRIÇÃO DETALHADA DE INVENÇÃO
Os provedores de cabo e satélite continuam a expandir aprogramação de televisão para incluir alguns eventosespeciais tais como NASCAR, NFL, concertos, etc. que incluementradas de áudio e video múltiplas. Em um evento NASCAR, avisão do anunciante, pit crew, motorista e campo e áudio doanunciante, pit boss, motorista e multidão podem estardisponíveis. Tipicamente, o diretor corta os váriossuprimentos de áudio e vídeo para criar o programa que édifundido. Usando a tecnologia disponível atualmente, asentradas de A/V poderiam estar disponíveis para um consumidorem pares determinados como programas diferentes. Por exemplo,a visão do carro e o comentário do motorista seria umprograma, a visão do fosso e o comentário do chefe do fossoseria um segundo programa, e o corte do diretor das entradasde áudio e vídeo disponíveis seria o programa exibido. Cadauma destas entradas A/V seria um programa separado permitindoao consumidor simplesmente mudar de um canal para outro. Nembloqueio de freqüência nem sincronização de relógio énecessário.
Entretanto, em algumas programações pode ser desejávelfornecer ao consumidor a flexibilidade de misturar e combinaras entradas de áudio e vídeo, permitindo ao telespectador serseu próprio diretor. Por exemplo, o consumidor poderiaselecionar a "visão do carro" & "comentário do pit boss".Para fazer isto, todas as fontes devem ser ambas "bloqueadaspara freqüência de relógio fonte" e "sincronizadas com orelógio codificador (MPEG PCR)". De outro modo, o consumidorIRD não poderia decodificar confiavelmente e exibir os fluxosde áudio e vídeo selecionados nos momentos adequados. Avariação na freqüência de quadro pode causar a separação dosfluxos de áudio e vídeo de programas diferentes e poderiacausar sobrecarga ou insuficiência de carga na memóriaintermediária. Uma discrepância no PCR poderia fazer com queo IRD tentasse memorizar o áudio para tocar na hora errada.
Os sistemas codificadores instalados atualmente nãofornecem este tipo de sincronização. Notavelmente, o hardwareCLI original poderia ser usado para fornecer esta capacidadede mistura e combinação. Entretanto, como foi notada acima aproposta do relógio MPEG comum de CLI não foi bem aceitapelos clientes e foi abandonada pela indústria. Além do maistal proposta não é compatível com o hardware instaladoexistente.
Como mostrado nas Figuras 5-9, a plataforma de hardwareexistente inclui um número de codificadores/programasmultiplexadores 70, cada um tendo sua própria referência derelógio 72 tirada da entrada de vídeo, e um Mux transporte74. Como foi descrito previamente, cada codificador codificasuas entradas de áudio e vídeo e gera um fluxo de programa 7 6que inclui um PCR e um PTS para cada entrada. 0 Muxtransporte 74 multiplexa os fluxos de programa em um fluxo detransporte 78 para a transmissão via antena, cabo ou satélite79.
A presente invenção constrói na plataforma de hardwareexistente para bloquear a freqüência e sincronizar o relógionos fluxos de programa 7 6 para efetivamente fundi-los em umprograma único no fluxo de transporte 78. Isto permite que oconsumidor, e a base existente de IRDs instalados, misture ecombine fluxos de áudio e vídeo como se eles fossemcodificados usando uma entrada-N única de codificador/Muxtransporte.
Os fluxos de áudio e vídeo podem ser bloqueados nafreqüência de relógio fonte em um dos dois modos. Comomostrado na Figura 5, os fluxos de áudio e vídeo abertos 80para cada programa são entrada para um bloqueador defreqüência 82 junto com um sinal de referência comum 84, porexemplo, um relógio de 27 MHz. Usando técnicas bastanteconhecidas na indústria tais como um sincronizador (GrassValley Group Inc Gecko® Series and Leitch Inc DPS® series), obloqueador bloqueia a freqüência de todas as entradas para osinal de referência. Note que, o bloqueador de freqüênciapode, e tipicamente faz fornecer o bloqueio da fase do vídeotambém, no qual a operação é referida como "sincronização dequadro". Alternadamente como mostrado na Figura 10, asentradas podem ser bloqueadas na freqüência pela referência àcaptura de vídeo, por exemplo, as câmeras, fora de um relógiofonte comum.
A Figura 6 ilustra um fluxo de transporte 78 contendopelo menos dois programas "X" e "Y", cada qual estando seladono tempo com valores PCR e PTS na carga paga de pacotes 90para uma entrada de áudio e video. Por razões ilustrativassomente, uma média de transporte de 40.608.000 bits/segundo e27.000 pacotes/segundo é usada. Isto equipara a 1.000 27 MHztiques/pacote. Note-se que 1.000 tiques representam somenteaproximadamente 0,037 segundo neste exemplo. Em geral, o PCRconduz o PTS por uma quantidade suficiente de tempo (tiquesdo relógio) para permitir ao IRD extrair, criptografar edecodificar os fluxos de áudio e video selecionados parareprodução no PTS designado. Embora os PTSs (PTS X-V e PTS Χ-Α) para o quadro de video e segmento de áudio estejamtipicamente juntos eles não são tipicamente os mesmos. Areprodução do áudio geralmente não estará precisamentealinhada com a apresentação do quadro de video.
Neste exemplo, o primeiro PCR para o programa X tem umvalor de 1.000.000 tiques e o PTS para os fluxos de áudio evideo são 2.000.000 e 1.901.000, respectivamente. O primeiroPCR para o programa Y tem um valor de 10.000.000 tiquesdevido aos períodos diferentes nos codificadores separados eo PTS para os fluxos de vídeo e áudio é 12.000.000 e11.860.000, respectivamente.
Para sincronizar estes fluxos de programa ao relógiocodificador, um sincronizador de relógio codificador 100sincroniza os valores PTS e PCR do programa do fluxo detransporte fora de um PCR mestre declarado em um dos fluxosde programa para fundi-los em um programa. Como ilustrado naFigura 7, o sincronizador do relógio codificador declara umprograma (programa X) e seu PCR serem o mestre (etapa 110). 0sincronizador compara cada valor PCR escravo (programa Y) aum valor interpolado do PCR mestre e computa e armazena odeslocamento (etapa 112). O PCR escravo é colocado para ovalor interpolado (etapa 114) e o deslocamento é adicionado acada ocorrência do PTS (ou DTS) (etapa 116).
O sincronizador processa adequadamente o fluxo detransporte seqüencialmente um pacote por vez. Por exemplo, osincronizador lerá um cabeçalho pacote e determinará que oPCR-X mestre seja incluído na carga paga. 0 sincronizador lêe armazena o valor PCR, por exemplo, 1.000.000 e então contao número de pacotes até que um próximo PCR ou PTS sejadetectado. Neste caso, na próxima vez os selos são os valoresPTS X-A (áudio) e PTS X-V (vídeo) , que continuam sem mudançasem 2.000.000 e 1.901.000 respectivamente. O sincronizador aseguir encontra quatro pacotes PCR Y distantes do PCR X. 0valor interpolado para o programa X é 1.000.000 + 4 pacotes *1000 tiques/pacote ou 1.004.000 tiques como mostrado naFigura 8. O deslocamento fluxo é 1.004.000 - 10.000.000 ou -8.996.000 tiques. O sincronizador então detecta os valoresPTS Y-V e PTS Y-A aos quais ele adiciona o deslocamento paraconseguir valores de 3.004.000 e 2.864.000 respectivamente,que são agora relacionados ao PCR mestre. Este processo érepetido para cada programa escravo com cada um sendorelacionado diante do mestre como ele é encontradoseqüencialmente no tempo. Alternadamente, dada memóriasuficiente, os dados podem ser processados em uma baseprograma por programa em vez de seqüencialmente. Indiferente,o resultado é um PCR mestre único diante do qual o PTS paratodos os fluxos de áudio e vídeo é relacionado.
O deslocamento pode ter uma média de tempo para melhorara resolução (etapa 118) . O relógio deveria avançar no índiceconsistente exato de 27.000,000 tiques por segundo. Isto égeralmente verdade, entretanto, alguns fabricantes somentemantêm o índice de 27 mega tiques por segundo como uma médiaa longo prazo e a curto prazo, o PCR poderia variar em algunsmilhares de tiques de mostra para mostra. Isto é chamado deinstabilidade do PCR. 0 MPEG tem uma especificação quepermite a instabilidade do PCR subir para dois segundos,entretanto na prática, IRDs não tolerarão muitainstabilidade. Pela média da diferença ele faz que ainstabilidade do canal principal não aumente a instabilidadeno canal escravo. Conseqüentemente, fazer a média éimportante somente para fazer as coisas funcionarem comcodificadores da "marca X". Esta etapa não é necessária paracodificadores de baixa instabilidade planejadosadequadamente. O tamanho da janela foi selecionado para serde aproximadamente um segundo para combinar com ocomportamento dos codificadores da "marca X", entretanto dadoum caso pior de codificador MPEG a janela poderia subir tãoalto quanto dois segundos. 0 valor típico do tamanho dajanela é zero, já que a maioria dos codificadores são PCRsrelativamente livres de instabilidade. Se uma descontinuidadeé detectada entre a média e o valor corrente do deslocamento,o tempo médio do deslocamento é reajustado para odeslocamento corrente (etapa 120). Isto pode ocorrer se, porexemplo, um codificador é tirado off-line e substituído porum outro codificador tendo um período diferente.
Como ilustrado na Figura 9, a freqüência do relógiofonte bloqueada e fluxo de transporte sincronizado de relógiocodificador possibilitam que o cliente selecione o fluxo devídeo de um programa (vídeo do programa X) e o fluxo de áudiode um outro programa (vídeo do programa Y) e jogue-os devolta juntos como se eles tivessem sido codificados pelomesmo codificador. Usando o controle remoto, o cliente veriao guia de programa e selecionaria um canal desejado (etapa122). O guia de programa poderia, por exemplo, listar o canal800 "NASCAR Broadcast", canal 801 "vídeo de carro, áudio depit", canal 802 "vídeo de fosso, áudio de carro", etc. ondeum canal tenha sido determinado para cada uma das combinaçõesde apoio de áudio e vídeo. Conseqüentemente, o IRD extrai osnúmeros PID para o áudio e vídeo selecionados, e PCR se eleestá em um PID separado (etapa 123) . O IRD "PID filtra" ofluxo de transporte (etapa 124) para extrair os fluxos deáudio e vídeo selecionados, e PCR se ele está separado. O IRDbloqueia seu relógio interno para o PCR pelo carregamento dopróximo valor PCR dentro do seu contador e continua a contar(etapa 125) . O IRD criptografa os fluxos de áudio e vídeo(etapa 126) . O IRD decodifica os fluxos de áudio e vídeo(etapa 127) e armazena os dados em memórias intermediáriasrespectivas. Um processador de exibição monitora o PCR pormeio de um contador interno e os PTSs (etapa 128) e retira oáudio e video para o(s) dispositivo(s) de reprodução (etapa129). O IRD carrega continuamente o próximo valor PCR dentrodo seu contador e o processo é repetido até que o clientemude de canal. Neste ponto, o IRD extrai fluxos de áudio evideo diferentes e continua. O procedimento descrito é umaversão simplificada da operação IRD para ilustrar as etapasrelevantes. Nem todos os IRDs funcionam exatamente da mesmamaneira mas englobam o procedimento para a extração do PCR ePTS e reprodução do áudio e video desejados.
No exemplo corrente, o cliente seleciona um canalcorrespondente ao video do programa X e áudio do programa Y.O IRD extrai os números de PID correspondentes e filtra ofluxo de transporte para extrair somente aqueles pacotes. OIRD extrai um valor PCR de 1.000.000 e carrega-o dentro deseu contador de 27 MHz. O IRD criptografa e depois decodificasomente a quadro de video do programa Xeo segmento de áudiodo programa Y e armazena os dados em uma memóriaintermediária. O IRD monitora o PCR por meio de seu contadorinterno e quando ele alcança 2.000.000 transmitis a quadro devideo do programa X. Similarmente quando o contador alcança2.864.000, o IRD transmiti o segmento de áudio do programa Y.
Em uma modalidade alternada, um cliente pode selecionarmais do que um fluxo de video e/ou mais do que um fluxo deáudio para reprodução simultânea. Por exemplo, dois ou maisvídeos podem ser exibidos simultaneamente usando uma"picture-in-picture" ou funcionalidade de montagem. Umcliente pode selecionar um fluxo de áudio primário parareprodução normal e um fluxo de áudio secundário que éintermitentemente tocado sobre o áudio normal.Alternadamente, fluxos de áudio diferentes poderiam serdirecionados para alto falantes diferentes.
Como mencionado previamente este processo pode seraplicado a qualquer conteúdo de programação para fornecer umPCR mestre diante do qual todos os PTS estão relacionados.Entretanto, o processo é particularmente aplicável aprogramação de eventos ao vivo nos quais um diretor recebesuprimento de quadros sincronizadas múltiplas que ele/elageralmente corta para trás e para frente para misturar ecombinar os suprimentos de áudio e video para produzir osuprimento de difusão que um consumidor assiste geralmente.Como conseqüência, os suprimentos A/V aumentados podem serprocessados e transmitidos para os consumidores que têmassinaturas e hardware adequados.
A Figura 10 ilustra uma configuração possível para umacorrida NASCAR ao vivo para fornecer ambos o suprimento deprograma normal 130 e suprimentos A/V aumentados 132. Nesteexemplo, quatro câmeras diferentes 134 (carro, pit, campo eanunciante) capturam áudio e vídeo. As câmeras estão todasrelacionadas fora de um relógio fonte comum 136 e deste modoestão sincronizados pelo quadro. Todos os suprimentos deáudio e vídeo são dirigidos para uma chave de áudio dodiretor 138 e uma chave de vídeo do diretor 140,respectivamente. O diretor usa as chaves para misturar ecombinar os suprimentos de áudio e vídeo diferentes paracriar o suprimento de programa normal 130. Os suprimentos docarro e do fosso são fornecidos separadamente com suprimentosA/V aumentados 132. Os vários suprimentos são entradas paramultiplexadores de programa/codificadores 142 para gerarsuprimentos de programa respectivos tendo PCR e PTSindependentes como descrito previamente. Um multiplexador detransporte 144 multiplexa os suprimentos de programa paragerar um fluxo de transporte 14 6. Um sincronizador de relógiocodificador 148 sincroniza os valores PCR e PTS dos programasno fluxo de transporte fora de um PCR mestre declarado em umdos fluxos do programa para fundi-los em um programa. Comoconseqüência, um cliente normal pode receber e assistir osuprimento de programa normal. Um cliente que tenha assinadoum evento especial pode acessar os suprimentos A/V aumentadose agir como seu próprio diretor para misturar e combinartodos os suprimentos de áudio e vídeo desejados.Enquanto várias modalidades ilustrativas da invençãoforam mostradas e descritas, numerosas variações emodalidades alternativas ocorrerão a aqueles versados natécnica. Tais variações e modalidades alternativas sãocontempladas, e podem ser feitas sem se afastar do espirito eescopo da invenção como definido nas reivindicações anexadas.

Claims (18)

1. Método, caracterizado pelo fato de compreender:- bloqueio de freqüência dos fluxos de áudio e vídeo deuma pluralidade de programas;- codificação e multiplexação de cada fluxo de áudio evídeo do programa separadamente em um fluxo de programa, cadafluxo de programa tendo uma referência de relógio de programaindependente (PCR) e selos de tempo de apresentação (PTS) nosfluxos de áudio e vídeo;- multiplexação dos fluxos de programa dentro de umfluxo de transporte; e- sincronização dos PCR e PTS dos programas no fluxo detransporte fora de um PCR mestre declarado em um dos fluxosdo programa para fundi-los em um programa.
2. Método, de acordo com a reivindicação 1,caracterizado pelo fato de que os fluxos de áudio e vídeo têma freqüência bloqueada pelo fornecimento de um relógio defonte única para capturar os fluxos.
3. Método, de acordo com a reivindicação 1,caracterizado pelo fato de que os fluxos de áudio e vídeo sãosincronizados pelo quadro para bloquear a ambas as freqüênciae fase dos fluxos.
4. Método, de acordo com a reivindicação 1,caracterizado pelo fato de que os PCR e PTS dos programas sãosincronizados por declarar que um programa e seu PCR são omestre e os programas remanescentes e seus PCRs são escravos;comparar cada PCR escravo a um valor interpolado do PCRmestre para computar um deslocamento; determinar o PCRescravo para o valor interpolado; e adicionar o deslocamentoa cada ocorrência do PTS escravo.
5. Método, de acordo com a reivindicação 4,caracterizado pelo fato de que os PCR e PTS dos programas sãosincronizados seqüencialmente.
6. Método, de- acordo com a reivindicação 4,caracterizado pelo fato de que os deslocamentos para cadaprograma escravo têm uma média de tempo.
7. Método, de acordo com a reivindicação 6,caracterizado pelo fato de que se uma descontinuidade édetectada entre o deslocamento de tempo médio e odeslocamento corrente, o deslocamento de tempo médio éredefinido para o deslocamento corrente.
8. Método, de acordo com a reivindicação 1,caracterizado pelo fato de compreender adicionalmente:- a transmissão do fluxo de transporte para o site de umcliente, em resposta a um comando do cliente selecionando umfluxo de video de um fluxo de um programa e um fluxo de áudiode um fluxo de um programa diferente, extraindo os fluxos deáudio e video selecionados e o PCR do fluxo de transporte,a decodificação dos fluxos de áudio e videoselecionados, e de acordo com o PTS sincronizado em relaçãoao PCR, reproduzindo os fluxos de áudio e video.
9. Método, de acordo com a reivindicação 8,caracterizado pelo fato de que o cliente seleciona umapluralidade de fluxos de video e/ou uma pluralidade de fluxosde áudio de fluxos de programas diferentes para reprodução.
10. Método, caracterizado pelo fato de compreender:- o recebimento de um fluxo de transporte compreendendofluxos de programa multiplexados cada qual compreendendo umfluxo de video codificado, um fluxo de áudio codificado, umareferência relógio de programa (PCR) e selos de tempo deapresentação (PTS) para fluxos de áudio e video, nos quais osditos fluxos de video são relógio fonte com freqüênciabloqueada e os ditos PCR e PTS são relógios codificadossincronizados,- em resposta a um comando do cliente selecionando umfluxo de vídeo de um fluxo de programa e um fluxo de áudio deum fluxo de programa diferente, extrair o áudio selecionado efluxos de video e o PCR do fluxo de transporte,a decodificação dos fluxos de áudio e vídeoselecionados, e de acordo com o PTS sincronizado em relaçãoao PCR, reproduzindo os fluxos de áudio e vídeo.
11. Método, de acordo com a reivindicação 10,caracterizado pelo fato de que o cliente seleciona umapluralidade de fluxos de video e/ou uma pluralidade de fluxosde áudio de fluxos de programas diferentes para reprodução.
12. Aparelho, caracterizado pelo fato de compreender:- um bloqueador de freqüência que bloqueia a freqüênciados fluxos de áudio e video de uma pluralidade de programas;- uma pluralidade de codificadores que respectivamentecodificam e multiplexam os fluxos de áudio e video dosprogramas dentro de uma respectiva pluralidade de fluxos deprogramas, cada fluxo de programa tendo uma referência derelógio de programa independente (PCR) e selos de tempo deapresentação (PTS) nos fluxos de áudio e video;um multiplexador de transporte que multiplexa osfluxos de programa dentro de um fluxo de transporte; e- um sincronizador de relógio codificador que sincronizao PCR e PTS dos programas no fluxo de transporte fora de umPCR mestre declarado em um dos fluxos de programa para fundi-los em um programa.
13. Aparelho, de acordo com a reivindicação 12,caracterizado pelo fato de que o bloqueador de freqüênciacompreende um relógio de fonte única usado para capturar osfluxos de áudio e video.
14. Aparelho, de acordo com a reivindicação 12,caracterizado pelo fato de que o bloqueador de freqüênciacompreende uma pluralidade de bloqueadores de freqüência querecebem os respectivos programas e um sinal de referênciacomum.
15. Aparelho, de acordo com a reivindicação 12,caracterizado pelo fato de que o sincronizador do relógiocodificador declara que um programa e seu PCR são o mestre eos programas remanescentes e seus PCRs são escravos, comparacada PCR escravo a um valor interpolado do PCR mestre paracomputar um deslocamento, determina o PCR escravo para ovalor interpolado, e adiciona o deslocamento a cadaocorrência do PTS escravo.
16. Aparelho, de acordo com a reivindicação 15,caracterizado pelo fato de que o sincronizador do relógiocodificador sincroniza os PCR e PTS dos programasseqüencialmente.
17. Aparelho, de acordo com a reivindicação 15,caracterizado pelo fato de que o sincronizador do relógiocodificador faz a média de tempo dos deslocamentos para cadaprograma escravo.
18. Aparelho, de acordo com a reivindicação 17,caracterizado pelo fato de que se uma descontinuidade édetectada entre o deslocamento com tempo médio e odeslocamento corrente, o sincronizador do relógiodecodificador redefine o deslocamento com tempo médio para odeslocamento corrente.
BRPI0611141-6A 2005-04-29 2006-04-28 método e aparelho BRPI0611141A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/118.926 2005-04-29
US11/118,926 US7735111B2 (en) 2005-04-29 2005-04-29 Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoder clock synchronized
PCT/US2006/016445 WO2006119109A2 (en) 2005-04-29 2006-04-28 Merging of multiple encoded audio-video streams into one program with source clock frequency locked and encoded clock synchronized

Publications (1)

Publication Number Publication Date
BRPI0611141A2 true BRPI0611141A2 (pt) 2011-05-31

Family

ID=37235954

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0611141-6A BRPI0611141A2 (pt) 2005-04-29 2006-04-28 método e aparelho

Country Status (5)

Country Link
US (1) US7735111B2 (pt)
EP (1) EP1878230A4 (pt)
BR (1) BRPI0611141A2 (pt)
CA (1) CA2606339C (pt)
WO (1) WO2006119109A2 (pt)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7848930B2 (en) * 2006-10-17 2010-12-07 Broadcom Corporation Control mechanism for audio rate adjustment
FR2883692A1 (fr) * 2005-03-25 2006-09-29 Thomson Licensing Sa Procede d'envoi de commande a un serveur de flux de donnees numeriques et appareil implementant le procede
CA2672735A1 (en) 2006-12-13 2008-06-19 Quickplay Media Inc. Mobile media platform
US9571902B2 (en) 2006-12-13 2017-02-14 Quickplay Media Inc. Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream
US8111326B1 (en) 2007-05-23 2012-02-07 Adobe Systems Incorporated Post-capture generation of synchronization points for audio to synchronize video portions captured at multiple cameras
US20090047004A1 (en) * 2007-08-17 2009-02-19 Steven Johnson Participant digital disc video interface
US8331459B2 (en) * 2007-09-26 2012-12-11 Intel Corporation Method and apparatus for smooth digital media playback
US8432804B2 (en) * 2007-11-29 2013-04-30 Hewlett-Packard Development Company, L.P. Transmitting video streams
KR101488729B1 (ko) * 2008-05-13 2015-02-06 삼성전자주식회사 디지털 방송 송신장치 및 수신장치와 그 방법들
JP4838341B2 (ja) * 2009-09-28 2011-12-14 Nttエレクトロニクス株式会社 符号化システム及び符号化装置
ATE540529T1 (de) * 2009-11-03 2012-01-15 Tektronix Int Sales Gmbh Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms
US9060193B2 (en) * 2009-12-07 2015-06-16 Centurylink Intellectual Property Llc System and method for broadcasting video with a secondary audio source
US9094564B2 (en) * 2010-05-07 2015-07-28 Microsoft Technology Licensing, Llc Clock synchronization for shared media playback
FR2962872B1 (fr) * 2010-07-13 2012-08-31 Assistance Tech Et Etude De Materiels Electroniques Affichage simultane de plusieurs sequences video
WO2012010188A1 (de) * 2010-07-23 2012-01-26 Siemens Enterprise Communications Gmbh & Co. Kg Verfahren zur zeitlichen synchronisierung der intrakodierung von verschiedenen unterbildern bei der erzeugung einer mischbildervideosequenz
US8640181B1 (en) * 2010-09-15 2014-01-28 Mlb Advanced Media, L.P. Synchronous and multi-sourced audio and video broadcast
CN102036115B (zh) * 2010-12-06 2013-11-27 深圳市同洲软件有限公司 一种数字电视业务数据管理方法、服务器及终端
KR101735114B1 (ko) * 2010-12-29 2017-05-24 엘지전자 주식회사 PTS(Presentation Time Stamp)복제 방법, PTS설정 방법 및 그를 위한 장치
US20120194442A1 (en) * 2011-01-31 2012-08-02 Robin Sheeley Touch screen video source control system
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US8643779B2 (en) 2011-09-07 2014-02-04 Microsoft Corporation Live audio track additions to digital streams
EP2800365B1 (en) * 2011-12-29 2019-02-27 Sony Interactive Entertainment Inc. Video playback system
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
IN2015DN00158A (pt) * 2012-06-14 2015-06-12 Quickplay Media Inc
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
EP2779578B1 (en) 2013-03-15 2019-11-20 Samsung Electronics Co., Ltd. Data Transmitting Apparatus, Data Receiving Apparatus, Data Transceiving System, Method for Transmitting Data, and Method for Receiving Data
EP2779577B1 (en) 2013-03-15 2019-05-01 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
US9819604B2 (en) * 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
US9942294B1 (en) * 2015-03-30 2018-04-10 Western Digital Technologies, Inc. Symmetric and continuous media stream from multiple sources
CN106791725A (zh) * 2016-12-16 2017-05-31 杭州中科微电子有限公司 一种具有防单频段射频欺骗的lnb模块及对应的接收机
US20180278947A1 (en) * 2017-03-24 2018-09-27 Seiko Epson Corporation Display device, communication device, method of controlling display device, and method of controlling communication device
FR3103667A1 (fr) * 2019-11-27 2021-05-28 Sagemcom Broadband Sas Equipement décodeur transmettant des métadonnées à un équipement auxiliaire pour le piloter
US11716520B2 (en) * 2021-06-25 2023-08-01 Netflix, Inc. Systems and methods for providing optimized time scales and accurate presentation time stamps
CN113747209B (zh) * 2021-08-02 2023-09-19 北京数字电视国家工程实验室有限公司 多路ts流节目的重组方法及装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
US5767898A (en) 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
US5874997A (en) 1994-08-29 1999-02-23 Futuretel, Inc. Measuring and regulating synchronization of merged video and audio data
US5729279A (en) 1995-01-26 1998-03-17 Spectravision, Inc. Video distribution system
US5533021A (en) * 1995-02-03 1996-07-02 International Business Machines Corporation Apparatus and method for segmentation and time synchronization of the transmission of multimedia data
US5652615A (en) 1995-06-30 1997-07-29 Digital Equipment Corporation Precision broadcast of composite programs including secondary program content such as advertisements
US5703877A (en) * 1995-11-22 1997-12-30 General Instrument Corporation Of Delaware Acquisition and error recovery of audio data carried in a packetized data stream
US5835493A (en) * 1996-01-02 1998-11-10 Divicom, Inc. MPEG transport stream remultiplexer
US5982452A (en) 1997-03-27 1999-11-09 Dalhousie University Analog video merging system for merging N video signals from N video cameras
US5936968A (en) * 1997-05-28 1999-08-10 Sarnoff Corporation Method and apparatus for multiplexing complete MPEG transport streams from multiple sources using a PLL coupled to both the PCR and the transport encoder clock
JP3422686B2 (ja) 1998-06-12 2003-06-30 三菱電機株式会社 データ復号装置及びデータ復号方法
US6519283B1 (en) 1999-01-25 2003-02-11 International Business Machines Corporation Integrated video processing system having multiple video sources and implementing picture-in-picture with on-screen display graphics
JP4734690B2 (ja) 2000-04-28 2011-07-27 ソニー株式会社 信号送出方法及び信号送出装置
US20020023267A1 (en) 2000-05-31 2002-02-21 Hoang Khoi Nhu Universal digital broadcast system and methods
EP1217841A2 (en) 2000-11-27 2002-06-26 Media Glue Corporation Bitstream separating and merging system, apparatus, method and computer program product
CA2430164A1 (en) 2000-11-28 2002-07-04 Scientific-Atlanta, Inc. Mpeg in a label switching environment
US20020144265A1 (en) 2001-03-29 2002-10-03 Connelly Jay H. System and method for merging streaming and stored content information in an electronic program guide
US7068719B2 (en) 2001-06-01 2006-06-27 General Instrument Corporation Splicing of digital video transport streams
US7296231B2 (en) 2001-08-09 2007-11-13 Eastman Kodak Company Video structuring by probabilistic merging of video segments
EP1294195A1 (en) 2001-09-14 2003-03-19 STMicroelectronics S.r.l. A process for the format conversion of MPEG bitstreams, a system and computer program product therefor
US7533404B2 (en) 2001-12-19 2009-05-12 Cox Communications, Inc. Apparatus and method for merging MPEG streams in a headend system
JP2003289540A (ja) * 2002-03-28 2003-10-10 Mitsubishi Electric Corp 多重伝送システム
US20030185238A1 (en) * 2002-04-01 2003-10-02 Strasser David A. System for maintaining original delivery times in transport packets and method thereof
US20040086041A1 (en) 2002-10-30 2004-05-06 Koninklijke Philips Electronics N.V. System and method for advanced data partitioning for robust video transmission
CN102857796B (zh) * 2004-02-04 2015-05-27 爱立信电视公司 Itv环境中的同步和自动化
US7778173B2 (en) * 2005-01-04 2010-08-17 Cisco Technology, Inc. Clock recovery algorithm for remultiplexing MPEG-2 SPTSs and/or MPTSs in the presence of network jitter

Also Published As

Publication number Publication date
CA2606339A1 (en) 2006-11-09
CA2606339C (en) 2011-11-15
US20060248559A1 (en) 2006-11-02
WO2006119109A2 (en) 2006-11-09
EP1878230A4 (en) 2015-11-25
WO2006119109A3 (en) 2009-04-16
EP1878230A2 (en) 2008-01-16
US7735111B2 (en) 2010-06-08

Similar Documents

Publication Publication Date Title
BRPI0611141A2 (pt) método e aparelho
JP6559298B2 (ja) データ処理方法およびビデオ送信方法
US7298741B2 (en) Robust MPEG-2 multiplexing system and method using an adjustable time stamp
JP4157618B2 (ja) タイミング補正方法およびその装置
US6567986B2 (en) Method and apparatus for distributing a globally accurate knowledge of time and frequency to a plurality of a high definition television studios
US7174560B1 (en) Method of synchronizing events with a digital television audio-visual program
EP2651142A2 (en) Transmitter and receiver for transmitting and receiving multimedia content, and reproduction method therefor
EP0731615B1 (en) Video decoding device for decoding video data in synchronism with a system clock
JP7429895B2 (ja) 受信装置
BR122013019793B1 (pt) Método de inserção de mídia
US20150135247A1 (en) Receiver apparatus and synchronization processing method thereof
JP5720051B2 (ja) デジタル・ストリーム内の遅延変動測定方法及び装置
KR20060087421A (ko) 캡션 정보의 출력시점 및 출력 우선순위를 조절하는 방법및 그 장치
US7075994B2 (en) Signal transmission method and signal transmission apparatus
KR19990057100A (ko) 엠펙 디코더 및 디코딩 제어 방법
US9270972B2 (en) Method for 3DTV multiplexing and apparatus thereof
US20050238316A1 (en) Hybrid video on demand using mpeg2 transport
CN112805940A (zh) 传输流自动切换
KR20110129559A (ko) 디지털 광고 삽입기를 위한 비동기 직렬 인터페이스 스위쳐
JP3893643B2 (ja) 信号多重化方法およびそれを用いた伝送信号生成装置
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
US20070127720A1 (en) Timeline protection
JP2004104518A (ja) 復号装置及び復号方法
Lee et al. Delivery system and receiver for service-compatible 3DTV broadcasting
Chen Transport Packet Scheduling and Multiplexing

Legal Events

Date Code Title Description
B06G Technical and formal requirements: other requirements [chapter 6.7 patent gazette]

Free format text: SOLICITA-SE A REGULARIZACAO DA PROCURACAO, UMA VEZ QUE BASEADO NO ARTIGO 216 1O DA LPI, O DOCUMENTO DE PROCURACAO DEVE SER APRESENTADO NO ORIGINAL, TRASLADO OU FOTOCOPIA AUTENTICADA.

B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]
B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]