BR112013033574B1 - Sistema para sincronização de sinais de áudio e de vídeo, método para sincronização de sinais de áudio e de vídeo e meio legível por computador - Google Patents

Sistema para sincronização de sinais de áudio e de vídeo, método para sincronização de sinais de áudio e de vídeo e meio legível por computador Download PDF

Info

Publication number
BR112013033574B1
BR112013033574B1 BR112013033574-2A BR112013033574A BR112013033574B1 BR 112013033574 B1 BR112013033574 B1 BR 112013033574B1 BR 112013033574 A BR112013033574 A BR 112013033574A BR 112013033574 B1 BR112013033574 B1 BR 112013033574B1
Authority
BR
Brazil
Prior art keywords
audio
audio content
content
frame
adaptive
Prior art date
Application number
BR112013033574-2A
Other languages
English (en)
Other versions
BR112013033574A2 (pt
Inventor
Sripal S. Mehta
Sergio Martinez
Ethan A. Grossman
Brad Thayer
Dean Bullock
John Neary
Original Assignee
Dolby Laboratories Licensing Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corporation filed Critical Dolby Laboratories Licensing Corporation
Publication of BR112013033574A2 publication Critical patent/BR112013033574A2/pt
Publication of BR112013033574B1 publication Critical patent/BR112013033574B1/pt

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00—Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003—Digital PA systems using, e.g. LAN or internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

métodos e sistemas para sincronização e transição para um sistema de áudio adaptativo. a presente invenção refere-se a modalidades que são descritas para um mecanismo de sincronização e transição para um sistema de áudio adaptativo no qual um áudio de multicanal (por exemplo, som surround) é provido juntamente com um conteúdo de áudio adaptativo baseado em objeto. um sinal de sincronização é embutido no fluxo de áudio de multicanal e contém um identificador de trilha e uma contagem de quadro para o fluxo de áudio adaptativo para reexecução. o identificador de trilha e a contagem de quadro de um quadro de áudio adaptativo recebido são comparados com o identificador de trilha e a contagem de quadro contidos no sinal de sincronização. se o identificador de trilha ou a contagem de quadro não combinar com o sinal de sincronização, um processo de transição desvanecerá a trilha de áudio adaptativo e fará aparecer gradualmente a trilha de áudio de multicanal. o sistema toca a trilha de áudio de multicanal até o identificador de trilha e a contagem de quadro de sinal de sincronização e a contagem de quadro e o identificador de trilha de áudio adaptativo combinarem, em cujo ponto o conteúdo de áudio adaptativo aparecerá gradualmente de novo.

Description

REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS
[0001] Este pedido reivindica prioridade para o Pedido ProvisórioU.S. N° 61/504.005, depositado em 1 de julho de 2011 e para o Pedido Provisório U.S. N° 61/636.456, depositado em 20 de abril de 2012, os quais são ambos desse modo incorporados como referência em sua totalidade para todas as finalidades.
CAMPO DA INVENÇÃO
[0002] Uma ou mais implementações se referem geralmente a umprocessamento de sinal de áudio e, mais especificamente, a métodos de sincronização e transição de fluxo de áudio em um sistema de áudio adaptativo.
ANTECEDENTES
[0003] O assunto discutido na seção de antecedentes não deveser assumido como sendo técnica anterior meramente como resultado de sua menção na seção de antecedentes. De modo similar, um problema mencionado na seção de antecedentes ou associado ao assunto da seção de antecedentes não deve ser assumido como tendo sido previamente reconhecido na técnica anterior. O assunto na seção de antecedentes meramente representa diferentes abordagens, as quais em e por si mesmas também podem ser invenções.
[0004] Os presentes servidores de cinema digital enviam fluxoscomprimidos de dados de vídeo em um formato definido (por exemplo, um vídeo JPEG 2000) para um bloco de mídia juntamente com múltiplos canais de áudio digitalizado, por exemplo, 16 canais de áudio PCM (de código de pulso modulado) a uma taxa de amostragem de 48 kHz. O conteúdo de áudio é um fluxo empacotado que pode ter formatos diferentes, dependendo do vendedor do sistema de cinema. Os sinais de áudio e de vídeo podem ser encriptados antes de serem introduzidos no bloco de mídia. O bloco de mídia desencripta o vídeo JPEG em um sinal de banda base não comprimido, e transmite o áudio para um processador de cinema para ser condicionado no ambiente de reexecução. O processador de cinema executa funções, tal como uma equalização para o ambiente de reexecução, e roteia os sinais de áudio para os alto-falantes apropriados em um arranjo de som surround com base nos rótulos de canal de alto-falante providos no conteúdo de áudio. A saída final compreende uma alimentação de vídeo que sai em um formato HD-SDI (interface digital serial de alta definição) para um projetor, e um áudio analógico é enviado para os amplificadores e alto-falantes. Para uma reexecução apropriada, as trilhas de áudio devem ser apropriadamente sincronizadas para o conteúdo de vídeo.
[0005] Em geral, uma sincronização de A/V não é particularmenteprecisa em ambientes de cinema e os técnicos de cinema geralmente não mede uma sincronização de A/V hoje em dia durante a instalação / calibração. Uma sincronização de A/V de filme é dita como sendo acurada para em 1,5 quadros (63 ms @ 24 fps). Uma vez que o som viaja a em torno de 1 ft/ms (340,29 m/s), uma sincronização de A/V pode variar em até 50 ms dependendo da localização do ouvinte no cinema. Nos presentes sistemas de cinema, o sincronismo dos sinais de áudio e de vídeo é bem conhecido, de modo que o áudio e o vídeo normalmente estão sincronizados. As latências de componentes bem estabelecidos, por exemplo, uma latência de projetor, tipicamente são especificadas a em torno de dois quadros ou 88 ms, de modo que o servidor de cinema usualmente possa ser programado para acomodar diferentes características de sincronismo para garantia de uma sincronização apropriada. Em aplicações típicas, o bloco de mídia tem duas componentes em tempo real, a interface HD-SDI e uma interface de AAS (sistema de amplificador de áudio). Estas são interfaces de tempo real e podem ser configuradas para a provisão de uma saída de A/V que seja sincronizada ou programada com algum atraso, conforme apropriado. Assim, apesar de uma certa quantidade de imprecisão nos presentes sistemas, o sincronismo entre o conteúdo de áudio e de vídeo é fixado, de modo que, quando uma amostra de áudio digital seja enviada para o processador de cinema, ela seja seguida por um intervalo razoavelmente preciso (por exemplo, 1/24 segundos mais tarde) por um sinal de áudio analógico enviado para os amplificadores.
[0006] Um novo processador de áudio adaptativo e um formato deáudio baseado em objeto foram desenvolvidos, que permitem que o áudio seja transmitido por uma conexão de Ethernet de banda lateral. Esta conexão de Ethernet provê um conduto de largura de banda alta para a transmissão de sinais de áudio complexos múltiplos. Assumindo que a largura de banda de um canal único de áudio digital seja de 1,5 Mb/s (Mbps), a largura de banda para um presente sistema de 16 canais (por exemplo, AES8) é da ordem de 24 Mbits/s (16 x 1,5 Mbits/s). Em contraste, a largura de banda de uma conexão de Ethernet nesta aplicação é da ordem de 150 Mbits/s, o que permite até 128 sinais de áudio complexos discretos. Este sistema de áudio adaptativo envia um conteúdo de áudio a partir de um arranjo de RAID (ou um elemento de armazenamento similar) em tempo real pela Ethernet a partir de um servidor de cinema digital para um processador de cinema de áudio adaptativo. A Ethernet é um meio de transmissão em rajadas, não em tempo real e não determinístico. Assim, a característica inerente de sincronização de áudio / vídeo dos presentes sistemas de processamento de cinema não é aplicável a este tipo de sinal de áudio adaptativo. O áudio que é provido via Ethernet deve ser sincronizado com o vídeo através de uma função de sincronização explícita. Para alinhamento do conteúdo de áudio, enviado via a Ethernet, com o sinal de vídeo, deve haver uma latência determinística para a sincronização apropriada do conteúdo de áudio e de vídeo.
BREVE SUMÁRIO DE MODALIDADES
[0007] Os servidores tradicionais de cinema digital entregam sinaisde áudio e de vídeo para um único bloco de mídia. O bloco de mídia então decodifica, alinha no tempo e os entrega de uma maneira sincronizada. Em um sistema de áudio adaptativo, o conteúdo de áudio é entregue em dois tipos de conteúdo em separado, um áudio de multicanal (por exemplo, um conteúdo de som surround 5.1 ou 7.1) e um áudio adaptativo baseado em objeto que compreende um som baseado em canal com metadados que codificam uma informação de localização para reexecução de som no ambiente de reexecução. Em um sistema de áudio adaptativo, o áudio adaptativo de taxa de bit alta é enviado a partir de um servidor de cinema digital via Ethernet para um processador de áudio adaptativo. Isto constitui um fluxo de áudio não em tempo real ou não determinístico. De modo a sincronizar o conteúdo de áudio adaptativo com o vídeo provido pelo servidor de cinema, um sinal de sincronização é associado ao áudio de multicanal para se permitir que o processador de áudio adaptativo determine qual quadro do áudio adaptativo reexecutar.
[0008] Em uma modalidade, o sinal de sincronização é embutidono fluxo de áudio de multicanal e contém uma informação de identificador de trilha e de contagem de quadro para se manter o conteúdo de áudio adaptativo sincronizado com o conteúdo de áudio de canal múltiplo. Isto provê um mecanismo para garantir uma sincronização apropriada de áudio / vídeo no ambiente de reexecução. Se um erro ocorrer de modo que o quadro de áudio adaptativo não esteja disponível ou se a informação de identificador de trilha e de contagem de quadro não combinar com o sinal de sincronização, ou se for desejado reexecutar o conteúdo de multicanal ao invés do conteúdo de áudio adaptativo, um processo de transição será invocado. O processo de transição compreende um componente desvanecedor que faz com que o áudio desvaneça para o silêncio seguindo por uma trilha de áudio de multicanal desvanecida do silêncio para um nível atual. O sistema continuará a tocar a trilha de áudio de multicanal até o número de quadro de sinal de sincronização e o número de quadro de áudio adaptativo combinarem, em cujo momento o conteúdo de áudio será feito aparecer gradualmente de novo.
[0009] As modalidades proveem uma sincronização apropriada desinais de áudio e de vídeo em um sistema de cinema baseado em áudio adaptativo. O sistema se baseia no fato de que o áudio baseado em canal já está sincronizado com o sinal de vídeo, e provê um método de sinalização que sincroniza o conteúdo de áudio adaptativo baseado em objeto não determinístico com o conteúdo baseado em canal. Este método de sincronização de áudio com áudio provê um sincronismo apropriado, uma proteção contra falha e capacidades de comutação entre o conteúdo de áudio inteiro (áudio de multicanal mais áudio adaptativo) e o sinal de vídeo.
[00010] As modalidades são descritas para um mecanismo de sincronização e transição para um sistema de áudio adaptativo no qual um áudio de multicanal (por exemplo, um som surround) é provido juntamente com um conteúdo de áudio adaptativo baseado em objeto. Um sinal de sincronização é embutido no fluxo de áudio de multicanal e contém um identificador de trilha e uma contagem de quadro para o fluxo de áudio adaptativo para reexecução. O identificador de trilha e a contagem de quadro de um quadro de áudio adaptativo recebido são comparados com o identificador de trilha e a contagem de quadro contidos no sinal de sincronização. Se o identificador de trilha ou a contagem de quadro não combinarem com o sinal de sincronização, um processo de transição será invocado que desvanece a trilha de áudio adaptativo e faz aparecer gradualmente a trilha de áudio de multicanal. O sistema continuará a tocar a trilha de áudio de multicanal até o identificador de trilha e a contagem de quadro de sinal de sincronização e o identificador de trilha e a contagem de quadro de áudio adaptativo combinarem, em cujo ponto o conteúdo de áudio adaptativo será feito aparecer gradualmente de novo.
BREVE DESCRIÇÃO DOS DESENHOS
[00011] Nos desenhos a seguir, números de referência iguais são usados para referência a elementos iguais. Embora as figuras a seguir descrevam vários exemplos uma ou mais implementações não estão limitadas aos exemplos descritos nas figuras.
[00012] A figura 1 é um diagrama de blocos de um sistema de áudio adaptativo que implementa um processo de proteção de sincronização e transição, segundo uma modalidade.
[00013] A figura 2A é um diagrama de blocos de um sistema de áudio adaptativo que inclui um canal lateral de Ethernet para transmissão de sinais de áudio adaptativo, segundo uma modalidade na qual o sinal de sincronização está associado ao conteúdo de áudio de canal múltiplo.
[00014] A figura 2B é um diagrama de blocos de um sistema de áudio adaptativo que inclui um canal lateral de Ethernet para transmissão de sinais de áudio adaptativo, segundo uma modalidade na qual o sinal de sincronização é gerado por um bloco de mídia recebendo o conteúdo de áudio de canal múltiplo.
[00015] A figura 3 é um fluxograma que ilustra um método de sincronização de uma trilha de áudio adaptativo com uma trilha de áudio de multicanal, segundo uma modalidade.
[00016] A figura 4 ilustra a composição do conteúdo de áudio em tempo real e o conteúdo de áudio adaptativo como uma entrada para um processador de áudio adaptativo, segundo uma modalidade.
[00017] A figura 5 é um diagrama que ilustra o armazenamento em buffer e o processamento do conteúdo de áudio adaptativo, segundo uma modalidade.
[00018] A figura 6 ilustra a composição de um sinal de sincronização, segundo uma modalidade.
[00019] A figura 7 é um diagrama que ilustra os componentes e os fluxos de processo para processamento de um sinal de sincronização, segundo uma modalidade.
[00020] A figura 8 é um fluxograma que ilustra um método de sincronização de sinais de áudio adaptativo usando um sinal de sincronização, segundo uma modalidade.
[00021] A figura 9 ilustra diferentes exemplos de conteúdo que incluem um áudio baseado em canal e um áudio adaptativo baseado em objeto, e que pode utilizar modalidades de um método de sincronização e transição.
DESCRIÇÃO DETALHADA
[00022] Os sistemas e métodos são descritos para um estágio de renderização de um sistema de áudio adaptativo que sincroniza os fluxos de áudio e provê uma proteção de transição para reexecução de diferentes tipos de fluxos de áudio no caso de indisponibilidade de um tipo de fluxo de áudio preferido. Os aspectos de uma ou mais modalidades descritas aqui podem ser implementados em um sistema de áudio ou de audiovisual que processa uma informação de áudio de fonte em um sistema de mixagem, renderização e reexecução que inclui um ou mais computadores ou dispositivos de processamento executando instruções de software. Qualquer uma das modalidades descritas pode ser usada sozinha ou em conjunto com uma outra em qualquer combinação. Embora várias modalidades possam ter sido motivadas por várias deficiências na técnica anterior, as quais podem ser aludidas em um ou mais locais no relatório descritivo, as modalidades não necessariamente se dirigem a qualquer uma destas deficiências. Em outras palavras, diferentes modalidades podem se dirigir a diferentes deficiências que podem ser discutidas no relatório descritivo. Algumas modalidades podem apenas parcialmente se dirigir a algumas deficiências ou a apenas uma deficiência que pode ser discutida no relatório descritivo, e algumas modalidades podem não se dirigir a qualquer uma destas deficiências.
[00023] Para as finalidades da descrição a seguir, o termo canal ou canal de áudio significa um sinal de áudio monofônico ou um fluxo de áudio mais metadados nos quais a posição é codificada como um ID de canal, por exemplo, dianteira esquerda ou surround de topo direito. Um canal pode acionar múltiplos alto-falantes, por exemplo, os canais de surround esquerdo (Ls) alimentarão todos os alto-falantes no arranjo de surround esquerdo. Uma configuração de canal é um conjunto pré-definido de zonas de alto-falante com localizações nominais associadas, por exemplo, 5.1, 7.1, e assim por diante; 5.1 se refere a um sistema de áudio de som surround de seis canais tendo canais dianteiros esquerdo e direito, um canal central, dois canais de surround e um canal de subwoofer; 7.1 se refere a um sistema de surround de oito canais que adiciona dois canais de surround adicionais ao sistema 5.1. Os exemplos de configurações 5.1 e 7.1 incluem os sistemas de surround Dolby®. Um objeto ou canal de objeto é um ou mais canais de áudio com uma descrição de fonte paramétrica, tal como uma posição de fonte aparente (por exemplo, coordenadas tridimensionais), uma largura de fonte aparente, etc. Por exemplo, um objeto poderia ser um fluxo de áudio mais metadados nos quais a posição é codificada como uma posição tridimensional no espaço. O termo ‘áudio adaptativo’ significa um o conteúdo de áudio baseado em objeto ou canal que é associado aos metadados que controlam a renderização do áudio com base no ambiente de reexecução.
[00024] Em uma modalidade, o áudio de som surround padrão pode ser processado através de codificadores - decodificadores de áudio baseado em canal convencionais que reproduzem o som através de um arranjo de alto-falantes em posições predeterminadas em relação ao ouvinte. Para a criação de um programa de áudio de multicanal completo, os engenheiros de som tipicamente misturam um grande número de fluxos de áudio em separado (por exemplo, diálogo, música, efeitos) para a criação da impressão desejada geral. As decisões de mixagem de áudio tipicamente são tomadas ao se ouvir o programa de áudio conforme reproduzido por um arranjo de alto- falantes nas posições predeterminadas, por exemplo, um sistema 5.1 ou 7.1 em particular em um cinema específico. O sinal final misturado serve como uma entrada para o codificador - decodificador de áudio. Em contraste com um áudio baseado em canal, a codificação de objeto provê fontes de som distintas (objetos de áudio) como uma entrada para o codificador na forma de fluxos de áudio em separado. Cada objeto de áudio é associado a parâmetros espaciais, os quais podem incluir uma informação de posição de som, largura de som e velocidade, dentre outros. Os objetos de áudio e os parâmetros associados então são codificados para distribuição e armazenamento. Uma mixagem e renderização finais de objeto de áudio são realizadas na extremidade de recepção da cadeia de distribuição de áudio, como uma parte da reexecução de programa de áudio. Esta etapa pode ser com base no conhecimento das posições reais de alto-falante, de modo que o resultado seja um sistema de distribuição de áudio, que é personalizável para as condições de audição específicas de usuário. As duas formas de codificação, baseada em canal e baseada em objeto, funcionam de forma ótima para diferentes condições de sinal de entrada. Por exemplo, os codificadores de áudio baseado em canal geralmente são mais eficientes para a codificação de sinais de entrada contendo misturas densas de fontes diferentes de áudio e para sons difusos. Inversamente, os codificadores de objeto de áudio são mais eficientes para a codificação de um número pequeno de fontes de som altamente direcionais.
[00025] A figura 1 é um diagrama de blocos de um sistema de áudio adaptativo que implementa um processo de sincronização e transição segundo uma modalidade. Conforme mostrado no sistema 100, entradas de áudio são providas para um bloco de processador de áudio adaptativo 102. O processador gera um áudio PCM baseado em canal que inclui rótulos de canal de alto-falante para envio de sinais de áudio baseado em canal para alto-falantes específicos de som surround ou grupos de alto-falante de acordo com as convenções conhecidas de som surround. O processador 102 também gera um áudio baseado em objeto que contém metadados que identificam alto- falantes específicos no arranjo de alto-falante para reexecução de objetos de áudio correspondentes. A informação de localização é provida na forma de funções de localização matemáticas que especificam localizações em um cômodo do ambiente de reexecução em relação ao tamanho e às dimensões do cômodo e da tela de visualização, em oposição a identificações específicas de alto-falante ou localizações em relação a um ouvinte em particular no cômodo. Um sistema de áudio como esse provê uma experiência de áudio mais imersiva e retém a intenção do engenheiro de som ou técnico de mixagem para todos os ouvintes em virtualmente qualquer ambiente de reexecução, uma vez que os sons são renderizados com base em um quadro alocêntrico de referência. Uma referência alocêntrica é uma referência espacial na qual os objetos de áudio são definidos em relação às características no ambiente de renderização, tais como paredes do cômodo e cantos, localizações padronizadas de alto- falante, e localização da tela (por exemplo, canto esquerdo dianteiro de um cômodo), em oposição a uma referência egocêntrica que é uma referência espacial na qual os objetos de áudio são definidos em relação à perspectiva de um ouvinte e, frequentemente, especificadas com respeito a ângulos em relação a um ouvinte (por exemplo, 30 graus à direita do ouvinte).
[00026] Um bloco de renderizador / saída 104 provê uma saída para os alto-falantes apropriados de um arranjo de alto-falante que pode incluir ambos os alto-falantes de som surround 106 em uma configuração definida (por exemplo, 5.1 ou 7.1) e alto-falantes adicionais 108 para reexecução do conteúdo de áudio adaptativo. Esses alto-falantes adicionais podem incluir alto-falantes de topo montados em teto, subwoofers traseiros adicionais, alto-falantes de tela de surround lateral adicionais, e assim por diante. Conforme usado aqui, o termo “sistema de reexecução” se refere a um ou mais componentes que em conjunto servem para a execução das funções de renderização, amplificação e difusão de som, e pode incluir um renderizador, um ou mais amplificadores, buffers, alto-falantes, componentes de interconexão mais quaisquer outros componentes apropriados em qualquer combinação ou constituição de elementos.
[00027] O sistema 100 ainda inclui um codificador - decodificador de áudio que é capaz de uma distribuição eficiente e doarmazenamento de programas de áudio de multicanal. Ele combina os dados de áudio baseado em canal tradicionais com metadadosassociados para a produção de objetos de áudio que facilitam a criação e a entrega de áudio, que é adaptado e otimizado para renderização e reexecução em ambientes que podem ser diferentes do ambiente de mixagem. Isto permite que o engenheiro de som codifique sua intenção com respeito a como o áudio final deve ser ouvido pelo ouvinte com base no ambiente de audição real do ouvinte. Os componentes do sistema 100 compreendem um sistema de codificação, distribuição e decodificação de áudio configurado para a geração de um ou mais fluxos de bit contendo elementos de áudio baseado em canal convencionais e elementos de áudio baseado em objeto. Uma abordagem combinada como essa provê uma maior eficiência de codificação e uma flexibilidade de renderização, se comparada com outras abordagens baseadas em canal e baseadas em objeto tomadas separadamente. As modalidades incluem a extensão de um codificador - decodificador de áudio baseado em canal pré-definido de uma maneira retrocompatível para a inclusão de elementos de codificação de objeto de áudio. Uma nova camada de extensão contendo os elementos de codificação de objeto de áudio é definida e adicionada à camada de ‘base’ ou retrocompatível do fluxo de bit de codificador - decodificador de áudio baseado em canal. Esta abordagem permite que um ou mais fluxos de bit, os quais incluem a camada de extensão a ser processada por decodificadores de legado, enquanto se provê uma experiência melhorada de ouvinte para usuários com novos decodificadores. Um exemplo de uma experiência de usuário melhorada inclui o controle de renderização de objeto de áudio. Uma vantagem adicional desta abordagem é que os objetos de áudio podem ser adicionais ou modificados em qualquer lugar ao longo da cadeia de distribuição, sem uma decodificação / mixagem / recodificação de áudio de multicanal codificado com o codificador - decodificador de áudio baseado em canal.
[00028] Em um sistema de áudio adaptativo, o sinal de áudio adaptativo de taxa de bit alta é enviado a partir do servidor de cinema digital via Ethernet para um processador de áudio adaptativo. A figura 2A é um diagrama de blocos de um sistema de áudio adaptativo que inclui um canal de lado de Ethernet para transmissão de sinais de áudio adaptativos, segundo uma modalidade. O sistema 200 representa uma porção de um subsistema de renderização para um sistema de processamento de cinema digital. Conforme mostrado no sistema 200, uma entrada audiovisual (A/V) 203 é provida em um servidor de cinema digital 202. A entrada A/V representa um conteúdo de áudio e de vídeo que é autorizado pelos criadores usando ferramentas e autoria do sistema de processamento de cinema. Para a modalidade da figura 2A, o sinal de entrada de A/V 203 inclui dados de vídeo, dados de áudio (áudio baseado em canal e objeto mais metadados de localização), e um sinal de sincronização.
[00029] Com respeito ao conteúdo de vídeo, o servidor 202 emite o conteúdo de vídeo como dados comprimidos (por exemplo, JPEG 2000) por uma primeira linha de Ethernet de gigabit (1000BaseT) ou similar 201 para um bloco de mídia 206, o qual então envia um sinal de vídeo apropriadamente formatado (por exemplo, HD-SDI) para um projetor 208.
[00030] Com respeito ao conteúdo de áudio, um servidor de cinema digital 202 emite um conteúdo de áudio adaptativo por uma segunda linha de Ethernet de gigabit 205 para um processador de áudio adaptativo 204. O conteúdo de áudio adaptativo compreende um conteúdo de áudio baseado em objeto que é associado a metadados que controlam a renderização do áudio com base no ambiente de reexecução. Uma vez que o conteúdo de áudio adaptativo é enviado por uma conexão de Ethernet, é inerentemente não determinístico e representa um componente de áudio não em tempo real. O servidor de cinema 202 também gera um áudio de multicanal empacotado a partir do conteúdo baseado em canal da entrada de A/V 203. Isto é transmitido pelo primeiro enlace de Ethernet 201 para o bloco de mídia 206, o qual produz um conteúdo de áudio em tempo real para transmissão para o processador de áudio adaptativo 204 pelo enlace 207. Em uma modalidade, o bloco de mídia 206 formata o áudio de multicanal empacotado recebido pelo enlace 201 por um padrão de transporte de sinal de áudio digital, tal como AES3, para a produção do conteúdo de áudio em tempo real transmitido pelo enlace 207. Em uma implementação típica, o áudio em tempo real compreende oito sinais de AES3 para um total de 16 canais 207.
[00031] O processador de áudio adaptativo 204 opera em dois modos: um modo de processador de cinema (cinema digital tradicional) e um modo de áudio adaptativo. No modo de processador de cinema, múltiplos canais de áudio são gerados pelo bloco de mídia 206 e recebidos para entrada no processador de áudio adaptativo 204 pela linha 207. Em uma implementação típica, este áudio compreende oito sinais de AES3 para um total de 16 canais 207. A saída do processador de áudio adaptativo 204 no modo de processador de cinema (também referido como áudio de AES ou DCI) compreende, por exemplo, 64 alimentações de alto-falante (ou 7.1 arranjos) emitidos para os amplificadores de canal de surround 212. Uma latência ajustável, por exemplo, a partir de 13 ms a 170 ms pode ser provida, juntamente com um processamento de cadeia B (EQ, gerenciamento de grave, limitação). Em geral, as alimentações de cadeia B se referem aos sinais processados por amplificadores de potência, recombinadores e alto-falantes, em oposição a um conteúdo de cadeia A que constitui a trilha de som no filme em película.
[00032] No modo de áudio adaptativo, o processador de áudio adaptativo 204 opera como um bloco de mídia de áudio com Ethernet 1000baseT a partir do servidor 202 para dados / controle. Os oito canais de AES 207 que são providos no bloco de mídia 206 são usados para funções de relógio e sincronização dos sinais de áudio adaptativo enviados a partir do servidor 202 pelo segundo canal de Ethernet 205. A latência destes sinais é combinada com o modo de processador de cinema através de um sinal de sincronização que é associado ao conteúdo de áudio em tempo real 207. Com respeito à renderização de áudio e processamento de cadeia B, o sinal de sincronização é embutido em um canal definido (por exemplo, no canal 13) do arquivo de trilha de áudio DCI compreendendo o áudio em tempo real. O conteúdo de áudio adaptativo e a informação de quadro são fluídos pela Ethernet não em tempo real a partir do servidor de cinema digital 202 para o processador de áudio adaptativo 204. Em geral, os quadros são segmentos curtos, decodificáveis de forma independente, nos quais um programa de áudio total é dividido, e a taxa de quadro de áudio e a fronteira tipicamente são alinhadas com os quadros de vídeo. Um processo de comparador ou componente no processador de áudio adaptativo 204 olha para o número de quadro no sinal de sincronização, para a informação de quadro a partir do segundo canal de Ethernet 205 e os compara. Se eles combinarem, o processador de áudio adaptativo reexecutará o quadro de áudio adaptativo através dos amplificadores 210 e 212. Se a informação de quadro para o sinal de sincronização e o conteúdo de áudio adaptativo não combinarem, ou se o sinal de sincronização não estiver presente, o processador reverterá de volta para o fluxo de áudio em tempo real.
[00033] Para a modalidade ilustrada na figura 2A, o sinal de sincronização é gerado e associado a ou embutido no sinal de áudio do conteúdo de entrada de A/V 203, durante a masterização de conteúdo ou o processo de autoria. Em uma modalidade alternativa, o sinal de sincronização é automaticamente gerado por um componente ou processo no estágio de renderização. A figura 2B é um diagrama de blocos de um sistema de áudio adaptativo no qual o sinal de sincronização é gerado por um bloco de mídia que recebe o conteúdo de áudio de canal múltiplo. Conforme mostrado no sistema 220 da figura 2B, o conteúdo de entrada de A/V compreende o conteúdo de áudio e de vídeo 213, o qual é introduzido no servidor de cinema digital 202. O servidor de cinema digital 202 é configurado para transmitir uma informação referente à composição do conteúdo, também referida como uma lista de execução de composição, para o bloco de mídia 206. Esta lista de execução de composição inclui (1) um comprimento de arquivo de trilha de vídeo em quadros (isto é, o primeiro quadro de vídeo a reexecutar e o último do quadro de vídeo a reexecutar); (2) um comprimento de arquivo de trilha de áudio de multicanal em quadros (isto é, o primeiro quadro de vídeo a reexecutar e o último do quadro de vídeo a reexecutar); e um comprimento de arquivo de trilha de áudio adaptativo em quadros (isto é, o primeiro quadro de vídeo a reexecutar e o último do quadro de vídeo a reexecutar). Uma informação adicional ou outra também pode ser incluída, conforme necessário, dependendo de restrições de implementação e de exigências. O sinal de sincronização é autogerado pelo bloco de mídia 206 e transmitido em tempo real pelo enlace 207 no formato AES3, por exemplo, para o processador de áudio adaptativo 204. Em virtude da criação de conteúdo e do processo de masterização, os arquivos de trilha de áudio de multicanal (pela linha 201) e adaptativo (pela linha 205) devem ter o mesmo número de amostras / quadros e devem ser alinhados no tempo. Se o bloco de mídia 206 receber a lista de execução de composição e um arquivo de trilha de áudio adaptativo for chamado, o bloco de mídia poderá renderizar dinamicamente o sinal de sincronização com base no número de quadro atual do arquivo de trilha de áudio de multicanal sendo reexecutado. Pode cessar a emissão do sinal de sincronização quando o conteúdo não pedir um arquivo de trilha de áudio adaptativo.
[00034] A figura 3 é um fluxograma que ilustra um método de sincronização de uma trilha de áudio adaptativo com uma trilha de áudio de multicanal, segundo uma modalidade. Conforme mostrado na figura 3, o processo começa pelo embutimento do sinal de sincronização como parte do arquivo de áudio de multicanal que é transmitido pelo primeiro enlace de Ethernet 201 a partir do servidor 202. Em uma modalidade, para o conteúdo de áudio em tempo real transmitido pelo enlace 207, o sinal de sincronização de AES é formatado como um fluxo não de áudio específico (por exemplo, SMPTE 337M) que contém uma informação atual de contagem de quadro atual identificador de trilha (por exemplo, UUID) e se repete múltiplas vezes por quadro. Conforme mostrado com respeito ao sistema 200 da figura 2A, o sinal de sincronização pode ser gerado no momento de renderização ou empacotamento e é inserido na trilha 13 do arquivo de trilha de áudio (DCI) em tempo real, ato 304. Alternativamente, conforme mostrado com respeito ao sistema 220 da figura 2B, o sinal de sincronização pode ser gerado pelo bloco de mídia 206. O sinal de sincronização é referenciado para o começo do arquivo de trilha de áudio. O sinal de áudio adaptativo e a informação de quadro associada são fluídos pela segunda conexão de Ethernet de gigabit 205 para o processador de áudio adaptativo 204, ato 306. O sistema então compara o hidróxido de sódio no sinal de sincronização com a informação de quadro de áudio adaptativo, ato 308. Se os números de quadro combinarem, conforme determinado pelo bloco 308, o quadro de áudio adaptativo será tocado, ato 312. Caso contrário, uma condição de erro existe, e o áudio em tempo real de multicanal é tocado, ao invés disso, ato 314.
[00035] Em uma modalidade alternativa, o sinal de sincronização pode ser codificado como um sinal de áudio audível usando-se, por exemplo, um chaveamento com mudança de frequência (FSK) em oposição a um fluxo formatado SMPTE 337M não de áudio. Isto permite que o 1 seja robusto para uso de marca d’água de áudio e conversão de taxa de amostra a partir de entre 48 kHz e 96 kHz, o que pode ser aplicado pelo bloco de mídia antes de saída como sinais formatados pelo enlace 207.
[00036] O sinal de sincronização contém um identificador de trilha de modo a se evitar que o áudio a partir de uma composição seja reexecutados com o vídeo de uma composição diferente. Ter o número de quadro e o identificador de trilha (por exemplo, o UUID de trilha) cria uma associação única para se evitar que isto ocorra. Esta possibilidade é demonstrada com referência à figura 9, em que múltiplos clipes em um show podem conter um áudio adaptativo com o mesmo número de quadro. Neste caso, os diferentes identificadores de trilha impedem uma reexecução de áudio incorreta que pode ser causada pela associação ou má associação de quadros de áudio com diferentes videoclipes.
[00037] Os pacotes de Ethernet em tempo real que são enviados a partir do servidor de cinema digital 202 para o processador de áudio adaptativo 204 pelo enlace 205 contêm cabeçalhos com informação de ID de trilha e contagem de quadro. O ID de trilha e a contagem de quadro são embutidos na trilha de áudio em tempo real e enviados pelos canais de AES 207 a partir do bloco de mídia 206 para o processador de áudio adaptativo 204. O processador de áudio adaptativo compara os dados de quadro da Ethernet com aqueles do sinal de sincronização e reexecuta o quadro de áudio adaptativo, se o quadro for encontrado. A figura 4 ilustra a composição dos dados de canal em tempo real adaptativo e dos dados de Ethernet de áudio adaptativo, segundo uma modalidade. Conforme mostrado na figura 4, o pacote de dados enviado pelo enlace de Ethernet de gigabyte 205 a partir do servidor 202 para o processador 204 inclui pacotes de dados entrelaçados com uma informação de quadro. Para o exemplo da figura 4, os dados de Ethernet 205 são organizados nos quadros de áudio B1 - A3 - A2 - A1. Os dados de áudio em tempo real transmitidos pelo enlace 207 a partir do bloco de mídia 206 para o processador 204 são codificados com os números de quadro codificados no sinal de sincronização de áudio de DCI. Neste caso, a codificação de exemplo lista os quadros B1 - A3 - A2 - A1. Uma vez que os quadros combinam entre os dois sinais, o conteúdo de áudio a partir do servidor 202 será reexecutado. Se houver um erro, de modo que os números de quadro não combinem, ou se nenhum sinal de sincronização estiver presente, o sinal de áudio em tempo real seria reexecutado, ao invés do sinal de áudio adaptativo.
[00038] A figura 5 é um diagrama que ilustra um armazenamento em buffer e um processamento do conteúdo de áudio adaptativo, segundo uma modalidade. O sistema 500 processa continuamente as oito entradas de AES, armazena em buffer os dados e detecta se o sinal de sincronização está presente. Os sinais em tempo real são introduzidos no bloco de emissão de sinal de sincronização 502. O ID de quadro e os dados de PCM são enviados para um gerenciador de sequência de quadro 510. Em paralelo, o sinal de áudio adaptativo enviado pelo enlace de Ethernet de gigabit 205 é introduzido em um bloco de desencriptação 504, um bloco de decodificação 506 e um bloco de renderização 508. O ID de quadro e os dados de PCM gerados pelo bloco de raios X 508 são introduzidos no gerenciador de sequência de quadro 510. O gerenciador de sequência de quadro então decide qual regulagem de áudio, áudio em tempo real ou áudio adaptativo, emitir, dependendo de o sinal de sincronização estar ou não presente ou de o quadro de sincronização combinar com o quadro de áudio adaptativo. A saída selecionada é enviada, então, para o processador de cadeia B 512.
[00039] A figura 6 ilustra a composição de um sinal de sincronização, segundo uma modalidade. Conforme mostrado na figura 6, os quadros de exemplo para os quadros esquerdo e direito de PCM 602 são denotados A1 e A2. Um sinal de sincronização 606 é provido em um canal específico (por exemplo, no canal 13) na trilha de áudio de DCI. O sinal de sincronização então é alinhado para o começo de cada quadro de quadro (42 ms por quadro). O sinal de sincronização 606 contém uma palavra de sincronização, o ID de arquivo de áudio (UUID) e a contagem de quadro (UINT32).
[00040] Em uma modalidade, pode haver diferentes modos de sincronização, incluindo: uma sincronização inicial, uma busca (a qual pode ser uma sincronização inicial), uma comutação de áudioadaptativo para / a partir de DCI, e uma ressincronização pararecuperação de erro. Todos os modos usam o mesmo mecanismo para decidir qual formato de áudio tocar.
[00041] A figura 7 é um diagrama que ilustra os componentes e os fluxos de processo para processamento de um sinal de sincronização, segundo uma modalidade. Conforme mostrado na figura 7, o conteúdo de áudio adaptativo e os canais de áudio em tempo real (AES3) são introduzidos em um gerenciador de sincronização 704. Para sinais em tempo real, um canal dos dados de PCM entrelaçados porta o sinal de sincronização, e o restante dos canais porta o conteúdo de multicanal (som surround). O gerenciador de sincronização tem uma interface com um buffer de áudio de PCM de entrada 702 e um buffer de áudio codificado de entrada 706. Os dados de áudio de PCM são enviados diretamente para um buffer de áudio de PCM de saída 710, enquanto o áudio codificado é enviado para um bloco de decodificação de áudio 708, o qual converte o áudio codificado em um formato de PCM para a entrada no buffer 710. O buffer 710 então provê a saída digital / analógica, a qual é passada por um relógio com base no relógio de entrada de AES.
[00042] A figura 8 é um fluxograma que ilustra um método de sincronização de sinais de áudio adaptativo usando-se um sinal de sincronização, segundo uma modalidade. O processo 800 ilustrado na figura 8 utiliza o buffer e os componentes de gerenciador de sincronização ilustrados na figura 7 e o sinal de sincronização ilustrado na figura 6. O processo da figura 8 basicamente ilustra o armazenamento em buffer do sinal de sincronização nos buffers de entrada e de saída e o armazenamento de um quadro codificado a partir do sinal de sincronização no buffer de saída, antes da comparação com o número de quadro de áudio adaptativo. O processo 800 começa com o buffer de saída pré-preenchido com silêncio para latência fixa, bloco 802. O processo de entrada / saída então é começado, bloco 804. Isto resulta no recebimento de uma amostra de entrada para o conteúdo de áudio em tempo real, bloco 806. No bloco de decisão 808, é determinado se um sinal de sincronização é ou não detectado. Caso não, é adicionalmente determinado se um número máximo de amostras de sinal de sincronização foi ou não atingido, bloco 824. Caso não, a amostra é armazenada no buffer de amostra de entrada, bloco 826, e o processo prossegue de novo a partir do bloco 806. Se, no bloco 824, for determinado que o número máximo foi atingido, as amostras de entrada serão copiadas para o buffer de saída, bloco 822, o buffer de amostra de entrada será liberado, bloco 820, e o processo prosseguirá a partir do bloco 806. Se um sinal de sincronização for detectado, conforme determinado no bloco 808, o processo checará se um quadro codificado associado ao sinal de sincronização está disponível, bloco 810. Se o quadro estiver disponível, conforme determinado no bloco de decisão 812, o quadro associado será copiado para o buffer de saída, bloco 814, e o buffer de amostra de entrada será liberado, bloco 818, e a próxima amostra de entrada será obtida, bloco 806. Se o quadro não estiver disponível, conforme determinado no bloco 812, as amostras de entrada então serão copiadas para o buffer de saída, bloco 816, o buffer de amostra de entrada será liberado, bloco 818, e o processo prosseguirá pela obtenção da próxima amostra de entrada, bloco 806.
[00043] O mecanismo de sincronização descrito aqui requer mudanças de software de bloco de mídia mínimas (roteamento de áudio para trilha de sincronização), e representa um mecanismo de transmissão contínua não em tempo real simples a partir do servidor de cinema para o processador de áudio adaptativo. O esquema de armazenamento em buffer a partir do servidor 202 para o processador 204 usa o mesmo protocolo de transmissão contínua que a partir do servidor 202 para o bloco de mídia 206. Isto assegura uma sincronização acurada com o bloco de mídia, e a robustez para erros de bloco de mídia - se o bloco de mídia 206 perder um quadro, o processador 204 perderá um quadro. Este mecanismo robusto de retorno após falha assegura que um áudio sempre seja tocado.
[00044] Com respeito à transmissão contínua de Ethernet, o protocolo a partir do servidor 202 para o processador de áudio adaptativo 204 é similar ao protocolo a partir do servidor 202 para o bloco de mídia 206. Isto é uma conexão dedicada de Ethernet que não compartilha largura de banda com um bloco de mídia e é uma interface não em tempo real que é em rajada por Ethernet com múltiplos segundos armazenados em buffer no processador 204. Não há prazos fatais em tempo real rígidos para o servidor 202, o qual simplesmente envia os dados tão rapidamente quanto possível. O sistema usa janelas de TCP para o gerenciamento do controle de completitude / fluxo de buffer.
[00045] Em uma implementação de exemplo, a taxa de bit de conteúdo pode ser conforme se segue:250 Mb/s - vídeo + 37 Mb/s - áudio DCI (16 canais @ 96 kHz) + 147 Mb/s - áudio adaptativo (128 canais @ 48 kHz) = 434 Mb/s (D-Cinema atual + áudio adaptativo).
[00046] Em uma modalidade, o sistema de áudio adaptativo inclui mecanismos para se dirigir a certas condições de erro, incluindo: quadro de áudio inserido / perdido em bloco de mídia, estouro por número pequeno de buffer no áudio adaptativo a partir do servidor 202 para o processador de áudio adaptativo 204, perda de conectividade de Ethernet entre servidor e processador, perda de conectividade de Ethernet entre servidor e bloco de mídia, perda de conectividade de AES do bloco de mídia para o processador, erros de desencriptação / encriptação no processador, e erros operacionais no processador.
[00047] Outros desenvolvimentos incluem as provisões para que o conteúdo de áudio adaptativo seja tocado a uma taxa nativa, suporte para AES simultâneo mais entrada de arquivo, meios para a monitoração quanto ao sinal de sincronização em uma entrada de áudio em tempo real, autocomutação entre áudio em tempo real e áudio adaptativo, com base no sinal de sincronização com latência constante, e meios para verificar que uma sincronização é mantida em diferentes ordenações de DCI mais conteúdo de áudio adaptativo.
[00048] O sinal de sincronização embutido no fluxo de áudio de multicanal que contém um número de quadro do fluxo de áudio adaptativo para tocar provê a base para um mecanismo de transição, no caso de erro ou um evento de comutação com respeito ao quadro de áudio adaptativo. Durante uma execução, se um quadro de áudio adaptativo estiver disponível e o número de quadro combinar com o sinal de sincronização, o quadro de áudio adaptativo será tocado. Caso não, o áudio será desvanecido até ser silencioso. A trilha de áudio em tempo real então será feita aparecer gradualmente. O sistema continuará a tocar a trilha de áudio em tempo real até o número de quadro de sinal de sincronização e o número de quadro de áudio adaptativo combinarem. Com respeito ao período de aparecimento gradual / desvanecimento e ao formato de rampa, os parâmetros em uma implementação típica são: períodos de 10 ms de aparecimento gradual e desvanecimento com um formato linear. Uma vez que os quadros de áudio adaptativo estejam disponíveis e combinem com o sinal de sincronização, o conteúdo de áudio adaptativo é feito aparecer gradualmente de novo. Neste caso, o áudio adaptativo aparece gradualmente se usando o mesmo período de aparecimento gradual de 10 ms linear. Deve ser notado que outros períodos de aparecimento gradual e formatos podem ser implementados, dependendo de detalhes de implementação em particular.
[00049] Em uma modalidade, os métodos de sincronização e transição e componentes são implementados em um sistema de áudio adaptativo no qual os objetos de áudio são tratados como grupos de elementos de som que podem ser percebidos para emanarem de uma localização física em particular ou de localizações no auditório. Esses objetos podem ser estáticos, ou eles podem se mover. Os objetos de áudio são controlados por metadados, os quais, dentre outras coisas, detalham a posição do som em um dado ponto no tempo. Quando os objetos são monitorados ou reexecutados em um cinema, eles são renderizados de acordo com os metadados de posição, usando-se os alto-falantes que estiverem presentes, ao invés de necessariamente serem emitidos para um canal físico. Uma trilha em uma sessão pode ser um objeto de áudio, e dados de panorâmica padronizados são análogos aos metadados de posição. Desta forma, o conteúdo posto na tela poderia ter uma panorâmica efetivamente da mesma forma com um conteúdo baseado em canal, mas o conteúdo posto nas imediações poderia ser renderizado para um alto-falante individual, se desejado.
[00050] As modalidades podem ser aplicadas a vários tipos diferentes de áudio e conteúdo de programa que contenham um conteúdo de som surround baseado em canal e um conteúdo de áudio adaptativo. A figura 9 é um diagrama 900 que ilustra diferentes exemplos de conteúdo que incluem áudio em tempo real e áudio adaptativo, e que podem utilizar as modalidades de um processo de sincronização e transição. O conteúdo pode ser com base em um único clipe de áudio adaptativo que contenha áudio baseado em objeto e metadados associados. Um show em formato de áudio misto, tal como pode ser mostrado em um cinema, pode adicionar um trailer e um anúncio que usem ambos o áudio em tempo real. Um show de áudio avançado pode adicionar um conteúdo de vídeo, tal como um trailer que contenha conteúdo de vídeo com mais conteúdo de áudio adaptativo. Um caso como esse é ilustrado na figura 9 como um programa de áudio adaptativo / áudio de DCI entrelaçados. Finalmente, o conteúdo de exemplo pode compreender um show de formato de vídeo misto que inclui um anúncio baseado em áudio em tempo real e um conteúdo de trailer juntamente com um programa de vídeo baseado em áudio adaptativo. Em geral, o processador de áudio adaptativo não precisa estar ciente da relação de sincronização com o sinal de vídeo ou a topologia de filme. Deve ser entendido que a figura 9 é incluída apenas para fins de exemplo com respeito à implementação, e que muitos outros tipos e composições de programas de A/V podem usar aspectos das modalidades descritas.
[00051] As modalidades geralmente são dirigidas a aplicação de cinema digital (D-cinema), os quais utilizam o padrão SMPTE 428-32006 intitulado “D-Cinema Distribution Master Audio Channel Mapping and Channel Labeling”, o qual dita a identificação e a localização de cada canal em um sistema de áudio de D-cinema. As modalidades também são implementadas em sistemas que usam o padrão AES3 (Audio Engineering Society) para o transporte de sinais de áudio digitais entre dispositivos de áudio profissionais. Deve ser notado que nem todas as modalidades são limitadas assim.
[00052] Embora as modalidades tenham sido descritas com respeito a exemplos e implementações em um ambiente de cinema no qual o conteúdo de áudio adaptativo está associado a um conteúdo de filme para uso em sistemas de processamento de cinema digital, deve ser notado que as modalidades também podem ser implementadas em ambientes não de cinema. O conteúdo de áudio adaptativo compreendendo o áudio baseado em objeto e ou áudio baseado em canal pode ser usado em conjunto com qualquer conteúdo relacionado (áudio, vídeo, item gráfico, etc. associados), ou pode constituir um conteúdo de áudio independente. O ambiente de reexecução pode ser qualquer ambiente de audição apropriado a partir de fones de ouvido ou monitores de campo próximo para cômodos pequenos ou grandes, carros, arenas abertas, salas de concerto, e assim por diante.
[00053] Os aspectos do sistema 100 podem ser implementados em um ambiente de rede de processamento de som baseado em computador apropriado para processamento de arquivos de áudio digital ou digitalizado. As porções do sistema de áudio adaptativo podem incluir uma ou mais redes que compreendem qualquer número desejado de máquinas individuais, incluindo um ou mais roteadores (não mostrados) que servem para o armazenamento em buffer e o roteamento de dados transmitidos dentre os computadores. Uma rede como essa pode ser construída em vários protocolos diferentes de rede, e pode ser a Internet, uma rede de área ampla (WAN), uma rede de área local (LAN), ou qualquer combinação das mesmas. Em uma modalidade na qual a rede compreende a Internet, uma ou mais máquinas podem ser configuradas para acesso à Internet através de programas de navegador da web. Mais ainda, certas interfaces e certos enlaces descritos e ilustrados nas figuras podem ser implementados usando-se vários protocolos. Por exemplo, as conexões de Ethernet podem ser implementadas usando-se qualquer protocolo de TCP/IP apropriado e meio com fio, tal como de cobre, fibra ótica e similares, ou elas podem ser substituídas por outros protocolos de transmissão digitais, conforme apropriado.
[00054] Um ou mais dos componentes, blocos, processos ou outros componentes funcionais podem ser implementados através de um programa de computador que controle a execução de um dispositivo de computação baseado em processador do sistema. Também deve ser notado que as várias funções expostas aqui podem ser descritas usando-se qualquer número de combinações de hardware, hardware e/ou como dados e/ou instruções concretizadas em vários meios que podem ser lidos em máquina ou meios que podem ser lidos em computador, em termos de suas características de comportamento, de transferência de registro, de componente lógico e/ou outras. Os meios que podem ser lidos em computador nos quais esses dados formatados e/ou essas instruções podem ser concretizados incluem, mas não estão limitados a meios físicos (não transitórios), meios de armazenamento não voláteis em várias formas, tais como meios de armazenamento óticos, magnéticos ou de semicondutor.
[00055] A menos que o contexto claramente requeira de outra forma, por toda a descrição e nas concretizações, as palavras “compreendem”, “compreendendo” e similares devem ser construídas em um sentido inclusivo, em oposição a um sentido exclusivo ou exaustivo; quer dizer, em um sentido de “incluindo, mas não limitando”. As palavras usando o singular ou plural também incluem o plural ou o singular, respectivamente. Adicionalmente, os termos “aqui”, “aqui abaixo”, “acima”, “abaixo” e palavras de cunho similar se referem neste pedido a porções como um todo e não a qualquer porção em particular deste pedido. Quando a palavra “ou” é usada com referência a uma lista de dois ou mais itens, aquela palavra cobrirá todas as interpretações seguintes da palavra: qualquer um dos itens na lista, todos os itens na lista e qualquer combinação dos itens na lista.
[00056] Embora uma ou mais implementações tenham sido descritas por meio de exemplo e em termos das modalidades específicas, é para ser entendido que uma ou mais implementações não estão limitadas às modalidades expostas. Ao contrário, pretende- se cobrir várias modificações e arranjos similares, conforme seria evidente para aqueles versados na técnica. Portanto, o escopo das concretizações deve ser de acordo com a interpretação mais ampla de modo a englobar todas essas modificações e arranjos similares.

Claims (13)

1. Sistema para sincronização de sinais de áudio e de vídeo, caracterizado pelo fato de que compreende:um servidor (202) configurado para receber um sinal audiovisual e emitir conteúdo de vídeo e conteúdo de áudio de canal múltiplo em uma primeira conexão de rede (201) e emitir conteúdo de áudio baseado em objeto adaptativo em uma segunda conexão de rede (205); em que o conteúdo de áudio de canal múltiplo é sincronizado com o conteúdo de vídeo;um bloco (206) acoplado ao servidor (202) na primeira conexão de rede (201) e configurado para receber o conteúdo de áudio de canal múltiplo e emitir o conteúdo de áudio de canal múltiplo, em que um quadro atual do conteúdo de áudio de canal múltiplo é emitido junto com um sinal de sincronização contendo informação de identificador de trilha e de contagem de quadro para um quadro atual do conteúdo de áudio baseado em objeto adaptativo para comparação com uma informação de identificador de trilha e de contagem de quadro do conteúdo de áudio baseado em objeto adaptativo;um processador de áudio adaptativo (204) acoplado ao servidor (202) na segunda conexão de rede e ao bloco (206) em uma terceira conexão (207) e configurado para receber o conteúdo de áudio de canal múltiplo, o sinal de sincronização e o conteúdo de áudio baseado em objeto adaptativo;um circuito de comparador do processador de áudio adaptativo configurado para comparar um identificador de trilha e contagem de quadro do conteúdo de áudio baseado em objeto adaptativo recebido com o identificador de trilha e contagem de quadro no sinal de sincronização; eum sistema de reexecução configurado para renderizar e reexecutar o quadro atual do conteúdo de áudio baseado em objeto adaptativo, se o identificador de trilha e a contagem de quadro do conteúdo de áudio baseado em objeto adaptativo recebido combinarem com o identificador de trilha e a contagem de quadro no sinal de sincronização, e, caso contrário, reexecutar o conteúdo de áudio de canal múltiplo.
2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato que o conteúdo de áudio de canal múltiplo compreende conteúdo de cinema digital incluindo áudio baseado em canal para reexecução através de um sistema de áudio de som surround.
3. Sistema, de acordo com a reivindicação 2, caracterizado pelo fato de que ainda compreende um arranjo de alto-falante incluindo alto-falantes de som surround posicionados em uma configuração de surround definida e uma pluralidade de alto-falantes adicionais posicionados em um cômodo definindo um ambiente de reexecução de áudio.
4. Sistema, de acordo com a reivindicação 3, caracterizado pelo fato de que o conteúdo de áudio baseado em objeto adaptativo compreende sinais de áudio baseados em objeto e metadados compreendendo uma informação de localização tridimensional especificando uma localização em um espaço tridimensional a partir do que se pretende que respectivos sinais dos sinais de áudio baseados em objeto emanem em um ambiente de reexecução contendo o arranjo de alto-falante.
5. Sistema, de acordo com a reivindicação 4, caracterizado pelo fato de que ainda compreende um componente de transição configurado para desvanecimento de uma reexecução de áudio através do arranjo de alto-falante, se o identificador de trilha e a contagem de quadro do conteúdo de áudio baseado em objeto adaptativo recebido não combinarem com o identificador de trilha e a contagem de quadro codificados no sinal de sincronização, para aparecimento gradual e reexecução do conteúdo de áudio de canal múltiplo até o número de quadro do conteúdo de áudio baseado em objeto adaptativo recebido combinar com o número de quadro codificado com o sinal de sincronização, e, então, aparecimento gradual de um quadro de áudio adaptativo subsequente, quando seu identificador de trilha e contagem de quadro combinarem com o identificador de trilha e contagem de quadro codificados com o sinal de sincronização, após um desvanecimento do conteúdo de áudio de canal múltiplo.
6. Sistema, de acordo com a reivindicação 5, caracterizado pelo fato de que o conteúdo de áudio de canal múltiplo é formatado como um áudio em tempo real, e em que o sinal de sincronização compreende um sinal de sincronização de AES que é embutido em um arquivo de trilha de áudio de DCI do conteúdo de áudio de canal múltiplo.
7. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que o sinal de sincronização é formatado como um sinal de fluxo não de áudio SMPTE 337M, e compreende uma pluralidade de campos de dados especificando pelo menos um identificador de trilha e uma contagem de quadro.
8. Sistema, de acordo com a reivindicação 7, caracterizado pelo fato de que ainda compreende um componente de gerenciador de sincronização recebendo ambos o conteúdo de áudio de canal múltiplo e o conteúdo de áudio baseado em objeto adaptativo, e um ou mais buffers de entrada e de saída acoplados ao componente de gerenciador de sincronização para o armazenamento de amostras de áudio do conteúdo de áudio de canal múltiplo.
9. Método para sincronização de sinais de áudio e de vídeo, caracterizado pelo fato de que compreende as etapas de:receber um sinal audiovisual de entrada; emitir um conteúdo de vídeo e um conteúdo de áudio de canal múltiplo em uma primeira conexão de rede (201) e um conteúdo de áudio baseado em objeto adaptativo em uma segunda conexão de rede (205); em que o conteúdo de áudio de canal múltiplo é sincronizado com o conteúdo do vídeo;receber, na primeira conexão de rede (201), o conteúdo de áudio de canal múltiplo;emitir, em uma terceira conexão (207), o conteúdo de áudio de canal múltiplo, em que o conteúdo de áudio de canal múltiplo é provido junto com informação de quadro incluindo um identificador de trilha e contagem de quadro para o conteúdo de áudio baseado em objeto adaptativo para sincronização de quadros do conteúdo de áudio baseado em objeto adaptativo com quadros correspondentes do conteúdo de áudio de canal múltiplo;receber, na terceira conexão (207), o conteúdo de áudio de múltiplo canal e da informação de quadro;receber, na segunda conexão de rede (205), o conteúdo de áudio baseado em objeto adaptativo;comparar um identificador de trilha e contagem de quadro de um quadro atual do conteúdo de áudio baseado em objeto adaptativo recebido com o identificador de trilha e a contagem de quadro provida com o quadro atual do conteúdo de áudio de canal múltiplo; erenderizar e reexecutar o conteúdo de áudio baseado em objeto adaptativo, se o identificador de trilha e o número de quadro do conteúdo de áudio baseado em objeto adaptativo recebido combinarem com o identificador de trilha e o número de quadro associados ao conteúdo de áudio de canal múltiplo, e, caso contrário, reexecutar o conteúdo de áudio de canal múltiplo.
10. Método, de acordo com a reivindicação 9, caracterizado pelo fato de que o conteúdo de áudio de canal múltiplo compreende um conteúdo de cinema digital que inclui áudio baseado em canal para reexecução através de um sistema de áudio de som surround que inclui alto-falantes de som surround posicionados em uma configuração de surround definida e uma pluralidade de alto- falantes adicionais posicionados em um cômodo definindo um ambiente de reexecução de áudio.
11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que o conteúdo de áudio baseado em objeto adaptativo compreende sinais de áudio baseados em objeto e metadados compreendendo informação de localização tridimensional especificando uma localização em espaço tridimensional a partir do que se espera que respectivos sinais de áudio baseados em objeto emanem em um ambiente de reexecução contendo o sistema de áudio de som surround.
12. Método, de acordo com a reivindicação 11, caracterizado pelo fato de que ainda compreende:o desvanecimento de reexecução de áudio através do sistema de áudio de som surround, se o identificador de trilha e a contagem de quadro do conteúdo de áudio baseado em objeto adaptativo recebido não combinarem com o identificador de trilha e a contagem de quadro codificados no conteúdo de áudio de canal múltiplo; eo aparecimento gradual do conteúdo de áudio de canal múltiplo, até o identificador de trilha e a contagem de quadro do conteúdo de áudio baseado em objeto adaptativo recebido combinarem com o número de quadro associado ao conteúdo de áudio de canal múltiplo.
13. Meio legível por computador, caracterizado pelo fato que compreende um método configurado para controlar execução de um dispositivo de computação baseado em processador de um sistema para sincronização de sinais de áudio e vídeo, para dessa maneira fazer com que o sistema realize o método conforme definido em qualquer uma das reivindicações 9-12.
BR112013033574-2A 2011-07-01 2012-06-27 Sistema para sincronização de sinais de áudio e de vídeo, método para sincronização de sinais de áudio e de vídeo e meio legível por computador BR112013033574B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161504005P 2011-07-01 2011-07-01
US61/504,005 2011-07-01
US201261636456P 2012-04-20 2012-04-20
US61/636,456 2012-04-20
PCT/US2012/044427 WO2013006342A1 (en) 2011-07-01 2012-06-27 Synchronization and switchover methods and systems for an adaptive audio system

Publications (2)

Publication Number Publication Date
BR112013033574A2 BR112013033574A2 (pt) 2017-02-07
BR112013033574B1 true BR112013033574B1 (pt) 2021-09-21

Family

ID=46551866

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112013033574-2A BR112013033574B1 (pt) 2011-07-01 2012-06-27 Sistema para sincronização de sinais de áudio e de vídeo, método para sincronização de sinais de áudio e de vídeo e meio legível por computador

Country Status (8)

Country Link
US (1) US8838262B2 (pt)
EP (1) EP2727369B1 (pt)
JP (1) JP5856295B2 (pt)
KR (1) KR101547809B1 (pt)
CN (1) CN103621101B (pt)
BR (1) BR112013033574B1 (pt)
RU (1) RU2564681C2 (pt)
WO (1) WO2013006342A1 (pt)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2526296B1 (en) 2010-01-21 2023-06-07 The Abell Foundation Inc. Ocean thermal energy conversion power plant
CN108806706B (zh) * 2013-01-15 2022-11-15 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
WO2014112793A1 (ko) 2013-01-15 2014-07-24 한국전자통신연구원 채널 신호를 처리하는 부호화/복호화 장치 및 방법
CN104053021B (zh) 2013-03-15 2018-09-07 迪斯尼企业公司 用于向电影院分发数字文件的方法和系统
US10212463B2 (en) * 2013-03-15 2019-02-19 Disney Enterprises, Inc. Methods and systems for digital file distribution to theaters
US8984569B2 (en) * 2013-03-15 2015-03-17 Echostar Technologies L.L.C. Chunking of multiple track audio for adaptive bit rate streaming
WO2014184353A1 (en) 2013-05-16 2014-11-20 Koninklijke Philips N.V. An audio processing apparatus and method therefor
CN104240711B (zh) * 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
TWM487509U (zh) 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
CN109785851B (zh) 2013-09-12 2023-12-01 杜比实验室特许公司 用于各种回放环境的动态范围控制
US8751832B2 (en) * 2013-09-27 2014-06-10 James A Cashin Secure system and method for audio processing
CN109068263B (zh) * 2013-10-31 2021-08-24 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
US9804817B2 (en) * 2014-01-06 2017-10-31 Harman International Industries, Incorporated Apparatus and method for automatic device selection for wireless media devices
JP6863359B2 (ja) * 2014-03-24 2021-04-21 ソニーグループ株式会社 復号装置および方法、並びにプログラム
EP3151240B1 (en) * 2014-05-30 2022-12-21 Sony Group Corporation Information processing device and information processing method
WO2015190864A1 (ko) * 2014-06-12 2015-12-17 엘지전자(주) 고속 인터페이스를 이용하여 객체 기반 오디오 데이터를 처리하는 방법 및 장치
WO2016018787A1 (en) 2014-07-31 2016-02-04 Dolby Laboratories Licensing Corporation Audio processing systems and methods
MY179448A (en) 2014-10-02 2020-11-06 Dolby Int Ab Decoding method and decoder for dialog enhancement
WO2016050900A1 (en) 2014-10-03 2016-04-07 Dolby International Ab Smart access to personalized audio
CN107112024B (zh) * 2014-10-24 2020-07-14 杜比国际公司 音频信号的编码和解码
US9699559B2 (en) 2015-01-05 2017-07-04 Pwv Inc. Discovery, control, and streaming of multi-channel audio playback with enhanced time synchronization
GB2539875B (en) * 2015-06-22 2017-09-20 Time Machine Capital Ltd Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content
CN108141692B (zh) 2015-08-14 2020-09-29 Dts（英属维尔京群岛）有限公司 用于基于对象的音频的低音管理系统和方法
CN105895111A (zh) * 2015-12-15 2016-08-24 乐视致新电子科技（天津）有限公司 基于Android的音频内容处理方法及设备
WO2018005694A1 (en) 2016-06-29 2018-01-04 Dolby Laboratories Licensing Corporation Asymmetrical high-frequency waveguide, 3-axis rigging, and spherical enclosure for surround speakers
CN106375778B (zh) * 2016-08-12 2020-04-17 南京青衿信息科技有限公司 一种符合数字电影规范的三维音频节目码流传输的方法
US10210881B2 (en) 2016-09-16 2019-02-19 Nokia Technologies Oy Protected extended playback mode
US10327091B2 (en) * 2016-11-12 2019-06-18 Ryan Ingebritsen Systems, devices, and methods for reconfiguring and routing a multichannel audio file
CN116631415A (zh) 2017-01-10 2023-08-22 弗劳恩霍夫应用研究促进协会 音频解码器、提供解码的音频信号的方法、和计算机程序
EP3646323B1 (en) * 2017-06-27 2021-07-07 Dolby International AB Hybrid audio signal synchronization based on cross-correlation and attack analysis
EP3457716A1 (en) * 2017-09-15 2019-03-20 Oticon A/s Providing and transmitting audio signal
CA3021890A1 (en) * 2017-10-26 2019-04-26 Christie Digital Systems Usa, Inc. Devices, systems and methods for distribution of digital content
EP3704863B1 (en) * 2017-11-02 2022-01-26 Bose Corporation Low latency audio distribution
US11095264B2 (en) * 2017-12-20 2021-08-17 Dolby Laboratories Licensing Corporation Configurable modal amplifier system
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
CN110798743A (zh) * 2018-08-02 2020-02-14 腾讯科技（深圳）有限公司 视频播放方法、装置及计算机可读存储介质
CN109637561A (zh) * 2018-11-13 2019-04-16 成都依能科技股份有限公司 一种多通道音视频自动智能编辑方法
CN111726669B (zh) * 2019-03-18 2022-12-23 浙江宇视科技有限公司 一种分布式解码设备及其音视频同步的方法
JP7412090B2 (ja) * 2019-05-08 2024-01-12 株式会社ディーアンドエムホールディングス オーディオシステム
CN111212320B (zh) * 2020-01-08 2023-07-14 腾讯科技（深圳）有限公司 一种资源合成方法、装置、设备及存储介质
KR20220016676A (ko) * 2020-08-03 2022-02-10 삼성전자주식회사 전자 장치 및 이를 이용한 영상 데이터와 오디오 데이터 동기화 방법
IT202000016627A1 (it) * 2020-08-17 2022-02-17 Romiti Nicholas “buffering multiplo audio/video in sistemi multisorgente gestiti da switch, in ambito di regia automatica”
KR102508815B1 (ko) 2020-11-24 2023-03-14 네이버 주식회사 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법
JP2022083445A (ja) * 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
US11930348B2 (en) 2020-11-24 2024-03-12 Naver Corporation Computer system for realizing customized being-there in association with audio and method thereof
CN114051194A (zh) * 2021-10-15 2022-02-15 赛因芯微(北京)电子科技有限公司 一种音频轨道元数据和生成方法、电子设备及存储介质
CN114363792A (zh) * 2021-11-26 2022-04-15 赛因芯微(北京)电子科技有限公司 传输音轨格式串行元数据生成方法、装置、设备及介质
CN114500475B (zh) * 2021-12-31 2024-02-09 赛因芯微(北京)电子科技有限公司 一种基于实时传输协议的网络数据传输方法、装置及设备
CN116112722B (zh) * 2023-02-17 2023-06-27 央广新媒体文化传媒(北京)有限公司 音频播放方法、装置、电子设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69321558T2 (de) * 1992-11-17 1999-04-22 Matsushita Electric Ind Co Ltd Video- und Audiosignalmultiplex- und -trennvorrichtungen
US5548346A (en) * 1993-11-05 1996-08-20 Hitachi, Ltd. Apparatus for integrally controlling audio and video signals in real time and multi-site communication control method
FR2728753A1 (fr) * 1994-12-21 1996-06-28 Grenier Yves Dispositif de prise de sons comprenant un systeme video pour le reglage de parametres et procede de reglage
JPH0993553A (ja) * 1995-09-26 1997-04-04 Matsushita Electric Ind Co Ltd 画像通信装置および画像通信方法
US6067126A (en) * 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
US6588015B1 (en) * 1998-01-14 2003-07-01 General Instrument Corporation Broadcast interactive digital radio
JP4300662B2 (ja) * 1999-12-21 2009-07-22 ソニー株式会社 ダビング装置
US6630963B1 (en) * 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
JP2002290932A (ja) * 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP2003244800A (ja) * 2002-02-14 2003-08-29 Matsushita Electric Ind Co Ltd 音像定位装置
WO2005015907A1 (ja) * 2003-08-08 2005-02-17 Matsushita Electric Industrial Co., Ltd. データ処理装置及びデータ処理方法
JP2005086537A (ja) * 2003-09-09 2005-03-31 Nippon Hoso Kyokai <Nhk> 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
US7333150B2 (en) * 2004-05-14 2008-02-19 Pixel Instruments Corporation Method, system, and program product for eliminating error contribution from production switchers with internal DVEs
US7843974B2 (en) * 2005-06-30 2010-11-30 Nokia Corporation Audio and video synchronization
US7929902B1 (en) * 2005-07-14 2011-04-19 Zaxcom, Inc. Virtual wireless multitrack recording system
EP1784020A1 (en) * 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
US8363161B2 (en) * 2006-05-26 2013-01-29 Broadcom Corporation Systems, methods, and apparatus for synchronization of audio and video signals
EP2071564A4 (en) * 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
CN101001485A (zh) * 2006-10-23 2007-07-18 中国传媒大学 一种有限声源多通道声场系统及声场模拟方法
CN100589565C (zh) * 2006-12-12 2010-02-10 中兴通讯股份有限公司 视音频流数据恢复iso媒体文件的方法
US20080154617A1 (en) * 2006-12-21 2008-06-26 Ilja Fischer Query-related object based navigation
US20100040349A1 (en) * 2008-05-01 2010-02-18 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
EP2194527A3 (en) * 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents
JP5515389B2 (ja) * 2009-04-22 2014-06-11 ソニー株式会社 オーディオ処理装置及びオーディオ処理方法
KR101283783B1 (ko) * 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101842411B1 (ko) * 2009-08-14 2018-03-26 디티에스 엘엘씨 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
US9191639B2 (en) * 2010-04-12 2015-11-17 Adobe Systems Incorporated Method and apparatus for generating video descriptions
US9185439B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
TW201210325A (en) * 2010-07-21 2012-03-01 Nokia Corp Method and apparatus for indicating switching points in a streaming session
JP5641849B2 (ja) * 2010-09-30 2014-12-17 キヤノン株式会社 送信装置

Also Published As

Publication number Publication date
EP2727369A1 (en) 2014-05-07
EP2727369B1 (en) 2016-10-05
JP5856295B2 (ja) 2016-02-09
WO2013006342A1 (en) 2013-01-10
BR112013033574A2 (pt) 2017-02-07
RU2564681C2 (ru) 2015-10-10
CN103621101B (zh) 2016-11-16
JP2014526168A (ja) 2014-10-02
US20140139738A1 (en) 2014-05-22
US8838262B2 (en) 2014-09-16
KR101547809B1 (ko) 2015-08-27
CN103621101A (zh) 2014-03-05
RU2013158084A (ru) 2015-08-10
KR20140018385A (ko) 2014-02-12

Similar Documents

Publication Publication Date Title
BR112013033574B1 (pt) Sistema para sincronização de sinais de áudio e de vídeo, método para sincronização de sinais de áudio e de vídeo e meio legível por computador
RU2741738C1 (ru) Система, способ и постоянный машиночитаемый носитель данных для генерирования, кодирования и представления данных адаптивного звукового сигнала
US9875751B2 (en) Audio processing systems and methods
EP2465114A1 (en) System for adaptively streaming audio objects
JP5487120B2 (ja) ディジタルシネマストリーム環境における振動−運動信号のトランスポート
Cossette et al. DC-PCM: An Audio Packaging Proposal for D-Cinema
BR112016030349B1 (pt) Aparelho e método de processamento de informação

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 27/06/2012, OBSERVADAS AS CONDICOES LEGAIS.