BR112016021214B1 - Método de geração de um sinal de áudio para um item de conteúdo audiovisual, aparelho para geração de um sinal de áudio para um item de conteúdo audiovisual e aparelho para geração de uma saída de áudio - Google Patents
Método de geração de um sinal de áudio para um item de conteúdo audiovisual, aparelho para geração de um sinal de áudio para um item de conteúdo audiovisual e aparelho para geração de uma saída de áudio Download PDFInfo
- Publication number
- BR112016021214B1 BR112016021214B1 BR112016021214-2A BR112016021214A BR112016021214B1 BR 112016021214 B1 BR112016021214 B1 BR 112016021214B1 BR 112016021214 A BR112016021214 A BR 112016021214A BR 112016021214 B1 BR112016021214 B1 BR 112016021214B1
- Authority
- BR
- Brazil
- Prior art keywords
- audio
- data
- audio data
- audiovisual
- stream
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000000284 extract Substances 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims description 148
- 230000004044 response Effects 0.000 claims description 13
- 238000013459 approach Methods 0.000 abstract description 110
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000009877 rendering Methods 0.000 description 63
- 230000008569 process Effects 0.000 description 17
- 230000008901 benefit Effects 0.000 description 8
- 238000001824 photoionisation detection Methods 0.000 description 8
- 101100190464 Caenorhabditis elegans pid-2 gene Proteins 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 101100190462 Caenorhabditis elegans pid-1 gene Proteins 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008520 organization Effects 0.000 description 5
- 101100190466 Caenorhabditis elegans pid-3 gene Proteins 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 101000609957 Homo sapiens PTB-containing, cubilin and LRP1-interacting protein Proteins 0.000 description 2
- 102100039157 PTB-containing, cubilin and LRP1-interacting protein Human genes 0.000 description 2
- 206010036618 Premenstrual syndrome Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101150109471 PID2 gene Proteins 0.000 description 1
- 108091081062 Repeated sequence (DNA) Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011057 process analytical technology Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2362—Generation or processing of Service Information [SI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/233—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85403—Content authoring by describing the content as an MPEG-21 Digital Item
Abstract
método de geração de um fluxo de dados do item de conteúdo audiovisual, método de geração de um sinal de áudio para um item de conteúdo audiovisual, aparelho para gerar um fluxo de dados do item de conteúdo audiovisual, aparelho para gerar um sinal de áudio para um item de conteúdo audiovisual, e, fluxo de dados do item de conteúdo audiovisual. trata-se de um aparelho de transmissão que gera um fluxo de dados do item de conteúdo audiovisual (por exemplo, fluxo de transporte) compreendendo uma pluralidade de fluxos (streams) de dados audiovisuais individuais com componentes audiovisuais para o item de conteúdo. um gerador (301-307) gera um primeiro fluxo que compreende tanto dados de áudio obrigatórios, quanto dados de áudio substituíveis para a representação de áudio, sendo que os dados de áudio substituíveis são dados que podem ser substituídos por dados de áudio alternativos. um combinador (309) inclui o fluxo resultante no fluxo de dados do item de conteúdo. um aparelho receptor inclui um extrator (403) que extrai os dados de áudio obrigatórios do fluxo recebido. um substituidor (415) pode substituir os dados de áudio substituíveis por dados de áudio alternativos, e uma saída (415) pode gerar um sinal de áudio a partir dos dados de sinais obrigatórios e alternativos. a abordagem pode fornecer, especificamente, um fluxo de dados aprimorado e mais flexível para o conteúdo audiovisual.
Description
[001] A invenção refere-se a fluxos (streams) de dados de item de conteúdo audiovisual e, em particular, mas não exclusivamente, a fluxos (streams) de dados de item de conteúdo audiovisual como o Fluxo (stream) de Transporte MPEG-2.
[002] A codificação digital de diversos sinais de fonte tem se tornado cada vez mais importante nas últimas décadas, à medida que a comunicação e a representação por sinal digital têm substituído cada vez mais a comunicação e a representação analógica. Por exemplo, sistemas de telefonia móvel, como o Global System para comunicação móvel, são baseados em codificação de voz digital. Além disso, a distribuição de conteúdo de mídia, como vídeo e música, está cada vez mais baseada na codificação de conteúdo digital.
[003] Geralmente, um item de conteúdo audiovisual compreende uma série de diferentes componentes audiovisuais e tipos de dados. Por exemplo, um item de conteúdo que corresponda a um filme ou programa de televisão pode incluir ao menos um componente de sinal de vídeo, geralmente uma pluralidade de diferentes componentes de áudio, dados de controle, dados de sincronização, metadados, por exemplo, caracterizando o conteúdo etc. Por exemplo, um filme pode incluir um componente de vídeo principal, uma pluralidade de trilhas de áudio (por exemplo, para diferentes idiomas), dados de legenda, atores principais etc. Dessa forma, com frequência, é necessário incluir um número relativamente grande de diferentes tipos de dados em um único fluxo (stream) de dados combinado para o item de conteúdo audiovisual.
[004] De modo a acomodar uma representação de um item de conteúdo audiovisual que inclua uma faixa de dados de diferentes tipos, pode ser gerado, com frequência, um fluxo (stream) de dados de item de conteúdo audiovisual de (sub) fluxos (streams) de dados audiovisuais que forneçam componentes audiovisuais ao item de conteúdo audiovisual. Além disso, podem estar incluídos fluxos (streams) de dados que compreendam dados, metadados etc.
[005] O fluxo (stream) de dados de item de conteúdo audiovisual pode compreender todos os dados relacionados à renderização do item de conteúdo. O fluxo de dados do item de conteúdo audiovisual é geralmente chamado de fluxo de transporte ou, possivelmente, como um fluxo de sistema, fluxo de programa ou fluxo de recipiente. O fluxo de dados audiovisuais individuais geralmente é chamado de um fluxo de dados elementar.
[006] Para fornecer uma representação eficiente do item de conteúdo audiovisual, é importante que seja definida uma estrutura de dados efetiva para o fluxo (stream) de dados de item de conteúdo audiovisual. O uso de uma estrutura de dados compreendendo uma série de fluxos (streams) de dados audiovisuais separados que represente, cada um, componentes audiovisuais, fornece uma abordagem flexível e ainda eficiente. A abordagem possibilita, por exemplo, uma inclusão flexível de diferentes trilhas de áudio para um dado componente de vídeo, por exemplo, sinais de áudio correspondentes a diferentes idiomas podem ser fornecidos em diferentes fluxos (streams) de dados audiovisuais.
[007] Um exemplo de uma estrutura de dados é fornecido em ETSI DVB (Digital Video Broadcasting) Standard EN 300 468 V I.14.1, onde a seção 6.4.10 refere-se especificamente ao fluxo de transporte MPEG usado para DVB. ENGDEGARD JONAS ET AL: “MPEG Spatial Audio Object Coding The ISO/MPEG Standard for Efficient Coding of Interactive Audio Scenes”, AES CONVENTION 129; NOVEMBER 2010, AES, 60 EAST 42ND STREET, ROOM 2520 NEW YORK 10165-2520, EUA, 4 de Novembro de 2010 (04-11-2010), XP040567234, fornece uma introdução e visão geral da especificação ISO-MPEG SAOC.
[008] Uma série de diferentes estruturas para fluxos (streams) de dados de item de conteúdo audiovisual foi padronizada. Uma das estruturas mais amplamente distribuídas e frequentemente usadas para fluxos (streams) de dados de item de conteúdo audiovisual é o Fluxo (stream) de Transporte MPEG-2, que é usado, por exemplo, para broadcast de televisão digital ou Blu-rays.
[009] O Fluxo (stream) de Transporte MPEG-2 é um exemplo de uma estrutura de dados na qual o fluxo de dados é constituído de uma pluralidade de pacotes de dados sequenciais multiplexados no tempo. Cada pacote de dados pode fornecer dados para um componente específico do item de conteúdo audiovisual.
[0010] Entretanto, um problema com a abordagem convencional aos fluxos (streams) de dados de item de conteúdo audiovisual reside em que a estrutura de dados é sub-ótima para algumas finalidades, e, em particular, tende a não fornecer flexibilidade ideal.
[0011] Por exemplo, fluxos (streams) de dados de item de conteúdo audiovisual como Fluxo (streams) de Transporte MPEG-2 suportam representações de áudio alternativas para uma dada cena ao possibilitarem que sejam fornecidas diferentes representações de áudio em diferentes fluxos elementares. Então, um receptor pode fazer a seleção entre esses fluxos elementares alternativos para fornecer uma trilha de áudio desejada. Por exemplo, um Fluxo (stream) de Transporte MPEG-2 pode compreender um fluxo elementar compreendendo um componente de vídeo junto com dois fluxos elementares que fornecem, cada um, uma representação de áudio que pode ser renderizada junto com o componente de vídeo. Por exemplo, um fluxo de áudio elementar pode compreender o áudio do componente de vídeo no idioma original, enquanto um outro fluxo de áudio elementar pode compreender o áudio para o componente de vídeo, mas com a voz dublada em um idioma diferente. Então, um decodificador ou renderizador pode fazer a seleção entre as trilhas de áudio alternativas para o vídeo por meio da seleção do fluxo elementar adequado.
[0012] Entretanto, tal abordagem não fornece flexibilidade ideal ao áudio e também resulta em uma taxa de dados relativamente alta devido às representações de áudio paralelas fornecidas pelos fluxos elementares alternativos.
[0013] Consequentemente, seria desejável fornecer uma abordagem aprimorada para fluxos (streams) de dados de item de conteúdo audiovisual e, em particular, uma abordagem que forneça flexibilidade adicional e/ou uma taxa de dados reduzida.
[0014] Entretanto, um desafio crítico é aquele de como tal aperfeiçoamento é possível ao mesmo tempo em que se mantém um alto grau de existência de atributos comuns com as abordagens existentes. Por exemplo, é desejável ser capaz de melhorar ainda mais o Fluxo (stream) de Transporte MPEG- 2, mas tal aprimoramento deve manter, de preferência, tanta compatibilidade retrógrada quanto possível. As considerações necessárias para aprimorar as abordagens a fluxos (streams) de dados de item de conteúdo audiovisual podem, além disso, não estar limitadas apenas a que dados adicionais devem ser fornecidos, como ou em que formato devem ser fornecidos. Ao invés disso, existem desafios adicionais na determinação de como tais dados devem ser incluídos em um fluxo de dados do item de conteúdo audiovisual para não apenas obter um fluxo de dados do item de conteúdo audiovisual eficiente, como também possibilitar uma operação eficiente e, preferencialmente, retrocompatibilidade otimizada.
[0015] Assim, seria vantajosa uma abordagem aprimorada para fluxos (streams) de dados de item de conteúdo audiovisual.
[0016] Consequentemente, a Invenção busca, de preferência, mitigar, aliviar ou eliminar uma ou mais das desvantagens mencionadas acima, individualmente ou em qualquer combinação.
[0017] De acordo com um aspecto da invenção, é apresentado um método de geração de um fluxo de dados do item de conteúdo audiovisual compreendendo uma pluralidade de fluxos (streams) de dados, sendo que a pluralidade de fluxos (streams) de dados audiovisuais individuais compreende componentes audiovisuais para um item de conteúdo audiovisual; sendo que cada fluxo de dados audiovisuais compreende dados codificados representando ao menos um componente audiovisual e dados de sincronização;
[0018] sendo que o método compreende: gerar um primeiro fluxo de dados audiovisuais compreendendo primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, sendo que os primeiros dados de áudio compreendem dados de áudio obrigatórios para a representação de áudio e dados de áudio substituíveis para a representação de áudio, sendo que os dados de áudio substituíveis são dados substituíveis por dados de áudio alternativos; e incluir o primeiro fluxo de dados audiovisuais no fluxo de dados do item de conteúdo audiovisual.
[0019] A invenção pode fornecer um fluxo de dados do item de conteúdo audiovisual aprimorado. Em particular, é possível obter um fluxo de transporte com maior flexibilidade e/ou taxa de dados reduzida em muitos cenários.
[0020] Uma provisão mais eficiente de áudio alternativo pode ser conseguida em muitos cenários. Geralmente, a abordagem pode ser implementada como um aprimoramento a ou desenvolvimento adicional de fluxos de transporte existentes, requerendo ao mesmo tempo um nível de modificação relativamente baixo. Com frequência, pode-se conseguir maior retrocompatibilidade.
[0021] Como um exemplo específico, a abordagem pode possibilitar um aprimoramento eficiente e prático de fluxos de transporte como o Fluxo (stream) de Transporte MPEG-2. O fluxo de transporte pode manter a abordagem e a filosofia de design geral de Fluxos (stream) de Transporte MPEG-2 tradicionais ao mesmo tempo em que possibilita que isso seja melhorado para fornecer uma representação mais flexível e eficiente de representações de áudio alternativas.
[0022] Os dados de áudio substituíveis podem ser repostos/substituídos/trocados/mudados pelos dados de áudio alternativos. Dessa forma, o fluxo de transporte fornece representações de áudio alternativas para o item de conteúdo com uma alternativa, por exemplo, sendo uma representação padrão representada pelos dados de áudio obrigatórios e os dados de áudio substituíveis, e a outra sendo uma representação alternativa representada pelos dados de áudio obrigatórios e os dados de áudio alternativos.
[0023] Em muitos cenários, o método pode compreender adicionalmente incluir os dados de áudio alternativos no fluxo de transporte, com frequência no primeiro fluxo de dados audiovisuais ou em um outro fluxo de dados do item de conteúdo audiovisual da pluralidade de fluxos de dados audiovisuais. Dessa forma, os dados de áudio alternativos podem estar compreendidos em um fluxo de dados audiovisuais da pluralidade de fluxos (streams) de dados audiovisuais individuais.
[0024] Os dados de áudio obrigatórios podem definir um componente de áudio obrigatório para a representação de áudio. Os dados de áudio substituíveis podem definir um componente de áudio substituível para a representação de áudio. Os dados de áudio alternativos podem definir um componente de áudio alternativo para a representação de áudio.
[0025] Dessa forma, os primeiros dados de áudio podem compreender dados de áudio obrigatórios para um componente de áudio obrigatório da representação e dados de áudio substituíveis para um componente de áudio substituível para a representação, sendo que o componente de áudio substituível é um dado que pode ser substituído por dados de áudio alternativos para um componente de áudio alternativo no componente de áudio substituível.
[0026] Os dados de áudio substituíveis podem corresponder a uma trilha de áudio padrão para o item de conteúdo.
[0027] O fluxo de transporte pode incluir uma designação de uma ou mais representações de áudio para o item de conteúdo. Uma representação de áudio pode corresponder a um conjunto de componentes de áudio que é suficiente para fornecer uma saída de áudio para o item de conteúdo. Por conseguinte, o fluxo de transporte pode designar ao menos uma trilha/representação de som de áudio para o item de conteúdo. Em muitas modalidades, ao menos uma representação de áudio designada (ou definida) no fluxo de transporte compreende uma pluralidade de componentes de áudio, sendo que ao menos um componente de áudio é um componente de áudio obrigatório e ao menos um componente de áudio é um componente de áudio substituível. O componente de áudio obrigatório é representado pelos dados de áudio obrigatórios e o componente de áudio substituível é representado por dados de áudio substituíveis. O componente de áudio obrigatório precisa ser incluído na saída de áudio para o item de conteúdo quando a representação for selecionada. Entretanto, quando um receptor seleciona essa representação, o componente de áudio substituível pode ser incluído ou pode ser substituído por um componente de áudio alternativo. O componente de áudio alternativo é representado por dados de áudio alternativos, muitas vezes (mas não sempre/necessariamente) compreendidos no fluxo de transporte em si.
[0028] Na abordagem, os dados de áudio para uma representação de audio definida/especificada/descrita/designada no fluxo de transporte podem compreender, consequentemente, dados de áudio obrigatórios para ao menos um componente de áudio obrigatório e dados de áudio substituíveis para ao menos um componente de áudio substituível. Quando a representação de áudio designado no fluxo de transporte é selecionada para, por exemplo, renderização, o componente de áudio obrigatório precisa ser incluído, enquanto que o componente de áudio substituível precisa ser incluído ou substituído por um componente de áudio alternativo.
[0029] Uma representação de áudio para um item de conteúdo pode corresponder a um conjunto de componentes de áudio que seja suficiente para fornecer uma apresentação/trilha de áudio para o item de conteúdo. Especificamente, uma representação de áudio para um item de conteúdo pode corresponder a um conjunto de componentes de áudio que é indicado no fluxo de transporte como suficiente para fornecer uma trilha de som para o item de conteúdo. Um conjunto de componentes de áudio que não é definido no fluxo de transporte como suficiente para fornecer uma representação de áudio para o item de conteúdo, a menos que combinado com ao menos um outro componente de áudio, não forma uma representação de áudio.
[0030] Dessa forma, o fluxo de transporte pode incluir dados que definam uma ou mais representações de áudio para o item de conteúdo. Os dados de áudio obrigatórios podem ser obrigatórios para uma primeira representação de áudio das representações de áudio definidas. Os dados de áudio substituíveis fornecem dados de áudio necessários para a primeira representação de áudio, a menos que sejam substituídos pelos dados de áudio alternativos. O fluxo de transporte pode, possivelmente, designar mais de uma representação de áudio para o item de conteúdo. Nesse caso, os dados de áudio obrigatórios não precisam ser obrigatórios para uma segunda representação de áudio.
[0031] Um fluxo de dados pode, por exemplo, corresponder a um arquivo separado ou a um segmento de um arquivo.
[0032] De acordo com uma característica opcional da invenção, o método compreende adicionalmente a etapa de incluir os dados de áudio alternativos no primeiro fluxo de dados audiovisuais.
[0033] Isso pode proporcionar uma abordagem eficiente e flexível e fluxo de dados do item de conteúdo audiovisual. Em particular, em muitos cenários, isso pode fornecer uma estrutura de dados muito eficiente para áudio alternativo. A abordagem pode proporcionar, por exemplo, um agrupamento aprimorado de áudio alternativo que, em algumas modalidades, pode facilitar a operação.
[0034] De acordo com uma característica opcional da invenção, a etapa de incluir os dados de áudio alternativo no primeiro fluxo de dados audiovisual compreende incluir os dados de áudio alternativo em um fluxo de dados audiovisuais diferente da pluralidade de fluxos de dados audiovisuais individuais do primeiro fluxo de dados audiovisuais.
[0035] Isso pode proporcionar uma abordagem eficiente, e um fluxo de dados do item de conteúdo audiovisual eficiente e flexível. Em particular, em muitos cenários, isso pode fornecer uma estrutura de dados muito eficiente para áudio alternativo. A abordagem pode facilitar, por exemplo, a geração do fluxo de transporte e/ou facilitar a extração de dados desejados a partir dali.
[0036] Em algumas modalidades, o fluxo diferente de dados audiovisuais pode fornecer uma representação de áudio alternativa da cena de áudio. Por exemplo, o fluxo diferente de dados audiovisuais pode ser designado no fluxo de transporte como um fluxo elementar que fornecer uma representação de áudio para um item de conteúdo. Especificamente, pode compreender dados para um conjunto de componentes de áudio suficientes para gerar uma saída de áudio para o item de conteúdo sem incluir qualquer componente de áudio para outros fluxos.
[0037] O fluxo de dados do item de conteúdo audiovisual pode ser um fluxo de transporte e o primeiro fluxo de dados audiovisuais pode ser um fluxo elementar.
[0038] A abordagem pode fornecer um fluxo de transporte aprimorado que é baseado em uma série de fluxos elementares individuais. A abordagem pode proporcionar uma estrutura flexível, ainda que eficiente, para representar um item de conteúdo. Além disso, a mesma pode possibilitar retrocompatibilidade aprimorada com sistemas convencionais.
[0039] De acordo com uma característica opcional da invenção, os dados de áudio substituíveis representam um componente de áudio de voz em um primeiro idioma e os dados de áudio alternativos representam um componente de áudio de voz em um segundo idioma.
[0040] A abordagem pode proporcionar uma abordagem particularmente eficiente para proporcionar uma pluralidade de idiomas diferentes/alternativos para um dado item de conteúdo.
[0041] De acordo com uma característica opcional da invenção, os dados de áudio obrigatórios representam um componente de áudio de fundo e os dados de áudio substituíveis representam um componente de áudio de voz.
[0042] A abordagem pode proporcionar uma abordagem particularmente eficiente para fornecer som diferenciado para áudio de fundo e áudio de voz, e em particular, pode facilitar o suporte de componentes de voz alternativos sem aumentar a taxa de dados de modo inaceitável.
[0043] De acordo com uma característica opcional da invenção, os dados de áudio substituíveis e os dados de áudio alternativos representam o mesmo que um conteúdo de áudio codificado usando diferentes características de codificação.
[0044] As diferentes características de codificação podem ser, por exemplos, diferentes taxas de dados, diferentes algoritmos de codificação etc. Especificamente, em algumas modalidades, os dados de áudio substituíveis e os dados de áudio alternativos podem representar um mesmo conteúdo ou componente de áudio codificado com diferentes características de codificação, como diferentes taxas de bit.
[0045] A abordagem pode possibilitar maior flexibilidade e pode possibilitar, especificamente, uma adaptação flexível de características de um fluxo de transporte. Além do mais, a abordagem pode possibilitar que o fluxo de transporte seja modificado de modo relativamente fácil por, por exemplo, entidades ou sistemas intermediários.
[0046] Os dados de áudio alternativos podem representar, por exemplo, um objeto de áudio que pode incluir sub-objetos adicionais.
[0047] De acordo com uma característica opcional da invenção, o método compreende adicionalmente a etapa de incluir renderização de dados de controle no fluxo de dados do item de conteúdo audiovisual, sendo que os dados de controle de renderização fornecem um parâmetro de renderização para uma renderização que usa os dados de áudio substituíveis diferente de uma renderização que usa os dados de áudio alternativos.
[0048] Isso pode fornecer funcionalidade vantajosa e/ou renderização aprimorada do áudio para o item de conteúdo.
[0049] O método pode compreender especificamente a etapa de incluir renderização de dados de controle no fluxo de dados do item de conteúdo audiovisual, sendo que os dados de controle de renderização são indicativos de um ajuste de renderização para uma renderização dos dados de áudio substituíveis diferente daquele para uma renderização dos dados de áudio alternativos.
[0050] De acordo com uma característica opcional da invenção, o método compreende adicionalmente a etapa de incluir uma indicação no fluxo de dados do item de conteúdo audiovisual do primeiro fluxo de dados audiovisual que compreende dados de áudio substituíveis.
[0051] Isso pode possibilitar uma adaptação eficiente da funcionalidade de um receptor que processa o fluxo de dados do item de conteúdo audiovisual.
[0052] De acordo com uma característica opcional da invenção, o método compreende adicionalmente a etapa de incluir dados de extração para os dados de áudio substituíveis no fluxo de dados do item de conteúdo audiovisual.
[0053] Isso pode possibilitar uma adaptação eficiente da funcionalidade de um receptor que processa o fluxo de dados do item de conteúdo audiovisual.
[0054] De acordo com uma característica opcional da invenção, o método compreende adicionalmente as etapas de: gerar uma tabela de mapa de itens de conteúdo, sendo que a tabela de mapa de itens de conteúdo para um item de conteúdo compreende uma lista de identificadores de pacote de fluxo de dados audiovisuais para pacotes de dados para fluxos (streams) de dados audiovisuais ligados ao item de conteúdo; e incluir a tabela de mapa de itens de conteúdo no fluxo de dados do item de conteúdo audiovisual; sendo que a etapa de gerar a tabela de mapa de itens de conteúdo compreende gerar a tabela de mapa de itens de conteúdo de modo a incluir um identificador de pacote de fluxo de dados para o item de conteúdo de ao menos dois dentre a pluralidade de fluxos (streams) de dados audiovisuais individuais.
[0055] Isso pode proporcionar operação aprimorada e/ou facilitada em muitas modalidades. Especificamente, pode possibilitar que seja gerado um fluxo (stream) de dados de item de conteúdo que pode ser processado com complexidade reduzida por equipamento diferente, como multiplexadores, extratores de dados etc.
[0056] De acordo com uma característica opcional da invenção, a etapa de gerar a tabela de mapa de item de conteúdo compreende incluir apenas um identificador de pacote de fluxo de dados audiovisuais para o item de conteúdo na tabela de mapa de itens de conteúdo.
[0057] Isso pode proporcionar operação aprimorada e/ou facilitada em muitas modalidades. Em particular, pode possibilitar que várias funcionalidades processem o fluxo de dados do item de conteúdo audiovisual como se apenas um incluísse um único fluxo de dados audiovisuais.
[0058] Em algumas modalidades, a etapa de gerar a tabela de mapa de item de conteúdo compreende incluir apenas um identificador de pacote de fluxo de dados audiovisuais para o item de conteúdo na tabela de mapa de itens de conteúdo.
[0059] Isso pode proporcionar operação aprimorada e/ou facilitada em muitas modalidades. Em particular, pode admitir que várias funcionalidades processem o fluxo de dados do item de conteúdo audiovisual como se apenas um incluísse um único fluxo de dados audiovisuais.
[0060] De acordo com uma característica opcional da invenção, a etapa de gerar a tabela de mapa de itens de conteúdo compreende, para o identificador de pacote de fluxo de dados comuns, incluir uma pluralidade de identificadores de pacote secundários, sendo que cada identificador de pacote secundário identifica um fluxo de dados audiovisuais do conjunto de ao menos dois dentre a pluralidade de fluxos (streams) de dados audiovisuais individuais.
[0061] Isso pode proporcionar maior flexibilidade e funcionalidade. Por exemplo, pode possibilitar acesso e seleção eficiente de fluxos (streams) de dados audiovisuais individuais. Os identificadores de pacote primário e secundário podem, em algumas modalidades, ser incluídos em uma estrutura de dados estruturada ou aninhada ou podem, em outras modalidades, por exemplo, ser fornecidos em uma estrutura plana, onde, por exemplo, os identificadores de pacote primário e secundário são fornecidos como entradas sequenciais em uma única lista.
[0062] De acordo com uma característica opcional da invenção, o método compreende adicionalmente as etapas de: gerar um descritor de processamento de dados de áudio para o segundo dado de áudio de ao menos um dentre os fluxos de dados audiovisuais, sendo que o descritor de processamento de dados de áudio é indicativo do segundo dado de áudio ser dado de áudio alternativo ou dado de áudio adicional; e incluir a tabela de mapa de itens de conteúdo no fluxo de dados do item de conteúdo audiovisual.
[0063] Isso pode proporcionar maior funcionalidade e pode possibilitar, em particular, uma maneira eficiente de indicar como diferentes dados de áudio podem ser processados por um decodificador.
[0064] De acordo com uma característica opcional da invenção, o método compreende adicionalmente a etapa de gerar uma tabela de mapa de itens de conteúdo, sendo que a tabela de mapa de itens de conteúdo para um item de conteúdo compreende uma lista de identificadores de pacote de fluxo de dados audiovisuais para pacotes de dados para fluxos (streams) de dados audiovisuais ligados ao item de conteúdo; e sendo que a etapa de gerar a tabela de mapa de itens de conteúdo compreende gerar a tabela de mapa de itens de conteúdo para incluir o descritor de processamento de dados de áudio.
[0065] Isso pode fornecer representação particularmente vantajosa da informação em muitas modalidades.
[0066] De acordo com um outro aspecto da invenção, é apresentado um método de geração de um sinal de áudio para um item de conteúdo audiovisual, sendo que o método compreende: receber um fluxo de dados compreendendo uma pluralidade de fluxos (streams) de dados audiovisuais individuais, sendo que a pluralidade de fluxos (streams) de dados audiovisuais individuais compreende componentes audiovisuais para um item de conteúdo audiovisual; sendo que cada fluxo de dados audiovisuais compreende dados codificados representando ao menos um componente audiovisual e dados de sincronização; sendo que o fluxo de dados do item de conteúdo compreende um primeiro fluxo de dados audiovisuais compreendendo primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, sendo que o primeiro dado de áudio compreende dados de áudio obrigatórios para a representação de áudio e dados de áudio substituíveis para a representação; sendo que o método compreende adicionalmente: extrair os dados de áudio obrigatórios do primeiro dado de áudio; recuperar dados de áudio alternativos; substituir os dados de áudio substituíveis pelos dados de áudio alternativos; gerar o sinal de áudio a partir dos dados de áudio obrigatórios e dados de áudio alternativos.
[0067] A invenção pode possibilitar a geração aprimorada de áudio para um item de conteúdo. Geralmente, é possível obter um processamento, comunicação ou funcionalidade mais eficiente e/ou flexível.
[0068] Uma seleção e geração de áudio mais eficiente pode ser obtida em muitos cenários.
[0069] A abordagem pode muitas vezes proporcionar retrocompatibilidade aprimorada. Deve-se considerar que os comentários fornecidos anteriormente com relação à geração do fluxo de dados do item de conteúdo audiovisual se aplicarão igualmente, mutatis mutandis, ao processamento do fluxo de dados do item de conteúdo audiovisual.
[0070] A substituição dos dados de áudio substituíveis pelos dados de áudio alternativos pode se dar por meio de uma seleção dos dados de áudio alternativos e uma de-seleção (ou não seleção) dos dados de áudio substituíveis para processamento. Em algumas modalidades, a seleção/de-seleção pode ser uma seleção/de-seleção de componentes de áudio que correspondem aos dados de áudio substituíveis e dados de áudio alternativos, isto é, por uma seleção/de-seleção de um componente de áudio substituível e um componente de áudio alternativo gerado pela decodificação dos dados de áudio substituíveis e dados de áudio alternativos, respectivamente. Em outras modalidades, a substituição pode ser, por exemplo, por sobreposição dos dados de áudio substituíveis pelos dados de áudio alternativos, por exemplo, em um fluxo de dados/fluxo de bits ou na memória.
[0071] Em algumas modalidades, o método pode compreender recuperar apenas um dentre os dados de áudio substituíveis e os dados de áudio alternativos, e usar apenas os dados de áudio recuperados para a geração do sinal de áudio.
[0072] Em algumas modalidades, a recuperação compreende recuperar os dados de áudio alternativos do primeiro fluxo de dados audiovisuais. Em algumas modalidades, a recuperação compreende recuperar os dados de áudio alternativos de um fluxo de dados audiovisuais diferente dentre a pluralidade de fluxos de dados audiovisuais individuais do primeiro fluxo de dados audiovisuais.
[0073] Em algumas modalidades, a recuperação compreende recuperar os dados de áudio alternativos de um fluxo de dados diferente do fluxo de dados do item de conteúdo audiovisual.
[0074] Um fluxo de dados pode, por exemplo, corresponder a um arquivo separado ou a um segmento de um arquivo.
[0075] De acordo com uma característica opcional da invenção, o método compreende adicionalmente receber um segundo fluxo de dados do item de conteúdo audiovisual compreendendo uma pluralidade de fluxos de dados audiovisuais, sendo que a pluralidade de fluxos de dados audiovisuais compreende componentes audiovisuais; e que a recuperação compreende recuperar os dados de áudio alternativos de um fluxo de dados audiovisuais do segundo fluxo de dados do item de conteúdo audiovisual.
[0076] Isto pode proporcionar funcionalidade e/ou operação vantajosa em muitas modalidades.
[0077] De acordo com uma característica opcional da invenção, a etapa de gerar o sinal de áudio compreende: decodificar os dados de áudio obrigatórios em um primeiro decodificador de áudio para gerar um primeiro sinal de áudio decodificado; decodificar os dados de áudio alternativos em um segundo decodificador de áudio para gerar um segundo sinal de áudio decodificado; e gerar o sinal de áudio em resposta à combinação ao menos do primeiro sinal de áudio decodificado e do segundo sinal de áudio decodificado.
[0078] Isso pode proporcionar operação aprimorada e/ou facilitada em muitas modalidades.
[0079] De acordo com uma característica opcional da invenção, o fluxo de dados do item de conteúdo audiovisual compreende uma tabela de mapa de item de conteúdo, sendo que a tabela de mapa de item de conteúdo para um item de conteúdo compreende uma lista de identificadores de pacote de fluxo de dados audiovisuais para pacotes de dados para fluxos de dados audiovisuais ligados ao item de conteúdo, sendo que a tabela de mapa de item de conteúdo compreende um identificador de pacote de fluxo de dados comuns para o item de conteúdo para um conjunto de ao menos dois dentre a pluralidade de fluxos de dados audiovisuais individuais; e pelo método compreender adicionalmente a etapa de extrair dados de áudio para o item de conteúdo em resposta ao identificador de pacote de fluxo de dados comuns.
[0080] Isso pode proporcionar operação aprimorada e/ou facilitada em muitas modalidades. Especificamente, pode possibilitar que seja gerado um fluxo (stream) de dados de item de conteúdo que pode ser processado com complexidade reduzida por equipamento diferente, como multiplexadores, extratores de dados etc.
[0081] De acordo com uma característica opcional da invenção, a tabela de mapa de itens de conteúdo compreende uma pluralidade de identificadores de pacote secundários, sendo que cada identificador de pacote secundário identifica um fluxo de dados audiovisuais do conjunto de ao menos dois dentre a pluralidade de fluxos (streams) de dados audiovisuais individuais; e pela etapa de extrair dados de áudio para o item de conteúdo compreender extrair dados de áudio para diferentes componentes de áudio em resposta aos identificadores de pacote secundários.
[0082] Isso pode proporcionar maior flexibilidade e funcionalidade. Por exemplo, pode possibilitar acesso e seleção eficiente de fluxos (streams) de dados audiovisuais individuais. Os identificadores de pacote primário e secundário podem, em algumas modalidades, ser incluídos em uma estrutura de dados estruturada ou aninhada ou podem, em outras modalidades, por exemplo, ser fornecidos em uma estrutura plana, onde, por exemplo, os identificadores de pacote primário e secundário são fornecidos como entradas sequenciais em uma única lista.
[0083] De acordo com um aspecto da invenção, é fornecido um aparelho para gerar um fluxo de dados do item de conteúdo audiovisual compreendendo uma pluralidade de fluxos (streams) de dados individuais, sendo que a pluralidade de fluxos (streams) de dados audiovisuais individuais compreende componentes audiovisuais para um item de conteúdo audiovisual; sendo que cada fluxo de dados audiovisuais compreende dados codificados representando ao menos um componente audiovisual e dados de sincronização;
[0084] sendo que o aparelho compreende: um gerador para gerar um primeiro fluxo de dados audiovisuais compreendendo primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, sendo que os primeiros dados de áudio compreendem dados de áudio obrigatórios para a representação de áudio e dados de áudio substituíveis para a representação de áudio, sendo que os dados de áudio substituíveis são dados substituíveis por dados de áudio alternativos; e um combinador para incluir o primeiro fluxo de dados audiovisuais no fluxo de dados do item de conteúdo audiovisual.
[0085] De acordo com um aspecto da invenção, é fornecido um aparelho para gerar um sinal de áudio para um item de conteúdo audiovisual, sendo que o aparelho compreende: um receptor para receber um fluxo de dados compreendendo uma pluralidade de fluxos (streams) de dados audiovisuais individuais, sendo que a pluralidade de fluxos (streams) de dados audiovisuais individuais compreende componentes audiovisuais para um item de conteúdo; audiovisual; sendo que cada fluxo de dados audiovisuais compreende dados codificados representando ao menos um componente audiovisual e dados de sincronização; sendo que o fluxo de dados do item de conteúdo compreende um primeiro fluxo de dados audiovisuais compreendendo primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, sendo que o primeiro dado de áudio compreende dados de áudio obrigatórios para a representação de áudio e dados de áudio substituíveis para a representação de áudio;
[0086] sendo que o aparelho compreende adicionalmente: um extrator para extrair os dados de áudio obrigatórios do primeiro dado de áudio; um recuperador para recuperar dados de áudio alternativos; um substituidor para substituir os dados de áudio substituíveis pelos dados de áudio alternativos; uma saída para gerar o sinal de áudio a partir dos dados de áudio obrigatórios e dados de áudio alternativos.
[0087] De acordo com uma característica opcional da invenção, o descritor de processamento de dados de áudio é indicativo do segundo dado de áudio substituir ou não os dados substituíveis.
[0088] Isso pode proporcionar uma implementação particularmente vantajosa e eficiente em muitas modalidades, ao mesmo tempo em que possibilita um alto grau de flexibilidade e controle no processamento de dados de áudio de um fluxo de dados do item de conteúdo audiovisual.
[0089] A abordagem pode proporcionar, em particular, uma interface eficiente entre um receptor e um decodificador de áudio. Em muitas modalidades e cenários, pode possibilitar que decodificadores de áudio genéricos sejam usados ao mesmo tempo em que proporcionam flexibilidade em renderização de áudio e sem exigir que sejam implementadas funções de controle complexas e/ou proprietárias entre o receptor e o decodificador de áudio.
[0090] De acordo com uma característica opcional da invenção, o descritor de processamento de dados de áudio é indicativo do segundo dado de áudio substituir ou não os dados substituíveis.
[0091] Isso pode proporcionar uma implementação particularmente vantajosa e eficiente em muitas modalidades, ao mesmo tempo em que possibilita um alto grau de flexibilidade e controle no processamento de dados de áudio de um fluxo de dados do item de conteúdo audiovisual.
[0092] De acordo com uma característica opcional da invenção, o descritor de processamento de dados de áudio é indicativo do segundo dado de áudio ser dado de áudio alternativo designado ou dado de áudio adicional, e o decodificador de áudio (1403) é disposto de modo a recuperar o segundo dado de áudio como dado de áudio alternativo se o primeiro descritor de processamento de dado de áudio indicar que o segundo dado de áudio é designado como dado de áudio alternativo e para recuperar o segundo dado de áudio como dado de áudio adicional se o primeiro descritor de processamento de dado indicar que o segundo dado de áudio é designado como dado de áudio adicional; e substituir o dado de áudio substituível pelo segundo dado de áudio se o segundo dado de áudio for designado como dado de áudio substituível, e a saída é disposta para gerar o sinal de áudio por meio da combinação dos dados de áudio obrigatórios, do segundo dado de áudio e do dado de áudio substituível, se o primeiro descritor de processamento de dado de áudio indicar que o segundo dado de áudio é designado como dado de áudio adicional.
[0093] Isso pode proporcionar uma abordagem particularmente vantajosa e eficiente para controlar a adaptação da renderização de áudio.
[0094] De acordo com uma característica opcional da invenção, o receptor (1401) é disposto de modo a gerar o primeiro descritor de processamento de dados de áudio a partir de um segundo descritor de processamento de dados de áudio recebido no fluxo de dados do item de conteúdo audiovisual.
[0095] Isso pode possibilitar que tanto o provedor do fluxo de dados do item de conteúdo audiovisual quanto o renderizador ou usuário local controlem o áudio gerado. O segundo descritor de processamento de dados de áudio pode descrever saída de áudio adequada que pode ser usada, por exemplo, pelo usuário para determinar uma renderização adequada.
[0096] A abordagem pode também facilitar a implementação. Por exemplo, o receptor não precisa ter qualquer conhecimento ou consideração detalhada de como o processamento de áudio específico é executado, mas, ao invés disso, pode simplesmente basear o primeiro descritor de processamento de dados de áudio no segundo descritor de processamento de dados de áudio.
[0097] De acordo com uma característica opcional da invenção, o receptor (1401) é disposto de modo a copiar o segundo descritor de processamento de dados de áudio para o segundo fluxo de dados audiovisuais.
[0098] A abordagem pode também facilitar a implementação. Por exemplo, o receptor não precisa ter qualquer conhecimento ou consideração detalhada de como o processamento de áudio específico é executado, mas, ao invés disso, pode simplesmente copiar o segundo descritor de processamento de dados de áudio.
[0099] De acordo com uma característica opcional da invenção, o segundo descritor de processamento de dados de áudio está compreendido em uma tabela de mapa de itens de conteúdo, sendo que a tabela de mapa de itens de conteúdo para um item de conteúdo compreende uma lista de identificadores de pacote de fluxo de dados audiovisuais de pacotes de dados para fluxos (streams) de dados audiovisuais ligados ao item de conteúdo.
[00100] Isso pode proporcionar uma representação particularmente vantajosa.
[00101] De acordo com uma característica opcional da invenção, o fluxo de dados do item de conteúdo audiovisual compreende uma pluralidade de possíveis descritores de processamento de dados de áudio para o segundo dado de áudio; e pelo receptor ser disposto de modo a selecionar o primeiro descritor de processamento de dados de áudio a partir da pluralidade de possíveis descritores de processamento de dados de áudio.
[00102] Isso pode possibilitar que tanto o provedor do fluxo de dados do item de conteúdo audiovisual quanto o renderizador ou usuário local controlem o áudio gerado. O segundo descritor de processamento de dados de áudio pode, por exemplo, descrever combinações permitidas ou recomendadas dos componentes de áudio fornecidos, proporcionando, dessa maneira, apresentações de áudio alternativas para o item de conteúdo. Um usuário pode simplesmente selecionar uma apresentação de áudio alternativa sugerida e o receptor pode, em resposta, fazer com que a apresentação de áudio selecionada seja fornecida simplesmente por meio de cópia do segundo descritor de processamento de dado de áudio correspondente e inclusão no fluxo de dados fornecido ao decodificador de áudio.
[00103] De acordo com um aspecto da invenção, é fornecido um fluxo de dados do item de conteúdo audiovisual compreendendo uma pluralidade de fluxos (streams) de dados, sendo que a pluralidade de fluxos (streams) de dados audiovisuais individuais compreende componentes audiovisuais para um item de conteúdo audiovisual; sendo que cada fluxo de dados audiovisuais compreende dados codificados representando ao menos um componente audiovisual e dados de sincronização; sendo que o fluxo de dados do item de conteúdo compreende um primeiro fluxo de dados audiovisuais compreendendo primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, sendo que o primeiro dado de áudio compreende dados de áudio obrigatórios para a representação de áudio e dados de áudio substituíveis para a representação.
[00104] Esses e outros aspectos, recursos e vantagens da invenção ficarão evidentes e serão elucidados com referência à(s) modalidade(s) descrita(s) doravante.
[00105] As modalidades da invenção serão descritas, somente a título de exemplo, com referência aos desenhos, nos quais:
[00106] a Figura 1 é uma ilustração de um fluxo de transporte, de acordo com a técnica anterior;
[00107] a Figura 2 é uma ilustração de um fluxo de transporte, de acordo com algumas modalidades da invenção;
[00108] a Figura 3 é uma ilustração de um aparelho para gerar um fluxo de transporte, de acordo com algumas modalidades da invenção;
[00109] a Figura 4 é uma ilustração de um aparelho para gerar um fluxo de transporte, de acordo com algumas modalidades da invenção;
[00110] a Figura 5 é uma ilustração de um fluxo de transporte, de acordo com algumas modalidades da invenção;
[00111] a Figura 6 é uma ilustração de um fluxo de transporte, de acordo com algumas modalidades da invenção;
[00112] a Figura 7 ilustra a sintaxe de um descritor de áudio suplementar de um Fluxo (stream) de Transporte MPEG-2;
[00113] a Figura 8 ilustra a sintaxe dos itens de dados mix_type e editorial_classification de um Fluxo (stream) de Transporte MPEG-2;
[00114] a Figura 9 ilustra uma sintaxe modificada de um item de dados mix_type, de acordo com algumas modalidades da invenção;
[00115] a Figura 10 ilustra uma sintaxe modificada de um item de dados editorial_classification, de acordo com algumas modalidades da invenção;
[00116] a Figura 11 ilustra uma sintaxe de um item de dado de componente descritor AAC, de acordo com algumas modalidades da invenção;
[00117] a Figura 12 ilustra uma identificação de um objeto em um cabeçalho de carga útil de áudio;
[00118] a Figura 13 ilustra um exemplo de uma sintaxe de um descritor de objeto para possibilitar que um objeto delegue seu conteúdo a um objeto SAOC;
[00119] a Figura 14 ilustra um exemplo de um aparelho de recepção que compreende um receptor acoplado a um decodificador de áudio, sendo que o receptor recebe o fluxo de dados do item de conteúdo audiovisual;
[00120] a Figura 15 ilustra um exemplo de uma operação que usa processamento de dados de áudio para um fluxo de transporte MPEG (modificado);
[00121] a Figura 16 ilustra um outro exemplo de uma operação que usa processamento de áudio para um fluxo de transporte MPEG (modificado);
[00122] A descrição a seguir foca em modalidades da invenção aplicáveis ao aprimoramento de fluxos de transporte para conteúdo audiovisual, como por exemplo, um Fluxo (stream) de Transporte MPEG-2. Entretanto, deve-se compreender que a invenção não se limita a essa aplicação, mas que a mesma pode ser aplicada a muitos outros fluxos de dados de item de conteúdo audiovisual.
[00123] Como uma referência específica, um exemplo de um Fluxo (stream) de Transporte (TS) MPEG DVB (Digital Video Broadcast), conforme definido em ISO/IEC 13818-1 estendido com conteúdo DVB padrão, como em EN 300468, é ilustrado na Figura 1. Deve-se considerar que, embora a descrição foque em modalidades que podem, por exemplo, melhorar tal fluxo de dados do item de conteúdo audiovisual, a abordagem pode ser aplicada a muitas outras tecnologias de transporte, incluindo, por exemplo, fluxos de transporte baseados em TCP/IP no contexto de ISO/IEC 23009-1 DASH (Dynamic Adaptive Streaming over HTTP).
[00124] No exemplo, um fluxo de transporte é constituído de uma pluralidade de pacotes de dados. Os dados do fluxo de transporte são divididos em uma pluralidade de fluxos elementares que correspondem a um dado de componente audiovisual, controle ou informação (metadado). Cada um dos fluxos elementares é associado a uma dada identidade, e cada pacote compreende um cabeçalho que inclui um Packet IDentifier (PID) que identifica o fluxo elementar para o qual o pacote compreende dados.
[00125] No exemplo específico, o fluxo de transporte é um fluxo de pacotes multiplexado no tempo com cada pacote contendo 188 bytes. Cada pacote é rotulado por um PID. Um pacote pode conter metadados ou dados audiovisuais comprimidos. Pacotes com um dado PID representam dados sequenciais que precisam ser unidos para criar um único componente audiovisual. Por exemplo, para transportar um componente audiovisual no fluxo de transporte, os dados para o componente audiovisual são divididos pelas cargas úteis de um grupo de pacotes de dados. Os pacotes de dados daquele grupo e apenas daquele grupo, usarão então o mesmo PID único.
[00126] O fluxo de transporte compreende adicionalmente uma Tabela de Associação de Programa (PAT - Program Association Table) que fornece informações dos programas que estão incluídos no fluxo de transporte específico. Cada programa é caracterizado por uma Tabela de Mapa de Programa (PMT - Program Map Table) que compreende informações sobre os programas individuais. Especificamente, o PMT identifica os fluxos elementares compreendidos no fluxo de transporte para o programa individual e, em particular, lista os PIDs para os pacotes de dados que pertencem aos diferentes fluxos elementares para o programa individual.
[00127] A Figura 1 ilustra um exemplo de como fluxos elementares de áudio para um programa podem ser fornecidos no fluxo de transporte. No exemplo, três componentes de áudio são fornecidos para o programa. Os componentes de áudio podem ser renderizados junto com um componente de vídeo do fluxo de transporte (não mostrado na Figura 1). Cada um dos componentes de áudio corresponde a uma representação completa da plataforma de som de áudio do item de conteúdo, isto é, cada fluxo elementar fornece os dados completos de plataforma de som de áudio necessários para renderizar (o termo plataforma de som de áudio refere- se ao áudio de todo o item de conteúdo renderizado e não é limitado, por exemplo, a uma cena de áudio específica).
[00128] Cada um dos fluxos elementares fornece um único componente de áudio integrado que precisa ser renderizado completamente. Dessa forma, se um fluxo elementar for selecionado para renderização, o renderizador codificará todos os dados de áudio do fluxo elementar para gerar o componente de áudio único do fluxo elementar. Esse componente de áudio é, então, renderizado (possivelmente em alguns casos, após ser mixado com áudio de um outro fluxo).
[00129] Cada um dos componentes de áudio é fornecido em um fluxo elementar separado identificado por um PID separado. Os dados de áudio para cada representação de áudio são fornecidos em uma série de pacotes de dados (referidos como PR1p1, PR1p2 PR2p1, PR2p2 PR3p1, PR3p2 etc., sendo que cada pacote tem sua própria identificação p1, p2.. e cada grupo de pacotes recebe a identificação da apresentação de áudio à qual ele pertence “PR”x). Dessa forma, cada um dos componentes de áudio é representado no fluxo de transporte por pacotes de dados que compreendem os dados de áudio codificados para o componente de áudio correspondente à representação de áudio completa. Cada representação de áudio é fornecida como um componente de áudio simples em um fluxo elementar individual e, sendo assim, cada representação de áudio é associada a um PID separado. No exemplo da Figura 1, as representações de áudio são associadas respectivamente a PID 1, PID 2 e PID 3.
[00130] Conforme ilustrado na Figura 1, os pacotes de dados são multiplexados no tempo no fluxo de transporte. Um receptor pode receber os pacotes de dados, extrair os dados de áudio de cada pacote de dados associado a um PID específico, decodificar os dados de áudio e, dessa forma, recriar o componente/representação de áudio individual correspondente àquele fluxo elementar.
[00131] Para possibilitar que o receptor sincronize os dados de áudio oriundos de diferentes pacotes de dados e sincronize o componente de áudio resultante, por exemplo, com o fluxo de vídeo associado, cada pacote de dados compreende dados de temporização ou sincronização do segmento de áudio representado pelos dados de áudio do pacote de dados.
[00132] Uma vantagem de fornecer uma pluralidade de fluxos elementares de áudio reside em ser possível fornecer um áudio mais flexível. Por exemplo, a Figura 1 ilustra um exemplo no qual são fornecidos três fluxos elementares de áudio. Cada um dos fluxos elementares fornece uma representação completa da cena de áudio incluindo, por exemplo, dados de fundo, música, diálogo etc. A representação completa é fornecida por um único componente de áudio. Entretanto, os três fluxos elementares fornecem diferentes representações, por exemplo, os três fluxos elementares podem corresponder à mesma sequência de vídeo, mas com áudio em três idiomas diferentes. Por exemplo, PID 1 pode representar a cena de áudio original com diálogo no idioma original, por exemplo, inglês, enquanto que PID 2 e PID 3 podem representar a cena de áudio, mas com o diálogo dublado em, por exemplo, francês e alemão, respectivamente. PMT pode fornecer dados que indiquem o idioma associado a cada fluxo elementar individual. Consequentemente, um usuário pode selecionar um idioma preferencial e o receptor pode, por conseguinte, selecionar o fluxo elementar correspondente. Dessa forma, o receptor extrai os dados de áudio de todos os pacotes com o PID correspondente e então, gera o sinal de saída de áudio a partir desses dados de áudio. Por exemplo, um usuário pode indicar uma preferência pelo diálogo em Francês e, por conseguinte, o renderizador pode extrair dados de áudio de pacotes de fluxo elementar com PID2 e então gerar a saída de áudio deste dado de áudio.
[00133] Consequentemente, podem ser fornecidos múltiplos fluxos alternativos, sendo que cada fluxo elementar fornece um único componente de áudio que fornece uma representação completa do áudio para o item de conteúdo (isto é, com o áudio para o programa). Então, um receptor pode selecionar entre fluxos individuais. Dessa forma, em fluxos de transporte convencionais para broadcasts de áudio, cada idioma alternativo é fornecido como uma representação de áudio completa e independente dada por um único componente de áudio em um único fluxo elementar. O receptor pode apenas selecionar entre os diferentes fluxos disponíveis e, uma vez que um fluxo seja selecionado, todo o áudio daquele fluxo é renderizado.
[00134] Entretanto, essa abordagem resulta em um baixo grau de flexibilidade, já que apenas um único componente de áudio correspondente à plataforma de áudio completa que está disponível para ser renderizada no receptor. Adicionalmente, resulta em uma alta taxa de dados dos fluxos de dados, já que são fornecidas representações de áudio completas.
[00135] Os Fluxos (stream) de Transporte MPEG-2 possibilitam que sejam definidos componentes de áudio suplementares de modo a fornecer áudio de Descrição de Áudio adicional (áudio adicional que fornece comentários descritivos para usuários portadores de deficiência visual). Tais componentes de áudio suplementares não podem ser renderizados por si só, mas podem ser adicionados a um componente de áudio de representação completa de um outro fluxo elementar.
[00136] Dessa forma, fluxos elementares de áudio de Fluxo (stream) de Transporte MPEG-2 tradicional podem ser um dentre dois tipos. O primeiro tipo é o tipo mais comum, onde um único componente de áudio fornece uma representação completa de áudio para o item de conteúdo. Esse áudio pode ser renderizado diretamente e é chamado áudio “broadcast mixado”. O segundo tipo fornece apenas um único componente com áudio suplementar que precisa ser adicionado (mixado com) um componente de áudio do primeiro tipo. Dessa forma, o segundo tipo de dado elementar fornece dados adicionais que podem ser adicionados a uma representação de áudio completa. Isso é chamado de áudio “receptor mixado”.
[00137] Para ser capaz de decodificar um fluxo de transporte recebido, o fluxo de transporte inclui informações que definem os dados contidos no fluxo de transporte. Em mais detalhes, as informações sobre os programas compreendidos no fluxo são indicadas em PAT. Para cada programa, o número e os tipos de componentes/trilhas de áudio é tornado conhecido do receptor (por exemplo, um Decodificador de Fluxo de Transporte DVB) através da sinalização em PMT. A informação PMT é baseada em PID e compreende especificamente um enlace de estrutura de dados que contém toda a sinalização requerida por PID. Para cada PID, pode haver especificamente um descritor de idioma e um descritor específico codec. O descritor de idioma pode ser um descritor ISO 639 Language ou um descritor Supplementary Audio. Uma descrição de áudio suplementar fornece uma diferenciação nítida entre os sinais de áudio broadcast e de receptor mixados. A descrição de áudio específica codec fornece informações sobre o conteúdo do fluxo elementar empacotado do PID dado. Essa informação é principalmente sobre se o componente é um componente multicanal ou estéreo.
[00138] Dessa forma, na abordagem atual, cada fluxo elementar fornece uma representação de áudio separada para o item de conteúdo, exceto pelos fluxos elementares indicados serem mixados pelo receptor. Esses não fornecem uma apresentação de áudio, mas, ao invés disso, fornecem um sinal de áudio que precisa ser adicionado a um sinal de áudio broadcast mixado.
[00139] A seguir, será descrita uma abordagem que fornece um fluxo de transporte mais flexível e eficiente. A descrição irá focar em um exemplo onde é fornecida uma pluralidade de idiomas dentro do fluxo de transporte, mas deve-se considerar que a abordagem pode ser usada com outros tipos de áudio também.
[00140] A Figura 2 ilustra um exemplo de um fluxo de transporte modificado. Similar à abordagem da Figura 1, o fluxo de transporte da Figura 2 compreende uma pluralidade de fluxos elementares de áudio. Entretanto, ao contrário da técnica anterior, os fluxos elementares não estão limitados a representações de áudio completas ou a dados de áudio suplementares e não estão limitados a componentes de áudio simples. Ao invés disso, um fluxo elementar pode compreender diferentes tipos de dados de áudio e, especificamente, pode compreender tanto um dado que seja obrigatório para a representação de áudio quanto dados de áudio substituíveis.
[00141] Especificamente, o fluxo de transporte pode incluir dados que definem/designam/descrevem uma ou mais representações de áudio. Um primeiro fluxo elementar pode ser associado a uma representação de áudio para o item de conteúdo audiovisual representado pelo fluxo de transporte. Esse primeiro fluxo elementar compreende dados de áudio obrigatórios para a representação de áudio, assim como dados de áudio substituíveis para a representação de áudio. Os dados de áudio obrigatórios correspondem a um componente de áudio obrigatório que precisa ser renderizado quando a representação de áudio do fluxo elementar é renderizada. Por outro lado, os dados substituíveis podem ser substituídos por áudio alternativo para o item de conteúdo audiovisual. Assim, o primeiro fluxo elementar compreende tanto um componente de áudio obrigatório quanto um componente de áudio substituível para representação de áudio, sendo que o componente de áudio substituível pode ser substituído por um outro componente de áudio.
[00142] O primeiro fluxo elementar/fluxo de dados audiovisuais pode, consequentemente, compreender uma pluralidade de de componentes de áudio ou objetos, sendo que um componente/objeto de áudio é representado pelos dados de áudio obrigatórios. Esse componente de áudio é obrigatório e precisa sempre ser renderizado quando a representação de áudio específica (associada ao primeiro fluxo de dados audiovisuais) é selecionada, e, dessa forma, quando o primeiro fluxo elementar é selecionado para renderização.
[00143] Um outro componente de áudio é representado por dados de áudio substituíveis. Esse componente de áudio substituível, consequentemente, não é obrigatório para a representação, mas pode ser substituído por um componente de áudio alternativo. Entretanto, o componente de áudio substituível não pode simplesmente ser apagado ou descartado enquanto fornece apresentação de áudio, mas, ao invés disso, pode ser substituído por um componente de áudio alternativo. O componente de áudio substituível pode corresponder a uma fonte de áudio necessária para a representação de áudio, mas com diferentes versões da fonte de áudio sendo incluídas no fluxo de transporte.
[00144] Em muitas modalidades, o fluxo de transporte pode fornecer uma representação padrão do item de conteúdo audiovisual quando o componente de áudio obrigatório, representado pelos dados de áudio obrigatórios, e o componente de áudio substituível, representado pelos dados de áudio substituíveis, juntos, fornecem uma representação de áudio padrão para o item de conteúdo (possivelmente junto com outros componentes de áudio ou dados). Dessa forma, os dados de áudio substituíveis correspondem, geralmente, a um componente de áudio padrão. Quando da renderização da representação de áudio, o receptor, consequentemente, como padrão, selecionará os dados de áudio obrigatórios e os dados de áudio substituíveis. Consequentemente, o receptor pode decodificar o componente de áudio obrigatório e o componente de áudio substituível, mixar os componentes e renderizar o áudio resultante. Isso resultará na renderização pelo receptor da versão padrão da representação de áudio do item de conteúdo.
[00145] Entretanto, o fluxo de transporte pode compreender, ao mesmo tempo, dados para áudio alternativo. Entretanto, esse áudio alternativo não precisa ser fornecido como representações de áudio alternativo completas em fluxos elementares separados fornecendo uma representação de áudio completa. Ao invés disso, é fornecido dado de áudio alternativo que pode simplesmente definir um componente de áudio alternativo que pode substituir o componente de áudio substituível do primeiro fluxo elementar. Dessa forma, o fluxo de transporte pode compreender dados de áudio alternativos que podem substituir parte dos dados de áudio substituíveis do primeiro fluxo elementar.
[00146] Dessa forma, o primeiro fluxo elementar compreende dois tipos de dados, a saber, dados de áudio obrigatórios para (ao menos) um componente de áudio obrigatório e dados de áudio substituíveis para (ao menos um) componente de áudio substituível.
[00147] Especificamente, o primeiro fluxo elementar pode compreender pacotes de dados que compreendem dados de áudio obrigatórios e pacotes de dados que compreendem os dados de áudio substituíveis. Cada pacote de dados pode compreender especificamente um dentre dados de áudio obrigatórios ou dados de áudio substituíveis, isto é, em muitas modalidades, um pacote de dados compreenderá apenas dados de áudio para um componente de áudio.
[00148] O componente de áudio obrigatório e o componente de áudio substituível são, dessa forma, componentes paralelos no tempo, isto é, para uma dada renderização/segmento de tempo de item de conteúdo, o primeiro fluxo elementar pode compreender tanto dados de áudio obrigatórios para um componente de áudio obrigatório, quanto dados de áudio substituíveis para um componente de áudio substituível. Entretanto, os dados de áudio obrigatórios e os dados de áudio substituíveis para o mesmo segmento de tempo são fornecidos, geralmente, em diferentes pacotes de dados que são sequenciais no tempo no primeiro fluxo elementar e no fluxo de transporte.
[00149] De modo similar, os dados de áudio alternativos podem ser fornecidos em pacotes de dados que são sequenciais no tempo no fluxo de transporte aos pacotes de dados dos dados de áudio obrigatórios, e os dados de áudio substituíveis do primeiro fluxo elementar fornecem, ainda, dados de áudio para o mesmo segmento de tempo (renderização).
[00150] Dessa forma, a temporização de pacotes de dados e os dados no fluxo de transporte podem ser independentes (e, claramente não idênticos) da temporização do áudio correspondente nos componentes de áudio. Especificamente, para ao menos um segmento de tempo, o fluxo elementar compreende dados de áudio separados para um componente de áudio obrigatório e um componente de áudio substituível, isto é, compreende tanto dados de áudio obrigatórios, quanto dados de áudio substituíveis para o segmento de tempo.
[00151] A Figura 2 ilustra um exemplo em que se atribui PID 1 a um primeiro fluxo elementar. O primeiro fluxo elementar não apenas compreende um componente de áudio único, mas, ao invés disso, compreende dados de áudio tanto para um componente de áudio obrigatório, quanto para um componente de áudio substituível.
[00152] Especificamente, o componente de áudio obrigatório pode corresponder a áudio de fundo geral (incluindo, por exemplo, música) para o item de conteúdo. Os pacotes de dados que compreendem dados de áudio obrigatórios são referidos na Figura 2 por BG1p1, BG1p2, BG1p3, BG1p4.
[00153] O componente de áudio substituível pode corresponder ao diálogo em um idioma padrão, por exemplo, inglês. Os pacotes de dados que compreendem dados de áudio substituíveis são referidos por AO A na Figura 2.
[00154] Conforme ilustrado, os dados de áudio obrigatórios e os dados de áudio substituíveis são fornecidos em pacotes de dados individuais que são multiplexados no tempo para o fluxo de transporte. No exemplo, os dados de áudio obrigatórios e os dados de áudio substituíveis são fornecidos em pacotes de dados separados, isto é, um pacote de dados do primeiro fluxo elementar compreende dados de áudio obrigatórios ou dados de áudio substituíveis. Entretanto, deve-se considerar que em algumas modalidades, um pacote de dados pode compreender tanto dados de áudio obrigatórios quanto dados de áudio substituíveis.
[00155] Um receptor que execute a renderização da representação de áudio padrão com o idioma padrão, por conseguinte, só precisa acessar o primeiro fluxo elementar, isto é, só precisa decodificar e processar os pacotes de dados com PID1. Em seguida, o mesmo pode decodificar individualmente os dados de áudio obrigatórios para gerar o componente de áudio obrigatório e os dados de áudio substituíveis para gerar o componente de áudio substituível. O sinal de áudio para o item de conteúdo pode, então, ser gerado pela mixagem do componente de áudio obrigatório e o componente de áudio substituível.
[00156] Entretanto, além do primeiro fluxo elementar, o fluxo de transporte compreende outros fluxos elementares que compreendem dados de áudio alternativos para os dados de áudio substituíveis, isto é, compreende dados que definem ao menos um componente de áudio alternativo que pode substituir o componente de áudio substituível.
[00157] No exemplo da Figura 2, o fluxo de transporte compreende um segundo fluxo elementar de áudio identificado por PID 2 e um terceiro fluxo elementar de audio identificado pelo PID 3. Consequentemente, os pacotes de dados correspondentes ao terceiro e terceiro fluxo elementar são multiplexados no tempo no fluxo de dados com os pacotes de dados para o primeiro fluxo elementar. O segundo fluxo elementar compreende pacotes de dados (chamados AO B) com primeiros dados de áudio alternativos, e o terceiro fluxo elementar compreende pacotes de dados (chamados AO C) comsegundos dados de áudio alternativos. Os primeiros dados de áudio alternativos podem ser decodificados para gerar um primeiro componente de áudio alternativo e os segundos dados de áudio alternativos podem ser decodificados para gerar um segundo componente de áudio alternativo.
[00158] Ao invés de gerar um sinal de áudio para o item de conteúdo usando o componente de áudio substituível, um renderizador pode usar um dos componentes de áudio alternativos, isto é, a geração de áudio para o item de conteúdo pode ser baseada em um dos conjuntos de dados de áudio alternativos ao invés de ser baseado nos dados de áudio substituíveis.
[00159] Por exemplo, os dados de audio substituíveis podem fornecer diálogo no idioma inglês, os primeiros dados de áudio alternativos podem fornecer diálogo em alemão e os segundos dados de áudio alternativos podem fornecer diálogo em francês. Então, um receptor, por padrão, decodificará o primeiro fluxo elementar, gerará o componente de áudio de fundo e o componente de áudio em inglês e os mixará para gerar o áudio para o item de conteúdo. Entretanto, por exemplo, em resposta a dados inseridos pelo usuário, o receptor pode substituir os dados de áudio substituíveis pelos primeiros dados de áudio alternativos, isto é, pode prosseguir para decodificar os dados de áudio obrigatórios para gerar o componente de áudio obrigatório e os primeiros dados de áudio alternativos para gerar o primeiro componente de áudio alternativo. Então, o áudio de saída pode ser gerado por meioda combinação do componente de áudio obrigatório e primeiro componente de áudio alternativo. Dessa forma, ao invés do item de conteúdo ter o diálogo em inglês, é fornecido o diálogo em alemão.
[00160] A abordagem possibilita uma comunicação muito eficiente e a codificação de áudio em um fluxo de transporte. Podem ser conseguidas taxas de dados reduzidas e/ou maior flexibilidade ser fornecida. Além do mais, obtém-se processamento fácil, em termos tanto de geração quanto de processamento do fluxo de transporte.
[00161] Notadamente, a abordagem específica pode fornecer um alto grau de compatibilidade com fluxos de transporte existentes, como o Fluxo (stream) de Transporte MPEG-2. Especificamente, é fornecida uma abordagem em que a estrutura e a organização de dados existentes podem ser mantidas e, especificamente, a mesma abordagem de fluxos elementares pode ser usada para fornecer maior flexibilidade. De fato, a abordagem minimizará (ou ao menos reduzirá) a quantidade de esforço de padronização necessária para adotar a abordagem inovadora. Além do mais, pode aumentar a retrocompatibilidade e reduzir ou mesmo minimizar as mudanças necessárias para suportar a funcionalidade adicional.
[00162] Especificamente, a abordagem pode usar a mesma abordagem do fluxo de transporte que compreende um PAT definindo um ou mais itens de conteúdo e fornecer, especificamente, um PID para um PMT para cada item de conteúdo. O PMT para cada item de conteúdo pode definir um PID para cada fluxo elementar associado ao item de conteúdo (dessa forma, o item de conteúdo pode ser constituído dos fluxos elementares para os quais um PID é incluído em PMT).Então, o receptor pode recuperar os dados audiovisuais para o item de conteúdo por meio da seleção dos pacotes de dados com um PID indicado em PMT. Entretanto, como o item de conteúdo pode ter trilhas de áudio alternativas, o receptor pode, por exemplo, selecionar ignorar ou extrair dados de um dado PID, dependendo desse PID compreender dados de áudio necessários ou não. Por exemplo (e com referência à Figura 2), se uma trilha de diálogo em alemão for fornecida como dado alternativo em pacotes de dados com PID 2, o receptor pode ignorar esses pacotes de dados se o diálogo em inglês de PID 1 for desejado. Dessa forma, se for desejada a cena de áudio padrão, o receptor, nesse exemplo, só precisa considerar pacotes de dados PID1 para fornecer o áudio desejado. Entretanto, ao mesmo tempo, se for preferida a trilha de áudio com diálogo em alemão alternativa, o receptor pode simplesmente extrair esses dados de áudio dos pacotes de dados de PID 2 e substituir os dados de áudio substituíveis dos pacotes de dados PID 1 por esses dados de áudio.
[00163] A abordagem segue para um alto grau de eficiência operacional. De fato, o sistema pode simplesmente renderizar um fluxo elementar único para operação nominal e, dessa forma, a abordagem não apenas fornece diferentes opções, como também pode tratar uma opção como uma opção preferencial. Por exemplo, o diálogo original é incluído no mesmo fluxo elementar que o áudio de fundo, e assim, isso sempre será fornecido a menos que um usuário solicite, especificamente, uma alternativa.
[00164] A Figura 3 ilustra um exemplo de um aparelho para gerar um fluxo de dados do item de conteúdo audiovisual, e especificamente um fluxo de transporte como o fluxo de transporte baseado em MPEG da Figura 2. O fluxo de dados do item de conteúdo audiovisual será chamado de fluxo de transporte. O item de conteúdo é constituído de uma série de componentes audiovisuais, como um ou mais componentes de áudio e geralmente um ou mais componentes de vídeo. Um item de conteúdo pode também incluir componentes que suportam interatividade. Cada componente de áudio pode ser um sinal de áudio e, em muitos casos podem ser um objeto de áudio. Cada componente de vídeo pode ser um sinal de vídeo correspondente a uma única imagem em movimento, ou pode ser, por exemplo, de uma imagem em movimento em múltiplas vistas. Um item de conteúdo pode também incluir componentes que suportam interatividade. Por exemplo, um componente de interatividade pode estar disponível para auxiliar o usuário em sua seleção de um objeto de áudio e/ou componente de vídeo.
[00165] O aparelho gera um fluxo de transporte que compreende uma pluralidade de fluxos de dados audiovisuais individuais. Os componentes audiovisuais do item de conteúdo, consequentemente, são distribuídos por uma pluralidade de fluxos de dados audiovisuais individuais. Cada um dos fluxos de dados audiovisuais individuais, consequentemente, corresponde a um fluxo elementar, conforme anteriormente descrito, e será chamado como fluxo elementar. Cada fluxo elementar pode ser associado a um único identificador de pacote (dentro do fluxo de transporte), como a um PID, especificamente.
[00166] A pluralidade de fluxos elementares (fluxos de dados audiovisuais) compreende, consequentemente, os componentes audiovisuais do item de conteúdo. Na abordagem da Figura 1, cada componente audiovisual está compreendido em um único fluxo elementar. Entretanto, por outro lado, o aparelho da Figura 2 está disposto de modo a gerar o fluxo de transporte, de modo que ao menos um primeiro dentre os fluxos elementares compreende uma pluralidade de componentes audiovisuais.
[00167] Os componentes audiovisuais estão compreendidos nos fluxos elementares pelos fluxos elementares que compreendem dados codificados para os componentes audiovisuais. Dessa forma, cada fluxo elementar compreende dados codificados que representam ao menos um componente audiovisual. Em algumas modalidades, podem ser fornecidos alguns fluxos elementares que compreendam metadados como dados de controle, dados interativos etc.
[00168] Conforme anteriormente descrito, os fluxos elementares são constituídos de uma pluralidade de pacotes de dados multiplexados no tempo e, consequentemente, os dados codificados para os componentes audiovisuais estão incluídos nos pacotes de dados do fluxo de transporte. Dessa forma, a temporização do pacote de dados individual no fluxo de transporte não corresponde diretamente à temporização do segmento do componente audiovisual no pacote de dados quando este é renderizado. De modo a assegurar temporização correta da renderização, cada fluxo elementar compreende informações de sincronização que possibilitam que haja sincronização com componentes audiovisuais em outros fluxos elementares. Especificamente, cada pacote de dados pode incluir dados de sincronização que definem a temporização do segmento de conteúdo representado pelo pacote de dados.
[00169] A descrição e ilustração da Figura 3 irá focar na parte do fluxo de transporte relacionada a componentes de áudio. Deve-se considerar que, além disso, o fluxo de transporte pode ser gerado de modo a incluir metadados, dados de controle, itens de conteúdo de vídeo (e possivelmente outros itens de áudio) etc. Por exemplo, a abordagem bem conhecida de várias implementações de Fluxo (stream) de Transporte MPEG-2 convencional, pode ser usada para tais dados.
[00170] O aparelho da Figura 3 compreende uma fonte de áudio 301 que fornece dados de áudio codificados para uma pluralidade de componentes de áudio. Em algumas modalidades, a fonte de áudio 301 pode receber uma pluralidade de componentes de áudio e pode proceder à codificação dos mesmos individualmente. A codificação pode usar o mesmo algoritmo de codificação ou pode, em muitas modalidades, usar diferentes algoritmos de codificação e padrões para diferentes componentes de áudio. Além disso, parâmetros de codificação, como, por exemplo, a taxa de dados resultante, podem ser iguais ou diferentes para diferentes componentes de áudio.
[00171] Em outras modalidades, a fonte de áudio 301 pode fornecer diretamente os dados de áudio codificados. Por exemplo, a fonte de áudio 301 pode ser um armazenamento local em que são armazenados vários componentes de áudio codificados.
[00172] A fonte de áudio 301 fornece especificamente dados de áudio codificados para componentes de áudio que representam o item de conteúdo. Ela fornece geralmente todo o áudio a ser reproduzido ao reproduzir um componente de vídeo incluído no fluxo de transporte. Por exemplo, para um filme, um ou mais fluxos elementares podem fornecer o vídeo para o filme (por exemplo, fluxos elementares diferentes podem fornecer diferentes resoluções do vídeo. A fonte de áudio 301 pode fornecer o áudio associado dividido em vários componentes de áudio.
[00173] Na abordagem da Figura 3, é gerado um único fluxo elementar que compreende uma representação completa de uma plataforma de som a ser renderizado em conjunto com a renderização do item de conteúdo. Por exemplo, é gerado um fluxo elementar que compreende todo o áudio necessário para renderizar o áudio, por exemplo, de um filme ou programa de televisão.
[00174] O fluxo de transporte pode ser gerado especificamente de modo a compreender explicitamente dados que definem uma ou mais representações de áudio. A definição de uma representação de áudio pode ser fornecida, por exemplo, por uma identificação direta ou indireta de dados de áudio correspondentes a dados de áudio obrigatórios e dados de áudio substituíveis para a representação de áudio. Geralmente, a definição da representação de áudio pode também incluir uma identificação de dados de áudio alternativos que podem substituir os dados de áudio substituíveis.
[00175] Na abordagem, o primeiro fluxo elementar não compreende um componente de áudio único, mas, ao invés disso, compreende tanto um componente de áudio obrigatório, quanto um componente de áudio substituível. Dessa forma, o fluxo elementar é gerado de modo a incluir tanto dados de áudio obrigatórios para o componente de áudio obrigatório, quanto dados de áudio substituíveis para o componente de áudio substituível, conforme descrito anteriormente. O componente de áudio obrigatório pode corresponder especificamente a um áudio de fundo e o componente de áudio substituível pode corresponder ao diálogo original no idioma original (por exemplo, inglês).
[00176] No exemplo da Figura 3, a fonte de áudio 301 fornece dados de áudio obrigatórios para o componente de áudio obrigatório a um primeiro empacotador 303. O primeiro empacotador 303 prossegue para empacotar os dados de áudio obrigatórios. Este empacotamento inclui dividir os dados de áudio obrigatórios em blocos de tamanho adequado. Inclui também adicionar dados de sincronização aos pacotes de dados. Além disso, o primeiro empacotador 303 adiciona um cabeçalho com informações relevantes que possibilitam a decodificação correta do pacote de dados. O cabeçalho é gerado especificamente para que inclua um PID, e o PID alocado ao primeiro fluxo elementar é, consequentemente, incluído no pacote de dados.
[00177] De modo similar, a fonte de áudio 301 fornece dados de áudio substituíveis para o componente de áudio substituível a um segundo empacotador 305. O segundo empacotador 305 prossegue para empacotar os dados de áudio substituíveis. Este empacotamento inclui, de modo similar, dividir os dados de áudio substituíveis em blocos de tamanho adequado, somar dados de sincronização e um cabeçalho de pacote. Quanto ao primeiro empacotador 303, o segundo empacotador 305 gera o cabeçalho de modo a incluir um PID correspondente ao PID alocado para o primeiro fluxo elementar. Dessa forma, os pacotes de dados para o componente de áudio obrigatório e componente de áudio substituível têm o mesmo PID e, consequentemente, são parte do mesmo fluxo elementar.
[00178] A fonte de áudio 301 fornece, adicionalmente, dados de áudio alternativos a um terceiro empacotador 307. O terceiro empacotador 307 prossegue para empacotar os dados de áudio substituíveis. Este empacotamento inclui, de modo similar, dividir os dados de áudio substituíveis em blocos de tamanho adequado, somar dados de sincronização e um cabeçalho de pacote. Quanto ao primeiro empacotador 303, o terceiro empacotador 307 gera o cabeçalho para incluir um PID. Os dados de áudio alternativos são, conforme anteriormente descrito, uma alternativa aos dados de áudio substituíveis. Dessa forma, os dados de áudio alternativos são dados que codificam um componente de áudio alternativo que pode ser usado ao invés do componente de áudio substituível. Por exemplo, o componente de áudio alternativo pode corresponder a um idioma dublado (por exemplo, alemão) e esse pode substituir o idioma original (por exemplo, inglês) quando da renderização do item de conteúdo compreendido no fluxo de transporte.
[00179] No exemplo específico, os dados de áudio alternativos estão incluídos em um fluxo elementar diferente do primeiro fluxo elementar e, consequentemente, os dados de áudio alternativos são gerados para ter um PID diferente dos pacotes de dados para os dados de áudio obrigatórios e dados de áudio substituíveis. Entretanto, conforme será descrito posteriormente, os dados de áudio alternativos podem, em algumas modalidades, ser incluídos no próprio primeiro fluxo elementar, e, dessa forma, em algumas modalidades, os pacotes de dados podem ser gerados para que tenham o mesmo PID que os dados de áudio obrigatórios e os dados de áudio alternativos.
[00180] O primeiro, segundo e terceiro empacotadores 303, 305, 307 são acoplados a um gerador de fluxo 309, que prossegue para gerar o fluxo de transporte por multiplexação no tempo dos pacotes de dados a partir dos empacotadores 303, 305, 307. Deve-se considerar que, geralmente, vários outros componentes de áudio podem também ser codificados. Estes componentes de áudio (incluindo, possivelmente, tanto componentes de áudio obrigatórios para outras representações de áudio ou, componentes de áudio alternativos) podem ser empacotados de um modo similar. O gerador de fluxo 309 pode ser disposto de modo a incluir adicionalmente tais pacotes de dados no fluxo de transporte por multiplexação no tempo. De modo similar, os pacotes de dados podem ser gerados para componentes de vídeo, possivelmente componentes audiovisuais mixados, metadados ou dados de controle e os pacotes de dados resultantes podem ser incluídos no fluxo de transporte por multiplexação no tempo.
[00181] O aparelho compreende adicionalmente um gerador de dados de controle 311 que é disposto de modo a gerar dados de controle para o fluxo de transporte. O gerador de dados de controle 311 gera especificamente dados de controle que descrevem quais dados estão incluídos no fluxo de transporte. Especificamente, o gerador de dados de controle 311 pode gerar PATs e PMTs. Os pacotes de dados resultantes são alimentados no gerador de fluxo 309 que prossegue de modo a incluir os dados no fluxo de transporte. O gerador de dados de controle 311 pode incluir, especificamente, dados que definem ou descrevem os dados associados a uma representação de áudio específica para o item de conteúdo.
[00182] Dessa forma, o aparelho da Figura 3 pode gerar um fluxo de transporte como o descrito com referência à Figura 2, isto é, um fluxo de transporte pode ser gerado no qual ao menos um primeiro fluxo elementar compreende dados para uma pluralidade de de componentes de áudio, sendo que ao menos um componente de áudio é obrigatório para a representação de áudio do item de conteúdo, enquanto o outro componente de áudio pode ser substituído por outro componente de áudio. Dessa forma, as vantagens descritas anteriormente podem ser obtidas pelo aparelho da Figura 3.
[00183] A Figura 4 ilustra um exemplo de um aparelho para gerar um sinal de áudio para um item de conteúdo audiovisual. Especificamente, o aparelho recebe o fluxo de transporte do aparelho da Figura 3 (especificamente um fluxo de transporte é mostrado na Figura 2) e gera um sinal de saída de áudio para o item de conteúdo. O sinal de saída pode, geralmente, ser usado para renderizar o áudio e o aparelho da Figura 4 será, consequentemente, referido como um renderizador.
[00184] O renderizador compreende um receptor de fluxo de transporte 401 que recebe o fluxo de transporte.
[00185] O renderizador compreende adicionalmente um primeiro extrator de dados 403 que é disposto de modo a extrair os dados de áudio obrigatórios do fluxo de transporte recebido. Especificamente, o primeiro extrator de dados 403 é disposto de modo a detectar pacotes de dados com o PID correspondente ao primeiro fluxo de transporte elementar. Em seguida, o extrator pode, a partir destes pacotes de dados, extrair os dados do subconjunto de pacotes de dados aos quais os dados correspondem ao componente de áudio obrigatório.
[00186] O renderizador compreende também um segundo extrator de dados 405 que é disposto de modo a extrair os dados de áudio obrigatórios do fluxo de transporte recebido. Especificamente, o segundo extrator de dados 405 é disposto de modo a detectar pacotes de dados com o PID correspondente ao primeiro fluxo elementar. Em seguida, o extrator pode, a partir destes pacotes de dados, extrair os dados do subconjunto de pacotes de dados aos quais os dados correspondem ao componente de áudio substituível.
[00187] Podem ser fornecidas informações sobre o pacote de dados individual compreender dados de áudio substituíveis ou dados de áudio obrigatórios, em algumas modalidades, pelo controle ou metadados do fluxo de transporte não compreendidos no primeiro fluxo elementar. Por exemplo, pode ser fornecida uma PMT que, para o primeiro fluxo elementar, define uma ordem de pacotes de dados no fluxo elementar. Por exemplo, a PMT pode definir uma sequência repetida de dois pacotes de dados com dados de áudio obrigatórios seguidos por um pacote de dados de dados de áudio substituíveis. Em outras modalidades, a informação pode ser fornecida, alternativa ou adicionalmente, nos pacotes de dados individuais. Por exemplo, um marcador no cabeçalho de cada pacote de dados pode indicar se o pacote de dados compreende dados de áudio obrigatórios ou dados de áudio substituíveis. Em modalidades simples, pode ser fornecido um único marcador de bits. Em outras modalidades, pode ser fornecida uma identidade do componente de áudio individual do fluxo elementar.
[00188] O renderizador compreende também um terceiro extrator de dados 407 que é disposto de modo a extrair os dados de áudio alternativos do fluxo de transporte recebido. Especificamente, nos exemplos onde são fornecidos dados de áudio alternativos em um fluxo elementar diferente, o terceiro extrator de dados 407 pode ser disposto de modo a detectar pacotes de dados com um PID correspondente a esse fluxo elementar diferente. O terceiro extrator pode, então, a partir destes pacotes de dados, extrair os dados de áudio alternativos.
[00189] O primeiro extrator de dados 403 é acoplado a uma primeira unidade de decodificação 409 à qual os dados de áudio obrigatórios são fornecidos. A primeira unidade de decodificação 409 prossegue então para decodificar os dados de áudio obrigatórios para gerar o componente de áudio obrigatório.
[00190] De modo similar, o segundo extrator de dados 405 é acoplado a uma segunda unidade de decodificação 411 à qual os dados de áudio substituíveis são fornecidos. A segunda unidade de decodificação 411 prossegue então para decodificar os dados de áudio substituíveis para gerar o componente de áudio substituível.
[00191] Correspondentemente, o terceiro extrator de dados 407 é acoplado a uma terceira unidade de decodificação 413 à qual os dados de áudio alternativos são fornecidos. A terceira unidade de decodificação 413 prossegue então para decodificar os dados de áudio alternativos para gerar o componente de áudio alternativo.
[00192] Em algumas modalidades, a primeira, segunda e terceira unidades de decodificação 409, 411, 413 podem utilizar o mesmo algoritmo de decodificação, isto é, o mesmo algoritmo ou padrão de codificação pode ter sido usado para gerar os dados de áudio codificados. Entretanto, mesmo em tais modalidades, as diferentes unidades de decodificação (e, assim, codificadores na extremidade fonte) podem ter diferentes parâmetros de codificação/decodificação. Especificamente, a taxa de dados dos dados de áudio pode ser diferente para os dados de áudio obrigatórios, dados de áudio substituíveis e/ou dados de áudio alternativos, e, consequentemente, as unidades de decodificação pode decodificar dados de áudio com diferentes taxas de dados.
[00193] Em algumas modalidades, ao menos duas dentre a primeira, segunda e terceira unidades de decodificação 409, 411, 413 podem utilizar diferentes algoritmos de decodificação, isto é, diferentes algoritmos ou padrões de codificação podem ter sido usados para gerar os dados de áudio codificados.
[00194] Dessa forma, a abordagem pode possibilitar otimização ou adaptação individual às características e preferências de cada componente de áudio individual. A decisão de codificar ajustes/algoritmos pode ser executada dinamicamente, por exemplo, com base nas características dos componentes de áudio.
[00195] A primeira, segunda e terceira unidades de decodificação 409, 411, 413 são acopladas a um combinador 415 que é disposto de modo a gerar um sinal de saída pela combinação do componente de áudio obrigatório com um dentre o componente de áudio substituível e o componente de áudio alternativo. A combinação pode ser, em muitos cenários, uma simples (possivelmente ponderada e/ou com frequência seletiva) soma ou mixagem.
[00196] Especificamente, ao operar no modo padrão, o sinal de saída é gerado pela combinação do componente de áudio obrigatório e o componente de áudio substituível. Dessa maneira, é gerado o sinal de saída para corresponder à representação de áudio padrão para o item de conteúdo. No exemplo específico, é gerada uma trilha de áudio com diálogo no idioma inglês para o componente de vídeo.
[00197] Entretanto, por exemplo, em resposta a dados inseridos implicitamente pelo usuário, o aparelho da Figura 4 pode, ao invés disso, gerar o sinal de saída pela combinação do componente de áudio obrigatório e do componente de áudio alternativo. Dessa forma, nesse cenário, o aparelho prossegue para substituir o componente de áudio substituível pelo componente de áudio alternativo. Isso pode resultar, por exemplo, na geração de uma trilha de áudio com diálogo dublado no idioma alemão para o componente de vídeo.
[00198] Desta forma, o sinal de áudio de saída pode, por exemplo, ser renderizado ou reproduzido mediante o acionamento de um alto-falante om base no sinal de áudio de saída. Tal acionamento pode ser através de um circuito de acionamento adequado incluindo, por exemplo, um amplificador de potência, filtro etc., como é bem conhecido na técnica. Deve-se considerar também que a abordagem pode ser usada para sinais de multicanal - por exemplo, ao estarem todos os dados, componentes e processamento diretamente no domínio de multicanal (por exemplo, os dados de áudio podem representar sinais de multicanal codificados que são decodificados para gerar componentes de áudio de multicanal que podem então ser selecionados e combinados por um combinador de multicanal). Como outro exemplo, a abordagem descrita pode ser executada individualmente para cada canal individual de um sinal de multicanal.
[00199] Como ainda outro exemplo, os componentes de áudio de canal simples e de multicanal podem ser mixados, por exemplo, o componente de áudio obrigatório pode ser um sinal de multicanal e os componentes de áudio substituíveis e alternativos podem ser sinais de canal simples.
[00200] No exemplo anterior, os dados de áudio substituíveis são substituídos pelos dados de áudio alternativos quando o combinador 415 faz a seleção para combinar o componente de áudio alternativo e o componente de áudio obrigatório. Deve-se considerar que em algumas de tais modalidades, o aparelho da Figura 4 pode não extrair ou decodificar os dados que não estão sendo usados. Especificamente, se for selecionada a operação padrão, o aparelho não extrairá os dados de áudio alternativos e decodificará o componente de áudio alternativo. De modo similar, se forem usados os dados de áudio alternativos para gerar o sinal de saída, o aparelho pode não extrair os dados de áudio substituíveis ou decodificar o componente de áudio substituível.
[00201] No exemplo, a substituição (ou não substituição) dos dados de áudio substituíveis pelos dados de áudio alternativos é realizada por meio da seleção do componente de áudio combinado ao componente de áudio obrigatório. Entretanto, deve-se considerar que a seleção e substituição podem ser executadas diretamente no domínio dos dados de áudio codificados. Por exemplo, o mesmo decodificador pode ser usado para todos os componentes de áudio que estão sendo decodificados e o aparelho pode ser disposto de modo a substituir diretamente os dados de áudio substituíveis pelos dados de áudio alternativos em um fluxo de dados que esteja sendo alimentado na unidade de decodificação.
[00202] Em algumas modalidades, a combinação do áudio obrigatório e do áudio substituível (padrão) ou do áudio alternativo, pode ser realizada no domínio comprimido e/ou codificado. Em tal modalidade, pode ser fornecido um combinador 415 com os dados de áudio comprimidos/codificados relevantes dos extratores de dados 403, 405, 407 e o mesmo pode prosseguir para selecionar e combinar os dados de audio desejados. Então, os dados de áudio combinados podem ser alimentados a uma unidade de decodificação simples que decodifica os dados de áudio combinados.
[00203] Os dados de áudio alternativos podem ser fornecidos em diferentes partes do fluxo de transporte em diferentes modalidades, ou podem até, em alguns casos, ser fornecidos externamente ao fluxo de transporte.
[00204] Dessa forma, em algumas modalidades, o aparelho pode ser disposto de modo a receber um segundo fluxo de transporte da mesma fonte ou de uma fonte diferente. O aparelho pode ser disposto de modo a processar esse segundo fluxo de transporte e pode, a partir disso, extrair um componente de áudio alternativo que pode substituir o componente de áudio substituível do primeiro fluxo de transporte, conforme anteriormente descrito para um componente de áudio alternativo compreendido no mesmo fluxo de transporte. O segundo fluxo de transporte pode ser recebido, por exemplo, de uma outra fonte através de uma conexão de Internet.
[00205] Tal abordagem pode possibilitar, por exemplo, que o componente de áudio substituível seja recuperado de um provedor diferente, por exemplo, em uma conexão de Internet. A abordagem pode habilitar, por exemplo, uma terceira parte para fornecer dublagem de idiomas para filmes, por exemplo.
[00206] Um exemplo específico de um segundo fluxo de transporte pode, dessa forma, ser um fluxo de transporte recebido ou recuperado de uma fonte de dados diferente ou de um arquivo diferente do primeiro fluxo de transporte. Por exemplo, o primeiro fluxo de transporte pode ser recebido de uma fonte de dados primária por uma transmissão broadcast. Por exemplo, o primeiro fluxo de transporte pode ser de uma estação de televisão que realize broadcast do primeiro fluxo de transporte para um grande número de receptores e usuários. Dessa forma, essa comunicação pode ser, por exemplo, uma broadcast de rádio de um ponto para múltiplos pontos. Entretanto, o segundo fluxo de transporte compreendendo dados de áudio alternativos, pode ser transmitido diretamente para o usuário através de um meio de comunicação diferente, como por exemplo, através da Internet. O segundo fluxo de transporte pode ser transmitido como uma transmissão ponto a ponto diretamente para o receptor/usuário individual. De fato, o segundo fluxo de transporte pode até ser especificamente solicitado pelo usuário e fornecido através de um meio interativo, como a Internet. Tal abordagem pode possibilitar distribuição e comunicação eficientes, enquanto, ao mesmo tempo, possibilita um grau muito alto de customização pelo usuário potencial.
[00207] Consequentemente, o segundo fluxo de transporte pode, possivelmente, ser recuperável a partir de ou através de uma fonte diferente do primeiro fluxo de transporte. No caso de arquivos, os fluxos de transporte podem ser de diferentes arquivos. Uma fonte diferente para o segundo fluxo de transporte pode também ser, por exemplo, um meio diferente (por exemplo, o primeiro fluxo de transporte pode ser recuperado de um disco Blu-ray e o segundo fluxo de transporte pode ser de uma transmissão de rádio). A fonte principal que fornece o primeiro fluxo de transporte pode ser uma broadcast, ou sinal multicast, enquanto a segunda fonte que fornece o segundo fluxo de transporte pode ser aquele direcionado a um indivíduo específico.
[00208] Entretanto, em muitas modalidades, os dados de áudio alternativos serão parte do mesmo fluxo de transporte.
[00209] Especificamente, o aparelho que gera o fluxo de transporte, em algumas modalidades inclui os dados de áudio alternativos em um fluxo elementar diferente no fluxo de transporte. Isso pode proporcionar uma abordagem particularmente eficiente e pode, em muitos cenários, facilitar a operação e sinalização, e pode proporcionar fluxo de transporte mais eficiente. Em tais modalidades, um receptor pode extrair os dados de áudio alternativos pela identificação de pacotes de dados com um PID correspondente ao fluxo elementar no qual os dados de áudio alternativos estão compreendidos.
[00210] Um exemplo de tal cenário é mostrado na Figura 5. No exemplo, um fluxo elementar com um PID de 1, compreende dois componentes de áudio, a saber, um componente de áudio obrigatório correspondente a sons de fundo, e o componente de áudio substituível, correspondente a um idioma padrão. O componente de áudio obrigatório é representado por dados de áudio em pacotes de dados referidos como BG1p1, BG1p2 etc. e o componente de áudio substituível é fornecido por dados de áudio em pacotes de dados referidos como OA C. Além disso, um segundo fluxo elementar com um PID de 2 compreende um componente de áudio alternativo representado por dados de áudio em pacotes de dados referidos como OA A. Um terceiro fluxo elementar com um PID de 3 também fornece um componente de áudio alternativo representado por dados de áudio em pacotes de dados referidos como OA B. Deve-se observar que na Figura 5, os pacotes de dados para OA A e OA B são mostrados como sendo simultâneos aos pacotes de dados para OA C. Isso pode refletir cenários nos quais os pacotes de dados podem ser incluídos simultaneamente (por exemplo, com intercalação de canal nos pacotes de dados). Entretanto, também deve-se considerar que em muitas modalidades, os pacotes de dados podem ser multiplexados no tempo. Os dois componentes de áudio alternativos podem corresponder a diferentes idiomas que podem substituir o idioma do componente de áudio substituível. Especificamente, conforme ilustrado na Figura 5, os dados de áudio alternativos de fluxo elementar PID 2 podem substituir os dados de áudio substituíveis do fluxo elementar OA C.
[00211] Dessa forma, um renderizador pode extrair os dados de áudio de fundo (os dados de áudio obrigatórios) do fluxo elementar PID 1 e decodificá-los para gerar um componente de áudio obrigatório correspondente a áudio de fundo. Além disso, o mesmo pode extrair os dados de áudio alternativos do fluxo elementar PID 2 e decodificá-los para gerar um componente de áudio alternativo correspondente a um dos idiomas dublados. Os dois componentes são então combinados para gerar o sinal de saída que é renderizado/reproduzido.
[00212] Conforme indicado na Figura 5, os pacotes de dados para os dados de áudio substituíveis e os dados de áudio alternativos, não correspondem necessariamente um ao outro. Por exemplo, os mesmos podem ser codificados de maneira diferente (por exemplo, diferentes parâmetros de codificação, taxa de dados ou algoritmos de codificação) e podem corresponder especificamente a diferentes intervalos de tempo ou segmentos. Entretanto, se for usada, por exemplo, uma decodificação separada seguida pela combinação dos componentes de áudio, tais diferenças podem ser tratadas por meio de adaptação das diferentes trajetórias de decodificação e combinação dos sinais decodificados.
[00213] Em algumas modalidades, o segundo fluxo elementar pode não apenas compreender o componente de áudio alternativo, como pode compreender também, por exemplo, múltiplos componentes de áudio alternativos.
[00214] De fato, em algumas modalidades, o segundo fluxo elementar pode compreender adicionalmente dados de áudio obrigatórios para uma representação diferente para o item de conteúdo. Dessa forma, em algumas modalidades, o segundo fluxo elementar pode ser um fluxo elementar que forneça, por si só, uma representação de áudio diferente para o item de conteúdo. Consequentemente, um receptor pode ser capaz de gerar uma trilha sonora para o item de conteúdo usando apenas os dados de áudio do segundo fluxo elementar. Por exemplo, o segundo fluxo elementar pode compreender dados de áudio obrigatórios e dados de áudio substituíveis para uma representação de áudio alternativo para o item de conteúdo. Em tal exemplo, os dados de áudio alternativos para o primeiro fluxo elementar (e, assim, a primeira representação) pode ser, por exemplo, dados de áudio substituíveis do segundo fluxo elementar (isto é, para a segunda representação).
[00215] Em algumas modalidades, os dados de áudio alternativos podem ser fornecidos no próprio primeiro fluxo elementar, isto é, ele pode ser parte do mesmo fluxo elementar que inclui os dados de áudio obrigatórios e os dados de áudio substituíveis. Dessa forma, o aparelho da Figura 3 pode ser disposto de modo a incluir dados de áudio alternativos no primeiro fluxo elementar por multiplexação no tempo de pacotes de dados, inclusive dados de áudio alternativos no fluxo de transporte, sendo que o PID desses pacotes de dados é o mesmo para os pacotes de dados com os dados de áudio obrigatórios e dados de áudio substituíveis. O aparelho da Figura 4 pode, como um padrão, extrair os dados de áudio dos pacotes de dados que compreendem os dados de áudio obrigatórios e os dados de áudio substituíveis e prosseguir para gerar o sinal de áudio de saída a partir desses dados. Entretanto, por exemplo, em resposta a dados inseridos pelo usuário, o aparelho pode, em vez disso, extrair os dados de áudio alternativos dos pacotes de dados adequados e gerar o sinal de saída de áudio usando esses dados, ao invés dos dados de áudio substituíveis.
[00216] Um exemplo de tal abordagem é mostrado na Figura 6, onde o primeiro fluxo elementar compreende pacotes de dados com dados de áudio obrigatórios (BG1p1...), com dados de áudio substituíveis (OA A) e com dados de áudio alternativos (OA B, OA C). No exemplo, os dados de áudio obrigatórios são extraídos para gerar o componente de áudio obrigatório, e os dados de pacotes de dados OA B são extraídos e decodificados para gerar um componente de áudio alternativo ao invés dos dados de áudio substituíveis padrão. O áudio de saída é gerado por meio da combinação do componente de áudio obrigatório decodificado e componente de áudio alternativo decodificado.
[00217] A descrição anterior focou em exemplos onde os dados de áudio alternativos correspondem a diferentes componentes de áudio, como diferentes idiomas. Entretanto, deve-se considerar que a abordagem descrita não está limitada a tal exemplo.
[00218] De fato, em algumas modalidades, os dados de áudio substituíveis e os dados de áudio alternativos podem representar o mesmo conteúdo de áudio codificado com o uso de diferentes características de codificação. Especificamente, os dados de áudio substituíveis e os dados de áudio alternativos podem corresponder ao mesmo conteúdo de áudio e, especificamente, mesmo componente de áudio, porém codificados com diferentes taxas de bits.
[00219] Isso pode fornecer maior flexibilidade e pode possibilitar, por exemplo, que um receptor receba um fluxo de transporte e gere, eficientemente e com baixa complexidade, um fluxo de transporte correspondente ao mesmo conteúdo de áudio, mas com uma taxa de dados diferente. Dessa forma, a seleção entre os dados de áudio substituíveis e os dados de áudio alternativos, pode depender de características do próprio dado em si, como dependentes da taxa de dados específica e a taxa de dados desejada. A abordagem pode possibilitar maior flexibilidade e pode possibilitar, especificamente, uma adaptação flexível das características de um fluxo de transporte.
[00220] Em algumas modalidades, os dados de áudio alternativos podem ser, por exemplo, um objeto de áudio, como um objeto de áudio SAOC, representando múltiplos sub-objetos.
[00221] Em algumas modalidades, o aparelho da Figura 3 pode ser disposto de modo a incluir a renderização de dados de controle no fluxo de transporte. Os dados de controle de renderização podem especificar um parâmetro de renderização necessário, desejado ou sugerido para uma renderização do áudio do fluxo de transporte. Por exemplo, os dados de controle de renderização podem fornecer uma indicação de um nível absoluto ou relativo dos componentes de áudio.
[00222] Os dados de controle de renderização podem fornecer, especificamente um parâmetro de renderização diferente para quando os dados de áudio substituíveis forem usados de quando os dados de áudio alternativos são usados.
[00223] Os dados de controle de renderização podem descrever, por exemplo, um ganho relativo ou nível de sinal para o sinal de saída quando o áudio padrão é renderizado, isto é, quando o sinal de saída é gerado com base nos dados de áudio obrigatórios e dados de áudio. Eles podem descrever adicionalmente, por exemplo, um ganho relativo ou nível de sinal diferente para o sinal de saída quando o áudio alternativo é renderizado, isto é, quando o sinal de saída é gerado com base nos dados de áudio obrigatórios e dados de áudio alternativos.
[00224] Tal abordagem pode ser usada, por exemplo, para fornecer diferenças entre a renderização, por exemplo, o áudio pode ser renderizado mais alto, quando o sinal de áudio padrão é renderizado, do que quando o sinal de áudio alternativo é renderizado. Entretanto, a abordagem pode também ser usada para homogeneizar o sinal de saída. Por exemplo, em situações nas quais o nível do componente de áudio substituível é mais alto do que o nível do componente de áudio alternativo, os dados de controle de renderização podem aumentar o ganho total do sinal de saída ao usar o componente de áudio alternativo, resultando na redução da diferença de nível.
[00225] Em algumas modalidades, os dados de controle de renderização podem descrever diferentes renderizações para o componente de áudio substituível e o componente de áudio alternativo. Por exemplo, o ganho para o componente de áudio substituível pode ser diferente do ganho para o componente de áudio alternativo. Isso pode, por exemplo, possibilitar uma customização. Como um exemplo específico, as broadcasts de TV em idioma alemão podem tender a ter níveis relativos mais altos de som do comentarista em relação a ruídos da multidão para eventos esportivos do que as broadcasts de TV em idioma inglês. Consequentemente, ganhos diferentes podem ser ajustados para dois componentes de idiomas diferentes, de modo que o mesmo efeito possa ser fornecido por um único fluxo de transporte com idiomas alternativos.
[00226] Em algumas modalidades, os dados de controle de renderização podem fornecer diferentes parâmetros de renderização para (possivelmente apenas) os dados de áudio obrigatórios/componente de áudio obrigatório, dependendo do sinal ser gerado com base nos dados de áudio substituíveis/componente de áudio substituível ou nos dados de áudio alternativos/componente de áudio alternativo.
[00227] Para possibilitar que um receptor utilize completamente o fluxo de transporte fornecido, o transmissor pode incluir dados adicionais que podem sinalizar informação sobre os diferentes dados compreendidos no fluxo de transporte.
[00228] Especificamente, em algumas modalidades, o aparelho da Figura 3 pode ser disposto de modo a incluir uma indicação de que o primeiro fluxo elementar compreende dados de áudio substituíveis. Essa indicação pode ser fornecida, por exemplo, como parte de dados de configuração separados para o fluxo de transporte. Por exemplo, podem ser fornecidos pacotes de dados que compreendam pacotes de configuração que especificam os diferentes fluxos elementares do fluxo de transporte. Especificamente, podem ser fornecidos dados de configuração que incluam PMTs. Em tal caso, a parte da PMT que define o fluxo elementar individual pode ser melhorada para incluir também informações que definam quais componentes de áudio são representados no fluxo elementar, e especificamente, se o fluxo elementar individual compreende mais de um componente de áudio. Por exemplo, pode ser definido um marcador para indicar que um dado fluxo elementar compreende dados de áudio substituíveis.
[00229] Em algumas modalidades, pode ser gerado o fluxo de transporte para incluir dados de extração para os dados de áudio substituíveis no fluxo elementar. Tais dados de extração podem especificar, por exemplo, como os dados de áudio substituíveis podem ser identificados. Eles podem compreender, por exemplo, uma indicação de quais pacotes de dados incluem dados de áudio substituíveis e quais pacotes de dados incluem dados de áudio obrigatórios. A descrição pode ser fornecida, por exemplo, pela descrição dos componentes de áudio incluídos no fluxo elementar e associação de cada um a uma identidade. Cada pacote de dados pode incluir então uma identidade de componente de áudio no cabeçalho para indicar para qual componente de áudio o pacote de dados compreende dados de áudio. Os dados de extração podem fornecer a identidade de componente de áudio a cada componente de áudio, permitindo assim que o receptor extraia a informação relevante.
[00230] Especificamente, para um Fluxo (stream) de Transporte MPEG-2, o descritor de áudio suplementar pode ser estendido com a definição de um objeto. Um exemplo da sintaxe de um descritor de áudio suplementar é fornecido na Figura 7. A Figura 8 ilustra o uso convencional, respectivamente, de itens de dados mix_type e editorial_classification
[00231] Nesse exemplo, a estrutura de dadosmix_type data pode ser mudada a partir daquela da Figura 8 para aquela da Figura 9. O editorial_classification pode ser mudado para aquele da Figura 10. Além do mais, um componente descritor AAC, como aquele da Figura 11, pode ser usado.
[00232] Esse exemplo mostra que o bit reservado, sob a estrutura de dados editorial_classification, pode ser usado para indicar se o áudio contém objetos que podem ser manipulados. No caso em que o mixed_type é igual a 1, o valor do bit de objeto 1 indica que a trilha de áudio é um objeto de fundo e precisa ser mixada com um objeto. Se o bit do objeto for 0, que é o caso atual, isso indica que a trilha de áudio está completa e pode ser complementada com um objeto ou um outro fluxo mix_type 0.
[00233] Com a estrutura de dados editorial_classification, o use-case de um objeto substituível pode ser sinalizado. A identificação daquele objeto substituível pode ser colocada no descritor AAC. O único sinal que precisa ser dado neste nível é a identificação de que existe um objeto substituível.
[00234] A extensão do descritor AAc pode incluir, especificamente, um enlace de objetos com um descritor por objeto descrevendo seus atributos, como especificamente: - O idioma de um objeto. - Substituibilidade: Isso pode sinalizar que o objeto é o objeto padrão no fluxo e pode ser substituído por um outro objeto (e opcionalmente, pode-se incluir um enlace com aquele objeto alternativo). - Se este é um objeto que um usuário possa selecionar para adicionar ou escolher deixar de fora. Por exemplo, ele pode ser uma trilha sonora especial para um portador de deficiência ou conter comentário especial. Isso dá a um operador a possibilidade de oferecer uma trilha de comentário a um custo de largura de banda muito limitado. - Uma indicação de texto que pode ser exibida com o objeto para tornar claro para um usuário que ele é um objeto interativo. Por exemplo, pode ser possível para um usuário selecionar este objeto, colocá-lo em uma outra posição ou torná-lo mais alto ou suave, por exemplo. - Fornecer um enlace a um objeto de vídeo que esteja acoplado ao objeto de áudio. Um objeto interativo pode ter também a capacidade de ser movido junto com sua contraparte de vídeo. Por exemplo, pode ser possível “fazer zoom” de um objeto. O zoom pode ser visualizado pelo objeto de vídeo e o ruído pelo objeto de áudio. Então, o usuário tem a ilusão de que o objeto, de fato, está mais perto, porque apenas o áudio daquele objeto fica mais alto.
[00235] Além do mais, um objeto no cabeçalho de carga útil (UsacConfig) pode ser estendido com um identificador único através do descritor de metadados. Esse identificador pode ser incluído no descritor na PMT para possibilitar a identificação do objeto. Esse identificador pode ser também uma descrição XML em um arquivo que descreve o conteúdo de áudio.
[00236] A Figura 12 ilustra como um objeto pode ser identificado em UsacConfig.
[00237] A Figura 13 ilustra um exemplo de uma sintaxe de um descritor de objeto para possibilitar que um objeto delegue seu conteúdo a um objeto SAOC.
[00238] Em muitas modalidades, o fluxo de dados do item de conteúdo audiovisual pode ter, consequentemente, dados, inclusive dados audiovisuais, dados de controle, metadados etc., estruturados em um arranjo hierárquico.
[00239] Especificamente, o fluxo de dados do item de conteúdo audiovisual (especificamente um fluxo de transporte) pode compreender um descritor de item de conteúdo de fluxo de dados que define os itens de conteúdo que estão incluídos no fluxo de dados do item de conteúdo audiovisual. O descritor de item de conteúdo de fluxo de dados pode ser atribuído, especificamente, a um identificador de pacote predeterminado, que pode ser especificamente padronizado, e, dessa forma, será conhecido na extremidade de transmissão e na extremidade de recepção. Dessa forma, um receptor pode detectar os pacotes de dados com o identificador de pacote predeterminado e pode, a partir desses pacotes de dados, determinar quais itens de conteúdo estão incluídos no fluxo de dados do item de conteúdo audiovisual. Por exemplo, para um fluxo de transporte MPEG, o fluxo de transporte pode incluir uma PAT que esteja incluída em pacotes de dados com um PID predeterminado de 0.
[00240] O descritor de item de conteúdo de fluxo de dados pode fornecer, especificamente para cada item de conteúdo, um apontador para uma tabela de mapa de itens para o item de conteúdo. A tabela de mapa de item de conteúdo para um item de conteúdo pode compreender uma lista de identificadores de pacote de fluxo de dados audiovisuais para pacotes de dados para fluxos (streams) de dados ligados ao item de conteúdo. Dessa forma, a tabela de mapa de item de conteúdo compreende um identificador de pacote para cada fluxo de dados audiovisuais que fornece dados audiovisuais para o item de conteúdo, incluindo, por exemplo, dados de vídeo, dados de áudio obrigatórios, dados de áudio substituíveis, dados de áudio alternativos e dados de áudio adicionais. Além disso, a tabela de mapa de item de conteúdo pode compreender apontadores e, especificamente, identificadores de pacote para fluxos de dados que fornecem, por exemplo, metadados, dados de controle etc. para o item de conteúdo. A tabela de mapa de item de conteúdo pode ser uma tabela de mapa de programa.
[00241] Especificamente, para um fluxo de dados do tipo MPEG, a PAT pode incluir, para cada item de conteúdo, um identificador de pacote para uma PMT. A PMT para um programa/item de conteúdo pode incluir então um PID para cada fluxo de dados elementar que fornece dados audiovisuais para o programa.
[00242] Consequentemente, os fluxos (streams) de dados audiovisuais são fornecidos em pacotes de dados com identificadores de pacote correspondentes àqueles indicados na tabela de mapa de item de conteúdo. Por exemplo, conforme anteriormente descrito, os dados de áudio obrigatórios e substituíveis podem ser fornecidos em um fluxo de dados audiovisuais ao dotar os dados de áudio nos pacotes de um identificador de pacote, os primeiros dados alternativos podendo ser fornecidos em outro fluxo de dados audiovisuais por meio da provisão dos dados de áudio em pacotes com um outro identificador de pacote, os segundos dados alternativos podem ser fornecidos em outro fluxo de dados audiovisuais pela provisão dos dados de áudio em pacotes com um terceiro identificador de pacote etc. A Tabela de mapa de item de conteúdo é gerada de modo a incluir os identificadores de pacote dos respectivos fluxos de dados audiovisuais.
[00243] A abordagem fornece um alto grau de flexibilidade e possibilita que uma fonte gere fluxos (streams) de dados de item de conteúdo audiovisual adequados ao cenário particular e que forneçam os itens de conteúdo desejado de uma forma desejável. A abordagem pode ainda facilitar substancialmente a extração de dados por um receptor. Especificamente, um receptor essencialmente só precisa monitorar os identificadores de pacote para selecionar os dados necessários e pode simplesmente ignorar todos os pacotes de dados que não contenham dados necessários.
[00244] Por exemplo, um receptor pode inicialmente monitorar os pacotes recebidos para o identificador de pacote do descritor de item de conteúdo do fluxo de dados, isto é, especificamente, pode monitorar o PID predeterminado de PAT (PID 0 no caso de MPEG).
[00245] Quando isso é detectado, o receptor extrai os dados e seleciona o item de conteúdo desejado. O identificador de pacote para a tabela de mapa de item de conteúdo, especificamente o PID para PMT para MPEG, é extraído então para esse item de conteúdo.
[00246] Em seguida, o receptor faz uma varredura por pacotes de dados com esse identificador de pacote. Os dados para esses pacotes de dados são extraídos, fornecendo assim os identificadores de pacote para os fluxos de dados audiovisuais que compreendem dados para o item de conteúdo. Então, o receptor pode prosseguir para realizar a varredura dos pacotes de dados que contêm esses identificadores, ignorando todos os outros pacotes de dados. A abordagem em particular possibilita multiplexação e de-multiplexação prática e de baixa complexidade de dados audiovisuais.
[00247] Dessa forma, a abordagem fornece uma abordagem de baixa complexidade e de poucos recursos para extrair dados relevantes de fluxos (streams) de dados de item de conteúdo audiovisual.
[00248] Entretanto, em algumas modalidades, o fluxo de dados do item de conteúdo audiovisual pode ser gerado para possibilitar que vários fluxos de dados audiovisuais sejam tratados como um único fluxo de dados audiovisuais. Especificamente, ao invés de usar identificadores de pacote padrão, a abordagem pode usar uma abordagem de identificação combinada ou concatenada. Especificamente, um fluxo de dados audiovisuais pode ser associado tanto a um identificador primário quanto a um identificador secundário, sendo que o identificador primário pode ser um identificador em comum para ao menos dois dos fluxos de dados audiovisuais.
[00249] O identificador primário pode ser, especificamente, um identificador de pacote de fluxo de dados comuns, isto é, ele pode ser um identificador de pacote que identifica um fluxo de dados (combinado). Como o identificador primário é comum para uma pluralidade de fluxos (streams) de dados audiovisuais, o identificador primário pode ser considerado a definir um fluxo de dados audiovisuais comum ou combinado que é uma combinação de todos os fluxos (streams) de dados audiovisuais que compartilham o identificador primário.
[00250] Em muitas modalidades, o identificador primário está incluído na tabela de mapa de item de conteúdo. Dessa forma, a tabela de mapa de item de conteúdo é gerada de modo a incluir o identificador primário e, assim, a tabela de mapa de item de conteúdo fornece um apontador para um fluxo de dados único que é um fluxo de dados combinado de uma pluralidade de fluxos de dados audiovisuais individuais.
[00251] De fato, em muitas modalidades, o aparelho da Figura 3 pode ser disposto de modo a gerar a tabela de mapa de itens de conteúdo para incluir apenas um único identificador primário para todos os fluxos (streams) de dados audiovisuais compreendendo áudio, ou, certamente, para todos os fluxos (streams) de dados audiovisuais, para o item de conteúdo representado pela tabela de mapa de item de conteúdo.
[00252] Na verdade, em algumas modalidades, a tabela de mapa de item de conteúdo pode ser gerada de modo a incluir apenas um identificador de pacote de fluxo de dados audiovisuais para o item de conteúdo na tabela de mapa de item de conteúdo, ou de modo a incluir apenas um identificador de pacote de fluxo de dados audiovisuais para dados de áudio para o item de conteúdo na tabela de mapa de item de conteúdo. Dessa forma, para um dado item de conteúdo, o identificador de pacote comum representa todo o conteúdo de áudio ou audiovisual para o item de conteúdo e, de fato, o item de conteúdo pode ser processado com base no identificador primário, como se compreendesse apenas um único fluxo de dados audiovisuais (ou um único fluxo de dados audiovisuais para áudio).
[00253] Como um exemplo específico, para um fluxo de transporte do tipo MPEG, a PMT para um item de conteúdo pode ser gerada de modo a incluir apenas um PID para todos os fluxos elementares de áudio, ou, para todos os fluxos elementares de áudio ou vídeo, para o item de conteúdo. Dessa forma, o item de conteúdo será ligado apenas a um único PID para todo áudio ou para todo áudio e vídeo.
[00254] Consequentemente, em algumas modalidades, o fluxo de dados audiovisual pode parecer, para dispositivos de processamento como receptores, multiplexadores, de- multiplexadores etc., ter menos fluxos de dados audiovisuais do que é realmente o caso. Especificamente, o fluxo de dados audiovisuais pode parecer ter apenas um único fluxo elementar de áudio ou audiovisual para um item de conteúdo. Por exemplo, para o exemplo tipo MPEG, o fluxo de transporte pode aparecer para os circuitos de processamento como incluindo apenas um único fluxo elementar para todos os componentes de áudio (ou audiovisuais) para um item de conteúdo.
[00255] Entretanto, o fluxo de dados do item de conteúdo audiovisual pode compreender adicionalmente um identificador secundário para cada fluxo de dados audiovisuais individuais que tenha sido combinado no fluxo de dados audiovisuais comuns. O identificador secundário é único dentro do fluxo de dados audiovisuais comuns, isto é, dois fluxos (streams) de dados audiovisuais de um fluxo de dados audiovisuais comuns não terão o identificador secundário. Assim, o identificador secundário possibilita que o fluxo de dados audiovisuais individual seja identificado.
[00256] O identificador secundário pode ser, em muitas modalidades, um identificador de pacote. Dessa forma, em muitas modalidades, os pacotes individuais podem ser representados por um identificador de pacote primário comum e por um identificador de pacote secundário. Cada pacote pode incluir um campo no qual o identificador de pacote primário comum esteja compreendido e um segundo campo no qual o identificador secundário individual esteja compreendido.
[00257] Dessa maneira, os pacotes podem ser processados pelo circuito, como de-multiplexadores, roteadores etc., como se os pacotes representassem um único fluxo de dados audiovisuais. Especificamente, ao incluir o PID comum na PMT e o campo PID dos pacotes de dados para um fluxo de transporte do tipo MPEG, o fluxo de transporte pode ser processado como se compreendesse apenas um único fluxo elementar de áudio ou audiovisual. A funcionalidade pode simplesmente processar, por exemplo, todos os pacotes de dados de áudio para o item de conteúdo da mesma maneira, e como se houvesse apenas um único fluxo elementar. Entretanto, ao mesmo tempo, funcionalidade equipada de modo adequado é capaz de acessar os fluxos de dados audiovisuais individuais e processá-los como fluxos de dados audiovisuais separados.Especificamente, tal funcionalidade pode avaliar adicionalmente o campo que compreende o identificador secundário e pode, consequentemente, selecionar como processar o pacote de dados. Especificamente, ela pode decidir se ignora ou processa os pacotes de dados, dependendo do fluxo de dados audiovisuais ser necessário para proporcionar a renderização desejada do item de conteúdo.
[00258] Dessa forma, ao processar o fluxo de dados do item de conteúdo audiovisual, um receptor pode detectar os pacotes de dados corretos para um dado item de conteúdo com base no identificador de pacote primário/comum. Com base nas informações na tabela de mapa de item de conteúdo recebido, é possível, particularmente, identificar todos os pacotes de dados que pertencem ao fluxo de dados audiovisuais comuns e, assim, aos fluxos de dados audiovisuais individuais que formam o fluxo de dados audiovisuais comuns. Dessa forma, a extração de dados de áudio é baseada no identificador primário.
[00259] Em modalidades que usam tal abordagem de identificador de pacote em duas partes, o fluxo de transporte pode compreender dados adicionais que fornecem informações dos fluxos de dados audiovisuais individuais, incluindo informações dos identificadores secundários correspondentes e, geralmente, de características dos fluxos de dados audiovisuais individuais associados aos fluxos de dados audiovisuais individuais.
[00260] Por exemplo, podem ser fornecidos dados que, para um dado identificador primário, listam todos os identificadores secundários dos fluxos de dados audiovisuais que compartilham o mesmo identificador primário. Os dados podem indicar adicionalmente características do fluxo de dados audiovisuais individuais, como, por exemplo, se ele compreende dados de áudio obrigatórios, dados de áudio substituíveis, dados de áudio adicionais, dados de áudio alternativos etc.
[00261] Em algumas modalidades, tal informação pode ser fornecida dentro dos pacotes de dados do fluxo de dados audiovisuais comuns. Por exemplo, a intervalos regulares, pode ser fornecido um pacote de dados que inclua todas as informações referentes ao identificador secundário. Um receptor pode, inicialmente, detectar e extrair dados de todos os pacotes de dados compreendendo o identificador primário. Quando um pacote de dados com informações referentes ao uso do identificador secundário é recebido, essa informação pode ser extraída e usada pelo receptor para identificar os fluxos de dados audiovisuais individuais. Então, o mesmo pode comutar para considerar também os identificadores secundários dos pacotes de dados que compreendem o identificador de pacote primário e, especificamente, para extrair dados apenas de pacotes de dados que tenham os identificadores secundários desejados.
[00262] Em outras modalidades, os dados podem ser fornecidos fora do fluxo de dados audiovisuais comuns e, de fato, a informação pode ser fornecida na tabela de mapa de item de conteúdo.
[00263] Especificamente, para cada identificador comum ou primário, a tabela de mapa de item de conteúdo pode ser gerada para incluir uma pluralidade de identificadores de pacote secundários, onde cada identificador de pacote secundário identifica um fluxo de dados audiovisuais individuais dos fluxos de dados individuais do fluxo de dados audiovisuais comuns.
[00264] Por exemplo, em seguida à listagem do identificador primário, vários campos opcionais podem ser incluídos na tabela de mapa de item de conteúdo, onde cada campo opcional fornece um identificador secundário para um fluxo de dados audiovisuais individuais com o identificador primário comum. Se o identificador primário representar um único fluxo de dados audiovisuais que não seja uma combinação de fluxos de dados audiovisuais, nenhum campo opcional pode ser incluído. Cada campo opcional pode, em adição ao identificador de pacote secundário para um fluxo de dados audiovisuais individuais, compreender também metadados para o fluxo de dados audiovisuais, como dados que definem especificamente características dos dados audiovisuais do fluxo de dados audiovisuais (como, por exemplo, se contiver dados de áudio alternativos, dados de áudio obrigatórios, dados de áudio substituíveis ou dados de áudio adicionais).
[00265] Especificamente, a tabela de mapa de itens de conteúdo pode ser modificada ou gerada para cada identificador primário incluir um conjunto de campos, com cada campo representando um fluxo de dados audiovisuais individuais combinados. Cada campo pode compreender, por exemplo, dados que representam:
[00266] - um identificador secundário para o fluxo de dados audiovisuais individuais, e
[00267] - descritores para aquele fluxo de dados audiovisuais individuais.
[00268] Por exemplo, para uma abordagem tipo MPEG, a PMT pode compreender um único PID para todo o áudio para um item de conteúdo. Em seguida ao PID na PMT, pode haver um conjunto de campos que, para cada fluxo de dados audiovisuais individuais, forneça o identificador secundário e metadados que caracterizam o conteúdo daquele fluxo de dados audiovisuais individuais.
[00269] Em algumas modalidades, os identificadores primários/comuns e os identificadores de pacote secundários podem ser fornecidos em um arranjo hierárquico. Por exemplo, um identificador de pacote primário pode ser fornecido em uma tabela de mapa de itens de conteúdo em um primeiro nível que será examinado por um receptor que esteja procurando fluxos elementares. Os identificadores de pacote secundários podem ser fornecidos em campos opcionais que são ligados ao identificador de pacote primário, como, por exemplo, incluindo-se uma lista de identificadores de pacote secundário para cada identificador de pacote primário. Em tais modalidades, o receptor, consequentemente, primeiro realizará a varredura da lista padrão de identificadores de pacote primário. Quando o fluxo elementar combinado desejado for identificado, o receptor pode prosseguir através da lista de identificadores de pacote secundários que são armazenados no identificador de pacote primário identificado. Dessa forma, os identificadores de pacote secundários são identificados em dependência do identificador de pacote primário correspondente.
[00270] Dessa forma, em algumas modalidades, pode ser usada uma estrutura telescópica dos identificadores de pacote primário e secundário. Por exemplo, uma PMT pode incluir uma lista de PIDs em um conjunto de campos dedicados e a lista pode incluir, por exemplo, apenas um único PID primário para um fluxo elementar combinado. Entretanto, a PMT pode compreender, além disso, uma segunda lista de PIDs secundários para os fluxos elementares individuais do fluxo elementar combinado. Esses PIDs secundários são fornecidos em campos de dados dedicados para PIDs secundários e são ligados ao PID primário. Dessa forma, o receptor só acessará os PIDs secundários com base no PID primário, e, de fato, o receptor diferenciará os PIDs primários e PIDs secundários.
[00271] Entretanto, em outras modalidades, pode ser usada uma estrutura plana de identificadores de pacote primário e secundário. De fato, uma tabela de mapa de itens de conteúdo pode compreender uma lista de identificadores que pode conter tanto identificadores primários quanto secundários. Na verdade, a tabela de mapa de itens de conteúdo pode incluir lista simples de todos os possíveis fluxos de dados audiovisuais, incluindo tanto fluxos de dados audiovisuais combinados quanto fluxo de dados audiovisuais individuais. Além do mais, um dado fluxo de dados audiovisuais individuais pode ser representado pelo identificador de pacote secundário para o fluxo de dados audiovisuais individuais e pode também ser representado pelo identificador de pacote primário (isto é, a seleção de um ou outro identificador de pacote resultará na seleção do fluxo de dados audiovisuais). De fato, para cada fluxo de dados audiovisuais individuais, a tabela de mapa de itens de conteúdo pode incluir uma entrada para o identificador de pacote primário de qualquer fluxo de dados audiovisuais combinados a que o fluxo de dados audiovisuais individuais pertencer, assim como o identificador de pacote secundário para o fluxo individual. Dessa forma, neste exemplo, uma lista pode compreender, por exemplo, uma entrada com um identificador de pacote para todos os fluxos de dados audiovisuais, incluindo tanto fluxos de dados audiovisuais combinados quanto individuais.
[00272] Consequentemente, em algumas modalidades, os identificadores de pacote secundários podem ser encapsulados em dados ligados a um identificador de pacote primário, enquanto em outras modalidades, o identificador de pacote secundário pode ser fornecido em paralelo aos identificadores de pacote primários. Um identificador de pacote primário pode, consequentemente, ser qualquer identificador que forneça um identificador de pacote a um fluxo de dados audiovisuais combinado que compreenda uma pluralidade de fluxos de dados audiovisuais. Um identificador de pacote secundário pode ser qualquer identificador de pacote para um fluxo de dados audiovisuais individuais e não precisa estar encapsulado, embutido ou ser dependente de um identificador de pacote primário.
[00273] Por exemplo, ao invés de embutir informações dos identificadores de pacote secundários em dados para um identificador de pacote primário simples, a tabela de mapa de itens de conteúdo pode ser gerada de modo a incluir todos os possíveis identificadores de pacotes em um enlace/sequência. Em tais modalidades, o receptor pode simplesmente selecionar o identificador de pacote que corresponde ao dado específico que é necessário e pode escolher, por exemplo, selecionar um fluxo de dados audiovisuais combinado simples ou um fluxo de dados audiovisuais individuais simplesmente por meio da seleção do identificador de pacote adequado a partir da lista.
[00274] Em tais modalidades, o receptor 1401 pode ser disposto, especificamente, para selecionar o áudio desejado por meio da seleção dos identificadores de pacote necessários, ao invés de meramente transmitir todas as informações de áudio em um único fluxo combinado.
[00275] A abordagem pode combinar propriedades e características de ter um único fluxo de dados audiovisuais com aquelas de ter uma pluralidade de fluxos de dados audiovisuais em um fluxo de transporte.
[00276] Isso pode fornecer uma vantage significativa, já que um lote de equipamentos no campo não é capaz de lidar, de maneira confiável, com múltiplos fluxos de dados audiovisuais.
[00277] A Figura 14 ilustra um exemplo de um aparelho de recepção que compreende um receptor 1401 acoplado a um decodificador de áudio 1403. No exemplo, o receptor 1401 recebe o fluxo de dados de item de conteúdo audiovisual e é capaz de processá-lo para extrair, por exemplo, vários fluxos de dados audiovisuais. Dessa forma, o receptor 1401 pode receber um fluxo de transporte e pode ser disposto de modo a processar isso para gerar, por exemplo, fluxos de dados elementares de áudio e vídeo individuais. O receptor 1401 pode corresponder especificamente diretamente ao receptor 1401 da Figura 4.
[00278] O decodificador de áudio 1403 é disposto de modo a receber um ou mais fluxos de dados, compreendendo dados de áudio, e para gerar um sinal de áudio de saída a partir desses dados de áudio. O decodificador de áudio 1403 pode compreender especificamente funcionalidade para receber os dados de áudio a partir dos fluxos (streams) de dados audiovisuais do fluxo de dados do item de conteúdo. Como tal, o decodificador de áudio 1403 pode compreender especificamente a funcionalidade de extrair dados de áudio obrigatórios de um fluxo elementar, para recuperar dados de áudio alternativos do mesmo ou de um outro fluxo elementar, para substituir dados de áudio substituíveis recebidos pelos dados alternativos, e para gerar o sinal de áudio a partir dos dados de áudio resultantes.
[00279] Especificamente, o decodificador de áudio 1403 pode compreender os blocos restantes da Figura 4 e pode compreender, especificamente, os extratores de dados 403, 405, 407, as unidades de decodificação 409, 411, 413 e o substituidor/combinador 415.
[00280] No exemplo da Figura 14, o decodificador de áudio 1403 pode ser dotado de diferentes fluxos de dados audiovisuais/fluxos de dados elementares, onde cada fluxo é um fluxo de áudio que compreende diferentes dados de áudio. Entretanto, em muitas modalidades, o receptor 1401 pode ser disposto de modo a gerar um fluxo de dados simples que compreende todos os dados de áudio, e alimentar esse fluxo de dados ao decodificador de áudio 1403. O receptor 1401 pode combinar, por exemplo, os fluxos elementares de áudio em um único fluxo de áudio combinado que compreende diferentes fluxos elementares. Em alguns cenários, o fluxo de áudio combinado único pode compreender ainda os fluxos de dados audiovisuais individuais, por exemplo, os fluxos de dados audiovisuais individuais podem ser encapsulados em um único fluxo de dados. Em outros cenários, o receptor 1401 pode extrair, por exemplo, os dados de áudio relevantes e combiná- los em um fluxo de dados de áudio sem incluir todos os aspectos dos fluxos de dados audiovisuais de entrada. Por exemplo, o receptor 1401 pode gerar um novo fluxo de dados que compreende diferentes dados de controle, sintaxe e/ou estrutura para o fluxo de dados. Em alguns casos, os dados de áudio podem ser combinados em um novo fluxo de dados audiovisuais, isto é, um novo fluxo elementar. Esta combinação de fluxo de dados audiovisuais/fluxo elementar pode compreender o fluxo elementar original do fluxo de transporte recebido ou pode incluir alguns ou todos os dados de áudio em um fluxo elementar independente. Por questão de brevidade, a descrição a seguir fará referência, principalmente, a fluxos de transporte e fluxos elementares, ao invés de a fluxos de dados de áudio de item de conteúdo audiovisual e fluxos de dados audiovisuais. Além do mais, a descrição fará referência a um cenário onde o receptor 1401 gera um único fluxo elementar para o decodificador de áudio 1403.
[00281] Dessa forma, o decodificador de áudio 1403 receberá um fluxo elementar de áudio e gerará o fluxo de áudio de saída.
[00282] Em muitas implementações práticas, um receptor e decodificador são blocos funcionais relativamente independentes e separados, ao invés de funções intimamente integradas. De fato, em muitos cenários, as duas entidades podem ser designadas e desenvolvidas de modo independente e separado. Por exemplo, para muitos dispositivos de renderização de conteúdo, os decodificadores de áudio são decodificadores genéricos que são reutilizados para muitos dispositivos diferentes. Por exemplo, muitos fabricantes de dispositivos de renderização de conteúdo podem adquirir funções de decodificador de áudio ao invés de desenvolvê-las internamente.
[00283] Consequentemente, a interface entre o receptor 1401 e o decodificador de áudio 1403 tem importância crítica em muitos cenários e é desejável utilizar uma abordagem simples e padronizada, ou ao menos comum, ao invés de confiar, por exemplo, em interface e controle dedicados e particulares.
[00284] Tradicionalmente, considerou-se um decodificador de áudio na estrutura de um dispositivo relativamente simples que recebe um fluxo de bits que é decodificado de acordo com o padrão de decodificação implementado pelo decodificador de áudio e sem qualquer outra modificação ou interação pelo circuito externo. Tal abordagem pode ser usada, por exemplo, na modalidade da Figura 4, onde cada uma das unidades de decodificação 409 a 413 é alimentada com um fluxo elementar simples, a partir do qual a mesma gera um sinal de áudio que pode ser combinado, subsequentemente, pelo combinador 415, de acordo com as preferências de áudio específicas para a renderização específica, e especificamente o sinal de saída pode ser gerado com base nos dados de áudio substituíveis ou dados alternativos, conforme exigido, por exemplo, pelo usuário específico.
[00285] Em algumas modalidades, o aparelho pode usar um decodificador de áudio mais complexo 1403 que pode receber, especificamente, um ou mais fluxos elementares de áudio e, a partir disso, gerar o áudio de saída pela manipulação, por exemplo, dos dados antes da decodificação do sinal de áudio. Por exemplo, o decodificador de áudio 1403 pode, em tais modalidades, selecionar os dados adequados a serem usados antes da execução da decodificação real. Dessa forma, os dados de áudio que não são usados podem não ser decodificados e, de fato, podem nem mesmo ser extraídos do(s) fluxo(s) de dados fornecido(s) ao decodificador de áudio 1403. Por exemplo, os dados de áudio substituíveis que são substituídos por dados alternativos, podem não ser decodificados ou nem mesmo extraídos. De modo similar, dados de áudio alternativos que não são usados ou dados de áudio alternativos que não são usados para substituir dados de áudio substituíveis, podem não ser decodificados ou extraídos.
[00286] Dessa forma, em algumas modalidades, a substituição de dados de áudio substituíveis por dados de áudio alternativos pode não ser realizada pela adaptação de uma combinação de sinais de áudio decodificados, mas, ao invés disso, pode ser realizada por meio da seleção de dados de áudio alternativos para decodificar, em vez de selecionar os dados de áudio substituíveis. Nesse caso, o sinal de saída pode ser gerado, por exemplo, por decodificação apenas dos dados de áudio obrigatórios e dados de áudio alternativos, e soma dos sinais de áudio resultantes.
[00287] Tal abordagem pode, em muitos cenários, fornecer uma operação mais eficiente. Entretanto, ela requer que o decodificador seja capaz de se adaptar aos requisitos e preferências específicas do cenário individual. Além do mais, requer que o decodificador seja capaz de processar uma pluralidade de diferentes componentes de áudio e se adaptar a eles de uma maneira flexível. Especificamente, ao invés do decodificador de áudio meramente renderizar todos os dados de áudio recebidos, o mesmo precisa ser capaz de combinar, de modo flexível, diferentes objetos de áudio e, especificamente, substituir alguns objetos de áudio por outros objetos.
[00288] Entretanto, de modo a conseguir isso, é necessário que o receptor instrua o decodificador de áudio 1403 sobre como processar os dados de áudio fornecidos ao mesmo. Uma possibilidade é implementar uma interface exclusiva, na qual o receptor 1401 esteja disposto de modo a gerar vários sinais de controle que controlem o decodificador de áudio 1403 para executar as operações necessárias. Entretanto, tal abordagem tende a resultar em modalidades complexas e exigir que seja usado um decodificador dedicado e exclusivo.
[00289] No sistema da Figura 14, o decodificador de áudio 1403 é disposto de modo a ser controlado pelo receptor 1401 gerando um fluxo de dados audiovisuais que inclui os dados de áudio, e que inclui adicionalmente um descritor de processamento de dados de áudio que indique como dados de áudio diferentes devem ser processados pelo decodificador de áudio 1403. No exemplo, o receptor 1401 gera, especificamente, um único fluxo de dados audiovisuais que compreende todos os dados de áudio que podem ser usados, potencialmente, pelo decodificador de áudio 1403 e, possivelmente, todos os dados de áudio compreendidos no fluxo de transporte de entrada para o dado item de conteúdo. Além disso, o mesmo fluxo de dados audiovisuais compreende decodificar/processar dados de controle que possibilitem ao decodificador de áudio 1403 adaptar a decodificação/processamento e, especificamente, a combinação de objetos de áudio às preferências específicas para essa renderização. Dessa forma, no sistema da figura 14, o receptor 1401 adiciona um descritor de controle na forma de um descritor de processamento de dados de áudio ao fluxo elementar de áudio alimentado no fluxo de dados audiovisuais, e o decodificador de áudio 1403 interpreta esse descritor de processamento de dados de áudio para controlar sua tarefa de decodificação.
[00290] Em mais detalhes, no exemplo da Figura 14, o receptor 1401 recebe um fluxo de transporte que compreende uma pluralidade de fluxos elementares que inclui vários fluxos elementares de áudio para um dado item de conteúdo. O receptor 1401 extrai um ou mais dos fluxos elementares de áudio e gera um ou mais fluxos elementares de saída a partir dessa extração. Especificamente, com base no primeiro fluxo de dados audiovisuais, que pode ser, especificamente, um primeiro fluxo elementar compreendendo dados de áudio obrigatórios e dados de áudio substituíveis para um primeiro item de conteúdo, o receptor 1401 pode gerar um segundo fluxo de dados audiovisuais que pode ser, especificamente, um segundo fluxo elementar compreendendo os dados de áudio obrigatórios e os dados de áudio substituíveis do primeiro fluxo de dados audiovisuais. Além disso, o segundo fluxo de dados audiovisuais/fluxo elementar pode compreender dados de áudio de um outro fluxo elementar de entrada, como, por exemplo, de um fluxo elementar que compreende dados de áudio alternativos.
[00291] Além disso, o receptor 1401 gera um descritor de processamento de dados de áudio que é indicativo de como o decodificador de áudio 1403 deve gerar o sinal de áudio de saída a partir dos dados de áudio do segundo fluxo elementar. O descritor de processamento de dados de áudio está incluído no segundo fluxo elementar. Por exemplo, o segundo fluxo elementar pode ser gerado de modo a compreender um ou mais campos compreendendo dados que descrevem como os componentes de áudio individuais devem ser processados, e especificamente, como (se) eles devem ser decodificados e combinados com outros componentes de áudio.
[00292] Então, o receptor 1401 alimenta o segundo fluxo elementar no decodificador de áudio 1403. O decodificador de áudio 1403 prossegue extraindo o descritor de processamento de dados de áudio a partir do segundo fluxo de dados audiovisuais e gerando um sinal de áudio em resposta ao descritor de processamento de dados de áudio.
[00293] O descritor de processamento de dados de áudio pode definir quais componentes de áudio devem ser combinados entre si para gerar o sinal de saída e, consequentemente, o decodificador de áudio 1403 pode recuperar, especificamente (apenas), os componentes de áudio indicados, decodificá-los e finalmente somá-los.
[00294] Em algumas modalidades, o receptor 1401 pode incluir uma pluralidade de descritores de processamento de dados de áudio, sendo que cada um dos descritores de processamento de dados de áudio processa descritores que fornecem indicações de processamento a um subconjunto dos componentes de áudio do segundo fluxo elementar. Em algumas modalidades, pode ser fornecido um descritor de processamento de dados de áudio para cada componente de áudio, sendo que o descritor de processamento de dados de áudio descreve especificamente se o componente de áudio correspondente é dado de áudio obrigatório, dado de áudio substituível ou dado de áudio alternativo. Os descritores de processamento de dados de áudio podem descrever, adicionalmente, se, na verdade, um componente de áudio alternativo deve substituir ou não um dado componente de áudio substituível.
[00295] Como um exemplo específico, pode ser fornecido um descritor de processamento de dados de áudio para um dado componente de áudio para indicar se ele deve ser tratado como dado de áudio alternativo ou dado adicional. Dado de áudio alternativo é o dado que substituirá algum dado de áudio substituível, enquanto que dado adicional é o dado que é somado ao dado de áudio substituível.
[00296] Por exemplo, o fluxo de entrada no receptor 1401 pode compreender um fluxo elementar que compreende o primeiro dado de áudio para um dado primeiro componente de áudio. Em algumas situações de renderização, pode-se desejar que o primeiro componente de áudio substitua um segundo componente de áudio do fluxo de transporte de entrada. Dessa forma, nesse caso, o primeiro dado de áudio representa dado de áudio alternativo para um componente de áudio alternativo que é renderizado ao invés do segundo componente de áudio, que é um componente de áudio substituível. Entretanto, em outros cenários, pode ser desejável que o primeiro componente de áudio seja renderizado junto com o segundo componente de áudio, isto é, que ambos os componentes de áudio sejam renderizados em conjunto.
[00297] No primeiro caso, um descritor de processamento de dados pode ser incluído no segundo fluxo elementar pelo receptor 1401 para indicar se o primeiro dado de áudio é, na verdade, dado de áudio alternativo que deve substituir o segundo dado de áudio. Entretanto, no último caso, pode ser incluído um descritor de processamento de dados de áudio pelo receptor 1401 para indicar que o primeiro dado de áudio é, ao invés disso, dado de áudio adicional que deve ser somado ao segundo dado de áudio, isto é, que ambos os componentes de áudio devem ser extraídos e renderizados. Dessa forma, nesse caso, é inserido um descritor de processamento de dados de áudio para o primeiro dado de áudio indicando se é designado como dado de áudio alternativo ou dado de áudio adicional.
[00298] O decodificador de áudio 1403 processará os dados de acordo com os descritores de processamento de dados de áudio recebidos. No exemplo específico, se o descritor de processamento de dados de áudio indicar que o primeiro dado de áudio é designado como dado de áudio alternativo, o decodificador de áudio 1403 prossegue para extrair o primeiro dado de áudio e tratá-lo como dado de áudio alternativo. Além do mais, o mesmo substitui o dado de áudio substituível, na forma do segundo dado de áudio, por esse primeiro dado de áudio extraído. A substituição pode ser conseguida, especificamente, decodificando-se apenas o primeiro dado de áudio, enquanto que o segundo dado de áudio não é extraído e nem decodificado. Sendo assim, o primeiro componente de áudio é gerado e incluído no sinal de áudio de saída.
[00299] Entretanto, se o descritor de processamento de dados de áudio indicar que o primeiro dado de áudio é designado como dado de áudio adicional, o decodificador de áudio 1403 prossegue para extrair tanto o primeiro dado de áudio quanto o segundo dado de áudio. Além do mais, tanto o primeiro dado de áudio quanto o segundo dado de áudio são decodificados para gerar o primeiro componente de áudio e o segundo componente de áudio. Ambos são então combinados no sinal de saída.
[00300] Em tais modalidades, o receptor 1401 pode, consequentemente, controlar a operação do decodificador de áudio 1403, e, especificamente, pode controlar qual dado de áudio contribui para o sinal de saída e qual é ignorado. A abordagem possibilita um controle de baixa complexidade e pode possibilitar que um decodificador de áudio 1403 exija apenas um fluxo de dado de entrada para gerar a saída de áudio desejada.
[00301] A abordagem pode possibilitar adicionalmente, por exemplo, que todos os dados de áudio do fluxo de transporte (para um dado item de conteúdo) sejam incluídos no segundo fluxo de dados audiovisuais fornecido ao decodificador de áudio 1403, enquanto, ao mesmo tempo, possibilita que esses dados sejam usados de modo flexível, e enquanto ainda especificamente possibilita que seja gerado um sinal de saída que inclui apenas um subconjunto dos componentes de áudio. Os componentes de áudio podem ser selecionados de modo flexível pelo receptor 1401 através de dados incluídos no próprio segundo fluxo de dados audiovisuais.
[00302] O receptor 1401 pode gerar, por exemplo, um descritor de processamento de dados de áudio que é indicativo do dado de áudio ser ou não dado de áudio dentre o grupo de:dados de áudio obrigatórios; dados de áudio substituíveis; dados de áudio alternativos; e dados de áudio adicionais;
[00303] Em algumas modalidades, um subconjunto ou superconjunto desse grupo pode ser usado.
[00304] O descritor de processamento de dados de áudio para um dado item de conteúdo pode ser gerado, por exemplo, em resposta a uma preferência de renderização para o dispositivo específico, ou, por exemplo, em resposta a dados inseridos pelo usuário.
[00305] Como um exemplo, um fluxo de transporte recebido pode compreender um componente de áudio de fundo obrigatório, um componente de áudio em idioma inglês, um componente de áudio de fundo alemão e um componente de fundo secundário. O usuário pode selecionar quais componentes de áudio são desejados e os descritores de processamento de dados de áudio podem ser gerados para refletir os componentes de áudio selecionados, de modo que esses sejam extraídos e decodificados pelo decodificador de áudio 1403.
[00306] Em algumas modalidades, os descritores de processamento de dado de áudio podem ser gerados pelo receptor 1401 sem contar com qualquer descritor de processamento de dado de áudio predeterminado, e especificamente, sem contar com qualquer descritor de processamento de dados de áudio do fluxo de transporte recebido.
[00307] Entretanto, em outras modalidades, os descritores de processamento de dados de áudio do segundo fluxo elementar são gerados a partir de descritores de processamento de dados de áudio como parte do fluxo de dados do item de conteúdo audiovisual recebido, isto é, como parte do fluxo de transporte recebido.
[00308] Especificamente, o receptor 1401 pode estar disposto de modo a gerar um primeiro descritor de processamento de dados de áudio a partir de um segundo descritor de processamento de dados de áudio recebido no fluxo de transporte. Dessa forma, para um dado fluxo elementar de áudio do fluxo de transporte de entrada, o fluxo de transporte pode incluir um ou mais descritores de processamento de dados de áudio que indiquem como os dados de áudio do fluxo elementar de áudio deve ser decodificado pelo decodificador de áudio 1403.
[00309] Por exemplo, um dado fluxo elementar de áudio pode compreender dados de áudio alternativos que destinam-se a substituir dados de áudio substituíveis. Por exemplo, o fluxo elementar pode compreender diálogo em alemão que deve substituir o componente de áudio de diálogo padrão, como, por exemplo, um componente de áudio de diálogo em inglês. Consequentemente, o fluxo de transporte de entrada pode incluir um descritor de processamento de dados de áudio que defina que esses dados de áudio devem ser tratados como dados de áudio substituíveis e que eles devem substituir outros dados de áudio de diálogo. O fluxo de transporte pode incluir outros fluxos elementares de áudio de diálogo e, para cada um desses, o fluxo de transporte pode incluir também um descritor de processamento de dados de áudio.
[00310] Dessa forma, nesse exemplo, o aparelho que gera o fluxo de transporte, como, por exemplo, o aparelho da Figura 3, pode, ainda, ser disposto de modo a gerar descritores de processamento de dados de áudio que indicam como os dados de áudio correspondentes devem ser, ou podem ser, processados. Por exemplo, pode ser incluído um descritor de processamento de dados de áudio para cada componente de áudio de diálogo que indique que essa trilha pode ser selecionada e que, caso isso corra, deve substituir todos os outros componentes de áudio de diálogo.
[00311] Os descritores de processamento de dados de áudio são incluídos no fluxo de transporte, por exemplo, no mapa de programa para o item de conteúdo, ou possivelmente nos pacotes de dados individuais para o fluxo elementar individual.
[00312] Em particular, em muitas modalidades, o descritor de processamento de dados de áudio pode, no lado de geração do fluxo de transporte, ser incluído na tabela de mapa de programa para o item de conteúdo. Como um exemplo específico, para cada fluxo elementar de áudio, a tabela de mapa de programa pode incluir não apenas o identificador de pacote para o fluxo elementar como também um ou mais descritores de processamento de dados de áudio que indicam como os dados de áudio devem ser decodificados. Isso pode possibilitar que a fonte controle e descreva como o conteúdo pode e/ou deve ser decodificado e renderizado.
[00313] O receptor 1401 pode, ao receber tal fluxo de transporte, gerar o segundo fluxo elementar e alimentá-lo no decodificador de áudio 1403, sendo que o segundo fluxo elementar compreende descritores de processamento de dados de áudio que são gerados a partir daqueles do fluxo de transporte de entrada e que descrevem como os dados de áudio específicos devem ser decodificados e renderizados na situação específica.
[00314] Os descritores de processamento de dados de áudio do segundo fluxo elementar são gerados a partir dos descritores de processamento de dados de áudio recebidos. Esse processo pode, em algumas modalidades, ser um processo complexo que avalia os descritores de processamento de dados de áudio recebidos e, a partir disso, gera novos descritores de processamento de dados de áudio que refletem um processamento específico.
[00315] Entretanto, em muitas modalidades, o receptor 1401 pode ser disposto de modo a simplesmente copiar os descritores de processamento de dados de áudio do fluxo de transporte para o segundo fluxo elementar.
[00316] Especificamente, os descritores de processamento de dados de áudio do fluxo de entrada que descrevem um processamento ou, especificamente, quais os dados de áudio que são desejados para a renderização, podem ser copiados do fluxo de transporte de entrada para o segundo fluxo elementar.
[00317] Por exemplo, se o dado de áudio for um dado componente de áudio ou fluxo elementar de áudio que se deseja renderizar, o receptor 1401 pode simplesmente copiar o descritor de processamento de dados de áudio para esse componente de áudio ou fluxo elementar de áudio para o segundo fluxo elementar. Por exemplo, caso se deseje que a trilha de áudio do diálogo em alemão seja renderizada, o receptor 1401 pode copiar o descritor de processamento de dado de áudio para o fluxo elementar de diálogo em alemão (junto com os dados de áudio) para o segundo fluxo elementar. Consequentemente, o segundo fluxo elementar conterá um descritor de processamento de dados de áudio que faz com que o decodificador de áudio 1403 substitua os dados de áudio substituíveis do diálogo em inglês por aqueles do diálogo em alemão.
[00318] Caso não seja necessário que o dado de áudio seja renderizado, por exemplo, se o usuário preferir o diálogo em inglês, o receptor 1401 pode não copiar o descritor de processamento de dados de áudio para o fluxo elementar de diálogo em alemão para o segundo fluxo elementar. Em tais modalidades, o decodificador de áudio 1403 pode ser disposto, por exemplo, para ignorar ou descartar dados de áudio para os quais nenhum descritor de processamento de dados de áudio está incluído no fluxo elementar inserido no decodificador de áudio 1403.
[00319] Em algumas modalidades, a fonte pode ser disposta para gerar um fluxo de transporte que compreende uma pluralidade de possíveis descritores de processamento de dados de áudio para um dado fluxo elementar de áudio. A pluralidade de possíveis descritores de processamento de dados de áudio pode descrever, por exemplo, as diferentes possíveis maneiras dos dados de áudio do fluxo elementar podem serem usados. Por exemplo, se o componente de áudio puder ser renderizado tanto junto com, como ao invés de, um outro componente de áudio, o fluxo de transporte pode compreender um descritor de processamento de dado de áudio indicando que o dado é dado de áudio alternativo e um descritor de processamento de dado de áudio indicando que o dado é dado de áudio adicional. Dessa forma, cada um dos possíveis descritores de processamento de dado de áudio pode descrever um processamento permitido do dado de áudio correspondente.
[00320] Em tais modalidades, o receptor 1401 pode extrair, por exemplo, a pluralidade de possíveis descritores de processamento de dados de áudio para os dados de áudio. Com base na renderização desejada (por exemplo, com base nas seleções de idioma de um usuário), o receptor 1401 pode prosseguir para selecionar um dos descritores de processamento de dados de áudio que corresponda à renderização desejada. Esse descritor de processamento de dado de áudio pode então ser copiado para o segundo fluxo elementar, enquanto os outros descritores de processamento de dados de áudio podem ser ignorados.
[00321] No exemplo descrito, o descritor de processamento de dado de áudio pode ser considerado a corresponder ao uso de um token, encontrado no fluxo de transporte de entrada, a ser injetado no fluxo de dados para o decodificador de áudio 1403, e usado como comando para tal. O descritor de processamento de dado de áudio pode compreender uma indicação do processamento necessário do dado de áudio pelo decodificador de áudio 1403.
[00322] Essa abordagem pode resultar em uma maneira mais genérica e aberta de se implementar uma interface em um decodificador de áudio 1403. Pode possibilitar também processamento de baixa complexidade. Como uma vantagem significativa específica, o receptor 1401 simplesmente precisa selecionar que a renderização é desejada e então copiar o descritor de processamento de dado de áudio correspondente do fluxo de transporte de entrada para o segundo fluxo elementar. Não é necessário se considerar, ou, na verdade, se ter qualquer conhecimento de, como o processamento real é executado pelo decodificador de áudio 1403. Ao invés disso, o decodificador de áudio 1403 interpreta e executa o processamento definido pelo descritor de processamento de dado de áudio.
[00323] Isso é muito vantajoso, já que a alternativa de criar uma interface com o decodificador de áudio 1403 exige que o receptor 1401 compreenda, não apenas a escolha mas também o conceito de “substituição”, a saber, que os objetos nesse fluxo precisam substituir objetos no fluxo principal. Um receptor 1401 que apenas passa adiante cópias de descritores de processamento de dados de áudio tem que entender apenas que uma seleção foi feita. Isso implica em que a ação descrita pelos descritores de processamento de dados de áudio pode ser arbitrariamente complexa, e muda constantemente e melhora ao longo do tempo, porque tudo o que o receptor 1401 tem que fazer é copiar os descritores de processamento de dados de áudio relevantes. O receptor 1401 não precisa entender quais comandos exclusivos serão necessários para executar a ação complexa acoplada à inclusão de um dado fluxo no fluxo total.
[00324] Exemplos específicos de uma operação que usa descritores de processamento de dados de áudio são fornecidos nas Figuras 15 e 16 para um fluxo de transporte MPEG (modificado). Nos exemplos, os descritores de processamento de dados de áudio são referidos como “3D AD” e “3D Descritor de Áudio”. Nos exemplos, o segundo fluxo de dados audiovisuais/fluxo elementar é gerado como um MPEG-H Audio Stream (MHAS).
[00325] A descrição anterior fornece uma série de exemplos de abordagens que tratam da distribuição eficiente de áudio em fluxos de dados de item de conteúdo audiovisual e, especificamente, da distribuição de conteúdo de áudio em tais fluxos de dados.
[00326] Ao decidir sobre uma abordagem para distribuição de conteúdo de audiovisual, o projetista é confrontado com muitos desafios técnicos diferentes e, muitas vezes, conflitantes. Especificamente, deseja-se que a taxa de dados seja tão baixa quanto possível, ao mesmo tempo em que a qualidade seja mantida tão alta quanto possível. Um outro “acordo” está entre o desejo de fornecer uma representação de dados que seja muito simples de se processar e renderizar por um receptor, mas que ainda forneça um alto grau de flexibilidade para o receptor personalizar a renderização dos dados. Para sustentar tal flexibilidade, pode ser necessária uma estrutura e organização de fluxo de dados cada vez mais complexa, mas isso também tende a exigir processamento mais complexo no lado do receptor.
[00327] Dessa forma, a questão de como dividir, estruturar e organizar dados em fluxos de dados audiovisuais é um problema técnico crítico e difícil que requer várias compensações técnicas.
[00328] As abordagens descritas anteriormente tratam desse problema e buscam fornecer uma compensação aprimorada entre diferentes características, requisitos e preferências para várias aplicações.
[00329] As abordagens utilizam uma abordagem mais flexível do que os fluxos de dados MPEG tradicionais, sendo que todo áudio para uma representação de áudio é fornecido, geralmente, em um único fluxo elementar. De fato, um fluxo de dados MPEG convencional é organizado como um fluxo de transporte que compreende uma pluralidade de fluxos elementares, onde cada fluxo de dados elementar compreende um componente de vídeo ou áudio. Os dados nos fluxos de transporte MPEG são estruturados em fluxos elementares e são definidos dois possíveis fluxos elementares de áudio. Um é um fluxo de dados elementar que fornece uma representação de áudio completa para um item de conteúdo, isto é, um componente de áudio correspondente à plataforma de som inteira é fornecido em um único fluxo elementar. A outra opção é para um fluxo elementar de áudio incluir dados de áudio para um componente de som adicional que pode ser combinado com/adicionado a um componente de áudio completo (representação total).
[00330] A abordagem de MPEG tem a vantagem significativa de ter baixa complexidade e o conteúdo poder ser renderizado com base em processamento de baixa complexidade. Na verdade, identificar e extrair os dados de áudio necessários para um dado item de conteúdo geralmente requer apenas que um fluxo de dados elementar seja identificado e extraído do fluxo de transporte, e geralmente exige apenas que um componente de áudio seja decodificado.
[00331] A MPEG fornece alguma flexibilidade ao possibilitar que o áudio seja complementado por componentes de áudio adicionais. Esses componentes de áudio adicionais são componentes de áudio adicionais que podem ser ignorados ou podem ser combinados com/adicionados a um componente de áudio completo. Entretanto, nenhuma outra opção é possível, isto é, os componentes de áudio são componentes de áudio adicionais que não podem substituir os dados de áudio para a representação completa.
[00332] Dessa forma, para um fluxo de transporte MPEG convencional, os dados de áudio ou são designados como dados de áudio completos, fornecidos individual e separadamente em um único fluxo de dados elementar, ou são designados como dados de áudio adicionais, também fornecidos em um fluxo elementar separado. Consequentemente, cada fluxo elementar fornece um tipo de dado de áudio que, ou pode ser renderizado diretamente, ou adicionado a um componente de áudio completo.
[00333] A abordagem MPEG fornece um fluxo de dados com uma representação de dados compacta e baixa sobrecarga de dados que possibilita processamento com baixa complexidade por um receptor. Na verdade, o receptor só precisa considerar um PID (Packet IDentifier) de pacotes de dados para encontrar e extrair apenas os dados de áudio que são necessários, isto é, há uma correspondência direta entre o tipo de dados de áudio e a identificação do fluxo elementar. Entretanto, um inconveniente da abordagem reside em que a flexibilidade de renderização de áudio é baixa, e é essencialmente limitada à possibilidade de adicionar opcionalmente áudios adicionais a uma outra forma de representação de áudio completa.
[00334] Nos últimos anos, propôs-se introduzir objetos de áudio. Ao invés de fornecer um componente de áudio que corresponda a toda a plataforma/cena de som, a abordagem é baseada em fornecer, ao invés disso, um grande número de objetos de áudio individuais que correspondam, cada um, a uma única fonte de som na cena de áudio. Consequentemente, o renderizador final pode criar uma dada cena de som ao decodificar individualmente cada objeto de áudio, posicionar o objeto na cena de som, gerar os sinais de áudio espaciais adequados, combinar os objetos de áudio e, finalmente, renderizar os sinais combinados.
[00335] Tal abordagem fornece um alto grau de flexibilidade ao áudio renderizado e proporciona ao receptor um alto grau de liberdade. Entretanto, exige um processamento muito complexo no receptor. Na verdade, o processamento necessário para renderizar dados de áudio é complexo e, além disso, a complexidade e o processamento necessários para identificar e extrair os dados de áudio necessários e desejados, assim como determinar como os dados de áudio podem ser usados na renderização, são muito complexos. A abordagem também resulta em uma grande sobrecarga de dados a fim de fornecer as informações necessárias para identificar a distribuição de dado no fluxo de dados.
[00336] As abordagens anteriormente descritas são direcionadas a fornecerem uma compensação diferente, e, para muitos cenários, aprimorada entre complexidade, sobrecarga de dados e flexibilidade na distribuição de itens de conteúdo, em relação às abordagens fornecidas por um fluxo de transporte MPEG convencional ou um fluxo de transporte de objeto de áudio.
[00337] As abordagens são baseadas em um fluxo de dados inovador que compreende tipos de dados de áudio diferentes daqueles do fluxo de transporte convencional, e que tem uma organização diferente desses dados no fluxo de dados.
[00338] De modo similar às abordagens MPEG tradicionais, as abordagens são baseadas em fluxo de dados do item de conteúdo audiovisual (fluxo de transporte) que compreende uma pluralidade de fluxos de dados audiovisuais individuais compreendendo componentes audiovisuais (chamados de fluxos elementares) para um item de conteúdo audiovisual.
[00339] Entretanto, as abordagens são baseadas em fluxos de dados elementares que podem fornecer, cada um, dados de áudio suficientes para uma representação de áudio para o conteúdo, mas que compreendem diferentes tipos de dados de áudio. Dessa forma, o fluxo de transporte é disposto de modo a incluir um fluxo elementar que compreende diferentes tipos de dados de áudio. Na verdade, alguns dos dados de áudio desse fluxo elementar são projetados para serem dados de áudio obrigatórios para a representação de áudio. Os dados de áudio obrigatórios precisam ser renderizados quando a representação de áudio é apresentada. Outros dados do fluxo de dados elementar são designados como dados de áudio substituíveis. Esses dados de áudio substituíveis são dados de áudio para a representação de áudio, mas são dados de áudio que o receptor tem permissão para substituir por outros dados (alternativos).
[00340] Dessa forma, nas abordagens, é fornecido um único fluxo elementar com diferentes tipos de dados para uma dada representação de áudio, a saber, com alguns dados que são designados como dados de áudio obrigatórios que precisam ser renderizados quando a representação de áudio é apresentada, e com outros dados que são designados como dados de áudio substituíveis que podem ser substituídos/ou repostos por outros dados.
[00341] Consequentemente, nas abordagens, um fluxo de transporte fornece uma representação de áudio na qual diferentes tipos de dados de áudio para a representação de áudio são fornecidos dentro de um único fluxo de dados elementar. Além do mais, os dados são especificamente designados como dados que precisam ser apresentados/renderizados (quando a representação de áudio correspondente é apresentada/renderizada) ou dados que podem ser trocados/substituídos por outros dados. Os dados de áudio substituíveis são dados que são designados como sendo possíveis de serem trocados por outros dados, mas que não podem ser apagados sem serem substituídos.
[00342] Essa abordagem específica fornece uma estrutura de fluxo de dados que é substancialmente mais eficiente e fornece uma compensação melhor entre taxa de dados, complexidade e flexibilidade em muitos cenários e aplicações. Adicionalmente, a mesma pode fornecer essas vantagens ao mesmo tempo em que fornece uma retrocompatibilidade maior em relação às abordagens da técnica anterior, como fluxos (streams) de transporte MPEG.
[00343] Especificamente, as abordagens podem fornecer um fluxo de bits que não requer muita sobrecarga, e ainda fornece uma abordagem flexível. Um receptor de baixa complexidade pode identificar e extrair dados com base em como os dados são estruturados em fluxos elementares. Entretanto, o mesmo pode ainda aumentar a flexibilidade ao designar que diferentes dados de áudio de um fluxo elementar tenham diferentes características no que diz respeito à representação de áudio.
[00344] As abordagens podem possibilitar, por exemplo, que um receptor com legado de baixa complexidade, ainda seja capaz de renderizar a representação de áudio do fluxo de dados novo com base meramente na identificação do fluxo elementar. Por exemplo, em muitas modalidades, um decodificador MPEG pode simplesmente extrair o primeiro fluxo elementar e tratá-lo como um fluxo elementar MPEG padrão. Isso pode resultar na geração de uma apresentação de áudio nominal. Entretanto, em adição a tal retrocompatibilidade, um receptor não-legado pode processar o fluxo de dados recebido e trocar os dados de áudio substituíveis por dados alternativos, gerando assim uma apresentação de áudio alternativa. Isso pode ser ainda obtido com baixa complexidade e não requer a sobrecarga e processamento complexo associado aos, por exemplo, objetos de áudio.
[00345] As abordagens fornecem uma solução vantajosa ao problema técnico de como distribuir melhor o conteúdo de áudio para itens de conteúdo audiovisual, e fornecem especificamente uma estrutura de fluxo de dados (transporte) e conteúdo de dados que fornece uma compensação aprimorada entre a taxa de dados, complexidade e flexibilidade, e que pode fornecer também retrocompatibilidade aprimorada.
[00346] Os dados de áudio obrigatórios são dados que são designados (e em muitas modalidades indicados) a serem dados que precisam ser incluídos em uma renderização da representação de áudio/cena de áudio. Dessa forma, os dados de áudio obrigatórios para uma apresentação de áudio são dados que estão incluídos no fluxo de dados elementar e que precisam ser renderizados se a representação de áudio/cena de áudio do fluxo de dados elementar for selecionada. Dessa forma, os dados de áudio obrigatórios são dados que são designados a serem compulsórios, requisitados, obrigatórios etc., para a renderização da representação de áudio/cena de áudio associada ao fluxo de dados elementar. Em muitas modalidades, os dados de áudio obrigatórios e os dados de áudio substituíveis podem estar compreendidos em um fluxo de dados elementar associado a apenas uma representação de áudio/cena de áudio.
[00347] Os dados de áudio obrigatórios podem ser designados/indicados a serem dados de áudio obrigatório, por exemplo, através da posição no fluxo elementar e/ou pelos dados de controle que descrevem os dados que serão obrigatórios. Dessa forma, em algumas modalidades, o fluxo de dados de transporte, e possivelmente, especificamente, o fluxo de dados elementar, pode incluir dados que indicam quais dados de áudio do fluxo de dados elementar são dados de áudio obrigatórios.
[00348] Dado substituível é um dado que é designado (e em muitas modalidades, indicado) a ser um dado que pode ser incluído em uma renderização da representação de áudio/cena de áudio ou que pode ser substituído por outros dados de áudio na renderização da representação de áudio/cena de áudio. Dessa forma, os dados de áudio substituíveis para uma apresentação de áudio são dados que estão incluídos no fluxo de dados elementar e que precisam ser renderizados se a representação de áudio/cena de áudio do fluxo de dados elementar for selecionada, a menos que haja substituição por outros dados de áudio. Os dados de áudio substituíveis são dados que podem ser renderizados ou que podem ser trocados/substituídos/permutados por dados alternativos quando da renderização/apresentação da representação de áudio/cena de áudio associada ao fluxo de dados elementar.
[00349] Nas abordagens descritas, a distribuição de conteúdo é se baseia, consequentemente, em um fluxo (transporte) que inclui uma pluralidade de sub-fluxos de dados (elementares), sendo que uma representação de áudio pode ser descrita por um único fluxo de dados elementar que compreende tanto dados designados como dados obrigatórios, quanto dados designados como dados de áudio substituíveis, isto é, um único fluxo de dados elementar inclui tanto dados de áudio que um receptor precisa apresentar ao apresentar a representação de áudio, quanto dados de áudio que o receptor precisa trocar por outros dados.
[00350] Dessa forma, o receptor recebe os dados de áudio que ele sabe que precisam ser renderizados, assim como dados que ele sabe que pode trocar por outros dados. Além do mais, ele recebe esses dados em um único fluxo elementar, tornando assim uma apresentação da representação de áudio possível simplesmente pela extração dos dados de áudio a partir de um fluxo de dados elementar e pela renderização dos mesmos (fornecendo assim retrocompatibilidade).
[00351] Dessa forma, o fluxo de transporte compreende dados que são associados a restrições especificas a como eles precisam ser usados por um receptor/renderizador. Essa estrutura específica de diferentes tipos de dados que são designados para serem usados de modo diferente, e que são associados a diferentes restrições ao seu uso, pode propiciar a geração de um fluxo de transporte eficiente com compensações aprimoradas, e, especificamente, que ainda possibilita processamento de baixa complexidade e retrocompatibilidade ao mesmo tempo que uma flexibilidade maior.
[00352] Na verdade, a designação de dados de áudio para uma representação de áudio dentro de um fluxo de dados elementar como dados de áudio obrigatórios ou substituíveis, fornece benefícios substanciais. A estrutura, conteúdo e organização descrita do fluxo de dados do item de conteúdo audiovisual fornecem um fluxo de transporte que pode ser processado com baixa complexidade, pode ser retrocompatível, fornecendo ainda maior flexibilidade.
[00353] Consequentemente, a abordagem não está focada na derivação, determinação ou seleção de qualquer política específica de mixagem ou áudio, mas, ao invés disso, trata da solução técnica que pode suportar a distribuição efetiva de dados de áudio de modo que se possa atender às orientações. A abordagem possibilita o uso de fluxos de dados que possibilitam que orientações flexíveis (mas não totalmente livres) sejam distribuídas, mantendo, ao mesmo tempo, uma baixa sobrecarga de dados e complexidade reduzida. As abordagens não focam em como selecionar uma estratégia de mixagem, mas em como suportar tecnicamente a distribuição de dados de áudio. A abordagem possibilita que alguns aspectos da orientação de renderização sejam determinados pela fonte (por exemplo, os dados de áudio obrigatórios), enquanto outros aspectos podem ser adaptados na extremidade de recepção/renderização (por exemplo, o receptor pode fazer a seleção entre diferentes componentes de áudio alternativos).
[00354] Deve-se observar também que não é o processamento real no receptor que define os dados. Ao invés disso, é o dado no fluxo de dados que é designado como obrigatório ou substituível para uma representação de áudio. Consequentemente, o dado é definido pelo uso a que se destina, isto é, o dado de áudio obrigatório é o dado que deve ser apresentado caso a representação de áudio seja selecionada, enquanto que o dado de áudio substituível pode ser trocado por outros dados alternativos (mas não pode ser meramente apagado).
[00355] Deve-se considerar que, a título de clareza, a descrição acima descreveu as modalidades da invenção com referência a diferentes circuitos, unidades e processadores funcionais. Entretanto, ficará evidente que qualquer distribuição adequada de funcionalidade entre os diferentes circuitos, unidades ou processadores funcionais pode ser usada sem se desviar da invenção. Por exemplo, a funcionalidade ilustrada a ser executada por processadores ou controladores separados pode ser executada pelo mesmo processador ou pelos mesmos controladores. Por isso, as referências a unidades ou circuitos funcionais específicos devem ser consideradas apenas como referências a meios adequados para fornecer a funcionalidade descrita e não como indicativas de uma estrutura física ou uma organização lógica ou física estrita.
[00356] A invenção pode ser implementada em qualquer forma adequada, incluindo hardware, software, firmware ou qualquer combinação dos mesmos. A invenção pode, opcionalmente, ser implementada, ao menos parcialmente, como software de computador que é executado em um ou mais processadores de dados e/ou processadores de sinal digital. Os elementos e os componentes de uma modalidade da invenção podem ser física, funcional e logicamente implementados de qualquer forma adequada. De fato, a funcionalidade pode ser implementada em uma unidade única, em uma pluralidade de unidades ou como parte de outras unidades funcionais. Assim, a invenção pode ser implementada em uma unidade única ou pode ser física e funcionalmente distribuída entre diferentes unidades, circuitos e processadores.
[00357] Embora a presente invenção tenha sido descrita em relação a algumas modalidades, não se pretende limitá-la à forma específica aqui apresentada. Ao invés disso, o escopo da presente invenção é limitado apenas pelas reivindicações em anexo. Adicionalmente, embora possa parecer que um recurso é descrito em relação a modalidades específicas, o elemento versado na técnica irá reconhecer que vários recursos das modalidades descritas podem ser combinados de acordo com a invenção. Nas reivindicações, o termo “que compreende” não exclui a presença de outros elementos ou etapas.
[00358] Além disso, embora individualmente mencionados, uma pluralidade de meios, elementos, circuitos ou etapas de métodos podem ser implementados, por exemplo, por meio de um único circuito, unidade ou processador. Adicionalmente, embora recursos individuais possam estar incluídos em reivindicações diferentes, eles podem ser vantajosamente combinados, e sua inclusão em reivindicações diferentes não implica que uma combinação de recursos não seja viável e/ou vantajosa. Além disso, a inclusão de um recurso em uma categoria das reivindicações não implica em uma limitação a tal categoria, mas, ao invés disso, indica que o recurso é igualmente aplicável a outras categorias das reivindicações, conforme for adequado. Além disso, a ordem dos recursos nas reivindicações não implica em nenhuma ordem específica na qual os recursos precisam ser trabalhados e, em particular, a ordem das etapas individuais em uma reivindicação de método não implica que as etapas precisem ser executadas nessa ordem. Mais propriamente, as etapas podem ser executadas em qualquer ordem adequada. Além disso, referências no singular não excluem uma pluralidade. Dessa forma, as referências a “um(a)”, “uns/umas”, “primeiro(a)”, “segundo(a)”, etc., não excluem uma pluralidade. Os sinais de referência nas reivindicações são fornecidos meramente como exemplos esclarecedores e não devem ser interpretados como limitadores do escopo das reivindicações de forma alguma.
Claims (13)
1. MÉTODO DE GERAÇÃO DE UM SINAL DE ÁUDIO PARA UM ITEM DE CONTEÚDO AUDIOVISUAL, o método caracterizado por compreender: recepção de um fluxo de dados do item de conteúdo audiovisual compreendendo uma pluralidade de fluxos (streams) de dados audiovisuais individuais, a pluralidade de fluxos (streams) de dados audiovisuais individuais compreendendo componentes audiovisuais para um item de conteúdo audiovisual, cada fluxo de dados audiovisuais compreendendo: dados codificados representando pelo menos um componente audiovisual e dados de sincronização, em que o fluxo de dados do item de conteúdo audiovisual compreende: primeiro fluxo de dados audiovisuais compreendendo os primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, os primeiros dados de áudio compreendendo dados de áudio obrigatórios e dados de áudio substituíveis; extração dos dados de áudio obrigatórios dos primeiros dados de áudio; geração de um descritor de processamento de dados de áudio para os segundos dados de áudio de pelo menos um dos fluxos (streams) de dados audiovisuais individuais, em que o descritor de processamento de dados de áudio é indicativo dos segundos dados de áudio, sendo um dentre: dados de áudio alternativos e dados de áudio adicionais substituição dos dados de áudio substituíveis pelos segundos dados de áudio, quando o dito descritor de processamento de dados de áudio indica que os segundos dados de áudio são indicados como alternativos; geração do sinal de áudio a partir dos dados de áudio obrigatórios e dos dados de áudio substituíveis e, quando o descritor de processamento de dados de áudio indica que os segundos dados de áudio são dados de áudio adicionais, os dados de áudio adicionais.
2. MÉTODO, de acordo com a reivindicação 1, sendo a etapa de geração do sinal de áudio caracterizada por compreender: decodificação dos dados de áudio obrigatórios em um primeiro decodificador de áudio para gerar o primeiro sinal de áudio decodificado; decodificação dos dados de áudio alternativos em um segundo decodificador de áudio para gerar um segundo sinal de áudio decodificado; e geração do sinal de áudio em resposta à combinação de pelo menos o primeiro sinal de áudio decodificado e o segundo sinal de áudio decodificado.
3. MÉTODO, de acordo com a reivindicação 1, sendo o fluxo de dados do item de conteúdo audiovisual caracterizado por compreender: tabela de mapas de item de conteúdo, a tabela de mapas de item de conteúdo para um item de conteúdo compreendendo uma lista de audiovisual identificadores de pacote de fluxo de dados para os pacotes de dados para fluxos de dados audiovisuais ligados ao item de conteúdo, a tabela de mapas de item de conteúdo compreendendo: identificador de pacote de fluxo de dados comuns para o item de conteúdo para um conjunto de pelo menos duas da pluralidade de fluxos (streams) de dados audiovisuais individuais, em que o método compreende ainda a etapa de extração de dados de áudio para o item de conteúdo em resposta ao identificador de pacote de fluxo de dados comuns.
4. MÉTODO, de acordo com a reivindicação 3, sendo a tabela de mapas de item de conteúdo caracterizada por compreender uma pluralidade de identificadores de pacote secundário para o identificador de pacote de fluxo de dados comuns, cada identificador de pacote secundário identificando um fluxo de dados audiovisuais individuais do conjunto de pelo menos duas da pluralidade de fluxos (streams) de dados audiovisuais individuais, em que a etapa de extração de dados de áudio para o item de conteúdo compreende extração de dados de áudio para diferentes componentes de áudio em resposta aos identificadores de pacote secundário.
5. APARELHO PARA GERAÇÃO DE UM SINAL DE ÁUDIO PARA UM ITEM DE CONTEÚDO AUDIOVISUAL, o aparelho caracterizado por compreender: receptor configurado para: receber um fluxo de dados do item de conteúdo audiovisual compreendendo: pluralidade de fluxos (streams) de dados audiovisuais individuais, a pluralidade de fluxos (streams) de dados audiovisuais individuais compreendendo: componentes audiovisuais para um item de conteúdo audiovisual; cada fluxo de dados audiovisuais compreendendo dados codificados representando pelo menos um componente audiovisual e dados de sincronização, em que o fluxo de dados do item de conteúdo audiovisual compreende um primeiro fluxo de dados audiovisuais compreendendo os primeiro dados de áudio representativos do item de conteúdo audiovisual, os primeiros dados de áudio compreendendo componente de áudio obrigatório contendo dados obrigatórios e componente de áudio substituível contendo dados de áudio substituíveis; gerar um descritor de processamento de dados de áudio para os segundos dados de áudio de pelo menos um dentre os fluxos de dados audiovisuais, em que o descritor de processamento de dados de áudio é indicativo dos segundos dados de áudio, sendo um dentre: dados de áudio alternativos e dados de áudio adicionais; decodificador de áudio compreendendo: extrator de descritor de processamento de dados de áudio configurado para: extrair do descritor de processamento de dados de áudio a indicação dos segundos dados de áudio, sendo um dentre: dados de áudio alternativos e dados de áudio adicionais; e extrair o componente de áudio obrigatório dos primeiros dados de áudio; recuperador configurado para: recuperar os segundos dados de áudio como dados de áudio alternativos quando o descritor de processamento de dados de áudio indica que os segundos dados de áudio são dados de áudio alternativo; e substituidor configurado para: substituir os dados de áudio substituíveis no componente de áudio substituível pelos segundos dados de áudio quando os segundos dados de áudio são designados como dados de áudio alternativos; e saída configurada para:gerar o sinal de áudio ao combinar os dados de áudio obrigatórios do componente de áudio obrigatório, dados de áudio contidos no componente de áudio substituível e, quando o descritor de processamento de dados de áudio indicar que os segundos dados de áudio são dados de áudio adicionais, os dados de áudio adicionais.
6. APARELHO, de acordo com a reivindicação 5, caracterizado pelo descritor de processamento de dados de áudio ser indicativo de se os segundos dados de áudio substituem os dados substituíveis.
7. APARELHO, de acordo com a reivindicação 5, caracterizado pelo receptor ser configurado para: gerar o descritor de processamento de dados de áudio de um segundo descritor de processamento de dados de áudio recebidos no fluxo de dados do item de conteúdo audiovisual.
8. APARELHO, de acordo com a reivindicação 7, caracterizado pelo receptor ser disposto para copiar o segundo descritor de processamento de dados de áudio para o segundo fluxo de dados audiovisuais.
9. APARELHO, de acordo com a reivindicação 7, caracterizado pelo descritor de processamento de dados de áudio ser compreendido em uma tabela de mapas de item de conteúdo, a tabela de mapas de item de conteúdo para um item de conteúdo compreendendo uma lista de identificadores de pacote de fluxo de dados audiovisuais de pacotes de dados para fluxos (streams) de dados audiovisuais ligados ao item de conteúdo.
10. APARELHO, de acordo com a reivindicação 5, sendo o fluxo de dados do item de conteúdo audiovisual caracterizado por compreender: pluralidade de possível descritor de processamento de dados de áudios para os segundos dados de áudio, em que o receptor é configurado para: selecionar o descritor de processamento de dados de áudio a partir da pluralidade de possível descritor de processamento de dados de áudios.
11. APARELHO PARA GERAÇÃO DE UMA SAÍDA DE ÁUDIO, o aparelho caracterizado por compreender: meios para recepção de um fluxo de dados do item de conteúdo audiovisual compreende uma pluralidade de fluxos (streams) de dados audiovisuais individuais, a pluralidade de fluxos (streams) de dados audiovisuais individuais compreendendo componentes audiovisuais para um item de conteúdo audiovisual, e meios para geração de um descritor de processamento de dados de áudio para os segundos dados de áudio de pelo menos um dos fluxos (streams) de dados audiovisuais individuais, em que o descritor de processamento de dados de áudio é indicativo dos segundos dados de áudio, sendo um dentre: dados de áudio alternativos e dados de áudio adicionais; meios para decodificação: primeiro fluxo de dados audiovisuais compreendendo os primeiros dados de áudio para uma representação de áudio para o item de conteúdo audiovisual, os primeiros dados de áudio compreendendo dados de áudio obrigatórios e dados de áudio substituíveis; meios para substituição dos dados de áudio substituíveis pelos segundos dados de áudio quando os segundos dados de áudio são designados como dados de áudio alternativos; e meios para saída do sinal de áudio compreendendo os dados de áudio obrigatórios, os dados de áudio substituíveis e, quando o descritor de processamento de dados de áudio indica que os segundos dados de áudio são dados de áudio adicionais, os dados de áudio adicionais.
12. APARELHO, de acordo com a reivindicação 11, caracterizado pelos dados de áudio substituíveis serem dados de voz.
13. APARELHO, de acordo com a reivindicação 11, caracterizado pelos dados de áudio substituíveis e os dados de áudio alternativos serem um mesmo teor de áudio codificado usando diferentes esquemas de codificação.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BR122020017000-0A BR122020017000B1 (pt) | 2014-03-18 | 2015-03-16 | Método de geração de um sinal de áudio para um item de conteúdo audiovisual e aparelho para gerar um sinal de áudio para um item de conteúdo audiovisual |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14160403 | 2014-03-18 | ||
| EP14160403.3 | 2014-03-18 | ||
| US201462018801P | 2014-06-30 | 2014-06-30 | |
| US62/018,801 | 2014-06-30 | ||
| PCT/EP2015/055380 WO2015140082A1 (en) | 2014-03-18 | 2015-03-16 | Audiovisual content item data streams |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112016021214A2 BR112016021214A2 (pt) | 2017-08-15 |
| BR112016021214B1 true BR112016021214B1 (pt) | 2024-01-23 |
Family
ID=50382238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112016021214-2A BR112016021214B1 (pt) | 2014-03-18 | 2015-03-16 | Método de geração de um sinal de áudio para um item de conteúdo audiovisual, aparelho para geração de um sinal de áudio para um item de conteúdo audiovisual e aparelho para geração de uma saída de áudio |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10142666B2 (pt) |
| EP (1) | EP3120573B1 (pt) |
| JP (1) | JP6549605B2 (pt) |
| KR (2) | KR102370031B1 (pt) |
| CN (3) | CN106068651B (pt) |
| BR (1) | BR112016021214B1 (pt) |
| MX (1) | MX364331B (pt) |
| RU (1) | RU2678323C2 (pt) |
| WO (1) | WO2015140082A1 (pt) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3522554B1 (en) | 2014-05-28 | 2020-12-02 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Data processor and transport of user control data to audio decoders and renderers |
| EP3799044B1 (en) * | 2014-09-04 | 2023-12-20 | Sony Group Corporation | Transmission device, transmission method, reception device and reception method |
| JPWO2016171002A1 (ja) * | 2015-04-24 | 2018-02-15 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| CN113242448B (zh) * | 2015-06-02 | 2023-07-14 | 索尼公司 | 发送装置和方法、媒体处理装置和方法以及接收装置 |
| CN109716776B (zh) | 2017-01-03 | 2021-10-15 | 联发科技股份有限公司 | 用于生成且编码全向内容视频的方法及设备 |
| US10200724B1 (en) * | 2017-09-12 | 2019-02-05 | Amazon Technologies, Inc. | System for optimizing distribution of audio data |
| RU2762400C1 (ru) * | 2018-02-22 | 2021-12-21 | Долби Интернешнл Аб | Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio |
| US10945005B2 (en) * | 2018-12-07 | 2021-03-09 | Arris Enterprises Llc | Multiple parental rating content and method of presentation |
| US11297380B2 (en) * | 2018-12-28 | 2022-04-05 | Twitter, Inc. | Audio only content |
| US11232129B2 (en) | 2019-03-26 | 2022-01-25 | At&T Intellectual Property I, L.P. | Method for content synchronization and replacement |
| US11638049B2 (en) | 2019-10-16 | 2023-04-25 | Dish Network L.L.C. | Systems and methods for content item recognition and adaptive packet transmission |
| US11212578B2 (en) * | 2020-02-13 | 2021-12-28 | Lenovo (Singapore) Pte. Ltd. | Visible indicator for importance of audio |
| US11012737B1 (en) * | 2020-04-27 | 2021-05-18 | Dish Network L.L.C. | Systems and methods for audio adaptation of content items to endpoint media devices |
| CN112423081B (zh) * | 2020-11-09 | 2021-11-05 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置、设备及可读存储介质 |
| GB2617442A (en) * | 2022-03-03 | 2023-10-11 | Apple Inc | Audio scene description and control |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5420866A (en) * | 1994-03-29 | 1995-05-30 | Scientific-Atlanta, Inc. | Methods for providing conditional access information to decoders in a packet-based multiplexed communications system |
| US6351733B1 (en) * | 2000-03-02 | 2002-02-26 | Hearing Enhancement Company, Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
| US6535269B2 (en) * | 2000-06-30 | 2003-03-18 | Gary Sherman | Video karaoke system and method of use |
| EP1500002A1 (en) * | 2002-04-29 | 2005-01-26 | Sony Electronics Inc. | Supporting advanced coding formats in media files |
| WO2004029935A1 (en) * | 2002-09-24 | 2004-04-08 | Rad Data Communications | A system and method for low bit-rate compression of combined speech and music |
| US8009966B2 (en) * | 2002-11-01 | 2011-08-30 | Synchro Arts Limited | Methods and apparatus for use in sound replacement with automatic synchronization to images |
| CN101317454B (zh) * | 2003-11-12 | 2011-11-16 | 索尼电子有限公司 | 通过pid映射基于宏块的内容替换 |
| US20090150230A1 (en) * | 2004-12-01 | 2009-06-11 | Koninklijke Philips Electronics, N.V. | Customizing commercials |
| US8041190B2 (en) * | 2004-12-15 | 2011-10-18 | Sony Corporation | System and method for the creation, synchronization and delivery of alternate content |
| WO2006133364A2 (en) * | 2005-06-08 | 2006-12-14 | Visible World | Systems and methods for semantic editorial control and video/audio editing |
| US20080215172A1 (en) * | 2005-07-20 | 2008-09-04 | Koninklijke Philips Electronics, N.V. | Non-Linear Presentation of Content |
| CN101563698A (zh) * | 2005-09-16 | 2009-10-21 | 富利克索尔股份有限公司 | 个性化视频 |
| US20070106516A1 (en) * | 2005-11-10 | 2007-05-10 | International Business Machines Corporation | Creating alternative audio via closed caption data |
| US8272008B2 (en) * | 2007-02-28 | 2012-09-18 | At&T Intellectual Property I, L.P. | Methods, systems, and products for retrieving audio signals |
| CN101261865B (zh) * | 2007-04-20 | 2012-07-04 | 炬力集成电路设计有限公司 | 媒体电子文件的制作方法、装置及其播放设备及方法 |
| US9060187B2 (en) * | 2008-12-22 | 2015-06-16 | Netflix, Inc. | Bit rate stream switching |
| US20110096828A1 (en) * | 2009-09-22 | 2011-04-28 | Qualcomm Incorporated | Enhanced block-request streaming using scalable encoding |
| KR101401183B1 (ko) * | 2009-12-11 | 2014-05-29 | 노키아 코포레이션 | 스트리밍 미디어 파일의 표현을 기술하고 타이밍하기 위한 장치 및 방법 |
| US9237178B2 (en) * | 2010-02-03 | 2016-01-12 | Futurewei Technologies, Inc. | Combined binary string for signaling byte range of media fragments in adaptive streaming |
| US8713602B2 (en) * | 2010-07-01 | 2014-04-29 | Comcast Cable Communications, Llc | Alternate source programming |
| GB201017174D0 (en) * | 2010-10-12 | 2010-11-24 | Muvemedia Ltd | System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback |
| US8996719B2 (en) * | 2011-04-03 | 2015-03-31 | Jeremiah Condon | System and method of adaptive transport of multimedia data |
| TW202339510A (zh) * | 2011-07-01 | 2023-10-01 | 美商杜比實驗室特許公司 | 用於適應性音頻信號的產生、譯碼與呈現之系統與方法 |
| US9276989B2 (en) * | 2012-03-30 | 2016-03-01 | Adobe Systems Incorporated | Buffering in HTTP streaming client |
-
2015
- 2015-03-16 CN CN201580014246.7A patent/CN106068651B/zh active Active
- 2015-03-16 MX MX2016011798A patent/MX364331B/es active IP Right Grant
- 2015-03-16 WO PCT/EP2015/055380 patent/WO2015140082A1/en active Application Filing
- 2015-03-16 CN CN202010885875.XA patent/CN112019882B/zh active Active
- 2015-03-16 JP JP2016555319A patent/JP6549605B2/ja active Active
- 2015-03-16 CN CN202010884938.XA patent/CN112019881B/zh active Active
- 2015-03-16 US US15/121,391 patent/US10142666B2/en active Active
- 2015-03-16 EP EP15712285.4A patent/EP3120573B1/en active Active
- 2015-03-16 KR KR1020207023489A patent/KR102370031B1/ko active IP Right Grant
- 2015-03-16 KR KR1020167028768A patent/KR102380204B1/ko active IP Right Grant
- 2015-03-16 BR BR112016021214-2A patent/BR112016021214B1/pt active IP Right Grant
- 2015-03-16 RU RU2016140630A patent/RU2678323C2/ru active
-
2018
- 2018-10-15 US US16/160,166 patent/US10631027B2/en active Active
-
2020
- 2020-03-25 US US16/829,129 patent/US11375252B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200101469A (ko) | 2020-08-27 |
| CN112019882B (zh) | 2022-11-04 |
| US20160381399A1 (en) | 2016-12-29 |
| WO2015140082A1 (en) | 2015-09-24 |
| BR112016021214A2 (pt) | 2017-08-15 |
| JP6549605B2 (ja) | 2019-07-24 |
| JP2017513297A (ja) | 2017-05-25 |
| US10142666B2 (en) | 2018-11-27 |
| CN106068651B (zh) | 2020-10-16 |
| CN112019881A (zh) | 2020-12-01 |
| RU2016140630A3 (pt) | 2018-07-03 |
| MX2016011798A (es) | 2016-12-02 |
| RU2678323C2 (ru) | 2019-01-28 |
| KR102370031B1 (ko) | 2022-03-04 |
| KR20160135301A (ko) | 2016-11-25 |
| CN112019881B (zh) | 2022-11-01 |
| KR102380204B1 (ko) | 2022-03-29 |
| CN106068651A (zh) | 2016-11-02 |
| EP3120573A1 (en) | 2017-01-25 |
| CN112019882A (zh) | 2020-12-01 |
| MX364331B (es) | 2019-04-23 |
| EP3120573B1 (en) | 2019-07-10 |
| US11375252B2 (en) | 2022-06-28 |
| US20200228848A1 (en) | 2020-07-16 |
| US20190052917A1 (en) | 2019-02-14 |
| US10631027B2 (en) | 2020-04-21 |
| RU2016140630A (ru) | 2018-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112016021214B1 (pt) | Método de geração de um sinal de áudio para um item de conteúdo audiovisual, aparelho para geração de um sinal de áudio para um item de conteúdo audiovisual e aparelho para geração de uma saída de áudio | |
| US11743553B2 (en) | Data processor and transport of user control data to audio decoders and renderers | |
| BR122020017000B1 (pt) | Método de geração de um sinal de áudio para um item de conteúdo audiovisual e aparelho para gerar um sinal de áudio para um item de conteúdo audiovisual | |
| BR122020016999B1 (pt) | Método de geração de um fluxo de dados do item de conteúdo audiovisual, e aparelho para gerar um fluxo de dados do item de conteúdo audiovisual | |
| KR102250347B1 (ko) | 시청각 콘텐트 아이템 데이터 스트림들 | |
| Cossette et al. | DC-PCM: An Audio Packaging Proposal for D-Cinema |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06A | Patent application procedure suspended [chapter 6.1 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 16/03/2015, OBSERVADAS AS CONDICOES LEGAIS |