BR112021003104A2 - métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs) - Google Patents

métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs) Download PDF

Info

Publication number
BR112021003104A2
BR112021003104A2 BR112021003104-9A BR112021003104A BR112021003104A2 BR 112021003104 A2 BR112021003104 A2 BR 112021003104A2 BR 112021003104 A BR112021003104 A BR 112021003104A BR 112021003104 A2 BR112021003104 A2 BR 112021003104A2
Authority
BR
Brazil
Prior art keywords
frame
audio
frames
sample values
encoded
Prior art date
Application number
BR112021003104-9A
Other languages
English (en)
Inventor
Christof FERSCH
Daniel Fischer
Original Assignee
Dolby International Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International Ab filed Critical Dolby International Ab
Publication of BR112021003104A2 publication Critical patent/BR112021003104A2/pt

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Descreve-se aqui um decodificador de áudio para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, o decodificador de áudio compreendendo: um determinador configurado para determinar se um quadro do fluxo de bits de dados de áudio codificado é um quadro de reprodução imediata compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional; e um inicializador configurado para inicializar o decodificador se o determinador determinar que o quadro é um quadro de reprodução imediata, em que inicializar o decodificador compreende decodificar os valores de amostra de áudio codificado compreendidos pela informação adicional antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual. Descreve-se ainda um método para decodificar o dito fluxo de bits de dados de áudio codificado, bem como um codificador de áudio, um sistema de codificadores de áudio e um método para gerar o dito fluxo de bits de dados de áudio codificado com quadros de reprodução imediata. Além disso, descreve-se ainda um aparelho para gerar quadros de reprodução imediata em um fluxo de bits de dados de áudio codificado ou para remover quadros de reprodução imediata a partir de um fluxo de bits de dados de áudio codificado e respectivos meios de armazenamento digital não-temporários.

Description

“MÉTODOS, APARELHO E SISTEMAS PARA GERAÇÃO, TRANSPORTE E PROCESSAMENTO DE QUADROS DE REPRODUÇÃO IMEDIATA (IPFS)" REFERÊNCIA CRUZADA AO PEDIDO RELACIONADO
[001] O presente pedido reivindica prioridade ao seguinte pedido de prioridade: pedido US provisório no 62/720,680 (referência: D18080USP1), depositado em 21 de agosto de 2018, o qual é por meio deste incorporado para fins de referência.
TECNOLOGIA
[002] A presente revelação relaciona-se de forma geral, a codificadores de áudio, métodos de codificação, decodificadores de áudio e métodos de decodificação, incluindo um método para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, e a um método para gerar um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata. A presente revelação está adicionalmente relacionada a um aparelho para gerar quadros de reprodução imediata em um fluxo de bits de dados de áudio codificado ou para remover quadros de reprodução imediata de um fluxo de bits de dados de áudio codificado.
[003] Embora algumas modalidades sejam descritas aqui com referência específica a esta revelação, será apreciado que a presente revelação não se limita a tal campo de uso e é aplicável em contextos mais amplos.
ANTECEDENTES DA INVENÇÃO
[004] Atualmente, existe uma lacuna no Áudio MPEG-4, conforme padronizado na ISO/IEC 14496-3, Coding of audio-visual objects - Part 3: Audio, quanto à geração, transporte e processamento de Quadros de Reprodução Imediata (IPF). Um IPF fornece informação para um quadro especial que permite inicializar imediatamente o decodificador, e, portanto, reprodução imediata após alternar para um fluxo de dados compreendendo o quadro especial. Dito de outra forma, um IPF é um quadro em que um decodificador, quando de seu recebimento, pode imediatamente produzir amostras corretas a partir da primeira amostra que é codificada neste IPF, uma vez que ele contém todas as informações para fazer isto.
Um IPF, portanto, denota um quadro decodificável de forma independente, o qual pode ser decodificado usando apenas informações de dentro de si próprio.
[005] O áudio codificado normalmente vem em quadros de dados ou blocos.
No contexto do áudio conforme padronizado no MPEG-4, os quadros/blocos podem ser conhecidos como grânulos, os blocos/quadros codificados são chamados de unidades de acesso (AU) e os blocos decodificados são chamados de unidades de composição (CU). Nos sistemas de transporte, o sinal de áudio pode somente ser acessível e endereçável na granularidade desses blocos codificados (unidades de acesso).
[006] No contexto da transmissão em fluxo contínuo (streaming) adaptativa, quando o áudio muda para uma configuração diferente (por exemplo, uma taxa de bits diferente, tal como uma taxa de bits configurada dentro de um conjunto de adaptação no MPEG-DASH), de modo a reproduzir as amostras de áudio com precisão desde o começo, um decodificador precisa ser alimentado com uma AUn representando o segmento de tempo correspondente de um programa de áudio, e com AUn-1, AUn-2, … AUs adicionais e dados de configuração precedendo a AUn.
Caso contrário, devido às diferentes configurações de codificação (por exemplo, dados de janelamento, dados relacionados a SBR, dados relacionados a PS), não é possível garantir que um decodificador produza uma saída correta ao decodificar somente AUn. Portanto, a primeira AUn a ser decodificada com uma nova configuração precisa carregar os novos dados de configuração e todos os dados de pré-rolagem (na forma de AUn-x, representando os segmentos de tempo antes de
AUn) que são necessários para inicializar o decodificador com a nova configuração.
Isso pode ser feito por meio de um Quadro de Reprodução Imediata (IPF), conforme definido no padrão de Áudio 3D MPEG-G ou no padrão USAC MPEG-D.
[007] Diante de tal cenário, é, portanto, um objetivo da presente invenção oferecer um decodificador de áudio e um método de decodificação, bem como um codificador de áudio, um sistema de codificadores de áudio, um aparelho e um método de codificação capazes de processar IPFs no Áudio MPEG-4.
SUMÁRIO
[008] De acordo com um primeiro aspecto da presente revelação, é proporcionado um decodificador de áudio para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[009] O decodificador de áudio pode compreender um determinador configurado para determinar se um quadro do fluxo de bits de dados de áudio codificado é um quadro de reprodução imediata compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional, em que a informação adicional pode compreender valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata, em que os valores de amostra de áudio codificado dos quadros precedentes podem ser codificados usando a mesma configuração de codec que o quadro atual, em que o número de quadros precedentes, correspondendo a quadros de pré-rolagem, pode corresponder ao número de quadros necessário pelo decodificador para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado.
[010] Além disso, o decodificador pode compreender um inicializador configurado para inicializar o decodificador se o determinador determinar que o quadro é um quadro de reprodução imediata, em que inicializar o decodificador pode compreender decodificar os valores de amostra de áudio codificado compreendidos pelas informações adicionais antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual, em que o inicializador pode ser configurado para alternar o decodificador de áudio a partir de uma configuração de codec atual para uma configuração de codec diferente se o determinador determinar que o quadro é um quadro de reprodução imediato e se os valores de amostra de áudio do quadro atual tiverem sido codificados usando a configuração de codec diferente, e em que o decodificador pode ser configurado para decodificar o quadro atual usando a configuração de codec atual e descartar as informações adicionais se o determinador determinar que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro atual tiverem sido codificados usando a configuração de codec atual.
[011] Em algumas modalidades, a informação adicional pode adicionalmente compreender informação sobre a configuração de codec usada para codificar os valores de amostra de áudio associados ao quadro atual, e o determinador pode ser adicionalmente configurado para determinar se a configuração de codec da informação adicional é diferente da configuração de codec atual.
[012] Em algumas modalidades, o quadro de reprodução imediata pode compreender a informação adicional como uma carga útil de extensão e o determinador pode ser configurado para avaliar a carga útil de extensão do quadro de reprodução imediata.
[013] Em algumas modalidades, o fluxo de bits de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4.
[014] Em algumas modalidades, a informação adicional pode ser transportada por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é um Elemento de Fluxo de Dados (DSE) ou um elemento extension_payload.
[015] Em algumas modalidades, tanto o Elemento de Fluxo de Dados (DSE) quanto o elemento extension_payload pode ser localizado em uma posição predefinida no fluxo de bits de Áudio MPEG-4 e/ou pode ter uma marca de instância específica sinalizando que uma carga útil do Elemento de Fluxo de Dados (DSE) ou do elemento extension_payload é a informação adicional.
[016] O elemento extension_payload pode, por exemplo, estar contido em diferentes locais da sintaxe de fluxo de bits do Áudio MPEG-4. Consequentemente, isto permite usar a funcionalidade de quadro de reprodução imediata também no Áudio MPEG-4.
[017] Em algumas modalidades, o elemento extension_payload pode estar contido dentro de um elemento de enchimento (ID_FIL).
[018] Em algumas modalidades, a informação adicional pode adicionalmente compreender um identificador único, e opcionalmente, o identificador único pode ser usado para detectar a configuração de codec diferente.
[019] Em algumas modalidades, o decodificador pode adicionalmente compreender um atenuador cruzado configurado para realizar a atenuação cruzada dos valores de amostra de saída obtidos por meio da liberação do decodificador na configuração de codec anterior e dos valores de amostra de saída obtidos pela decodificação dos valores de amostra de áudio codificado associados ao quadro atual.
[020] Em algumas modalidades, um quadro mais inicial do número de quadros compreendidos na informação adicional pode não ser codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial, e o quadro de reprodução imediata pode não ser codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
[021] De acordo com um segundo aspecto da presente revelação, é proporcionado um método de áudio para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[022] O método pode compreender determinar se um quadro do fluxo de bits de dados de áudio codificado é um quadro de reprodução imediata compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional, em que a informação adicional pode compreender valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata, em que os valores de amostra de áudio codificado dos quadros precedentes podem ser codificados usando a mesma configuração de codec que o quadro de reprodução imediata, em que o número de quadros precedentes, correspondendo a quadros de pré-rolagem, pode corresponder ao número de quadros necessário por um decodificador para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado.
[023] O método pode adicionalmente compreender inicializar o decodificador caso seja determinado que o quadro é um quadro de reprodução imediata, em que a inicialização pode compreender decodificar os valores de amostra de áudio codificado compreendidos pela informação adicional antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual.
[024] O método pode adicionalmente compreender alternar o decodificador de áudio a partir de uma configuração de codec atual para uma configuração de codec diferente caso seja determinado que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro de reprodução imediata tiverem sido codificados usando a configuração de codec diferente.
[025] Além disso, o método pode compreender decodificar o quadro de reprodução imediata usando a configuração de codec atual e descartar a informação adicional caso seja determinado que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro de reprodução imediata tiverem sido codificados usando a configuração de codec atual.
[026] Configurado conforme proposto, o método permite, por exemplo, a comutação de AudioObjectTypes (AOT) conforme definida na ISO/IEC 14496-3 em combinação com a produção contínua de amostras de saída corretas e sem introduzir lacunas de silêncio na saída de áudio.
[027] Em algumas modalidades, a informação adicional pode adicionalmente compreender informação sobre a configuração de codec usada para codificar os valores de amostra de áudio associados ao quadro atual, em que o método pode adicionalmente compreender determinar se a configuração de codec da informação adicional é diferente da configuração de codec atual usada para codificar os valores de amostra de áudio associados aos quadros no fluxo de bits precedendo o quadro de reprodução imediata.
[028] Em algumas modalidades, o fluxo de bits de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4.
[029] Em algumas modalidades, a informação adicional pode ser transportada por meio de um mecanismo de extensão de fluxo de bits de Áudio
MPEG-4 que é um Elemento de Fluxo de Dados (ID_DSE) ou um elemento extension_payload.
[030] Em algumas modalidades, tanto o Elemento de Fluxo de Dados (ID_DSE) quanto o elemento extension_payload pode ser localizado em uma posição predefinida no fluxo de bits de Áudio MPEG-4 e/ou pode ter uma marca de instância específica sinalizando que uma carga útil do Elemento de Fluxo de Dados (ID_DSE) ou do elemento extension_payload é a informação adicional.
[031] Em algumas modalidades, o elemento extension_payload pode estar contido dentro de um elemento de enchimento (ID_FIL).
[032] Em algumas modalidades, a informação adicional pode adicionalmente compreender um identificador único, e opcionalmente, o identificador único pode ser usado para detectar a configuração de codec diferente.
[033] Em algumas modalidades, o fluxo de bits de dados de áudio codificado pode compreender um primeiro número de quadros codificados usando uma primeira configuração de codec e um segundo número de quadros seguindo o primeiro número de quadros e codificados usando uma segunda configuração de codec, em que o primeiro quadro do segundo número de quadros pode ser o quadro de reprodução imediata.
[034] De acordo com um terceiro aspecto da presente revelação, é proporcionado um codificador de áudio para gerar um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[035] O codificador de áudio pode compreender um codificador de núcleo configurado para codificar valores de amostra de áudio não-comprimido associados à pluralidade de quadros usando uma configuração de codec predefinida.
[036] O codificador de áudio pode adicionalmente compreender um armazenamento temporário configurado para armazenar valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros codificados usando a configuração de codec predefinida.
[037] Além disso, o codificador de áudio pode compreender um incorporador configurado para gravar um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata pode compreender valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual.
[038] Em algumas modalidades, o incorporador pode adicionalmente ser configurado para incluir informação sobre a configuração de codec predefinida na informação adicional.
[039] Em algumas modalidades, o incorporador pode adicionalmente ser configurado para incluir, no quadro de reprodução imediata, a informação adicional.
[040] Em algumas modalidades, o fluxo de bits gerado de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4.
[041] Em algumas modalidades, o incorporador pode ser adicionalmente configurado para incorporar a informação adicional no fluxo de bits por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é um Elemento de Fluxo de Dados (ID_DSE) ou um elemento extension_payload.
[042] Em algumas modalidades, o incorporador pode ser adicionalmente configurado para localizar tanto o Elemento de Fluxo de Dados (ID_DSE) quanto o elemento extension_payload em u,a posição predefinida no fluxo de bits de Áudio MPEG-4 e/ou atribuir uma marca de instância específica sinalizando que uma carga útil do Elemento de Fluxo de Dados (ID_DSE) ou do elemento extension_payload é a informação adicional.
[043] Em algumas modalidades, o incorporador pode ser adicionalmente configurado para incorporar o elemento extension_payload dentro de um elemento de enchimento (ID_FIL).
[044] Em algumas modalidades, o incorporador pode ser adicionalmente configurado para incluir um identificador único na informação adicional, e opcionalmente, o identificador único pode sinalizar a configuração de codec predefinida.
[045] Em algumas modalidades, o codificador de áudio pode ser adicionalmente configurado para não codificado diferencialmente por tempo ou codificar por entropia um quadro mais inicial do número de quadros compreendido na informação adicional em relação a qualquer quadro anterior ao quadro mais inicial, e o codificador de áudio pode ser adicionalmente configurado para não codificar diferencialmente por tempo ou codificar por entropia o quadro de reprodução imediata em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
[046] De acordo com um quarto aspecto da presente revelação, é proposto um sistema compreendendo dois ou mais codificadores de áudio para gerar uma pluralidade de fluxo de bits de dados de áudio codificado, cada um possuindo quadros de reprodução imediata, em que cada fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, e em que cada quadro compreende valores de amostra de áudio codificado associados.
[047] Em algumas modalidades, uma taxa de amostragem predeterminada pode ser a mesma para cada um dos codificadores de núcleo dos dois ou mais codificadores de áudio. Consequentemente, é possível evitar a reamostragem e o tratamento de retardo adicional no decodificador.
[048] Em algumas modalidades, o sistema pode adicionalmente compreender uma unidade de alinhamento de retardo para alinhar o retardo da pluralidade de fluxo de bits. Consequentemente, isto possibilidade a comutação ininterrupta no decodificador ao compensar diferentes retardos do codificador.
[049] De acordo com um quinto aspecto da presente revelação, é proporcionado um método para gerar, por um codificador de áudio, um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[050] O método pode compreender a etapa de codificar, por um codificador de núcleo, valores de amostra de áudio não-comprimidos associados à pluralidade de quadros usando uma configuração de codec predefinida.
[051] O método pode adicionalmente compreender a etapa de armazenar, por um armazenamento temporário, valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros codificados usando a configuração de codec predefinida.
[052] Além disso, o método pode compreender a etapa de gravar, por um incorporador, um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata pode compreender valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual.
[053] Em algumas modalidades, a informação adicional pode adicionalmente compreender informação sobre a configuração de codec predefinida.
[054] Em algumas modalidades, o quadro de reprodução imediata pode adicionalmente compreender a informação adicional.
[055] Em algumas modalidades, o fluxo de bits gerado de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4.
[056] Em algumas modalidades, a informação adicional pode ser incorporada no fluxo de bits, pelo incorporador, por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que pode ser tanto um Elemento de Fluxo de Dados (ID_DSE) quanto um elemento extension_payload.
[057] Em algumas modalidades, tanto o Elemento de Fluxo de Dados (ID_DSE) quanto o elemento extension_payload pode ser localizado, pelo incorporador, em uma posição predefinida no fluxo de bits de Áudio MPEG-4 e/ou pode ser atribuído a uma marca de instância específica sinalizando que uma carga útil do Elemento de Fluxo de Dados (ID_DSE) ou do elemento extension_payload é a informação adicional.
[058] Em algumas modalidades, o elemento extension_payload pode ser incorporado, pelo incorporador, dentro de um elemento de enchimento (ID_FIL).
[059] Em algumas modalidades, a informação adicional pode adicionalmente compreender um identificador único, e opcionalmente, o identificador único pode sinalizar a configuração de codec predefinida.
[060] Em algumas modalidades, pelo codificador de áudio, um quadro mais inicial do número de quadros compreendidos na informação adicional pode não ser codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial, e, pelo codificador de áudio, o quadro de reprodução imediata pode não ser codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
[061] De acordo com um sexto aspecto da presente revelação, é proposto um aparelho para gerar quadros de reprodução imediata em um fluxo de bits de dados de áudio codificado ou para remover quadros de reprodução imediata de um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[062] O aparelho pode compreender um receptor configurado para receber um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[063] Além disso, o aparelho pode compreender um incorporador configurado para gravar um quadro de reprodução imediata em um quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata pode compreender valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual.
[064] Configurado como proposto, o aparelho permite gerar individualmente quadros de reprodução imediata em quaisquer fluxos de bits já existentes de dados de áudio codificado, ou seja, antes da distribuição, se necessário.
[065] Em algumas modalidades, o aparelho pode adicionalmente compreender um armazenamento temporário configurado para armazenar valores de amostra de áudio codificado do número de quadros precedentes do quadro atual da pluralidade de quadros.
[066] Em algumas modalidades, o incorporador pode ser adicionalmente configurado para remover, do quadro de reprodução imediata, a informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual.
[067] Por conseguinte, isto permite remover individualmente os quadros de reprodução imediata a partir de um fluxo de bits de dados de áudio codificado, por exemplo, em um caso em que um codificador de áudio gera somente quadros de reprodução imediata.
[068] De acordo com um sétimo aspecto da presente revelação, é proporcionado um meio de armazenamento digital não-temporário possuindo um programa de computador nele armazenado para executar um método para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, quando o dito programa de computador é executado por um computador ou um processador.
[069] De acordo com um oitavo aspecto da presente revelação, é proporcionado um meio de armazenamento digital não-temporário possuindo um programa de computador nele armazenado para executar um método para gerar, por um codificador de áudio, um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, quando o dito programa de computador é executado por um computador ou um processador.
BREVE DESCRIÇÃO DOS DESENHOS
[070] As modalidades ilustrativas da revelação serão descritas a seguir a título meramente exemplificativo, com referência aos desenhos em anexo, nos quais:
[071] A FIG. 1 ilustra um exemplo de um quadro de reprodução imediata em um fluxo de bits de Áudio MPEG-4 de dados de áudio codificado.
[072] A FIG. 2 ilustra um exemplo de um método para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[073] A FIG. 3 ilustra um exemplo adicional de um método para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[074] A FIG. 4 ilustra um exemplo de um decodificador de áudio para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[075] A FIG. 5 ilustra um exemplo de um codificador de áudio para gerar um fluxo de bits de dados de áudio codificado com pontos de acesso aleatório (quadros de reprodução imediata, IPFs).
[076] A FIG. 6 ilustra um exemplo de um método para gerar um fluxo de bits de dados de áudio codificado com pontos de acesso aleatório (quadros de reprodução imediata, IPFs).
[077] A FIG. 7 ilustra um exemplo de um sistema de codificadores de áudio para gerar uma pluralidade de fluxos de bits de dados de áudio codificado, cada um contendo pontos de acesso aleatório alinhados temporalmente (quadros de reprodução imediata, IPFs).
[078] A FIG. 8 ilustra um exemplo de um aparelho para gerar pontos de acesso aleatório (quadros de reprodução imediata, IPFs) em um fluxo de bits de dados de áudio codificado ou para remover pontos de acesso aleatório (quadros de reprodução imediata, IPFs) a partir de um fluxo de bits de dados de áudio codificado.
[079] A FIG. 9 ilustra um exemplo de um dispositivo possuindo um processador para executar um programa de computador armazenado em um meio de armazenamento digital não-temporário.
DESCRIÇÃO DETALHADA
[080] A presente invenção refere-se à criação (codificação), ao transporte (fluxo de bits) e ao processamento (decodificação) de IPFs em Áudio MPEG-4, tal como no contexto de um fluxo de dados incluindo áudio padronizado de acordo com outro padrão, tal como o padrão de áudio 3D MPEG-H. Aqui e no que se segue, os fluxos de bits de Áudio MPEG-4 podem se referir a fluxos de bits compatíveis com o padrão estabelecido na ISO/IEC 14496-3, Coding of audio-visual objects - Part 3: Audio, e em todas as edições futuras, revisões e emendas nesta ("doravante Áudio MPEG-4"). De modo a possibilitar a funcionalidade IPF no Áudio MPEG-4, há várias opções para gerar e transportar AUs e dados de configuração precedendo AUn no tempo como parte do mesmo pacote de carga útil que o usado para AUn. Isso é feito de modo a permitir a saída correta das amostras de áudio a partir da primeira amostra resultando da decodificação de AUn.
[081] Um fluxo de bits de dados de áudio codificado pode conter uma sequência de valores de amostra de áudio, por exemplo, pacotes de carga útil. O fluxo de bits de dados de áudio codificado pode adicionalmente compreender uma pluralidade de quadros. Cada quadro pode compreender valores de amostra de áudio codificado associados. Em outras palavras, cada pacote de carga útil pode pertencer a um respectivo quadro ou AU.
[082] Em um exemplo, um pacote de carga útil de áudio pode se conformar com a seguinte sintaxe conforme definida na ISO/IEC 14496-3: raw_data_block() {
while( (id = id_syn_ele) != ID_END ){ 3 uimsbf switch (id) { case ID_SCE: single_channel_element(); break; case ID_CPE: channel_pair_element(); break; case ID_CCE: coupling_channel_element(); break; case ID_LFE: lfe_channel_element(); break; case ID_DSE: data_stream_element(); break; case ID_PCE: program_config_element(); break; case ID_FIL: fill_element(); } } byte_align() }
[083] O pacote de carga útil de áudio acima pode ser compatível com as versões presentes e futuras do padrão MPEG, tal como o padrão de Áudio MPEG-4.
Em uma modalidade, o fluxo de bits de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4 (isto é, um fluxo de bits em conformidade com o padrão de Áudio MPEG-4).
[084] Um quadro do fluxo de bits de dados de áudio codificado pode ser um quadro de reprodução imediata (ponto de acesso aleatório, quadro especial) compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional. A informação adicional pode compreender valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata, em que os valores de amostra de áudio codificado dos quadros precedentes podem ser codificados usando a mesma configuração de codec que o quadro atual. O número de quadros precedentes, correspondendo a quadros de pré-rolagem, pode corresponder ao número de quadros necessário pelo decodificador para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado. O sinal completo pode, por exemplo, ser construído durante a inicialização ou reinicialização do decodificador. O quadro de reprodução imediata pode ser, por exemplo, o primeiro quadro quando da inicialização do decodificador.
[085] Em uma modalidade, a informação adicional pode ser transportada por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que pode ser tanto um Elemento de Fluxo de Dados (ID_DSE) quanto um elemento extension_payload. O elemento extension_payload pode, por exemplo, estar contido em diferentes locais da sintaxe de fluxo de bits do Áudio MPEG-4, por exemplo, em diferentes níveis. Em uma modalidade, o elemento extension_payload pode estar contido dentro de um elemento de enchimento (ID_FIL).
[086] A informação adicional, dessa forma, pode ser transportada por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4, por exemplo, baseado em uma das seguintes opções:
[087] Opção 1: raw_data_block() -> case ID_DSE -> data_stream_element() -> data_stream_byte[element_instance_tag][i];
[088] Opção 2: raw_data_block() -> case ID_FIL -> fill_element() -> extension_payload(cnt) - > switch( extension_type ) -> extension_type == EXT_DATA_ELEMENT (+ convenção de como identificar) ou EXT_AUDIO_PRE_ROLL
[089] Opção 3: er_raw_data_block() ou er_raw_data_block_eld() -> extension_payload(cnt) - > switch( extension_type ) -> extension_type == EXT_DATA_ELEMENT (+ convenção de como identificar) ou EXT_AUDIO_PRE_ROLL
[090] Um Elemento de Fluxo de Dados (sinalizado por meio de id_syn_ele igual a ID_DSE) ou um elemento de enchimento (sinalizado por meio de id_syn_ele igual a ID_FIL), ou equivalentes dos mesmos, conforme definido na ISO/IEC 14496- 3 e/ou em padrões futuros, pode ser usado para carregar cargas úteis de extensão, que podem ser usadas para adicionalmente estender a informação que é transportada em tal pacote de carga útil sem prejudicar a compatibilidade com os decodificadores legados.
[091] Portanto, no contexto de Áudio MPEG-4, tanto um Elemento de Fluxo de Dados (ID_DSE) quanto um elemento extension_payload, que pode estar contido dentro de um elemento de enchimento (ID_FIL), pode ser usado de modo a transportar AUs e informação de configuração que estão representando segmentos de tempo antes de AUn (isto é, informação adicional) dentro do mesmo pacote de carga útil que a AUn (isto é, quadro atual, quadro de reprodução imediata). Isso pode ser adicionalmente usado para aplicar processamento, o que permite usar a funcionalidade de IPF também no Áudio MPEG-4. De forma similar, como no MPEG- D USAC, onde o mecanismo de extensão (usacExtElement) pode ser usado para transmitir a carga útil de AudioPreRoll(), mas com algumas diferenças.
[092] Em uma modalidade, um elemento de extensão (por exemplo, elemento extension_payload) pode ser inserido em uma AU, onde o tipo de elemento é sinalizado no fluxo de bits para cada elemento e AU. Em um exemplo, o elemento de extensão pode ser o primeiro elemento em um pacote de carga útil, precedendo o primeiro elemento de áudio.
[093] Cada elemento de pré-rolagem de áudio definido abaixo pode ser identificado por um Identificador Universalmente Único (UUID). O campo UUID pode ser usado para sinalizar, por um codificador de áudio, e detectar, por um decodificador de áudio, uma troca das configurações do fluxo contínuo. Se o campo UUID tiver se alterado em relação ao quadro anterior ou ao estado inicial (por exemplo, na primeira inicialização do decodificador), a configuração do fluxo contínuo pode ter se alterado e a carga útil de pré-rolagem deverá ser avaliada para assegurar a decodificação correta. Se o UUID não se alterar em relação ao quadro anterior, o decodificador pode ignorar a carga útil audio_preroll_element() e prosseguir com a decodificação regular.
[094] Em um exemplo, se nenhum UUID estiver presente, o decodificador pode comparar o AudioSpecificConfig do audio_preroll_element() com a configuração atual do decodificador para detectar uma mudança de configuração do fluxo contínuo.
[095] O campo “flags” é usado como um conjunto de bits de 8 bits que pode ser usado para sinalizar informação adicional ao decodificador. Esta informação pode ser quanto a se uma atenuação cruzada deverá ser aplicada ou quanto ao tipo de atenuação cruzada (por exemplo, linear, logarítmica). No exemplo abaixo, utiliza- se um bit para sinalizar se a carga de pré-rolagem ou o UUID estão presentes ou não no fluxo de bits.
[096] A configuração do fluxo contínuo deverá ser conhecida para o decodificador antes de processar qualquer AU. No Áudio MPEG-4, a configuração do decodificador é transmitida no elemento AudioSpecificConfig. A configuração do decodificador e o UUID são parte da carga útil de pré-rolagem. Além disso, a carga útil de pré-rolagem compreende um número dependente da configuração de AUs de Áudio MPEG-4 (raw_data_block).
[097] Um Quadro de reprodução Imediata (IPF) no MPEG-4 pode compreender exatamente uma carga útil audio_preroll_element(), conforme descrito abaixo, e um ou vários fluxos contínuos de elemento de áudio (por exemplo, single_channel_element()) definidos na ISO/IEC 14496-3. Os fluxos contínuos de elementos de áudio são associados à marcação de tempo atual. A carga útil de pré-
rolagem pode ser transportada em um dos mecanismos de carga útil de extensão do Áudio MPEG-4.
[098] A Figura 1 mostra um Quadro de Reprodução Imediata (AUn) 1 compreendendo dois quadros de pré-rolagem (AUn-1, AUn-2) 2, 3, bem como a configuração de fluxo contínuo 4 (AudioSpecificConfig) e o IDentificador de Fluxo Contínuo 5 (UUID) correspondentes.
[099] Um elemento de Pré-rolagem de Áudio pode ser definido baseado no seguinte: audio_preroll_element() { flags; 8 uimbsf if((flags & 0x01) == 1) uuid; 128 uimbsf if((flags & 0x02) == 0) return; // Nenhuma carga útil presente asc_size = bs_asc_size; 8 uimbsf if(asc_size == 255) asc_size += esc; 8 uimbsf AudioSpecificConfig(); asc_size * 8 n_preroll_frames; 8 uimbsf for(f = 0; f < n_preroll_frames; ++f) { au_size = bs_au_size; 8 uimbsf if(au_size == 255) au_size += esc; 8 uimbsf raw_data_block(); au_size * 8 } } flags Sinalizadores controlando, por exemplo, atenuação cruzada, etc. sinalizadores & 0x02 usados para indicar se a carga útil está presente Identificador Universal Exclusivo, também conhecido como ID de Fluxo Contínuo (“Stream-ID”) no MPEG-D. Usado par uuid asinalizar mudança de configuração (troca de fluxo contínuo). A carga útil deverá ser decodificada se o uuid mudar em relação ao quadro anterior asc_size Tamanho de AudioSpecificConfig() em bytes n_preroll_frames Número de quadros de pré-rolagem de áudio au_size Tamanho da AU a seguir em bytes
[0100] Em um exemplo, o elemento de pré-rolagem de áudio (por exemplo, audio_preroll_element()) é alinhado por bytes, e, portanto, pode ser transmitido sem alinhamento de bytes adicional tanto pelo elemento extension_payload (por exemplo, dentro de um elemento de enchimento) quanto pelo Elemento de Fluxo Contínuo de Dados.
[0101] Em um exemplo, o IPF relaciona-se ao elemento de pré-rolagem da seguinte forma: os IPFs incluem tanto a AU atual quanto as AUs adicionais (isto é, o número de quadros precedentes) que são necessárias para decodificar corretamente. As AUs adicionais são empacotadas como parte do elemento de pré- rolagem, que, por sua vez, é empacotado no raw_data_block() (por meio de ID_DSE ou ID_FIL). Tal raw_data_block pode ser o IPF.
[0102] Um IPF pode ser codificado por vários métodos. Em um exemplo, um quadro de pré-rolagem deverá ser independentemente decodificável, por exemplo, se o SBR for usado, o cabeçalho SBR deverá estar presente. Em uma modalidade, o audio_preroll_element() pode ser encapsulado em um Elemento de Fluxo de Dados. Por exemplo, o audio_preroll_element() pode ser encapsulado em um elemento de fluxo de dados baseado na seguinte sintaxe: data_stream_element() { element_instance_tag; 4 uimsbf data_byte_align_flag; 1 uimsbf cnt = count; 8 uimsbf if (cnt == 255)
cnt += esc_count; 8 uimsbf if (data_byte_align_flag) byte_alignment(); for (i = 0; i < cnt; i++) data_stream_byte[element_instance_tag][i]; 8 uimsbf } Um número para identificar o elemento de fluxo contínuo element_instance_tag de dados. Deverá ser manipulado com cuidado se múltiplos DSEs estiverem presentes. Tamanho do audio_preroll_element() em bytes (0 se não cnt houver nenhum IPF) Carga útil de Pré-rolagem de Áudio, isto é, data_stream_byte audio_preroll_element()
[0103] Pode-se usar uma convenção para identificar o Elemento de Fluxo Contínuo de Dados (ID_DSE) que carrega um audio_preroll_element(). Em uma modalidade, o ID_DSE pode estar localizado em uma posição predefinida no fluxo contínuo e/ou pode ter uma marca de instância específica, sinalizando que a carga útil é um audio_preroll_element().
[0104] Em outra modalidade, o audio_preroll_element() pode estar encapsulado em um elemento extension_payload dentro de um elemento de enchimento. Por exemplo, o audio_preroll_element() pode ser encapsulado com base na seguinte sintaxe: fill_element() { cnt = count; 4 uimsbf if (cnt == 15) cnt += esc_count - 1; 8 uimsbf while (cnt > 0) { cnt -= extension_payload(cnt); }
} Tamanho do Elemento de Pré-Rolagem count de áudio em bytes (0 se não houver IPF) Elemento de carga útil de extensão, transportando audio_preroll_element(). Atualmente usado para transmitir, por exemplo, dados de SBR, bytes de extension_payload enchimento. O tipo de extensão poderia ser "EXT_DATA_ELEMENT" ou um tipo de elemento recentemente definido, por exemplo, "EXT_AUDIO_PRE_ROLL".
[0105] Como no exemplo anterior, pode-se usar uma convenção para identificar o tipo de um elemento extension_payload, de modo que, se o EXT_DATA_ELEMENT for transportado em uma certa posição predefinida em um pacote de carga útil, então a carga útil é um audio_preroll_element(). Portanto, em uma modalidade, o elemento extension_payload pode estar localizado em uma posição predefinida no fluxo contínuo e/ou pode ter uma marca de instância específica, sinalizando que a carga útil é um audio_preroll_element().
[0106] Em um exemplo, uma carga útil de extensão de acordo com a presente invenção pode ser sinalizada usando um novo tipo de carga útil de extensão, por exemplo, extension_type = EXT_AUDIO_PRE_ROLL = 1010b.
extension_payload(cnt) { extension_type; 4 uimsbf align = 4; switch( extension_type ) { case EXT_AUDIO_PRE_ROLL: // Sempre alinhado por bytes, não modifique o alinhamento audio_preroll_element(); break; [...]
[0107] Em um exemplo, o Elemento de Fluxo de Dados (ID_DSE) ou o elemento extension_payload (por exemplo, dentro do elemento de enchimento (ID_FIL)) carregando o audio_preroll_element() pode ser incorporado no fluxo de bits antes de qualquer elemento de áudio no mesmo pacote de carga útil. Alguns exemplos de incorporação da carga útil IPF de tal maneira incluem: Mono: <ID_(DSE|FIL)><ID_SCE>…<ID_END>
5.1: <ID_(DSE|FIL)><ID_SCE><ID_CPE><ID_CPE><ID_LFE>…<ID_END>
[0108] Um aspecto da presente invenção está relacionado à decodificação de um IPF. Referindo-se ao exemplo da Figura 2, o processo de decodificação pode incluir a etapa S101 de receber um fluxo de bits de dados de áudio codificado. O fluxo de bits de dados de áudio codificado pode representar uma sequência de valores de amostra de áudio e pode compreender uma pluralidade de quadros, em que cada quadro pode compreender valores de amostra de áudio codificado associados.
[0109] O método pode adicionalmente incluir a etapa S102 de determinar se um quadro do fluxo de bits de dados de áudio codificado é um quadro de reprodução imediata. O quadro de reprodução imediata pode compreender valores de amostra de áudio codificado associados a um quadro atual e informação adicional. A informação adicional pode compreender valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata, os valores de amostra de áudio codificado dos quadros precedentes sendo codificados usando a mesma configuração de codec que o quadro de reprodução imediata. O número de quadros precedentes, correspondendo a quadros de pré-rolagem, pode corresponder ao número de quadros necessário por um decodificador para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado. O sinal completo pode, por exemplo, ser construído durante a inicialização ou reinicialização do decodificador. O quadro de reprodução imediata pode ser, por exemplo, o primeiro quadro quando da inicialização do decodificador.
[0110] Além disso, o método pode incluir a etapa S103 de inicializar o decodificador caso seja determinado que o quadro é um quadro de reprodução imediata. A inicialização pode compreender decodificar os valores de amostra de áudio codificado compreendidos pelas informações adicionais antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual.
[0111] Referindo-se agora ao exemplo da Figura 3, o decodificador de áudio pode ser alternado a partir de uma configuração de codec atual para uma configuração de codec diferente caso seja determinado que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro de reprodução imediata tiverem sido codificados usando a configuração de codec diferente. O quadro de reprodução imediata pode ser decodificado usando a configuração de codec atual e a informação adicional pode ser descartada caso seja determinado que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro de reprodução imediata tiverem sido codificados usando a configuração de codec atual.
[0112] Em um exemplo, o processo de decodificação pode utilizar elementos da decodificação IPF no MPEG-S USAC. Referindo-se novamente ao exemplo da Figura 3, o processo de decodificação pode prosseguir em detalhes como se segue.  Se a carga útil estiver presente e se o uuid mudou a partir de um quadro anterior (decisão no bloco S104) ou  Se a carga útil estiver presente e uuid não estiver presente (decisão no bloco S105)
1. Lê nova configuração de fluxo contínuo S106, isto é, AudioSpecificConfig(), a partir do audio_preroll_element()
2. Libera estados do decodificador e armazena resultado no armazenamento temporário S107, por exemplo, usando uma unidade de acesso "NULL" ▪ Armazena o resultado em um armazenamento temporário (Armazenamento Temporário de Atenuação Cruzada)
3. Reconfigura (reinicializa) o decodificador S108
4. Decodifica n_preroll_frames no audio_preroll_element S109 e descarta a saída
5. Decodifica o próximo elemento de áudio (por exemplo, SCE/CPE/LFE) no fluxo de bits e armazena resultado em um armazenamento temporário (Armazenamento Temporário de Atenuação Cruzada B) ▪ Se sinalizado por flags, aplica atenuação cruzada S110 entre o Armazenamento Temporário de Atenuação Cruzada A e a saída do decodificador e grava o resultado no armazenamento temporário PCM de saída. O resultado da atenuação cruzada constitui a Unidade de Composição para este quadro ▪ Senão, grava saída do decodificador diretamente no armazenamento temporário PCM
6. Continua com o próximo quadro  SENÃO
1. Ignora audio_preroll_element() e decodifica quadro S111
2. Grava resultado no armazenamento temporário PCM S112 O dispositivo de decodificação pode adicionalmente incluir:  Se a carga útil não estiver presente, decodifica o respectivo quadro e continue com o próximo quadro.
[0113] Em um exemplo, este processamento possibilita a troca dos AudioObjectTypes (AOT) conforme definida na ISO/IEC 14496-3 em combinação com a produção contínua de amostras de saída corretas e sem introduzir lacunas de silêncio na saída de áudio. Em um exemplo, os AOTs que são alternados entre podem incluir o AOT 2 (AAC), o AOT 5 (SBR), o AOT 29 (PS) e outros compatíveis.
[0114] Referindo-se agora ao exemplo da Figura 4, um aspecto da presente invenção está relacionado a um decodificador de áudio para decodificação de um IPF. O decodificador de áudio pode compreender um determinador 101. O determinador 101 pode ser configurado para determinar se um quadro do fluxo de bits de dados de áudio codificado é um quadro de reprodução imediata compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional. A informação adicional pode compreender valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata. Os valores de amostra de áudio codificado dos quadros precedentes podem ser codificados usando a mesma configuração de codec que o quadro atual. O número de quadros precedentes, correspondendo a quadros de pré- rolagem, pode corresponder ao número de quadros necessário pelo decodificador 100 para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado. O sinal completo pode, por exemplo, ser construído durante a inicialização ou reinicialização do decodificador 100. O quadro de reprodução imediata pode ser, por exemplo, o primeiro quadro quando da inicialização do decodificador 100.
[0115] Além disso, o decodificador 100 pode compreender um inicializador
102. O inicializador 102 pode ser configurado para inicializar o decodificador 100 se o determinador 101 determinar que o quadro é um quadro de reprodução imediata.
Inicializar o decodificador 100 pode compreender decodificar os valores de amostra de áudio codificado compreendidos pelas informações adicionais antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual. O inicializador 102 pode ser adicionalmente configurado para alternar o decodificador de áudio 100 a partir de uma configuração de codec atual para uma configuração de codec diferente se o 101 determinador determinar que o quadro é um quadro de reprodução imediato e se os valores de amostra de áudio do quadro atual tiverem sido codificados usando a configuração de codec diferente. Além disso, o decodificador 100 pode ser configurado para decodificar o quadro atual usando a configuração de codec atual e descartar as informações adicionais se o determinador 100 determinar que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro atual tiverem sido codificados usando a configuração de codec atual.
[0116] Referindo-se agora ao exemplo da Figura 5, um aspecto da presente invenção relaciona-se a um codificador de áudio para gerar um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata (pontos de acesso aleatório), em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[0117] O codificador de áudio 200 pode compreender um codificador de núcleo 202 configurado para codificar valores de amostra de áudio não-comprimido associados à pluralidade de quadros usando uma configuração de codec predefinida. O uso de uma configuração de codec predefinida pode, por exemplo, incluir o uso de uma taxa de amostragem predeterminada. Em um exemplo, o codificador de núcleo 202 pode codificar as amostras de áudio não-comprimidas para estarem em conformidade com a decodificação do padrão de Áudio MPEG-4.
[0118] O codificador de áudio 200 pode adicionalmente compreender um armazenamento temporário 203 configurado para armazenar valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros codificados usando a configuração de codec predefinida (conforme indicado pelas linhas tracejadas).
[0119] Ao codificar, por exemplo, um quadro N, os quadros anteriores relevantes N-1, N-2, …, podem sempre ser armazenados/armazenados temporariamente (em buffer). Quando instruído para gravar um IPF no quadro N (por exemplo, a cada 2 segundos de modo a permitir a troca dinâmica), os quadros anteriores relevantes armazenados N-1, N-2, …, podem então ser pegos e empacotados no quadro atual N.
[0120] Além disso, o codificador 200 pode compreender um incorporador 204 configurado para gravar um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata pode compreender valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual.
[0121] Embora, no exemplo da Figura 5, o incorporador 204 seja definido como sendo parte do codificador de áudio 200, observa-se que, alternativamente, ou adicionalmente, o incorporador 204 também pode ser implementado individualmente para gravar quadros de reprodução imediata em qualquer quadro atual de um fluxo de bits de áudio codificado ou para converter quadros de reprodução imediata em um fluxo de bits de dados de áudio codificado em quadros “normais” removendo-se a informação adicional dos quadros de reprodução imediata. Nisto, o incorporador 204 pode ser parte da cadeia do codificador, mas não necessariamente precisa.
[0122] Em uma modalidade, o incorporador 204 pode adicionalmente ser configurado para incluir informação sobre a configuração de codec predefinida na informação adicional. Nisto, a informação adicional pode fornecer informação sobre a configuração de codec predefinida a um decodificador.
[0123] Em uma modalidade, o incorporador 204 pode adicionalmente ser configurado para incluir, no quadro de reprodução imediata, a informação adicional. Desta forma, a informação adicional pode ser transportada no fluxo de bits para o decodificador.
[0124] Em uma modalidade, o fluxo de bits gerado de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4.
[0125] Em uma modalidade, o incorporador 204 pode ser adicionalmente configurado para incorporar a informação adicional no fluxo de bits (por exemplo, para transporte) por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que pode ser tanto um Elemento de Fluxo de Dados (ID_DSE) como um elemento extension_payload.
[0126] Em uma modalidade, o incorporador 204 pode ser adicionalmente configurado para localizar tanto o Elemento de Fluxo de Dados (ID_DSE) quanto o elemento extension_payload em u,a posição predefinida no fluxo de bits de Áudio MPEG-4 e/ou atribuir uma marca de instância específica sinalizando que uma carga útil do Elemento de Fluxo de Dados (ID_DSE) ou do elemento extension_payload é a informação adicional. A posição predefinida pode corresponder a uma primeira posição no fluxo de bits de Áudio MPEG-4, isto é, sempre a primeira nos quadros, uma vez que pode carregar a configuração do decodificador que pode ser necessária para decodificar um quadro n (Figura 1, raw_data_block()[n]). O decodificador pode, portanto, assumir que, se o primeiro elemento no quadro for um ID_DSE ou um elemento extension_payload (pode estar contido dentro de um elemento ID_FIL), este elemento carrega dados de pré-rolagem (quadros precedentes, quadros de pré-rolagem).
[0127] Em uma modalidade, o incorporador 204 pode adicionalmente ser configurado para incluir um identificador único na informação adicional.
Opcionalmente, o identificador único pode sinalizar a configuração de codec predefinida. A configuração de codec predefinida pode então ser usada pelo decodificador para decodificar um quadro n como declarado acima. Com base no identificador único, o decodificador pode ser capaz de identificar a informação adicional no fluxo de bits e analisar o fluxo de bits de maneira correspondente.
[0128] Em uma modalidades, o codificador de áudio 200 pode ser adicionalmente configurado para não codificado diferencialmente por tempo ou codificar por entropia um quadro mais inicial do número de quadros compreendido na informação adicional em relação a qualquer quadro anterior ao quadro mais inicial, e o codificador de áudio 200 pode ser adicionalmente configurado para não codificar diferencialmente por tempo ou codificar por entropia o quadro de reprodução imediata em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
[0129] Referindo-se agora ao exemplo da Figura 6, um aspecto da presente invenção relaciona-se a um método para gerar, por um codificador de áudio, um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata (pontos de acesso aleatório), em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[0130] O método pode compreender a etapa s201 de codificar, por um codificador de núcleo, valores de amostra de áudio não-comprimidos associados à pluralidade de quadros usando uma configuração de codec predefinida. O uso de uma configuração de codec predefinida pode, por exemplo, incluir o uso de uma taxa de amostragem predeterminada. O método pode adicionalmente compreender a etapa S202 de armazenar, por um armazenamento temporário, valores de amostra de áudio codificados de um número de quadros precedentes de um quadro atual da pluralidade de quadros codificados usando a configuração de codec predefinida.
[0131] Além disso, o método pode compreender a etapa S203 de gravar, por um incorporador, um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata compreende valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual.
[0132] Em uma modalidade, a informação adicional pode adicionalmente compreender informação sobre a configuração de codec predefinida. A configuração de codec predefinida pode ser usada por um decodificador no processo de decodificação como detalhado acima.
[0133] Em uma modalidade, o quadro de reprodução imediata pode adicionalmente compreender a informação adicional. Desta forma, a informação adicional pode ser transportada no fluxo de bits.
[0134] Em uma modalidade, o fluxo de bits gerado de dados de áudio codificado pode ser um fluxo de bits de Áudio MPEG-4.
[0135] Em uma modalidade, a informação adicional pode ser incorporada no fluxo de bits (por exemplo, para transporte), pelo incorporador, por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é tanto um Elemento de Fluxo de Dados (ID_DSE) quanto um elemento extension_payload. O elemento extension_payload pode, por exemplo, estar contido em diferentes locais da sintaxe de fluxo de bits do Áudio MPEG-4. Em uma modalidade, o elemento extension_payload pode ser incorporado (por exemplo, para transporte), pelo incorporador, dentro de um elemento de enchimento (ID_FIL).
[0136] Como detalhado acima, em uma modalidade, tanto o Elemento de Fluxo de Dados (ID_DSE) quanto o elemento extension_payload pode ser localizado, pelo incorporador, em uma posição predefinida no fluxo de bits de Áudio MPEG-4 e/ou pode ser atribuído a uma marca de instância específica sinalizando que uma carga útil do Elemento de Fluxo de Dados (ID_DSE) ou do elemento extension_payload é a informação adicional. A configuração predefinida pode sempre ser a primeira posição nos quadros, uma vez que ela pode transportar a configuração do decodificador que pode ser necessária para decodificar o quadro atual.
[0137] Em uma modalidade, a informação adicional pode adicionalmente compreender um identificador único. Opcionalmente, o identificador único pode sinalizar a configuração de codec predefinida.
[0138] Em uma modalidade, um quadro mais inicial do número de quadros compreendidos na informação adicional pode não ser codificado diferencialmente por tempo ou codificado por entropia, pelo codificador de áudio, em relação a qualquer quadro anterior ao quadro mais inicial, e o quadro de reprodução imediata pode não ser codificado diferencialmente por tempo ou codificado por entropia, pelo codificador de áudio, em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
[0139] Referindo-se agora ao exemplo da Figura 7, um aspecto da presente revelação, é proposto um sistema compreendendo dois ou mais codificadores de áudio para gerar uma pluralidade de fluxo de bits de dados de áudio codificado, cada um possuindo quadros de reprodução imediata (pontos de acesso aleatório alinhados temporalmente), em que cada fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, e em que cada quadro compreende valores de amostra de áudio codificado associados. Embora o número de codificadores de áudio em um sistema não esteja restrito, no exemplo da Figura 7, um sistema compreendendo dois codificadores de áudio é ilustrado. O sistema pode executar os dois codificadores de áudio em paralelo no mesmo conteúdo, inserindo quadros de reprodução imediata na mesma cadência, mas tendo uma configuração diferente, por exemplo, para taxa de bits. Cada cadeia de codificação pode emitir seu próprio fluxo de bits. Ambos os fluxos de bits criados desta maneira podem ser armazenados, por exemplo, em um servidor na Rede (Web). Um cliente pode começar a reproduzir um fluxo contínuo A (por exemplo, a uma taxa de bits elevada).
Em algum ponto no tempo, o cliente pode decidir trocar para um fluxo contínuo de taxa de bits inferior B, e, portanto, pode solicitar o mesmo conteúdo, mas em uma taxa de bits diferente. Quando o primeiro segmento do fluxo contínuo B chega a um decodificador, tal segmento pode sempre iniciar com um IPF (isto pode ser sinalizado, por exemplo, por meio de um arquivo de manifesto de acordo com MPEG-DASH), que permite ao decodificador emitir áudio correto logo no começo.
[0140] Referindo-se novamente ao exemplo da figura 7, dois codificadores de áudio são ilustrados em paralelo, cada um dos codificadores de áudio compreendendo um codificador de núcleo 202 (codificador de núcleo #1, codificador de núcleo #2), um armazenamento temporário (não ilustrado) e um incorporador 204 (inserção do IPF).
[0141] Em uma modalidade, uma taxa de amostragem predeterminada pode ser a mesma para cada um dos codificadores de núcleo 202. Caso contrário, podem ser necessários reamostragem e tratamento de retardo adicional no lado do decodificador. Entretanto, os codificadores de núcleo 202 podem ser configurados para serem executados a taxas de quadro diferentes (por exemplo, AAC-LC 1024; HE-AAC 2048). Além disso, as configurações do codificador de núcleo podem requerer um número diferente de quadros de pré-rolagem p. Pode ser necessário que tanto o quadro n-p quanto n sejam decodificáveis de maneira independente, isto é, podem não ter que recorrer a informação de quadros anteriores (para HE-AAC,
eles podem conter o cabeçalho SBR). Após a codificação de núcleo, os tempos de decodificação dos IPFs podem ser alinhados entre os diferentes fluxos.
[0142] Em uma modalidade, o sistema pode adicionalmente compreender uma unidade de alinhamento de retardo 201 (retardo#1, retardo#2) para alinhar o retardo da pluralidade de fluxos de bits. Para troca ininterrupta no decodificador, os tempos de decodificação dos quadros de reprodução imediata (IPFs) podem ter que ser alinhados. O estágio de alinhamento de retardo pode retardar as amostras de PCM de entrada (valores de amostra de áudio não-comprimido, valores de amostra de áudio de entrada) para compensar diferentes retardos do codificador/decodificador.
[0143] Referindo-se agora ao exemplo da Figura 8, um aspecto da presente invenção relaciona-se a um aparelho para gerar quadros de reprodução imediata (pontos de acesso aleatório) em um fluxo de bits de dados de áudio codificado ou para remover quadros de reprodução imediata (pontos de acesso aleatório) de um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[0144] O aparelho 300 pode compreender um receptor 301 configurado para receber um fluxo de bits de dados de áudio codificados, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados.
[0145] Além disso, o aparelho 300 pode compreender um incorporador 302 configurado para gravar um quadro de reprodução imediata em um quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata compreende valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual. Ao gerar IPFs, o incorporador 302 pode operar em conformidade com os princípios descritos acima em conexão com as Figuras 5 a 7. Pode-se dizer que esta operação corresponde à conversão de um quadro "normal" (não-IPF) em um IPF.
[0146] A inserção do IPF pode se encarregar do processo real de cópia e empacotamento. Ao dividir a codificação do núcleo e a inserção do IPF, como com o aparelho acima, pode ser possível armazenar os fluxos de bits sem IPFs e somente incorporar IPFs antes da distribuição, se necessário. Se configurado para troca ininterrupta, cada IPF pode precisar conter a configuração de fluxo contínuo ASC.
[0147] Em uma modalidade, o aparelho 300 pode adicionalmente compreender um armazenamento temporário configurado para armazenar valores de amostra de áudio codificados do número de quadros precedentes do quadro atual da pluralidade de quadros.
[0148] Em uma modalidade, o incorporador 302 pode ser adicionalmente configurado para remover, do quadro de reprodução imediata, a informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual. Pode-se dizer que isso corresponde à conversão de um IPF em um quadro “normal”. Por exemplo, um codificador de áudio pode gerar somente IPFs, que podem então ser removidos posteriormente pelo incorporador, dependendo das restrições que um respectivo canal/serviço possa ter.
[0149] Referindo-se agora ao exemplo da Figura 9, os aspectos da invenção podem incluir um meio de armazenamento digital não-temporário contendo um programa de computador nele armazenado para executar os métodos descritos aqui quando o dito programa de computador é executado por um computador ou um processador. A Figura 9 ilustra, a título de exemplo, um dispositivo 400 possuindo um processador 401 que pode executar o dito programa de computador.
Alternativamente, o dispositivo 400 pode representar um respectivo computador.
[0150] Os métodos e sistemas aqui descritos podem ser implementados na forma de software, firmware e/ou hardware. Certos componentes podem, por exemplo, ser implementados como software sendo executado em um processador ou microprocessador de sinais digitais. Outros componentes podem, por exemplo, ser implementados como hardware e/ou como circuitos integrados de aplicação específica. Os sinais encontrados nos métodos e sistemas descritos podem ser armazenados em meios tais como memória de acesso aleatório ou meios de armazenamento óptico. Eles podem ser transferidos através de redes, tais como redes de rádio, redes de satélite, redes sem fio ou redes cabeadas, por exemplo, a Internet. Dispositivos típicos que fazem uso dos métodos, aparelho e sistemas descritos no presente documento incluem dispositivos eletrônicos portáteis ou outro equipamento do consumidor, os quais são usados para armazenar e/ou renderizar sinais de áudio.
[0151] Deve-se observar que a descrição e os desenhos/figuras meramente ilustram os princípios dos métodos, sistemas e aparelho propostos. Os versados na técnica serão capazes de implementar várias disposições que, embora não descritas ou ilustradas explicitamente neste documento, incorporam os princípios da invenção e estão incluídas dentro de sua essência e âmbito. Adicionalmente, todos os exemplos e modalidades esboçados no presente documento têm a intenção principalmente de serem explicitamente apenas para fins de explicação no sentido de ajudar o leitor a entender os princípios do método proposto. Adicionalmente, todas as declarações neste documento citando princípios, aspectos e modalidades da invenção, bem como exemplos específicos da mesma, pretendem abranger equivalentes da mesma.

Claims (31)

REIVINDICAÇÕES
1. Decodificador de áudio para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, o decodificador de áudio sendo CARACTERIZADO por compreender: um determinador configurado para determinar se um quadro do fluxo de bits dos dados de áudio codificado é um quadro de reprodução imediata compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional, em que o fluxo de bits de dados de áudio codificado é um fluxo de bits de Áudio MPEG-4, em que a informação adicional é transportada por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é um elemento extension_payload de um novo tipo de elemento de carga útil de extensão EXT_AUDIO_PRE_ROLL, em que o elemento extension_payload está localizado em uma primeira posição no fluxo de bits de Áudio MPEG-4, e em que o elemento extension_payload está contido dentro de um elemento de enchimento (ID_FIL), em que a informação adicional compreende valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata, em que os valores de amostra de áudio codificado dos quadros precedentes são codificados usando a mesma configuração de codec que o quadro atual, em que o número de quadros precedentes, correspondendo a quadros de pré-rolagem, corresponde ao número de quadros necessário pelo decodificador para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado; e um inicializador configurado para inicializar o decodificador se o determinador determinar que o quadro é um quadro de reprodução imediata,
em que inicializar o decodificador compreende decodificar os valores de amostra de áudio codificado compreendidos pelas informações adicionais antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual, em que o inicializador é configurado para alternar o decodificador de áudio a partir de uma configuração de codec atual para uma configuração de codec diferente se o determinador determinar que o quadro é um quadro de reprodução imediato e se os valores de amostra de áudio do quadro atual tiverem sido codificados usando a configuração de codec diferente, e em que o decodificador é configurado para decodificar o quadro atual usando a configuração de codec atual e descartar a informação adicional se o determinador determinar que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro atual tiverem sido codificados usando a configuração de codec atual.
2. Decodificador de áudio, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a informação adicional adicionalmente compreende informação sobre a configuração de codec usada para codificar os valores de amostra de áudio associados ao quadro atual, e pelo fato de que o determinador é adicionalmente configurado para determinar se a configuração de codec da informação adicional é diferente da configuração de codec atual.
3. Decodificador de áudio, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que o quadro de reprodução imediata compreende a informação adicional como uma carga útil de extensão e em que o determinador é configurado para avaliar a carga útil de extensão do quadro de reprodução imediata.
4. Decodificador de áudio, de acordo com qualquer uma das reivindicações 1 a 3, CARACTERIZADO pelo fato de que o elemento extension_payload tem uma marca de instância específica sinalizando que uma carga útil do elemento extension_payload é a informação adicional.
5. Decodificador de áudio, de acordo com qualquer uma das reivindicações 1 a 4, CARACTERIZADO pelo fato de que a informação adicional adicionalmente compreende um identificador único, e em que, opcionalmente, o identificador único é usado para detectar a configuração de codec diferente.
6. Decodificador de áudio, de acordo com qualquer uma das reivindicações 1 a 5, CARACTERIZADO por adicionalmente compreender um atenuador cruzado configurado para realizar a atenuação cruzada dos valores de amostra de saída obtidos por meio da liberação do decodificador na configuração de codec anterior e dos valores de amostra de saída obtidos pela decodificação dos valores de amostra de áudio codificado associados ao quadro atual.
7. Decodificador de áudio, de acordo com qualquer uma das reivindicações 1 a 6, CARACTERIZADO pelo fato de que um quadro mais inicial do número de quadros compreendidos na informação adicional não é codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial, e pelo fato de que o quadro de reprodução imediata não é codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
8. Método para decodificar um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, CARACTERIZADO por compreender: determinar se um quadro do fluxo de bits dos dados de áudio codificado é um quadro de reprodução imediata compreendendo valores de amostra de áudio codificado associados a um quadro atual e informação adicional, em que o fluxo de bits de dados de áudio codificado é um fluxo de bits de Áudio MPEG-4, em que a informação adicional é transportada por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é um elemento extension_payload de um novo tipo de elemento de carga útil de extensão EXT_AUDIO_PRE_ROLL, em que o elemento extension_payload está localizado em uma primeira posição no fluxo de bits de Áudio MPEG-4, e em que o elemento extension_payload está contido dentro de um elemento de enchimento (ID_FIL),
em que a informação adicional compreende valores de amostra de áudio codificado de um número de quadros precedendo o quadro de reprodução imediata,
em que os valores de amostra de áudio codificado dos quadros precedentes são codificados usando a mesma configuração de codec que o quadro de reprodução imediata,
em que o número de quadros precedentes, correspondendo a quadros de pré-rolagem, corresponde ao número de quadros necessário por um decodificador para construir o sinal completo de modo a estar em uma posição de emitir valores de amostra de áudio válidos associados ao quadro atual sempre que um quadro de reprodução imediata é decodificado;
inicializar o decodificador caso seja determinado que o quadro é um quadro de reprodução imediata, em que a inicialização compreende decodificar os valores de amostra de áudio codificado compreendidos pela informação adicional antes de decodificar os valores de amostra de áudio codificado associados ao quadro atual;
alternar o decodificador de áudio a partir de uma configuração de codec atual para uma configuração de codec diferente caso seja determinado que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro de reprodução imediata tiverem sido codificados usando a configuração de codec diferente, e decodificar o quadro de reprodução imediata usando a configuração de codec atual e descartar a informação adicional caso seja determinado que o quadro é um quadro de reprodução imediata e se os valores de amostra de áudio do quadro de reprodução imediata tiverem sido codificados usando a configuração de codec atual.
9. Método, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que a informação adicional adicionalmente compreende informação sobre a configuração de codec usada para codificar os valores de amostra de áudio associados ao quadro atual, o método adicionalmente compreendendo determinar se a configuração de codec da informação adicional é diferente da configuração de codec atual usada para codificar os valores de amostra de áudio associados aos quadros no fluxo de bits precedendo o quadro de reprodução imediata.
10. Método, de acordo com a reivindicação 8 ou 9, CARACTERIZADO pelo fato de que o elemento extension_payload tem uma marca de instância específica sinalizando que uma carga útil do elemento extension_payload é a informação adicional.
11. Método, de acordo com qualquer uma das reivindicações 8 a 10, CARACTERIZADO pelo fato de que a informação adicional adicionalmente compreende um identificador único, e em que, opcionalmente, o identificador único é usado para detectar a configuração de codec diferente.
12. Método, de acordo com qualquer uma das reivindicações 8 a 11, CARACTERIZADO pelo fato de que o fluxo de bits de dados de áudio codificado compreende um primeiro número de quadros codificados usando uma primeira configuração de codec e um segundo número de quadros seguindo o primeiro número de quadros e codificados usando uma segunda configuração de codec, em que o primeiro quadro do segundo número de quadros é o quadro de reprodução imediata.
13. Codificador de áudio para gerar um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, o codificador de áudio sendo
CARACTERIZADO por compreender:
um codificador de núcleo configurado para codificar valores de amostra de áudio não-comprimidos associados à pluralidade de quadros usando uma configuração de codec predefinida;
um armazenamento temporário configurado para armazenar valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros codificados usando a configuração de codec predefinida; e um incorporador configurado para gravar um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata compreende valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual, em que o fluxo de bits gerado de dados de áudio codificado é um fluxo de bits de Áudio MPEG-4, em que o incorporador é adicionalmente configurado para incorporar a informação adicional no fluxo de bits por meio de um mecanismo de extensão de fluxo de bits de Áudio
MPEG-4 que é um elemento extension_payload de um novo tipo de elemento de carga útil de extensão EXT_AUDIO_PRE_ROLL, para localizar o elemento extension_payload em uma primeira posição no fluxo de bits de Áudio MPEG-4, e para incorporar o elemento extension_payload dentro de um elemento de enchimento (ID_FIL).
14. Codificador de áudio, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o incorporador é adicionalmente configurado para incluir informação sobre a configuração de codec predefinida na informação adicional.
15. Codificador de áudio, de acordo com a reivindicação 13 ou 14, CARACTERIZADO pelo fato de que o incorporador é adicionalmente configurado para incluir, no quadro de reprodução imediata, a informação adicional.
16. Codificador de áudio, de acordo com qualquer uma das reivindicações 13 a 15, CARACTERIZADO pelo fato de que o incorporador é adicionalmente configurado para atribuir uma marca de instância específica sinalizando que uma carga útil do elemento extension_payload é a informação adicional.
17. Codificador de áudio, de acordo com qualquer uma das reivindicações 13 a 16, CARACTERIZADO pelo fato de que o incorporador é adicionalmente configurado para incluir um identificador único na informação adicional, e em que, opcionalmente, o identificador único sinaliza a configuração de codec predefinida.
18. Codificador de áudio, de acordo com qualquer uma das reivindicações 13 a 17, CARACTERIZADO pelo fato de que o codificador de áudio é adicionalmente configurado para não codificar diferencialmente por tempo ou codificar por entropia um quadro mais inicial do número de quadros compreendido na informação adicional em relação a qualquer quadro anterior ao quadro mais inicial, e em que o codificador de áudio é adicionalmente configurado para não codificar diferencialmente por tempo ou codificar por entropia o quadro de reprodução imediata em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
19. Sistema compreendendo dois ou mais codificadores de áudio, de acordo com qualquer uma das reivindicações 13 a 18, CARACTERIZADO por ser para gerar uma pluralidade de fluxo de bits de dados de áudio codificado, cada um possuindo quadros de reprodução imediata, em que cada fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, e em que cada quadro compreende valores de amostra de áudio codificado associados.
20. Sistema, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que uma taxa de amostragem predeterminada é a mesma para cada um dos codificadores de núcleo dos dois ou mais codificadores de áudio.
21. Sistema, de acordo com a reivindicação 19 ou 20, CARACTERIZADO pelo fato de que o sistema adicionalmente compreende uma unidade de alinhamento de retardo para alinhar por retardo a pluralidade de fluxos de bits.
22. Método para gerar, por um codificador de áudio, um fluxo de bits de dados de áudio codificado com quadros de reprodução imediata, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, o método sendo CARACTERIZADO por compreender as etapas de: codificar, por um codificador de núcleo, valores de amostra de áudio não- comprimido associados à pluralidade de quadros usando uma configuração de codec predefinida; armazenar, por um armazenamento temporário, valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros codificado usando a configuração de codec predefinida; e gravar, por um incorporador, um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata compreende valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual, em que o fluxo de bits gerado de dados de áudio codificado é um fluxo de bits de Áudio MPEG-4, em que a informação adicional é incorporada no fluxo de bits, pelo incorporador, por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é um elemento extension_payload de um novo tipo de elemento de carga útil de extensão EXT_AUDIO_PRE_ROLL, em que o elemento extension_payload é localizado, pelo incorporador, em uma primeira posição no fluxo de bits de Áudio MPEG-4, e em que o elemento extension_payload é incorporado, pelo incorporador, dentro de um elemento de enchimento (ID_FIL).
23. Método, de acordo com a reivindicação 22, CARACTERIZADO pelo fato de que a informação adicional adicionalmente compreende informação sobre a configuração de codec predefinida.
24. Método, de acordo com a reivindicação 22 ou 23, CARACTERIZADO pelo fato de que o quadro de reprodução imediata adicionalmente compreende a informação adicional.
25. Método, de acordo com qualquer uma das reivindicações 22 a 24, CARACTERIZADO pelo fato de que é atribuído, ao elemento extension_payload, uma marca de instância específica sinalizando que uma carga útil do elemento extension_payload é a informação adicional.
26. Método, de acordo com qualquer uma das reivindicações 22 a 25, CARACTERIZADO pelo fato de que a informação adicional adicionalmente compreende um identificador único, e em que, opcionalmente, o identificador único sinaliza a configuração de codec predefinida.
27. Método, de acordo com qualquer uma das reivindicações 22 a 26, CARACTERIZADO pelo fato de que, pelo codificador de áudio, um quadro mais inicial do número de quadros compreendidos na informação adicional não é codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial, e pelo fato de que, pelo codificador de áudio, o quadro de reprodução imediata não é codificado diferencialmente por tempo ou codificado por entropia em relação a qualquer quadro anterior ao quadro mais inicial do número de quadros precedendo o quadro de reprodução imediata ou em relação a qualquer quadro anterior ao quadro de reprodução imediata.
28. Aparelho para gerar quadros de reprodução imediata em um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, o aparelho sendo CARACTERIZADO por compreender: um receptor configurado para receber um fluxo de bits de dados de áudio MPEG-4, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados; um armazenamento temporário configurado para armazenar valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros; e um incorporador configurado para gravar um quadro de reprodução imediata no quadro atual da pluralidade de quadros, em que o quadro de reprodução imediata compreende valores de amostra de áudio codificado associados ao dito quadro atual e informação adicional correspondendo aos valores de amostra de áudio codificado do número de quadros precedentes do dito quadro atual, em que o incorporador é adicionalmente configurado para incorporar a informação adicional no fluxo de bits por meio de um mecanismo de extensão de fluxo de bits de Áudio MPEG-4 que é um elemento extension_payload de um novo tipo de elemento de carga útil de extensão EXT_AUDIO_PRE_ROLL, para localizar o elemento extension_payload em uma primeira posição no fluxo de bits de Áudio MPEG-4, e para incorporar o elemento extension_payload dentro de um elemento de enchimento (ID_FIL).
29. Aparelho para remover quadros de reprodução imediata de um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados, o aparelho sendo CARACTERIZADO por compreender: um receptor configurado para receber um fluxo de bits de dados de áudio codificado, em que o fluxo de bits de dados de áudio codificado representa uma sequência de valores de amostra de áudio e compreende uma pluralidade de quadros, em que cada quadro compreende valores de amostra de áudio codificado associados; e um incorporador configurado para converter um quadro de reprodução imediata em um quadro normal removendo, do quadro de reprodução imediata, informação adicional correspondendo aos valores de amostra de áudio codificado de um número de quadros precedentes de um quadro atual da pluralidade de quadros no qual o quadro de reprodução imediata foi gravado.
30. Meio de armazenamento digital não-temporário, CARACTERIZADO por ter um programa de computador armazenado no mesmo para executar o método de acordo com qualquer uma das reivindicações 8 a 12 quando o dito programa de computador é executado por um computador ou um processador.
31. Meio de armazenamento digital não-temporário, CARACTERIZADO por ter um programa de computador armazenado no mesmo para executar o método de acordo com qualquer uma das reivindicações 22 a 27 quando o dito programa de computador é executado por um computador ou um processador.
BR112021003104-9A 2018-08-21 2019-08-20 métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs) BR112021003104A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862720680P 2018-08-21 2018-08-21
US62/720,680 2018-08-21
PCT/EP2019/072258 WO2020038938A1 (en) 2018-08-21 2019-08-20 Methods, apparatus and systems for generation, transportation and processing of immediate playout frames (ipfs)

Publications (1)

Publication Number Publication Date
BR112021003104A2 true BR112021003104A2 (pt) 2021-05-11

Family

ID=67902488

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021003104-9A BR112021003104A2 (pt) 2018-08-21 2019-08-20 métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs)

Country Status (10)

Country Link
US (1) US11972769B2 (pt)
EP (2) EP3841571B1 (pt)
JP (2) JP7455812B2 (pt)
KR (1) KR20210043679A (pt)
CN (3) CN118192925A (pt)
AU (1) AU2019323625A1 (pt)
BR (1) BR112021003104A2 (pt)
CA (1) CA3110137A1 (pt)
MX (1) MX2021001970A (pt)
WO (1) WO2020038938A1 (pt)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972769B2 (en) * 2018-08-21 2024-04-30 Dolby International Ab Methods, apparatus and systems for generation, transportation and processing of immediate playout frames (IPFs)
WO2021030515A1 (en) * 2019-08-15 2021-02-18 Dolby International Ab Methods and devices for generation and processing of modified audio bitstreams
WO2023021137A1 (en) * 2021-08-19 2023-02-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, method for providing an encoded representation of an audio information, computer program and encoded audio representation using immediate playout frames
CN114979771A (zh) * 2022-07-26 2022-08-30 北京智象信息技术有限公司 一种多媒体播放器视频预滚水位控制的方法、装置及介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
JP5542306B2 (ja) * 2005-01-11 2014-07-09 コーニンクレッカ フィリップス エヌ ヴェ オーディオ信号のスケーラブル符号化及び復号
US8532984B2 (en) 2006-07-31 2013-09-10 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of active frames
US8190441B2 (en) 2006-09-11 2012-05-29 Apple Inc. Playback of compressed media files without quantization gaps
EP2201566B1 (en) 2007-09-19 2015-11-11 Telefonaktiebolaget LM Ericsson (publ) Joint multi-channel audio encoding/decoding
WO2011104463A1 (fr) 2010-02-26 2011-09-01 France Telecom Compression de flux audio multicanal
CA2796147C (en) 2010-04-13 2016-06-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and encoder and decoder for gap - less playback of an audio signal
WO2014124377A2 (en) * 2013-02-11 2014-08-14 Dolby Laboratories Licensing Corporation Audio bitstreams with supplementary data and encoding and decoding of such bitstreams
US20130282917A1 (en) 2012-04-24 2013-10-24 Vid Scale, Inc. Method and apparatus for smooth stream switching in mpeg/3gpp-dash
WO2015000819A1 (en) 2013-07-05 2015-01-08 Dolby International Ab Enhanced soundfield coding using parametric component generation
EP2863386A1 (en) * 2013-10-18 2015-04-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder
US9489955B2 (en) 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
KR102428794B1 (ko) 2014-03-21 2022-08-04 돌비 인터네셔널 에이비 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
EP3800898B1 (en) 2014-05-28 2023-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Data processor and transport of user control data to audio decoders and renderers
EP2996269A1 (en) 2014-09-09 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio splicing concept
WO2016142380A1 (en) 2015-03-09 2016-09-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Fragment-aligned audio coding
TWI758146B (zh) * 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
EP3332557B1 (en) 2015-08-07 2019-06-19 Dolby Laboratories Licensing Corporation Processing object-based audio signals
CN116631413A (zh) * 2017-01-10 2023-08-22 弗劳恩霍夫应用研究促进协会 音频解码器、提供解码的音频信号的方法、和计算机程序
RU2651902C1 (ru) 2017-04-26 2018-04-24 Федеральное государственное бюджетное образовательное учреждение высшего образования "Кубанский государственный аграрный университет имени И.Т. Трубилина" Способ иппотерапии больных детским церебральным параличом в условиях черноморского побережья
US11972769B2 (en) * 2018-08-21 2024-04-30 Dolby International Ab Methods, apparatus and systems for generation, transportation and processing of immediate playout frames (IPFs)

Also Published As

Publication number Publication date
JP2024083353A (ja) 2024-06-21
KR20210043679A (ko) 2021-04-21
CN112740325B (zh) 2024-04-16
CN118192926A (zh) 2024-06-14
JP7455812B2 (ja) 2024-03-26
MX2021001970A (es) 2021-05-31
US11972769B2 (en) 2024-04-30
EP3841571A1 (en) 2021-06-30
CN112740325A (zh) 2021-04-30
US20210335376A1 (en) 2021-10-28
AU2019323625A1 (en) 2021-04-15
EP3841571B1 (en) 2023-03-22
WO2020038938A1 (en) 2020-02-27
EP4224473A1 (en) 2023-08-09
CN118192925A (zh) 2024-06-14
JP2021535427A (ja) 2021-12-16
CA3110137A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
BR112021003104A2 (pt) métodos, aparelho e sistemas para geração, transporte e processamento de quadros de reprodução imediata (ipfs)
US9883213B2 (en) Embedding encoded audio into transport stream for perfect splicing
US20240129560A1 (en) Audio splicing concept
BR112016027639B1 (pt) Processador de dados e transporte de dados de controle do usuário aos decodificadores e renderizadores de áudio
AU2014336243B2 (en) Audio decoder, apparatus for generating encoded audio output data and methods permitting initializing a decoder
JP7171772B2 (ja) 適応的なストリーミング整列のためのフレーム変換
RU2792944C2 (ru) Способы, устройство и системы для генерирования, передачи и обработки кадров немедленного воспроизведения (ipf)
BR112017019053B1 (pt) Conversão em código de áudio alinhado por fragmento