BRPI0514650B1

BRPI0514650B1 - Métodos para codificação e decodificação de sinais de áudio, codificador e decodificador de sinais de áudio

Info

Publication number: BRPI0514650B1
Application number: BRPI0514650-0A
Authority: BR
Inventors: Mark Stuart Vinton; Alan Jeffrey Seefeldt
Original assignee: Dolby Laboratories Licensing Corporation
Priority date: 2004-08-25
Filing date: 2005-08-15
Publication date: 2019-09-24
Also published as: IL181407A0; US20080046253A1; MX2007001948A; KR20070051860A; ES2899286T3; KR20120006077A; AU2005280392A1; IL181407A; JP2012177939A; CA2589623C; IL201469A0; KR101253699B1; JP2008511040A; CN101006494A; TW201333933A; CN102968996A; CN101006494B; AU2011200680A1; CA2589623A1; CN102270453A

Abstract

formação de envelope temporal para codificação espacial de áudio utilizando filtragem wiener no domínio da freqüência a presente invenção refere-se a certos tipos de codificadores de codificação espacial paramétrica utilizam diferenças de amplitude intercanal, diferenças de tempo intercanal e coerência ou correlação intercanal para construir um modelo paramétrico de um campo de som multicanal que é utilizado por um decodificador para construir uma aproximação do campo de som original. entretanto, tal modelo paramétrico não reconstrói o envelope temporal original dos canais do campo de som, o que foi visto como sendo extremamente importante para alguns sinais de áudio. a presente invenção proporciona a reformatação do envelope temporal de um ou mais dos canais decodificados em um sistema de codificação espacial para melhor corresponder um ou mais envelopes temporais originais.

Description

Relatório Descritivo da Patente de Invenção para MÉTODOS PARA CODIFICAÇÃO E DECODIFICAÇÃO DE SINAIS DE ÁUDIO, CODIFICADOR E DECODIFICADOR DE SINAIS DE ÁUDIO.

Campo Técnico [001] A presente invenção relaciona-se com codificadores de áudio baseados em bloco nos quais a informação de áudio quando decodificada, possui uma resolução de envelope temporal limitada pela taxa de blocos, incluindo codificadores, decodificadores e sistemas de áudio perceptuais e paramétricos, com os métodos correspondentes, com programas de computador para implementar tais métodos e com um fluxo de bits produzido por tais codificadores.

Antecedentes da T écnica [002] Várias técnicas de codificação de áudio com taxa de bits reduzida são baseadas em bloco pelo fato de que a codificação inclui processamento que divide cada um dos um ou mais sinais de áudio sendo codificados em blocos de tempo e atualiza pelo menos algumas das informações associadas com o áudio codificado não mais frequentemente do que a taxa de blocos. Como resultado, a informação de áudio, quando decodificada, possui uma resolução de envelope temporal limitada pela taxa de blocos. Por consequência, a estrutura detalhada dos sinais de áudio decodificados com o passar do tempo não é preservada para períodos de tempo menores do que a granularidade da técnica de codificação (tipicamente, na faixa de 8 à 50 milésimos de segundo por bloco).

[003] Tais técnicas de codificação de áudio baseadas em bloco incluem não somente conhecidas técnicas de codificação perceptual bem estabelecidas como AC-3, AAC e várias formas de MPEG nas quais canais separados geralmente são preservados através do processo de codificação / decodificação, mas também técnicas de codifi

Petição 870190064758, de 10/07/2019, pág. 5/35

2/21 cação de taxa de bits limitada recentemente introduzidas, algumas vezes referidas como Codificação de Sinal Binaural e Codificação Estéreo Paramétrica, nas quais vários canais de entrada são convertidos para menos canais e convertidos para mais canais a partir de um único canal através do processo de codificação / decodificação. Os detalhes de tais sistemas de codificação estão contidos nos vários documentos, incluindo estes citados abaixo sob o tópico Incorporação por Referência. Como consequência do uso de um canal único em tais sistemas de codificação, os sinais de saída reconstruídos são, necessariamente, versões com amplitude graduada de cada outro - para um bloco particular, os vários sinais de saída necessariamente possuem substancialmente a mesma estrutura de envelope refinado.

[004] Apesar de todas as técnicas de codificação de áudio baseadas em bloco poderem se beneficiar de uma resolução de envelope temporal aperfeiçoada de seus sinais de áudio codificados, a necessidade por tal aperfeiçoamento é particularmente grande nas técnicas de codificação baseadas em bloco que não preservam canais separados por todo o processo de codificação / decodificação. Certos tipos de sinais de entrada, tal como aplausos, por exemplo, são particularmente problemáticos para tais sistemas, levando a imagem espacial percebida reproduzida a se estreitar ou desmoronar.

Descrição dos Desenhos [005] A FIG 1 é um diagrama de blocos funcional esquemático de um codificador ou função de codificação incorporando aspectos da presente invenção.

[006] A FIG. 2 é um diagrama de blocos funcional esquemático de um decodificador ou função decodificadora incorporando aspectos da presente invenção.

Descrição da Invenção [007] De acordo com um primeiro aspecto da invenção, é propor

Petição 870190064758, de 10/07/2019, pág. 6/35

3/21 cionado um método para codificação de sinal de áudio no qual um ou mais sinais de áudio são codificados em um fluxo de bits compreendendo informação de áudio e informação auxiliar relacionando-se com a informação de áudio e útil na decodificação do fluxo de bits, a codificação compreendendo processamento que divide cada um dos um ou mais sinais de áudio em blocos de tempo e atualiza pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodif icada, possua uma resolução de envelope temporal limitada pela taxa de blocos. É executada a comparação entre o envelope temporal de pelo menos um sinal de áudio e o envelope temporal de uma reconstrução decodificada estimada de cada pelo menos um sinal de áudio, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, as representações dos resultados da comparação sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas.

[008] De acordo com outro aspecto da invenção, é proporcionado um método para codificação e decodificação de sinal de áudio no qual um ou mais sinais de áudio de entrada são codificados em um fluxo de bits compreendendo informações de áudio e informações auxiliares relacionando-se com as informações de áudio e úteis na decodificação do fluxo de bits, o fluxo de bits é recebido e a informação de áudio é decodificada utilizando a informação auxiliar para proporcionar um ou mais sinais de áudio de saída, a codificação e a decodificação incluindo processamento que divide cada um dos um ou mais sinais de áudio de entrada e o fluxo de bits decodificado, respectivamente, em blocos de tempo, a codificação atualizando pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodificada, possui um en

Petição 870190064758, de 10/07/2019, pág. 7/35

4/21 velope temporal possuindo uma resolução limitada pela taxa de blocos. É executada uma comparação entre o envelope temporal de pelo menos um sinal de áudio de entrada e o envelope temporal de uma reconstrução decodificada estimada de cada tal pelo menos um sinal de áudio de entrada, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, a comparação proporcionando uma representação dos resultados da comparação, tais representações sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas. A emissão de pelos menos algumas representações é executada e a decodificação do fluxo de bits é executada, a decodificação empregando a informação de áudio, a informação auxiliar e as representações emitidas.

[009] De acordo com um aspecto adicional da invenção, é proporcionado um método para decodificação de sinal de áudio no qual um ou mais sinais de áudio de entrada foram codificados em um fluxo de bits compreendendo informações de áudio e informações auxiliares relacionando-se com as informações de áudio e úteis na decodificação do fluxo de bits, a codificação incluindo processamento que divide cada um dos um ou mais sinais de áudio de entrada em blocos de tempo e atualiza pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodificada utilizando a informação auxiliar, possui uma resolução de envelope temporal limitada pela taxa de blocos, a codificação adicionalmente incluindo comparar o envelope temporal de pelo menos um sinal de áudio de entrada com o envelope temporal de uma reconstrução decodificada estimada de cada tal pelo menos um sinal de áudio de entrada, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, a comparação proporcionando uma repre

Petição 870190064758, de 10/07/2019, pág. 8/35

5/21 sentação dos resultados da comparação, tais representações sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas, e a codificação adicionalmente incluindo emitir pelos menos algumas das representações. A recepção e a decodificação do fluxo de bits são executadas, a decodificação empregando a informação de áudio, a informação auxiliar e as representações emitidas.

[0010] Outros aspectos da invenção incluem o aparelho adaptado para executar os métodos citados acima, um programa de computador, armazenado em um meio legível por computador para causar que um computador execute os métodos citados acima, um fluxo de bits produzido pelos métodos citados acima e um fluxo de bits produzido pelo aparelho adaptado para executar os métodos citados acima. Descrição Detalhada da Invenção [0011] A FIG. 1 apresenta um exemplo de um ambiente do codificador ou do processo de codificação no qual os aspectos da presente invenção podem ser incorporados. Vários sinais de áudio de entrada tal como sinais PCM, amostras de tempo dos respectivos sinais de áudio analógicos, 1 até n, são aplicados respectivamente para os conversores ou funções de conversão do domínio do tempo para o domínio da frequência (T/F) 2-1 até 2-n. Os sinais de áudio podem representar, por exemplo, direções espaciais tal como esquerda, centro, direita, etc. Cada T/F pode ser implementada, por exemplo, por se dividir as amostras de áudio de entrada em blocos, colocando em janelas os blocos, sobrepondo os blocos, transformado cada um dos blocos colocados em janelas e sobrepostos para o domínio da frequência por se calcular uma transformação de frequência separada (DFT) e separando os espectros de frequência resultantes em bandas simulando as bandas críticas da audição, por exemplo, vinte e uma bandas utilizando, por exemplo, a escala de banda retangular equivalente

Petição 870190064758, de 10/07/2019, pág. 9/35

6/21 (ERB). Tais processos DFT são bem conhecidos na técnica. Outros parâmetros e técnicas de conversão do domínio do tempo para o domínio da frequência podem ser empregados. Nem os parâmetros particulares nem a técnica particular são críticos para a invenção. Entretanto, para o propósito de facilidade na explicação, a descrição seguinte assume que tal técnica de conversão DFT é empregada.

[0012] As saídas no domínio da frequência da T/F 2-1 até 2-n são cada uma um conjunto de coeficientes espectrais. Estes conjuntos podem ser designados Y[k]1 até Y[k]n, respectivamente. Todos estes conjuntos podem ser aplicados junto a um codificador ou função codificadora baseada em bloco (codificador baseado em bloco) 4. O codificador baseado em bloco pode ser, por exemplo, qualquer um dos conhecidos codificadores baseados em bloco mencionados acima, sozinhos ou algumas vezes em combinação, ou quaisquer futuros codificadores baseados em bloco, incluindo variações destes codificadores mencionados acima. Apesar dos aspectos da invenção serem particularmente benéficos para uso em conexão com os codificadores baseados em bloco que não preservam canais separados durante a codificação e a decodificação, os aspectos da invenção são úteis em conexão com virtualmente qualquer codificador baseado em bloco.

[0013] As saídas de um típico codificador baseado em bloco 4 podem ser caracterizadas como informação de áudio e informação auxiliar. A informação de áudio pode compreender dados representando vários canais de sinal quanto é possível nos sistemas de codificação baseados em bloco tal como AC-3, AAC e outros, por exemplo, ou, ela pode compreender somente um único canal derivado por se converter para menos canais vários canais de entrada, tal como a codificação de sinal binário e os sistemas de codificação estéreo paramétrica supracitados (o canal convertido para menos canais em um codificador de codificação de sinal binário ou em um sistema de codificação estéreo

Petição 870190064758, de 10/07/2019, pág. 10/35

7/21 paramétrico também pode ser codificação por percepção, por exemplo, com a AAC ou com outra codificação adequada). Ela também pode compreender um único canal ou vários canais derivados por se converter para menos canais vários canais de entrada tal como revelado no Pedido de Patente Provisório US 60/588.256, depositado em 14 de julho de 2004, para Davis et al., denominado Low Bit Rate Audio Enconding and Decoding in Which Multiples Channels are Represented By Monophonic Channel and Auxiliary Information. O dito pedido 60.588.256 é por meio deste documento incorporado por referência em sua totalidade. A informação auxiliar pode compreender dados que se relacionam com a informação de áudio e são úteis na decodificação. No caso de vários sistemas de codificação com conversão para menos canais, a informação auxiliar pode compreender parâmetros espaciais tal como, por exemplo, diferenças de amplitude intercanal, diferenças de tempo ou fase intercanal e correlação cruzada intercanal.

[0014] A informação de áudio e a informação auxiliar a partir do codificador baseado em bloco 4 podem então ser aplicadas junto aos respectivos conversores ou funções de conversão do domínio da frequência para o domínio do tempo (F/T) 6, cada um dos quais geralmente executa as funções inversas de um T/F descrito acima, a saber, uma FFT inversa, seguida pela adição da colocação em janela e pela sobreposição. A informação no domínio de tempo a partir da F/T 6 é aplicada junto a um empacotador ou função de empacotamento de fluxo de bits (empacotador de fluxo de bits) 10 que proporciona uma saída de fluxo de bits codificado. Alternativamente, se o codificador for para proporcionar um fluxo de bits representando informação no domínio da frequência, a F/T 6 podem ser omitidas.

[0015] A informação de áudio no domínio da frequência e a informação auxiliar, a partir do codificador baseado em bloco 4, também

Petição 870190064758, de 10/07/2019, pág. 11/35

8/21 são aplicadas junto a um avaliador de decodificação ou função de avaliação (avaliador de decodificação) 14. O avaliador de decodificação 14 pode simular pelo menos uma parte de um decodificador ou função de decodificação projetado para decodificar o fluxo de bits codificado proporcionado pelo empacotador de fluxo de bits 10. Um exemplo de tal decodificador ou função de decodificação é descrito abaixo em conexão com a FIG. 2. O avaliador de decodificação 14 pode proporcionar conjuntos de coeficientes espectrais X[k]1 à X[k]n que se aproximam dos conjuntos de coeficientes espectrais Y[k]1 à Y[k]n de sinais de áudio de entrada correspondentes que são esperados de serem obtidos no decodificador ou função de decodificação. Alternativamente, ele pode proporcionar coeficientes espectrais para menos do que todos os sinais de áudio de entrada, para menos do que todos os blocos de tempo dos sinais de áudio de entrada, e / ou para menos do que todas as bandas de frequência (isto é, ele pode não proporcionar todos os coeficientes espectrais). Isto pode proceder, por exemplo, se for desejado aperfeiçoar somente sinais de entrada representando canais julgados mais importantes que outros. Como outro exemplo, isto pode proceder se for desejado aperfeiçoar somente as partes de frequência inferiores dos sinais nos quais a audição é mais sensível aos detalhes refinados dos envelopes de forma de onda temporal.

[0016] Cada uma das saídas no domínio da frequência de T/F 2-1 à 2-n e dos conjuntos de coeficientes espectrais Y[k]1 à Y[k]n são também aplicados para os respectivos dispositivos ou funções de comparar (compare) 12-1 a 12-n. Tais conjuntos são comprados com os conjuntos correspondentes de blocos de tempo dos coeficientes espectrais estimados X[k]1 a X[k]n no respectivo compare 12-1 a 12-n. Cada um dos resultados da comparação em cada compare 12-1 a 12n é aplicado a um calculador de filtro ou função de cálculo (calculo de filtro) 15-1 a 15-n. Esta informação deve ser suficiente para cada cál

Petição 870190064758, de 10/07/2019, pág. 12/35

9/21 culo de filtro para definir os coeficientes de um filtro para cada bloco de tempo, filtro este que, quando aplicado a uma reconstrução decodificada de um sinal de entrada, resultaria no sinal possuindo um envelope temporal com uma resolução aperfeiçoada. Em outras palavras, o filtro reformataria o sinal de modo que ele reproduzisse mais estritamente o envelope temporal do sinal original. A resolução aperfeiçoada é uma resolução mais refinada do que a taxa de blocos. Detalhes adicionais de um filtro preferido são expostos abaixo.

[0017] Apesar do exemplo da Fig. 1 apresentar a comparação e o cálculo do filtro no domínio da frequência, a comparação e o cálculo do filtro podem ser executados no domínio do tempo. Quer executado no domínio da frequência ou no domínio do tempo, somente uma configuração de filtro é determinada por bloco de tempo (apesar da mesma configuração de filtro poder ser aplicada junto a alguns dos blocos de tempo consecutivos). Em princípio, apesar de uma configuração de filtro poder ser determinada em uma banda baseado em banda (tal como por banda da escala ERB), fazer isto exigiria o envio de um grande número de bits de informação auxiliar, o que anularia a vantagem da invenção, a saber, aperfeiçoar a resolução do envelope temporal com pouco aumento na taxa de bits.

[0018] Cada uma das medidas da comparação em cada compare

21-1 a 12-n é aplicada para um dispositivo ou função de decisão (decisão) 16-1 a 16-n. Cada decisão compara a medida da comparação com um limite. Uma medida da comparação pode tomar várias formas e não é crítica. Por exemplo, o valor absoluto da diferença de cada valor de coeficiente correspondente pode ser calculado e as diferenças somadas para proporcionar um único número cujo valor indica o grau até o qual as formas de onda do sinal diferem umas das outras durante um bloco de tempo. Este número pode ser comparado com um limite de modo que se ele exceder o limite, um indicador sim é proporci

Petição 870190064758, de 10/07/2019, pág. 13/35

10/21 onado para o cálculo de filtro correspondente. Na ausência de um indicador sim, os cálculos de filtro podem ser inibidos para o bloco, ou, se calculado, eles podem não ser emitidos pelo cálculo de filtro. Tal informação sim / não para cada sinal constitui um indicador que também pode ser aplicado junto ao empacotador de fluxo de bits 10 para inclusão no fluxo de bits (aqui, pode existir uma pluralidade de indicadores, um para cada sinal de entrada e cada indicador pode ser representado por um bit).

[0019] Alternativamente, cada decisão 16-1 a 16-n pode receber informação a partir de um respectivo cálculo de filtro 14-1 a 14-n ao invés ou em adição à informação a partir de um respectivo compare 12-1 a 12-n. A respectiva decisão 16 pode empregar as características de filtro calculadas (por exemplo, suas magnitudes médias ou de pico) como a base para tomar uma decisão ou para ajudar em tomar uma decisão.

[0020] Como mencionado acima, cada cálculo de filtro 14-1 a 14-n proporciona uma representação dos resultados da comparação, a qual pode constituir os coeficientes de um filtro, filtro este que, quando aplicado junto a uma reconstrução decodificada de um sinal de entrada resultaria no sinal possuindo um envelope temporal com uma resolução aperfeiçoada. Se os coeficientes espectrais estimados do espectro X[k]1 a X[k]n estiverem incompletos (no caso do avaliador de decodificação proporcionando coeficientes espectrais para menos do que todos os sinais de áudio de entrada, para menos do que todos os blocos de tempo dos sinais de áudio de entrada e / ou para menos do que todas as bandas de frequência), podem não existir saídas de cada comparação 12-1 a 12-n para todos os blocos de tempo, bandas de frequência e sinais de entrada. O leitor deve observar que X[k]1 a X[k]n se referem às saídas reconstruídas, ao passo que Y[k]1 a Y[k]n se referem às entradas.

Petição 870190064758, de 10/07/2019, pág. 14/35

11/21 [0021] A saída de cada cálculo de filtro 14-1 a 14-n pode ser aplicada junto ao montador de fluxo de bits 10. Apesar da informação de filtro poder ser enviada separadamente a partir do fluxo de bits, de preferência ela é enviada como parte do fluxo de bits e como parte da informação auxiliar. Quando os aspectos da invenção são aplicados junto aos sistemas existentes de codificação baseada em bloco, a informação adicional proporcionada pelos aspectos da presente invenção pode ser inserida nas partes do fluxo de bits de tais sistemas que são pretendidas para transportar a informação auxiliar.

[0022] Nas modalidades práticas, não somente a informação de áudio, mas também a informação auxiliar e os coeficientes de filtro serão provavelmente quantizados ou codificados de algum modo para minimizar seus custos de transmissão. Entretanto, nenhuma quantização e retirada de quantização é apresentada nas figuras, para o propósito de simplicidade na apresentação, e porque tais detalhes são bem conhecidos e não ajudam no entendimento da invenção.

Projeto de Filtro Wiener no Domínio da Frequência [0023] Cada um dos dispositivos ou função de cálculo de filtro 14-1 a 14-n de preferência caracteriza um filtro FIR no domínio da frequência que representa alterações multiplicativas no domínio do tempo requeridas para se obter uma reprodução mais precisa de um envelope temporal original do canal do sinal. Este problema do filtro pode ser formulado como pelo menos um problema de mínimos quadrados, o qual frequentemente é referido como projeto de filtro Wiener. Veja, por exemplo, de X. Rong Li, Probability, Random Signals, and Statistics, CRC Press 1999, New York, pág. 423. Aplicar as técnicas de filtro Wiener tem a vantagem de reduzir os bits adicionais requeridos para transportar a informação de reformatação de filtro para um decodificador. Aplicações convencionais do filtro Wiener tipicamente são projetadas e aplicadas no domínio do tempo.

Petição 870190064758, de 10/07/2019, pág. 15/35

12/21 [0024] O problema do projeto de filtro de mínimos quadrados no domínio da frequência pode ser definido como se segue: dada a representação espectral DFT de um sinal original Y[k] e a representação espectral de uma aproximação de tal canal original X[k], calcular um conjunto de coeficiente de filtro (am) que minimize a equação 1. Observe que Y[k] e X[k] são valores complexos e assim, em geral, am também será complexo.

M-1 min EY[k\-^a_mX[k - m\ (1) m=0 [0025] Onde k é o índice espectral, E é o operador de expectativa e M é o comprimento do filtro sendo projetado.

[0026] A equação 1 pode ser novamente expressa utilizando as expressões de matriz como apresentado na equação 2:

[0027]

Onde min eyk—a Xk (2)

Yk =[Y[k\]

X^T _k =[x[k \ X[k —1\ ··· X[k — M +1\] ^A =^[ao ^ai ^{- a}M—1^] [0028] Assim, por estabelecer as derivadas parciais na equação 2 com respeito a cada um dos coeficientes de filtro para zero, é simples apresentar a solução para o problema de minimização, o qual é dado pela equação 3.

A = Rxx Rxy [0029] Onde

Petição 870190064758, de 10/07/2019, pág. 16/35

13/21

Rxx = e (x_Kxk) E (X_K -X)

E ( X_KX'tò E ( X_K -ΥΎ)

E ( X_KXl_M+1) E( Xk _i X*_k__M+2)

E ( Xk m₊X)

E(Xk __m+1X*_1) · E (Xk __m+1) jE _ jvy V*} E7V V* λ I,W V* λ ^RyX =\^E(lK^Xk) ^E(lK^Xk-1) ··· ^E(lK^Xk-M₊1⁾] [0030] A equação 3 define o cálculo dos coeficientes de filtro ótimos que minimizam o erro entre o espectro original (Y[k]) e o espectro reconstruído (X[k]) de um canal particular. Geralmente, um conjunto de coeficientes de filtro é calculado para cada bloco de tempo de cada sinal de entrada.

[0031] Em uma modalidade prática dos aspectos da invenção um filtro Wiener de 12^a ordem é empregado, apesar da invenção não estar limitada ao uso de um filtro Wiener de tal tamanho. Tal modalidade prática emprega processamento no domínio da frequência seguindose a uma DFT. Por consequência, os coeficientes do filtro Wiener são números complexos e cada filtro requer a transmissão de vinte e quatro números reais. Para de forma eficiente transportar tal informação de filtro para um decodificador, a quantização de vetor (VQ) pode ser utilizada para codificar os coeficientes de cada filtro. Um livro de códigos pode ser empregado de modo que somente um índice precise ser enviado para o decodificador para transportar a informação de filtro complexo de 12^a ordem. Em uma modalidade prática, um livro de códigos da tabela VQ, possuindo 24 dimensões e 16.536 entradas, foi visto como sendo útil. A invenção não está limitada ao uso da quantização de vetor nem ao uso de um livro de códigos.

[0032] Enquanto a descrição acima assume o uso de uma DFT para avaliar o conteúdo espectral e para projetar o filtro Wiener, em geral, qualquer transformação pode ser utilizada.

[0033] A FIG. 2 apresenta um exemplo de um ambiente do decodi

Petição 870190064758, de 10/07/2019, pág. 17/35

14/21 ficador ou do processo de decodificação no qual os aspectos da presente invenção podem ser empregados. Tal codificador ou função de decodificação pode ser adequado para operação em cooperação com um codificador ou processo de decodificação como descrito em conexão com o exemplo da FIG. 1. Um fluxo de bits codificado, tal como este produzido pela disposição da FIG. 1, é recebido por qualquer modo adequado de transmissão ou armazenamento de sinal e aplicado para um desempacotador de fluxo de bits 30 que desempacota o fluxo de bits à medida que necessário para separar a informação de áudio codificada da informação auxiliar e indicadores sim / não (se incluídos no fluxo de bits). A informação auxiliar de preferência inclui um conjunto de coeficientes de filtro para uso em aperfeiçoar a reconstrução de cada um dos um ou mais sinais de entrada que foram aplicados para a disposição de codificação da FIG. 1.

[0034] Neste exemplo, é assumido que existe um sinal reproduzido correspondendo a cada sinal de entrada e que a informação de filtro de reformatação de envelope temporal é proporcionada para cada sinal reproduzido, apesar disto não precisar ser o caso, como mencionado acima. Assim, 1 até n conjuntos de informações auxiliares de coeficiente de filtro são apresentados como saída a partir do desempacotador de fluxo de bits 30. A informação sobre coeficiente de filtro para cada sinal de entrada é aplicada para os respectivos filtros de reformatação 36-1 a 36-n, cuja operação é explicada abaixo. Cada um dos filtros também pode receber um respectivo indicador sim / não 31-1 a 31-n, indicando se o filtro deve estar ativo durante um bloco de tempo particular.

[0035] A informação auxiliar a partir do empacotador de fluxo de bits 30 também pode incluir outras informações tal como, por exemplo, diferenças de amplitude intercanal, diferenças de fase ou de tempo intercanal e correlação cruzada intercanal no caso de uma codificação

Petição 870190064758, de 10/07/2019, pág. 18/35

15/21 de sinal binaural ou de sistema estéreo paramétrico. Um decodificador baseado em bloco 42 recebe a informação auxiliar a partir do desempacotador de fluxo de bits 30 junto com a informação de áudio convertida do domínio do tempo para da frequência a partir do desempacotador de fluxo de bits 30. A informação de áudio a partir do desempacotador 30 é aplicada via um conversor ou função conversora de domínio do tempo para o domínio da frequência (T/F) 46, o qual pode ser o mesmo que qualquer um dos conversores ou funções conversoras para domínio da frequência (T/F) 2-1 à 2-n da FIG. 1.

[0036] O decodificador baseado em bloco 42 proporciona uma ou mais saídas, cada uma das quais é uma aproximação de um sinal de entrada correspondente na FIG. 1. Apesar de alguns sinais de entrada poderem não ter um sinal de saída correspondente, o exemplo da FIG. 2 apresenta sinais de saída 1 a n, cada um dos quais é uma aproximação correspondendo a respectivo sinal dos sinais de entrada 1 a n da FIG. 1. Neste exemplo, cada um dos sinais de saída 1 até n do decodificador 42 é aplicado junto a um respectivo filtro de reformatação 36-1 a 36-n, cada um dos quais pode ser implementado como um filtro FIR. Os coeficientes de cada filtro FIR são controlados, em uma base de bloco, pela respectiva informação de filtro relacionando-se com um canal de entrada particular cuja saída reconstruída é para ser aperfeiçoada. A reformação multiplicativa de envelope no domínio do tempo de preferência é alcançada por se convolver cada filtro FIR com uma saída do decodificador baseado em bloco em cada um dos filtros 36-1 a 36-n. Assim, a formatação do envelope temporal de acordo com os aspectos da presente invenção tira vantagem da dualidade da frequência no tempo - a convolução no domínio do tempo é equivalente à multiplicação no domínio da frequência e vice-versa. Cada um dos sinais de saída decodificado e filtrado é então aplicado junto aos respectivos conversores ou funções de conversão do domínio de fre

Petição 870190064758, de 10/07/2019, pág. 19/35

16/21 quência para o domínio do tempo (F/T) 44-1 a 44-n, cada um dos quais executa as funções inversas de um T/F descrito acima, a saber, uma FFT inversa, seguida pelo complemento de colocação em janela e de sobreposição. Alternativamente, um filtro adequado de reformação no domínio do tempo pode ser empregado seguindo-se cada um dos conversores do domínio da frequência para o domínio do tempo. Por exemplo, os n coeficientes polinomiais de uma curva polinomial de n-ésima ordem podem ser enviados como informação auxiliar ao invés dos coeficientes de filtro FIR e a curva aplicada pela multiplicação no domínio do tempo. Apesar de ser preferido empregar as técnicas de filtro FIR para transportar a informação de filtro de reformatação para o decodificador, outras técnicas no domínio da frequência e no domínio do tempo podem ser empregadas tais como estas expostas no Pedido de Patente 10/113.858 de Truman e Vinton, denominado Broadband Frequency Translation for High Frequency Regeneration, depositado em 28 de março de 2002 e publicado como US 2003/0187663 A1 e 2 de outubro de 2003. O dito pedido é por meio deste documento incorporado por referência em sua totalidade.

Implementação [0037] A invenção pode ser implementada em hardware ou software, ou em uma combinação de ambos (por exemplo, arranjos lógicos programáveis). A não ser que de outro modo especificado, os algoritmos incluídos como parte da invenção não estão inerentemente relacionados com qualquer computador ou outro aparelho particular. Em particular, várias máquinas de propósito geral podem ser utilizadas com programas escritos de acordo com as instruções neste documento, ou pode ser mais conveniente construir aparelhos mais especializados (por exemplo, circuitos integrados) para executar as etapas requeridas do método. Assim, a invenção pode ser implementada em um ou mais programas de computador executando em um ou mais siste

Petição 870190064758, de 10/07/2019, pág. 20/35

17/21 mas de computadores programáveis, cada um compreendendo pelo menos um processador, pelo menos um sistema de armazenamento de dados (incluindo memória e / ou elementos de armazenamento voláteis e não-voláteis), pelo menos um dispositivo ou porta de entrada, e pelo menos um dispositivo ou porta de saída. O código do programa é aplicado para dados de entrada para se executar as funções descritas neste documento e gerar a informação de saída. A informação de saída é aplicada junto a um ou mais dispositivos de saída, de modo conhecido.

[0038] Cada programa pode ser implementado em qualquer linguagem de computador desejada (incluindo linguagens de programação de máquina, assembly, ou de alto nível procedural, lógica ou orientada a objeto) para comunicação com um sistema de computador. Em qualquer caso, a linguagem pode ser uma linguagem compilada ou interpretada.

[0039] Cada programa de computador de preferência é armazenado ou transferido para um meio ou dispositivo de armazenamento (por exemplo, memória ou meio de estado sólido, ou meio magnético ou ótico) legível por um computador programável de propósito geral ou especial, para configurar e operar o computador quando o meio ou dispositivo de armazenamento é lido pelo sistema de computador para executar os procedimentos descritos neste documento. O sistema da invenção também pode ser considerado como sendo implementado como um meio de armazenamento legível por computador, configurado com um programa de computador, onde o meio de armazenamento desse modo configurado causa que um sistema de computador opere de uma maneira específica e predefinida para executar as funções descritas neste documento.

[0040] Várias modalidades da invenção foram descritas. Entretanto, será entendido que várias modificações podem ser feitas sem se

Petição 870190064758, de 10/07/2019, pág. 21/35

18/21 afastar do espírito e do escopo da invenção. Por exemplo, algumas das etapas descritas neste documento podem ser independentes da ordem e assim, podem ser executadas em uma ordem diferente desta descrita.

Incorporação por Referência [0041] As seguintes patentes, pedidos de patente e publicações são incorporados por este documento por referência em sua totalidade.

AC-3

ATSC Standard A52/A: Digital Audio Compression Standard (AC-3), Revision A, Advanced Television Systems Committee, 20 de agosto de 2001. O documento A/52A está disponível na Internet em http://www,atsc.org/standards.html.

Design and Implementation of AC-3 Coders, por Steve Vernon, IEEE Trans. Consumer Electronics, Vol. 41, N^o 3, agosto de 1995.

The AC-3 Multichannel Coder por Mark Davis, Audio Engineering Society Preprint 3774, 95^th AES Convention, outubro, 1993.

High Quality, Low-Rate Audio Transform Coding for Transmission and Multimedia Applications, por Bosi et al, Audio Engineering Society Preprint 3365, 93^rd AES Convention, outubro, 1992.

Patentes dos Estados Unidos 5.583.962; 5.632.005;

5.633.981; 5.727.119; e 6.021.386.

AAC

ISO/IEC JTC1/SC29, Information Technology - very low bitrate audio-visual coding, ISO/IEC IS-14496 (Part 3, Audio), 1996 1) ISO/IEC 13818-7. MPEG-2 advanced audio coding, AAC. International Standard, 1997;

De M. Bosi, K. Brandenburg, S. Quackenbush, L. Fielder, K. Akagiri, H. Fuchs, M. Dietz, J. Herre, G. Davdson e Y. Oikawa:

Petição 870190064758, de 10/07/2019, pág. 22/35

19/21

ISO/IEC MPEG-2 Advanced Audio Coding. Proc. Of the 101^st AESConvention, 1996;

De M. Bosi, K. Brandenburg, S. Quackenbush, L. Fielder, K. Akagiri, H. Fuchs, M. Dietz, J. Herre, G. Davdson e Y. Oikawa: ISO/IEC MPEG-2 Advanced Audio Coding, Journal of the AES, Vol. 45 No. 10, Outubro, 1997, pps. 789 até 814;

Kartheinz Brandenburg: MP3 and AAC explained. Proc. Of the AES 17^th International Conference on High Quality Audio Coding, Florence, Italia, 1999; e

G. A. Soulodre et al.: Subjective Evaluation of State-of-theArt Two-Channel Audio Codecs J. Audio Eng. Soc., Vol. 46, No. 3, pp. 164 até 177, Março, 1998.

Estéreo de Intensidade MPEG

Patentes dos Estados Unidos 5.323.396; 5.539.829;

5.606.618 e 5.621.855.

Pedido de Patente dos Estados Unidos Publicado US 2001/0044713, publicado.

Codificação Espacial e Paramétrica

Pedido de Patente Provisório 60/588.256, depositado em 14 de julho de 2004, de Davis et al., denominado Low Bit Rate Audio Encoding and Decoding in Which Multiple Channels are Represented By Monophonic Channel and Auxiliary Information.

Pedido de Patente Publicado US 2003/0026441, publicado em 6 de fevereiro de 2003.

Pedido de Patente Publicado dos Estados Unidos US 2003/0035553, publicado em 20 de fevereiro de 2003.

Pedido de Patente dos Estados Unidos Publicado US 2003/0219130 (Baumgarte & Faller), publicado em 27 de Novembro de 2003.

Audio Engineering Society Paper 5852, março, 2003.

Petição 870190064758, de 10/07/2019, pág. 23/35

20/21

Pedido de Patente Internacional Publicado WO 03/090206, publicado em 30 de outubro de 2003.

Pedido de Patente Internacional Publicado WO 03/090207, publicado em 30 de outubro de 2003.

Pedido de Patente Internacional Publicado WO 03/090208, publicado em 30 de outubro de 2003.

Pedido de Patente Internacional Publicado WO 03/007656, publicado em 22 de janeiro de 2003.

Publicação de Pedido de Patente Publicada dos Estados Unidos US 2003/0236583 A1, Baumgarte et al., publicado em 25 de dezembro de 2003, Hybrid Multi-Channel/Cue Coding/Decoding of Audio Signals, Pedido Número de Série 10/246.570.

Binaural Cue Coding Applied to Stereo and Multi-Channel Audio Compression, por Faller et al., Audio Engineering Society Convention Paper 5574, 112^th Convention, Munique, maio de 2002.

Why Binaural Cue Coding is Better than Intensity Stereo Coding, por Baumgarte et al., Audio Engineering Society Convention Paper 5575, 112^th Convention, Munique, maio de 2002.

Design and Evaluation of Binaural Cue Coding Schemes, por Baumgarte et al., Audio Engineering Society Convention Paper 5706, 113^th Convention, Los Angeles, outubro de 2002.

Efficient Representation of Spatial Audio Using Peceptual Parameterization, por Faller et al., IEEE Workshop on Application of Signal Processing to Audio and Acoustics 2001, New Paltz, New York, Outubro de 2001, pp. 199 a 202.

Estimation of Auditory Spatial Cues for Binaural Cue Coding, por Baumgarte et al., Proc. ICASSP, Orlando, Florida, maio de 2002, pp. II-1801 à 1804.

Binaural Cue Coding: A Novel and Efficient Representation of Spatial Audio, por Faller et al., Proc. ICASSP 2002, Orlando, Flori

Petição 870190064758, de 10/07/2019, pág. 24/35

21/21 da, maio de 2002, pp. II - 1841 - II - 1844.

High-quality parametric spatial audio coding at low bitrates, por Breebaart et al., Audio Engineering Society Convention Paper 6072, 116^th Convention, Berlim, maio de 2004.

Audio Coder Enhancement using Scalable Binaural Cue Coding with Equalized Mixing, por Baumgarte et al., Audio Engineering Society Convention Paper 6060, 116^th Convention, Berlim, Maio de 2004.

Low complexity parametric stereo coding, por Schuijers et al., Audio Engineering Society Convention Paper 6073, 116^th Convention, Berlim, Maio de 2004.

Synthetic Ambience in Parametric Stereo Coding, por Engdegard et al., Audio Engineering Society Convention Paper 6074, 116^th Convention, Berlim, Maio de 2004.

Outros

Patente US 5.812.971, Herre, Enhanced Join Stereo Coding Method Using Temporal Envelope Shaping, 22 de setembro de 1998.

Intensity Stereo Coding, por Herre et al., Audio Engineering Society Preprint 3799, 96^th Convention, Amsterdam, 1994.

Claims

1 a 6, caracterizado pelo fato de que uma representação dos resultados da comparação (12-1,12-n) é expressa como um conjunto de coeficientes de um filtro, filtro que, quando aplicado junto a uma reconstrução decodificada (42) de um sinal de entrada, resultaria no sinal possuindo um envelope temporal com uma resolução aperfeiçoada.

8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que o filtro, quando aplicado junto a uma reconstrução decodificada (42) de um sinal de entrada, reformataria (36-1,36-n) o sinal de modo que ele mais estritamente reproduziria o envelope temporal do sinal original.

9. Método, de acordo com a reivindicação 7 ou 8, caracterizado pelo fato de que a resolução aperfeiçoada é uma resolução mais refinada do que a taxa de blocos.

10. Método, de acordo com qualquer uma das reivindicações 7 a 9, caracterizado pelo fato de que os coeficientes são coeficientes de um filtro Wiener.

Petição 870190064758, de 10/07/2019, pág. 27/35

1. Método para codificação de sinal de áudio no qual um ou mais sinais de áudio são codificados (4) em um fluxo de bits compreendendo informação de áudio e informação auxiliar relacionando-se com a informação de áudio e útil na decodificação (42) do fluxo de bits, a codificação (4) incluindo processamento que divide cada um dos um ou mais sinais de áudio em blocos de tempo e atualiza pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodificada (42), possua uma resolução de envelope temporal limitada pela taxa de blocos, caracterizado pelo fato de que compreende:

comparar (12-1,12-n), para um ou mais blocos de tempo de uma ou mais bandas de frequência, o envelope temporal de pelo menos um sinal de áudio com o envelope temporal de uma reconstrução decodificada estimada (14) de cada pelo menos um sinal de áudio, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, a comparação (12-1,12-n) proporcionando representações dos resultados de comparação (12-1,12-n), as representações dos resultados da comparação (12-1,12-n) incluindo informações de reformatação do envelope temporal sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas (42); e emitir pelo menos algumas das representações dos resultados de comparação (12-1,12-n) para uso por um decodificador (42) ou processo de decodificação (42).

2/5 pelo fato de que a comparação (12-1,12-n) é executada para menos do que todos os blocos de tempo de um sinal de áudio.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a comparação (12-1,12-n) é executada para menos do que todos os sinais de áudio.

3/5

11. Método para decodificação de sinal de áudio no qual um ou mais sinais de áudio de entrada foram codificados (4) em um fluxo de bits compreendendo informações de áudio e informações auxiliares relacionando-se com as informações de áudio e úteis na decodificação (42) do fluxo de bits, a codificação (4) incluindo processamento que divide cada um dos um ou mais sinais de áudio de entrada em blocos de tempo e atualiza pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodificada (42) utilizando a informação auxiliar, possui uma resolução de envelope temporal limitada pela taxa de blocos, a codificação (4) ainda incluindo comparar (121;12-n), para um ou mais blocos de tempo de uma ou mais bandas de frequência, o envelope temporal de pelo menos um sinal de áudio de entrada com o envelope temporal de uma reconstrução decodificada estimada (14) de cada tal pelo menos um sinal de áudio de entrada, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, a comparação (12-1;12-n) proporcionando uma representação dos resultados da comparação (12-1;12-n), tais representações sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas (42), e a codificação (4) ainda incluindo emitir pelos menos algumas das representações caracterizado pelo fato de que compreende:

receber o fluxo de bits, e decodificar (42) o fluxo de bits, a decodificação (42) empregando a informação de áudio, a informação auxiliar e as representações emitidas.

12. Codificador de sinais de áudio no qual um ou mais sinais de áudio são codificados (4) em um fluxo de bits compreendendo informação de áudio e informação auxiliar relacionando-se com a in

Petição 870190064758, de 10/07/2019, pág. 28/35

3. Método, de acordo com a reivindicação 1, caracterizado

Petição 870190064758, de 10/07/2019, pág. 26/35

4/5 formação de áudio e útil na decodificação (42) do fluxo de bits, a codificação (4) incluindo processamento que divide cada um dos um ou mais sinais de áudio em blocos de tempo e atualiza pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodificada (42), possua uma resolução de envelope temporal limitada pela taxa de blocos, caracterizado pelo fato de que compreende:

dispositivo para comparar (12-1,12-n), para um ou mais blocos de tempo de uma ou mais bandas de frequência, o envelope temporal de pelo menos um sinal de áudio com o envelope temporal de uma reconstrução decodificada estimada (14) de cada pelo menos um sinal de áudio, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, a comparação (12-1,12-n) proporcionando representações dos resultados de comparação (12-1,12-n), as representações dos resultados da comparação (12-1,12-n) incluindo informações de reformatação do envelope temporal sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas (42), e dispositivo para emitir pelo menos algumas das representações dos resultados da comparação (12-1,12-n) para uso por um decodificador (42) ou processo de decodificação (42).

13. Decodificador de sinal de áudio (42) no qual um ou mais sinais de áudio de entrada foram codificados (4) em um fluxo de bits compreendendo informações de áudio e informações auxiliares relacionando-se com as informações de áudio e úteis na decodificação (42) do fluxo de bits, a codificação (4) incluindo o processamento que divide cada um dos um ou mais sinais de áudio de entrada em blocos de tempo e atualiza pelo menos algumas das informações auxiliares não mais frequentemente do que a taxa de blocos, de modo que a informação de áudio, quando decodificada (42) utilizando a informação au

Petição 870190064758, de 10/07/2019, pág. 29/35

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a comparação (12-1,12-n) é executada para menos do que todas as bandas de frequência de um sinal de áudio.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que algumas representações dos resultados da comparação (12-1,12-n) não são emitidas.

6. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que uma representação dos resultados da comparação (12-1,12-n) não é emitida quando uma medida de tal comparação (121,12-n) é maior ou menor do que um limite.

7. Método, de acordo com qualquer uma das reivindicações

5/5 xiliar, possui uma resolução de envelope temporal limitada pela taxa de blocos, a codificação (4) ainda incluindo comparar (12-1;12-n), para um ou mais blocos de tempo de uma ou mais bandas de frequência, o envelope temporal de pelo menos um sinal de áudio de entrada com o envelope temporal de uma reconstrução decodificada estimada (14) de cada tal pelo menos um sinal de áudio de entrada, reconstrução estimada esta que emprega pelo menos algumas das informações de áudio e pelo menos algumas das informações auxiliares, a comparação (12-1;12-n) proporcionando uma representação dos resultados da comparação (12-1;12-n), tais representações sendo úteis para aperfeiçoar a resolução do envelope temporal de pelo menos algumas das informações de áudio quando decodificadas (42), e a codificação (4) ainda incluindo emitir pelos menos algumas das representações caracterizado pelo fato de que compreende:

dispositivo para receber o fluxo de bits, e dispositivo para decodificar (42) o fluxo de bits, a decodificação (42) empregando a informação de áudio, a informação auxiliar e as representações emitidas.