BR122018007834B1

BR122018007834B1 - Codificador e decodificador de áudio avançado de estéreo paramétrico combinado e de replicação de banda espectral, método de codificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, sinal de áudio avançado codificado de estéreo paramétrico combinado e de replicação de banda espectral, método de decodificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, e, meio de armazenamento legível por computador

Info

Publication number: BR122018007834B1
Application number: BR122018007834-0A
Authority: BR
Inventors: Lars F. Villemoes; Per Ekstrand; Heiko Purnhagen; Erik Gosuinus Petrus Schuijers; Fransiscus M. J. De Bont
Original assignee: Koninklijke Philips Electronics N.V.; Dolby International Ab
Priority date: 2003-10-30
Filing date: 2004-10-28
Publication date: 2019-03-19
Also published as: US8073685B2; BRPI0415951B1; US20070067162A1; JP5192424B2; JP5335015B2; JP4966013B2; BRPI0415951A; CN101540171B; JP2009163257A; RU2374703C2; CN1875402B; US20090216544A1; JP2011128649A; US7519538B2; PL1683133T3; KR20110113765A; RU2006118682A; BRPI0415951A8; KR101106026B1; WO2005043511A1

Abstract

codificar um sinal de áudio é provido em que o sinal de áudio inclui um primeiro canal de áudio e um segundo canal de áudio, a codificação incluindo filtrar em sub-banda cada um do primeiro canal de áudio e do segundo canal de áudio em um banco de filtro modulado complexo para prover uma primeira pluralidade de sinais de sub-banda para o primeiro canal de áudio e uma segunda pluralidade de sinais de sub-banda para o segundo canal de áudio, sub-amostrar cada um dos sinais de sub-banda para prover uma primeira pluralidade de sinais de sub-banda sub-amostrados e uma segunda pluralidade de sinais de sub-banda sub-amostrados, adicionalmente filtrar em sub-banda pelo menos um dos sinais de sub-banda sub-amostrados em um banco de filtro adicional a fim de prover uma pluralidade de sinais de sub-sub-banda, derivar parâmetros espaciais dos sinais de sub-sub-banda e daqueles sinais de sub-banda sub-amostrados que não são adicionalmente filtrados em sub-banda, e derivar um sinal de áudio de canal único incluindo sinais de sub-banda derivados, derivados da primeira pluralidade de sinais de sub-banda sub-amostrados e da segunda pluralidade de sinais de sub-banda sub-amostrados. adicionalmente, decodificação é provida em que um sinal de áudio codificado incluindo um canal de áudio de canal único codificado e um conjunto de parâmetros espaciais é decodificado, decodificando o canal de áudio de canal único codificado para obter uma pluralidade de sinais de sub-banda sub-amostrados, adicionalmente filtrando em sub-banda pelo menos um dos sinais de sub-banda sub-amostrados em um banco de filtro adicional a fim de prover uma pluralidade de sinais de sub-sub-banda, e derivando dois canais de áudio dos parâmetros espaciais, dos sinais de sub-sub-banda e daqueles sinais de sub-banda sub-amostrados que não são adicionalmente filtrados em sub-banda.

Description

“CODIFICADOR E DECODIFICADOR DE ÁUDIO AVANÇADO DE ESTÉREO PARAMÉTRICO COMBINADO E DE REPLICAÇÃO DE BANDA ESPECTRAL, MÉTODO DE CODIFICAÇÃO AVANÇADA DE ÁUDIO DE ESTÉREO PARAMÉTRICO COMBINADO E DE REPLICAÇÃO DE BANDA ESPECTRAL, SINAL DE ÁUDIO AVANÇADO CODIFICADO DE ESTÉREO PARAMÉTRICO COMBINADO E DE REPLICAÇÃO DE BANDA ESPECTRAL, MÉTODO DE DECODIFICAÇÃO AVANÇADA DE ÁUDIO DE ESTÉREO PARAMÉTRICO COMBINADO E DE REPLICAÇÃO DE BANDA ESPECTRAL, E, MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR”

Dividido do PI0415951-9, depositado em 28/10/2004 [0001] A invenção relaciona-se a codificar um sinal de áudio ou decodificar um sinal de áudio codificado.

[0002] Erik Schuijers, Wemer Oomen, Bert den Brinker e Jeroen

Breebaart, Advances in Parametric Coding for High-Quality Audio, Préimpresão 5852, 114a Convenção de AES, Amsterdã, Holanda, 22-25 de março de 2003, expõe um esquema de codificação paramétrico usando uma representação paramétrica eficiente para a imagem estéreo. Dois sinais de entrada são fundidos em um sinal de áudio mono. Sugestões espaciais perceptivamente pertinentes são modeladas explicitamente como é mostrado na Figura 1. O sinal fundido é codificado usando um codificador paramétrico mono. Os parâmetros estéreo Diferença de Intensidade Inter-canal (IID), a Diferença de Tempo Inter-canal (ITD) e a Correlação Cruzada Inter-canal (ICC) são quantizados, codificados e multiplexados em um fluxo de bits junto com o sinal de áudio mono quantizado e codificado. No lado de decodificador, o fluxo de bits é desmultiplexado para um sinal mono codificado e aos parâmetros estéreo. O sinal de áudio mono codificado é decodificado a fim de obter um sinal de áudio mono decodificado m' (veja

Petição 870180163419, de 14/12/2018, pág. 11/36

2/22

Figura 2). Do sinal de domínio de tempo mono, um sinal descorrelatado é calculado usando um filtro D produzindo descorrelação perceptiva. Ambos o sinal de domínio de tempo mono m' e o sinal descorrelatado d são transformados ao domínio de frequência. Então o sinal estéreo de domínio de frequência é processado com os parâmetros IID, ITD e ICC através de graduação, modificações de fase e mistura, respectivamente, em uma unidade de processamento de parâmetro a fim de obter o par estéreo decodificado Γ e r'. As representações de domínio de frequência resultantes são transformadas de volta no domínio de tempo.

[0003] Um objetivo da invenção é prover codificação ou decodificação de áudio vantajosa usando parâmetros espaciais. Para este fim, a invenção provê um método de codificação, um codificador de áudio, um aparelho para transmitir ou armazenar, um método de decodificação, um decodificador de áudio, um aparelho de reprodução e um produto de programa de computação como definido nas reivindicações independentes. Concretizações vantajosas são definidas nas reivindicações dependentes.

[0004] De acordo com um primeiro aspecto da invenção, um sinal de áudio é codificado, o sinal de áudio incluindo um primeiro canal de áudio e um segundo canal de áudio, a codificação incluindo filtrar em sub-banda cada um do primeiro canal de áudio e do segundo canal de áudio em um banco de filtro modulado complexo para prover uma primeira pluralidade de sinais de sub-banda para o primeiro canal de áudio e uma segunda pluralidade de sinais de sub-banda para o segundo canal de áudio, sub-amostrar cada um dos sinais de sub-banda para prover uma primeira pluralidade de sinais de sub-banda sub-amostrados e uma segunda pluralidade de sinais de sub-banda subamostrados, adicionalmente filtrar em sub-banda pelo menos um dos sinais de sub-banda sub-amostrados em um banco de filtro adicional a fim de prover uma pluralidade de sinais de sub-sub-banda, derivar parâmetros espaciais dos sinais de sub-sub-banda e daqueles sinais de sub-banda sub-amostrados que

Petição 870180163419, de 14/12/2018, pág. 12/36

3/22 não estão filtrados em sub-banda adicionalmente, e derivar um sinal de áudio de canal único incluindo sinais de sub-banda derivados, derivados da primeira pluralidade de sinais de sub-banda sub-amostrados e da segunda pluralidade de sinais de sub-banda sub-amostrados. Provendo uma filtragem de sub-banda adicional em uma sub-banda, a resolução de freqüência de dita sub-banda é aumentada. Tal resolução de freqüência aumentada tem a vantagem que toma possível alcançar qualidade de áudio mais alta (a largura de banda de um único sinal de sub-banda é tipicamente muito mais alta do que aquela de bandas críticas no sistema auditivo humano) em uma implementação eficiente (porque só algumas bandas têm que ser transformadas). O codificador espacial paramétrico tenta modelar as sugestões biauriculares, que são percebidas em uma escala de freqüência não uniforme, se assemelhando à escala de Bandas Retangulares Equivalentes (ERB). O sinal de áudio de canal único pode ser derivado diretamente da primeira pluralidade de sinais de subbanda sub-amostrados e da segunda pluralidade de sinais de sub-banda subamostrados. Porém, o sinal de áudio de canal único é derivado vantajosamente de sinais de sub-sub-banda para aquelas sub-bandas amostradas abaixo que são adicionalmente filtradas em sub-banda, em qual caso os sinais de sub-sub-banda de cada sub-banda são adicionados juntos para formar novos sinais de sub-banda e em que o sinal de áudio de canal único é derivado destes novos sinais de sub-banda e das sub-bandas da primeira e segunda pluralidade de sub-bandas que não são filtradas adicionalmente.

[0005] De acordo com outro aspecto principal da invenção, decodificação de áudio de um sinal de áudio codificado é provida, o sinal de áudio codificado incluindo um canal de áudio de canal único codificado e um conjunto de parâmetros espaciais, a decodificação de áudio incluindo decodificar o canal de áudio de canal único codificado para obter uma pluralidade de sinais de sub-banda sub-amostrados, adicionalmente filtrar em

Petição 870180163419, de 14/12/2018, pág. 13/36

4/22 sub-banda pelo menos um dos sinais de sub-banda sub-amostrados em um banco de filtro adicional a fim de prover uma pluralidade de sinais de subsub-banda, e derivar dois canais de áudio dos parâmetros espaciais, os sinais de sub-sub-banda e os sinais de sub-banda sub-amostrados para aquelas subbandas que não são adicionalmente filtradas em sub-banda. Provendo uma filtragem de sub-banda adicional em uma sub-banda, a resolução de freqüência de dita sub-banda é aumentada e conseqüentemente decodificação de áudio de qualidade mais alta pode ser alcançada.

[0006] Uma das vantagens principais destes aspectos da invenção é que codificação espacial paramétrica pode ser combinada facilmente com técnicas de Reprodução de Banda Espectral (SBR). SBR é conhecida per se de Martin Dietz, Lars Liljeryd, Kristofer Kjõrling e Oliver Kunz, Spectral Band Replication, a novel approach in audio coding, Pré-impresão 5553, 112a Convenção de AES, Munique, Alemanha, 10-13 de maio de 2002, e de Per Ekstrand, Bandwidth extension of audio signals by spectral band replication, Proc. I^o IEEE Benelux Seminário sobre Processamento baseado em Modelo e Codificação de Áudio (MPCA-2002), pp. 53-58, Leuven, Bélgica, 15, de novembro de 2002. Referência adicional é feita ao padrão de MPEG-4 ISO/IEC 14496-3:2001/FDAMl, JTC1/SC29/WG11, Codificação de Quadros Móveis e Áudio, Extensão de Largura de Banda, que descreve um codec de áudio usando SBR.

[0007] SBR é baseada na noção que há tipicamente uma grande correlação entre as freqüências baixas e altas em um sinal de áudio. Como tal, o processo de SBR consiste em copiar as partes mais baixas do espectro às partes mais altas depois do que o envelope espectral é ajustado para as partes mais altas do espectro usando pouca informação codificada no fluxo de bits. Um diagrama de bloco simplificado de um tal decodificador avançado de SBR é mostrado na Figura 3. O fluxo de bits é desmultiplexado e decodificado em dados de núcleo (por exemplo, Codificação de Áudio

Petição 870180163419, de 14/12/2018, pág. 14/36

5/22

Avançada (AAC) de MPEG-2/4)) e dados de SBR. Usando os dados de núcleo, o sinal é decodificado na metade da freqüência de amostragem do sinal de largura de banda completa. A saída do decodificador de núcleo é analisada por meio de um banco de Filtro de Espelho de Quadratura (QMF) complexo (Pseudo) de 32 bandas. Estas 32 bandas são então estendidas à largura de banda completa, isto é, 64 bandas, em que o conteúdo de Alta Freqüência (HF) é gerado por meio de copiar partes das bandas inferiores. O envelope das bandas para as quais o conteúdo de HF é gerado, é ajustado de acordo com os dados de SBR. Finalmente, por meio de um banco de síntese de QMF complexo de 64 bandas, o sinal de saída de PCM é reconstruído.

[0008] O decodificador de SBR como mostrado na Figura 3 é um denominado decodificador de taxa dual. Isto significa que o decodificador de núcleo corre à meia freqüência de amostragem e portanto só um banco de QMF de análise de 32 bandas é usado. Decodificadores de taxa única, onde o decodificador de núcleo corre à freqüência de amostragem completa e o banco de QMF de análise consiste em 64 bandas, também são possíveis. Na prática, a reconstrução é feita por meio de um banco de QMF (pseudo) complexo. Porque o banco de filtro de QMF complexo não é amostrado criticamente, nenhuma provisão extra precisa ser levada a fim de considerar 'aliasing'. Note que no decodificador de SBR como exposto por Ekstrand, o banco de QMF de análise consiste só de 32 bandas, enquanto o banco de QMF de síntese consiste em 64 bandas, como o decodificador de núcleo corre à meia freqüência de amostragem comparado ao decodificador de áudio inteiro. No codificador correspondente porém, um banco de QMF de análise de 64 bandas é usado para cobrir a faixa de freqüência inteira.

[0009] Embora a invenção seja especialmente vantajosa para codificação de áudio estéreo, a invenção também é de vantagem para codificar sinais com mais de dois canais de áudio.

[00010] Estes e outros aspectos da invenção são aparentes e serão

Petição 870180163419, de 14/12/2018, pág. 15/36

6/22 elucidados com referência às concretizações descritas em seguida.

[00011] Nos desenhos:

Figura 1 mostra um diagrama de bloco de uma unidade para extração de parâmetro estéreo como usada em um codificador de Estéreo Paramétrico (PS);

Figura 2 mostra um diagrama de bloco de uma unidade para a reconstrução de um sinal estéreo como usado em um decodificador de PS;

Figura 3 mostra um diagrama de bloco de um decodificador de Reprodução de Banda Espectral (SBR);

Figura 4 mostra um diagrama de bloco de PS combinado e codificador avançado de SBR de acordo com uma concretização da invenção;

Figura 5 mostra um diagrama de bloco de PS combinado e decodificador avançado de SBR de acordo com uma concretização da invenção;

Figura 6 mostra um banco de análise de QMF (esquerdo) e síntese (direito) complexo de M bandas amostradas abaixo;

Figura 7 mostra uma resposta de magnitude em dB de um filtro de protótipo;

Figura 8 mostra respostas de magnitude em dB dos primeiros quatro fora de 64 filtros de análise modulados complexos não subamostrados;

Figura 9 mostra um diagrama de bloco de um banco de filtro de Q bandas com síntese trivial;

Figura 10 mostra uma resposta de magnitude combinada em dB de um primeiro filtro de QMF modulado não sub-amostrado e banco de filtro modulado complexo de 8 bandas;

Figura 11 mostra uma resposta de magnitude estilizada de banco de filtro uniformemente empilhado de 4 bandas (topo) e banco de filtro não uniformemente empilhado (fundo) de acordo com uma concretização da

Petição 870180163419, de 14/12/2018, pág. 16/36

7/22 invenção;

Figura 12 mostra um banco de filtro de análise híbrida não uniforme de 77 bandas baseado em QMF de análise complexa de 64 bandas de acordo com uma concretização da invenção;

Figura 13 mostra um banco de filtro de análise híbrida não uniforme de 71 bandas baseado em QMF de análise complexa de 64 bandas para uso em um decodificador de áudio; e

Figura 14 mostra um diagrama de bloco de implementação eficiente do banco de filtro de análise modulada complexa.

[00012] Os desenhos só mostram aqueles elementos que são necessários para entender a invenção.

[00013] Combinar SBR com OS produz potencialmente um codec extremamente poderoso. Ambos SBR e PS são algoritmos de pósprocessamento em um decodificador consistindo em uma estrutura bastante semelhante, isto é, alguma forma de conversão de tempo para freqüência, processamento e finalmente conversão de freqüência para tempo. Ao combinar ambos os algoritmos, é requerido que ambos os algoritmos possam correr simultaneamente em por exemplo, um aplicativo de DSP. Consequentemente, é vantajoso reutilizar tanto quanto possível dos resultados intermediários calculados de um codec para o outro. No caso de combinar PS com SBR, isto conduz a reutilizar os sinais de sub-banda de QMF (Pseudo) complexo para processamento de PS. Em um codificador combinado (veja Figura 4), o sinal de entrada estéreo é analisado por meio de dois bancos de filtro de análise de 64 bandas. Usando a representação de domínio de subbanda complexa, uma unidade de cálculo de PS estima os parâmetros de estéreo e cria uma downmix mono (sub-banda). Esta downmix mono é então alimentada a uma unidade de estimação de parâmetro de SBR. Finalmente, a downmix mono é convertida de volta ao domínio de tempo por meio de um banco de filtro de síntese de 32 bandas, tal que possa ser codificado pelo

Petição 870180163419, de 14/12/2018, pág. 17/36

8/22 decodificador de núcleo (o decodificador de núcleo precisa só da metade da largura de banda).

[00014] No decodificador combinado como mostrado na Figura 5, indiferente se ou não um sistema de taxa dual ou taxa única está sendo usado, os sinais de domínio de sub-banda (64 bandas) de largura de banda completa depois de ajuste de envelope, são convertidos a um conjunto estéreo de sinais de domínio de sub-banda de acordo com os parâmetros de estéreo. Estes dois conjuntos de sinais de sub-banda são convertidos finalmente ao domínio de tempo por meio do banco de QMF de síntese de 64 bandas. Se alguém apenas combinasse PS com SBR, a largura de banda das bandas de frequência inferiores do filtro de QMF é maior do que o que é requerido para uma representação estéreo de alta qualidade. Assim, a fim de ser capaz de dar uma representação de alta qualidade da imagem estéreo, uma sub-divisão adicional dos sinais de sub-banda inferiores é executada de acordo com concretizações vantajosas da invenção.

[00015] Para um entendimento melhor de aspectos da invenção, a teoria por atrás de filtros de sub-banda de QMF complexos é explicada primeiro.

[00016] Filtros de sub-banda de QMF [00017] O filtro de sub-banda de análise de QMF pode ser descrito como o seguinte. Dado um filtro de protótipo de fase linear avaliado real p(v), um banco de filtro de análise modulado complexo de M bandas pode ser definido pelos filtros de análise:

h_k(v) = p(v)exp{i-^-(k + l/2)(v - Θ)} (1) para k = 0, 1,..., M-l. O parâmetro de fase Θ não é importante para a análise que segue, mas uma escolha típica é (N + M)/2, onde N é a ordem de filtro de protótipo. Dado um sinal de tempo discreto avaliado real x(v), os sinais de sub-banda vk(n) são obtidos filtrando (convolução) x(v) com hk(v), e então amostrando abaixo o resultado por um fator M (veja lado

Petição 870180163419, de 14/12/2018, pág. 18/36

9/22 esquerdo da Figura 6).

[00018] Uma operação de síntese consiste em primeiro amostrar acima os sinais de sub-banda de QMF com um fator M, seguido por filtragem com filtros modulados complexos do tipo (1), adicionando os resultados e finalmente tomando duas vezes a parte real (veja lado direito da Figura 6). Então, reconstrução quase perfeita de sinais avaliados reais pode ser obtida por projeto adequado de um filtro de protótipo de fase linear avaliado real p(v). A resposta de magnitude do filtro de protótipo como usado no sistema de SBR do padrão de MPEG-4 (referido acima) no caso de 64 bandas é mostrada na Figura 7. As respostas de magnitude dos 64 filtros de análise modulados complexos são obtidas deslocando a resposta de magnitude do filtro de protótipo p(v) por — (k + 1/2).

M [00019] Parte destas respostas é mostrada na Figura 8. Note que só as frequências positivas são filtradas, exceto para k = 0 e k = M-l. Como resultado, os sinais de sub-banda antes de amostragem abaixo estão perto de serem analíticos, facilitando modificações fáceis de amplitude e fase de senóides avaliadas reais. Modificações de fase também são possíveis para a primeira e última banda contanto que as senóides residindo nestas bandas tenham uma freqüência que esteja acima de π/2Μ ou abaixo de π - π/2Μ, respectivamente. Para frequências fora desta região, o desempenho de modificação de fase se deteriora rapidamente por causa de interferência das frequências negativas.

[00020] Começando dos filtros de análise de QMF como descrito acima, em concretizações da invenção, uma resolução de freqüência mais fina é obtida filtrando adicionalmente cada sinal de sub-banda sub-amostrado vk(n) em Qk sub-sub-bandas. No seguinte, as propriedades da filtragem de sub-banda adicional serão derivadas.

[00021] Modificação de sinal no domínio de sub-banda de QMF complexo

Petição 870180163419, de 14/12/2018, pág. 19/36

10/22 [00022] No seguinte, deixe Ζ(ω) = ^z(ⁿ)^exP(iⁿ⁽°) ser ^a transformada de Fourier de tempo discreto de um sinal de tempo discreto z(n). Assumindo a propriedade de reconstrução quase perfeita como mencionada acima e também um projeto onde Ρ(ω), a transformada de Fourier de p(v), essencialmente desaparece fora do intervalo de freqüência [-π/Μ, π/Μ], que é o caso para o filtro de protótipo p(v) como ilustrado acima, a próxima etapa aqui é considerar um sistema onde os sinais de sub-banda Vk(n) são modificados antes de síntese. Agora, deixe cada sub-banda k ser modificada por filtragem com um filtro B_k(tü). Com a definição estendida:

Bk(Cü)=B-i_k(-Cü)* para k < 0, (2) onde a estrela denota conjugação complexa, pode então ser mostrado (desprezando atraso global, assumindo uma entrada avaliada real e um sistema de taxa única) que o sistema resultante incluindo síntese de banco de filtro corresponde a uma filtragem com o filtro:

Β(ω) = £ ΜΜω) |P(co-Ti(k+ l/2)/M)|² (3) k=~M [00023] De acordo com as hipóteses relativas às propriedades de Ρ(ω), inserindo B_k(co) = 1 para todo k em (3), conduz a Β(ω) = 1, e uma identidade de soma quadrada segue para as respostas de filtro de protótipo deslocadas. A característica atraente é que o sistema global é invariável em tempo, quer dizer, livre de 'aliasing', apesar do uso de amostragem abaixo e acima. Isto certamente só será verdadeiro até a quantidade de desvio para as hipóteses de filtro de protótipo declaradas.

[00024] A fim de derivar um sinal de áudio mono, sub-filtragem adicional dos sinais de sub-banda complexos não deveria só preservar estas propriedades, mas também estender estas propriedades para manipulação dos sinais de sub-banda filtrados. Sub-filtragem preservando estas propriedades pode ser executada usando uma modificação de denominados filtros de Mésima banda como conhecido per se de P. P. Vaidyanathan, Multirate systems and filter banks, Série de Processamento de Sinal Prentice Hall,

Petição 870180163419, de 14/12/2018, pág. 20/36

11/22

1993, seções 4.6.1-4.6.2 [00025] Bancos de Filtro Modulados com Síntese Trivial [00026] Um sinal de tempo discreto v(n) pode ser dividido em Q sinais diferentes por um banco de filtros com respostas a impulso g_q(n), q = 0, 1,..., Q-l. Isto é ilustrado na Figura 9. Deixe as saídas de análise correspondentes serem y_q(n), e considere a operação de síntese trivial:

y(n)=£y_q(n) (4) q=0 [00027] Reconstrução perfeita, y(n) = v(n), é então obtida escolhendo os filtros tal que:

Σ?,(η) = δ(η) (5) ?=0 [00028] Onde δ(η) = 1 se n = 0, e δ(η) = 0 se η Φ 0. Para filtros causais, o lado direito de (5) teria que ser substituído com ô(n-d), onde d é um atraso positivo, mas esta modificação direta é omitida para clareza de exposição. Os filtros g_q(n) podem ser escolhidos como modulações complexas de um filtro de protótipo g(n) por:

g_q(n) = g(n)exp{ (q + l/2)n} (6) [00029] Nesta concretização preferida da invenção, os filtros são empilhados não uniformemente (o fator q + 1/2). Uma vantagem desta concretização preferida será explicada mais tarde. Reconstrução perfeita (5) é obtida se e somente se:

g(Qn) = Ô(n)/Q(7) [00030] Uma variação disto é a modulação de co-seno avaliado real como:

gq(n) = g(n)cos {(q + l/2)n}(8) [00031] Com um filtro de protótipo avaliado real g(m) satisfazendo:

g(2Qn) = S(n)/Q(9) (Isto é facilmente obtido por consideração de g_q(n) + gQ_i__q(n)

Petição 870180163419, de 14/12/2018, pág. 21/36

12/22 em (6)).

[00032] Sub-filtragem com o banco de filtro modulado exponencial complexo [00033] Começando dos filtros de análise de QMF como descrito acima, uma resolução de freqüência mais fina é obtida adicionalmente filtrando cada sinal de sub-banda amostrada abaixo Vk(n) em Qk sub-subbandas usando uma das estruturas moduladas (6) ou (8) acima. Denote os sinais de saída resultantes y^kq(n), e deixe g^kq(n) descrever o banco de filtro aplicado dentro de sub-banda k. Se Qk = 1, não há nenhuma filtragem e go^k(n) = δ(η). Um exemplo de aplicação típico é o caso onde M = 64, Q_o = 8, Qk = 4 para k =1,2 e Qk = 1 para k > 2.

[00034] O efeito combinado dos dois bancos de filtro de x(v) para y_q ^k(n) pode ser descrito como filtragem com filtros F_q ^k (ω) seguido por amostragem abaixo por um fator M onde:

F_q ^k (ω) = H_k(co)G_q ^k(Mco) (10) [00035] Se a resposta de filtro de protótipo P (ω) for essencialmente zero fora do intervalo [-π/Μ,π/Μ], que é o caso para os filtros de análise de SBR (veja Figura 7), então o filtro F_q ^k (ω) tem uma única freqüência central nominal definida no caso modulado complexo por:

G)k,_q = 27i(q + Q_ks +l/2)/(MQ_k) (11) onde s é um inteiro escolhido tal que Qk(k-l/2) < 2(q +QkS) +1 < Qk(k+3/2). Por exemplo, como ilustrado na Figura 10, se k = 0 e Qo = 8, os valores de (ΰο,ο, Oo.i,.··» Wo,7 são:

π

8M(1,3,5, 7, 9,11,-3,-1).

[00036] Modificação de sinal com resolução de freqüência não uniforme [00037] A inserção de filtro de bancos de filtro de sub-sub-banda como descrito acima não introduz amostragem abaixo adicional, assim o desempenho livre de 'alias' de modificação de sinal como mostrado acima só

Petição 870180163419, de 14/12/2018, pág. 22/36

13/22 no caso de QMF complexo, é preservado. Considere a operação combinada geral de análise de M sub-bandas, filtragem de sub-banda adicional usando Qk sub-sub-bandas dentro de sub-banda k, filtragem de cada sinal de sub-subbanda y^k _q(n) por um filtro Ak,_q(co), síntese dentro de cada sub-banda k através de soma, e finalmente síntese pelo banco de síntese de M bandas. A função de transferência global de tal sistema é dada por (3) com, para k > 0,

ΕΜω; = (12)

9=0 [00038] Para ω > π/(2Μ), isto dá:

M-l Qk-l

Β(ω) = Β₀(Μω)|Ρ(ω - π/(2Μ))|² + Β₀(-Μω)*|Ρ(ω + π/(2Μ))|² (14) e assumindo coeficientes de filtro de protótipo de sub-subbanda real se aplica aqui:

Gq°(-(0)* = G°_Qo-i-_q(ro), (15) assim se os filtros modificadores forem escolhidos tal que:

Ao,q(-(ü)* = A₀,Q0-l-q(ro), (16) então Βο(-Μω)* = Βο(Μω) e a identidade de soma quadrada mencionada com relação a (3) conduz a:

Qk-l

Β(ω) = Βο(Μω) = £ A₀,_q(Mro)G°_q(Mm) (17) q=0 para |ω| < π/(2Μ), correspondendo a uma resposta de processamento G°_q(Mco) para sub-sub-banda (0,q).

[00039] Equações (15) até (17) indicam o desejo para discriminar entre freqüências positivas e negativas. Isto é a razão por que filtros empilhados não uniformemente (complexos) estão sendo usados para sub-filtrar os sinais de sub-banda de QMF em vez de filtros empilhados uniformemente

Petição 870180163419, de 14/12/2018, pág. 23/36

14/22 (complexos) (veja Figura 11). Para filtros empilhados uniformemente não é possível aplicar modificações de fase de senóides residindo no filtro central, isto é, o filtro com uma freqüência central de zero, como não há nenhuma discriminação entre freqüências positivas e negativas possíveis. Assumindo um filtro de protótipo com uma resposta G(ro)limitado em banda a [2π/ζ),2π/ζ)], com Q o número de bandas, para o caso empilhado uniformemente, o limite inferior ao qual modificações de fase podem ser aplicadas aproximadamente é 2π/ζ), enquanto para o caso empilhado não uniformemente, o limite inferior ao qual modificações de fase podem ser aplicadas aproximadamente é π/Q.

[00040] Como mencionado na introdução, para síntese de PS, casos especiais importantes do anterior são equalização e modificação de fase. Para equalização,

Ak.q(co) = ak,_q > 0 e a condição (16) se reduz a ao,_q = ao,oo-i-q (18) [00041] O caso de modificação de fase corresponde a A_k,_q(co) = exp(iotk,q), em qual caso a condição (16) é satisfeita se:

<X0,Q0-l-q = OlO.q (19) [00042] Estimação de parâmetro de estéreo [00043] O banco de filtro complexo não uniforme, isto é, o banco de QMF seguido pela filtragem de sub-banda adicional, como descrito acima, pode ser aplicado para estimar os parâmetros de estéreo Diferenças de Intensidade Inter-canal (DD), Diferenças de Fase Inter-canal (IPD) e Correlação cruzada Inter-canal (ICC) como mostrado abaixo. Note que nesta concretização prática, IPD é usado como um substituto praticamente equivalente para o IID como usado no documento de Schuijers e outros. No codificador de PS combinado (veja Figura 4), os primeiros três canais de QMF complexos são sub-filtrados de forma que no total 77 sinais avaliados complexos sejam obtidos (veja Figura 12).

Petição 870180163419, de 14/12/2018, pág. 24/36

15/22 [00044] Deste ponto em diante, os 77 sinais de sub-sub-banda esquerdos e direitos alinhados em tempo avaliados complexos são denotados como lqk(n) e rqk(n) respectivamente, por conseguinte a indexação de yqk(n). [00045] Para estimar os parâmetros de estéreo em uma certa posição de amostra de sub-banda n’, a excitação de canal cruzado esquerda, direita e não normalizada são calculadas como:

[00046] Para todo bin estéreo b, h(n) é a janela de domínio de subbanda com comprimento L, ε um valor muito pequeno prevenindo divisão por zero (por exemplo, ε = le-10) e l_q ^k(n) e r_q ^k(n) os sinais de domínio de subsub-banda esquerdo e direito. No caso de 20 bins estéreo, a soma através de ki até e incluindo kh e q de qi até e incluindo qh vai como mostrado na Tabela. Note que as freqüências negativas” (por exemplo, k = 0 com q = 4... 7) não estão incluídas na estimação de parâmetro de (20).

Tabela 1: índices de começo e parada de adição através de k e q.

Petição 870180163419, de 14/12/2018, pág. 25/36

16/22

b		k-k	í;		Região de freqüência de passa-banda
0	0	0	0	0	0-π/256
1	0	0	1	1	«/256-2^/256
2	0	0	2	2	2«/256- 3«/256
3	0	0	3	3	3«/256-π/64
4	1	1	2	2	«/64-3«/128
5	1	1	3	3	3«/128-2λ764
6	2	2	0	0	2«/64-5«/128
7	2	2	1	1	5«/128-3«/64
8	3	3	0	0	/64-4«/64
9	4	4	0	0	4«/64-5«/64
10	5	5	0	0	5π/64-6«/64
11	6	6	0	0	6«/64-7«/64
12	7	7	0	0	7«/64-8«/64
13	8	8	0	0	8«/64-9π/64
14	9	10	0	0	9«/64-11«/64
15	11	13	0	0	11π/64-14«/64
16	14	17	0	0	14«764-18«/64
17	18	22	0	0	18π/64-23«/64
18	23	34	0	0	23π/64-35«·/64
19	35	63	0	0	35« / 64 - π

[00047] As somas para calcular ei(b), e_r(b) e eR(b) são alinhadas tal que o ponto médio destes sinais na soma coincida com a posição de parâmetro, consequentemente o deslocamento por --^ + 1. Como está claro da Tabela 1, só sinais de sub- sub-banda e sinais de sub-banda com uma freqüência central positiva são usados para estimar parâmetros de estéreo. A IDD, denotada como I(b), a ICC, denotada como C(b) e a IPD, denotada como P(b) para cada bin estéreo b são calculadas como:

Petição 870180163419, de 14/12/2018, pág. 26/36

17/22

'^w=101o4áí9

-Μ- (21)

^)=^, W [00048] O ângulo na equação P(b) = ZeR(b) é calculado usando a função de arco tangente de quatro quadrantes dando valores entre -π e π. Dependendo de taxa de bit visada e aplicação, estes parâmetros, ou um subconjunto destes parâmetros, são quantizados e codificados na parte de PS do fluxo de bits.

[00049] Síntese de sinal estéreo [00050] A fim de manter os custos computacionais (em termos de uso de RAM) no decodificador tão baixos quanto possível, uma estrutura de análise semelhante é usada. Porém a primeira banda é só parcialmente complexa (veja Figura 13). Isto é obtido por soma dos pares de banda mediana G°2(co) e G°s(ro) e G°3(co) e G°4(ro). Além disso, a segunda e terceira bandas são bancos de filtro avaliados reais de duas bandas que são obtidos por soma da saída de Go^k(co) e G3^k(to), e soma da saída de Gi^k(co)e G₂ ^k((ü) (também veja a discussão na seção sobre bancos de filtro modulados). Usando esta simplificação da estrutura de banco de filtro de decodificador, ainda a característica discriminativa entre freqüências positivas e negativas é mantida por subdivisão do primeiro filtro de sub-banda. O banco de filtro de análise de decodificador é mostrado na Figura 13. Note que a indexação dos primeiros sinais de sub-sub-banda filtrados de QMF é escolhida de acordo com freqüência.

[00051] Os sinais de sub-sub-banda estéreo de um único quadro são construídos como:

l_k(n) = AnSk(n) + A₂id_k(n) (22) r_k(n) = Ai₂s_k(n) + A₂2d_k(n) l_k(n) = l_k(n)d^Prl (23)

Petição 870180163419, de 14/12/2018, pág. 27/36

18/22

Fk(n) = r_k(n)e^jPrl com Sk(n) os sinais de sub-sub-banda mono, e d_k(n) os sinais de sub-sub-banda descorrelatados mono que são derivados dos sinais de sub-sub-banda mono S_k(n) a fim de considerar sintetização dos parâmetros de ICC, k = 0,..., K-l o índice de sub-banda (K é o número total de sub-bandas, isto é, K = 71), índice de amostra de subbanda de QMF n = 0,..., N-l com N o número de amostras de sub-banda de um quadro, An, Ài₂, A₂i, A₂₂ as matrizes de manipulação de fator de escala e P_rt a matriz de manipulação de rotação de fase. As matrizes de manipulação são definidas como função de tempo e freqüência e podem ser derivadas diretamente dos vetores de manipulação como descrito no padrão de MPEG-4 ISO/IEC 14496-3: 2001/FPDAM2,

JTC1/SC29/WG11, Codificação de Quadros Móveis e Áudio, Extensão

2.

s_k(n) é definido de acordo com Figura 12 como resultando na Figura 13:

So(n) = y°₆(n) si(n) = y°₇(n) s₂(n) = y°₀(n) ss (n) = y°i(n) s₄(n) = y°₂(n) + y°₅(n) s₅(n) = y°₃(n) + y°₄(n) (24) s₆(n) = y₀\n) + y^x3(n) s7 (n) = y/(n) + y2^x(n) sg(n) = y0²(n) + y3²(n) s9(n) = yi²(n) + y2²(n) S_k(n) = y₀ ^k-⁷(n), k=10...70 [00052] Síntese dos parâmetros de estéreo acontece de acordo com a indexação da Tabela 1.

Petição 8₇0180163419, de 14/12/2018, pág. 28/36

19/22

Tabela 1: Tabela de indexação de parâmetro

k	w	Região de frequência de passa-banda
0	r	-2*/256—π/256
1	0’	»*/256-0
2	0	0-.-7256
3	1	π/256-2π/256
4	2	2/256-3/256
5	3	3725ó-/64
6	5	3/128-2/64
7	4	2/128-3/128
8	6	47128-57128
9	7	5/128-6/128
10	8	3/64-4764
11	9	4764 - 5764

12	10	5764—6764
13	11	6764-7764
14	12	Ίπ /64-8*/64
15	13	8764-9764
16-17	14	9/r/64-Htt/64
18-20	15	11764-14764
21-24	16	14764-18/64
25-29	17	18/64 — 23/64
30-41	18	23764-35/64
42-70	19	35764-

[00053] As equações de síntese assim se parecem como:

l_k(n) = An(i(k),n)s_k(n) + A₂i(i(k), n)d_k(n) r_k(n) = Ai₂(i(k),n)s_k(n) + A₂₂(i(k), n)d_k(n) l_k(n) = l_k(n)e^jPrt(i(k)’ⁿ⁾ (25) (26)

Petição 870180163419, de 14/12/2018, pág. 29/36

20/22 r_k(n) = rk(n)e'-'^Prt(1(k)’ⁿ⁾ [00054] Note que o sinal de P_rt muda nas equações acima se um * for encontrado na tabela. Isto está de acordo com equação (19), isto é, a rotação de fase inversa tem que ser aplicada para as freqüências negativas.

[00055] Implementação eficiente de bancos de filtro modulados com síntese trivial [00056] Dado um banco de filtro modulado com um filtro de protótipo de comprimento L, uma implementação de forma direta requerería QL operações por amostra de entrada, mas o fato que a modulação em (6) é antiperiódica com período Q pode ser usada para dividir a filtragem em uma colocação em janela polifásica de L operações seguidas por uma transformada de tamanho Q para cada amostra de entrada. Por favor note que uma representação polifásica como tal é conhecida de P. P. Vaidyanathan, Multirate systems and filter banks, Série de Processamento de Sinal Prentice Hall, 1993, seção 4.3). O seguinte provê uma aplicação vantajosa de uma tal representação polifásica de acordo com uma concretização preferida da invenção.

[00057] A transformada é uma DFT seguida por um giro de fase, que é da ordem de Qlog2Q, quando Q é uma potência de dois. Assim, uma grande economia é obtida em casos típicos onde L é muito maior do que log2Q. No caso modulado real (8), antiperiodicidade de período 2Q combinada com simetrias pares/ímpares ao redor den = 0en = Q pode ser usada novamente para colocação em janela polifásica, e o núcleo de transformada é uma DCT de tipo III. Uma descrição detalhada para o caso de modulação complexa é dada abaixo.

[00058] Uma implementação efetiva da sub-sub-filtragem, usando processamento de núcleo de FFT, pode ser realizada usando decomposição polifásica do filtro de protótipo seguida por modulação. Assuma um filtro de protótipo g(n) de ordem N, onde N = mQ e m é um inteiro positivo. Esta

Petição 870180163419, de 14/12/2018, pág. 30/36

21/22 condição não é restritiva, como um filtro de protótipo de ordem arbitrária pode ser enchido com zeros para satisfazer a sujeição. A transformada Z do filtro de protótipo projetado para uso em um sistema modulado complexo (6) ✓

e:

NI2

G(z)= Σ«(η)_Ζ-“(27) n=-NI2 [00059] Isto pode ser expresso em notação polifásica como:

G(z)=^Ei(zV(28)

1=0 onde:

Υ/(2β)

Ei(z)= (Qn + l)z ”(29) n=-NI(2Q) [00060] Todos os filtros do banco de filtros são versões moduladas em freqüência do filtro de protótipo. A transformada Z do filtro g_q(n) é dada por: G_q(z) = G(zW^q+1/2) (30) onde:

W = e-^j27t/Q(31) [00061] A expressão para a saída de um filtro é:

Y_q(z) = G_q(z)V(z) = G(zW^q+1/2)V(z) =

O^V^z¹ W^1/2W’^ql =

1=0

Σ E i(-z^Q)V(z)z¹eⁱ’^l/Q1 eí^27C/Qql (32)

1=0 [00062] Identificando os componentes da última soma, pode ser visto que os componentes polifásicos processam versões atrasadas do sinal de entrada, que subseqüentemente são multiplicados por uma exponencial complexa. Finalmente, todos os sinais de saída Y_q(z), q = 0,..., Q-l, são achados aplicando uma FFT inversa (sem fator de graduação). Figura 14 mostra a disposição para o banco de filtro de análise. Desde que os filtros polifásicos em (29) são não causais, uma quantidade correta de atraso tem que ser adicionada a todos os componentes polifásicos.

Petição 870180163419, de 14/12/2018, pág. 31/36

22/22 [00063] Deveria ser notado que as concretizações acima mencionadas ilustram em lugar de limitar a invenção, e que aqueles qualificados na técnica serão capazes de projetar muitas concretizações alternativas sem partir da extensão das reivindicações anexas. Nas reivindicações, qualquer sinal de referência colocado entre parênteses não deverá ser interpretado como limitando a reivindicação. A palavra 'incluindo' não exclui a presença de outros elementos ou etapas diferentes daquelas listadas em uma reivindicação. A invenção pode ser implementada por meio de hardware incluindo vários elementos distintos, e por meio de um computador adequadamente programado. Em uma reivindicação de dispositivo enumerando vários meios, vários destes meios podem ser concretizados por um e o mesmo item de hardware. O mero fato que certas medidas são recitadas em reivindicações dependentes mutuamente diferentes não indica que uma combinação destas medidas não pode ser usada com vantagem.

Claims

REIVINDICAÇÕES

1. Codificador de áudio avançado de estéreo paramétrico combinado e de replicação de banda espectral, caracterizado por compreender:

uma unidade de banco de filtro de análise para converter um sinal de entrada estéreo no domínio do tempo em um domínio de sub-banda;

uma unidade de cálculo estéreo paramétrico para calcular parâmetros estéreo paramétricos para o sinal de entrada estéreo no domínio de sub-banda para obter um fluxo de bits estéreo paramétrico e para criar uma downmix mono no domínio de sub-banda;

uma unidade de estimação de parâmetro de replicação de banda espectral para estimar parâmetros de replicação de banda espectral da downmix mono no domínio de sub-banda para obter um fluxo de bits de replicação de banda espectral;

um conversor de frequência para tempo para converter a downmix mono do domínio de sub-banda para o domínio do tempo; e um codificador de núcleo para codificar a downmix mono no domínio do tempo para obter um fluxo de bits de núcleo.
2. Método de codificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, caracterizado por compreender:

converter, por meio de um banco de filtros de análise, um sinal de entrada estéreo no domínio do tempo em um domínio de sub-banda;

calcular parâmetros estéreo paramétricos para o sinal de entrada estéreo no domínio de sub-banda para obter um fluxo de bits estéreo paramétrico;

criar uma downmix mono no domínio de sub-banda;

estimar parâmetros de replicação de banda espectral da downmix mono no domínio de sub-banda para obter um fluxo de bits de replicação de banda espectral;

Petição 870180163419, de 14/12/2018, pág. 33/36

2/4 converter a downmix mono do domínio de sub-banda para o domínio do tempo; e codificar em núcleo a downmix mono no domínio do tempo para obter um fluxo de bits de núcleo.
3. Sinal de áudio avançado codificado de estéreo paramétrico combinado e de replicação de banda espectral, caracterizado por compreender:

um fluxo de bits de estéreo paramétrico compreendendo parâmetros de estéreo paramétricos derivado a partir de um sinal estéreo;

um fluxo de bits de replicação de banda espectral compreendendo parâmetros de replicação de banda espectral de uma downmix mono derivado a partir de um sinal estéreo; e um fluxo de bits de núcleo representando uma downmix mono codificada de núcleo.
4. Decodificador de áudio avançado de estéreo paramétrico combinado e de replicação de banda espectral para decodificar um sinal de entrada estéreo codificado compreendendo um sinal de áudio codificado de núcleo, parâmetros de replicação de banda espectral e parâmetros estéreo paramétrico, o decodificador caracterizado por compreender:

um decodificador de núcleo para decodificar um sinal de áudio codificado para obter um sinal de áudio decodificado;

um banco de filtro de análise para converter o sinal de áudio decodificado de tempo para frequência em um domínio de sub-banda;

um gerador de alta frequência e um ajustador de envelope para gerar um sinal de áudio de largura de banda total usando os parâmetros de replicação de banda espectral no domínio de sub-banda;

uma unidade de sínteses estéreo paramétrico para converter o sinal de áudio de largura de banda total em um sinal de áudio estéreo no domínio de sub-banda usando os parâmetros estéreo paramétrico; e um banco de filtro de sínteses para converter o sinal de áudio

Petição 870180163419, de 14/12/2018, pág. 34/36

3/4 de largura de banda total do domínio de sub-banda para o domínio de tempo.
5. Método de decodificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral de um sinal de entrada estéreo codificado compreendendo um sinal de áudio codificado de núcleo, parâmetros de replicação de banda espectral e parâmetros estéreo paramétrico, o método caracterizado por compreender:

decodificar em núcleo um sinal de áudio codificado para obter um sinal de áudio decodificado;

converter, por meio de um banco de filtros de análise, o sinal de áudio decodificado de tempo para frequência em um domínio de sub-banda;

gerar, por meio de um gerador de alta frequência e um ajustador de envelope, um sinal de áudio de largura de banda total usando os parâmetros de replicação de banda espectral no domínio de sub-banda;

converter o sinal de áudio de largura de banda total em um sinal de áudio estéreo no domínio de sub-banda usando os parâmetros estéreo paramétrico; e converter, por meio de um banco de filtro de síntese, o sinal de áudio de largura de banda total do domínio de sub-banda para o domínio de tempo.
6. Meio de armazenamento legível por computador, caracterizado por compreender instruções legíveis por computador, que quando executadas por um computador, executam o método de codificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral, compreendendo as etapas de:

converter, por meio de um banco de filtros de análise, um sinal de entrada estéreo no domínio do tempo em um domínio de sub-banda;

calcular parâmetros estéreo paramétricos para o sinal de entrada estéreo no domínio de sub-banda para obter um fluxo de bits estéreo paramétrico;

Petição 870180163419, de 14/12/2018, pág. 35/36

4/4 criar uma downmix mono no domínio de sub-banda;

estimar parâmetros de replicação de banda espectral da downmix mono no domínio de sub-banda para obter um fluxo de bits de replicação de banda espectral;

converter a downmix mono do domínio de sub-banda para o domínio do tempo; e codificar em núcleo a downmix mono no domínio do tempo para obter um fluxo de bits de núcleo.
7. Meio de armazenamento legível por computador, caracterizado por compreender instruções legíveis por computador, que quando executadas por um computador, executam o método de decodificação avançada de áudio de estéreo paramétrico combinado e de replicação de banda espectral de um sinal de entrada estéreo codificado compreendendo um sinal de áudio codificado de núcleo, parâmetros de replicação de banda espectral e parâmetros estéreo paramétrico, o método compreendendo as etapas de:

decodificar em núcleo um sinal de áudio codificado para obter um sinal de áudio decodificado;

converter, por meio de um banco de filtros de análise, o sinal de áudio decodificado de tempo para frequência em um domínio de sub-banda;

gerar, por meio de um gerador de alta frequência e um ajustador de envelope, um sinal de áudio de largura de banda total usando os parâmetros de replicação de banda espectral no domínio de sub-banda;

converter o sinal de áudio de largura de banda total em um sinal de áudio estéreo no domínio de sub-banda usando os parâmetros estéreo paramétrico; e converter, por meio de um banco de filtro de síntese, o sinal de áudio de largura de banda total do domínio de sub-banda para o domínio de tempo.