BRPI0612218B1

BRPI0612218B1 - codificação de áudio residual adaptativa

Info

Publication number: BRPI0612218B1
Application number: BRPI0612218-3A
Authority: BR
Inventors: Francois Philippus Myburg; Lars Villemoes
Original assignee: Koninklijke Philips Electronics N. V; Dolby International Ab
Priority date: 2005-04-15
Filing date: 2006-04-07
Publication date: 2021-03-02
Also published as: MY147609A; CN101160619B; JP4685925B2; CN101160619A; MX2007012686A; ES2338918T3; TW200643897A; US7751572B2; BRPI0612218A2; KR100955361B1; RU2007142177A; WO2006108573A1; ATE454693T1; DE602006011591D1; RU2380766C2; PL1869668T3; US20060233379A1; KR20070120527A; TWI303411B; JP2008536184A

Abstract

CODIFICAÇÃO DE ÁUDIO RESIDUAL ADAPTATIVA. Sinal de áudio tendo pelo menos dois canais pode ser eficientemente processado por downmix em um sinal de dowrimix e um sinal residual, quando a regra de dowrirnix usada depende de um parâmetro espacial que é derivado do sinal de áudio e que é pôs-processado por um limitador para aplicar certo limite ao parâmetro espacial provido, com o objetivo de evitar instabilidades durante o processo de upmix ou downmix. Tendo uma regra de downmix que dinamicamente depende de parâmetros que descrevem uma inter-relação dos canais de áudio, é possível garantir que a energia dentro do sinal residual que sofreu dowrimix seja a menor possível, o que é vantajoso em vista da eficiência de codificação. Por pós-processamento do parâmetro espacial com um limitador antes de seu uso no processo de downmix, é possível evitar instabilidades no downrnix ou upmix, o que, por outro lado, poderia resultar em um distúrbio da percepção espacial do sinal de áudio codificado ou decodificado.

Description

Campo da Invenção

1. A presente invenção se refere à codificação e de- codificação de sinais de áudio e, em especial, à codificação efi-ciente de alta qualidade de um par de canais de áudio.

Histórico da técnica anterior da invenção

2. Recentemente, codificação efetiva de alta qualidade de sinais de áudio tem se tornado cada vez mais importante, visto que distribuição digital de conteúdo de áudio e vídeo comprimido, por exemplo, por satélite ou por transmissão de áudio ou vídeo digital terrestre, é amplamente usada. A técnica MP3 bem conhecida, por exemplo, permite a transmissão conveniente de títulos de áudio pela internet ou por outros canais de transmissão que possuem larguras de bandas limitadas.

3. Em adição à MP3, vários outros esquemas de codi-ficação de áudio objetivam maximizar a qualidade de áudio para uma taxa de compressão ou taxa de bit provida. Foi demonstrado no "Ef-ficient and scalable Parametric Stereo Coding for Low Bit rate Au-dio Coding Applications", PCT/SE02/01372, que é possível recriar um sinal estéreo que se assemelhe bastante com a imagem estéreo original subjacente, a partir de um sinal mono quando é usada, adicionalmente, uma representação muito compacta do sinal estéreo, comumente referida como “sinais de som espaciais”. Este princípio revelado divide o sinal de entrada estéreo em bandas de freqüência e estima parâmetros, os quais são denominados diferença de inten-sidade entre canais (IID) e coerência entre canais (ICC), para cada uma das bandas de freqüência separadamente. O primeiro parâmetro descreve uma medição da distribuição de energia entre os dois canais na banda de freqüência específica e o segundo parâmetro descreve uma estimativa da correlação entre os dois canais. Uma descrição mais completa de parâmetros espaciais pode ser encontrada no “High-quality parametric spatial audio coding at low bit rates” J. Breebaart, S. van de Par, A. Kohlrausch e E. Schuijers, Proc. 116thAES Convention, Berlin (Alemanha), 8 a 11 de Maio de 2004. Com base nestes sinais de som espaciais, o sinal de entrada estéreo é adaptativamente combinado em um sinal mono. Ambos os sinais de som espaciais e o sinal mono são codificados e a representação codificada é multiplexada em um fluxo de bits, que é transmitida para o decodificador. No lado do decodificador a imagem estéreo é recriada a partir do sinal mono pela distribuição da energia do sinal mono entre os dois canais de saída, de acordo com os dados IID, e pela adição de um sinal descorrelacionado, de modo a reter a correlação de canal dos canais estéreos originais, conformeé descrito pelos parâmetros IIC.

4. Quando mais larguras de banda de transmissão estão disponíveis, uma qualidade de áudio mais elevada por ser obtida pela substituição do sinal mono descorrelacionado no decodifi- cador por um sinal residual transmitido. Isto é, é requerida a transmissão de um sinal residual adicional para um decodificador. Este é, também, o caso da codificação do lado central (MS), onde a soma e a diferença dos canais de um sinal estéreo são codificadas em vez dos canais esquerdo e direito diretamente. Uma descrição da técnica MS pode ser encontrada no “Sum-difference stereo transform coding”, Proc. Int. Conf. Acoust. Speech Signal Process. (ICASSP), São Francisco, EUA, 1992, págs. II 569 - 572. Codificação MS é ba-seada na descoberta de que o canal esquerdo e o canal direito de um sinal de estéreo são, provavelmente, bastante similares. Por-tanto, uma diferença do canal esquerdo e do canal direito resultará em um sinal tendo uma intensidade comparativamente baixa a maior parte do tempo, isto é, a amplitude do sinal de diferença será bem pequena. Dessa maneira, é possível economizar uma quantidade significativa de taxa de bits ao codificar o sinal de diferença, visto que os parâmetros que descrevem o sinal de diferença podem ser grosseiramente quantizados. O sinal de soma evidentemente ne-cessitará aproximadamente da mesma largura de banda que um canal esquerdo ou direito único, quando codificado. Portanto, é possível economizar uma quantidade significativa de largura de banda no to-tal ao usar o esquema de codificação MS. Quando existir uma grande diferença de intensidade entre o canal esquerdo e o canal direito, a técnica MS terá suas limitações, visto que, então, também o canal de diferença conterá uma quantidade substancial de energia e, portanto, necessitará de uma largura de banda mais elevada. Pode ser observado, entretanto, que em implementações de estéreo codi-ficado regulares, codificação MS não será aplicada neste caso, de-vido aos altos custos da codificação. Nestes casos, é vantajoso ter a possibilidade de mudar de codificação estéreo normal para codificação MS, dependendo da intensidade carregada pelos canais de áudio originais que devem ser codificados.

5. Substituindo o conceito estático de construção da soma e da diferença de dois canais estéreos que devem ser codifi-cados por meio da invenção de uma matriz de rotação do decodifica- dor, com elementos de matriz que descrevem a composição de dois canais intermediários que são uma combinação de dois canais esté-reos,é possível superar o problema acima. Os elementos de matriz dependem de parâmetros de estéreo paramétrico que são extraídos do canal esquerdo e direito do sinal estéreo. Codificação residual adaptativa deve ser capaz de adaptar dinamicamente a regra de com-binação para a geração de canais intermediários às propriedades do sinal presente, atingindo um ganho de desempenho significativo em relação à codificação MS.

6. Ao escolher uma dependência adequada dos elementos de matriz da referida matriz de rotação dos parâmetros de estéreo paramétrico, é possível conseguir que a energia dentro de um canal de diferença permaneça tão pequena quanto possível, conforme demonstrado anteriormente no pedido de patente Européia não reve-lada, EP 04103168.3. Conforme é introduzida uma matriz de rotação para transformar (downmix ou upmix) o sinal estéreo em sinais m e s (os sinais intermediários, isto é, o sinal de downmix m e o sinal residual s), é crucial para a operação do método que as matrizes de rotação (a matriz de rotação do decodificador e a matriz de rotação do codificador) estejam unidas. Isto significa que os elementos de matriz dentro das matrizes não divergem infinitamente dentro da faixa inteira possível dos parâmetros de codificação de estéreo paramétrico. Em outras palavras, ambas as matrizes de rotação devem ser unidas no sentido de que o número de condição de matriz seja suficientemente pequeno para permitir inversão de matriz isenta de problema para a faixa inteira de parâmetros de codificação de estéreo paramétrico, o que não ocorre para implementação de acordo com a técnica anterior.

Sumário da Invenção

7. O objetivo da presente invenção é prover um con-ceito para codificação de áudio de alta qualidade que resulte em uma representação grandemente comprimida de um sinal de áudio, evitando simultaneamente artefatos introduzidos pela codificação ou decodificação de forma mais eficiente.

8. De acordo com um primeiro aspecto da presente in-venção, este objetivo é atingido por um codificador de áudio para codificar um sinal de áudio tendo pelo menos dois canais, compre-endendo: um extrator de parâmetro para prover um parâmetro espacial do sinal de áudio, onde o parâmetro espacial descreve uma in- ter-relação dos pelo menos dois canais; um limitador para limitar o parâmetro espacial usando uma regra de limitação para prover um parâmetro espacial limitado, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e um dispositivo de downmix para prover um sinal de downmix e um sinal residual do sinal de áudio usando uma regra de downmix que depende do parâmetro espacial limitado.

9. De acordo com um segundo aspecto da presente in-venção, este objetivo é atingido por um decodificador de áudio para decodificar um sinal de áudio decodificado representando um sinal de áudio original que tem pelo menos dois canais, o sinal de áudio codificado tendo um sinal de downmix, um sinal residual e um parâmetro espacial que descreve uma inter-relação dos pelo menos dois canais, compreendendo: um limitador para limitar o parâmetro espacial de modo a prover um parâmetro espacial limitado usando uma regra de limitação, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e um dispositivo de upmix para prover uma reconstrução do sinal de áudio original do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro espacial limitado.

10. De acordo com um terceiro aspecto da presente in-venção, este objetivo é atingido por um método para codificar um sinal de áudio que tem pelo menos dois canais, o método compreen-dendo: prover um parâmetro espacial do sinal de áudio, onde o pa-râmetro espacial descreve uma inter-relação dos pelo menos dois canais; limitar o parâmetro espacial usando uma regra de limitação para prover um parâmetro espacial limitado, onde a regra de limi-tação depende de uma inter-relação dos pelo menos dois canais; e prover um sinal de downmix e um sinal residual a partir de um sinal de áudio usando uma regra de downmix que depende do parâmetro espacial limitado.

11. De acordo com um quarto aspecto da presente in-venção, este objetivo é atingido por um método para decodificar um sinal de áudio codificado que representa um sinal de áudio original tendo pelo menos dois canais, o sinal de áudio codificado tendo um sinal de downmix, um sinal residual e um parâmetro espacial que descreve uma inter-relação dos pelo menos dois canais, o método compreendendo: limitar o parâmetro espacial para prover um pa-râmetro espacial limitado usando uma regra de limitação, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e provendo uma reconstrução do sinal de áudio original a partir do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro espacial limitado.

12. De acordo com um quinto aspecto da presente in-venção, este objetivo é atingido por um transmissor ou gravador de áudio que tem um codificador de áudio para codificar um sinal de áudio que tenha pelo menos dois canais, compreendendo: um extrator de parâmetro para prover um parâmetro espacial do sinal de áudio, onde o parâmetro espacial descreve uma inter-relação dos pelo menos dois canais; um limitador para limitar o parâmetro espacial usando uma regra de limitação para prover um parâmetro espacial, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e um dispositivo de downmix para prover um sinal de downmix e um sinal residual do sinal de áudio usando uma regra de downmix que depende do parâmetro espacial limitado.

13. De acordo com um sexto aspecto da presente inven-ção, este objetivo é atingido por um receptor ou reprodutor de áu-dio, que tem um decodificador de áudio para decodificar um sinal de áudio codificado representando um sinal de áudio original que tem pelo menos dois canais, o sinal de áudio codificado tendo um sinal de downmix, um sinal residual e um parâmetro espacial que descreve uma inter-relação dos pelo menos dois canais, compreendendo: um limitador para limitar o parâmetro espacial para prover um parâmetro espacial limitado usando uma regra de limitação, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e um dispositivo de upmix para prover uma reconstrução do sinal de áudio original a partir do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro espacial limitado.

14. De acordo com um sétimo aspecto da presente in-venção, este objetivo é atingido por um método de transmissão ou gravação de áudio, o método tendo um método para gerar um sinal codificado, o método compreendendo um método para codificar um si-nal de áudio que tem pelo menos dois canais, o método compreenden-do: prover um parâmetro espacial a partir do sinal de áudio, onde o parâmetro espacial descreve uma inter-relação dos pelo menos dois canais; limitar o parâmetro espacial usando uma regra de li-mitação para prover um parâmetro espacial limitado, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; provendo um sinal de downmix e um sinal residual a partir do sinal de áudio usando uma regra de downmix que depende do parâmetro espacial limitado.

15. De acordo com um oitavo aspecto da presente in-venção, este objetivo é atingido por um método de recepção ou re-produção de áudio, o método tendo um método para decodificar um sinal de áudio codificado, o método compreendendo um método para decodificar um sinal de áudio codificado que representa um sinal de áudio original tendo pelo menos dois canais, o sinal de áudio codificado tendo um sinal de downmix, um sinal residual e um parâ-metro espacial que descreve uma inter-relação dos pelo menos dois canais, o método compreendendo: limitar o parâmetro espacial de modo a prover um parâmetro espacial limitado usando uma regra de limitação, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e provendo uma reconstrução do sinal de áudio original a partir do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro espacial limitado.

16. De acordo com um nono aspecto da presente invenção, este objetivo é atingido por um sistema de transmissão que tem um transmissor e um receptor, o transmissor tendo um codificador de áudio para codificar um sinal de áudio que tem pelo menos dois canais, compreendendo: um extrator de parâmetro para prover um parâmetro espacial a partir do sinal de áudio, onde o parâmetro espacial descreve uma inter-relação dos pelo menos dois canais; um limitador para limitar o parâmetro espacial usando uma regra de limitação para prover um parâmetro espacial limitado, onde a regra de limitação depende de uma inter-relação dos pelo menos dois ca-nais; e um dispositivo de downmix para prover um sinal de downmix e um sinal residual a partir do sinal de áudio, usando uma regra de downmix que depende do parâmetro espacial limitado; e o receptor tendo um decodificador de áudio para decodificar um sinal de áudio codificado que representa um sinal de áudio original tendo pelo menos dois canais, o sinal de áudio codificado tendo um sinal de downmix, um sinal residual e um parâmetro espacial que descreve uma inter-relação dos pelo menos dois canais, compreendendo: um limitador para limitar o parâmetro espacial para prover um parâme-tro espacial limitado usando uma regra de limitação, onde a regra de limitação depende de uma inter-relação dos pelo menos dois ca-nais; e um dispositivo de upmix para prover uma reconstrução do sinal de áudio original a partir do sinal de downmix e do sinal residual, usando uma regra de upmix que depende do parâmetro espacial limitado.

17. De acordo com um décimo aspecto da presente in-venção, este objetivo é atingido por um método de transmissão e recepção, o método incluindo um método de transmissão que tem um método para gerar um sinal codificado a partir de um sinal de áudio tendo pelo menos dois canais, o método compreendendo: prover um parâmetro espacial do sinal de áudio, onde o parâmetro espacial descreve uma inter-relação dos pelo menos dois canais; limitar o parâmetro espacial usando uma regra de limitação para prover um parâmetro espacial limitado, onde a regra de limitação depende de uma inter-relação dos pelo menos dois canais; e prover um sinal de downmix e um sinal residual a partir do sinal de áudio usando uma regra de downmix que depende do parâmetro espacial limitado; e um método de recepção que tem um método para decodificar um sinal de áudio codificado, o método compreendendo: limitar o parâmetro es-pacial para prover um parâmetro espacial limitado usando uma regra de limitação, onde a regra de limitação depende de uma inter- relação dos pelo menos dois canais; e prover uma reconstrução do sinal de áudio original a partir do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro espacial limitado.

18. De acordo com um décimo primeiro aspecto da pre-sente invenção, este objetivo é atingido por um sinal de áudio co-dificado que é uma representação de um sinal de áudio tendo pelo menos dois canais, o sinal de áudio codificado tendo um parâmetro espacial que descreve uma inter-relação dos pelo menos dois canais, um sinal de downmix e um sinal residual, onde o sinal de downmix e o sinal residual são derivados do sinal de áudio usando uma regra de downmix que depende de um parâmetro espacial limitado provido usando uma regra de limitação que depende de uma inter- relação dos pelo menos dois canais.

19. A presente invenção é baseada na descoberta de que um sinal de áudio tendo pelo menos dois canais pode sofrer downmix eficientemente em um sinal de downmix e um sinal residual, quando a regra de downmix usada depende de um parâmetro espacial que é derivado do sinal de áudio e que é pós-processado por um limitador para aplicar certo limite ao parâmetro espacial derivado com o objetivo de evitar instabilidade durante os processos de upmix ou downmix. Tendo uma regra de downmix que depende dinamica- mente de parâmetros que descrevem uma inter-relação dos canais de áudio, é possível assegurar que a energia dentro do sinal residual de downmix seja tão pequena quanto possível, o que é vantajoso emrelação à eficiência de codificação. Através de pós-processamento do parâmetro espacial com o limitador antes do uso deste no downmix, é possível evitar instabilidades no downmix ou upmix, o que, por outro lado, resultaria em um distúrbio na percepção espacial do sinal de áudio codificado ou decodificado.

20. Em uma configuração da presente invenção, um si-nalestéreo original que tem um canal esquerdo e um canal direito,é suprido para um dispositivo de downmix e um extrator de parâmetro. O extrator de parâmetro deriva os parâmetros espaciais comu- mente conhecidos ICC (Correlação Entre Canais) e IDD (Diferença deIntensidade Entre Canais). O dispositivo de downmixé capaz de fazer o downmix dos canais esquerdo e direito em um sinal de downmixe um sinal residual, onde a regra de downmixé tal que o sinal residual resultante carrega a energia mínima atingível. Portanto, compressão subseqüente do sinal residual resultante por um codificador de áudio padrão resultará em um código extremamente compacto. Isto pode ser atingido pela formulação da regra de downmix emdependência dos parâmetros espaciais ICC e IID, visto que ambos osparâmetros são descrições de proporções de intensidade ou amplitude dos canais estéreos originais. Um problema geral durante codificação é a preservação de energia. É necessário que ambos, o sinal original e o sinal codificado, contenham a mesma energia, visto que uma violação da conservação de energia resultaria em umapercepção de altura de som diferente dos sinais codificados, ou mesmo em saltos incontroláveis na altura do sinal codificado. Por- tanto, no esquema de codificação acima, o sinal de downmix e o sinal residual devem ser escalados por um fator de escalonamento que garanta a regra de conservação de energia.

21. Se o sinal de áudio original que deve ser codifi-cado tiver propriedades especiais, este fator de escalonamento pode divergir, especialmente quando o canal original esquerdo e direito forem perfeitamente anti-correlacionados, isto é, quando eles tiverem as mesmas amplitudes e uma mudança de fase de precisamente 180°. Esta instabilidade é evitada dentro do conceito inventivo pela aplicação de uma função limitativa para o parâmetro ICC, onde a função de limitação depende de um fator de escalonamento máximo aceitável e do parâmetro IID. Para evitar uma possível divergência, a regra que descreve o downmix é alterada diretamente, enquanto em implementações da técnica anterior o fator de escalonamento é simplesmente limitado pela definição de um limite e o fator de escalonamento é substituído pelo valor de limite quando o fator exceder o limite.

22. É uma grande vantagem do conceito inventivo, que ambos os sinais dentro do canal de downmix e o canal residual sejam alterados através da alteração dos parâmetros que estão subjacentes ao processo de downmix. Apenas o sinal no canal de downmix seria influenciado ao aplicar um limite de acordo com a técnica anterior, assim uma preservação melhor da inter-relação entre o canal original esquerdo e direito pode ser atingida quando o conceito inventivo é aplicado.

23. Uma outra vantagem do conceito descrito acima é que os parâmetros espaciais usados são geralmente derivados durante um processo de codificação. Portanto, é possível implementar a lógica de limitação necessária sem ter que introduzir novos parâ-metros.

24. Em uma configuração adicional da presente invenção, um limitador é aplicado no lado do decodificador, tendo a mesma regra de limitação que um limitador no lado do codificador. Isto significa que no lado do decodificador, o downmix e o sinal residual, assim como os parâmetros espaciais IID e ICC, são recebidos, e os parâmetros espaciais recebidos são limitados usando a mesma regra de limitação usada durante o processo de codificação. O upmixé, então, dependente dos parâmetros espaciais limitados, garantindo a não ocorrência de uma divergência no processo de upmix. A vantagem de ter as mesmas regras de limitação na codificação e na decodificação é óbvia, visto que é necessário desenvolver circuitos de hardware ou uma implementação de um algoritmo de software apenas uma única vez. Hardware ou software que têm tanto funcionalidade de codificação quando de decodificação, podem ser desenvolvidos com custos menores, visto que é possível reutilizar o mesmo hardware ou software para a funcionalidade de limitação.

25. Em uma configuração adicional da presente invenção, os sinais de downmix e os parâmetros espaciais são comprimidosapós sua geração, resultando em duas correntes de bits de áudio para os sinais de downmix e um fluxo de bits de parâmetro que retém os parâmetros espaciais comprimidos. Isto reduz o tamanho da representação codificada a ser transmitida, economizando, adicio-nalmente, largura de banda, onde a codificação pode ser com perda ou sem perda, visto que a própria regra de codificação é indepen-dente do conceito inventivo. Um decodificador inventivo de acordo com o conceito inventivo, então, compreende um estágio de descom- pressão, onde as representações comprimidas são descomprimidas nos parâmetros espaciais, no canal de downmix e no canal residual antes de efetuar upmix.

26. Em uma outra configuração da presente invenção, as correntes de bits de áudio já comprimidas e o fluxo de bits de parâmetro são combinadas em um fluxo de bits combinado, por exem-plo, por multiplexação, permitindo uma armazenagem conveniente de um arquivo gerado em um meio de armazenagem. Isto também permite aplicações de streaming, por exemplo, streaming do conteúdo codi-ficadoatravés da internet, visto que toda a informação relevante está compreendida em um único arquivo ou fluxo de bits, permitindo um manuseio mais conveniente do que em um caso onde três correntes de bit separadas devem ser transferidas. O decodificador inventivo correspondente, então, tem um estágio de descombinação, que pode-ria, por exemplo, ser um desmultiplexador para descombinar o fluxo de bits em três correntes de bits separadas, isto é, as duas cor-rentes de bits de áudio e o fluxo de bits de parâmetro.

27. Deve ser observado aqui que o conceito inventivo provê uma compatibilidade retroativa perfeita à codificação resi-dual da técnica anterior onde os parâmetros espaciais não estão limitados, e mesmo à codificação estéreo paramétrica da técnica anterior onde um decodificador não usa o sinal residual. Isto é, obviamente, uma vantagem importante, visto que dados de áudio co-dificados recentemente podem ser reproduzidos com a qualidade má-ximapossível pelos decodificadores inventivos, enquanto eles po-demtambém ser reproduzidos por decodificadores já existentes de acordo com a técnica anterior.

28. Em uma configuração adicional da presente inven- ção, três codificadores inventivos são combinados para codificar um sinal de áudio de canais múltiplos compreendendo seis canais individuais, onde cada um dos três codificadores inventivos codi-fica um par de canais, derivando parâmetros espaciais, um downmix e um sinal residual para cada um dos pares de canal. O conceitoinventivo pode, portanto, ser usado também para codificar sinais de áudio de canais múltiplos onde a eficiência da codificação e acompactação da representação resultante têm uma prioridade ainda maior, visto que a quantidade total de dados a ser codificada e transmitida é muito maior que para um sinal estéreo. Em princípio, um número arbitrário de codificadores de áudio inventivos pode sercombinado para codificar simultaneamente um sinal de áudio de ca-naismúltiplos tendo basicamente qualquer número de canais de áu-diosúnicos. Em uma configuração adicional do codificador de áudiode canais múltiplos, os sinais de downmix individuais e os sinais residuais, assim como as correntes de bit de parâmetro individual são combinadas por um dispositivo de downmix de 3 para 2 para re-ceber um sinal esquerdo comum, um sinal direito comum, e um sinalresidual comum e um fluxo de bits de parâmetro combinada, reduzindo adicionalmente a quantidade de largura de banda requerida. Os decodificadores correspondentes compreendem então, de forma direta, um estágio de dispositivo de upmix de 2 para 3.

29. Em uma outra configuração da presente invenção,um transmissor ou gravador de áudio compreende um codificador in-ventivo, permitindo gravação ou transmissão de áudio compacta, de alta qualidade, onde o tamanho do conteúdo de áudio transmitido ou armazenado pode ser significativamente reduzido. Este conteúdo de áudio pode ser armazenado em um meio de armazenagem de uma capaci- dade dada ou largura de banda menor é usada durante a transmissão do sinal de áudio.

30. Em uma outra configuração, um receptor ou reprodutor de áudio tem um decodificador inventivo, que permite aplica-ções de streaming em ambientes de largura de banda limitados tais como telefones móveis ou que permite a construção de dispositivos de reprodução portáteis pequenos, usando meios de armazenagem de capacidade limitada.

31. Uma combinação de um transmissor e receptor inventivos resulta em um sistema de transmissão que permite transmi-tir, de forma conveniente, conteúdo de áudio através de interfaces de transmissão com fio ou sem fio, tais como LAN sem fio, Blueto-oth, LAN com fio, tecnologias de linha de energia, transmissão de rádio, ou qualquer outro tipo de transmissão de dados.

Breve descrição dos desenhos

32. Configurações preferidas da presente invenção sãodoravante descritas por referência aos desenhos em anexo, onde:

33. A Fig. 1 mostra um diagrama de bloco de um codificador inventivo;

34. A Fig. 2 mostra um diagrama de bloco do princípiode codificação inventivo;

35. A Fig. 3 mostra uma outra configuração de um codificador inventivo;

36. A Fig. 4 mostra a compatibilidade retroativa doesquema de codificação inventivo em relação aos decodificadores da técnica anterior;

37. A Fig. 5 mostra um codificador de áudio de canaismúltiplos inventivo;

38. A Fig. 6 mostra um diagrama de bloco de um deco-dificador de áudio inventivo;

39. A Fig. 7 mostra um diagrama de bloco do conceitoinventivo de decodificação;

40. A Fig. 8 mostra uma configuração adicional de umdecodificador inventivo;

41. A Fig. 9 mostra uma configuração de um decodifi-cador de áudio de canais múltiplos inventivo;

42. A Fig. 10 mostra uma configuração alternativa deum codificador de áudio inventivo;

43. A Fig. 11 mostra uma configuração alternativa deum decodificador de áudio inventivo;

44. A Fig. 12 mostra um transmissor/gravador de áudioinventivo;

45. A Fig. 13 mostra um receptor/reprodutor de áudioinventivo;

46. A Fig. 14 mostra um sistema de transmissão inven-tivo.

Descrição detalhada de configurações preferidas

47. A Figura 1 mostra um diagrama de bloco de um co-dificador de áudio inventivo 10, compreendendo um dispositivo de downmix 12, um limitador 14, e um extrator de parâmetro 16.

48. Um sinal estéreo 18, tendo um canal esquerdo e um canal direito, é inserido simultaneamente em um dispositivo de downmix 12 e no extrator de parâmetro 16. O extrator de parâmetro 16 extrai parâmetros espaciais 19 que descrevem uma inter-relação entre o canal esquerdo e o canal direito do sinal estéreo 18. Estes parâmetros são, por um lado, disponibilizados para transmissão e, por outro lado, inseridos no limitador 14. O limitador 14 aplica uma regra de limitação aos parâmetros. Os detalhes de uma regra de limitação apropriada devem ser providos nos parágrafos a seguir.

49. O limitador deriva parâmetros espaciais limitados e estes são inseridos no dispositivo de downmix 12, onde o dispositivo de downmix 12 aplica uma regra de downmix ao canal esquerdo e canal direito do sinal estéreo 18 para prover um sinal de downmix 20 e um sinal residual 22 a partir do canal esquerdo e canal direito do sinal estéreo. A regra de downmixé adicionalmente dependente do parâmetro espacial limitado.

50. Ao escolher uma regra de limitação apropriada para o limitador, o dispositivo de downmix 12 é suprido apenas com parâmetros limitados que são limitados de uma maneira que a regra de downmix que não cause divergência ou produza qualquer saída que esteja deteriorando uma inter-relação espacial do canal esquerdo e do canal direito devido ao downmix.

51. Como um resultado, o sinal estéreo 18 é represen-tado pelo sinal de downmix 20, pelo sinal residual 22, e pelos pa-râmetros espaciais 19 após o processo de codificação executado pelo codificador de áudio 10.

52. Para entender como uma regra de downmix e uma regra de limitação têm que inter-relacionar para prover um sinal residual resultante 22 contendo energia plausível mínima, enquanto limita simultaneamente um parâmetro espacial, de modo que a regra de downmixnão cause quaisquer divergências, o conceito básico subjacente da presente invenção é elaborado em maiores detalhes nos poucos parágrafos a seguir.

53. Os parâmetros extraídos pelo extrator de parâmetro 16, tipicamente resulta de um tempo único e intervalo de fre- qüência de amostras de sub-banda de uma análise de banco de filtro modulado complexo de sinais de tempo discretos. Isto significa que o sinal de áudio do canal esquerdo e do canal direito do sinal es-téreo 18 é primeiramente dividido em quadros de tempo de um com-primento dado, e dentro de um quadro de tempo único, o espectro de freqüência é subdividido em uma quantidade de amostras de subbanda. Para cada sub-banda única, o extrator de parâmetro 16, então, provê um parâmetro espacial por comparação dos canais esquerdo e direito do sinal estéreo dentro da sub-banda de interesse. Portanto, o canal esquerdo e o canal direito do sinal estéreo 18 e o sinal de downmix m e o sinal residual s da Figura 1 têm que ser entendidos como vetores de comprimento discretos e finitos, que descrevem os sinais subjacentes dentro de um intervalo de tempo discreto. Conforme mencionado acima, durante um processo de downmix, preservação de energia deve ser garantida. Para vetores complexos discretos x, y, o produto interno complexo e a norma quadrada(comparável à energia) é definida por

54.

55. Após a convenção normal, um * denota conjugaçãocomplexa. A partir daqui, letras maiúsculas descrevem a soma doquadrado ou energia dos vetores complexos de comprimento finitocorrespondentes, denotados por letras minúsculas.

56. De acordo com a presente invenção, o canal de m resultante do downmix adaptativo é a soma pesada da do canal original esquerdo e direito, e, dessa maneira,

57.

58. 58. onde g é um fator de ganho real e positivo ajustado de modo que a energia do downmix (M) seja igual à soma de energias dos vetores de sinal do canal esquerdo (L) e direito (R) (M = L + R).

59. Visto que este fator de ganho diverge até o infi- nito quando 1 e r estão fora de fase e têm energia comparável (istoé, 1 + r = 0 na equação no 2), é necessário limitar este fator por um fator de ganho máximo g0 que esteja, tipicamente, dentro do intervalo [1,2]. O extrator de parâmetro 16, conforme mostrado naFigura 1, extrai os parâmetros de áudio espaciais IID (Diferençade Intensidade Entre Canais) e ICC (Coerênciasão representados por

60.

61. aqui c denote o parametric lld e denote o para âmetro ICC. O fator de ganho g pode ser expresso dependendo dos parâmetros ICC e IID e esta limitação requerida do fator de ganho pode ser escrita como segue:

62.

63 . De forma geral, visto que

nós temos

de modo que

64. Para atingir eficiência máxima de codificação, é desejado que a energia dentro do sinal residual 22 seja mínima. A derivação a seguir resolve um problema de otimização mais geral compreendendo um sinal residual adicional t, que, então, se revela sendo supérfluo devido a (9). Considerando o problema do lado do decodificador, é necessário determinar ganhos a, b, de modo que os sinais residuais s, t no upmix

65

66 tenham energia mínima. A solução é provida por

67

68 onde

69

70. O mesmo problema, com a restrição adicional de que os coeficientes a,b são reais, tem a solução provida por tomar a parte real de (7) e a inserir em (6). Neste caso, pode ser expresso em termos dos parâmetros PS c, , como segue:

71

72. Inserindo (6) em (5) e adicionando as duas equações em (5) ocorre que:

73.

74. Ao descrever o processo de upmix na notação de matriz usual, o upmix pode ser representado por uma matriz de rotação H, como segue:

75

76. No caso onde g não está limitado por g0em (4),uma representação diferente dos coeficientes ideais a, b é providapor:

77

78. A primeira coluna da matriz giradora H é idêntica ao rotador de amplitude usado no estéreo paramétrico, que é, por exemplo, provido no WO 03/090206 A1.

79. O downmix necessita ser compatível com o upmix no sentido em que a reconstrução perfeita seja obtida quando todas as etapas de codificação com perda forem omitidas. Como uma conse-qüência, a matriz de downmixD,

80

81. deve ser o inverso do rotador de upmix H. Umacomputação elementar resulta

82

83. onde a primeira fila é consistente com (2)

84. Existe um problema de estabilidade com os dois rotadores ideais providos por (10) e (13). Conforme (c,p)se aproxima de (1, -1), o valor de p dado por (8) diverge. Portanto é ne cessário desviar dos rotadores ideais em uma vizinhança deste pon- to do domínio do parâmetro PS.A solução ensinada pela presente invenção é modificar os parâmetros PS por um limitador de instabilidade tanto no codificador quanto no decodificador.

85. Em sua forma geral, este limitador alterará osvalores do par (c, p)em uma vizinhança de (1, -1) de modo a atin-gir uma faixa limitada por p. Uma solução especialmente atraente ébaseada na observação de que o denominador de (8) é igual àquele de (4). A solução inventiva mantém c inalterado e modifica pexatamente quando o ganho de downmix adaptativo g é limitado por g0 em (4). Isto ocorre quando

86.

87. A modificação preferida de p executada por um limitador de instabilidade 14 é, então:

88.

89. O valor correspondente de p dado pela inserção dep no lugar de p em (8) tem a propriedade de

90

91. Nos parágrafos anteriores, a análise do problema que conduz à definição do limitador 14 foi detalhada. Embora a anotação seja baseada em sinais estéreo, é claro que o mesmo método pode ser aplicado em qualquer par de sinais de áudio, tais como pares de canais selecionados ou gerados por um downmix parcial de um sinal de áudio de canais múltiplos. Particularmente vantajoso é que a mesma regra de limitação pode ser usada para limitar os pa- râmetros dentro da matriz de upmix e downmix.

92. A Figura 2 descreve o procedimento de codificação de áudio inventivo usando um diagrama de bloco, mostrando como a codificação de áudio é executada quando seguindo o conceito inventivo. Em uma primeira etapa de extração de parâmetro 30, os parâmetros ICC e IID são derivados.

93. Estes parâmetros são, então, enviados como saída 23 e transferidos para servir como entrada para a etapa de limitação 32, onde uma comparação do parâmetro ICC com um parâmetro ICC mínimo computado ICCminé efetuada, onde ICCminé dependente de IID. Em um primeiro caso, onde o parâmetro ICC excede o parâmetro ICC mínimo ICCmin (IID), o parâmetro ICC é diretamente enviado para a etapa de downmix 34.

94. Se o parâmetro ICC não exceder ICCmin (IID), uma etapa de mudança adicional 36 é executada, onde o valor do parâmetro ICC é substituído pelo valor do parâmetro ICC mínimo IC- Cmin(IID). Após a etapa de mudança 36, o parâmetro ICC que tem o novo valor é, então, transferido para a etapa de downmix 34.

95. Na etapa de downmix 34, o sinal de downmix 20 e o sinal residual 22 são derivados dos canais 1 e r, dependendo dos parâmetros ICC e IID.

96. Finalmente, os parâmetros 23 (ICC e IID), o sinal de downmix 20 e o sinal residual 22 são disponibilizados como saída do procedimento de codificação.

97. A Figura 3 mostra uma outra configuração do dis-positivo de codificação de áudio inventivo 50 que compreende um codificador de áudio 10, uma unidade de processamento de sinal 51 tendo um primeiro compressor de áudio 52, um segundo compressor de áudio 54, e um compressor de parâmetro 56, e uma interface de saída 58.

98. Os componentes do codificador de áudio 10 já fo-ram discutidos nos parágrafos anteriores. Portanto, apenas aquelas partes do dispositivo codificador de áudio 50 que estão estendendo o codificador de áudio 10 serão discutidas nos parágrafos a seguir.

99. O propósito geral da unidade de processamento de sinal 51 é comprimir o sinal de downmix 20, o sinal residual 22 e os parâmetros 23. Portanto, o sinal de downmix 20 é inserido no primeiro compressor de áudio 52, o sinal residual 22 é inserido no segundo compressor de áudio 54 e os parâmetros espaciais 23 são inseridos no compressor de parâmetro 56. O primeiro compressor de áudio 52 provê um primeiro fluxo de bits de áudio 60, o segundo compressor de áudio 54 provê um segundo fluxo de bits de áudio 62 e o compressor de parâmetro 56 provê um fluxo de bit de parâmetro 64. O primeiro e o segundo fluxo de bits de áudio (60, 62) e o fluxo de bits de áudio de parâmetro 64 são, então, usadas como entradas da interface de saída, que combinam as três correntes de bit (60, 62, 64) para prover um fluxo de bits combinada 66, que é a saída do dispositivo de codificação 50.

100. A combinação executada pela interface de saída 58 poderia, por exemplo, ser uma multiplexação simples das três cor-rentes de bit que estão entrando. Adicionalmente, qualquer tipo de combinação que conduza a um fluxo de bits de saída única 66 é possível. O manuseio de um fluxo de bits única é muito mais conveniente, tal como streaming através da internet ou outros links de dados.

101. Em outras palavras, a Figura 3 ilustra um codifi-cador que toma um sinal de áudio de dois canais, compreendendo os canais 1, r como entrada e gera um fluxo de bits que permite deco- dificação por um decodificador estéreo paramétrico. O downmix adaptativo toma o sinal de dois canais 1, r e gera um downmix mono m e um sinal residual s. Estes sinais podem, então, ser codifica-dos pelos codificadores de áudio perceptuais para produzir correntes de bits de áudio compactas. A estimativa de parâmetro estéreo paramétrico (PS) toma o sinal de dois canais 1, r como entrada e gera um conjunto de parâmetros PS. O limitador de instabilidade modifica os parâmetros PS que controlam o downmix adaptativo. O bloco de codificação produz a informação de lado estéreo paramétrico(informação de lado PS) a partir da saída não modificada da estimativa de parâmetro PS. O multiplexador combina todos os dados codificados para formar uma corrente de dados combinada.

102. Uma das principais vantagens do conceito de codi-ficação inventivo é que ele é totalmente compatível retroativamente com decodificadores estéreo paramétricos da técnica anterior. Para ilustrar isto, a Figura 4 mostra um decodificador estéreo paramétricoda técnica anterior.

103. O decodificador estéreo paramétrico 70 compreende uma interface de entrada 72, um decodificador de áudio 74, um de- codificador de parâmetro 76, e um dispositivo de upmix 78.

104. A interface de entrada 72 recebe um fluxo de bits combinada 80 conforme produzida a partir do codificador de áudio inventivo 50. A interface de entrada 72 do decodificador estéreo paramétrico da técnica anterior 70 não reconhece o sinal residual 22 e, portanto, extrai apenas o sinal de downmix 60 (primeiro flu- xo de bits de áudio 60 da Figura 3) e o fluxo de bits de parâmetro 64 do fluxo de bits de entrada 80. O decodificador de áudio 74 é o dispositivo complementar ao primeiro compressor de áudio 52 e o decodificador de parâmetro 76 é o dispositivo complementar ao compressor de parâmetro 56. Portanto, o fluxo de bits de áudio 60 é decodificada no sinal de downmix 20 e o fluxo de bits de parâmetro 64 é decodificada nos parâmetros espaciais 23. Visto que os parâmetros espaciais 23 foram transferidos diretamente e não foram processados adicionalmente pelo codificador inventivo 10 ou 50, um dispositivo de upmix da técnica anterior 78 pode reconstruir um canal esquerdo e um canal direito, construindo um sinal de saída 80 do sinal de downmix 20 usando os parâmetros espaciais 23.

105. Em outras palavras, a Figura 4 ilustra um decodi- ficador estéreo paramétrico que toma um fluxo de bits compatível, conforme gerada pelo dispositivo de codificação inventivo 50 como a entrada e gera o sinal de áudio estéreo compreendendo os canais 1 e r, sem usar ou sem acessar a parte do fluxo de bits que des-creve o sinal residual. Primeiramente, um desmultiplexador toma o fluxo de bits compatível como entrada e a decompõe em um fluxo de bits de áudio e na informação de lado PS. O decodificador de áudio perceptual produz um sinal mono m, e a informação de lado PS é decodificada em parâmetros PS. A síntese PS converte o sinal mono nos sinais esquerdo e direito 1 e r de acordo com os parâmetros PS, em especial pela adição de um sinal descorrelacionado de modo a reter a correlação de canal dos canais estéreo originais.

106. A Figura 5 mostra um codificador de áudio de ca-naismúltiplos 100 que codifica um sinal de áudio de 6 canais em um downmixestéreo e uma série de conjuntos de parâmetros.

107. O codificador de áudio de canais múltiplos 100 compreende um primeiro codificador adaptativo 102, um segundo co-dificador adaptativo 104, módulo de estimativa 106, um extrator de parâmetro 108, e um dispositivo de downmix de 3 para 2 110.

108. O primeiro codificador adaptativo 102 e o segundo codificador adaptativo 104 são configurações de um codificador inventivo 10. O sinal de entrada de 6 canais possui um canal frontal esquerdo 112a, um canal traseiro esquerdo 112b, um canal frontal direito 114a, um canal traseiro direito 114b, um canal central 116a, um canal de aprimoramento de baixa freqüência 116b. O canal frontal esquerdo 112a e o canal traseiro esquerdo 112b são inseridos no primeiro codificador adaptativo 102 que provê um primeiro sinal de downmix 118a, o sinal residual correspondente 118b e parâmetros espaciais 118c. O canal frontal direito 114a e o canal traseiro direito 114b são inseridos no segundo codificador adapta- tivo 104, que provê um segundo sinal de downmix 120a, o sinal residual correspondente 120b, e os parâmetros espaciais subjacentes 120c. O canal central 116a e o canal de aprimoramento de baixa freqüência 116b são inseridos no módulo de soma 106, que adiciona os sinais para criar um sinal mono 122a e parâmetros espaciais correspondentes 122b.

109. O dispositivo de downmix de 3 para 2 110 recebe os sinais de downmix 118a, 120a, e 122a para fazer o downmixdestes em um sinal de saída estéreo 124 que tem um canal esquerdo e um canal direito. O dispositivo de downmix de 3 para 2 provê adicionalmente um sinal residual 126 dos canais de entrada 118a, 120a, e 122a. Além disso, o dispositivo de downmix de 3 para 2 110 provê um conjunto de parâmetros 128 dos conjuntos de parâmetro 118b, 120b, e 122b.

110. Resumindo, a Figura 5 ilustra uma parte de um codificador de áudio espacial que toma como entrada um sinal de áudio de canais múltiplos no formato 5.1, compreendendo os canais Lf(frontal esquerdo), Lr (surround esquerdo), Rf (frontal direito), Rr (surround direito), C (central) e LFE (eficiente de baixa fre- qüência), e que cria um downmixestéreo, compreendendo L0 e R0, e uma série de conjuntos de parâmetros. Não são mostradas nesta fi-gura as transformações de tempo para freqüência, a codificação dos sinais de downmix e parâmetros, e a multiplexação da informação codificada em um fluxo de bits que pode ser decodificada por umdecodificador de áudio espacial correspondente. O downmix adapta- tivo toma como entrada os sinais Lf e Lr e produz um sinal mono Le um sinal residual L. A estimativa de parâmetro estéreo (PS) pa-ramétrico toma o sinal de dois canais Lf e Lr como a entrada e ge-ra um conjunto de parâmetros PS. O limitador de instabilidade mo-difica os parâmetros PS que controlam o downmix adaptativo. De umamaneira similar, o downmix adaptativo toma como entrada os sinaisRf e Rr e produz um sinal mono R e um sinal residual R. A estimativa de parâmetro estéreo (PS) paramétrico toma o sinal de dois canais Rf e Rr como entrada e gera um conjunto de parâmetros PS. Olimitador de instabilidade modifica os parâmetros PS que controlam o downmix adaptativo. O módulo de soma adiciona os sinais C e LFEpara criar um sinal mono C. A estimativa de parâmetro estéreo (PS) paramétrico toma o sinal de dois canais C e LFE como entrada e ge-ra um conjunto de parâmetros IID, um subconjunto de parâmetros PS.Os sinais mono L, R e C são misturados a um sinal estéreo (Lo e Ro) e a um sinal residual Eo por um módulo de 3 para 2. O módulo de 3 para 2 também envia um conjunto de parâmetros (Lo, Ro).

111. A Figura 6 descreve um decodificador de áudio inventivo 140, compreendendo um dispositivo de upmix 142, e um limitador 144.

112. O decodificador inventivo 140 recebe um sinal de downmix 146, um sinal residual 148 e parâmetros espaciais 150. O sinal de downmix 146 e o sinal residual 148 são inseridos no dis-positivo de upmix 142, enquanto os parâmetros espaciais 150 são inseridos no limitador 144. O limitador 144 limita os parâmetros espaciais 150 para prover parâmetros espaciais limitados 152.

113. É importante notar que o limitador está usando a mesma regra de limitação para prover os parâmetros limitados como o codificador correspondente durante o processo de codificação. Os parâmetros limitados são usados para controlar o processo de upmix no dispositivo de upmix 142 que provê um sinal estéreo 154 tendo um canal esquerdo e um canal direito a partir do sinal de downmix 146 e do sinal residual 148.

114. A Figura 7 mostra um diagrama de bloco que ilus-tra o princípio do decodificador inventivo. Em uma primeira etapa de limitação 160, os parâmetros espaciais recebidos ICC e IID são limitados. Isto é, é verificado se o parâmetro ICC recebido excede um parâmetro ICC mínimo ICCmin(IID). Se este for o caso, os parâmetros espaciais 150 (ICC e IID), um sinal de downmix recebido 146, e um sinal residual recebido 148 são transmitidos para a etapa de upmix 162. Se o parâmetro ICC não exceder o parâmetro ICC mínimo ICCmin (IID), uma etapa de limitação 164 é adicionalmente executada, onde o valor do parâmetro ICC é trocado pelo valor do parâmetro ICCmin(IID), tendo o efeito de que o valor de ICCmin(IID) é transmitido para a etapa de upmix 162.

115. Na etapa de upmix 162, um sinal estéreo 154 tendo um canal esquerdo e um canal direito é derivado do sinal de downmix 146 e do sinal residual 148, usando os parâmetros espaciais ICC e IID.

116. A Figura 8 mostra uma configuração adicional de um dispositivo de decodificação inventivo 180 que compreende um decodificador 140, uma unidade de processamento de sinal 182 tendo um primeiro decodificador de áudio 184, um segundo decodificador de áudio 186 e um decodificador de parâmetro 188. O dispositivo de decodificação 180 compreende ainda uma interface de entrada 190 para receber um fluxo de bits combinada 192, que é gerada por um dispositivo de codificação inventivo 50.

117. O fluxo de bits combinada 192 é decomposta pela interface de entrada 190 em um primeiro fluxo de bits de áudio 194a, um segundo fluxo de bits de áudio 194b e um fluxo de bits de parâmetro 196.

118. O primeiro fluxo de bits de áudio 194a é inserida no primeiro decodificador de áudio 185, o segundo fluxo de bits de áudio 194b é inserida no segundo decodificador de áudio 186, e o fluxo de bits de parâmetro 196 é inserida no decodificador de parâmetro 188. O sinal de downmix descomprimido 198 (m) e o sinal residual 200 (s) são inseridos no dispositivo de upmix 142 do de- codificador 140. Parâmetros espaciais 202 derivados pelo decodifi- cador de parâmetro 188 são inseridos no limitador 144 do decodifi- cador de áudio 140. A limitação dos parâmetros espaciais e o processo de upmixjá foram descritos dentro da descrição do decodifi- cador de áudio 140. Uma descrição detalhada pode ser obtida nos parágrafos correspondentes da descrição da Figura 6.

119. O dispositivo de decodificação inventivo 180 finalmente envia um sinal estéreo 204, tendo um canal esquerdo e um canal direito.

120. Em outras palavras, a figura 8 ilustra um decodi-ficador estéreo paramétrico que toma um fluxo de bits compatível como entrada e gera o sinal de áudio estéreo compreendendo os ca-nais 1 e r. Primeiramente, um desmultiplexador toma o fluxo de bits compatível como a entrada e a decompõe em duas correntes de bit de áudio e na informação de lado PS. Decodificadores de áudio perceptuais produzem um sinal mono m e um sinal residual s, res-pectivamente, e a informação de lado PS é decodificada nos parâmetros PS pelo decodificador de parâmetro. O limitador de instabilidade modifica os parâmetros PS. O dispositivo de upmix converte os sinais mono e residual nos sinais esquerdo e direito l e r por meio de uma matriz de rotação definida a partir dos parâmetros PS modificados pelo limitador de instabilidade.

121. A Figura 9 mostra um decodificador de áudio decanais múltiplos inventivo 210 compreendendo um primeiro decodifi- cador de dois canais 212, um segundo decodificador de dois canais 214, um módulo de síntese 216, e um módulo de 2 para 3 218.

122. A Figura 9 ilustra parte de um decodificador deáudio espacial que toma como entrada um sinal de áudio estéreo (compreendendo o Lo e Ro), um sinal residual Eo e um conjunto de parâmetros (Lo, Ro). O módulo de 2 para 3 218 produz três canaisde áudio L, R, e C a partir da entrada mencionada acima. O canal mono L e o canal residual L são convertidos por um primeiro deco-dificador de dois canais 211 nos sinais de saída Lf e Lr. O limi- tador de instabilidade modifica o conjunto de parâmetros PS L. Similarmente, o canal mono R e o canal residual R são convertidos por um segundo decodificador de dois canais 214 nos sinais de saída Rf e Rr. O limitador de instabilidade é igual àquele usado durante a geração do canal mono R e modifica o conjunto de parâmetros PS R. O módulo de síntese PS 216 toma o canal mono C e o conjunto de parâmetros C e gera os canais de saída C e LFE.

123. As Figuras 10 e 11 mostram uma solução alternativa para um codificador e um decodificador que evita o problema de instabilidade. A alternativa é baseada no uso dos parâmetros espaciais limitados como os parâmetros a serem codificados e transmitidos. Isto pode ser visto no codificador inventivo na Figura 10 que é baseado no dispositivo de codificação inventivo da Figura 3.

124. A Figura 10 mostra uma modificação de um codifi-cador inventivo já mostrado na Figura 3, com a diferença de que os parâmetros alimentados no codificador de parâmetro 56 são tomados em um ponto 300, isto é, após o processo de limitação. Isto é, os parâmetros limitados são codificados e transmitidos em vez dos parâmetros originais.

125. No lado do decodificador mostrado na Figura 11, é mostrada a modificação de que o limitador pode ser omitido se comparado com o dispositivo de decodificação 180. Portanto, o parâmetro espacial decodificado 310 é inserido diretamente no dispositivo de upmix 142 para prover o sinal estéreo 204.

126. As desvantagens desta solução se comparado com a colocação de limitadores de instabilidade conforme ensinado ante-riormente e mostrado nas figuras anteriores, são duas. Primeira-mente, a quantização dos parâmetros limitados moveria os rotadores mais para longe do que seria idealmente necessário. O tamanho do residual, portanto, seria, no geral, maior, conduzindo a uma perda no ganho de codificação para o método de codificação residual. Em segundo lugar, a compatibilidade retroativa a decodificadores estéreos paramétricos seria perdida. Em casos críticos, quando a correlação de canal do canal original é negativa, o decodificador não seria capaz de reproduzir esta correlação sem acesso ao sinal residual.

127. A Figura 12 está mostrando um transmissor ou gravador de áudio inventivo 330 que tem um codificador de áudio 50, uma interface de entrada 332 e uma interface de saída 334.

128. Um sinal de áudio pode ser suprido na interface de entrada 332 do transmissor/gravador 330. O sinal de áudio é codificado por um codificador inventivo 50 dentro do transmis- sor/gravador e a representação codificada é enviada na interface de saída 334 do transmissor/gravador 330. A representação codifi-cada pode, então, ser transmitida ou armazenada em um meio de ar-mazenagem.

129. A Figura 13 mostra um receptor inventivo ou re-produtor de áudio 340 tendo um decodificador de áudio inventivo 180, uma entrada de fluxo de bits 342, e uma saída de áudio 344.

130. Um fluxo de bits pode ser inserida na entrada 342 do receptor/reprodutor de áudio inventivo 340. O fluxo de bits, então, é decodificada pelo decodificador 180 e o sinal decodificadoé enviado ou reproduzido na saída 344 do receptor/reprodutor de áudio 340.

131. A Figura 14 mostra um sistema de transmissão compreendendo um transmissor inventivo 330, e um receptor inventivo 340.

132. A entrada de sinal de áudio na interface de en-trada 332 do transmissor 330 é codificada e transferida da saída 334 do transmissor 330 para a entrada 342 do receptor 340. O re-ceptor decodifica o sinal de áudio e reproduz ou envia o sinal de áudio em sua saída 344.

133. As configurações da presente invenção mencionadas e descritas acima são meramente ilustrativas dos princípios da presente invenção para a melhoria de codificação residual adapta- tiva. É entendido que modificações e variações dos arranjos e detalhes descritos aqui serão operandos para aqueles especializados na técnica. É objetivo, portanto, estar limitado apenas pelo escopo das reivindicações de patente iminente e não pelos detalhes específicos apresentados como descrição e explanação das configurações aqui mencionadas.

134. Embora as configurações da presente invenção descritas nas figuras acima sejam descritas usando principalmente uma nomenclatura usada para sinais estéreos, fica aparente que a presente invenção não está limitada a sinais estéreos, mas poderia ser aplicada a qualquer outro tipo de combinação de dois sinais de áudio como, por exemplo, é feito dentro dos codificadores e deco- dificadores de áudio de canais múltiplos mostrados na Figura 5 e Figura 9.

135. Usando um sistema de transmissão inventivo tendo um transmissor e um receptor, a transmissão entre o transmissor e o receptor pode ser obtida por vários meios. Isto pode ser, por exemplo, streaming pela internet ou por outros meios de rede, ar-mazenagem de um arquivo em um meio legível por computador e trans- ferência de mídia, diretamente conectando o transmissor e o receptor por um cabo ou conexão sem fio tal como LAN sem fio ou Bluetooth e qualquer outra conexão de dados imaginável.

136. Embora tenha sido descrito em detalhes que o pa-râmetro ICC apenas deve ser mudado para garantir uma matriz de upmix e downmixnão divergente, é também possível limitar ambos os parâmetros ICC e IID, de modo que nenhuma divergência ocorra. De forma mais geral, a aplicação do conceito inventivo pode também significar prover outros parâmetros espaciais e aplicar uma regra de limitação a estes parâmetros, garantindo um downmix e um upmix não divergentes.

137. As interfaces de saída e entrada nos codificado-res e decodificadores inventivos não estão limitadas apenas a mul- tiplexadores ou desmultiplexadores simples. Em uma variação mais sofisticada a interface de saída pode combinar as correntes de bits não apenas pela multiplexação destas, mas por qualquer outro meio, sendo possível mesmo tentar alguma codificação de entropia adicional para reduzir o tamanho da corrente de dados.

138. Dependendo de certos requisitos de implementação dos métodos inventivos, os métodos inventivos podem ser implemen-tados no hardware ou no software. A implementação pode ser execu-tada usando um meio de armazenagem digital, em especial um disco, DVD ou um CD tendo sinais de controle eletronicamente legíveis neles armazenados, que cooperem com um sistema de computador programávelde modo que os métodos inventivos sejam executados. De forma geral, a presente invenção é, portanto, um produto de um programa de computador com um código de programa armazenado em um transportadorlegível por máquina, o código do programa sendo operacional para executar os métodos inventivos quando o produto de programa de computador operar em um computador. Em outras palavras, os mé-todos inventivos são, portanto, um programa de computador tendo um código de programa para executar pelo menos um dos métodos inventivos quando o programa de computador estiver operando em um computador.

139. Embora a descrição anterior tenha sido mostrada e descrita especificamente com referência a configurações específicas desta, será entendido por aqueles com especialização na técnica que várias outras modificações na forma e detalhes podem ser efetuadas sem se afastar de seu espírito e escopo. Deve ser entendido que várias modificações podem ser efetuadas na adaptação de configurações diferentes sem se afastar dos conceitos amplos revelados aqui e abrangidos pelas reivindicações a seguir.

Claims

1. Codificador de áudio (10) para codificação de um sinal de áudio tendo pelo menos dois canais (18), caracterizado pelo fato de que compreende:um extrator de parâmetro (16) para derivar um parâmetro de coerência (ICC) descrevendo uma coerência entre um primeiro e um segundo canal de pelo menos dois canais e um parâmetro de nível (IID) descrevendo uma diferença de nível entre o primeiro e o segundo canal como parâmetros espaciais;um limitador (14) para limitar o parâmetro de coerência para derivar um parâmetro de coerência limitado, onde a limitação do parâmetro de coerência depende do parâmetro de nível e de um fator de escala, eum dispositivo de downmix (12) para derivar um um sinal de downmix (20) e um sinal residual (18)a partir do sinal de áudio usando uma regra de downmix que depende do parâmetro de coe-rência limitado.

2. Codificador de áudio (10), de acordo com a reivindicação 1, caracterizado pelo fato de que o extrator de pa-râmetro (16) é operacional para derivar múltiplos parâmetros espaciais para uma porção de tempo dada do sinal de áudio.

3. Codificador de áudio (10), de acordo com as reivindicações 1 ou 2, caracterizado pelo fato de que o limitador (14) é operativo para limitar o parâmetro de coerência tal que uma razão de intensidades entre o sinal de downmix (20) e pelo menos dois canais não excedam um limite predefinido.

4. Codificador de áudio (10), de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que uma regra limitadora do limitador (14) é tal que um limite inferior para o parâmetro de coerência ICC depende de um parâmetro de nível IDD e no fator de escala que depende de um fator de ganhopredefinido g0 como descrito pela expressão:

5. Codificador de áudio (10), de acordo com areivindicação 4, caracterizado pelo fato de que o fator de ganhopredefinido g0 é escolhido a partir do intervalo [1, 2].

6. Codificador de áudio (10), de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o dispositivo de downmix (12) é operacional para usar uma regra de downmix, de modo que o sinal de downmix (20) e o sinal residual (18) sejam derivados pela formação de uma combinação linear dos canais a partir dos pelo menos dois canais, onde os coeficientes da combinação linear dependem do parâmetro de coerência limitado.

7. Codificador de áudio (10), de acordo com a reivindicação 6, caracterizado pelo fato de que a regra de downmix é tal que a derivação do sinal de downmix (20) m e do sinal residual (18) s podem ser descritos pela equação a seguir, dependendo dos parâmetros limitados de coerência ICC, do parâmetro de nível IID, do primeiro canal l e do segundo canal r: m ^ z (1 + r) IDID2+1 + 2 - IID - ICC v 7

8. Codificador de áudio (10), de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que compreende ainda uma unidade de processamento de sinal (51) para processar ou transmitir o sinal de downmix (20), o sinal residual (18), e o parâmetro espacial para derivar um sinal de downmix processado, um sinal residual processado e parâmetros processados.

9. Codificador de áudio (10), de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de pro-cessamento de sinal (51) é operacional para derivar o sinal de downmix processado, o sinal residual processado, e os parâmetros processados tal que a derivação inclui uma compressão do sinal de downmix (20), do sinal residual (18) e dos parâmetros espaciais.

10. Codificador de áudio (10), de acordo com as reivindicações 8 ou 9, caracterizado pelo fato de que compreende ainda uma interface de saída (58) para prover a informação do si-nal de downmix processado (20), do sinal residual processado (18) e dos parâmetros espaciais processados.

11. Codificador de áudio (10), de acordo com a reivindicação 10, caracterizado pelo fato de que a interface de saída (58) é operacional para combinar o sinal de downmixproces-sado, o sinal residual processado e os parâmetros processados para derivar um fluxo de bits de saída que tem a informação do sinal de downmix processado, do sinal residual processado, e dos parâmetros processados.

12. Codificador de áudio (10), de acordo com a reivindicação 11, caracterizado pelo fato de que a interface de saída (58) é operacional para multiplexar o sinal de downmix pro- cessado, o sinal residual processado, e os parâmetros processados para prover o fluxo de bits de saída.

13. Codificador de áudio (10), de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fatode que pares múltiplos de canais são codificados, onde para cada par de canais de parâmetros espaciais, um sinal de downmix (20) e um sinal residual (18) é derivado.

14. Codificador de áudio (10), de acordo com a reivindicação 13, caracterizado pelo fato de que os pares múlti-plos de canais compreendem um canal frontal esquerdo, um canal traseiro esquerdo, um canal frontal direito, um canal traseiro direito, um canal de aprimoramento de baixa frequência e um canal central.

15. Decodificador de áudio (140) para decodificar um sinal de áudio codificado representando um sinal de áudio ori-ginal que tem pelo menos dois canais, o sinal de áudio codificado caracterizado pelo fato de ter um sinal de downmix e um sinal re-sidual assim como um parâmetro de coerência (ICC) que descreve uma inter-relação entre um primeiro e um segundo canal de pelo menos dois canais e um parâmetro de nível (IID) descrevendo uma diferença de nível entre o primeiro e o segundo canal como parâmetros espaciais, compreendendo:um limitador (144) para limitar o parâmetro de coerência para derivar um parâmetro de coerência limitado em que o limite do parâmetro de coerência depende do parâmetro de nível e do fator de escala; eum dispositivo de upmix (142) para derivar uma reconstrução do sinal de áudio original (154) a partir do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro de coerência limitado.

16. Decodificador de áudio (140) de acordo com a reivindicação 15, caracterizado pelo fato de que o limitador (144) é operacional para limitar múltiplos parâmetros de coerência para uma porção de tempo dada do sinal de áudio codificado correspondendo a um quadro no tempo do sinal de áudio original.

17. Decodificador de áudio (140), de acordo com as reivindicações 15 ou 16, caracterizado pelo fato de que o limi- tador (144) é operacional para limitar o parâmetro de coerência de modo que a relação das intensidades entre o sinal de downmix e pe- lo menos dois canais de um sinal de áudio original não excedam um limite predefinido.

18. Decodificador de áudio (140), de acordo com as reivindicações 15 a 17, caracterizado pelo fato de que a regra de limitação (144) é tal que um limite inferior para o parâmetro de coerência ICC depende do parâmetro de nível IID e do fator de escala que depende de um fator de ganho predefinido g0 como des-crito pela expressão:

19. Decodificador de áudio (140), de acordo com areivindicação 18, caracterizado pelo fato de que o fator de ganhopredefinido g0 é escolhido do intervalo [1,2].

20. Decodificador de áudio (140), de acordo comqualquer uma das reivindicação 15 a 19, caracterizado pelo fato de que o dispositivo de upmix (142)é operacional para usar uma regra de upmix, de modo que um primeiro canal reconstruído e um segundo canal reconstruído de pelo menos dois canais são derivados pela formação de uma combinação linear do sinal de downmix e do sinal residual, onde os coeficientes da combinação linear dependem do parâmetro de coerência limitado.

21. Decodificador de áudio (140), de acordo com a reivindicação 20, caracterizado pelo fato de que a regra de upmixé tal que a derivação do primeiro canal reconstruído l e do segundo canal reconstruído r a partir do sinal de downmix m e do sinal residual s dependem do parâmetro de coerência limitado ICC e do parâmetro de nível descrito pelas equações a seguir

22. Decodificador de áudio (140), de acordo comqualquer uma das reivindicações 15 a 21, caracterizado pelo fato de que compreende ainda uma unidade de processamento de sinal (182) para transmitir ou processar um sinal residual processado, um sinal de downmix processado e parâmetros processados para prover o sinal residual, o sinal de downmix, e os parâmetros espaciais.

23. Decodificador de áudio (140), de acordo com a reivindicação 22, caracterizado pelo fato de que a unidade de processamento de sinal (182) é operacional para derivar o sinal residual, o sinal de downmix, e os parâmetros espaciais de modo que a derivação do sinal residual, do sinal de downmix e dos parâmetros espaciais incluem descompressão do sinal residual processado, do sinal de downmix processado, e dos parâmetros processados.

24. Decodificador de áudio (140), de acordo com as reivindicações 22 ou 23, caracterizado pelo fato de que compreende ainda uma interface de entrada (190) para prover o sinal residual processado, o sinal de downmix processado e os parâmetros processados.

25. Decodificador de áudio (140), de acordo com a reivindicação 24, caracterizado pelo fato de que a interface de entrada (190) é operacional para decompor um fluxo de bits de en-tradaúnica para derivar o sinal residual processado, o sinal de downmix processado e os parâmetros processados.

26. Decodificador de áudio (140), de acordo com a reivindicação 25, caracterizado pelo fato de que a interface de entrada (190) é operacional para decompor o fluxo de bits de en-tradaúnica, de modo que a derivação do sinal residual processado, o sinal de downmix processado e os parâmetros processados incluem uma desmultiplexação do fluxo de bits de entrada.

27. Método para codificar um sinal de áudio tendo pelo menos dois canais, o método caracterizado pelo fato de que compreende:prover um parâmetro de coerência (ICC) descrevendo uma coerência entre um primeiro e um segundo canal de pelo menos dois canais e um parâmetro de nível (IID) descrevendo uma diferença de nível entre o primeiro e o segundo canal como parâmetros espaciais;limitar o parâmetro de coerência para derivar um parâmetro de coerência limitado, onde o limite do parâmetro de coerência depende do parâmetro de nível e de um fator de escala; ederivar um sinal de downmix e um sinal residual a partir do sinal de áudio usando uma regra de downmix que depende do parâmetro de coerência limitado.

28. Método para decodificar um sinal de áudio co-dificado que representa um sinal de áudio original caracterizado pelo fato de ter pelo menos dois canais, o sinal de áudio codifi-cado tendo um sinal de downmix, um sinal residual assim como um parâmetro de coerência (ICC) que descreve uma inter-relação entre um primeiro e um segundo canal de pelo dois canais e um parâmetro de nível (IID) que descreve um diferença de nível entre o primeiro e o segundo canal como parâmetros espaciais, método compreendendo:limitar o parâmetro de coerência para prover um parâmetro de coerência limitada, em que o limite do parâmetro de coerência depende do nível do parâmetro e de um fator de escala; eprover uma reconstrução do sinal de áudio original a partir do sinal de downmix e do sinal residual usando uma regra de upmix que depende do parâmetro de coerência limitado.

29. Transmissor ou gravador de áudio, caracteri-zado por possuir um codificador de áudio (10) como definido na reivindicação 1.

30. Receptor ou reprodutor de áudio, caracteriza-do pelo fato de possuir um decodificador de áudio (140) como definido na reivindicação 15.

31. Método de transmissão ou gravação de áudio, caracterizado por possuir um método para gerar um sinal codificado conforme definido na reivindicação 27.

32. Método de recepção ou reprodução de áudio, o método caracterizado pelo fato de ter um método para decodificar um sinal de áudio como definido na reivindicação 28.

33. Sistema de transmissão tendo um transmissor e um receptor; o transmissor sendo caracterizado por compreender um codificador de áudio (10) para codificar um sinal de áudio de acordo com qualquer uma das reivindicações 1 a 14; e o receptor compreendendo um decodificador de áudio (140) de acordo com qual-quer uma das reivindicações 15 a 26.

34. Método de transmissão e recepção, o método compreende: um método de transmissão caracterizado por compreender um método para codificar um sinal de áudio conforme reivindicação 27; e um método de recepção que compreende um método para decodificar um sinal de áudio codificado de acordo com a reivindicação 28.