BRPI0816557B1

BRPI0816557B1 - Codificação de áudio usando upmix

Info

Publication number: BRPI0816557B1
Application number: BRPI0816557-2A
Authority: BR
Inventors: Oliver Hellmuth; Juergen Herre; Leonid Terentiev; Andreas Hoelzer; Cornelia FALCH; Hilpert Johannes
Original assignee: Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V.
Priority date: 2007-10-17
Filing date: 2008-10-17
Publication date: 2020-02-18
Also published as: US20120213376A1; WO2009049895A9; KR101290394B1; RU2474887C2; KR20120004546A; JP2011501823A; US20090125313A1; US8280744B2; TW200926143A; CN101821799B; EP2076900A1; AU2008314029A1; CA2701457C; US8155971B2; RU2010114875A; JP5260665B2; KR101303441B1; CN101821799A; AU2008314029B2; BRPI0816556A2

Abstract

codificação de áudio usando upmix é descrito um método para a decodificação a sinal multi-áudio-objeto tendo um sinal de áudio de um primeiro tipo e um sinal de áudio de um segundo tipo nele codificado, o sinal multi-áudio-objeto consistindo de um sinal downmix (112) e informações auxiliares, as informações auxiliares compreendendo informações de nível do sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo na primeira resolução predeterminada de tempo/frequência, o método compreendendo a computação de uma matriz c de coeficientes de predição com base nas informações de nível (old); e fazer o upmix do sinal downmix baseado nos coeficientes de predição para obter um primeiro sinal de áudio de upmix aproximando o sinal de áudio do primeiro tipo e/ou um segundo sinal de áudio de upmix aproximando o sinal de áudio do segundo tipo, onde o upmix produz o primeiro sinal de upmix s1 e/ou o segundo sinal de upmix s2 do sinal downmix d de acordo com uma computação representável por (s1 e s2)= d-1 {(1 e c)d+h}, onde "1" indica - dependendo do número de canais de d - um escalar, ou uma matriz de identidade, e o- 1 é uma matriz exclusivamente determinada por uma indicação downmix de acordo com a qual o sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo são downmixados no sinal downmix, e que também é compreendida pelas informações auxiliares, e h é um termo independente de d.

Description

CODIFICAÇÃO DE ÁUDIO USANDO UPMIX

DESCRIÇÃO presente pedido se refere à codificação de áudio usando o upmixing de sinais.

Foram propostos muitos algoritmos de codificação de áudio para codificar ou comprimir efetivamente dados de áudio de um canal, isto é, sinais de áudio mono. Usando a psicoacústica, amostras de áudio são pesadas de forma adequada, quantificadas ou mesmo ajustadas em zero para remover a irrelevância, por exemplo, 10 do sinal de áudio PCM codificado. É também feita a remoção da redundância.

Como outra etapa, foi explorada a similaridade entre os canais esquerdo e direito dos sinais de áudio estéreo para efetivamente codificar/comprimir os sinais de áudio estéreo.

Entretanto, novas aplicações colocam outras demandas sobre os algoritmos de codificação de áudio. Por exemplo, na teleconferência, games de computador, desempenhos musicais e similares, vários sinais de áudio que são parcialmente ou até totalmente descorrelacionados devem ser transmitidos em paralelo.

Para manter a necessária taxa de bits para a codificação desses sinais de áudio suficientemente baixos para serem compatíveis com os aplicativos de transmissão com baixa taxa de bits, recentemente, foram propostos codecs de áudio que fazem o downmix dos múltiplos sinais de áudio de entrada em um sinal downmix, como 25 um downmix de sinal estéreo ou até mono. Por exemplo, o MPEG Surround padrão faz o downmix dos canais de entrada no sinal downmix da forma indicada no padrão. O downmix é feito com o uso dos denominados OTT'¹ e TTT¹ boxes para o downmix de dois sinais em um e de três sinais em dois, respectivamente. Para fazer o downmix de mais que três sinais, é usada uma estrutura hierárquica desses boxes. Cada OTT'¹ box produz, além do sinal downmix mono, diferenças de níveis de canais entre os dois canais de entrada, 5 assim como parâmetros de coerência intercanais/correlação cruzada representando a coerência ou a correlação cruzada entre os dois canais de entrada. Os parâmetros são produzidos juntamente com o sinal downmix do codificador MPEG Surround dentro do fluxo de dados MPEG Surround. De forma similar, cada TTT’¹ box transmite

10	coeficientes	de	predição	de	canais que permitem a	recuperação	dos
	três canais	de	entrada	do	sinal estéreo downmix	resultante.	. Os
	coeficientes	de	predição	de	canais também são transmitidos	como

informações auxiliares dentro do fluxo de dados do MPEG Surround.

decodificador MPEG Surround faz o upmix do sinal downmix usando as informações auxiliares transmitidas e recupera a entrada do canal original no codificador MPEG Surround.

Entretanto, o MPEG Surround, infelizmente, não preenche todos os requisitos exigidos por muitas aplicações. Por exemplo, o decodificador MPEG Surround é dedicado ao upmix do 20 sinal downmix do codificador MPEG Surround, de maneira que os canais de entrada do codificador MPEG Surround são recuperados no estado. Em outras palavras, o fluxo de dados MPEG Surround é dedicado a fazer o play back com o uso da configuração do altofalante que tiver sido usada para a codificação.

Entretanto, de acordo com algumas implicações, seria favorável se a configuração do alto-falante pudesse ser mudada no lado do decodificador.

Para a solução dessas últimas necessidades, é projetado no presente o padrão de codificação de objeto de áudio espacial (SAOC). Cada canal é tratado como um objeto individual, e todos os objetos são downmixados em um sinal downmix. Entretanto, além de os objetos individuais também poderem compreender fontes de som individuais como, por exemplo, trilhas de instrumentos ou vocais. Entretanto, diferindo do decodificador MPEG Surround, o decodificador SAOC é livre para fazer individualmente o upmix do sinal downmix e fazer o replay dos objetos individuais em qualquer configuração do alto-falante. Para permitir que o decodificador SAOC recupere os objetos individuais que tiverem sido codificados no fluxo de dados SAOC, diferenças de nível de objeto e, para objetos que formam em conjunto um sinal estéreo (ou multi-canal) , são transmitidos parâmetros inter-objetos de correlação cruzada como informações auxiliares dentro do fluxo de bits SAOC. Além disso, o decodificador/transcodificador SAOC é dotado de informações que revelam como os objetos individuais foram downmixados no sinal downmix. Assim, no lado do decodificador, é possível recuperar os canais SAOC individuais e submeter esses sinais em qualquer configuração do alto-falante utilizando as informações de submissão controladas pelo usuário.

Entretanto, apesar de o codec SAOC ter sido projetado para tratar individualmente os objetos de áudio, algumas aplicações são mais exigentes. Por exemplo, aplicações de Karaokê exigem uma separação completa do sinal de áudio de fundo do sinal de áudio de primeiro plano ou sinais de áudio de primeiro plano. Vice versa, no modo solo, os objetos de primeiro plano devem ser separados do objeto de fundo. Entretanto, devido ao igual tratamento dos objetos individuais de áudio, não foi possível remover completamente os objetos de fundo ou os objetos de primeiro plano, respectivamente, do sinal downmix.

Assim, é o objetivo da presente invenção prover um codec de áudio usando o downmix e o upmix de sinais de áudio, respectivamente, de forma a ser obtida uma melhor separação dos objetos individual como, por exemplo, em uma aplicação Karaokê de modo solo.

Esse objetivo é alcançado por um decodificador de

áudio, de	acordo	com	a reivindicação	1, um método	de	decodificação
de acordo	com a	reivindicação 19 e	um programa	de	acordo com a
reivindicação 20.
		Com	referência às	Figuras, .	as	configurações

preferidas do presente pedido são descritas em maiores detalhes. Entre essas Figuras:

A Fig. 1 mostra um diagrama de blocos de uma disposição codificador/decodificador SAOC onde podem ser implementadas as configurações da presente invenção;

A	Fig.	2 mostra um diagrama	esquemático e
ilustrativo de uma	representação espectral de um	sinal de áudio
mono ;
A	Fig.	3 mostra um diagrama de	blocos de um

decodificador de áudio de acordo com uma configuração da presente invenção;

A Fig. 4 mostra um diagrama de blocos de um codificador de áudio de acordo com uma configuração da presente invenção;

A Fig. 5 mostra um diagrama de blocos de um arranjo de codificador/decodificador de áudio para aplicação em modo Karaokê/solo, como configuração de comparação;

A Fig. 6 mostra um diagrama de blocos de um arranjo de codificador/decodificador de áudio para aplicação em modo Karaokê/solo de acordo com uma configuração;

A Fig. 7a mostra um diagrama de blocos de um codificador de áudio para uma aplicação de modo Karaokê/Solo, de acordo com uma configuração de comparação;

A Fig. 7b mostra um diagrama de blocos de um codificador de áudio para uma aplicação de modo Karaokê/Solo, de acordo com uma configuração;

As Figs. 8a e b mostram plotagens de resultados de medições de qualidade;

a Fig. 9 mostra um diagrama de blocos de um arranjo de codificador/decodificador de áudio para aplicação em modo Karaokê/solo, com propósitos de comparação;

a Fig. 10 mostra um diagrama de blocos de um arranjo de codificador/decodificador de áudio para aplicação em modo Karaokê/solo de acordo com uma configuração;

a Fig. 11 mostra um diagrama de blocos de um arranjo de codificador/decodificador de áudio para aplicação em modo Karaokê/solo de acordo com outra configuração;

a Fig. 12 mostra um diagrama de blocos de um arranjo de codificador/decodificador de áudio para aplicação em modo Karaokê/solo de acordo com outra configuração;

as Figs. 13a a h mostram tabelas que refletem uma possível sintaxe do fluxo de bits SAOC de acordo com uma configuração da presente invenção;

a Fig. 14 mostra um diagrama de blocos de um decodificador de áudio para uma aplicação de modo Karaokê/Solo, de acordo com uma configuração; e

A Fig. 15 mostra uma tabela que reflete uma possível sintaxe para a sinalização da quantidade de dados gastos para transferir o sinal residual.

Antes que as configurações da presente invenção sejam descritas abaixo em maiores detalhes, o codec SAOC e os parâmetros SAOC transmitidos em um fluxo de bits SAOC são apresentados para facilitar a compreensão das configurações específicas ressaltadas abaixo em maiores detalhes.

A Fig. 1 mostra um arranjo geral de um codificador SAOC 10 e de um decodificador SAOC 12. O codificador SAOC 10 recebe como entrada N objetos, isto é, sinais de áudio 14_x a 14_N. Em particular, o codificador 10 compreende um downmixer 16 que recebe os sinais de áudio 14_x a 14_N e faz o downmix desses em um sinal downmix 18. Na Fig. 1, o sinal downmix é mostrado de forma exemplar como um sinal estéreo downmix. Entretanto, é também possível um sinal downmix mono. Os canais do sinal estéreo downmix 18 são indicados como L0 e R0, no caso de um mono downmix do mesmo ser simplesmente indicado como L0. Para permitir que o decodificador SAOC 12 recupere os objetos individuais 14_x a 14_N, o downmixer 16 fornece ao decodificador SAOC 12 as informações auxiliares, incluindo os parâmetros SAOC com as diferenças de nivel de objeto (OLD), parâmetros inter-objetos de correlação cruzada (IOC), valores de ganho downmix (DMG) e diferenças de níveis de canais downmix (DCLD). As informações auxiliares 20 incluindo os parâmetros SAOC, junto com o sinal downmix 18, formam o fluxo de dados de saída SAOC recebido pelo decodificador SAOC 12.

decodificador SAOC 12 compreende um upmixer 22 que recebe o sinal downmix 18 assim como as informações auxiliares 20 para recuperar e submeter os sinais de áudio 14! e 14_N em qualquer conjunto selecionado de usuários de canais 24i a 24_M, com o rendering sendo indicado pelas informações de rendering 26 enviadas para o decodificador SAOC 12.

Os sinais de áudio 14i a 14_N podem ser enviados ao downmixer 16 em qualquer domínio de codificação como, por exemplo, em domínio de tempo ou espectral. No caso, os sinais de áudio 14! a 14_n são enviados ao downmixer 16 no domínio de tempo, como codificado PCM, o downmixer 16 usa um banco de filtros, como um banco QMF híbrido, isto é, um banco de filtros de modulação exponencialmente complexa com uma extensão de filtros Nyquist para as bandas de frequências mais baixas para aí aumentar a resolução das frequências, para transferir os sinais no domínio espectral em que os sinais de áudio são representados em várias sub-bandas associadas a diferentes porções espectrais, em uma resolução específica de banco de filtros. Se os sinais de áudio 14i a 14_N já estiverem na representação esperada pelo downmixer 16, este não precisa realizar a decomposição espectral.

A Fig. 2 mostra um sinal de áudio no recém mencionado domínio espectral. Como pode ser visto, o sinal de áudio é representado como uma pluralidade de sinais de sub-banda. Cada sinal de sub-banda 3Ch a 30_P consiste de uma sequência de valores de sub-banda indicados pelos pequenos boxes 32. Como pode ser visto, os valores de sub-banda 32 dos sinais de sub-bandas 30i a 30_P são sincronizados entre si em tempo, de forma que para cada um dos slots de tempo do banco de filtros consecutivos 34 cada sub-banda 30j a 30_P compreende exatamente um valor de sub-banda 32. Como ilustrado pelo eixo de frequências 36, os sinais de subbandas 30i a 30_P estão associados a diferentes regiões de frequência, e como ilustrado pelo eixo do tempo 38, os slots de

tempo do banco de	filtros 34	são	dispostos	de forma	consecutiva	no
tempo.	Como	acima	ressaltado, o	downmixer	16	computa	os
parâmetros SAOC	dos	sinais	de	áudio de	entrada	14i	a 14_N.	0

downmixer 16 faz esta computação em uma resolução tempo/frequência que pode ser reduzida com relação à resolução tempo/frequência original como determinada pelos slots de tempo do banco de filtros 34 e pela decomposição de sub-banda de um certo valor, com este certo valor sendo sinalizado para o lado do decodificador dentro das informações auxiliares 20 pelos respectivos elementos de sintaxe bsFrameLength e bsFreqRes. Por exemplo, grupos de slots de tempo do banco de filtros consecutivos 34 podem formar um quadro 40. Em outras palavras, o sinal de áudio pode ser dividido em quadros que se sobrepõem no tempo ou que sejam imediatamente adjacentes no tempo, por exemplo. Neste caso, bsFrameLength pode definir um número de slots paramétricos de tempo 41, isto é, a unidade de tempo em que os parâmetros SAOC como OLD e IOC, são computados em um quadro SAOC 40 e bsFreqRes pode definir o número de bandas processadoras de frequência para as quais os parâmetros SAOC são computados. Por essa medição, cada quadro é dividido nos tijolos tempo/frequência exemplificados na Fig. 2 pelas linhas tracejadas 42.

O downmixer 16 calcula os parâmetros SAOC de acordo com as seguintes fórmulas. Em particular, o downmixer 16 computa diferenças de nível de objeto para cada objeto i como

OLD, =

LEW n kem__________ max

ΣΣ<*<'*^? \ n kern J onde as somas os índices respectivamente, passam por todos os slots de tempo do banco de filtros 34 todas as sub-bandas de banco de filtros que pertencem a determinado tijolo tempo/frequência 42. Portanto, as energias de todos os valores de sub-banda Xi de um sinal ou objeto de áudio i são somadas e normalizadas no maior valor de energia daquele tijolo entre todos os objetos ou sinais de áudio.

Além disso, o downmixer SAOC 16 pode computar uma medida de similaridade dos correspondentes tijolos tempo/frequência de pares de diferentes objetos de entrada 14i a 14_n. Apesar de o downmixer SAOC 16 poder computar a medida de similaridade entre todos os pares de objetos de entrada 14i a 14_N, o downmixer 16 também pode suprimir a sinalização das medidas de similaridade ou restringir a computação das medidas de similaridade a objetos de áudio 14i a 14_N que formam os canais esquerdo e direito de um canal estéreo comum. Em qualquer caso, a medida de similaridade é denominada de parâmetro de correlação cruzada inter-objetos IOCí,j. A computação é a seguinte:

= IOC.,

novamente com os índices n e k percorrendo todos os valores de sub-banda que pertencem a um determinado tijolo tempo/frequência 42, e i e j indicando um determinado par de objetos de áudio 14i a 14_N.

downmixer 16 faz o downmix dos objetos 14i a 14_Nusando os fatores de ganho aplicados a cada objeto 14χ a 14_N. Isto é, um fator de ganho Dj é aplicado ao objeto i e então todos os objetos assim pesados 14; a 14_N são somados para obter um sinal downmix mono. No caso de um sinal estéreo downmix, caso exemplificado na Fig. 1, é aplicado um fator de ganho D_lzi ao objeto i e então todos esses objetos amplificados de ganho são somados para obter o canal downmix esquerdo L0, sendo o fator de ganhos D₂,í aplicado ao objeto i e então os objetos de ganho amplificado são somados para obter o canal downmix direito RO.

Essa indicação downmix é sinalizada para o lado do decodificador por meio de ganhos downmix DMGi e, no caso de um sinal estéreo downmix, as diferenças de níveis de canais downmix DCLDi.

Os ganhos downmix são calculados de acordo com: DMG. = 201og₁₀ (£>, _+ff), (mono downmix),

DMG.= 101og₁₀ (Z),²+ D/.. + £), (estéreo downmix), onde ε é um pequeno número como 10 ⁹.

Para o DCLD aplica-se a seguinte fórmula:

DCLD_I = 201og₁₀

< ^D2,i + ^£ ,

No modo normal, o downmixer 16 gera o sinal downmix de acordo com:

para um mono downmix, ou

Í L0} (D.

( Obj_} ^obJ_N J para um estéreo downmix, respectivamente.

Assim, nas formulas supramencionadas, os parâmetros OLD e IOC são uma função dos sinais de áudio e os parâmetros DMG e DCLD são uma função de D. Aliás, deve-se notar que D pode variar com o tempo.

Assim, no modo normal, o downmixer 16 faz a mixagem todos os objetos 14! a 14_N sem preferências, isto é, tratando igualmente todos os objetos 14i a 14_N.

O upmixer 22 faz a inversão do procedimento downmix e a implementação das informações de rendering representadas pela matriz A em uma etapa de computação, isto é,

= AED~' (DEO-' ) 'L0' onde a matriz E é uma função dos parâmetros OLD e

IOC.

Em outras palavras, no modo normal, não é feita nenhuma classificação dos objetos 14_x a 14_N em BGO, isto é, objeto de fundo, ou FGO, isto é, objeto de primeiro plano. As informações com as quais o objeto será apresentado na saída do upmixer 22 devem ser fornecidas pela matriz de rendering A. Se, por exemplo, um objeto de índice 1 for o canal esquerdo de um objeto estéreo de fundo, o objeto com índice 2 seria seu canal direito, e o objeto com índice 3 seria o objeto de primeiro plano, então a matriz de rendering A seria.

Obj_} Ί

Obj₂

S>^bh, 'bgo, ' bgo_r <^FGO, /10 0 <0 1 Oj para produzir um sinal de saída do tipo Karaokê.

Entretanto, como já indicado acima, a transmissão de BGO e FGO com o uso desse modo normal do codec SAOC não alcança resultados aceitáveis.

As

Figs. 3 e 4, descrevem uma configuração da presente invenção que supera a deficiência descrita. O decodificador e o codificador descritos nessas Figs. e suas funcionalidades associadas podem representar um modo adicional como um modo ampliado no qual o codec SAOC da Fig. 1 pudesse ser comutável. Serão posteriormente apresentados os exemplos da última possibilidade.

A Fig. 3 mostra um decodificador 50. 0 decodificador 50 compreende meios 52 para computar os coeficientes de predição e os meios 54 para fazer o upmix de um sinal downmix.

O decodificador de áudio 50 da Fig. 3 é dedicado à decodificação de um sinal multi-áudio-objeto tendo um sinal de áudio de um primeiro tipo e um sinal de áudio de um segundo tipo neles codificado. O sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo podem ser um sinal de áudio mono ou estéreo, respectivamente. O sinal de áudio do primeiro tipo, por exemplo, é um objeto de fundo, considerando que o sinal de áudio do segundo tipo é um objeto de primeiro plano. Isto é, a configuração da Fig. 3 e da Fig. 4 não está necessariamente restrita a aplicações de Karaokê/Solo. Em vez disso, o decodificador da Fig. 3 e o codificador da Fig. 4 podem ser usados com vantagens em outros locais.

O sinal multi-áudio-objeto consiste de um sinal downmix 56 e das informações auxiliares 58. As informações auxiliares 58 compreendem informações de nível 60 descrevendo, por exemplo, as energias espectrais do sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo na primeira resolução predeterminada de tempo/frequência como, por exemplo, a resolução tempo/frequência 42. Em particular, as informações de nível 60 podem compreender uma um valor escalar normalizado da energia espectral por objeto e tijolo tempo/frequência. A normalização pode estar relacionada com o maior valor da energia espectral entre os sinais de áudio do primeiro e o segundo tipo no respectivo tijolo tempo/frequência. A última possibilidade resulta em OLDs para representar as informações de nivel, também denominados na presente de informações de diferenças de nivel. Apesar de as seguintes configurações usarem OLDs, estas podem, apesar de não declarado explicitamente na presente, usar outra representação de energia espectral normalizada.

As informações auxiliares 58 compreendem opcionalmente um sinal residual 62 especificando valores de nivel residual na segunda resolução predeterminada de tempo/frequência que podem ser iguais ou diferentes à da primeira resolução predeterminada de tempo/frequência .

Os meios 52 para a computação de coeficientes de predição são configurados para computarem os coeficientes de predição com base nas informações de nível 60. Além disso, os meios 52 podem computar os coeficientes de predição ainda baseados nas informações de intercorrelação também compreendidas pelas informações auxiliares 58. Mais ainda, os meios 52 podem usar informações de indicação downmix com variação de tempo, compreendidas pelas informações auxiliares 58 para a computação dos coeficientes de predição. Os coeficientes de predição computados pelos meios 52 são necessários para a recuperação ou o upmixing dos objetos de áudio originais ou dos sinais de áudio do sinal downmix 56.

Assim, os meios 54 para o upmixing são configurados para fazer o upmix do sinal downmix 56 com base nos coeficientes de predição 64 recebidos dos meios 52 e, opcionalmente, do sinal residual 62. Ao usar o residual 62, o decodificador 50 pode até melhor suprimir conversas cruzadas do sinal de áudio de um tipo para o sinal de áudio do outro tipo. Os meios 54 também podem usar a indicação downmix de variação de tempo para fazer o upmix do sinal downmix. Além disso, os meios 54 para upmixing podem usar a entrada do usuário 66 para decidir quais dos sinais de áudio recuperados do sinal downmix 56 devem ser realmente enviados ou que em volume para a saída 68. Como um primeiro extremo, a entrada de usuário 66 pode instruir os meios 54 a simplesmente enviarem o primeiro sinal de upmix aproximando o sinal de áudio do primeiro tipo. O oposto é verdade para o segundo extremo de acordo com quais meios 54 devem somente enviar o segundo sinal de upmix aproximando o sinal de áudio do segundo tipo. São possíveis opções intermediárias, assim como, de acordo

com qual mistura de	ambos os	sinais	upmix é	submetida para envio
para a saída 68.
A	Fig. 4	mostra	uma	configuração	de um
codificador de áudio	adequado	para a	geração	de um sinal de	objeto

multi-áudio decodificado pelo decodificador da Fig. 3. O codificador da Fig. 4 que é indicado pelo sinal de referência 80, pode compreender meios 82 para decompor espectralmente no caso em que os sinais de áudio 84 a serem codificados não estejam no domínio espectral. Entre os sinais de áudio 84, por sua vez, há pelo menos um sinal de áudio de um primeiro tipo e pelo menos um sinal de áudio de um segundo tipo. Os meios 82 para a decomposição espectral são configurados para decompor espectralmente cada um desses sinais 84 em uma representação como mostrada na Fig. 2, por exemplo. Isto é, os meios 82 para a decomposição espectral decompor espectralmente os sinais de áudio 84 na resolução predeterminada de tempo/frequência. Os meios 82 podem compreender um banco de filtros, como um banco QMF híbrido.

codificador de áudio 80 ainda compreende meios 86 para a computação das informações de nível, e meios 88 para o downmixing, e, opcionalmente, meios 90 para a computação dos coeficientes de predição e meios 92 para o estabelecimento de um sinal residual. Além disso, o codificador de áudio 80 pode compreender meios para a computação das informações de intercorrelação, isto é, dos meios 94. Os meios 86 computam as informações de nível que descrevem o nível do sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo na primeira resolução predeterminada de tempo/frequência do sinal de áudio como enviada opcionalmente pelos meios 82. De forma similar, os meios 88 fazem o downmix dos sinais de áudio. Os meios 88, portanto, enviam o sinal downmix 56. Os meios 86 também enviam as informações de nível 60. Os meios 90 para a computação dos coeficientes de predição atuam de forma similar aos meios 52. Isto é, coeficientes de predição das os computam os meios informações de nível 60 e enviam os coeficientes de predição 64 para os meios 92. Os meios 92, por sua vez, estabelecem o sinal residual 62 com base no sinal downmix 56 nos coeficientes de predicação 64 e nos sinais originais de áudio na segunda resolução predeterminada de tempo/frequência, de maneira que o upmixing do sinal downmix 56 com base em ambos os coeficientes de predição 64 e no sinal residual 62 resulta em um primeiro sinal de áudio de upmix aproximando o sinal de áudio do primeiro tipo e o segundo sinal de áudio upmix aproximando o sinal de áudio do segundo tipo, 10 a aproximação sendo aprovada quando comparada à ausência do sinal residual 62.

O sinal residual 62, caso presente, e as informações de nível 60, são compreendidos pelas informações auxiliares 58 que formam, junto com o sinal downmix 56, o sinal 15 multi-áudio-objeto a ser decodificado pelo decodificador Fig. 3.

Como mostrado na Fig. 4, e de forma análoga à descrição da Fig. 3, os meios 90 - caso presentes - também podem usar a saída de informações de intercorrelação pelos meios 94 e/ou a saída da indicação downmix de variação de tempo pelos meios 88 20 para computarem o coeficiente de predição 64. Além disso, os meios para o estabelecimento do sinal residual 62 - caso presentes também podem usar a saída da indicação downmix de variação de tempo pelos meios 88 para estabelecer aproximadamente o sinal residual 62.

Novamente, nota-se que o sinal de áudio do primeiro tipo pode ser um sinal de áudio mono ou estéreo. O mesmo se aplica para o sinal de áudio do segundo tipo. O sinal residual é opcional. Entretanto, caso presente, pode ser sinalizado dentro das informações auxiliares na mesma resolução tempo/frequência que o parâmetro resolução tempo/frequência usado para computar, por exemplo, as informações de nível, ou pode ser usada uma diferente resolução tempo/frequência. Além disso, pode ser possível que a sinalização do sinal residual esteja restrita a uma sub-porção da faixa espectral ocupada pelo tijolo tempo/f requências 42 para o qual as informações de nível são sinalizadas. Por exemplo, a resolução tempo/frequência em que o sinal residual está sinalizado, pode ser indicada dentro das informações auxiliares 58 com o uso de elementos de sintaxe bsResidualBands e bsResidualFramesPerSAOCFrame. Esses dois elementos de sintaxe podem definir outra subdivisão de um quadro no tijolo tempo/frequências além da subdivisão que leva aos tijolos 42.

Aliás, nota-se que o sinal residual 62 pode ou não refletir a perda das informações que resultam de um codificador núcleo potencialmente usado 96, usado opcionalmente para codificar o sinal downmix 56 pelo codificador de áudio 80. Como mostrado na Fig. 4, os meios 92 podem fazer o ajuste do sinal residual 62 com base na versão do sinal downmix reconstruivel a partir da saída do codificador núcleo 96 ou a partir da entrada da versão no codificador núcleo 96' . De forma similar, o decodificador de áudio 50 pode compreender um decodificador núcleo 98 para decodificar ou descomprimir o sinal downmix 56.

A capacidade de ajustar, dentro do sinal múltiplo-áudio-objeto, a resolução tempo/frequência usada para o sinal residual 62 diferente da resolução tempo/frequência usada para computar as informações de nível 60, permitem obter um bom compromisso entre a qualidade do áudio por um lado e taxa de compressão do sinal múltiplo-áudio-objeto por outro lado. Em qualquer caso, o sinal residual 62 permite a melhor supressão das conversas cruzadas de um sinal de áudio para outro dentro do primeiro e do segundo sinais upmix a serem enviados para a saída 68 de acordo com a entrada de usuário 66.

Como ficará claro a partir da seguinte configuração, mais de um sinal residual pode ser transmitido dentro das informações auxiliares no caso em que esteja codificado mais de um objeto de primeiro plano ou sinal de áudio do segundo tipo. As informações auxiliares podem permitir uma decisão individual sobre se um sinal residual 62 é transmitido para um sinal de áudio específico de um segundo tipo ou não.

Assim número de sinais residuais pode variar entre um e número de sinais de áudio do segundo tipo.

No decodificador de áudio da Fig. 3 os meios para computação podem ser configurados para computar a matriz C de coeficientes de predição que consiste dos coeficientes de predição baseados nas informações de nível (OLD) e os meios 56 podem ser configurados para produzir o primeiro sinal de upmix Si segundo sinal de upmix S₂ do sinal downmix de acordo com a computação representável por

S. j . í 1 j ¹ =ΖΓΊ \d + H sj RcJ de d onde 1” indica dependendo do um escalar, ou uma matriz de identidade, e exclusivamente determinada pela indicação downmix número de

D'¹ de canais é uma matriz acordo com a qual o sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo são downmixados no sinal downmix, e que também é compreendido pelas informações auxiliares, e H é um termo independente de d, mas dependente d, caso este esteja presente.

Como notado acima e descrito melhor abaixo, a indicação downmix pode variar no tempo e/ou pode variar espectralmente dentro das informações auxiliares. Se o sinal de áudio do primeiro tipo for um sinal de áudio estéreo tendo um primeiro (L) e um segundo canal de entrada (R) , as informações de nível, por exemplo, descrevem as energias espectrais normalizadas do primeiro canal de entrada (L), do segundo canal de entrada (R) e do sinal de áudio do segundo tipo, respectivamente, na resolução tempo/frequência 42.

A computação mencionada de acordo com a qual os meios para upmix fazem o upmix, também podem ser representados por = D~' d+H\, onde L é um primeiro canal do primeiro sinal de upmix aproximando L e R é um segundo canal do primeiro sinal de upmix, aproximando R, e é um escalar, no caso d é mono, e a matriz de identidade 2x2, no caso d, é estéreo. Se o sinal downmix é um sinal de áudio estéreo tendo canal de saída (RO), e a computação um primeiro (LO) e um segundo de acordo com a qual os meios para upmix fazem o upmix podem ser representados por

S₂

Até onde o termo H é dependente do sinal residual res, a computação de acordo com a qual os meios 56 para upmix realiza o upmix pode ser representável por fM_=zrp θΥ^Ί

J I^C 1 Yres J

O sinal multi-áudio-objeto pode até compreender uma pluralidade de sinais de áudio do segundo tipo e as informações auxiliares podem compreender um sinal residual por sinal de áudio do segundo tipo. Um parâmetro de resolução residual pode estar presente nas informações auxiliares, definindo uma faixa espectral na qual o sinal residual é transmitido dentro das informações auxiliares. Pode até definir um limite inferior e um limite superior da faixa espectral.

Além disso, o sinal multi-áudio-objeto também pode compreender informações de rendering espacial para fazer o render espacial do sinal de áudio do primeiro tipo em uma configuração predeterminada do alto-falante. Em outras palavras, o sinal de áudio do primeiro tipo pode ser um sinal MPEG Surround multicanais (mais de dois canais) onde é feito o downmix até estéreo.

A seguir, serão descritas configurações que usam a sinalização do sinal residual acima. Entretanto, nota-se que o termo objeto é geralmente usado com duplo sentido. Algumas vezes, um objeto indica um sinal individual de áudio mono. Assim, um objeto estéreo pode ter um sinal de áudio mono formando um canal de um sinal estéreo. Entretanto, em outras situações, um objeto estéreo pode indicar, na realidade, dois objetos, sendo um objeto referente ao canal direito e outro objeto referente ao canal esquerdo do objeto estéreo. O sentido real ficará aparente a partir do contexto.

Antes de descrever a próxima configuração, esta é motivada pelas deficiências notadas com a tecnologia de base do padrão SAOC selecionado como modelo de referência 0 (RMO) em 2007. O RMO permitiu a manipulação individual de vários objetos sonoros em termos de suas posições de formatação e de amplificação/atenuação. Foi apresentado um cenário especial no contexto de uma aplicação do tipo Karaokê. Nesse caso • Uma cena mono, estéreo ou surround de fundo (a seguir denominada Objeto de Fundo, BGO) é transportada a partir de um conjunto de determinados objetos SAOC, que é reproduzida sem alterações, isto é, todos os sinais de canais de entrada são reproduzidos pelo mesmo canal de saída em um nível inalterado, e • Um objeto específico de interesse (a seguir denominado Objeto de Primeiro Plano FGO) (tipicamente a primeira voz) que é reproduzido com alterações (o FGO é tipicamente posicionado na metade do estágio sonoro e pode ser emudecido, isto é, pesadamente atenuado para permitir o canto grupai).

Como fica visível a partir de procedimentos de avaliação subjetiva e que podem ser esperados a partir do princípio da tecnologia subjacente, as manipulações da posição do objeto conduzem a resultados de alta qualidade, enquanto as manipulações do nível do objeto são geralmente mais desafiadoras. Normalmente, quanto maior seja a amplificação/atenuação do sinal adicional, quanto mais surgem potenciais problemas. Neste sentido, o cenário de Karaokê é extremamente exigente, já que é necessária uma atenuação extrema (idealmente: total) do FGO.

O caso de uso duplo é a capacidade para reproduzir somente o FGO sem o background/MBO, e é mencionado a seguir como o modo solo.

Nota-se, entretanto, que se uma cena de fundo (background) surround estiver envolvida, é denominada como um Objeto de Fundo Multicanais (MBO). 0 manuseio do MBO é o seguinte, como está mostrado na Fig.5:

• O MBO é codificado usando uma árvore regular 5-2-5 MPEG Surround 102. Isso resulta em um sinal downmix MBO estéreo 104, e um fluxo de informações auxiliares MBO MPS 106.

• O downmix MBO é então codificado por um subsequente codificador SAOC 108 como um objeto estéreo, (isto é, duas diferenças de nivel de objeto, mais uma correlação intercanais), junto com o (ou vários) FGO 110. Isto resulta em um sinal downmix comum 112, e um fluxo de informações auxiliares SAOC 114 .

No transcodificador 116, o sinal downmix 112 é pré-processado e os fluxos de informações auxiliares SAOC e MPS 106, 114 são transcodifiçados em um único fluxo de informações auxiliares de saída MPS 118. Isso acontece normalmente de forma descontínua, isto é, seja somente suportada a total supressão do(s) FGO(s) ou a total supressão do MBO.

Finalmente, o downmix resultante 120 e as informações auxiliares MPS 118 são submetidas a um decodificador MPEG Surround 122.

Na Fig. 5, tanto o downmix MBO 104 como o(s) sinal (is) de objeto controlável 110 são combinados em um único downmix estéreo 112. Essa poluição” do downmix pelo objeto controlável 110 é o motive da dificuldade da recuperação de uma versão Karaokê com o objeto controlável 110 sendo removido, que tem qualidade de áudio suficientemente grande. A seguinte proposta visa a remoção deste problema.

Supondo um FGO (por exemplo, um vocal líder), a principal observação usada pela seguinte configuração da Fig. 6 é que o sinal downmix SAOC é uma combinação dos sinais BGO e FGO, isto é, três sinais de áudio são downmixados e transmitidos via 2 canais downmix. Idealmente, esses sinais deveríam ser separados novamente no transcodificador para produzirem um sinal Karaokê limpo (isto é, remover o sinal FGO), ou para produzir um sinal solo limpo (isto é, remover o sinal BGO) . Isto é feito, de acordo com a configuração da Fig. 6, usando um elemento codificador “dois para três (TTT) 124 (TTT^-1 como é conhecido na especificação MPEG Surround) dentro do codificador SAOC 108 para combinar o BGO e o FGO em um único sinal downmix SAOC no codificador SAOC. Aqui, o FGO alimenta a entrada do sinal centro do TTT^-1 box 124, enquanto o BGO 104 alimenta as entradas esquerda/direita TTT^¹ L.R. 0 transcodificador 116 pode então produzir aproximações do BGO 104 usando um elemento decodificador TTT 12 6 (TTT como é conhecido no MPEG Surround), isto é, as saídas esquerda/direita TTT L,R levam uma aproximação do BGO, considerando que a saída centro TTT C leva uma aproximação do FGO 110.

Ao comparar a configuração da Fig. 6 com uma configuração de o codificador e decodificador das Figs. 3 e 4, o sinal de referência 104 corresponde ao sinal de áudio do primeiro tipo entre sinais de áudio 84, os meios 82 são compreendidos pelo codificador MPS 102, o sinal de referência 110 corresponde aos sinais de áudio do segundo tipo entre o sinal de áudio 84, o TTT”¹box 124 assume a responsabilidade das funcionalidades dos meios 88 to 92, com as funcionalidades dos meios 86 e 94 sendo implementadas no codificador SAOC 108, o sinal de referência 112 corresponde ao sinal de referência 56, o sinal de referência 114 corresponde às informações auxiliares 58 menos o sinal residual 62, o TTT box 126 assume a responsabilidade pela funcionalidade dos meios 52 e 54 com a funcionalidade da caixa de mixagens 128 também estando compreendida pelos meios 54. Finalmente, o sinal 120 corresponde à saída de sinal na saída 68. Além disso, nota-se que a Fig. 6 também mostra um caminho codificador/decodificador núcleo 131 para o transporte do downmix 112 do codificador SAOC 108 para o transcodif icador SAOC 116. Esse caminho codificador/decodificador núcleo 131 corresponde ao codificador núcleo opcional 96 e ao decodificador núcleo 98. Como indicado na Fig. 6, este caminho codificador/decodificador núcleo 131 também pode codificar/comprimir o sinal transportado das informações auxiliares do codificador 108 para o transcodificador 116.

As vantagens resultantes da introdução do TTT box da Fig. 6 se tornarão claras a partir da seguinte descrição. Por exemplo, • simplesmente alimentando as saídas esquerda/direita TTT L.R. no downmix MPS 120 (e passando o fluxo de bits transmitido MBO MPS 106 no fluxo 118), somente o MBO é reproduzido pelo decodificador MPS final. Isto corresponde ao modo Karaokê.

simplesmente alimentando a saída centro TTT

C. no downmix MPS esquerdo e direito 120 (e produzindo um fluxo trivial de bits MPS 118 que submete o FGO 110 na posição e nivel desejados), somente o FGO 110 é reproduzido pelo decodificador MPS final 122. Isto corresponde ao modo Solo.

O manuseio dos três sinais de saída TTT L.R.C. é feito na caixa de mixagem 128 do transcodificador SAOC 116.

A estrutura de processamento da Fig. 6 provê várias vantagens com relação à Fig. 5:

• O framework provê uma clara separação estrutural dos sinais de fundo (background) (MBO) 100 e dos sinais FGO 110 • A estrutura do elemento TTT 126 tenta uma melhor possível reconstrução dos três sinais L.R.C. com base na forma de onda. Assim, os sinais de saída MPS finais 130 não são somente formados pela pesagem de energia (e decorrelação) dos sinais downmix, como também são mais próximos em termos de formas de ondas devidas ao processamento TTT.

• Junto ao TTT box MPEG Surround 126 vem a possibilidade de ampliar a precisão de reconstrução usando a codificação residual. Assim, pode ser obtida uma significativa ampliação na qualidade de reconstrução quando são aumentadas a largura residual de banda e a taxa residual de bits da saída do sinal residual 132 em TTT¹ 124 e usadas pelo TTT box para fazer o upmix. Idealmente, é cancelada (isto é, para quantificação infinitamente fina na codificação residual e na codificação do sinal downmix) a interferência entre o sinal de fundo (MBO) e o sinal FGO.

A estrutura de processamento da Fig. 6 possui algumas características:

• Dualidade de modo Karaokê/Solo: A abordagem da Fig. 6 oferece tanto funcionalidade Karaokê e Solo usando os mesmos meios técnicos. Isto é, são reutilizados os parâmetros SAOC, por exemplo.

• Capacidade de refino: A qualidade do sinal Karaokê/Solo pode ser refinada como necessário controlando a quantidade das informações de codificação residuais usadas nas TTT boxes. Por exemplo, podem ser usados os parâmetros bsResidualSamplingFrequencylndex, bsResidualBands e bsResidualFramesPerSAOCFrame.

Posicionamento de FGO em downmix: Ao usar um

TTT box como mencionado na especificação MPEG Surround, o FGO sempre seria mixado na posição central entre os canais downmix esquerdo e direito. Para permitir maior flexibilidade de posicionamento, é empregada uma caixa codificadora TTT generalizada que segue os mesmos princípios, enquanto permite o posicionamento não simétrico do sinal associado às entradas/saídas de centro.

• FGOs Múltiplos: na configuração descrita, foi descrito o uso de somente um FGO (isto pode corresponder ao mais importante caso de aplicação). Entretanto, o conceito proposto também pode acomodar vários FGOs usando uma ou uma combinação das seguintes medidas:

o FGOs Agrupados: Como mostrado na Figura 6, o sinal que está conectado à entrada/saída central do TTT box pode na realidade ser a soma de vários sinais FGO em vez de ser somente um. Esses FGOs podem ser posicionados/controlados de forma independente no sinal de saída multicanais 130 (é obtida a vantagem de qualidade máxima; entretanto, quando são escalados e posicionados da mesma forma). Compartilham uma posição comum no sinal estéreo downmix 112, e existe somente um sinal residual 132. Em qualquer caso, a interferência entre os objetos de fundo (MBO) e os objetos controláveis é cancelada (apesar de não ser entre os objetos controláveis).

o FGOs em Cascata: AS restrições referentes às posições FGO comuns no downmix 112 podem ser solucionadas ampliando a abordagem da Fig. 6. Podem ser acomodados múltiplos FGOs fazendo a cascata de vários estágios da estrutura TTT descrita, cada estágio correspondendo a um FGO e produzindo um fluxo residual de codificação. Assim, também seria idealmente cancelada a interferência entre cada FGO. É claro que esta opção exige uma maior taxa de bits do que usando uma abordagem FGO agrupada. Será descrito posteriormente um exemplo.

• Informações auxiliares SAOC: No MPEG Surround, as informações auxiliares associadas a uma TTT box são um par de Coeficientes de Predição de Canais (CPCs). Em contraste, a parametrização SAOC e o cenário MBO/Karaokê transmitem energias de objeto para cada sinal objeto e uma correlação inter-sinais entre os dois canais do downmix MBO (isto é, a parametrização de um objeto estéreo). Para minimizar o número de alterações em uma parametrização relativa ao caso, sem o modo Karaokê/Solo ampliado, e assim o formato do fluxo de bits, os CPCs podem ser calculados a partir das energias dos sinais downmixados (downmix MBO e FGOs) e a correlação inter-sinais do objeto downmix MBO estéreo. Portanto, não há necessidade de alterar ou aumentar a parametrização transmitida e os CPCs podem ser calculados a partir da parametrização SAOC transmitida no transcodificador SAOC 116. Assim, também podería ser codificado um fluxo de bits usando o modo Karaokê/Solo ampliado por meio de um decodificador de modo comum (sem codificação residual) ao ignorar os dados residuais.

Em resumo, a configuração da Fig. 6 visa uma reprodução ampliada de determinados objetos selecionados (ou a cena sem esses objetos) e se prolonga até a abordagem de codificação SAOC corrente usando a downmix estéreo da seguinte forma:

• No modo normal, cada sinal objeto é pesado por meio de suas entradas na matriz downmix (por sua contribuição com os canais downmix esquerdo e direito, respectivamente). Então, todas as contribuições pesadas dos canais downmix esquerdo e direito são somadas para formar os canais downmix esquerdo e direito.

• No desempenho ampliado Karaokê/Solo, isto é, no modo ampliado, todas as contribuições de objetos são divididas em um conjunto de contribuições de objetos que formam um Objeto de

Primeiro	Plano (FGO) e	as	contribuições de	obj etos	restantes
(BGO). A	contribuição FGO	é	somada em um	sinal	downmix	mono, e as
restantes	contribuições	de	fundo são	somadas em um estéreo

downmix, e ambas são somadas usando um elemento codificador generalizado TTT para formarem o estéreo downmix SAOC comum.

Assim, uma soma normal é substituída por uma soma TTT (que pode ser cascateada se desejado).

Para enfatizar a diferença mencionada entre o modo normal do codificador SAOC e o modo ampliado, é feita referência às Figs. 7a e 7b, onde a Fig. 7a se refere ao modo normal, considerando que a Fig. 7b se refere ao modo ampliado. Como pode ser visto, no modo normal, o codificador SAOC 108 usa os parâmetros DMX supramencionados Dij para pesar os objetos j e somar os objetos assim pesados j ao canal SAOC i, isto é, L0 ou RO. No caso do modo ampliado da Fig. 6, é somente necessário um vetor dos parâmetros DMX D_iz isto é, parâmetros DMX Di indicando como formar uma soma pesada dos FGOs 110, obtendo assim o canal central C da TTT’¹ box 124, e os parâmetros DMX Dif instruindo a TTT”¹ box sobre como distribuir o sinal central C para o canal MBO esquerdo e para o canal MBO direito respectivamente, obtendo assim o LDMX ou R_DMX, respectivamente.

Problematicamente, o processamento de acordo com a Fig. 6 não funciona muito bem com os codecs de preservação de formas de onda (HE-AAC/SBR) . Uma solução para esse problema pode ser um modo TTT generalizado baseado em energia para HE-AAC e altas frequências. Uma configuração que soluciona o problema será descrita posteriormente.

Um possível formato de fluxo de bits para aquele com TTTs em cascata podería ser o seguinte:

Além do fluxo de bits SAOC que deve poder ser pulado, caso seja digerido no modo comum de decodificação:

numTTTs int for (ttt=0; ttt<numTTTs; ttt++) { no_TTT_obj[ttt] int

TTT_bandwidth[ttt];

TTT_residual_stream[ttt]

Para as exigências de complexidade e memória, Pode ser declarado o seguinte. Como pode ser visto nas explanações anteriores, o modo Karaokê/Solo ampliado da Fig. 6 é implementado adicionando os estágios de um elemento conceituai em cada codificador e decodificador/transcodificador, isto é, no elemento codificador generalizado TTT-l/TTT. Ambos os elementos são idênticos em complexidade às sua contrapartes normais centradas TTT (a alteração nos valores do coeficiente não influencia a complexidade). Para a principal aplicação visada (um FGO como vocais principais), é suficiente um único TTT.

A relação entre essa estrutura adicional com a complexidade de um sistema MPEG Surround pode ser apreciada observando a estrutura de todo o decodificador MPEG Surround que, para o caso do relevante estéreo downmix (configuração 5-2-5) consiste de um elemento TTT e 2 elementos OTT. Isto já mostra que a funcionalidade adicionada vem com um preço moderado em termos de complexidade computacional e de consumo de memória (notar que os elementos conceituais que usam codificação residual estão na média não mais complexa que suas contrapartes que, em vez disso, incluem decorrelatores).

Esta extensão da Fig. 6 do modelo de referência MPEG SAOC provê um aperfeiçoamento da qualidade de áudio para aplicações do tipo solo especial ou mudo/Karaokê. Novamente se nota que a descrição correspondente às Figs. 5, 6 e 7 se referem a um MBO como cena de fundo ou BGO que, que em geral não se limita a esse tipo de objeto e pode também, por sua vez, ser um objeto mono ou estéreo.

Um procedimento de avaliação subjetiva revela o aperfeiçoamento em termos de qualidade de áudio do sinal de saída de uma aplicação Karaokê ou solo. As condições avaliadas são:

• RMO • Modo ampliado (res 0) (= sem codificação residual) • Modo ampliado (res 6) (= com codificação residual nas 6 menores bandas híbridas QMF) • Modo ampliado (res 12) (=com codificação residual nas 12 menores bandas híbridas QMF) • Modo ampliado (res 24) (= com codificação residual nas 24 menores bandas híbridas QMF) • Referência Oculta • Menor ancoragem (versão de referência limitada da banda de 3,5 kHz)

A taxa de bits do modo ampliado proposto é similar ao RMO se usado sem codificação residual. Todos os demais modos ampliados exigem cerca de 10 kbit/s para cada 6 bandas de codificação residual.

A Figura 8a mostra os resultados de um teste mudo/Karaokê com 10 indivíduos ouvintes. A solução proposta tem uma classificação média MUSHRA que é sempre maior que o RMO e aumenta a cada etapa de codificação residual adicional. Pode ser observado um aperfeiçoamento estatisticamente significativo com relação ao desempenho do RMO para os modos com 6 e mais bandas de codificação residual.

Os resultados do teste solo com 9 indivíduos na Figura 8b mostram vantagens similares da solução proposta. A classificação MUSHRA média aumenta claramente ao ser adicionada mais e mais codificação residual. O ganho entre o modo ampliado sem 24 bandas e o modo ampliado com 24 bandas de codificação residual é de quase 50 pontos MUSHRA.

No geral, uma boa qualidade de uma aplicação Karaokê pode ser obtida com o custo aproximado de uma taxa de bits maior em 10 kbit/s que o RMO. É possível uma excelente qualidade ao adicionar aproximadamente 40 kbit/s ao topo da taxa de bits do RMO. Em um cenário de aplicação real, onde é dada a máxima taxa fixada de bits, o modo ampliado proposto permite muito bem gastar a taxa de bits não usada para a codificação residual até que a máxima taxa permissível seja alcançada. Portanto, é obtida a melhor qualidade possível geral de áudio. É possível outro aperfeiçoamento com relação aos resultados experimentais apresentados devido ao uso mais inteligente da taxa residual de bits: Enquanto o ajuste apresentado sempre esteve usando a codificação residual de DC até uma determinada frequência limite superior, uma implementação ampliada somente gastaria bits da faixa de frequências relevante para a separação do FGO e dos objetos de fundo.

Na descrição apresentada, foi descrita uma ampliação da tecnologia SAOC para as aplicações do tipo Karaokê. São apresentadas outras configurações detalhadas de uma aplicação do modo Karaokê/solo ampliado para o processamento da cena de áudio multicanais FGO para MPEG SAOC.

Em contraste com os FGOs, que são reproduzidos com alterações, os sinais MBO devem ser reproduzidos sem alterações, isto é, cada sinal de canal de entrada é reproduzido pelo mesmo canal de saída em nível inalterado. Como consequência, foi proposto o pré-processamento dos sinais MBO por um codificador MPEG Surround, produzindo um sinal downmix estéreo que serve como um objeto de fundo (BGO) (estéreo) a ser enviado aos subsequentes estágios de processamento do modo Karaokê/solo, compreendendo um codificador SAOC, um transcodificador MBO e um decodificador MPS. Novamente, a Figura 9 mostra um diagrama da estrutura geral.

Como pode ser visto, de acordo com a estrutura do codificador do modo Karaokê/solo, os objetos de entrada são classificados em um objeto estéreo de fundo (BGO) 104 e em objetos de primeiro plano (FGO) 110.

Apesar de em RMO o manuseio desses cenários de aplicação ser feito por um sistema codificador/transcodificador SAOC, a ampliação da Fig. 6 também explora um bloco de construção elementar da estrutura MPEG Surround. Incorporando o bloco(TTT^-1) três-para-dois no codificador e o correspondente complemento (TTT) dois-para três ao transcodificador melhora o desempenho quando é necessária forte boost/atenuação do determinado objeto de áudio. As duas características primárias da estrutura ampliada são:

- Melhor separação de sinal devido à exploração do sinal residual (comparado ao RMO) ,

- Posicionamento flexível do sinal que é denominado de entrada central (isto é, o FGO) da TTT’¹ box pela generalização de sua especificação de mixagem.

Como a implementação direta do bloco de construção TTT envolve três sinais de entrada no lado do codificador, foi focalizada a Fig. 6 no processamento dos FGOs como um sinal (downmixado) mono, como mostrado na Figura 10. Também foi declarado o tratamento de sinais FGO multicanais, mas será explicado em maiores detalhes no capítulo subsequente.

Como pode ser visto na Fig. 10, no modo ampliado da Fig. 6, é enviada uma central da TTT”¹ box.

No caso

Fig. 6 e da Fig. 10, a compreende o FGO que é fornece a entrada subjacente é dada por:

combinação de todos os FGOs para o canal de um downmix FGO mono como no caso da configuração da TTT^-1 box no codificador enviado para a entrada central e o BGO que esquerda e direita. A matriz simétrica

		'1	0	ή
10	D =	0	1	m₂
			m₂	-L
um sinal F0:
	' L0'
	R0	= D	R	•
		/

que provê o downmix (L0 R0)^T e

É descartado o 3^o sinal obtido por este sistema linear, mas pode ser reconstruído no lado do transcodificador que 15 incorpora dois coeficientes de predição C; e c₂ (CPC) de acordo com:

F0 = c_}L0 + c₂R0 .

O processo inverso no transcodificador é dado por:

( l + m₂ + am, -m,m₂ +'

D~'C =----z---- -m.m.+am. \ + +.

l + m²+m² ₂ ^{12 2 12}

L ^Wl-^Cl ^m2~^C2 J

Os parâmetros m_} e m₂ correspondem a:

/77,=003(//) e w₂=sin(/z) e μ é responsável pelo posicionamento panorâmico do FGO no dowmix TTT comum (L0 R0)^T. Os coeficientes de predição Ci e c₂ exigidos pela unidade upmix TTT no lado do transcodificador podem ser estimados usando os parâmetros SAOC transmitidos, isto é, as diferenças de nível de objeto (OLDs) de todos os objetos de áudio de entrada e de correlação interobjetos (IOC) dos sinais BGO downmix (MBO). Supondo a independência estatística dos sinais FGO e BGO, a seguinte relação é válida para a estimativa CPC:

p P _P P P P -P p _c _ ' LoFo¹ Ro ¹ RoFo¹ LoRo _ ¹ RoFo¹ Lo ^L LoFo¹ LoRo ¹ P P -P² ' ² P P — p² ' ^J Lo¹ Ro ¹ LoRo ¹ Lo¹ Ro ¹ LoRo

As variáveis P_Li), P_Ro , P_lt)Ro, Ρ_ι<>,,_<> e P_Rll,_o podem ser estimadas como a seguir, onde os parâmetros OLD_l, OLD_r e IOC_LRcorrespondem ao BGO, e OLD_f é um parâmetro FGO:

P,_o=OLD, +m²OLD,.. ,

P_!(o = OLD,, + mlOLD, , ^Pi.oRo = lOC^+m^OLD,.., ^Pi.oRo = {OLD, - OLD,..) + m₂IOC,_R ,

ProFo = {°^LDr - OLD_b.) + m,IOC,_R .

Além disso, o erro introduzido pela implicação dos CPCs é representado pelo sinal residual 132 que pode ser transmitido dentro fluxo de bits, de forma que:

res = F0 - F0 .

Em alguns cenários de aplicação, a restrição de um único downmix mono a todos os FGOs é inadequada, precisando assim ser superada. Por exemplo, os FGOs podem ser divididos em dois ou mais grupos independentes com diferentes posições no downmix estéreo transmitido e/ou na atenuação individual. Portanto, a estrutura em cascata mostrada na Fig. 11 implica em dois ou mais elementos TTT'¹ consecutivos 124a, 124b, produzindo um downmix passo a passo de todos os grupos FGO Fi, F₂ no lado do codificador, até que o desejado downmix estéreo 112 seja obtido. Cada - ou pelo menos algumas - das TTT^-1 boxes 124a,b (na Fig. 11 cada) estabelece um sinal residual 132a, 132b que corresponde ao estágio respectivo ou à TTT”¹ box 124a,b, respectivamente. Por outro lado, o transcodificador realize o upmix sequencial com o uso das respectivas TTT boxes 126a,b aplicadas sequencialmente, incorporando os CPCs correspondentes e os sinais residuais, sempre que possível. A ordem de processamento FGO é especificada pelo codificador e deve ser considerada no lado do transcodificador.

A matemática detalhada envolvida com a cascata de dois estágios mostrada na Fig. 11 é descrita a seguir.

Sem a perda da generalidade, mas para uma ilustração simplificada, a seguinte explicação se baseia em uma cascata que consiste de dois elementos TTT, como mostrado na

Figura 11.	As duas π	latri zes	simétricas	são	similares ao downmix
FGO mono,	mas devem	ser	adequadamente	aplicadas	aos sinais
respectivos
		f 1	0			( 1	0	m,₂^
	D_} =	0	1	m_2l	e D₂ =	0	1	^m22	•
			™21	-d		,^WI2	^m22	-d
	Aqui	t	os dois	conjuntos	de	CPCs	resultam na

seguinte reconstrução de sinal:

ÂOj = cjjZO] +c_]2J?0₁ e F0₂ = c₂₁Z0₂ + c₂₂7?0₂ .

O processo inverso é representado por:

( l + m_2] +c_nm_n

D, = - - — — m_]Xm_2] +c,,/77₂, 1 + m_}, + c_nm_2l + /77,, + /77,, < ^11 -G1 ^21-^12 J d₂1 + m² _n + /77j₂ + m₂₂ + ¢2,//7,2

-m_l2m₂₂ +c_2lm₂₂ m_n-c_2} + m² ₂ + c₂₂m₂₂ ^m22 ~^C22 .

Um caso especial da cascata de dois estágios compreende um FGO estéreo com seus canais esquerdo e direito sendo somados de forma adequada aos canais correspondentes de BGO, produzindo //, = 0 e μ₂ =— :

D,.

¹Ίf , e D_R = 0 -1J^0 (P

1

-l

Para este estilo de posicionamento panorâmico particular e negligenciando a correlação inter-objetos, OLD_IR=Q a estimativa dos dois conjuntos de CPCs se reduz a:

OLD.-OLD,,

C, 1 =-----^L' ^CI2=U ' ^!A OLD,+OLD,_;I ₌ OLD_R-OLD_FR ^R' ' ^,n OLD_R+OLD_FR' com OLD_El e OLD_lR indicando os OLDs do sinal FGO esquerdo e direito, respectivamente.

O caso da cascata geral de N estágios se refere a um downmix FGO multicanais de acordo com:

	( 1	0	^mn		f 1	0	m_i2^
D_} =	0	1	m_2X	, d₂ =	0	1	^m22
		/m₂₁	-d		.^12	^m22	-Ό

^miN

D_N= Q 1 ^m2N m_2N onde cada estágio caracteriza seus próprios CPCs e sinal residual.

No lado do transcodificador, as etapas de cascateamento inverso são dadas por:

D, + wj², +

1_ 1

7/.,2 2 + ^m\\; ^{+ m}2N

D-'

l + m_2l	-m_nm_2} +c_l2m_n
-ζμ_π»7₂\| + c_nm_2l	1 + m^ +c_l2m_2l	f ·· <
^m\\ -^cn	^m2\ ~ ^C12 _/
1 + m_2N + c_N]m_]N	^m\N^m2N ^+CN2^m\N
^m\N^m2N ^{+ C}N\^m2N 1 ^{+ m}\N ^{+ C}N2	^m2N
_k ^m\N ^CN\	^m2N ^CN2 ,

Para abolir a necessidade de preservação da ordem dos elementos TTT, a estrutura em cascata pode ser facilmente convertida em um paralelo equivalente por meio do rearranjo das N matrizes e uma única matriz TTN simétrica, produzindo assim um estilo TTN geral:

	r i	0	m_u
	0	1	^m2\
II	m,.	m₂₁	-1
		^m2_N	0

^m\N ^m2N onde as primeiras duas linhas da matriz denotam o downmix estéreo a ser transmitido. Por outro lado, o termo TTN dois-para-N (two-to-N) - se refere ao processo de upmixing no lado do transcodificador.

Usando esta descrição, o caso especial do FGO estéreo particularmente em posicionamento panorâmico (panned) reduz a matriz a:

fl 0 1

0 -1 (Γ ο

-1>

Assim, esta unidade pode ser denominada elemento dois-para-quatro ou TTF.

É também possível produzir uma estrutura TTF reusando o módulo pré-processador estéreo SAOC.

Para a limitação de N=4, torna-se viável uma implementação da estrutura dois-para-quatro (TTF), que reutiliza partes do sistema existente SAOC. O processamento é descrito nos seguintes parágrafos.

O texto padrão SAOC descreve o pré-processamento downmix estéreo do modo de transcodificação estéreo-paraestéreo. Precisamente, o sinal estéreo de saída Y é calculado a partir do sinal estéreo de entrada X junto com um sinal decorrelacionado X_d como a seguir:

Y = G_ModX + P₂X_d

A componente decorrelacionada X_d é uma representação sintética das partes do sinal original submetido que já foram descartadas no processo de codificação. De acordo com Fig. 12, o sinal decorrelacionado é substituído por um sinal residual gerado pelo codificador 132 para uma determinada faixa de frequências.

A nomenclatura é definida como:

• D é uma matriz downmix 2 χ N • A é uma matriz de rendering 2 χ N

E é um modelo de covariância N χ N dos objetos de entrada S • Gm_ocí (correspondendo a G na Figura 12) é a matriz upmix preditiva 2x2

Notar que Gm_ocí é uma função de D, A e E.

Para calcular o sinal residual X_Res é necessário imitar o processamento do decodificador no codificador, isto é, determinar GM_Od. Nos cenários gerais A não são conhecidos, mas no caso de um cenário de Karaokê (por exemplo, com um fundo estéreo e um objeto de primeiro plano estéreo, N=4) é suposto que (0 0 10)

A = ^0 0 0 1)

O que significa que somente o BGO é submetido.

Para uma estimativa do objeto de primeiro plano o objeto de fundo reconstruído é subtraído do sinal downmix X. Isto e o rendering final são feitos no bloco de processamento Mix. Os detalhes são apresentados a seguir.

A matriz de rendering A é estabelecida para (0 0 1 (Γ ^Abgo“[o o o i, onde é suposto que as primeiras 2 colunas representam os 2 canais do FGO e as segundas 2 colunas representam os 2 canais do BGO.

As saídas estéreo BGO e FGO são calculadas de acordo com as seguintes fórmulas.

Y_BGO=GMo_dX + X_Res

E a matriz de pesagem downmix D é definida como

D ⁼ (®fgo|Dbgo) com acima.

Favor ®BGO

Y ¹ BGO ( ¹ ) •Vbgo <Ãbgo>

d ^u12 ό/₂₂ ;

o FGO objeto pode ser estabelecido para

FGO = D ^BGO ^11 'T'bGO +<^12 ~y BGO <^21 ‘ J^BGO ⁺ ^22 ' T’bGO y

Como exemplo, isto se reduz a

V — Y_ V ¹ FGO “ ¹ BGO para matriz downmix de ^Res sao os sinais residuais obtidos como descrito notar que não são adicionados sinais decorrelacionados.

A saída final Y é dada por

FGO

As configurações acima também podem se aplicar se for usado um FGO mono em vez de um FGO estéreo. O processamento é então alterado de acordo com o seguinte.

A matriz de rendering A é estabelecida em onde é suposto que a primeira coluna representa o

FGO mono e as colunas subsequentes representam os 2 canais do BGO.

A saída estéreo BGO e FGO é calculada de acordo com as seguintes formulas.

YfGO ^- G ModX ⁺ ^Res

E a matriz de pesagem downmix D é definida como

D ⁼ (®FGo|®BGo) com

D FGO ^aFGO ç^FGO y

Y = ¹ FGO ( λ

I’fgo l θ J

Ο objeto BGO pode ser estabelecido com

Y = D~' * BGO BGO / ,1 λ ^flFGO ‘ Τ FGO ç^FGO ’ -Vf^?GO y

Como exemplo, isto se reduz a

Y * BGO = x( 5

VfGO

V^FGO ) para uma matriz downmix de (Ί 1 0Ί

D = θ 1J

X_Res são os sinais residuais obtidos como acima descrito. Favor notar que não são adicionados sinais decorrelacionados.

A saída final Y é dada por <Y j *FGO

Y \ ¹ BGO /

Para o manuseio de mais de objetos FGO as configurações acima podem ser estendidas montando estágios paralelos das etapas descritas de processamento.

As configurações acima descritas fornecem a descrição detalhada do modo ampliado Karaokê/solo para os casos de cena de áudio FGO multicanais. Esta generalização visa ampliar a classe dos cenários de aplicação Karaokê, para a qual a qualidade do som do modelo de referência MPEG SAOC também pode ser melhorada pela aplicação do modo ampliado Karaokê/solo. O aperfeiçoamento é obtido introduzindo uma estrutura NTT geral na parte downmix do codificador SAOC e as contrapartes correspondentes no transcodificador SAOCtoMPS. O uso de sinais residuais ampliam o resultado da qualidade.

As Figs. 13a a 13h mostram uma possível sintaxe do fluxo de bits das informações auxiliares SAOC de acordo com uma configuração da presente invenção.

Após ter descrito algumas configurações referentes a um modo ampliado para o codec SAOC, deve ser notado que algumas configurações se referem a cenários de aplicação onde a entrada de áudio para o codificador SAOC contém não somente fontes sonoras regulares mono ou estéreo, como objetos multicanais. Isto foi explicitamente descrito com relação às Figs. 5 a 7b. Este objeto de fundo MBO multicanais pode ser considerado como uma cena Sonora complexa que envolve um grande e geralmente desconhecido número de fontes sonoras, para o qual não é necessária funcionalidade controlável de rendering. Individualmente, essas fontes de áudio não podem ser manuseadas de forma eficiente pela arquitetura do codificador/decodificador SAOC. O conceito da arquitetura SAOC pode, portanto, ser imaginado como estendido para tratar desses sinais complexos de entrada, isto é, dos canais MBO, em conjunto com os objetos SAOC de áudio típicos. Portanto, nas configurações mencionadas da Fig. 5 à 7b, o codificador MPEG Surround é imaginado como sendo incorporado ao codificador SAOC como indicado pela linha pontilhada que circunda o codificador SAOC 108 e o codificador MPS 100. O downmix resultante 104 serve como um objeto de entrada estéreo para o codificador SAOC 108 em conjunto com um objeto SAOC controlável 110 produzindo um downmix estéreo combinado 112 transmitido para o lado do transcodificador. No domínio paramétrico, tanto o fluxo de bits MPS 106 e como o fluxo de bits SAOC 114 são enviados ao transcodificador SAOC 116 que, dependendo do cenário particular das aplicações MBO, provê o adequado fluxo de bits MPS 118 para o decodificador MPEG Surround 122. Essa tarefa é feita usando as informações de rendering ou da matriz de rendering e empregando alguns pré-processamentos downmix para transformar o sinal downmix 112 em um sinal downmix 120 para o decodificador MPS 122.

Outra configuração para um modo ampliado Karaokê/Solo é descrita abaixo. Esta permite a manipulação individual de alguns objetos de áudio em termos de seus níveis de amplificação/atenuação sem redução significativa na qualidade resultante de som. Um cenário de aplicação especial do tipo Karaokê exige a total supressão dos objetos específicos, tipicamente do vocal principal, (a seguir denominado Objeto de Primeiro Plano FGO) mantendo a qualidade perceptual da cena sonora de fundo sem ser prejudicada. Isto também leva à capacidade de reproduzir individualmente os sinais FGO específicos sem a cena de áudio de fundo estático (a seguir denominada de Objeto de Fundo

BGO) , que não exige o poder de controle do usuário em termos de posicionamento panorâmico. Este cenário é denominado de modo Solo. Um caso tipico de aplicação contém um BGO estéreo e até quatro sinais FGO, que pode, por exemplo, representar dois objetos estéreo independentes.

De acordo com essa configuração e a Fig. 14, o transcodificador ampliado Karaokê/Solo 150 incorpora seja um elemento dois-para-N (TTN) ou um-para-N (OTN) 152, ambos representando uma modificação generalizada e ampliada da TTT box conhecida na especificação MPEG Surround. A escolha do elemento adequado depende do número de canais downmix transmitidos, isto é, a TTN box é dedicada ao sinal estéreo downmix, enquanto que para um sinal downmix mono se aplica a OTN box. A correspondente TTN”¹ou OTN”¹ box no codificador SAOC combina os sinais BGO e FGO em um downmix SAOC estéreo ou mono comum 112 e gera o fluxo de bits 114. O posicionamento arbitrário pré-definido de todos os FGOs individuais no sinal downmix 112 é suportado por cada elemento, isto é, TTN ou OTN 152. No lado do transcodificador, o sinal BGO 154 ou qualquer combinação de sinais FGO 156 (dependendo do modo de operação 158 aplicado externamente) é recuperado do downmix 112 pela TTN ou OTN box 152 usando somente as informações auxiliares SAOC 114 e opcionalmente sinais residuais incorporados. Os objetos de áudio recuperados 154/156 e informações de rendering 160 são usados para produzir o fluxo de bits MPEG Surround 162 e o correspondente sinal downmix pré-processado 164. A unidade de mixagem 166 faz o processamento do sinal downmix 112 para obter o downmix MPS de entrada 164 e o transcodif icador MPS 168 é responsável pela transcodificação dos parâmetros SAOC 114 nos parâmetros MPS 162. Ά TTN/OTN box 152 e a unidade de mixagem 166 em conjunto fazem o processamento do modo ampliado Karaokê/solo 170 correspondente aos meios 52 e 54 na Fig. 3 com a função da unidade de mixagem ser compreendida pelos meios 54.

Um MBO pode ser tratado da mesma forma explicada acima, isto é, é pré-processado por um codificador MPEG Surround que produz um sinal downmix estéreo ou mono que serve como BGO para ser enviado ao subsequente codificador SAOC ampliado. Nesse caso, o transcodificador deve ser provido com um fluxo adicional de bits MPEG Surround próximo ao fluxo de bits SAOC.

Depois, é explicado o cálculo realizado pelo elemento TTN (OTN). A matriz TTN/OTN expressa na primeira resolução predeterminada de tempo/frequência 42, M, é o produto de duas matrizes

M = D~'C , onde D ¹ compreende as informações downmix e C encerra os coeficientes de predição de canais (CPCs) para cada canal FGO. C é computado pelos meios 52 e box 152, respectivamente, e D ¹ é computado e aplicado, junto com C, no downmix SAOC pelos meios 54 e box 152, respectivamente. A computação é feita de acordo com

0' ^CN2 para o elemento TTN, isto é, um downmix estéreo e para ο elemento OTN, isto é, um downmix mono.

Os CPCs são obtidos a partir dos parâmetros SAOC transmitidos, isto é, dos OLDs lOCs, DMGs e DCLDs. Pra um canal

FGO específico j, os CPCs podem ser estimados por j¹ Ro ¹ RoFoj¹ LoRo ’ p -P²

Lo¹ Ro ¹ LoRo

RoFoj¹ Lo LoFo,j LoRo p P -P²

Lo¹ Ro LoRo

P_h, =OLD, £ mJOC^OLDfiLD, ,

I j k=j + \

P«„=OLD_h +Σ>Κ0ΙΛ,+2Ση, Σ _t ^/oc,A^OLDP^LD _t

I j k=j+\

Folio = ^IOCI.R/OLD, OLDr + Σ mppLD, + 2^ Σ (^mjⁿk ^{+ m}kⁿj) ^IOCjk yJOLD_/OLD_k, i j k=j+\ ¹⁰ FoFo,j = mpLD, + rijIOC^/OLD,OLD_R - m.OLDj -£mJOCj, _yJOLD_JOLD_i , /*7

FoFoj = nPLD_R + m,IOC,_Jt/OLD^LD, - n_JOLD_J -£pIOC^/OLDpLD, .

í*j

Os parâmetros OLD_: , OLD_R e IOC_IR correspondem ao BGO, os demais são valores FGO.

Os coeficientes e denotam os valores downmix de cada FGO j dos canais downmix direito e esquerdo, e são obtidos a partir dos ganhos downmix DMG e das diferenças downmix de níveis de canais DCLD = 10

0.05 _{1 + lo}o.i/x.7,n_y

Com relação ao elemento OTN, a computação dos segundos valores CPC c_j2 se torna redundante.

Para reconstruir os dois grupos de objetos BGO e

FGO, as informações downmix são exploradas pelo inverso da downmix matriz D que se prolonga para ainda indicar a combinação linear dos sinais F0_x a F0_N, isto é

' L0 ' RO F0,	= D	r za R Λ

A seguir, o downmix no lado do codificador é explicado: Dentro do elemento TTN”¹, a matriz downmix estendida é

	f 1 0	0 1	Í «1 ·	· ^mN n_N
D-		«1	; -1 .	.. 0
			: 0 ’
		ⁿN	⁰ ·	·· -u
	r	1	m_x .	• ^mN '
		1	1 .	n_N
D =	m_x	+«1	-1 .	. 0
			0 '
	/^mN	^{+ n}N	0 .	• “J

para um BGO estéreo, para um BGO mono,

E para o elemento OTN ¹ é

para um BGO estéreo, ' 1 \ m_x ^m\ ί 1 j 0 í ⁰ ”ó”

-u para um BGO mono.

A saída do elemento TTN/OTN produz

L		í £0 3
R		RO
		..............
	= M	res_x
.F„ .		^res_N>

Para um BGO estéreo e urn downmix estéreo. No caso de o BGO e/ou downmix ser um sinal mono, o sistema muda de acordo.

O sinal residual resi - caso presente corresponde ao objeto FGO i e se não transferido pelo fluxo SAOCporque, por exemplo, fica fora da faixa de frequência residual, ou é sinalizado que para o objeto FGO i não é transferido nenhum sinal residual - resi é inferido como sendo zero. F_í é o sinal reconstruído/upmixado aproximando o objeto FGO i. Após a computação, pode ser passado por um banco de filtros de síntese para obter o domínio de tempo, como a versão PCM codificada do objeto FGO i. É lembrado que LO e RO denotam os canais do sinal downmix SAOC e são disponíveis/sinalizados em uma crescente resolução tempo/frequência comparada aos índices subjacentes da resolução paramétrica (n,k). L e R são os sinais reconstruídos/upmixados aproximando os canais esquerdo e direito do objeto BGO. Junto ao fluxo de bits do lado MPS, pode ser submetido ao número original de canais.

De acordo com uma configuração, a seguinte matriz TTN é usada em um modo de energia.

O procedimento de codificação/decodificação baseado em energia é projetado para a codificação da não preservação da forma de onda do sinal downmix. Assim, a matriz upmix TTN do modo correspondente de energia não depende de formas específicas de onda, mas somente descreve a distribuição relativa de energia dos objetos de áudio de entrada. Os elementos desta matriz M_Energy são obtidos a partir dos correspondentes OLDs de acordo com

BGO estéreo

BGO mono,

OLD, + ^m²OLD,

OLD,,

OLD_R+^n²OLD, m²OLD_} n²OLD_x ^Energy ^Energy ^—

OLD_l +Ym²OLD, i	OLD_R+^n²OLD, l
m^í _NOLD_N	n² _NOLD_N
OLD, + ^m²OLD_:	OLD_R+^n²OLD, i
	1 ozd, y
OLD,+Y_jm²OLD,	OLD, +^n² OLD,
m²OLD,	n² OLD,
OLD, ₊ ^m² OLD, i	OLD, + ^n²OLD, i
m² _NOLD_N	n² _NOLD_N

para um para um

OLD, + ^m² OLD,

OLD, + ^n²OLD,

De maneira que a saída do elemento TTN produz

MEnergy ou respectivamente

= ^M Energy (L0\

RO

Assim, para um downmix mono a matriz de upmix baseada em energia M_Energy se torna

M_r

Energy

yJn/OLD. + /n²OLD_}

OLD^^mfOLD, + . =

OLD_K + ^n²OLD,

Jm² _NOLD_N +/n:.OLD^

Para um BGO estéreo, e ^Energy


yJm^OLD,	1
	JoLD, +y,m²OLD,
/ m_NOLD_N

para um BGO mono, de maneira que a saída do elemento OTN resulta em.

ou respectivamente = M_i:mr^L0) .

Assim, de acordo com a configuração mencionada, a classificação de todos os objetos (Obj. ... Obj_N} em BGO e FGO, respectivamente, é feita no lado do codificador. O BGO pode ser um objeto mono (/,) ou estéreo . O downmix do BGO no sinal downmix é fixado. Com relação aos

FGOs, seu número é teoricamente ilimitado. Entretanto, para maioria das aplicações um total de quatro objetos FGO parece adequado.

Quaisquer combinações de objetos mono e estéreo são possíveis.

Por meio dos parâmetros m, (pesando no sinal downmix esquerdo/mono) downmix direito), o downmix FGO é variável e n. (pesando no sinal tanto no tempo como na frequência. Como consequência, o sinal downmix pode ser mono (£0) ou estéreo (LQ

Ã0

Novamente, os sinais (TO, ... FQ_N}‘ não são transmitidos para o decodificador/transcodificador. Em vez disso, são previstos no lado do decodi f icador por intermédio dos CPCs supramencionados.

Com relação a isto, nota-se novamente que os sinais residuais res podem até ser desconsiderados por um decodificador ou podem até não existir, isto é, são opcionais. No caso do residual não existir, um decodificador - meios 52, por exemplo - prevê os sinais virtuais somente baseados nos CPCs, de acordo com:

Downmix Estéreo:

( L0 >		r i	⁰ Ί
RO		0	1
Λ		(L0)
F0,	= c		—	C,.	C.,
		^oj
			^CN2 j

Downmix Mono:

(^LQ Ί	=c(zo) =	Γ¹Ί
#0,
		i^CNl)

(Λ0).

Então, BGO e/ou FGO são obtidos por por exemplo, pelos meios 54 inversão de uma das quatro possíveis combinações lineares do codificador,

por exemplo,	' íX R Â	= D~'	' L0 ' RO F0_}

onde novamente D ¹ é uma função dos parâmetros DMG e DCLD.

Assim, no total, uma TTN (OTN)

Box 152 omitindo o residual computa ambas as etapas mencionadas de computação por exemplo:

L0

RO

Nota-se, que o inverso de D pode ser diretamente obtido no caso de D ser quadrático. No caso de uma matriz D não quadrática, o inverso de D será um pseudo-inverso, isto é, pinv(D)= D'(díJ) ¹ ρζ>7ν(Ζ>) = D*

Em qualquer caso, existe um inverso de D.

Finalmente, a Fig. 15 mostra outra possibilidade de como estabelecer, dentro das informações auxiliares, a quantidade de gastos para a transferência dos dados residuais. De acordo com esta sintaxe, as informações auxiliares compreendem bsResidualSamplingFrequencylndex, isto é, um índice de uma tabela que associa, por exemplo, uma resolução de frequência ao índice. De forma alternativa, a resolução pode ser pensada como sendo uma resolução predeterminada, como a resolução do banco de filtros ou a resolução paramétrica. Além disso, as informações auxiliares compreendem bsResidualFramesPerSAOCFrame definindo a resolução de tempo no qual o sinal residual é transferido. BsNumGroupsFGO também compreendido pelas informações auxiliares, indica o número de FGOs. Para cada FGO, é transmitido um elemento de sintaxe bsResidualPresent, indicando se o respectivo sinal residual FGO é transmitido ou não. Se presente, bsResidualBands indica o número de bandas espectrais para o qual os valores residuais são transmitidos.

Dependendo da implementação real, os métodos de codificação/decodificação do invento podem ser implementados em hardware ou em software. Portanto, a presente invenção também se refere a um programa de computador, que pode ser armazenado em uma mídia de leitura por computador como um CD, um disco ou qualquer outro veículo de dados. A presente invenção é, portanto, também um programa de computador dotado de um código de programas que, quando operado em um computador, realiza o método do invento de codificação ou o método do invento de decodificação descrito em relação às figuras acima.

Claims

R E I V I N D I C A Ç Õ E S

1. Decodificador de áudio para a decodificação de um sinal multi-. áudio- objeto dotado de um sinal de áudio de um primeiro tipo e um sinal de áudio de um segundo tipo codificados, o sinal multi-áudio-objeto

consistindo de um sinal downmix (112) e de informações auxiliares, as informações auxiliares compreendendo as informações de nível do sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo em uma primeira resolução predeterminada de tempo/frequência, o decodificador de áudio compreendendo:

Um processador configurado para a computação de uma matriz C de coeficientes de predição baseados nas informações de nível (OLD); e

Um Up-Mixer configurado para fazer o upmixing do sinal downmix baseado nos coeficientes de predição para ser obtido um primeiro sinal de áudio de upmix aproximando o sinal de áudio do primeiro tipo e/ou um segundo sinal de áudio de upmix aproximando o sinal de áudio do segundo tipo, caracterizado pelo fato que os meios para upmixing são configurados para produzir o primeiro sinal de upmix S1 e/ou o segundo sinal de upmix S2 do sinal downmix d de acordo com a computação representável por

Petição 870190123919, de 27/11/2019, pág. 279/287
2/9

1 If 11 = D(I I d + H |l C ) onde “1” denota - dependendo do número de canais de d - um escalar, ou uma matriz de identidade, e D^-1 é uma matriz exclusivamente determinada por uma indicação downmix de acordo com a qual o sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo são downmixados no sinal downmix, sendo também compreendida pelas informações auxiliares.

2. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que a indicação downmix varia no tempo dentro das informações auxiliares.
3. Decodificador de áudio de acordo com a reivindicação 1, caracterizado pelo fato que o sinal de áudio do primeiro tipo é um sinal de áudio estéreo tendo um primeiro e um segundo canais de entrada, ou um sinal de áudio mono tendo somente um primeiro canal de entrada, em que as informações de nível descrevem as diferenças de nível entre o primeiro canal de entrada, o segundo canal de entrada e o sinal de áudio do segundo tipo, respectivamente, na primeira resolução predeterminada de tempo/frequência, em que as informações auxiliares ainda compreendem informações de intercorrelação definindo similaridades de nível entre o primeiro e o segundo canais de entrada em uma terceira

Petição 870190123919, de 27/11/2019, pág. 280/287

3/9 resolução predeterminada de tempo/frequência, onde os meios para computação são configurados para fazer a computação ainda baseada nas informações de intercorrelação.
4. Decodificador de áudio, de acordo com a reivindicação 3, caracterizado pelo fato de que a primeira e terceira resoluções de tempo/frequência são determinadas por

um elemento de sintaxe comum dentro das informações auxiliares. 5 Decodificador de áudio, de acordo com a reivindicação 3, caracterizado pelo fato que o sinal downmix e o sinal de áudio do primeiro tipo são mono. 6 Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que o sinal multi-

áudio-objeto compreende uma pluralidade de sinais de áudio do segundo tipo e as informações auxiliares compreendem um sinal residual por sinal de áudio do segundo tipo.

7. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que a segunda resolução predeterminada de tempo/frequência é relativa à primeira resolução predeterminada de tempo/frequência via um parâmetro de resolução residual contido nas informações auxiliares, em que o decodificador de áudio compreende meios para a obtenção do parâmetro de resolução residual das informações auxiliares.

Petição 870190123919, de 27/11/2019, pág. 281/287

4/9

8. Decodificador de áudio, de acordo com a reivindicação 7, caracterizado pelo fato que o parâmetro de resolução residual define uma faixa espectral sobre a qual o sinal residual é transmitido dentro das informações auxiliares.

9. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que o parâmetro de resolução residual define um limite inferior e um limite superior da faixa espectral.

10. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que os meios para a computação dos coeficientes de predição (CPC) são configurados para computar os coeficientes de predição de canais c/ para cada tijolo tempo/frequência (l,m) da primeira resolução tempo/frequência, para cada canal de saída i do sinal downmix, e para cada canal j do sinal de áudio(s) do segundo tipo como r>l ,m r^l ,m r^l ,m r>l ,m r^l ,m nl,m -pl ,m pl,m l,m ^PLoFo, j^PRo ^PRoFo, j^PLoRo l,m ^PRoFo, j^PLo ^PLoFo, j^PLoRo c * ^jjc ’ _________^j_____________________—__________ ^j1 pl,m r>l,m p2 l,m ^j2 pl,m pl,m p2 l,m ^PLo ^PRo - ^PLoRo ^PLo ^PRo - ^PLoRo com

4 4 4

P « OLDl + ΣmfOLD, + 2Σ mj £ m_kIOC^OLDjOLD_k , i=1 j =1 k=j +1

4 4 4

Pr, = OLDr + Σk2OLD, + 2Σnj Σ HklOCj^OLDjOLDk , i=1 j=1 k=j+1

Petição 870190123919, de 27/11/2019, pág. 282/287
5/9

4 4 4

P . ^: IOCl^OLDlOLDr + Σ + 2Σ Σ (^mjⁿk + ^mkⁿj) IOC}^OLD_}OLD_k i=1 j=1 k = j+1

P mjOLDL + njlOC^OLDLOLDR -m_]OLD_] -£m_iIOC_]lψΗ/ΗΗΙ) i=1 i* j

PüoCo.j n_}OLD_R + m_}IOCL^^OLDLOLD_R -n_}OLD_} -£nJOC^OLD^LD, i=1 i* j com OLDl indicando uma energia espectral normalizada de um primeiro canal de entrada do sinal de áudio do primeiro tipo no respectivo tijolo tempo/frequência, OLDr indicando a energia espectral normalizada de um segundo canal de entrada do sinal de áudio do primeiro tipo no respectivo tijolo tempo/frequência, e IOClr indicando informações de intercorrelação definindo a similaridade da energia espectral entre o primeiro e o segundo canal de entrada no respectivo tijolo tempo/frequência - no caso, o sinal de áudio do primeiro tipo é estéreo -, ou OLDl indicando a energia espectralmente normalizada do sinal de áudio do primeiro tipo no respectivo tijolo tempo/frequência, e OLDr e IOClr sendo zero - no caso, este é mono, e com OLDj indicando a energia espectralmente normalizada de um canal j do sinal de áudio(s) do segundo tipo no respectivo tijolo tempo/frequência e IOCij indicando

Petição 870190123919, de 27/11/2019, pág. 283/287
6/9 informações de intercorrelação definindo a similaridade da energia espectral entre os canais i e j do sinal de áudio(s) do segundo tipo dentro do respectivo tijolo tempo/frequência, com ^mj = 10

0.05 DMGj

0.1DCLD,

V1 + 10^0JDC“' . _r,0.05DMG, 1 ^e ;=¹⁰ '1 + ₁₀0.1DCLD, onde DCLD e DMG são indicações de downmix, em que os meios para upmix são configurados para produzirem o primeiro sinal de upmix Si e/ou o segundo sinal de upmix (s) S2,i do sinal downmix d e um sinal residual resi por

no onde 1 canto esquerdo superior indica dependendo do número de canais de d^n,k um escalar, ou uma matriz de identidade é dependente do número de canais de dⁿ,k, C1ⁿ-^k ou

no o “1 canto inferior direito é um escalar

0” indica um vetor ou um escalar zero - também dependendo do número de canais de dⁿ-^k e D^-1 sendo uma matriz

Petição 870190123919, de 27/11/2019, pág. 284/287
7/9 exclusivamente determinada por uma indicação downmix de acordo com a qual o sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo são downmixados no sinal downmix, e que é também compreendido pelas informações auxiliares, e dⁿ'^k e resiⁿ'^k indicam o sinal downmix e o sinal residual em tempo/frequência (n,k), respectivamente.

11. Decodificador de áudio, de acordo com a reivindicação 10, caracterizado pelo fato que D é a inversão de mf £> = nr sendo estéreo /tip ftp e Si sendo estéreo m_F n_F _t m_F + rip no do sinal downmix no do sinal downmix mono mp no caso do sinal downmix ser mono e Si ser estéreo ou

Petição 870190123919, de 27/11/2019, pág. 285/287
8/9

no caso do sinal downmix ser mono e Si ser mono.

12. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que o sinal multi áudio-objeto compreende informações de rendering espacial para fazer o rendering espacial do sinal de áudio do primeiro tipo em uma configuração predeterminada do alto-falante.

13. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado pelo fato que os meios para upmix são configurados para fazer o render espacial do primeiro sinal de áudio de upmix separado do segundo sinal de áudio upmix, fazer o render espacial do segundo sinal de áudio upmix separado do primeiro sinal de áudio de upmix, ou mixar o primeiro sinal de áudio de upmix e o segundo sinal de áudio upmix e fazer o render espacial de sua versão mixada em uma configuração predeterminada do alto-falante.

14. Método para a decodificação de um sinal multi-áudio-objeto tendo um sinal de áudio de um primeiro tipo e um sinal de áudio de um segundo tipo nele codificado, o sinal multi-áudio-objeto consistindo de um sinal downmix (112) e informações auxiliares, as informações auxiliares compreendendo informações de nível do sinal de áudio do

Petição 870190123919, de 27/11/2019, pág. 286/287
9/9 primeiro tipo e o sinal de áudio do segundo tipo na primeira resolução predeterminada de tempo/frequência, o método compreendendo:

computar uma matriz C de coeficientes de predição com base nas informações de nível (OLD); e fazer o upmix do sinal downmix com base nos coeficientes de predição para obter um primeiro sinal de áudio de upmix aproximando o sinal de áudio do primeiro tipo e/ou um segundo sinal de áudio de upmix aproximando o sinal de áudio do segundo tipo, caracterizado pelo upmix produz o primeiro sinal de upmix Si e/ou o segundo sinal de upmix S2 do sinal downmix d de acordo com uma computação representável por

5, 1 7 10yd kzr¹

5 J ( C 1 Λ res onde 1 indica - dependendo do número de canais de d - um escalar, ou uma matriz de identidade, e D^-1 é uma matriz exclusivamente determinada por uma indicação downmix de acordo com a qual o sinal de áudio do primeiro tipo e o sinal de áudio do segundo tipo são downmixados no sinal downmix, e que também é compreendido pelas informações auxiliares.