BR122017013717B1

BR122017013717B1 - Método e aparelho para decodificar sinais hoa multiplexados e perceptualmente codificados, e meio de armazenamento não transitório

Info

Publication number: BR122017013717B1
Application number: BR122017013717-4A
Authority: BR
Inventors: Sven Kordon; Alexander Krueger
Original assignee: Dolby International Ab
Priority date: 2013-07-11
Filing date: 2014-06-24
Publication date: 2022-12-20
Also published as: KR20230070540A; KR20220051026A; AU2020204222A1; BR122017013717A8; RU2018135962A; ZA201508710B; WO2015003900A1; US20180048974A1; KR102658702B1; TW202326707A; JP2019113858A; CN110491397A; EP4012704A1; ZA202202891B; US9668079B2; AU2014289527A1; US11540076B2; CN116564321A; CN117116273A; CN105378833B

Abstract

Há duas representações para Ambissônicos de Ordem Superior (High Order Ambisonics) representados pela sigla HOA: domínio espacial e domínio de coeficiente. A presente invenção gera, a partir de uma representação de domínio de coeficiente, uma representação mista de domínio de coeficiente/espacial, em que o número dos ditos sinais HOA pode ser variável. Um vetor de sinais de domínio de coeficiente é separado em um vetor de sinais de domínio de coeficiente, tendo um número constante de coeficientes HOA, e um vetor de sinais de domínio de coeficiente tendo um número variável de coeficientes HOA. O vetor de coeficientes HOA de número constante é transformado em um vetor de sinal de domínio espacial correspondente. A fim de facilitar a codificação de alta qualidade, sem criar descontinuidades de sinal, o vetor de coeficientes HOA de número variável de sinais de domínio de coeficiente é adaptativamente normalizado e multiplexado com o vetor de sinais de domínio espacial.

Description

CAMPO TÉCNICO

[001] A presente invenção refere-se a um método e a um apare lho para a geração, a partir de uma representação de domínio de coeficiente de sinais HOA, de uma representação mista de domínio de co- eficiente/espacial dos ditos sinais HOA, em que o número de sinais HOA pode ser variável.

FUNDAMENTO

[002] Ambissônicos de Ordem Superior (High Order Ambisonics), representados pela sigla HOA, é uma descrição matemática de um campo sonoro bi- ou tridimensional. O campo sonoro pode ser captado por uma rede de microfones, concebido a partir de fontes sonoras sintéticas ou é uma combinação de ambos. HOA pode ser usado como um formato de transporte para o som surround bi- ou tridimensional. Em contraste com as representações de som surround à base de alto- falantes, uma vantagem de HOA é a reprodução do campo sonoro em diferentes arranjos de alto-falante. Portanto, HOA é adequado para um formato de áudio universal.

[003] A resolução espacial de HOA é determinada pela ordem de HOA. Essa ordem define o número de sinais HOA que descrevem o campo sonoro. Há duas representações para HOA, que são chamadas de domínio espacial e domínio de coeficiente, respectivamente. Na maioria dos casos, HOA é originalmente representado no domínio de coeficiente, e essa representação pode ser convertida em domínio espacial por uma multiplicação de matrizes (ou transformada) como descrito em EP 2469742 A2. O domínio espacial é composto do mesmo número de sinais que o domínio de coeficiente. No entanto, no domínio espacial, cada sinal está relacionado a uma direção, em que as direções são distribuídas uniformemente na esfera unitária. Isso facilita a análise da distribuição espacial da representação de HOA. Representações do domínio de coeficiente, bem como representações do domínio espacial são representações de domínio temporal.

SUMÁRIO DA INVENÇÃO

[004] A seguir, basicamente, o objetivo é utilizar, para a transmis são PCM de representações de HOA, tanto quanto possível, o domínio espacial, a fim de proporcionar uma faixa dinâmica idêntica para cada direção. Isso significa que as amostras PCM dos sinais HOA no domínio espacial têm que ser normalizadas para uma faixa de valores pre- definidos. No entanto, uma desvantagem de tal normalização é que a faixa dinâmica de sinais HOA no domínio espacial é menor do que no domínio de coeficiente. Isso é causado pela matriz de transformação que gera o sinal de domínio espacial a partir dos sinais de domínio de coeficiente.

[005] Em algumas aplicações, os sinais HOA são transmitidos no domínio de coeficiente, por exemplo, no processamento descrito em EP 13305558.2, em que todos os sinais são transmitidos no domínio de coeficiente porque um número constante de sinais HOA e um número variável de sinais HOA extras devem ser transmitidos. Porém, como mencionado acima e mostrado na EP 2469742 A2, uma transmissão no domínio de coeficiente não é benéfica. Como solução, o número constante de sinais HOA pode ser transmitido no domínio espacial e apenas os sinais HOA extras com número variável são transmitidos no domínio de coeficiente. Uma transmissão dos sinais HOA extras no domínio espacial não é possível, uma vez que um número variante no tempo de sinais HOA resultaria em matrizes de transformação de domínio de coeficiente em espacial variante no tempo, e descontinuidades, que são subótimas para uma subsequente codificação perceptual dos sinais PCM, podem ocorrer em todos os sinais de domínio espacial.

[006] Para assegurar a transmissão desses sinais HOA extras sem exceder uma faixa de valores predefinida, um processamento de normalização inversível pode ser usado, o qual é concebido para impedir tais descontinuidades de sinal e o qual também atinge uma transmissão eficiente dos parâmetros de inversão.

[007] Em relação à faixa dinâmica das duas representações de HOA e normalização de sinais HOA para codificação por PCM, é derivada a seguir caso tal normalização tiver que ocorrer no domínio de coeficiente ou no domínio espacial.

[008] No domínio de tempo de coeficiente, a representação de HOA consiste em quadros sucessivos de N sinais de coeficiente dn (k), n = 0, ..., N -1, em que k indica o índice da amostra e n indica o índice de sinal. Esses sinais de coeficiente são coletados em um vetor d(k) = [d0 (k), ... , dN-1(k)]T, a fim de obter uma representação compacta.

[009] A transformação para o domínio espacial é realizada pela matriz de transformação NxN

como definido na EP 12306569.0, ver a definição de 13 GRID em cone-xão com as equações (21) e (22).

[010] O vetor de domínio espacial w(k) = [w0(k) ... wN-1(k)]T é obti do de w(k) = Φ-1d(k), (1) em que Φ-1 é o inverso da matriz Φ.

[011] A transformação inversa do domínio espacial para o domí nio de coeficiente é realizada por d (k) = Φ w(k). (2)

[012] Se a faixa de valores das amostras for definida em um do mínio, então, a matriz da transformada Φ automaticamente define a faixa de valores do outro domínio. O termo (k) para a k-ésima amostra é omitido a seguir.

[013] Como a representação de HOA é efetivamente reproduzida no domínio espacial, a faixa de valores, a intensidade sonora e a faixa dinâmico são definidos nesse domínio. A faixa dinâmica é definida pela resolução de bits da codificação por PCM. Neste pedido, “codificação por PCM” significa uma conversão de amostras de representação de ponto flutuante em amostras de representação de número inteiro em notação de ponto fixo.

[014] Para a codificação por PCM da representação de HOA, os sinais de domínio espacial N têm que ser normalizados para a faixa de valores de -1 < Wn <1, de modo que possam ser dimensionados para cima para o valor PCM máximo Wmax e arredondados para a notação PCM de número inteiro de ponto fixo W’n = [wnWmax]. (3) Nota: essa é uma representação generalizada de codificação por PCM. A faixa de valores para as amostras do domínio de coeficiente pode ser calculada pela norma infinito de matriz Φ, a qual é definida por

(4) e pelo valor máximo absoluto no domínio espacial wmax = 1 para

vrlh. Como o valor de ||Φ||« é maior do que ‘1’ para a definição utilizada de matriz Φ, a faixa de valores de dn au-menta.

[015] O inverso significa que a normalização por

é necessá ria para uma codificação por PCM dos sinais no domínio de coeficiente 1 / <1 desde -

• No entanto, essa normalização reduz a faixa dinâmica dos sinais no domínio de coeficiente, o que resultaria em uma menor razão sinal-ruído de quantização. Por conseguinte, uma codificação por PCM dos sinais de domínio espacial deve ser pre- ferida.

[016] Um problema a ser resolvido pela presente invenção é a forma de transmitir parte dos sinais HOA desejados do domínio espa-cial no domínio de coeficiente utilizando normalização, sem reduzir a faixa dinâmica no domínio de coeficiente. Além disso, os sinais norma-lizados não devem conter saltos de nível de sinal de tal forma que possam ser perceptualmente codificados sem perda de qualidade cau-sada por salto. Este problema é resolvido pelos métodos descritos nas reivindicações 1 e 6. Os aparelhos que utilizam esses métodos são divulgados nas reivindicações 2 e 7, respectivamente.

[017] Em princípio, o método de geração da invenção é adequa do para a geração, a partir de uma representação de domínio de coefi-ciente de sinais HOA, de uma representação mista de domínio de coe- ficiente/espacial dos ditos sinais HOA, em que o número de sinais HOA pode ser variável no tempo em sucessivos quadros de coeficiente, o dito método incluindo as etapas de: - separar um vetor de sinais de domínio de coeficiente HOA em um primeiro vetor de sinais de domínio de coeficiente, tendo um número constante de coeficientes HOA, e um segundo vetor de sinais de do-mínio de coeficiente tendo um número variável no tempo de coeficien-tes HOA; - transformar o dito primeiro vetor de sinais de domínio de coeficiente em um vetor correspondente de sinais de domínio espacial, multipli-cando o dito vetor de sinais de domínio de coeficiente com o inverso de uma matriz de transformação; - codificar por PCM o dito vetor de sinais de domínio espacial, de modo a obter um vetor de sinais de domínio espacial codificados por PCM; - normalizar o dito segundo vetor de sinais de domínio de coeficiente por um fator de normalização, em que a dita normalização é uma nor- malização adaptativa com relação a uma faixa de valores atual dos coeficientes HOA do dito segundo vetor de sinais de domínio de coefi-ciente e, na dita normalização, a faixa de valores disponíveis para os coeficientes HOA do vetor não é excedida, e em cuja normalização, uma função de transição uniformemente contínua é aplicada aos coe-ficientes de um segundo vetor atual, a fim de mudar continuamente o ganho dentro de tal vetor, a partir do ganho em um segundo vetor pré-vio, para o ganho em um segundo vetor posterior, e cuja normalização provê informações secundárias para uma desnormalização secundária do decodificador correspondente. - codificar por PCM o dito vetor de sinais de domínio de coeficiente normalizados, de modo a obter um vetor de sinais de domínio de coe-ficiente normalizados e codificados por PCM; - multiplexar o dito vetor de sinais de domínio espacial codificados por PCM e o dito vetor de sinais de domínio de coeficiente normalizados e codificados por PCM.

[018] Em princípio, o aparelho de geração da invenção é ade quado para a geração, a partir de uma representação de domínio de coeficiente de sinais HOA, de uma representação mista de domínio de coeficiente/espacial dos ditos sinais HOA, em que o número de sinais HOA pode ser variável no tempo em sucessivos quadros de coeficien-te, o dito aparelho incluindo: - meios adaptados para a separação de um vetor de sinais de domínio de coeficiente HOA em um primeiro vetor de sinais de domínio de coe-ficiente, tendo um número constante de coeficientes HOA, e um se-gundo vetor de sinais de domínio de coeficiente tendo um número va-riável no tempo de coeficientes HOA; - meios adaptados para a transformação o dito primeiro vetor de sinais de domínio de coeficiente em um vetor correspondente de sinais de domínio espacial, multiplicando o dito vetor de sinais de domínio de coeficiente com o inverso de uma matriz de transformação; - meios adaptados para a codificação por PCM do dito vetor de sinais de domínio espacial, de modo a obter um vetor de sinais de domínio espacial codificados por PCM; - meios adaptados para a normalização do dito segundo vetor de sinais de domínio de coeficiente por um fator de normalização, em que a dita normalização é uma normalização adaptativa com relação a uma faixa de valores atual dos coeficientes HOA do dito segundo vetor de sinais de domínio de coeficiente e, na dita normalização, a faixa de valores disponíveis para os coeficientes HOA do vetor não é excedida, e em cuja normalização, uma função de transição uniformemente contínua é aplicada aos coeficientes de um segundo vetor atual, a fim de mudar continuamente o ganho dentro de tal vetor, a partir do ganho em um segundo vetor prévio, para o ganho em um segundo vetor posterior, e cuja normalização provê informações secundárias para uma desnormalização secundária do decodificador correspondente. - meios para a codificação por PCM do dito vetor de sinais de domínio de coeficiente normalizados, de modo a obter um vetor de sinais de domínio de coeficiente normalizados e codificados por PCM; - meios adaptados para a multiplexação do dito vetor de sinais de do-mínio espacial codificados por PCM e o dito vetor de sinais de domínio de coeficiente normalizados e codificados por PCM.

[019] Em princípio, o método de decodificação da invenção é adequado para a decodificação de uma representação mista de domí-nio de coeficiente/espacial de sinais HOA codificados, em que o núme-ro dos ditos sinais HOA pode ser variável no tempo em sucessivos quadros de coeficiente e em que a dita representação mista de domínio de coeficiente/espacial de sinais HOA codificados foi gerada de acordo com o método de geração da invenção acima, a dita decodifi- cação incluindo as etapas de: - demultiplexação dos ditos vetores multiplexados de sinais de domínio espacial codificados por PCM e sinais de domínio de coeficiente nor-malizados e codificados por PCM; - transformação do dito vetor de sinais de domínio espacial codificados por PCM em um vetor correspondente de sinais de domínio de coefici-ente, multiplicando o dito vetor de sinais de domínio espacial codifica-dos por PCM com a dita matriz de transformação; - desnormalização do dito vetor de sinais de domínio de coeficiente normalizados e codificados por PCM, em que a dita desnormalização inclui: - - calcular, utilizando um expoente correspondente en(j-1) da informa-ção secundária recebida e um valor de ganho calculado recursivamente gn(J-2), um vetor de transição hn(j-1), em que o valor de ganho gn(j- 1) para o processamento correspondente de um vetor posterior (D’’2) dos sinais de domínio de coeficiente normalizados e codificados por PCM a ser processado é mantido, j sendo um índice de execução de uma matriz de entrada de vetores de sinal HOA; - - aplicar o valor de ganho inverso correspondente a um vetor atual do sinal normalizado e codificado por PCM, de modo a obter um vetor correspondente do sinal desnormalizado e codificado por PCM; - - combinar o dito vetor de sinais de domínio de coeficiente e o vetor de sinais de domínio de coeficiente desnormalizados, de modo a obter um vetor combinado de sinais de domínio de coeficiente HOA que pode ter um número variável de coeficientes HOA.

[020] Em princípio, o aparelho de decodificação da invenção é adequado para a decodificação de uma representação mista de domí-nio de coeficiente/espacial de sinais HOA codificados, em que o núme-ro dos ditos sinais HOA pode ser variável no tempo em quadros de coeficiente sucessivos e em que a dita representação mista de domínio de coeficiente/espacial de sinais HOA codificados foi gerada de acordo com o método de geração da invenção acima, o dito aparelho de decodificação incluindo: - meios adaptados para a demultiplexação dos ditos vetores multiple- xados de sinais de domínio espacial codificados por PCM e sinais de domínio de coeficiente normalizados e codificados por PCM; - meios adaptados para a transformação do dito vetor de sinais de domínio espacial codificados por PCM em um vetor correspondente de sinais de domínio de coeficiente, multiplicando o dito vetor de sinais de domínio espacial codificados por PCM com a dita matriz de transfor-mação; - meios adaptados para a desnormalização do dito vetor de sinais de domínio de coeficiente normalizados e codificados por PCM, em que a dita desnormalização inclui: - - calcular, utilizando um expoente correspondente en(j-1) da informa-ção secundária recebida e um valor de ganho calculado recursivamente gn(J-2), um vetor de transição hn(j-1), em que o valor de ganho gn(j- 1) para o processamento correspondente de um vetor posterior dos sinais de domínio de coeficiente normalizados e codificados por PCM a ser processado é mantido, j sendo um índice de execução de uma matriz de entrada de vetores de sinal HOA; - - aplicar o valor de ganho inverso correspondente a um vetor atual do sinal normalizado e codificado por PCM, de modo a obter um vetor correspondente do sinal desnormalizado e codificado por PCM; - meios adaptados para a combinação do dito vetor de sinais de domí-nio de coeficiente e o vetor de sinais de domínio de coeficiente des- normalizados, de modo a obter um vetor combinado de sinais de do-mínio de coeficiente HOA que pode ter um número variável de coefici-entes HOA.

[021] Modalidades adicionais vantajosas da invenção são divul gadas nas reivindicações dependentes respectivas.

BREVE DESCRIÇÃO DOS DESENHOS

[022] Modalidades exemplificativas da invenção são descritas com referência aos desenhos anexos, que mostram na: - Figura 1: Transmissão PCM de uma representação de HOA de do-mínio de coeficiente original em domínio espacial; - Figura 2: Transmissão combinada da representação de HOA nos domínios de coeficiente e espacial; - Figura 3: Transmissão combinada da representação de HOA nos domínios de coeficiente e espacial utilizando normalização adaptativa em blocos para os sinais no domínio de coeficiente; - Figura 4: Processamento de normalização adaptativa para um sinal HOA xn(j) representado no domínio de coeficiente; - Figura 5: Função de transição utilizada para uma transição nivelada entre dois valores de ganho diferentes; - Figura 6: Processamento de desnormalização adaptativa; - Figura 7: Espectro de frequência FFT das funções de transição hn(l) utilizando diferentes expoentes en, em que a amplitude máxima de ca-da função é normalizada para 0dB; - Figura 8: Funções de transição exemplificativas para três sinais de vetores sucessivos.

DESCRIÇÃO DE MODALIDADES

[023] Em referência à codificação por PCM de uma representa ção de HOA no domínio espacial, presume-se que (na representação de ponto flutuante) -1 < Wn <1 é realizado para que a transmissão PCM de uma representação de HOA possa ser executada como mostrado na Figura 1. Uma etapa ou estágio de conversor 11 na entrada de um codificador HOA transforma o sinal de domínio de coeficiente d de um quadro de sinal de entrada atual no sinal de domínio espacial w usando a equação (1). A etapa ou estágio de codificação por PCM 12 converte as amostras de ponto flutuante w nas amostras de número inteiro codificadas por PCM w’ em notação de ponto fixo usando a equação (3). Na etapa ou estágio de multiplexador 13, as amostras w’ são multiplexadas em um formato de transmissão HOA.

[024] O decodificador HOA demultiplexa os sinais w’ do formato HOA de transmissão recebidos na etapa ou estágio de demultiplexa- dor 14, e retransforma-os na etapa ou estágio 15 nos sinais de domínio de coeficiente d’ utilizando a equação (2). Essa transformação inversa aumenta a faixa dinâmica de d’ de modo que a transformação do domínio espacial para o domínio de coeficiente sempre inclua uma conversão de formato de número inteiro (PCM) para ponto flutuante.

[025] A transmissão HOA padrão da Figura 1 irá falhar se a ma triz Φ for variante no tempo, que é o caso se o número ou o índice dos sinais HOA for variante no tempo para sequências de coeficiente HOA sucessivas, isto é, quadros de sinal de entrada sucessivos. Como mencionado acima, um exemplo de tal caso é o processamento de compressão de HOA descrito na EP 13305558.2: um número constante de sinais HOA é transmitido continuamente e um número variável de sinais HOA com mudança de índices de sinal n é transmitido em paralelo. Todos os sinais são transmitidos no domínio de coeficiente, que é subótimo conforme explicado acima.

[026] De acordo com a invenção, o processamento descrito em conexão com a Figura 1 é estendido, como mostrado na Figura 2. Na etapa ou estágio 20, o codificador de HOA separa o vetor de HOA d em dois vetores d1 e d2, em que o número M de coeficientes HOA para o vetor d1 é constante e o vetor d2 contém um número variável k de coeficientes HOA. Uma vez que os índices de sinal n são invariantes no tempo para o vetor d1, a codificação por PCM é executada no do-mínio espacial nas etapas ou estágios 21, 22, 23, 24 e 25 com sinais correspondentes w1 e w’1 mostrados nos percursos de sinal inferiores da Figura 2, correspondentes às etapas/estágios 11 a 15 da Figura 1. No entanto, a etapa/estágio de demultiplexador 23 recebe um sinal de entrada adicional d''2 e a etapa/estágio de demultiplexador 24 no de- codificador HOA fornece um sinal de saída d''2 diferente.

[027] O número de coeficientes HOA, ou o tamanho, K do vetor d2 é variante no tempo e os índices dos sinais HOA transmitidos n po-dem mudar ao longo do tempo. Isso impede uma transmissão no do-mínio espacial, porque uma matriz de transformação variante no tempo seria necessária, o que resultaria em descontinuidades de sinal em todos os sinais HOA perceptualmente codificados (uma etapa ou está-gio de codificação perceptual não está representado). Mas tais des- continuidades de sinal devem ser evitadas porque reduziriam a quali-dade da codificação perceptual dos sinais transmitidos. Dessa forma, d2 deve ser transmitido no domínio de coeficiente. Devido à maior faixa de valores dos sinais no domínio de coeficiente, os sinais devem ser dimensionados na etapa ou estágio 26 pelo fator 1/||Φ||« antes da co-dificação por PCM pode ser aplicada na etapa ou etapa 27. No entanto, uma desvantagem de tal dimensionamento é que o valor máximo absoluto da ||Φ||« é uma estimativa do pior caso, cujo valor máximo absoluto da amostra não irá ocorrer muito frequentemente, porque uma faixa de valores esperada normalmente é menor. Como resultado, a resolução disponível para a codificação por PCM não é usada de forma eficiente e a razão sinal-ruído de quantização é baixa.

[028] O sinal de saída d''2 da etapa/estágio de demultiplexador 24 é inversamente dimensionado na etapa ou estágio 28 usando o fator

. O sinal d"'2 resultante é combinado na etapa ou estágio 29 com o sinal d'1 resultante no sinal HOA de domínio de coeficiente descodifi-cado.

[029] De acordo com a invenção, a eficiência da codificação por PCM no domínio de coeficiente pode ser aumentada pela utilização de uma normalização adaptativa de sinal dos sinais. No entanto, tal nor- malização tem que ser inversível e uniformemente contínua de amostra para amostra. O processamento adaptativo em blocos necessário é mostrado na Figura 3. A j-ésima matriz de entrada D(j) = [d (jL + 0) • • • d (jL + L-1)] compreende vetores d de sinal HOA L (índice j não repre-sentado na Figura 3). A matriz D é separada nas duas matrizes D1 e D2, como no processamento na Figura 2. O processamento de D1 nas etapas ou estágios 31 a 35 corresponde ao processamento no domínio espacial descrito em conexão com a Figura 2 e a Figura 1. Mas a codi-ficação do sinal de domínio de coeficiente inclui uma etapa ou estágio de normalização adaptativa em blocos 36, que se adapta automatica-mente ao intervalo de valores atual do sinal, seguida pela etapa de co-dificação por PCM ou estágio 37. A informação secundária necessária para a desnormalização de cada sinal codificado por PCM na matriz D''2 é armazenada e transferida em um vetor e. O vetor c c lc

contém um valor por sinal. A etapa ou estágio de desnormalização adaptativa correspondente 38 do decodificador no lado de recepção inverte a normalização dos sinais D''2 para D'''2 usando a informação do vetor e transmitido. O sinal resultante D'''2 é combinado na etapa ou estágio 39 com o sinal D'1, resultante no sinal HOA de domínio de coeficiente descodificado D'.

[030] Na normalização adaptativa na etapa/estágio 36, uma fun ção de transição uniformemente contínua é aplicada às amostras do bloco de coeficiente de entrada atual, a fim de mudar continuamente o ganho de um último bloco de coeficiente de entrada para o ganho do bloco de coeficiente de entrada seguinte. Esse tipo de processamento requer um atraso de um bloco porque uma alteração do ganho de normalização tem que ser detectada um bloco de coeficiente de entra-da à frente. A vantagem é que a modulação de amplitude introduzida é pequena, de modo que uma codificação perceptual do sinal modulado não tem quase nenhum impacto sobre o sinal desnormalizado.

[031] Em relação à implementação da normalização adaptativa, esta é realizada de forma independente para cada sinal HOA de D2(j). Os sinais são representados pelos vetores em linha xnT da matriz

em que n indica que os índices dos sinais HOA transmitidos. xn é transposto porque originalmente é um vetor de coluna, mas aqui um vetor em linha é necessário.

[032] A Figura 4 ilustra essa normalização adaptativa na eta- pa/estágio 36 com mais detalhes. Os valores de entrada do processa-mento são: - o valor máximo temporalmente nivelado xn, max,sm (j-2), - o valor de ganho gn(j-2), ou seja, o ganho que foi aplicado ao último coeficiente do bloco de vetor de sinal correspondente xn(j-2), - o vetor de sinal do bloco atual xn(j), - o vetor de sinal do bloco anterior xn(j-1).

[033] Ao iniciar o processamento do primeiro bloco de xn(0), os valores de entrada recursivos são inicializados por valores predefini- dos: os coeficientes de vetor xn(-1) podem ser ajustados para zero, va-lor de ganho gn(-2) deve ser configurado para ‘1’, e xn,max,sm(-2) deve ser definido como um valor de amplitude média predefinido.

[034] Em seguida, o valor de ganho do último bloco gn(j-1), o va lor correspondente en(j-1) do vetor de informação secundária e(j-1), o valor máximo temporalmente nivelado xn,max,sm(-1) e o vetor de sinal normalizado x’n(j-1) são as saídas do processamento.

[035] O objetivo desse processamento é mudar continuamente os valores de ganho aplicados ao vetor de sinal xn(j-1) a partir de gn(j-2) para gn(j-1), tal que o valor do ganho gn(j-1) normalize o vetor de sinal xn(j) para a faixa de valor apropriada.

[036] Na primeira etapa ou estágio de processamento 41, cada coeficiente de sinal de vetor xn(j) = [xn,0(J) ... xn,L-1(j)] é multiplicado pelo valor de ganho gn(j-2), em que gn(j-2) foi mantido a partir do processa-mento de normalização do vetor de sinal xn(j-1) como base para um novo ganho de normalização. A partir do vetor de sinal normalizado resultante xn(j), o máximo xn,max dos valores absolutos é obtido na etapa ou estágio 42, utilizando a equação (5):

[037] Na etapa ou estágio 43, um nivelamento temporal é aplicado a xn,max utilizando um filtro recursivo que recebe um valor prévio xn,max,sm(j-2) do dito máximo nivelado, e resultando em um máximo temporalmente nivelado atual xn,max,sm(j-1). A finalidade de tal nivela-mento é atenuar a adaptação do ganho de normalização ao longo do tempo, o que reduz o número de mudanças de ganho e, portanto, a modulação de amplitude do sinal. O nivelamento temporal é somente aplicado se o valor xn,max estiver dentro de uma faixa de valores prede- finida. Caso contrário, xn, max,sm (j-1) é ajustado para xn,max (isto é, o valor de xn,max é mantido como está) porque o processamento subsequente tem que atenuar o valor real de xn,max para a faixa de valores predefini- da. Portanto, o nivelamento temporal é somente ativo quando o ganho normalização é constante ou quando o sinal xn(j) pode ser amplificado sem sair da faixa de valores.

[038] xn,max,sm(j-1) é calculado na etapa/estágio 43 como segue:

em que 0 < a < 1 é a constante de atenuação.

[039] A fim de reduzir a taxa de bits para a transmissão do vetor e, o ganho de normalização é calculado a partir do valor máximo tem- poralmente nivelado atual xn,max,sm(j-1) e é transmitido como um expo-ente à base de ‘2’. Dessa forma,

tem de ser realizado e o expoente quantizado en(j-1) é obtido de

no etapa ou estágio 44.

[040] Em períodos em que o sinal é reamplificado (isto é, o valor do ganho total é aumentado ao longo do tempo), a fim de explorar a resolução disponível para codificação por PCM eficiente, o expoente en(j) pode ser limitado (e, portanto, a diferença de ganho entre blocos sucessivos) a um pequeno valor máximo, por exemplo, '1'. Essa ope-ração tem dois efeitos vantajosos. Por um lado, pequenas diferenças de ganho entre blocos sucessivos levam a apenas pequenas modula-ções de amplitude através da função de transição, resultando na redu-ção da interferência entre sub-bandas adjacentes do espectro FFT (ve-ja a descrição relacionada do impacto da função de transição na codi-ficação perceptual em conexão com a Figura 7). Por outro lado, a taxa de bits para codificar o expoente é reduzida restringindo-se a sua faixa de valores.

[041] O valor da amplificação total máxima

pode ser limitado, por exemplo, para '1'. A razão é que, se um dos si- nais de coeficiente apresenta uma grande variação de amplitude entre dois blocos sucessivos, dos quais o primeiro tem amplitudes muito pe-quenas e o segundo tem a maior amplitude possível (assumindo a normalização da representação de HOA no domínio espacial), diferen-ças de ganho muito grandes entre esses dois blocos levarão a gran des modulações de amplitude através da função de transição, resul-tando em interferência grave entre sub-bandas adjacentes do espectro FFT. Isso pode ser subótimo para uma codificação perceptual subse-quente conforme discutido abaixo.

[042] Na etapa ou estágio 45, o valor do expoente en(j-1) é apli cado a uma função de transição, de modo a obter um valor de ganho atual gn(j-1). Para uma transição contínua do valor de ganho gn(j-2) para o valor de ganho gn(j-1), a função representada na Figura 5 é usada. A regra de cálculo para essa função é

em que l = 0, 1, 2, ..., L-1. O vetor de função de transição real hn(j-1) = [hn(0) ... hn(L-1)]T com h-i1) = βh “ (l)~i)-é~u■■■ (ii) é utilizado pa ra a atenuação contínua de gn(j-2) para gn(j-1). Para cada valor de en(j- 1), o valor de hn(0) é igual a gn(j-2), uma vez f(0) = 1. O último valor de f(L-1) é igual a 0,5, de modo que βn(j ~ 2)0.5 ’ irá resultar na amplificação necessária gn(j- 1) para a normalização de xn(j) a partir da equação (9).

[043] Na etapa ou estágio 46, as amostras do vetor de sinal xn(j- 1) são ponderados pelos valores de ganho do vetor de transição hn(j- 1), a fim de obter

em que o operador

T representa uma multiplicação elemento a elemento do vetor de dois vetores. Essa multiplicação pode também ser considerada como representante de uma modulação de amplitude do sinal xn(j-1).

[044] Em mais detalhes, os coeficientes do vetor de transição hn(j-1) = [hn(0) ... hn(L-1)]T são multiplicados pelos coeficientes corres-pondentes do sinal de vetor xn(j-1), em que o valor de hn(0) é hn(0) = gn(j-2) e o valor de hn(L-1) é hn(L-1) = gn(j-1). Por conseguinte, a função de transição diminui continuamente do valor de ganho gn(j-2) para o valor de ganho gn(j-1) como representado no exemplo da Figura 8, que mostra valores de ganho das funções de transição hn(j), hn(j-1) e hn(j-2) que são aplicadas aos vetores de sinal correspondentes xn(j), xn(j-1) e xn(j-2) por três blocos sucessivos. A vantagem em relação a uma codificação perceptual a jusante é que, nas bordas do bloco, os ganhos aplicados são contínuos: A função de transição hn(j-1) diminui continuamente os ganhos para os coeficientes de xn(j-1) de gn(j-2) para gn(j-1).

[045] O processamento de desnormalização adaptativa no lado do receptor ou decodificador é mostrado na Figura 6. Os valores de entrada são o sinal normalizado e codificado por PCM x'n(j - D, o expoente apropriado en(j-1) e o valor de ganho do último bloco de gn(j- 2). O valor de ganho do último bloco gn(j-2) é calculado recursivamente em que gn(j-2) tem que ser inicializado por um valor predefinido, que também foi utilizado no codificador. As saídas são o valor de ganho gn(j-1) da etapa/estágio 61 e o sinal desnormalizado x«(/ _ 1) da etapa/estágio 62.

[046] Na etapa ou estágio 61, o expoente é aplicado à função de transição. Para recuperar a faixa de valores de xn(j-1), a equação (11) calcula o vetor de transição hn(j-1) a partir do expoente recebido en(j- 1) e o ganho calculado recursivamente gn(J- 2). O ganho gn(J- 1) para o processamento do bloco seguinte é definido igual a hn(L-1).

[047] Na etapa ou estágio 62, o ganho inverso é aplicado. A mo dulação de amplitude aplicada do processamento de normalização é invertida por

em que

T são a multiplicação elemento a elemento do vetor que foi utilizada no lado do codificador ou transmissor. As amostras de Ü _ D não podem ser representadas pelo formato PCM de entrada de *n(Z - D, de modo que a des- normalização exige uma conversão para um formato de maior faixa de valores, como, por exemplo, o formato de ponto flutuante.

[048] Em relação à transmissão de informação secundária, para a transmissão dos expoentes en(j-1), não pode ser assumido que sua probabilidade é uniforme porque o ganho de normalização aplicada seria constante para os blocos consecutivos da mesma faixa de valo-res. Dessa forma, codificação de entropia, como, por exemplo, codifi-cação de Huffman, pode ser aplicada aos valores do expoente a fim de reduzir a taxa de dados requerida.

[049] Uma desvantagem do processamento descrito poderia ser o cálculo recursivo do valor de ganho gn(j-2). Por conseguinte, o pro-cessamento de desnormalização só pode iniciar a partir do início do fluxo HOA.

[050] Uma solução para esse problema é adicionar unidades de acesso ao formato HOA, a fim de fornecer a informação para calcular gn(j-2) regularmente. Nesse caso, a unidade de acesso tem que forne-cer os expoentes en,access = log2gn(j-2) (14) para cada t-ésimo bloco, de forma que <9-n.(./ _ 2.) = 2'■'í'ÜCL<:ss possa ser calculado e a desnormali- zação possa começar em cada t-ésimo bloco.

[051] O impacto em uma codificação perceptual do sinal normali zado xé _ 1) é analisado pelo valor absoluto da resposta de fre- 2πiiu

quência 71A l’ ríA j (15) da função hn(l). A resposta de frequência é definida pela Transformada Rápida de Fourier (FFT) de hn(l), como mostrado na equação (15).

[052] A Figura 7 mostra o espectro FFT de magnitude normaliza da (para 0dB) hn(u), a fim de clarificar a distorção espectral introduzida pela modulação de amplitude. O declínio de l^(u)lé relativamente abrupto para pequenos expoentes e torna-se plano para maiores ex-poentes.

[053] Uma vez que a modulação de amplitude de xn(j-1) por hn(l) no domínio de tempo é equivalente a uma convolução por Hn(u) no domínio de frequência, um declínio acentuado da resposta de frequên-cia Hn(u) reduz a interferência entre sub-bandas adjacentes do espectro FFT de xn(./ _ 1J. Isso é altamente relevante para uma codificação perceptual subsequente de _ IJporque a interferência de sub-banda tem uma influência sobre as características perceptuais es-timadas do sinal. Dessa forma, para um declínio abrupto de Hn(u), os pressupostos de codificação perceptual para xn(./ _ 1J também são válidos para o sinal não-normalizado xn(j-1).

[054] Isso mostra que para, pequenos expoentes, uma codifica ção perceptual dex/A7 _ 1.) é quase equivalente à codificação per-ceptual de xn(j-1) e que uma codificação perceptual do sinal normali-zado tem quase nenhum efeito sobre o sinal desnormalizado desde que a magnitude do expoente seja pequena.

[055] O processamento da invenção pode ser realizado por um único processador ou circuito eletrônico no lado de transmissão e no lado de recepção, ou por vários processadores ou circuitos eletrônicos operando em paralelo e/ou operando em diferentes partes do proces-samento da invenção.

Claims

1. Método para decodificar sinais HOA multiplexados e per- ceptualmente codificados, o referido método caracterizado pelo fato de que compreende: demultiplexar um vetor multiplexado de sinais de domínio espacial codificados por PCM de uma representação HOA e de sinais de domínio de coeficientes normalizados e codificados por PCM; transformar o vetor de sinais de domínio espacial codificados por PCM da representação HOA em um vetor correspondente de sinais de domínio de coeficiente através da multiplicação do vetor de sinais de domínio espacial codificados por PCM com uma matriz de transformada; desnormalizar o vetor de sinais de domínio de coeficiente codificados e normalizados por PCM, em que a referida desnormaliza- ção compreende: determinar um vetor de transição com base em um expoente correspondente de informações secundárias e um valor de ganho cal-culado recursivamente, em que o expoente correspondente e o valor de ganho são baseados em um índice de execução de uma matriz de entrada de vetores de sinal HOA; aplicar o valor de ganho inverso correspondente ao vetor de sinais de domínio de coeficiente codificados e normalizados por PCM, a fim de determinar um vetor correspondente de sinal codificado por PCM e desnormalizado; e combinar o vetor de sinais de domínio de coeficiente e o ve-tor de sinais de domínio de coeficiente desnormalizados para determi-nar um vetor combinado de sinais de domínio de coeficiente HOA que pode ter um número variável de coeficientes HOA, em que os sinais HOA multiplexados e perceptualmente co-dificados são perceptualmente decodificados de forma correspondente antes de serem demultiplexados.

2. Aparelho para decodificar sinais HOA multiplexados e per- ceptualmente codificados, o referido aparelho de decodificação carac-terizado pelo fato de que compreende: um demultiplexador para demultiplexar um vetor multiplexa- do de sinais de domínio espacial codificados por PCM de uma repre-sentação HOA e de sinais de domínio de coeficientes normalizados e codificados por PCM; uma primeira unidade de processamento para transformar o vetor de sinais de domínio espacial codificados por PCM da represen-tação HOA em um vetor correspondente de sinais de domínio de coe-ficiente, através da multiplicação do vetor de sinais de domínio espacial codificados por PCM com uma matriz de transformada; uma segunda unidade de processamento para desnormalizar o vetor de sinais de domínio de coeficiente codificados e normalizados por PCM, em que a segunda unidade de processamento é adaptada para: determinar um vetor de transição com base em um expoente correspondente de informações secundárias e um valor de ganho calculado recursivamente, em que o expoente correspondente e o valor de ganho são baseados em um índice de execução de uma matriz de entrada de vetores de sinal HOA; e aplicar o valor de ganho inverso correspondente ao vetor de sinais de domínio de coeficiente codificados e normalizados por PCM, a fim de determinar um vetor correspondente de sinal codificado por PCM e desnormalizado; e um combinador combinar o vetor de sinais de domínio de coeficiente e o vetor de sinais de domínio de coeficiente desnormali- zados para determinar um vetor combinado de sinais de domínio de coeficiente HOA que podem ter um número variável de coeficientes HOA, em que os sinais HOA multiplexados e perceptualmente co-dificados são perceptualmente decodificados de forma correspondente antes de serem demultiplexados.

3. Meio de armazenamento não transitório, caracterizado por conter ou armazenar, ou ter gravado nele, um sinal de áudio digital decodificado por um método conforme definido na reivindicação 1.