BRPI0707969B1 - codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador - Google Patents

Abstract

codificador e decodificador de áudio, métodos de codificação e de decodificação de áudio, e para transmitir e receber um sinal de audio, receptor para receber um sinal de áudio, transmissor e método para transmitir um fluxo de dados de saida, sistema de transmissão para transmitir um sinal de áudio, produto de programa de computador, dispositivos de gravação e de execução de áudio, e, fluxo de dados de áudio para um sinal de áudio, e, meio de armazenamento. um codificador de áudio compreende um receptor de múltiplos canais (401) que recebe um sinal de áudio de m canais onde m>2. um processador de mistura para baixo (403) faz a mistura para baixo do sinal de áudio de m canais para um primeiro sinal estéreo e os dados paramétricos associados e um processador espacial (407) modifica o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para uma função de transferência perceptual binaural, tal como uma head related transferência function (hrtf). o segundo sinal estéreo é um sinal binaural e pode especificamente ser um sinal espacial virtual (3d). um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados é gerado através de um processador de codificação(411) e um processador de saída (413). o processamento de hrtf pode permitir a geração de um sinal espacial virtual (3d) através de decodificadores de estéreo convencionais. um decodificador de múltiplos canais pode inverter o processo do processador espacial (407) para gerar um sinal de múltiplos canais de qualidade melhorada.

Description

CODIFICADOR DE ÁUDIO, DECODIFICADOR DE ÁUDIO, MÉTODO DE CODIFICAÇÃO DE ÁUDIO, RECEPTOR PARA RECEBER UM SINAL DE ÁUDIO, TRANSMISSOR, MÉTODO PARA TRANSMITIR UM FLUXO DE DADOS DE SAÍDA DE ÁUDIO, E PRODUTO DE PROGRAMA DE COMPUTADOR [001] A invenção se relaciona à codificação e decodificação de áudio e em particular, mas não de forma exclusiva, para codificação e decodificação de áudio envolvendo um sinal espacial virtual binaural.

[002] Codificação digital de vários sinais fonte tem se tornado de forma crescente importante nas últimas décadas conforme representação de sinal e comunicação digital de forma crescente tem substituído representação e comunicação analógica. Por exemplo, distribuição de conteúdo de mídia, tal como vídeo e musica, está de forma crescente baseada na codificação de conteúdo digital.

	[003]	Ainda mais, na última década	tem havido
uma	tendência	em direção a	áudio	de múltiplos	canais e
especificamente	em direção a	áudio	espacial se	estendendo
além	de sinais	estéreos convencionais	. Por exemplo,	gravações

de estéreo tradicionais somente compreendem dois canais ao passo que sistemas de áudio avançados modernos tipicamente usam cinco ou seis canais, como nos populares sistemas de som ambiente 5.1. Este fornece para uma mais experiência de audição envolvida onde o usuário pode ser rodeado por fontes de som.

[004] Várias técnicas e padrões tem sido desenvolvidos para comunicação de tais sinais de múltiplos canais. Por exemplo, seis canais discretos representando sistema ambiente de 5.1 podem ser transmitidos de acordo com

Petição 870190048905, de 24/05/2019, pág. 7/71

2/57 padrões tais como os padrões Advanced Audio Coding (AAC) ou Dolby Digital.

[005] Contudo, de modo a fornecer compatibilidade para trás, isto é conhecido para fazer mistura para baixo do número mais alto de canais para um número mais baixo e especificamente isto é de forma frequente usado para fazer a mistura para baixo de uma sinal de som ambiente 5.1 para um sinal estéreo permitindo um sinal estéreo ser reproduzido por decodificadores (estéreo) legados e um sinal RAM 5.1 por decodificadores de som ambiente.

[006] Um exemplo é o método de codificação compatível para trás de MPEG 2. Um sinal de múltiplos canais é com mistura feita para baixo em um sinal estéreo. Sinais adicionais são codificados na porção de dados acessórios permitindo a um decodificador de múltiplos canais de MPEG 2 gerar uma representação do sinal de múltiplos canais. Um decodificador de MPEG 1 vai ignorar os dados acessórios e assim sendo somente decodifica o com mistura feita estéreo. A principal desvantagem do método de codificação aplicado no MPEG 2 é que a taxa de dados adicional requerida para os sinais adicionais está na mesma ordem de magnitude que a taxa de dados requerida para codificar o sinal estéreo. A taxa de bit adicional para estender estéreo para áudio de múltiplos canais é, por conseguinte significativa.

[007] Outros métodos existentes para transmissão de múltiplos canais compatível para trás sem informação de múltiplos canais adicional podem tipicamente ser caracterizados como métodos de ambiente com matrizes. Exemplos de codificação de som ambiente por matriz incluem métodos tais como Dolby Pro lógica II e Logic-7. O princípio

Petição 870190048905, de 24/05/2019, pág. 8/71

3/57 comum desses métodos é que eles multiplicam por matriz os múltiplos canais do sinal de entrada através de uma matriz não quadrática adequada e por meio disso, gerando um sinal de saída com um número mais baixo de canais. Especificamente, um decodificador de matriz tipicamente aplica deslocamentos de fase de nos canais ambientes antes de mixá-los com os canais frontais e centrais.

[008] Uma outra razão para uma conversão de canal é a eficiência de codificação. Tem sido encontrado que e.g. sinais de áudio de som ambiente podem ser codificados como sinais de áudio de canal estéreo combinado com um fluxo de bit de parâmetro descrevendo como propriedades espaciais do sinal de áudio. O decodificador pode reproduzir os sinais de áudio estéreo com um grau muito satisfatório de precisão. Desta maneira, economia de taxa de bit substancial pode ser obtida.

[009] Existem vários parâmetros que podem ser usados para descrever como propriedades espaciais de sinais de áudio. Um tal parâmetro é a relação cruzada entre canais, tal como a relação cruzada entre o canal esquerdo e o canal direito para sinais estéreos. Um outro parâmetro é a proporção de potência dos canais. Nos assim chamados codificadores espaciais de áudio (paramétrico), esses e outros parâmetros são extraídos do sinal de áudio original a fim de produzir um sinal de áudio tendo a número reduzido de canais, por exemplo somente um canal único, mais um conjunto de parâmetros descrevendo como propriedades espaciais do sinal de áudio original. Nos assim chamados decodificadores espaciais de áudio (paramétrico), como propriedades espaciais como descritas através dos parâmetros espaciais transmitidos

Petição 870190048905, de 24/05/2019, pág. 9/71

4/57 são re-instaladas.

[010] Tal codificação espacial de áudio preferencialmente emprega uma estrutura hierárquica baseada em árvore ou cascata compreendendo unidades padrões no codificador e no decodificador. No codificador, essas unidades padrões podem ser fazedores de mistura para baixo combinando canais em um número mais baixo de canais tal como fazedores de mistura para baixo de 2 para l, 3 para l, 3 para 2, etc., enquanto no decodificador correspondente como unidades padrões podem ser fazedores de mistura para cima separando os canais uma maior número de canais tal como fazedores de mistura para cima de l para 2, 2 para 3.

[011] Um exemplo de um sistema em que um sinal de multi-canais é misturado para baixo a um sinal estéreo que é subsequentemente pós-processado usando parâmetros espaciais da mistura para baixo é apresentado na Publicação do Pedido de Patente do PCT WO 2005/098826A. Um exemplo de um aparelho de codificação e decodificação de sinal de áudio capaz de transmitir um sinal de áudio ou um sinal de áudio junto com um sinal de áudio processado por efeito de campo de som são providos na Publicação de Pedido de Patente dos Estados Unidos US2005/0273322A1.

[012] Posicionamento de fonte de som em um 3D é correntemente vantagem de ganho, especialmente no domínio da comunicação móvel. Reprodução de música e efeitos de som em jogos de comunicação móvel pode adicionar valor significativo à experiência do cliente quando posicionado em um 3D, de forma efetiva criando um efeito de um 3D “fora da cabeça”. Especificamente, isto é conhecido para gravar e reproduzir sinais de áudio binaural que contém informação direcional

Petição 870190048905, de 24/05/2019, pág. 10/71

5/57 específica a qual o ouvido humano é sensitivo. Gravações binaurais são tipicamente feitas usando dois microfones montados em uma cabeça humana de molde, tal que o som gravado corresponde ao som capturado pelo ouvido humano e inclui qualquer influência devido a forma da cabeça e dos ouvidos. Gravações binaurais diferem das gravações de estéreo (isto é, estéreo fônicas) no fato que a reprodução de uma gravação binaural é, de forma geral, pretendida para um conjunto de som de cabeça ou fones de ouvido, ao passo que uma gravação de estéreo é, de forma geral, feita para reprodução através de alto-falantes. Enquanto uma gravação binaural permite uma reprodução de toda informação espacial usando somente dois canais, uma gravação de estéreo não forneceria a mesma percepção espacial. Gravações de canal dual regular (estereofônico) ou de múltiplos canais (e.g. 5.1) podem ser transformadas em gravações binaurais fazendo a convolução de cada sinal regular com um conjunto de funções de transferência perceptual. Tais funções de transferência perceptual modelam a influência da cabeça humana, e possivelmente outros objetos, no sinal. Um bem conhecido tipo of função de transferência perceptual espacial é a assim chamada Head-Related Transferência Function (HRTF). Um tipo alternativo de função de transferência perceptual espacial, que também leva em consideração reflexões causadas pelas paredes, tetos e chão de uma sala, é a Binaural Room Impulse Response (BRIR).

[013] Tipicamente, algoritmos de posicionamento em um 3D empregam HRTFs, que descrevem a transferência de uma certa posição de fonte de som para os tímpanos dos ouvidos por meio de uma resposta de impulso. Posicionamento de fonte

Petição 870190048905, de 24/05/2019, pág. 11/71

6/57 de som em um 3D pode ser aplicado aos sinais de múltiplos canais por meio de HRTFs e por meio disso, permitindo a um sinal binaural fornecer informação de som espacial para um usuário por exemplo usando um par de fones de ouvido.

[014] É conhecido que a percepção de elevação é predominantemente facilitada pelos picos e depressões específicos no espectro chegando em ambos os ouvidos. Por outro lado, o azimute (percebido) de uma fonte de som é capturado nos indícios binaurais, tal como diferenças de nível e diferenças de tempo de chegada entre os sinais nos tímpanos do ouvido. A percepção de distância é principalmente facilitada pelo nível de sinal global e, no caso de ambientes de reverberação, através da proporção de energia direta e de reverberação. Na maioria dos casos é assumido que especialmente na última parte de reverberação, não há nenhum indício de localização da fonte de som confiável.

[015] Os indícios de percepção para elevação, azimute e distância podem ser capturados por meio de (pares de) resposta de impulso; uma resposta de impulso para descrever a transferência de uma posição de fonte de som específica para o ouvido esquerdo; e uma para o ouvido direito. Então, os indícios de percepção para elevação, azimute e distância são determinados através das propriedades correspondentes das (par de) respostas de impulso da HRTF. Na maioria dos casos, um par de HRTF é medida para um grande conjunto de posições de fonte de som; tipicamente com uma resolução espacial de cerca de 5 graus em ambas, elevação e azimute.

[016] Síntese de um 3D binaural convencional compreende filtragem (convolução) de um sinal de entrada com

Petição 870190048905, de 24/05/2019, pág. 12/71

7/57 um par de HRTF para a posição de fonte de som desejada. Contudo, já que HRTFs são tipicamente medidas em condições sem eco, a percepção da “distância “ou da localização “fora da cabeça “é frequentemente perdida. Embora convolução de um sinal com HRTFs sem eco não é suficiente para síntese de som em um 3D, o uso de HRTFs sem eco é frequentemente preferível de um ponto de vista de complexidade e de flexibilidade. O efeito de um ambiente com eco (requerido para criação da percepção de distância) pode ser adicionado a um estágio posterior, deixando alguma flexibilidade para o usuário final para modificar as propriedades acústicas da sala. Mais ainda, já que a reverberação tardia é frequentemente assumida ser em todas as direções (sem indícios da direção), este método de processamento é frequentemente mais eficiente do que fazer a convolução de cada fonte de som com um par de HRTF com eco. Ainda mais, além dos argumentos de complexidade e flexibilidade para acústicas da sala, da mesma forma o uso de HRTFs sem eco tem vantagens para síntese do sinal “seco “(pista direcional).

[017] Pesquisa recente no campo de posicionamento em um 3D tem mostrado que a resolução de resolução de frequência que é reapresentada através da resposta de impulsos da HRTF sem eco é em muitos casos maior do que necessário. De forma específica, parece que para ambos espectros de fase e magnitude, uma resolução de frequência não linear como proposto através da escala de ERB é suficiente para sintetizar as fontes de som em um 3D com uma precisão que não é diferente perceptivamente do processamento com HRTFs totalmente sem eco. Em outras palavras, espectro de HRTF sem eco não requerer uma resolução espectral que seja

Petição 870190048905, de 24/05/2019, pág. 13/71

8/57 maior do que a resolução de frequência do sistema auditivo humano.

[018] Um algoritmo de síntese binaural convencional é delineado na Fig. 1. Um conjunto de canais de entrada é filtrado através de um conjunto de HRTFs. Cada sinal de entrada é separado em dois sinais (um componente Left L, e um Right R); cada um desses sinais é filtrado de forma subsequente através de uma HRTF correspondendo à posição de fonte de som desejada. Todos os sinais do ouvido esquerdo são somados de forma subsequente para gerar o sinal de saída binaural esquerdo, e os sinais do ouvido direito são somados para gerar o sinal de saída binaural direito.

[019] A convolução da HRTF pode ser efetuada no domínio do tempo, mas é frequentemente preferido efetuar a filtragem como um produto no domínio da frequência. Neste caso, a soma também pode ser efetuada no domínio da frequência.

[020] Sistemas de decodificador são conhecidos que podem receber um sinal codificado de som ambiente e gerar uma experiência de som ambiente a partir de um sinal binaural. Por exemplo, sistemas de fone de ouvido permitindo um sinal de som ambiente a ser convertido para um sinal de som ambiente binaural para fornecer uma experiência de som ambiente para o usuário dos fones de ouvido, são conhecidos.

[021] Fig. 2 ilustra um sistema onde um decodificador de ambiente de MPEG recebe a sinal estéreo com dados paramétricos espaciais. O fluxo de bits de entrada é demultiplexado resultando em O último fluxo de bit é decodificado usando um decodificador de estéreo ou mono convencional. O com mistura feita para baixo decodificado é

Petição 870190048905, de 24/05/2019, pág. 14/71

9/57 decodificado através de um decodificador espacial que gera uma saída de múltiplos canais, com base nos parâmetros espaciais transmitidos. Finalmente, a saída de múltiplos canais é então processada através de um estágio de síntese binaural (similar àquele da Fig. 1) resultando in um sinal de saída binaural fornecendo Usuário A experiência de som ambiente para o usuário.

[022] Contudo, tal uma abordagem tem um número de desvantagens associadas.

[023] Por exemplo, a cascata do decodificador de som ambiente e a síntese binaural incluem a computação de uma representação de sinal de múltiplos canais como um passo intermediário, seguido pela convolução da HRTF e mistura para baixo no passo de síntese binaural. Isto pode resultar em uma complexidade aumentada e desempenho reduzido.

[024] Também, o sistema é muito complexo. Por exemplo decodificadores espaciais tipicamente operam em um domínio de sub-banda (QMF). Convolução de HRTF por outro lado pode tipicamente ser implementada mais eficientemente no domínio de FFT. Por conseguinte, uma cascata de bancos de filtro de síntese de QMF de múltiplos canais, uma transformada FFT de múltiplos canais, e uma transformada FFT inversa de múltiplos canais é necessário, resultando em um sistema com demandas de alta computação.

[025] A qualidade da experiência de usuário fornecida pode ser reduzida. Por exemplo, artefatos de codificação criados através do decodificador espacial para criar uma reconstrução de múltiplos canais ainda serão audíveis na saída binaural (estéreo).

[026] Ainda mais, a abordagem requer

Petição 870190048905, de 24/05/2019, pág. 15/71

10/57 decodificadores dedicados e processamento de sinal complexo a ser efetuado pelos dispositivos de usuário individuais. Isto pode entravar a aplicação em muitas situações. Por exemplo, dispositivos legados que são somente capazes de decodificar o estéreo com mistura feita para baixo, não serão capazes de fornecer uma experiência ao usuário de som ambiente.

[027] Então, uma codificação/decodificação de áudio melhorada seria vantajosa.

[028] Consequentemente, a Invenção procura preferencialmente diminuir, aliviar ou atenuar ou eliminar uma ou mais das desvantagens mencionadas isoladamente ou em combinação. combinação.

[029] De acordo com um primeiro aspecto da invenção é fornecido um codificador de áudio compreendendo: meios para receber um sinal de áudio de M canais onde M > 2; meios de mistura para baixo para mixar para baixo o sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados; gerar meios para modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural; meios para codificar o segundo sinal estéreo para gerar dados codificados; e meios de saída para gerar um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados.

[030] A invenção pode permitir codificação de áudio melhorada. Em particular, a invenção pode permitir uma codificação de estéreo efetiva de sinais de múltiplos canais enquanto permitindo decodificadores de estéreo legados para

Petição 870190048905, de 24/05/2019, pág. 16/71

11/57 fornecer uma experiência espacial melhorada. Ainda mais, a invenção permite um processo de síntese espacial virtual binaural a ser revertido no decodificador e por meio disso, permitindo decodificação de múltiplos canais de alta qualidade. A invenção pode permitir um codificador de complexidade baixa e pode em particular permitir uma geração de complexidade baixa de um sinal binaural. A invenção pode permitir implementação facilitada e re-uso de funcionalidade.

[031] A invenção pode em particular fornece um paramétrico com base na determinação de um sinal binaural espacial virtual a partir de um sinal de múltiplos canais.

[032] O sinal binaural pode especificamente ser um sinal binaural espacial virtual tal como um sinal estéreo binaural de um 3D virtual. O sinal de áudio de M canais pode ser um sinal ambiente tal como um sinal ambiente de 5.1. ou 7.1. O sinal binaural espacial virtual pode emular uma posição de fonte de som para cada canal do sinal de áudio de M canais. Os dados de parâmetro espacial podem compreender dados indicativos de uma função de transferência a partir de uma posição de fonte de som pretendida para o tímpano do ouvido de um usuário pretendido.

	[033]	A	função de	transferência perceptual
binaural	pode	por exemplo ser	uma	Head Related	Transfer
Function	(HRTF)	ou uma	Binaural Room	Impulso Response	(BPIR).
	[034]	De	acordo com	uma	característica	opcional
da invenção, os meios	de geração	são	arrumados para	gerar o
segundo	sinal	estéreo	calculando	va	lores de dados	de sub-
banda para o segundo	sinal estéreo,	em resposta aos dados

paramétricos associados, os dados de parâmetro espacial e valores de dados de sub-banda para o primeiro sinal estéreo.

Petição 870190048905, de 24/05/2019, pág. 17/71

12/57 [035] Isto pode permitir codificação melhorada e / ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e / ou uma carga de computação reduzida. Os intervalos de sub-banda de frequência do primeiro sinal estéreo, o segundo sinal estéreo, os dados paramétricos associados e os dados de parâmetro espacial podem ser diferentes ou alguma ou todas as sub-bandas podem ser substancialmente idênticas para alguns ou todos essas.

[036] De acordo com uma característica opcional da invenção, os meios de geração são arrumados para gerar valores de sub-banda para uma primeira sub-banda do segundo sinal estéreo em resposta à multiplicação de correspondentes valores estéreo da sub-banda para o primeiro sinal estéreo por uma primeira matriz de sub-banda; os meios de geração ainda compreendendo meios de parâmetros para determinar valores de dados da primeira matriz de sub-banda em resposta aos dados paramétricos associados e dados de parâmetro espacial para a primeira sub-banda.

[037] Isto pode permitir codificação melhorada e / ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e / ou volume de computação reduzido. A invenção pode em particular fornecer um paramétrico com base na determinação de um sinal binaural espacial virtual a partir de um sinal de múltiplos canais efetuando operações de matriz nas sub-bandas individuais. A primeira matriz de valores de sub-banda pode refletir o efeito combinado de uma estrutura em cascata de uma decodificação de múltiplos canais e filtragem de HRTF/BRIR dos múltiplos canais resultantes. A multiplicação

Petição 870190048905, de 24/05/2019, pág. 18/71

13/57 de matrizes de sub-banda pode ser efetuada para todas as subbandas do segundo sinal estéreo.

[038] De acordo com uma característica opcional da invenção, os meios de geração ainda compreendem meios para converter um valor de dados de, pelo menos, um do primeiro sinal estéreo, dos dados paramétricos associados e dos dados de parâmetro espacial, associados com a sub-banda tendo um intervalo de frequência diferente do primeiro intervalo de sub-banda para um correspondente valor de dados para a primeira sub-banda.

[039] Isto pode permitir codificação melhorada e/ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e/ou um volume de computação reduzido. De forma específica, a invenção pode permitir os diferentes processos e algoritmos a serem com base nas divisões de sub-banda, mais adequada para o processo individual.

[040] De acordo com uma característica opcional da invenção, os meios de geração são arrumados para determinar os valores estéreos de sub-banda Lb, Rb para a primeira sub-banda do segundo sinal estéreo substancialmente como:

Al

Al

Ai

Λ-., [041] onde Lo, Ro são correspondentes valores de sub-banda do primeiro sinal estéreo e os meios de parâmetros são arrumados para determinar os valores de dados da multiplicação de matriz substancialmente como:

hn = mu Hl (L) + m.21 Hl (R) + m.31 Hl (C) hi2 = mi2 Hl (L) + ΠΙ22 Hl (R) + m.32 Hl (C)

Petição 870190048905, de 24/05/2019, pág. 19/71

14/57 h2i = mil Hr (L) + max Hr (R) + max Hr (C) h22 = mi2 Hr (L) + maaHR (R) + maaHR (C) [042] onde mk,i são parâmetros determinados em resposta aos dados paramétricos associados para uma mistura para baixo através dos meios de mistura para baixo dos canais L, R e C para o primeiro sinal estéreo; e Hj(X) é determinado em resposta aos dados de parâmetro espacial para canal X para canal de saída estéreo J do segundo sinal estéreo.

[043] Isto pode permitir codificação melhorada e/ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e/ou um volume de computação reduzida.

[044] De acordo com uma característica opcional da invenção, pelo menos, um dos canais L e R correspondem a uma mistura para fora de, pelo menos, dois canais com mistura feita para baixo e os meios de parâmetros são arrumados para determinar Hj(X) em resposta a uma combinação ponderada dos dados de parâmetro espacial para o, pelo menos, dois canais com mistura feita para baixo.

[045] Isto pode permitir codificação melhorada e/ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e/ou um volume de computação reduzido.

[046] De acordo com uma característica opcional da invenção, os meios de parâmetros são arrumados para determinar uma ponderação dos dados de parâmetro espacial para os, pelo menos, dois canais com mistura feita para baixo em resposta a uma medida de energia relativa para os, pelo menos, dois canais com mistura feita para baixo.

[047] Isto pode permitir codificação melhorada

Petição 870190048905, de 24/05/2019, pág. 20/71

15/57 e/ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e/ou um volume de computação reduzida.

[048] De acordo com uma característica opcional da invenção, os dados de parâmetro espacial incluem, pelo menos, um parâmetro selecionado do grupo consistindo de: um nível médio por parâmetro de sub-banda; um parâmetro de tempo de chegada médio; uma fase de, pelo menos, um canal estéreo; um parâmetro de sincronismo; um parâmetro de retardo de grupo; uma fase entre canais estéreos; e um parâmetro de correlação de canal cruzado.

[049] Esses parâmetros podem de forma particular fornecer codificação vantajosa e em particular podem ser especificamente adequados para processamento de sub-banda.

[050] De acordo com uma característica opcional da invenção, os meios de saída são arrumados para incluir dados de posição de fonte de som no fluxo de saída.

[051] Isto pode permitir a um decodificador determinar dados de parâmetro espacial adequados e/ou pode fornecer uma maneira eficiente de indicar os dados de parâmetro espacial com baixa sobrecarga. Isto pode fornecer uma maneira eficiente de reverter o processo de síntese espacial virtual binaural no decodificador e por meio disso, permitir decodificação de múltiplos canais de alta qualidade. A característica pode ainda mais permitir uma melhorada experiência de usuário e pode permitir ou facilitar implementação de um sinal binaural espacial virtual com fontes de som em movimento. A característica pode alternativamente ou adicionalmente permitir uma customização

Petição 870190048905, de 24/05/2019, pág. 21/71

16/57 de uma síntese espacial em um decodificador por exemplo através de primeiro reverter a síntese efetuada no codificador seguido por uma síntese usando uma função de transferência perceptual binaural customizada ou individualizada.

[052] De acordo com uma característica opcional da invenção, os meios de saída são arrumados para incluir, pelo menos, algum dos dados de parâmetro espacial no fluxo de saída.

[053] Isto pode fornecer uma maneira eficiente de reverter o processo de síntese espacial virtual binaural no decodificador e por meio disso, permitir a decodificação de múltiplos canais de alta qualidade. A característica pode ainda mais permitir uma experiência de usuário melhorada e pode permitir ou facilitar a implementação de um sinal binaural espacial virtual com fontes de som em movimento. Os dados de parâmetro espacial podem ser diretamente ou indiretamente incluídos no fluxo de saída e.g. incluindo informação que permite a um decodificador determinar os dados de parâmetro espacial. A característica pode alternativamente ou adicionalmente permitir uma customização de uma síntese espacial em um decodificador por exemplo através de primeiro revertendo a síntese efetuada no codificador seguido por uma síntese usando uma função de transferência perceptual binaural customizada ou individualizada.

[054] De acordo com uma característica opcional da invenção, o codificador ainda compreende meios para determinar os dados de parâmetro espacial em resposta às posições de sinal de som desejadas.

[055] Isto pode permitir codificação melhorada

Petição 870190048905, de 24/05/2019, pág. 22/71

17/57 e/ou implementação facilitada. As posições de sinal de som desejadas podem corresponder as posições das fontes de som para os canais individuais do sinal de M canais.

[056] De acordo com um outro aspecto da invenção é fornecido um decodificador de áudio compreendendo: meios para receber dados de entrada compreendendo um primeiro sinal estéreo e os dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo um sinal binaural correspondendo ao sinal de áudio de M canais; e meios de geração para modificar o primeiro sinal estéreo para gerar o sinal estéreo com mistura feita para baixo, em resposta aos dados paramétricos e os primeiros dados de parâmetro espacial para uma função de transferência perceptual binaural, os primeiros dados de parâmetro espacial sendo associados com o primeiro sinal estéreo.

[057] A invenção pode permitir decodificação de áudio melhorada. Em particular, a invenção pode permitir uma decodificação de estéreo de alta qualidade, e pode especificamente permitir um processo de processo de síntese espacial virtual binaural de codificador a ser revertido no decodificador. A invenção pode permitir um decodificador de complexidade baixa. A invenção pode permitir implementação facilitada e re-uso de funcionalidade.

[058] O sinal binaural pode especificamente ser sinal binaural espacial virtual tal como um sinal estéreo binaural de um 3D virtual. Os dados de parâmetro espacial podem compreender dados indicativos de uma função de transferência a partir de uma posição de fonte de som par ao ouvido de um usuário pretendido. A função de transferência

Petição 870190048905, de 24/05/2019, pág. 23/71

18/57 perceptual binaural pode por exemplo ser uma Head Related Transfer Function (HRTF) ou a Binaural Room Impulse Response (BPIR).

[059] De acordo com uma característica opcional da invenção, o decodificador de áudio ainda compreende meios para gerar o sinal de áudio de M canais em resposta ao sinal estéreo com mistura feita para baixo e aos dados paramétricos.

[060] A invenção pode permitir decodificação de áudio melhorada. Em particular, a invenção pode permitir uma decodificação de múltiplos canais de alta qualidade e pode especificamente permitir um processo de síntese espacial virtual binaural de codificador a ser revertido no decodificador. A invenção pode permitir um decodificador de complexidade baixa. A invenção pode permitir implementação facilitada e re-uso de funcionalidade.

[061] O sinal de áudio de M canais podem ser a sinal ambiente tal como um sinal ambiente de 5.1. ou 7.1. O sinal binaural pode ser um sinal espacial virtual que emula uma posição de fonte de som para cada canal do sinal de áudio de M canais.

[062] De acordo com uma característica opcional da invenção, os meios de geração são arrumados para gerar o sinal estéreo com mistura feita para baixo calculando os valores de dados de sub-banda para o sinal estéreo com mistura feita para baixo, em resposta aos dados paramétricos associados, aos dados de parâmetro espacial e aos valores de dados de sub-banda para o primeiro sinal estéreo.

[063] Isto pode permitir decodificação melhorada e/ou implementação facilitada. De forma específica,

Petição 870190048905, de 24/05/2019, pág. 24/71

19/57 a característica pode fornecer complexidade reduzida e/ou um volume de computação reduzida. Os intervalos de sub-banda de frequência do primeiro sinal estéreo, o sinal estéreo, com mistura feita para baixo, os dados paramétricos associados e os dados de parâmetro espacial podem ser diferentes, ou algumas ou todas as sub-bandas podem ser substancialmente idênticas para algumas ou todas essas.

[064] De acordo com uma característica opcional da invenção, os meios de geração são arrumados para gerar valores de sub-banda para uma primeira sub-banda do sinal estéreo com mistura feita para baixo em resposta a uma multiplicação de correspondentes valores de sub-banda estéreo para o primeiro sinal estéreo por uma primeira matriz de subbanda;

[065] - os meios de geração ainda compreendendo meios de parâmetros para determinar valores de dados of a primeira matriz de sub-banda em resposta aos dados paramétricos e aos dados de parâmetro espacial para a primeira sub-banda.

[066] Isto pode permitir decodificação melhorada e/ou implementação facilitada. De forma específica, a característica pode fornecer complexidade reduzida e/ou um volume de computação reduzido. Os valores da primeira matriz de sub-banda podem refletir o efeito combinado de uma estrutura em cascata de uma decodificação de múltiplos canais e filtragem de HRTF/BRIR dos múltiplos canais resultantes. A multiplicação de matriz de sub-banda pode ser efetuada para todas as sub-bandas do sinal estéreo com mistura feita para baixo.

[067] De acordo com uma característica opcional

Petição 870190048905, de 24/05/2019, pág. 25/71

20/57 da invenção, os dados de entrada compreendem, pelo menos, alguns dados de parâmetro espacial.

[068] Isto pode fornecer uma maneira eficiente de reverter um processo de síntese espacial virtual binaural efetuado em um codificador e por meio disso, permitir decodificação de múltiplos canais de alta qualidade. A característica pode ainda mais permitir uma experiência de usuário melhorada e pode permitir ou facilitar implementação de um sinal binaural espacial virtual com fontes de som em movimento. Os dados de parâmetro espacial podem ser diretamente ou indiretamente incluídos nos dados de entrada e.g. pode ser qualquer informação que permita ao decodificador determinar os dados de parâmetro espacial.

[069] De acordo com uma característica opcional da invenção, os dados de entrada compreendem dados de posição de fonte de som e o decodificador compreende meios para determinar os dados de parâmetro espacial em resposta aos dados de posição de fonte de som.

[070] Isto pode permitir codificação melhorada e/ou implementação facilitada. As posições de sinal de som desejadas podem corresponder as posições das fontes de som para os canais individuais do sinal de M canais.

[071] O decodificador pode por exemplo compreender um armazenamento de dados compreendendo dados de parâmetro espacial de HRTF associados com diferentes posições de fonte de som e pode determinar os dados de parâmetro espacial para usar recuperando os dados de parâmetro para as posições indicadas.

[072] De acordo com uma característica opcional da invenção, o decodificador de áudio ainda compreende uma

Petição 870190048905, de 24/05/2019, pág. 26/71

21/57 unidade de decodificador espacial para produzir um par de canais de saída binaural modificando o primeiro sinal estéreo em resposta aos dados paramétricos associados e os segundos dados de parâmetro espacial para uma segunda função de transferência perceptual binaural, os segundos dados de parâmetro espacial sendo diferentes do que os primeiros dados de parâmetro espacial.

[073] A característica pode permitir uma síntese espacial melhorada e pode em particular permitir um sinal binaural sintetizado espacial customizado ou individual que é particularmente adaptada para o usuário específico. Isto pode ser alcançado enquanto ainda permitindo à decodificadores de estéreo legados gerar sinais binaurais espaciais sem requerer síntese espacial no decodificador. Por isso, um sistema de áudio melhorado pode ser alcançado. A segunda função de transferência perceptual binaural pode especificamente ser diferente do que a função de transferência perceptual binaural dos primeiros dados espaciais. A segunda função de transferência perceptual binaural e os segundos dados espaciais podem especificamente ser customizados para o usuário individual do decodificador.

[074] De acordo com uma característica opcional da invenção, o decodificador espacial compreende: uma unidade de conversão de parâmetro para converter os dados paramétricos em parâmetros de síntese binaural usando os segundos dados de parâmetro espacial, e uma unidade de síntese espacial para sintetizar o par de canais binaurais usando os parâmetros de síntese binaural e o primeiro sinal estéreo.

[075] Isto pode permitir desempenho melhorado

Petição 870190048905, de 24/05/2019, pág. 27/71

22/57 e/ou implementação facilitada e/ou complexidade reduzida. Os parâmetros binaurais podem ser parâmetros que podem ser multiplicados com amostras de sub-banda do primeiro sinal estéreo e/ou o sinal estéreo com mistura feita para baixo para gerar amostras de sub-banda para os canais binaurais. A multiplicação pode por exemplo ser uma multiplicação de matrizes.

[076] De acordo com uma característica opcional da invenção, os parâmetros de síntese binaural compreendem coeficientes de matriz para uma matriz 2 por 2 relacionando amostras de estéreo do sinal estéreo com mistura feita para baixo para amostras de estéreo do par de canais de saída binaural.

[077] Isto pode permitir desempenho melhorado e/ou implementação facilitada e/ou complexidade reduzida. As amostras de estéreo podem ser amostras de sub-banda de estéreo de e.g. sub-bandas de frequência de transformada de Fourier ou QMF.

[078] De acordo com uma característica opcional da invenção, os parâmetros de síntese binaural compreendem coeficientes de matriz para uma matriz 2 por 2 relacionando amostras de sub-banda de estéreo do primeiro sinal estéreo para amostras de estéreo do par de canais de saída binaural.

[079] Isto pode permitir desempenho melhorado e/ou implementação facilitada e/ou complexidade reduzida. As amostras de estéreo podem ser amostras de sub-banda de estéreo de e.g. sub-bandas de frequência de transformada de Fourier ou QMF.

[080] De acordo com um outro aspecto da invenção é fornecido um método de codificação de áudio, o

Petição 870190048905, de 24/05/2019, pág. 28/71

23/57 método compreendendo: receber um sinal de áudio de M canais onde M > 2; fazer mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados; modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural; codificar o segundo sinal estéreo para gerar dados codificados; e gerar um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados.

[081] De acordo com um outro aspecto da invenção é fornecido um método de decodificação de áudio, o método compreendendo:

[082] - receber dados de entrada compreendendo um primeiro sinal estéreo e os dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo um sinal binaural correspondendo ao sinal de áudio de M canais; e [083] - modificar o primeiro sinal estéreo para gerar o sinal estéreo, com mistura feita para baixo em resposta aos dados paramétricos e aos dados de parâmetro espacial para a função de transferência perceptual binaural, os dados de parâmetro espacial sendo associados com o primeiro sinal estéreo.

[084] De acordo com um outro aspecto da invenção é fornecido a receptor para receber um sinal de áudio compreendendo: meios para receber dados de entrada compreendendo um primeiro sinal estéreo e os dados

Petição 870190048905, de 24/05/2019, pág. 29/71

24/57 paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo um sinal binaural correspondendo ao sinal de áudio de M canais; e gerar meios para modificar o primeiro sinal estéreo para gerar o sinal estéreo com mistura feita para baixo, em resposta aos os dados paramétricos e aos dados de parâmetro espacial para a

função de	transferência	perceptual	binaural, os dados	de
parâmetro	espacial	sendo	associados	com o primeiro sinal
estéreo.	[085]	De acordo com	um outro aspecto	da

invenção é fornecido a transmissor para transmitir um fluxo de dados de saída; o transmissor compreendendo: meios para receber um sinal de áudio de M canais onde M > 2; meios de mistura para baixo para fazer mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados; gerar meios para modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural; meios para codificar o segundo sinal estéreo para gerar dados codificados; meios de saída para gerar um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados; e meios para transmitir o fluxo de dados de saída.

[086] De acordo com um outro aspecto da invenção é fornecido um sistema de transmissão para transmitir um sinal de áudio, o sistema de transmissão compreendendo: um transmissor compreendendo: meios para

Petição 870190048905, de 24/05/2019, pág. 30/71

25/57 receber um sinal de áudio de M canais onde M > 2, meios de mistura para baixo para fazer mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados, gerar meios para modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e aos dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural, meios para codificar o segundo sinal estéreo para gerar dados codificados, meios de saída para gerar um fluxo de dados de saída de áudio compreendendo os dados codificados e os dados paramétricos associados, e meios para transmitir o fluxo de dados de saída de áudio; e a receptor compreendendo: meios para receber o fluxo de dados de saída de áudio; e meios para modificar o segundo sinal estéreo para gerar o primeiro sinal estéreo em resposta aos dados paramétricos e aos dados de parâmetro espacial.

[087] De acordo com um outro aspecto da invenção é fornecido um método para receber um sinal de áudio, o método compreendendo: receber dados de entrada compreendendo um primeiro sinal estéreo e os dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo um sinal binaural correspondendo ao sinal de áudio de M canais; e modificar o primeiro sinal estéreo para gerar o sinal estéreo com mistura feita para baixo, em resposta aos dados paramétricos e aos dados de parâmetro espacial para uma função de transferência perceptual binaural, os dados de parâmetro espacial sendo associados com o primeiro sinal estéreo.

Petição 870190048905, de 24/05/2019, pág. 31/71

26/57 [088] De acordo com um outro aspecto da invenção é fornecido a método para transmitir um fluxo de dados de saída de áudio, o método compreendendo: receber um sinal de áudio de M canais onde M > 2; fazer mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados; modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e aos dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural; codificar o segundo sinal estéreo para gerar dados codificados; e gerar um fluxo de dados de saída de áudio compreendendo os dados codificados e os dados paramétricos associados; e transmitir o fluxo de dados de saída de áudio.

[089] De acordo com um outro aspecto da invenção é fornecido a método para transmitir e receber um sinal de áudio, o método compreendendo receber um sinal de áudio de M canais onde M > 2; fazer mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados; modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e aos dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural; codificar o segundo sinal estéreo para gerar dados codificados; e gerar um fluxo de dados de saída de áudio compreendendo os dados codificados e os dados paramétricos associados; transmitir o fluxo de dados de saída de áudio; receber o fluxo de dados de saída de áudio; e modificar o segundo sinal estéreo para gerar o primeiro sinal estéreo em

Petição 870190048905, de 24/05/2019, pág. 32/71

27/57 resposta aos dados paramétricos e aos dados de parâmetro espacial.

[090] De acordo com um outro aspecto da invenção é fornecido um produto de programa de computador para executar qualquer dos métodos descritos acima.

[091] De acordo com um outro aspecto da invenção é fornecido um dispositivo de gravação de áudio compreendendo um codificador de acordo com o codificador descrito acima.

[092] De acordo com um outro aspecto da invenção é fornecido um dispositivo de execução de áudio compreendendo um decodificador de acordo com o decodificador descrito acima.

[093] De acordo com um outro aspecto da invenção é fornecida um fluxo de dados de áudio para um sinal de áudio compreendendo um primeiro sinal estéreo; e dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2; onde o primeiro sinal estéreo é um sinal binaural correspondendo ao sinal de áudio de M canais.

[094] De acordo com um outro aspecto da invenção é fornecido a meio de armazenamento tendo armazenado nele um sinal como descrito acima.

[095] Esses e outros aspectos, características e vantagens da invenção serão aparentes e elucidados com referência as modalidades descritas daqui em diante.

[096] Modalidades da invenção serão descritas, por meio de exemplo somente, com referência aos desenhos, nos quais [097] Fig. 1 é uma ilustração de uma síntese

Petição 870190048905, de 24/05/2019, pág. 33/71

28/57 binaural de acordo com a arte anterior;

[098] Fig. 2 é uma ilustração de uma cascata de um decodificador de múltiplos canais e uma síntese binaural;

[099] Fig. 3 ilustra um sistema de transmissão para comunicação de um sinal de áudio de acordo com algumas modalidades da invenção;

[0100] Fig. 4 ilustra um codificador de acordo com algumas modalidades da invenção;

[0101] Fig. 5 ilustra um codificador paramétrico de mistura para baixo de som ambiente;

[0102] Fig. 6 ilustra um exemplo de uma posição de fonte de som relativa a um usuário;

[0103] Fig. 7 ilustra um decodificador de múltiplos canais de acordo com algumas modalidades da invenção;

[0104]	Fig.	8	ilustra a	decodificador	de	acordo
com algumas modalidades	da	invenção;
[0105]	Fig.	9	ilustra um	decodificador	de	acordo
com algumas modalidades	da	invenção;

[0106] Fig. 10 ilustra um método de codificação de áudio de acordo com algumas modalidades da invenção; e [0107] Fig. 11 ilustra um método de decodificação de áudio de acordo com algumas modalidades da invenção.

[0108] Fig. 3 ilustra um sistema de transmissão 300 para comunicação de um sinal de áudio de acordo com algumas modalidades da invenção. O sistema de transmissão 300 compreende um transmissor 301 que é acoplado a um receptor 303 através de uma rede 305 que especificamente pode ser a Internet.

Petição 870190048905, de 24/05/2019, pág. 34/71

29/57 [0109] No exemplo específico, o transmissor 301 é um dispositivo de gravação de sinal e o receptor é a dispositivo de execução de sinal 303 mas será apreciado que em outras modalidades um transmissor e receptor pode ser usado em outras aplicações e para outros propósitos. Por exemplo, o transmissor 301 e / ou o receptor 303 pode ser parte de uma funcionalidade de trans-codificação e pode e.g. fornecer interface para outras fontes de sinal ou destinações.

[0110] No exemplo específico onde uma função de gravação de sinal é suportada, o transmissor 301 compreende um digitalizador 307 que recebe um sinal analógico que é convertido para um sinal digital PCM através de amostragem e conversão analógica para digital. O digitalizador 307 amostra uma grande quantidade de sinais e por meio disso, gera um sinal de múltiplos canais.

[0111] O transmissor 301 é acoplado ao codificador 309 da Fig. 1 que codifica o sinal de múltiplos canais de acordo com um algoritmo de codificação. O codificador 300 é acoplado a um transmissor de rede 311 que recebe o sinal codificado e faz interface com a Internet 305. O transmissor de rede pode transmitir o sinal codificado para o receptor 303 através da Internet 305.

[0112] O receptor 303 compreende um receptor de rede 313 que faz interface com a Internet 305 e que são arrumados para receber o sinal codificado do transmissor 301.

[0113] O receptor de rede 311 é acoplado a um decodificador 315. O decodificador 315 recebe o sinal codificado e o decodifica de acordo com um algoritmo de codificação.

Petição 870190048905, de 24/05/2019, pág. 35/71

30/57 [0114] No exemplo específico onde uma função de execução de áudio é suportada, o receptor 303 ainda compreende um executor de sinal 317 que recebe o sinal de áudio decodificado do decodificador 315 e o apresenta para o usuário. De forma específica, o executor de sinal 313 pode compreende um conversor de digital para analógico, amplificadores e alto-falantes como requerido para emitir o sinal de áudio decodificado.

[0115] No exemplo específico, o codificador 309 recebe um sinal de som ambiente de cinco canais e faz a mistura para baixo deste para um sinal estéreo. O sinal estéreo é então pós-processado para gerar um sinal binaural que especificamente é um sinal binaural espacial virtual na forma de mistura para baixo de um 3D. Usando um estágio de pós-processamento de um 3D trabalhando na mistura para baixo após a codificação espacial, o processamento de um 3D pode ser invertido no decodificador 315. Como um resultado, um decodificador de múltiplos canais para execução em altofalante não vai mostrar nenhuma degradação significativa na qualidade devido a mistura para baixo de estéreo modificado, enquanto ao mesmo tempo, mesmo decodificadores de estéreo convencionais irão produzir um sinal compatível com um 3D. Assim sendo, o codificador 309 pode gerar um sinal que permite a decodificação de múltiplos canais de alta qualidade e ao mesmo tempo permite uma experiência pseudo-espacial a partir de uma saída de estéreo tradicional tal como e.g. a partir de um decodificador tradicional alimentando um par de fones de ouvido.

[0116] Fig. 4 ilustra o codificador 309 em mais detalhe.

Petição 870190048905, de 24/05/2019, pág. 36/71

31/57 [0117] O codificador 309 compreende um receptor de múltiplos canais 401 que recebe um sinal de áudio de múltiplos canais. Embora os princípios descritos se aplicarão a um sinal de múltiplos canais compreendendo qualquer número de canais acima de dois, o exemplo específico vai focar em um sinal de cinco canais correspondendo a um sinal de som ambiente padrão (para clareza e brevidade o canal de frequência mais baixa usado para sinais de ambiente será ignorado. Contudo será claro para a pessoa com qualificação na arte que o sinal de múltiplos canais pode ter um canal de frequência baixa adicional. Este canal pode por exemplo ser combinado com o canal Central através de um processador de mistura para baixo).

[0118] O receptor de múltiplos canais 401 é acoplado a um processador de mistura para baixo 403 que são arrumados para fazer a mistura para baixo do sinal de cinco canais de áudio para um primeiro sinal estéreo. Em adição, o processador de mistura para baixo 403 gera dados paramétricos 405 associados com o primeiro sinal estéreo e contendo pistas e informações de áudio relacionando o primeiro sinal estéreo aos canais originais do sinal de múltiplos canais.

[0119] O processador de mistura para baixo 403 pode por exemplo implementar um codificador de múltiplos canais ambiente de MPEG. Um exemplo de tal é ilustrado na Fig. 5. No exemplo, o sinal de entrada de múltiplo canal consiste dos canais Lf (Esquerdo front), Ls (Left surround), C (Center), Rf (Right front) e Rs (Right surround). Os canais Lf e Ls canais são alimentados a um primeiro fazedor de mistura para baixo TTO (Two To One) 501 que gera uma mistura para baixo mono para um canal Left (L), assim como parâmetros

Petição 870190048905, de 24/05/2019, pág. 37/71

32/57 relacionando os dois canais de entrada Lf e Ls para o canal de saída L. De forma similar, os canais Rf e Rs canais são alimentados ao segundo TTO fazedor de mistura para baixo de TTO 503 que gera uma mistura para baixo mono para um canal Right (R) assim como parâmetros relacionando os dois canais de entrada Rf e Rs para o canal de saída R. Os canais da R, L e C canais são então alimentados para um fazedor de mistura para abaixo de TTT (Three To Two) 505 que combina esses sinais para gerar uma mistura para baixo de estéreo e parâmetros espaciais adicionais.

[0120] Os parâmetros resultando do fazedor de mistura para baixo de TTT 505 tipicamente consistem de um par de coeficientes de prognóstico para cada banda de parâmetro, ou um par de diferenças de nível para descrever as proporções de energia dos três sinais de entrada. Os parâmetros dos fazedores de mistura para baixo de TTO 501, 503 tipicamente consistem de diferenças de níveis e valores de coerência ou relação cruzada entre os sinais de entrada para cada banda de frequência.

[0121] O primeiro sinal estéreo gerado é assim sendo um sinal estéreo convencional padrão compreendendo um número de canais com mistura feita para baixo. Um decodificador de múltiplos canais pode recriar o sinal de múltiplos canais original fazendo mistura para baixo e aplicando os dados paramétricos associados. Contudo, um decodificador estéreo padrão meramente irá fornecer um sinal estéreo e por meio disso, perdendo informação espacial e produzindo uma experiência reduzida para o usuário.

[0122] Contudo, no codificador 309, o sinal estéreo, com mistura feita para baixo, não é codificado e

Petição 870190048905, de 24/05/2019, pág. 38/71

33/57 transmitido. Mais propriamente, o primeiro sinal estéreo é alimentado para um processador espacial 407 ao qual também é alimentado os dados de parâmetro associados 405 a partir do processador de mistura para baixo 403. O processador espacial 407 é ainda mais acoplado a um processador de HRTF 409.

[0123] O processador de HRTF 409 gera dados de parâmetro de Head-Related Transfer Function (HRTF) usados pelo processador espacial 407 para gerar sinal binaural de um 3D. De forma específica, uma HRTF descreve a função de transferência a partir de uma dada posição de fonte de som para o tímpano dos ouvidos por meio de uma resposta de impulso. O processador de HRTF 409 especificamente gera dados de parâmetro de HRTF correspondendo a um valor de uma função de HRTF desejada em uma sub-banda de frequência. O processador de HRTF 409 pode por exemplo calcular uma HRTF para a posição de fonte de som de um dos canais do sinal de múltiplos canais. Esta função de transferência pode ser convertida para um domínio de sub-banda de frequência adequada (tal como um domínio de sub-banda de FFT ou QMF) e o correspondente valo de parâmetro de HRTF em cada sub-banda pode ser determinado.

[0124] Será apreciado que embora a descrição foca sobre uma aplicação de Head-Related Transfer Functions, a abordagem e princípios descritos se aplicam igualmente bem para outras funções de transferência perceptual binaural (espacial), tal como uma função de Binaural Room Impulse Response (BRIR). Um outro exemplo de uma função de transferência perceptual binaural é uma simples regra de identificação de amplitude que descreve a quantidade relativa de nível de sinal de um canal de entrada para cada um dos

Petição 870190048905, de 24/05/2019, pág. 39/71

34/57 canais de saída de estéreo binaural.

[0125] Em algumas modalidades, os parâmetros da HRTF podem ser calculados de forma dinâmica, ao passo que em outras modalidades eles podem ser pré-determinados e armazenados em um depósito de dados adequado. Por exemplo, os parâmetros da HRTF podem ser armazenados em um banco de dados como uma função de azimute, elevação, distância e banda de frequência. Os parâmetros apropriados da HRTF para uma dada sub-banda de frequência pode então simplesmente ser recuperada selecionando os valores para a posição de fonte de som espacial desejada.

[0126] O processador espacial 407 modifica o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e aos dados de parâmetro da HRTF espaciais. Ao contrário do primeiro sinal estéreo, o segundo sinal estéreo é um sinal binaural espacial virtual e especificamente um sinal binaural de um 3D que quando apresentado através de um sistema de estéreo convencional (e.g. através de um par de fones de ouvido) pode fornecer uma experiência espacial melhorada emulando a presença de mais do que duas fontes de som em posições diferentes de fonte de som.

[0127] O segundo sinal estéreo é alimentado para um processador de codificação 411 que é acoplado para o processador espacial 407 e que codifica o segundo sinal em um fluxo de dados adequado para transmissão (e.g. aplicando níveis de quantização adequados etc). O processador de codificação 411 é acoplado a um processador de saída 413 que gera um fluxo de saída combinando, pelo menos, os dados do segundo sinal estéreo codificado e os dados de parâmetro

Petição 870190048905, de 24/05/2019, pág. 40/71

35/57 associados 405 gerado através do processador de mistura para baixo 403.

[0128] Tipicamente, síntese de HRTF requer formas de onda para todas as fontes de som individuais (e.g. sinais de alto-falantes no contexto de um sinal de som ambiente). Contudo, no codificador 307, pares de HRTF são parametrizados para sub-bandas de frequência e por meio disso, permitindo e.g. uma configuração de alto-falante virtual 5.1 a ser gerada por meio de pós-processamento de complexidade da mistura para baixo do sinal de entrada de múltiplos canais, a ajuda dos parâmetros espaciais que foram extraídos durante o processo de codificação (e mistura para baixo).

[0129] O processador espacial pode especificamente operar em um domínio de sub-banda tal como um domínio de sub-banda de FFT ou QMF ou FFT. Mais propriamente do que decodificar o primeiro sinal estéreo com mistura feita para baixo para gerar o sinal de múltiplos canais original seguido por uma síntese de HRTF usando filtragem de HRTF, o processador espacial 407 gera valores de parâmetro para cada sub-banda correspondendo ao efeito combinado de decodificar o primeiro sinal estéreo com mistura feita para baixo para um sinal de múltiplos canais seguido por uma re-codificação do sinal de múltiplos canais como um sinal binaural de um 3D.

[0130] De forma específica, os inventores tem realizado que o sinal binaural de um 3D pode ser gerado aplicando uma multiplicação de matriz 2x2 para os valores de sinal de sub-banda sinal do primeiro sinal. Os valores de sinal resultantes do segundo sinal correspondem estreitamente aos valores do sinal que seria gerado por uma decodificação

Petição 870190048905, de 24/05/2019, pág. 41/71

36/57 de múltiplos canais em cascata e síntese de HRTF. Assim sendo, o processamento de sinal combinado da codificação de múltiplos canais e síntese de HRTF, pode ser combinado em quatro valores de parâmetro (os coeficientes de matriz) que podem simplesmente ser aplicados para os valores de sinal de sub-banda do primeiro sinal para gerar os valores de subbanda desejados do segundo sinal. Já que os valores de parâmetro das matrizes refletem o processo combinado de decodificação do sinal de múltiplos canais e da síntese de HRTF, os valores de parâmetro são determinados em resposta à ambos, os dados paramétricos associados do processador de mistura para baixo 403 assim como os parâmetros de HRTF.

[0131] No codificador 309, as HRTF funções de HRTF são parametrizadas para as bandas de frequências individuais. O propósito da parametrização da HRTF é capturar o mais importante indício para localização da fonte de som a partir de cada par de HRTF. Esses parâmetros podem incluir:

[0132] - um nível (médio) por sub-banda de frequência para a resposta de impulso do ouvido esquerdo;

[0133] - um nível (médio) por sub-banda de frequência para a resposta de impulso do ouvido direito;

[0134] - um tempo (médio) de chegada ou diferença de fase entre resposta de impulso do ouvido esquerdo e do ouvido direito;

[0135] - uma (média) fase absoluta ou tempo (ou retardo de grupo) por sub-banda de frequência para ambas respostas de impulsos do ouvido esquerdo e do direito (neste caso, o tempo ou diferença de fase se torna na maioria dos casos obsoletos);

[0136] - uma correlação de canal cruzada ou

Petição 870190048905, de 24/05/2019, pág. 42/71

37/57 coerência por sub-banda de frequência entre correspondentes respostas de impulsos.

[0137] Os parâmetros de nível por sub-banda de frequência podem facilitar ambas sínteses de elevação (devido a específicos picos e no espectro) assim como diferenças de nível para azimute (determinada pela proporção dos parâmetros de nível para cada banda).

[0138] Os valores de fase absolutos ou valores de diferença de fase podem capturar diferenças de tempo de chegada entre ambos ouvidos, que também importantes indícios para azimute de fonte de som. O valor de coerência poderia ser adicionado para simular diferenças de estrutura finas entre ambos os ouvidos que não podem ser contribuídas para a média de nível e / ou diferença de fase, por (parâmetro) banda.

[0139] A seguir, um exemplo específico do processamento através do processador espacial 407 é descrito. No exemplo, a posição de uma fonte de som é definida relativa ao ouvinte através de um angulo de α e a distância D, como mostrado na Fig. 6. Uma fonte de som posicionada a esquerda do ouvinte corresponde à ângulos de azimute positivos. A função de transferência da posição de fonte de som para o ouvido esquerdo é denotada por Hl, a função de transferência da posição de fonte de som para o ouvido direito por Hr.

[0140] As funções de transferência Hl e Hr são dependentes do angulo de azimute α, a distância D e elevação ε (não mostrado na Fig. 6). Em uma representação paramétrica, as funções de transferência podem ser descritas como um conjunto de três parâmetros por HRTF sub-banda de frequência de HRTF bh. Este conjunto de parâmetros inclui um nível médio

Petição 870190048905, de 24/05/2019, pág. 43/71

38/57 por banda de frequência para a função de transferência da esquerda Pi (α, ε, D, bh), um nível médio por banda de frequência para a função de transferência da direita Pr (α, ε, D, bh), uma diferença de fase média por banda de frequência Φ (α, ε, D, bh). Uma possível extensão deste conjunto é incluir uma medida de coerência das funções de transferência esquerda e direita por banda de frequência de HRTF σ (α, ε, D, bh). Esses parâmetros podem ser armazenados em um banco de dados como a função de azimute, elevação, distância e banda de frequência, e / ou podem ser computados usando alguma função analítica. Por exemplo, os parâmetros Pi e Pr poderiam ser armazenados como uma função de azimute e elevação, enquanto o efeito da distância é alcançado dividindo esses valores pela própria distância (assumindo uma relação de 1/D entre nível de sinal e distância). A seguir, a notação Pi(Lf) denota o parâmetro espacial Pi correspondendo à posição da fonte de som do canal Lf.

[0141] Deve ser notado que o número de sub-banda de frequências para parametrização de HRTF (bh) e a largura de banda de cada sub-banda não são necessariamente iguais à resolução de frequência do (QMF) banco de filtro (k) usado pelo processador espacial 407 ou a resolução do parâmetro espacial do processador de mistura para baixo 403 e as bandas de parâmetros associados (bp). Por exemplo, o banco de filtro híbrido de QMF pode ter 71 canais, a HRTF pode ser parametrizada em 28 banda de frequências, e codificação espacial poderia ser efetuado usando 10 bandas de parâmetro. Em tais casos, um mapeamento dos parâmetros espaciais de HTTF para índices híbridos de QMF pode ser aplicado por exemplo usando uma tabela de procura ou uma função de interpolação ou

Petição 870190048905, de 24/05/2019, pág. 44/71

39/57 de média. Os seguintes indices de parâmetro serão usados na descrição:

índice	Descrição
bh	índice de banda de parâmetro	para HRTFs
bp	índice de banda de parâmetro	para mistura
	para baixo de múltiplos	canais
k	índice de banda híbrida	de QMF

[0142] No exemplo específico, o processador espacial 407 divide o primeiro sinal estéreo em sub-banda de frequências adequadas através de filtragem de QMF. Para cada sub-banda os valores de sub-banda Lb, Rb são determinados como:

^Ll

Ai [0143] onde Lo, Ro são os valores correspondentes de sub-banda do primeiro sinal estéreo e os valores de matriz h j,k são parâmetros que são determinados a partir dos parâmetros da HRTF e dos dados paramétricos associados com mistura para baixo.

Os coeficientes de matriz ajudam reproduzir as propriedades da mistura para baixo como se todos os canais individuais fossem processados com HRTFs correspondendo à posição desejada de fonte de som e eles incluem o efeito combinado de decodificar o sinal de múltiplos canais e efetuar uma síntese de HRTF neles.

[0145] De forma específica, e com referência à

Fig. 5 e a descrição deles, os determinados como:

hn = mu Hl (L) + mi2i Hl hi2 = mi2 Hl (L) + m.22 Hl h2i = mu Hr (L) + TÍ121 Hr valores de matriz podem ser (R) + m3i Hl (C) (R) + m₃₂ H_l (C) (R) + IÜ31 Hr (C)

Petição 870190048905, de 24/05/2019, pág. 45/71

40/57 tl22 = ΪΪ112 Hr (L) + m22HR (R) + ΙΪ132ΗεΙ (C) [0146] onde m k,i são parâmetros determinados em resposta aos dados paramétricos gerados através do fazedor de mistura para baixo de TTT 505.

[0147] De forma específica os sinais L, R e C são gerados a partir do sinal com mistura para baixo estéreo, Lo, Ro de acordo com:

		'W||	HJI,‘	[V
R	—
C		_'j|

[0148] onde m k,i são dependentes de dois coeficientes de prognóstico Ci e C2, que são parte dos parâmetros espaciais transmitidos:

Χι	'V	“ 3	^+2	A1’
JJÍ2|			Cj +-1
.'«ΛΙ			J-c,	1 -c2

[0149] Os valores Hj (X) são determinados em resposta aos dados de parâmetro de HRTF por canal X para canal de saída estéreo J do segundo sinal estéreo assim como parâmetros apropriados com mistura para baixo.

[0150] De forma específica, os parâmetros Hj (X) relacionados aos sinais com mistura par abaixo esquerdo (L) e direito (R) gerados pelos dois fazedores de mistura para baixo de TTO 501, 503 e podem ser determinados em resposta aos dados de parâmetro de HRTF para os dois canais com mistura feita para baixo. De forma específica, a combinação ponderada do parâmetro da HRTF para os dois canais individuais esquerdo (Lf e Ls) ou direito (Rf e Rs) podem ser usados. Os parâmetros individuais podem ser ponderados através da energia relativa dos sinais individuais. Como um

Petição 870190048905, de 24/05/2019, pág. 46/71

41/57 exemplo específico, os seguintes valores podem ser determinados para o sinal esquerdo (L):

H J L) = .

//_s(L) = , [0151] onde os pesos W_x são dados por:

,₂ 1 ^HiT 1+ [()^a£v^|0 ’ [0152] e CLDi é a Diferença de Nível de

Canal entre o esquerdo-frontal e esquerdo-ambiente definido em decibéis (que parte do fluxo de binária do parâmetro espacial):

CLD, = ]Ülog_ltl [0153] com oif a potência em uma sub-banda de parâmetros do canal Lf, e

O Is ² a potência na correspondente sub-banda do canal Ls.

[0154] De forma similar, os seguintes valores podem ser determinados para o sinal direito (R):

H_l(R} = _ep2_{{fíf) + w}2 .

^J = ¹ “ j j Q-CJ-'>_r7|íl [0155] e para o sinal do centro (C):

Hl (C) = Pi (C) e^+j®^(c)/2

Hr (C) = Pr (C) θ - 3® <^c>/2

Petição 870190048905, de 24/05/2019, pág. 47/71

42/57 [0156] Assim sendo, usando a abordagem descrita, um processamento espacial de complexidade baixa pode um sinal binaural espacial virtual a ser gerado com base no sinal de múltiplos canais com mistura feita para baixo.

[0157] Como mencionado, uma vantagem da abordagem descrita é que a sub-banda de frequências dos parâmetros associados com mistura para baixo, o processamento espacial pelo processador espacial 407 e o parâmetro da HRTF não necessitam ser os mesmos. Por exemplo, um mapeamento entre parâmetros de uma sub-banda com as sub-bandas do processamento espacial pode ser efetuado. Por exemplo, se uma sub-banda de processamento espacial cobre um intervalo de frequência correspondendo as duas sub-bandas de parâmetro de HRTF, o processador espacial 407 pode simplesmente aplicar processamento (individual) nas sub-bandas de parâmetro de HRTF, usando o mesmo parâmetro espacial para todas as subbandas de parâmetro de HRTF que correspondem àquele parâmetro espacial.

[0158] Em algumas modalidades, o codificador 309 pode ser arrumado para incluir dados de posição de fonte de som que permite a um decodificador identificar os dados de posição desejada de uma ou mais das fontes de som no fluxo de saída. Isto permite ao decodificador determinar o parâmetro da HRTF aplicado pelo codificador 309 e por meio disso, permitindo-o reverter a operação do processador espacial 407. Adicionalmente ou alternativamente, o codificador pode ser arrumado para incluir, pelo menos, alguns dos dados de parâmetro de HRTF no fluxo de saída.

[0159] Assim sendo, opcionalmente, os parâmetros de HRTF e / ou dados da posição de alto-falante podem ser

Petição 870190048905, de 24/05/2019, pág. 48/71

43/57 incluídos no fluxo de saída. Isto pode por exemplo permitir a atualização dinâmica dos dados da posição de alto-falante como uma função do tempo (no caso da transmissão da posição do alto-falante) ou o uso dos dados de HRTF individualizados (no caso da transmissão de parâmetro de HRTF).

[0160]	No caso	que	parâmetros	da	HRTF	são
transmitidos como	parte do	fluxo	de bits,	pelo	menos,	os
parâmetros Pi, Pr	e Φ podem	ser transmitidos	para	cada banda

de frequência e para cada posição de fonte de som. A parâmetros de magnitude Pi, Pr podem ser quantizados usando um fazedor de quantização linear, ou pode ser quantizado no domínio logarítmico. A fase de ângulos Φ pode ser quantizada de forma linear. Índices do fazedor de quantização podem então ser incluídos no fluxo de bits.

[0161] Ainda mais, a fase de ângulos Φ pode ser assumido ser zero para frequências tipicamente acima de 2,5 kHz, já que fase (inter-aural) de informação é de modo perceptual irrelevante para altas frequências.

[0162] Após quantização, vários esquemas de compressão de menos perda podem ser aplicados aos índices do fazedor de quantização dos parâmetros da HRTF. Por exemplo, codificação de entropia pode ser aplicada, possivelmente em combinação com codificação diferencial através da banda de frequências. Alternativamente, parâmetros da HRTF podem ser representados como uma diferença com respeito ao conjunto de um parâmetro comum ou médio da HRTF. Especialmente isto se mantém para os parâmetros de magnitude. Ao contrário, os parâmetros de fase podem ser aproximados completamente de forma exata simplesmente codificando a elevação e azimute. Calculando a diferença de tempo de chegada [tipicamente, a

Petição 870190048905, de 24/05/2019, pág. 49/71

44/57 diferença de tempo de chegada é praticamente independente da frequência; ela é principalmente dependente do azimute e da elevação], dada a diferença de trajetória para ambos ouvidos, os parâmetros de fase correspondentes podem ser derivados. Em adição diferenças de medida podem ser codificadas de forma diferente par aos valores prognosticados com base nos valores de azimute e de elevação.

[0163] Também esquemas de compressão de perdas podem ser aplicados, tal como princípio de decomposição de componente, seguido de transmissão dos pouco mais importantes pesos de PCA.

[0164] Fig. 7 ilustra um exemplo de um decodificador de múltiplos canais de acordo com algumas modalidades da invenção. O decodificador pode especificamente ser o decodificador 315 da Fig. 3.

[0165] O decodificador 315 compreende um receptor de entrada 701 que recebe o fluxo de saída do codificador 309. O receptor de entrada 701 demultiplexa o fluxo de dados recebido e fornece os dados relevantes para os elementos funcionais apropriados.

[0166] O receptor de entrada 701 é acoplado a um processador de decodificação 703 que é alimentado com os dados codificados do segundo sinal estéreo. O processador de decodificação 703 decodifica esses dados para gerar o sinal espacial virtual binaural produzido pelo processador espacial 407.

[0167] O processador de decodificação 703 é acoplado a um processador de reversão processador 705 que é arrumado para reverter a operação efetuado pelo processador espacial 407. Assim sendo, o processador de reversão 705 gera

Petição 870190048905, de 24/05/2019, pág. 50/71

45/57 o sinal estéreo com mistura feita para baixo produzido pelo processador de mistura para baixo 403.

De forma especifica, o processador de reversão 705 gera o sinal estéreo com mistura para baixo aplicando uma multiplicação de matriz para os valores de subbanda do sinal espacial virtual binaural recebido. A multiplicação de matriz é através de uma matriz correspondendo à matriz inversa daquela usada pelo processador espacial 407 e por meio disso, revertendo esta operação:

[0169]

Esta multiplicação de matriz também pode ser descrita como:

tf ill ⁽Li_

Os coeficientes de matriz qk,i são determinados a partir dos dados paramétricos associados com o sinal com mistura para baixo (e recebido nos fluxos de dados do decodificador 309) assim como dos dados de parâmetro da HRTF. De forma especifica, a abordagem descrita com referência ao codificador 309 pode também ser usada pelo decodificador 409 para gerar os coeficientes de matriz h_xy. Os coeficientes de matriz q_xy podem então em resposta encontrados através de uma inversão de matriz padrão.

O processador de reversão 705 é acoplado a um processador de parâmetro 707 que determina os dados de parâmetro de HRTF a serem usados. O parâmetro da HRTF pode em algumas modalidades ser incluído no fluxo de dado recebida e pode simplesmente ser extraído de lá. Em outras modalidades,

Petição 870190048905, de 24/05/2019, pág. 51/71

46/57 diferentes parâmetros da HRTF podem por exemplo ser armazenados em um banco de dados para diferentes posições de fonte de som e o processador de parâmetro 707 pode determinar o parâmetro da HRTF extraindo os valores correspondendo a posição da fonte de sinal desejada. Em algumas modalidades, a posição(es) da fonte de sinal desejada pode ser incluída no fluxo de dados do codificador 309. O processador de parâmetro 707 pode extrair esta informação e usá-la para determinar os parâmetros da HRTF. Por exemplo, ele pode recuperar os parâmetro da HRTF armazenados para a indicação da fonte de som posição(es) da fonte de som [0172] Em algumas modalidades, o sinal estéreo gerado pelo processador de reversão pode ser emitido diretamente. Contudo, em outras modalidades, ele pode ser alimentado para um decodificador de múltiplos canais 709 que pode gerar o sinal de M canais a partir do sinal estéreo com mistura para baixo e dos dados paramétricos recebidos.

[0173] No exemplo, a inversão da síntese binaural de síntese binaural de um 3D é efetuada no domínio da sub-banda, tal como na QMF ou nas sub-bandas de frequência de Fourier. Assim sendo, o processador de decodificação 703 pode compreender um banco de filtro de QMF ou Fast Fourier Transform (FFT) para gerar as amostras de sub-banda alimentadas para o processador de reversão 705. De forma similar, o processador de reversão 705 ou o decodificador de múltiplos canais 709 pode compreender uma FFT inversa ou banco de filtro de QMF para converter os sinais de volta ao domínio do tempo.

[0174] A geração de um sinal binaural de um 3D no lado do codificador permite experiências de audição

Petição 870190048905, de 24/05/2019, pág. 52/71

47/57 espacial a serem fornecidas a um usuário de fones de ouvido através de um codificador de estéreo convencional. Assim sendo, a abordagem descrita tem a vantagem que dispositivos de estéreo legados podem reproduzir sinais binaurais de um 3D. Como tal, de modo a reproduzir sinais binaurais de um 3D, nenhum pós-processamento adicional precisa ser aplicado resultando em uma solução de baixa complexidade.

[0175] Contudo, em tal uma abordagem, uma HRTF generalizada é tipicamente usada que pode em alguns casos conduzir a uma geração espacial ótima secundária em comparação a uma geração do sinal binaural de um 3D no decodificador usando dados otimizados da HRTF dedicados para o usuário específico.

[0176] De forma específica, uma percepção limitada de distância e possíveis erros de localização da fonte de som podem algumas vezes originar do uso de HRTFs não individualizadas (tal como resposta de impulsos medida para uma cabeça de teste ou uma outra pessoa). Em princípio, HRTFs diferem de pessoa à pessoa devido as diferenças na geometria anatômica do corpo humano. Em termos de localização correta de fonte de som, resultados ótimos podem ser, por conseguinte, melhor de ser alcançado com dados de HRTF individualizados.

[0177] Em algumas modalidades, o decodificador

315 ainda mais compreende funcionalidade para primeiro reverter o processamento espacial do codificador 309 seguido por uma geração de um sinal binaural de um 3D usando dados locais da HRTF e especificamente usando dados de HRTF individualizados otimizados para o usuário específico. Assim sendo, nesta modalidade, o decodificador 315 gera um par de

Petição 870190048905, de 24/05/2019, pág. 53/71

48/57 canais de saída binaural modificando o sinal estéreo com mistura feita para baixo usando os dados paramétricos associados e os dados de parâmetro de HRTF que é diferente do que os dados (HRTF) usados no codificador 309. Então, nesta a abordagem fornece uma combinação de síntese de um 3D no lado do codificador, inversão do lado do decodificador, seguido de um outro estágio de síntese de um 3D do lado do decodificador.

[017 8] Uma vantagem de tal uma abordagem é que dispositivos de estéreo legados terão sinais binaurais de um 3D como saída fornecendo uma qualidade de um 3D básico, enquanto decodificadores aprimorados terão a opção de usar HRTFs personalizadas possibilitando uma qualidade de um 3D melhorado. Assim sendo, ambas, a síntese de um 3D compatível com legado assim como a síntese de um 3D dedicado de alta qualidade é habilitada no mesmo sistema de áudio.

[0179] Um exemplo simples de tal um sistema é ilustrado na Fig. 8 que mostra como um processador espacial 801 adicional pode ser pode ser adicionado ao decodificador da Fig. 7 para fornecer um sinal de saída binaural de um 3D customizado. Em algumas modalidades, o processador espacial 801 pode simplesmente fornecer uma simples síntese binaural de um 3D direta usando funções de HRTF individuais para cada um dos canais de áudio. Assim sendo, o decodificador pode recriar o sinal original de múltiplos canais e converter estes em um sinal binaural de um 3D usando filtragem de HTRF customizada.

[0180] Em outras modalidades, a inversão da síntese de codificador e da síntese de decodificador pode ser combinada para fornecer uma operação de complexidade mais

Petição 870190048905, de 24/05/2019, pág. 54/71

49/57 baixa. De forma especifica, as HRTFs individualizadas usadas para a síntese de decodificador pode ser parametrizada e combinada com os (inverso de) parâmetros usados pela síntese de um 3D de codificador.

[0181] Mais especificamente, como descrito anteriormente, a síntese de codificador envolve multiplicar amostras de sub-banda de estéreo dos sinais com mistura feita para baixo por uma matriz 2x2:

^12 A

R_o ^id- JL u [0182] onde Lo, Ro são os valores de sub-banda correspondentes do sinal estéreo com mistura feita para baixo e os valores da matriz h j,k são parâmetros que são determinados a partir dos parâmetros da HRTF e dos dados paramétricos com mistura para baixo, associados como descrito anteriormente.

[0183] A inversão efetuada pelo processador de reversão 705 pode então ser dado por:

L, fi.

Λ.

ATTA aJ Ia [0184] onde Lb, Rb são os valores de sub-banda correspondentes do sinal estéreo do decodificador com mistura feita para baixo.

[0185] Para assegurar um processo apropriado de inversão do lado do decodificador, os parâmetros da HRTF usados no codificador para gerar sinal binaural de um 3D, e os parâmetros da HRTF usados para inverter o processamento binaural de um 3D são idênticos ou suficientemente similar. Já que um fluxo de bit, de forma geral, servirá a vários decodificadores, personalização da mistura para baixo

Petição 870190048905, de 24/05/2019, pág. 55/71

50/57 binaural de um 3D é difícil de obter através da síntese de codificador .

[0186] Contudo, já que processo de síntese binaural de um 3D é possível de inverter, o processador de reversão 705 regenera o sinal estéreo com mistura feita para baixo que é então usado para gerar um sinal binaural de um 3D com base nas HRTFs individualizadas.

[0187] De forma específica, em analogia à operação no codificador 309, a síntese binaural de um 3D no decodificador 315 pode ser gerado por uma simples, operação inteligente de matriz 2 x 2 de sub-banda larga no sinal com mistura para baixo Lo, Ro para gerar o sinal binaural de um 3D Lb- , Rb- :

'!.d:		Ai	Aí’
rb._		,7'zi	7'22.	.*0.

[0188] onde os parâmetros p _X(Y são determinados com base nas HRTFs individualizadas na mesma maneira que h _X(Y são gerados pelo codificador 309 com base na HRTF geral. De forma específica, no decodificador 309, os parâmetros h _X(Y são determinados dos dados paramétricos de múltiplos canais e das HRTFs gerais. Como os dados paramétricos de múltiplos canais são transmitidos para o decodificador 315, a mesma abordagem pode ser usada por estes para calcular p com base na HRTF individual.

Combinando estes com a operação de processador de reversão 705

7./		Αι	Aí	711	Aí	-i	7-/		Ai		7./
Λ·.		.7'21	7'22-	Al	A22_		A.			“22 _	A.

[0190] Nesta equação, as entradas da matriz h são obtidas usando a HRTF não individualizada geral no

Petição 870190048905, de 24/05/2019, pág. 56/71

51/57 codificador, enquanto as entradas de matriz p _X(Y são obtidas usando um conjunto de HRTF diferente e preferencialmente personalizado. Então o sinal binaural de um 3D de entrada Lb, Rb gerado usando dados de HRTF não individualizada é transformado em um sinal binaural de um 3D alternativo Lb-, Rb' usando dados de HRTF diferentes personalizados.

[0191] Ainda mais, como ilustrado, a abordagem combinada da inversão da síntese de codificador e da síntese de decodificador pode ser alcançada através de uma simples operação de matriz de 2 x 2. Então a complexidade de computação deste processo combinado é virtualmente a mesma que para uma inversão binaural de um 3D simples.

[0192] Fig. 9 ilustra um exemplo do decodificador 315 operando de acordo com os princípios descritos cima. De forma específica, as amostras de sub-banda de estéreo do estéreo binaural de um 3D com mistura para baixo do codificador 309 é alimentado para o processador de reversão 705 que regenera as amostras com mistura para baixo de estéreo original através de uma operação de matriz de 2 x 2 .

		>1	A,,‘	-]	V
		Al			.A.

[0193] As amostras de sub-banda resultantes são alimentadas para uma unidade de síntese espacial 901 que gera um sinal binaural de um 3D individualizado multiplicando essas amostras por uma matriz de 2 x 2.

[0194] Os coeficientes de matriz são gerados através de uma unidade de conversor de parâmetro (903) que

Petição 870190048905, de 24/05/2019, pág. 57/71

52/57 gera os parâmetros com base na HRTF individualizada e nos dados de extensão de múltiplos canais recebidos do codificador 309.

[0195] As amostras de sub-banda de síntese Lb-, Rb' são alimentados para uma sub-banda para a transformada no domínio do tempo 905 que gera os sinais binaural de um 3D do domínio do tempo que podem ser fornecidos a um usuário.

[0196] Embora Fig. 9 ilustre os passos de inversão de um 3D com base em HRTFs não individualizadas e de síntese de um 3D com base nas HRTFs individualizadas como operações sequenciais através de unidades funcionais diferentes, será apreciado que em muitas modalidades dessas operações são aplicada, de forma simultânea, através de uma aplicação de matriz única. Especialmente, a matriz de 2 x 2

		Al	Pn
		751	/5:.

[0197] é calculada e as amostras emitidas são calculadas como

Ai Aí		Pu Pt2~	Al
Ai		Ai Pu.	Al *ZÍ.

[0198] Será apreciado que o sistema descrito fornece um número de vantagens incluindo:

[0199] - Nenhuma ou pequena (percepção) degradação da qualidade de reconstrução de múltiplos canais já que o processamento de estéreo espacial pode ser revertido nos decodificadores de múltiplos canais.

[0200] - Uma experiência de estéreo binaural espacial (um 3D) pode ser fornecida mesmo através de decodificadores de estéreo convencionais.

[0201] - Complexidade reduzida comparada com

Petição 870190048905, de 24/05/2019, pág. 58/71

53/57 métodos de posicionamento espacial existentes. A complexidade é reduzida em um número de maneiras:

[0202] - Armazenagem eficiente de parâmetros de

HRTF. Em vez de armazenar resposta de impulsos de HRTF, somente um número limitado de parâmetros é usado para caracterizar as HRTFs.

[0203] - Processamento de um 3D eficiente. Já que as HRTFs são caracterizadas como parâmetros em uma resolução de frequência limitada, e a aplicação de parâmetros da HRTF é efetuada no domínio do parâmetro (altamente amostrado para baixo), o estágio de síntese espacial é mais eficiente do que métodos de síntese convencionais com base na convolução total da HRTF.

[0204] - O processamento requerido pode ser efetuado no e.g. o domínio de QMF, resultando em uma carga menor de computação e de memória do que os métodos baseados em FFT.

[0205] - Re-uso eficiente de blocos existentes de construção de som ambiente (tal como codificação de som ambiente de MPEG padrão / funcionalidades de decodificação) permitindo complexidade de implementação mínima.

[0206] - Possibilidade de personalização através de modificação dos dados da HRTF (parametrizada) transmitidos pelo codificador.

[0207] - Posições de fonte de som podem mudar com precisão através da informação de posição transmitida.

[0208] Fig. 10 ilustra um método de codificação de áudio de acordo com algumas modalidades da invenção.

[0209] O método inicia in passo 1001 onde um sinal de áudio de M canais é recebido (M > 2).

Petição 870190048905, de 24/05/2019, pág. 59/71

54/57 [0210] Passo 1001 é seguido pelo passo 1003 onde ao sinal de áudio de M canais é feito mistura para baixo para um primeiro sinal estéreo e dados paramétricos associados.

[0211] Passo 1003 é seguido pelo passo 1005 onde o primeiro sinal estéreo é modificado para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e aos dados de parâmetro espacial da Head Related Transfer Function (HRTF). O segundo sinal estéreo é um sinal espacial virtual binaural.

[0212] Passo 1005 é seguido pelo passo 1007 onde o segundo sinal estéreo é codificado para gerar dados codificados.

[0213] Passo 1007 é seguido pelo passo 1009 onde um fluxo de dados de saída compreendendo os dados codificados

e os dados paramétricos associados, é gerada.
[0214]	Fig. 11 ilustra um	método	de
decodificação de	áudio de acordo com algumas	modalidades	da
invenção.
[0215]	O método inicia no passo	1101, onde	um

decodificador recebe dados de entrada compreendendo um primeiro sinal estéreo e os dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais, onde M > 2. O primeiro sinal estéreo é um sinal espacial virtual binaural.

[0216] Passo 1101 é seguido pelo passo 1103 onde o primeiro sinal estéreo é modificado para gerar o sinal estéreo com mistura feita para baixo em resposta aos dados paramétricos e aos dados de parâmetro espacial da Head Related Transfer Function (HRTF) associados com o primeiro sinal estéreo.

Petição 870190048905, de 24/05/2019, pág. 60/71

55/57 [0217] Passo 1103 é seguido pelo passo opcional

1105 onde o sinal de áudio de M canais é gerado em resposta ao sinal estéreo com mistura feita para baixo e aos dados paramétricos.

[0218] Será apreciado que a descrição acima para clareza tem modalidades da invenção descritas com referência às unidades e processadores funcionais diferentes. Contudo, será aparente que qualquer adequada distribuição de funcionalidade entre unidades e processadores funcionais diferentes pode ser usado sem esquecer da invenção. Por exemplo, funcionalidade ilustrada para ser efetuada por processadores ou controladores separados pode ser efetuada pelo mesmo processador ou controlador. Então, referências à unidades funcionais específicas são somente para serem vistas como referências para meios adequados para fornecer as funcionalidade descritas mais propriamente do que indicativas de um lógicas estrita ou estrutura física ou organização.

[0219] A invenção pode ser implementada em qualquer forma adequada incluindo hardware, software, firmware ou qualquer combinação desses. A invenção pode opcionalmente ser implementada, pelo menos, parcialmente como software de computador sendo executado em um ou mais processadores de dados e / ou processadores de sinal digital sinal. Os elementos e componentes de uma modalidade da invenção podem ser fisicamente, funcionalmente e logicamente implementados em qualquer maneira adequada. De fato, a funcionalidade pode ser implementada em uma unidade única, em uma grande quantidade de unidades ou como parte de outras unidades funcionais. Como tal, a invenção pode ser implementada em uma unidade única ou pode ser fisicamente e

Petição 870190048905, de 24/05/2019, pág. 61/71

56/57 funcionalmente distribuída entre unidades e processadores diferentes.

[0220] Embora a presente invenção tenha sido descrita em conexão com algumas modalidades, ela não é pretendida ser limitada a forma específica aqui estabelecida. Mais propriamente, o escopo da presente invenção é limitado somente pelas reivindicações anexas. Adicionalmente, embora a característica pode parecer ser descrita em conexão com modalidades particulares, alguém com qualificação na arte reconhecerá que várias características das modalidades descritas podem ser combinadas de acordo com a invenção. Nas reivindicações, o termo compreendendo não exclui a presença de outros elementos ou passos.

[0221] Ainda mais, embora individualmente listada, uma grande quantidade de meios, elementos ou passos de método podem ser implementados através de e.g. uma unidade ou processador único. Adicionalmente, embora características individuais podem ser incluídas nas reivindicações diferentes, essas possivelmente podem ser combinadas de modo vantajoso, e a inclusão nas reivindicações diferentes não implica que uma combinação de características não seja factível / ou vantajosa. Também a inclusão de uma característica em uma categoria de reivindicações não implica em uma limitação para esta categoria, mas mais propriamente indica que a característica é igualmente aplicável para outras categorias de reivindicação conforme apropriado. Ainda mais, a ordem das características nas reivindicações não implica em qualquer ordem específica na qual as características precisam ser trabalhadas e em particular a ordem dos passos individuais em uma reivindicação de método

Petição 870190048905, de 24/05/2019, pág. 62/71

57/57 não implica que os passos precisam ser efetuados nessa ordem.

Mais propriamente, os passos podem ser efetuados in qualquer ordem adequada. Em adição, referências singulares não excluem uma grande quantidade. Assim sendo referências para um, uma, primeiro, segundo etc não exclui uma grande quantidade. Símbolos de referência nas reivindicações são fornecidos meramente como um exemplo esclarecedor não devem ser interpretados como limitando o escopo das reivindicações em qualquer maneira.

Claims (11)

1. REIVINDICAÇÕES

   1. CODIFICADOR DE ÁUDIO, caracterizado por compreender: - meios para receber (401) um sinal de áudio de M canais onde M > 2; - meios de mistura para baixo (403) para fazer

   mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados;

   - gerar meios (407) para modificar o primeiro sinal estéreo, para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para a função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural;

   - meios para codificar (411) o segundo sinal estéreo para gerar dados codificados; e

   - meios de saída (413) para gerar um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados.
2. 2. DECODIFICADOR DE ÁUDIO, caracterizado por compreender:

   - meios para receber (701, 703) dados de entrada compreendendo um primeiro sinal estéreo e os dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo um sinal binaural correspondente para o sinal de áudio de M canais;

   - gerar meios (705) para modificar o primeiro sinal estéreo, para gerar o sinal estéreo com mistura feita para baixo, em resposta aos dados paramétricos, e aos primeiros dados de parâmetro espacial para a função de transferência

   Petição 870190048905, de 24/05/2019, pág. 64/71

   2/5 perceptual binaural, os primeiros dados de parâmetro espacial sendo associados com o primeiro sinal estéreo.
3. 3. DECODIFICADOR, de acordo com a reivindicação 2, caracterizado por compreender meios para gerar (709) o sinal de áudio de M canais em resposta ao sinal estéreo com mistura feita para baixo e aos dados paramétricos.
4. 4. DECODIFICADOR, de acordo com a reivindicação 2, caracterizado pelos meios de geração (705) serem arrumados para gerar o sinal estéreo com mistura feita para baixo calculando valores de dados de sub-banda para o sinal estéreo com mistura feita para baixo, em resposta aos dados paramétricos associados, os primeiros dados de parâmetro espacial e valores de dados de sub-banda para o primeiro sinal estéreo.
5. 5. DECODIFICADOR, de acordo com a reivindicação 4, caracterizado pelos meios de geração (705) serem arrumados para gerar valores de sub-banda para uma primeira sub-banda do sinal estéreo com mistura feita para baixo em resposta a uma multiplicação de valores de sub-banda de estéreo correspondente para o primeiro sinal estéreo, por uma primeira matriz de sub-banda; os meios de geração (705) ainda compreendendo meios de parâmetros para determinar valores de dados da primeira matriz de sub-banda em resposta aos dados paramétricos e dados de parâmetro da função de transferência perceptual binaural para a primeira sub-banda.
6. 6. DECODIFICADOR, de acordo com a reivindicação 2, caracterizado por:

   - uma unidade de decodificação espacial (709, 801) para produzir um par de canais de saída binaural modificando o primeiro sinal estéreo em resposta aos dados paramétricos

   Petição 870190048905, de 24/05/2019, pág. 65/71

   3/5 associados e segundos dados de parâmetro espacial para uma segunda função de transferência perceptual binaural, os segundos dados de parâmetro espacial sendo diferentes do que os primeiros dados de parâmetro espacial.
7. 7. DECODIFICADOR, de acordo com a reivindicação 6, caracterizado pela unidade de decodificação espacial (709, 801) compreender:

   - uma unidade de conversão de parâmetro (903) para converter os dados paramétricos em parâmetros de síntese binaural usando os segundos dados de parâmetro espacial, e

   - uma unidade de síntese espacial (901) para sintetizar o par de canais binaurais usando os parâmetros de síntese binaural e o primeiro sinal estéreo.
8. 8. DECODIFICADOR, de acordo com a reivindicação 7, caracterizado pelos parâmetros de síntese binaural compreenderem coeficientes de matriz para um matriz de 2 por 2 relacionando amostras de estéreo do sinal estéreo com mistura feita para baixo para amostras de estéreo do par de canais de saída binaural.
9. 9. MÉTODO DE CODIFICAÇÃO DE ÁUDIO, caracterizado por:

   - receber (1001) um sinal de áudio de M canais onde M > 2;

   - fazer mistura para baixo(1003) do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados;

   - modificar (1005) o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para uma função de transferência perceptual binaural, o segundo

   Petição 870190048905, de 24/05/2019, pág. 66/71

   4/5 sinal estéreo sendo um sinal binaural;

   - codificar (1007) o segundo sinal estéreo para gerar dados codificados; e

   - gerar (1009) um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados. 10. RECEPTOR PARA RECEBER UM SINAL DE ÁUDIO, caracterizado por compreender: - meios para receber (701, 703) dados de entrada compreendendo um primeiro sinal estéreo e os dados paramétricos associados com um sinal estéreo com mistura feita para baixo de um sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo um sinal binaural

   correspondendo ao sinal de áudio de M canais; e

   - gerar meios (705) para modificar o primeiro sinal estéreo para gerar o sinal estéreo com mistura feita para baixo, em resposta aos dados paramétricos e dados de parâmetro espacial para a função de transferência perceptual binaural, os dados de parâmetro espacial sendo associados com o primeiro sinal estéreo.
10. 11. TRANSMISSOR (1101), para transmitir um fluxo de dados de saída, caracterizado por compreender:

    - meios para receber (401) um sinal de áudio de M canais onde M > 2;

    - meios de mistura para baixo (403) para fazer mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados;

    - gerar meios (407) para modificar o primeiro sinal estéreo, para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial

    Petição 870190048905, de 24/05/2019, pág. 67/71

    5/5 para a função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural;

    - meios para codificar (411) o segundo sinal estéreo para gerar dados codificados;

    - meios de saída (413) para gerar um fluxo de dados

    de saída compreendendo os dados codificados e os dados paramétricos associados; e - meios para transmitir (311) um fluxo de dados de saída. 12. MÉTODO PARA TRANSMITIR UM FLUXO DE DADOS DE

    SAÍDA DE ÁUDIO, caracterizado por compreender:

    - receber (1001) um sinal de áudio de M canais onde

    M > 2;

    - fazer mistura para baixo (1003) do sinal de áudio de M canais para um primeiro sinal estéreo e dados paramétricos associados;

    - modificar (1005) o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para a função de transferência perceptual binaural, o segundo sinal estéreo sendo um sinal binaural;

    - codificar (1007) o segundo sinal estéreo para gerar dados codificados; e

    - gerar (1009) um fluxo de dados de saída de áudio compreendendo os dados codificados e os dados paramétricos associados; e

    - transmitir o fluxo de dados de saída de áudio.
11. 13. PRODUTO DE PROGRAMA DE COMPUTADOR, caracterizado por executar o método como definido na reivindicação 11.