BR112020015360A2 - Processador de sinal de áudio, sistema e métodos de distribuição de um sinal do ambiente para uma pluralidade de canais de sinal do ambiente - Google Patents
Processador de sinal de áudio, sistema e métodos de distribuição de um sinal do ambiente para uma pluralidade de canais de sinal do ambiente Download PDFInfo
- Publication number
- BR112020015360A2 BR112020015360A2 BR112020015360-5A BR112020015360A BR112020015360A2 BR 112020015360 A2 BR112020015360 A2 BR 112020015360A2 BR 112020015360 A BR112020015360 A BR 112020015360A BR 112020015360 A2 BR112020015360 A2 BR 112020015360A2
- Authority
- BR
- Brazil
- Prior art keywords
- signal
- channels
- ambient
- audio signal
- direct
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 360
- 238000000034 method Methods 0.000 title claims description 111
- 238000009826 distribution Methods 0.000 title claims description 41
- 230000007613 environmental effect Effects 0.000 title claims description 27
- 230000003595 spectral effect Effects 0.000 claims description 175
- 238000000605 extraction Methods 0.000 claims description 32
- 238000002156 mixing Methods 0.000 claims description 32
- 238000000926 separation method Methods 0.000 claims description 27
- 238000009877 rendering Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003111 delayed effect Effects 0.000 claims description 8
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000000630 rising effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 description 41
- 239000000203 mixture Substances 0.000 description 36
- 238000012545 processing Methods 0.000 description 25
- 230000001174 ascending effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005284 excitation Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000036962 time dependent Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012123 point-of-care testing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/08—Arrangements for producing a reverberation or echo sound
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
a presente invenção se refere a um processador de sinal de áudio para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada que é configurado para extrair um sinal do ambiente com base no sinal de áudio de entrada. o processador de sinal é configurado para distribuir o sinal do ambiente para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente é maior do que um número de canais do sinal de áudio de entrada.
Description
Relatório Descritivo da Patente de Invenção para “PROCESSADOR DE SINAL DE ÁUDIO, SISTEMA E MÉTODOS DE DISTRIBUIÇÃO DE UM SINAL DO AMBIENTE PARA UMA PLURALIDADE DE CANAIS DE SINAL DO AMBIENTE”
[001] As modalidades de acordo com a presente invenção são relacionadas a um processador do sinal de áudio para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada.
[002] As modalidades de acordo com a invenção são relacionadas a um sistema para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais.
[003] As modalidades de acordo com a invenção são relacionadas a um método para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada.
[004] As modalidades de acordo com a invenção são relacionadas a um método para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais.
[005] As modalidades de acordo com a invenção são relacionadas a um programa de computador.
[006] As modalidades de acordo com a invenção são, no geral, relacionadas a uma extração do sinal do ambiente com múltiplos canais de saída.
[007] Um processamento e renderização dos sinais de áudio é um campo técnico emergente. Em particular, a apropriada renderização dos sinais multicanais que compreendem tanto sons diretos quanto sons do ambiente provê um desafio.
[008] Os sinais de áudio podem ser misturas de múltiplos sons diretos e sons de ambiente (ou difusos). Os sinais de som direto são emitidos por fontes de som, por exemplo, instrumentos musicais, e chegam no ouvido do ouvinte no caminho direto (mais curto) entre a fonte e o ouvinte. O ouvinte pode localizar sua posição na imagem do som espacial e apontar para a direção na qual a fonte de som está localizada. As marcas auditivas relevantes para a localização são diferença de nível interaural,
diferença de tempo interaural e coerência interaural. As ondas de som diretas que evocam diferença de nível interaural e diferença de tempo interaural idênticas são percebidas como chegando a partir da mesma direção. Na ausência de som difuso, os sinais que alcançam os ouvidos esquerdo e direito ou qualquer outra multiplicidade de sensores são coerentes [1].
[009] Os sons do ambiente, ao contrário, são percebidos como sendo difusos, não localizáveis, e evocam uma impressão de envelopamento (de ser “imerso no som”) pelo ouvinte. Durante a captura de um campo do som ambiente usando uma multiplicidade de sensores espaçados, os sinais gravados são pelo menos parcialmente incoerentes. Os sons do ambiente são compostos por muitas fontes de sons espaçadas. Um exemplo é aplauso, isto é, a sobreposição de muitas mãos batendo palmas em múltiplas posições. Um outro exemplo é reverberação, isto é, a sobreposição de sons refletidos nos contornos ou nas paredes. Quando uma onda sonora alcançar uma parede em um cômodo, uma parte da mesma é refletida, e a superposição de todos os reflexos em um cômodo, a reverberação, é o mais proeminente som ambiente. Todos os sons refletidos originam a partir de um sinal de excitação gerado por uma fonte de som direta, por exemplo, a fala reverberante é produzida por um alto-falante em um cômodo em uma posição localizável.
[010] Várias aplicações de pós-produção e reprodução de som aplicam uma decomposição dos sinais de áudio em componentes de sinal direto e componentes do sinal do ambiente, isto é, decomposição direto-ambiente (DAD), ou uma extração de um sinal ambiente (difuso), isto é, a extração do sinal do ambiente (ASE). O objetivo da extração do sinal do ambiente é computar um sinal do ambiente quando todos os componentes de sinal direto forem atenuados e apenas os componentes de difuso sinal forem audíveis.
[011] Até agora, a extração do sinal do ambiente foi restrita aos sinais de saída com o mesmo número de canais do sinal de entrada (confira, por exemplo, as referências [2], [3], [4], [5], [6], [7], [8]), ou até menos. Durante o processamento de um sinal de estéreo de dois canais, um sinal do ambiente com um ou dois canais é produzido.
[012] Um método para extração do sinal do ambiente a partir dos sinais de som surround foi proposto em [9], que processa os sinais de entrada com N canais, em que N > 2. O método computa os pesos espectrais que são aplicados em cada canal de entrada a partir de uma mixagem descendente do sinal de entrada multicanais e, desse modo, produz um sinal de saída com N sinais.
[013] Além do mais, vários métodos foram propostos para separar os componentes do sinal auditivo ou os componentes de sinal direto apenas de acordo com seus locais na imagem estéreo, por exemplo, [2], [10], [11], [12].
[014] Em vista das soluções convencionais, há um desejo de criar um conceito para obter sinais do ambiente que permite obter uma melhor impressão de audição.
[015] Uma modalidade de acordo com a invenção cria um processador do sinal de áudio para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada. O processador do sinal de áudio é configurado para obter os canais de sinal do ambiente, em que um número de canais de sinal do ambiente obtidos que compreendem conteúdo de áudio diferente é maior do que um número de canais do sinal de áudio de entrada. O processador do sinal de áudio é configurado para obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada.
[016] Esta modalidade de acordo com a invenção é com base na descoberta de que é desejável ter um número de canais de sinal do ambiente que é maior do que um número de canais do sinal de áudio de entrada e que é vantajoso, em um caso como este, considerar as posições ou as direções das fontes de som durante a provisão dos canais de sinal do ambiente. Desta maneira, os conteúdos dos sinais do ambiente podem ser adaptados aos conteúdos de áudio representados pelo sinal de áudio de entrada. Por exemplo, os conteúdos de áudio do ambiente podem ser incluídos em diferentes canais de sinal do ambiente, em que os conteúdos de áudio do ambiente incluídos nos diferentes canais de sinal do ambiente podem ser determinados com base em uma análise do sinal de áudio de entrada. Desta maneira, a decisão em quais dos canais de sinal do ambiente incluir qual conteúdo de áudio do ambiente pode ser feita dependendo das posições ou das direções das fontes de som (por exemplo, fontes de som diretas) que excitam o diferente conteúdo de áudio do ambiente.
[017] Desta maneira, pode haver modalidades nas quais há, primeiro, uma decomposição com base em direção (ou mixagem ascendente) dos sinais de áudio de entrada e, então, uma decomposição direta/de ambiência. Entretanto, também há modalidades nas quais há, primeiro, uma decomposição direta/de ambiência, que é seguida por uma mixagem ascendente dos componentes do sinal de ambiência extraídos (por exemplo, nos sinais do canal de ambiência). Também, há modalidades nas quais pode haver uma mixagem ascendente e extração do sinal do ambiente combinadas (ou decomposição direta/ambiente).
[018] Em uma modalidade preferida, o processador do sinal de áudio é configurado para obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente. Desta maneira, uma boa impressão de audição pode ser alcançada, e pode ser evitado que os canais de sinal do ambiente compreendam os conteúdos de áudio do ambiente que do não se adaptam aos conteúdos de áudio das fontes de som diretas em uma dada posição ou em uma dada direção. Em outras palavras, pode ser evitado que um som ambiente seja renderizado em um canal de áudio que é associado com uma posição ou uma direção a partir das quais nenhum som direto que excita o som ambiente chega. Foi descoberto que a distribuição uniforme do som ambiente pode, algumas vezes, resultar em impressão de audição insatisfatória, e que tal impressão de audição insatisfatória pode ser evitada pelo uso do conceito para distribuir os componentes do sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente.
[019] Em uma modalidade preferida, o processador do sinal de áudio é configurado para distribuir os um ou mais canais do sinal de áudio de entrada para uma pluralidade de canais ascendentemente mixados, em que um número de canais ascendentemente mixados é maior do que o número de canais do sinal de áudio de entrada. Também, o processador do sinal de áudio é configurado para extrair os canais de sinal do ambiente a partir de canais ascendentemente mixados. Desta maneira, um eficiente processamento pode ser obtido, já que uma mixagem ascendente simples e conjunta para os componentes de sinal direto e os componentes do sinal do ambiente é realizada. Uma separação entre os componentes do sinal do ambiente e os componentes de sinal direto é realizada depois da mixagem ascendente (distribuição dos um ou mais canais do sinal de áudio de entrada para a pluralidade de canais ascendentemente mixados). Consequentemente, pode ser alcançado, com moderado esforço, que os sinais do ambiente originem a partir de direções similares, como os sinais diretos que excitam os sinais do ambiente.
[020] Em uma modalidade preferida, o processador do sinal de áudio é configurado para extrair os canais de sinal do ambiente a partir dos canais ascendentemente mixados usando uma extração do sinal do ambiente multicanais ou usando uma separação de sinal direto/sinal do ambiente multicanais. Desta maneira, a presença de múltiplos canais pode ser explorada na extração do sinal do ambiente ou na separação do sinal direto/sinal do ambiente. Em outras palavras, é possível explorar similaridades e/ou diferenças entre os canais ascendentemente mixados para extrair os canais de sinal do ambiente, o que facilita a extração dos canais de sinal do ambiente e traz bons resultados (por exemplo, quando comparada com uma extração do sinal do ambiente separada com base em canais individuais).
[021] Em uma modalidade preferida, o processador do sinal de áudio é configurado para determinar os coeficientes de mixagem ascendente e para determinar os coeficientes de extração do sinal do ambiente. Também, o processador do sinal de áudio é configurado para obter os canais de sinal do ambiente usando os coeficientes de mixagem ascendente e os coeficientes de extração do sinal do ambiente. Desta maneira, é possível derivar os canais de sinal do ambiente em uma única etapa de processamento (por exemplo, pela derivação de uma matriz de processamento de sinal com base nos coeficientes de mixagem ascendente e nos coeficientes de extração do sinal do ambiente).
[022] Uma modalidade de acordo com a invenção (que pode opcionalmente compreender um ou mais dos supradescritos recursos) cria um processador do sinal de áudio para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada (que pode, por exemplo, ser um sinal de áudio de entrada multicanais). O processador do sinal de áudio é configurado para extrair um sinal do ambiente com base no sinal de áudio de entrada.
[023] Por exemplo, o processador do sinal de áudio pode ser configurado para realizar uma separação direto-ambiente ou uma decomposição direto-ambiente com base no sinal de áudio de entrada, a fim de derivar (“extrair”) o sinal do ambiente (intermediário), ou o processador do sinal de áudio pode ser configurado para realizar uma extração do sinal do ambiente a fim de derivar o sinal do ambiente. Por exemplo, a separação direto-ambiente ou a decomposição direto-ambiente ou a extração do sinal do ambiente podem ser realizadas alternativamente. Por exemplo, o sinal do ambiente pode ser um sinal multicanais, em que o número de canais do sinal do ambiente pode, por exemplo, ser idêntico ao número de canais do sinal de áudio de entrada.
[024] Além do mais, o processador de sinal é configurado para distribuir (ou para “mixar ascendentemente”) o sinal do ambiente (extraído) para uma pluralidade de canais de sinal do ambiente, em que um número de canais de sinal do ambiente (por exemplo, de canais de sinal do ambiente com diferente conteúdo de sinal) é maior do que um número de canais do sinal de áudio de entrada (e/ou, por exemplo, maior do que um número de canais do sinal do ambiente extraído), na dependência das posições ou das direções das fontes de som (por exemplo, das fontes de som diretas) no sinal de áudio de entrada.
[025] Em outras palavras, o processador do sinal de áudio pode ser configurado para considerar as direções ou as posições das fontes de som (por exemplo, das fontes de som diretas) no sinal de áudio de entrada durante a mixagem ascendente do sinal do ambiente extraído para um número de canais mais alto.
[026] Desta maneira, o sinal do ambiente é não “uniformemente” distribuído para os canais de sinal do ambiente, mas as posições ou as direções das fontes de som, que podem fundamentar (ou gerar, ou excitar) o(s) sinal(is) do ambiente, são levadas em consideração.
[027] Foi descoberto que um conceito como este, em que os sinais do ambiente não são distribuídos arbitrariamente para os canais de sinal do ambiente (em que um número de canais de sinal do ambiente é maior do que um número de canais do sinal de áudio de entrada), mas dependendo das posições ou das direções das fontes de som no sinal de áudio de entrada, provê uma impressão de audição mais favorável em muitas situações. Por exemplo, a distribuição dos sinais do ambiente uniformemente para todos os canais de sinal do ambiente pode resultar em impressão de audição muito artificial ou confusa. Por exemplo, foi descoberto que este é o caso se uma fonte de som direta puder ser claramente alocada em uma certa direção de chegada, ao mesmo tempo em que o eco da dita fonte de som (que é um sinal do ambiente) é distribuído para todos os canais de sinal do ambiente.
[028] Para concluir, foi descoberto que uma impressão de audição, que é causada por um sinal do ambiente que compreende uma pluralidade de canais de sinal do ambiente, é frequentemente melhorada se a posição ou a direção de uma fonte de som, ou das fontes de som, em um sinal de áudio de entrada, a partir das quais os canais de sinal do ambiente são derivados, forem consideradas em uma distribuição de um sinal do ambiente extraído para os canais de sinal do ambiente, em virtude de uma distribuição não uniforme dos conteúdos do sinal do ambiente no sinal de áudio de entrada (na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada) melhor refletir a realidade (por exemplo, quando comparada com a distribuição uniforme ou arbitrária dos sinais do ambiente sem consideração das posições ou das direções das fontes de som no sinal de áudio de entrada).
[029] Em uma modalidade preferida, o processador do sinal de áudio é configurado para realizar uma separação direto-ambiente (por exemplo, uma decomposição do sinal de áudio em componentes de som diretos e componentes de som ambiente, que também pode ser designada como decomposição direto- ambiente) com base no sinal de áudio de entrada, a fim de derivar o sinal do ambiente (intermediário). Usando uma técnica como esta, tanto um sinal do ambiente quanto um sinal direto podem ser obtidos com base no sinal de áudio de entrada, o que melhora a eficiência do processamento, já que, tipicamente, tanto o sinal direto quanto o sinal do ambiente são necessários para o processamento adicional.
[030] Em uma modalidade preferida, o processador do sinal de áudio é configurado para distribuir os componentes do sinal do ambiente (por exemplo, do sinal do ambiente extraído, que pode ser um sinal do ambiente multicanais) entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente (em que um número dos canais de sinal do ambiente pode, por exemplo, ser maior do que um número de canais do sinal de áudio de entrada e/ou maior do que um número de canais do sinal do ambiente extraído). Desta maneira, a posição ou a direção das fontes de som diretas que excitam os componentes do sinal do ambiente podem ser consideradas, de acordo com o que, por exemplo, diferentes componentes do sinal do ambiente excitados por diferentes fontes diretas localizadas em diferentes posições podem ser distribuídos diferentemente entre os canais de sinal do ambiente. Por exemplo, os componentes do sinal do ambiente excitados por uma dada fonte de som direta podem ser primariamente distribuídos para um ou mais canais de sinal do ambiente que são associados com um ou mais canais de sinal direto para os quais os componentes de sinal direto da respectiva fonte de som direta são primariamente distribuídos. Assim, a distribuição dos componentes do sinal do ambiente para diferentes canais de sinal do ambiente pode corresponder a uma distribuição dos componentes de sinal direto que excitam os respectivos componentes do sinal do ambiente para diferentes canais de sinal direto. Consequentemente, em um ambiente de renderização, os componentes do sinal do ambiente podem ser percebidos como originando a partir das mesmas ou similares direções, como as fontes de som diretas que excitam os respectivos componentes do sinal do ambiente. Assim, uma impressão de audição artificial pode ser evitada em alguns casos. Por exemplo, pode ser evitado que um sinal de eco chegue a partir de uma direção completamente diferente, quando comparado com a fonte de som direta que excita o eco, que não irá se adaptar a alguns ambientes de audição sintetizados desejados.
[031] Em uma modalidade preferida, os canais de sinal do ambiente são associados com diferentes direções. Por exemplo, os canais de sinal do ambiente podem ser associados com as mesmas direções dos correspondentes canais de sinal direto, ou podem ser associados com direções similares, como os correspondentes canais de sinal direto. Assim, os componentes do sinal do ambiente podem ser distribuídos para os canais de sinal do ambiente, de maneira tal que possa ser alcançado que os componentes do sinal do ambiente sejam percebidos por originar a partir de uma certa direção que correlaciona com uma direção de uma fonte de som direta que excita os respectivos componentes do sinal do ambiente.
[032] Em uma modalidade preferida, os canais de sinal direto são associados com diferentes direções, e os canais de sinal do ambiente e os canais de sinal direto são associados com o mesmo conjunto de direções (por exemplo, pelo menos em relação a uma direção do azimute, e pelo menos em uma tolerância razoável de, por exemplo, +/- 20 º ou +/- 10 º). Além do mais, o processador do sinal de áudio é configurado para distribuir os componentes de sinal direto entre os canais de sinal direto (ou, equivalentemente, para realizar giro panorâmico dos componentes de sinal direto para os canais de sinal direto) de acordo com as posições ou as direções dos respectivos componentes de som diretos. Além do mais, o processador do sinal de áudio é configurado para distribuir os componentes do sinal do ambiente (por exemplo, do sinal do ambiente extraído) entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente da mesma maneira (por exemplo, usando os mesmos coeficientes de giro panorâmico ou pesos espectrais) em que os componentes de sinal direto são distribuídos (em que os canais de sinal do ambiente são preferivelmente diferentes dos canais de sinal direto, isto é, canais independentes). Desta maneira, uma boa impressão de audição pode ser obtida em algumas situações, em que soaria artificial distribuir arbitrariamente os sinais do ambiente sem levar em consideração a distribuição (espacial) dos componentes de sinal direto.
[033] Em uma modalidade preferida, o processador do sinal de áudio é configurado para prover os canais de sinal do ambiente de maneira tal que o sinal do ambiente seja separado em componentes do sinal do ambiente de acordo com as posições dos sinais de origem subjacentes aos componentes do sinal do ambiente (por exemplo, sinais de origem diretos que produziram os respectivos componentes do sinal do ambiente). Desta maneira, é possível separar diferentes componentes do sinal do ambiente que são esperados para originar a partir de diferentes fontes diretas. Isto permite um tratamento individual (por exemplo, manipulação, escala, atraso ou filtragem) dos sinais de som direto e dos sinais do ambiente excitados por diferentes fontes.
[034] Em uma modalidade preferida, o processador do sinal de áudio é configurado para aplicar pesos espectrais (por exemplo, pesos espectrais dependentes de tempo e dependentes de frequência) a fim de distribuir (ou mixar ascendentemente ou realizar giro panorâmico) o sinal do ambiente para os canais de sinal do ambiente (de maneira tal que o processamento seja efetuado no domínio da frequência temporal). Foi descoberto que um processamento como este no domínio da frequência temporal, que usa pesos espectrais, é bem adequado para um processamento dos casos nos quais há múltiplas fontes de som. Usando este conceito, uma posição ou uma direção de chegada podem ser associadas com cada compartimento espectral, e a distribuição do sinal do ambiente para uma pluralidade de canais de sinal do ambiente também pode ser feita compartimento espectral por compartimento espectral. Em outras palavras, para cada compartimento espectral, pode-se determinar como o sinal do ambiente deve ser distribuído para os canais de sinal do ambiente. Também, a determinação dos pesos espectrais dependentes de tempo e dependentes de frequência pode corresponder a uma determinação das posições ou das direções das fontes de som no sinal de entrada. Desta maneira, pode ser facilmente alcançado que o sinal do ambiente seja distribuído para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada.
[035] Em uma modalidade preferida, o processador do sinal de áudio é configurado para aplicar pesos espectrais, que são computados para separar fontes de áudio direto de acordo com suas posições ou direções, a fim de mixar ascendentemente (ou realizar giro panorâmico) no sinal do ambiente em relação à pluralidade de canais de sinal do ambiente. Alternativamente, o processador do sinal de áudio é configurado para aplicar uma versão atrasada dos pesos espectrais, que são computados para separar fontes de áudio direto de acordo com suas posições ou direções, a fim de mixar ascendentemente o sinal do ambiente em relação a uma pluralidade de canais de sinal do ambiente. Foi descoberto que uma boa impressão de audição pode ser alcançada com baixa complexidade computacional pela aplicação destes pesos espectrais, que são computados para separar fontes de áudio direto de acordo com suas posições ou direções, ou uma versão atrasada das mesmas, para a distribuição (ou mixagem ascendente ou giro panorâmico) do sinal do ambiente em relação à pluralidade de canais de sinal do ambiente. O uso de uma versão atrasada dos pesos espectrais pode, por exemplo, ser apropriado para considerar um deslocamento de tempo entre um sinal direto e um eco.
[036] Em uma modalidade preferida, o processador do sinal de áudio é configurado para derivar os pesos espectrais de maneira tal que os pesos espectrais sejam dependentes de tempo e dependentes de frequência. Desta maneira, os sinais variáveis no tempo das fontes de som diretas e um possível movimento das fontes de som diretas podem ser considerados. Também, as intensidades variáveis das fontes de som diretas podem ser consideradas. Assim, a distribuição do sinal do ambiente para os canais de sinal do ambiente não é estática, mas a ponderação relativa do sinal do ambiente em uma pluralidade de canais de sinal do ambiente (ascendentemente mixados) varia dinamicamente.
[037] Em uma modalidade preferida, o processador do sinal de áudio é configurado para derivar o peso espectral na dependência das posições das fontes de som em uma imagem do som espacial do sinal de áudio de entrada. Assim, o peso espectral reflete bem as posições das fontes de som diretas que excitam o sinal do ambiente e, portanto, é facilmente possível que os componentes do sinal do ambiente excitados por uma fonte de som específica possam ser associados aos apropriados canais de sinal do ambiente que correspondem à direção da fonte de som direta (em uma imagem do som espacial do sinal de áudio de entrada).
[038] Em uma modalidade preferida, o sinal de áudio de entrada compreende pelo menos dois sinais do canal de entrada, e o processador do sinal de áudio é configurado para derivar os pesos espectrais na dependência das diferenças entre os pelo menos dois sinais do canal de entrada. Foi descoberto que as diferenças entre os sinais do canal de entrada (por exemplo, diferenças de fase e/ou diferenças de amplitude) podem ser bem avaliadas para obter uma informação sobre uma direção de uma fonte de som direta, em que é preferido que os pesos espectrais correspondam, pelo menos em algum grau, às direções das fontes de som diretas.
[039] Em uma modalidade preferida, o processador do sinal de áudio é configurado para determinar os pesos espectrais na dependência das posições ou das direções a partir das quais os componentes espectrais (por exemplo, dos componentes de som diretos no sinal de entrada ou no sinal direto) originam, de maneira tal que os componentes espectrais que originam a partir de uma dada posição ou direção (por exemplo, a partir de uma posição p) sejam ponderados mais fortes em um canal (por exemplo, dos canais de sinal do ambiente) associado com as respectivas posição ou direção, quando comparados com outros canais (por exemplo,
dos canais de sinal do ambiente). Em outras palavras, os pesos espectrais são determinados para distinguir (ou separar) os componentes do sinal do ambiente na dependência de uma direção a partir da qual os componentes de som diretos que excitam os componentes do sinal do ambiente originam. Assim, por exemplo, pode ser alcançado que os sinais do ambiente que originam a partir de diferentes fontes de sons sejam distribuídos para diferentes canais de sinal do ambiente, de maneira tal que os diferentes canais de sinal do ambiente tipicamente tenham uma diferente ponderação de diferentes componentes do sinal do ambiente (por exemplo, de diferentes compartimentos espectrais).
[040] Em uma modalidade preferida, o processador do sinal de áudio é configurado para determinar os pesos espectrais, de maneira tal que os pesos espectrais descrevam uma ponderação dos componentes espectrais dos sinais do canal de entrada (por exemplo, do sinal de entrada) em uma pluralidade de sinais do canal de saída. Por exemplo, os pesos espectrais podem descrever que um dado sinal do canal de entrada é incluído em um primeiro sinal do canal de saída com uma forte ponderação e que o mesmo sinal do canal de entrada é incluído em um segundo sinal do canal de saída com uma ponderação menor. O peso pode ser determinado individualmente para diferentes componentes espectrais. Já que o sinal de entrada pode, por exemplo, ser um sinal multicanais, os pesos espectrais podem descrever a ponderação de uma pluralidade dos sinais do canal de entrada em uma pluralidade de sinais do canal de saída, em que há, tipicamente, mais sinais do canal de saída do que sinais do canal de entrada (mixagem ascendente). Também, é possível que os sinais provenientes de um sinal do canal de entrada específico nunca sejam assumidos em um sinal do canal de saída específico. Por exemplo, pode não haver inclusão de nenhum sinal do canal de entrada que seja associado a um lado esquerdo de um ambiente de renderização em sinais do canal de saída associados com um lado direito de um ambiente de renderização, e vice-versa.
[041] Em uma modalidade preferida, o processador do sinal de áudio é configurado para aplicar um mesmo conjunto de pesos espectrais para distribuir os componentes de sinal direto para os canais de sinal direto e para distribuir os componentes do sinal do ambiente do sinal do ambiente para os canais de sinal do ambiente (em que um atraso de tempo pode ser considerado durante a distribuição dos componentes do sinal do ambiente). Desta maneira, os componentes do sinal do ambiente podem ser distribuídos para os canais de sinal do ambiente da mesma maneira que os componentes de sinal direto são alocados nos canais de sinal direto. Consequentemente, em alguns casos, todos os componentes do sinal do ambiente adaptam os componentes de sinal direto e uma impressão de audição particularmente boa é alcançada.
[042] Em uma modalidade preferida, o sinal de áudio de entrada compreende pelo menos dois canais e/ou o sinal do ambiente compreende pelo menos dois canais. Deve-se notar que o conceito aqui discutido é particularmente bem adequado para os sinais de áudio de entrada com dois ou mais canais, em virtude de tais sinais de áudio de entrada poderem representar um local (ou direção) dos componentes do sinal.
[043] Uma modalidade de acordo com a invenção cria um sistema para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais. O sistema compreende um processador do sinal de áudio, como exposto, em que o processador do sinal de áudio é configurado para prover mais do que dois canais de sinal direto e mais do que dois canais de sinal do ambiente. Além do mais, o sistema compreende um arranjo de alto-falante que compreende um conjunto de alto-falantes de sinal direto e um conjunto de alto-falantes de sinal do ambiente. Cada um dos canais de sinal direto é associado a pelo menos um dos alto-falantes de sinal direto, e cada um dos canais de sinal do ambiente é associado com pelo menos um dos alto-falantes de sinal do ambiente. Desta maneira, os sinais diretos e os sinais do ambiente podem, por exemplo, ser renderizados usando alto-falantes diferentes, em que pode haver, por exemplo, uma correlação espacial entre alto-falantes de sinal direto e correspondentes alto-falantes de sinal do ambiente. Desta maneira, tanto os sinais diretos (ou componentes de sinal direto) quanto os sinais do ambiente (ou componentes do sinal do ambiente) podem ser ascendentemente mixados em um número de alto-falantes que é maior do que um número de canais do sinal de áudio de entrada. Os sinais do ambiente ou os componentes do sinal do ambiente também são renderizados por múltiplos alto-falantes de uma maneira não uniforme, distribuídos para os diferentes alto-falantes de sinal do ambiente de acordo com as direções nas quais as fontes de som são arranjadas. Consequentemente, uma boa impressão de audição pode ser alcançada.
[044] Em uma modalidade preferida, cada alto-falante de sinal do ambiente é associado com um alto-falante de sinal direto. Desta maneira, uma boa impressão de audição pode ser alcançada pela distribuição dos componentes do sinal do ambiente através dos alto-falantes de sinal do ambiente da mesma maneira em que os componentes de sinal direto são distribuídos através dos alto-falantes de sinal direto.
[045] Em uma modalidade preferida, as posições dos alto-falantes de sinal do ambiente são elevadas em relação às posições dos alto-falantes de sinal direto. Foi descoberto que uma boa impressão de audição pode ser alcançada por uma configuração como esta. Também, a configuração pode ser usada, por exemplo, em um veículo e prover uma boa impressão de audição em um veículo como este.
[046] Uma modalidade de acordo com a invenção cria um método para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada (que pode, preferivelmente, ser um sinal de áudio de entrada multicanais). O método compreende extrair um sinal do ambiente com base no sinal de áudio de entrada (que pode, por exemplo, compreender realizar uma separação direto-ambiente ou uma composição direto-ambiente com base no sinal de áudio de entrada, a fim de derivar o sinal do ambiente, ou uma assim denominada “extração do sinal do ambiente”).
[047] Além do mais, o método compreende distribuir (por exemplo, mixagem ascendente) o sinal do ambiente para uma pluralidade de canais de sinal do ambiente, em que um número de canais de sinal do ambiente (que pode, por exemplo, ter conteúdo de sinal diferente associado) é maior do que um número de canais do sinal de áudio de entrada (por exemplo, maior do que um número de canais do sinal do ambiente extraído), na dependência das posições ou das direções das fontes de sons no sinal de áudio de entrada. Este método é com base nas mesmas considerações do aparelho supradescrito. Também, deve-se notar que o método pode ser complementado por qualquer um dos recursos, funcionalidades e detalhes aqui descritos em relação ao aparelho correspondente.
[048] Uma outra modalidade compreende um método de renderização de um conteúdo de áudio representado por um sinal de áudio de entrada multicanais. O método compreende prover os canais de sinal do ambiente com base em um sinal de áudio de entrada, como exposto. Neste caso, mais do que dois canais de sinal do ambiente são providos. Além do mais, o método também compreende prover mais do que dois canais de sinal direto. O método também compreende alimentar os canais de sinal do ambiente e os canais de sinal direto para um arranjo de alto-falante que compreende um conjunto de alto-falantes de sinal direto e um conjunto de alto-falantes de sinal do ambiente, em que cada um dos canais de sinal direto é alimentado para pelo menos um dos alto-falantes de sinal direto, e em que cada um dos canais de sinal do ambiente é alimentado para pelo menos um dos alto-falantes de sinal do ambiente. Este método é com base nas mesmas considerações do sistema supradescrito. Também, deve-se notar que o método pode ser complementado por quaisquer recursos, funcionalidades e detalhes aqui descritos em relação ao sistema supramencionado.
[049] Uma outra modalidade de acordo com a invenção cria um programa de computador para realizar um dos métodos mencionados anteriormente quando o programa de computador executar em um computador.
[050] A figura 1a mostra um diagrama de blocos esquemático de um processador do sinal de áudio, de acordo com uma modalidade da presente invenção; a figura 1b mostra um diagrama de blocos esquemático de um processador do sinal de áudio, de acordo com uma modalidade da presente invenção; a figura 2 mostra um diagrama de blocos esquemático de um sistema, de acordo com uma modalidade da presente invenção;
a figura 3 mostra uma representação esquemática de um fluxo de sinal em um processador do sinal de áudio, de acordo com uma modalidade da presente invenção; a figura 4 mostra uma representação esquemática de uma derivação de pesos espectrais, de acordo com uma modalidade da invenção; a figura 5 mostra um fluxograma de um método para prover os canais de sinal do ambiente, de acordo com uma modalidade da presente invenção; a figura 6 mostra um fluxograma de um método para renderizar um conteúdo de áudio, de acordo com uma modalidade da presente invenção; a figura 7 mostra uma representação esquemática de uma configuração de alto-falante padrão com dois alto-falantes (nos lados esquerdo e direito, “L”, “R”, respectivamente) para estereofonia de dois canais; a figura 8 mostra uma representação esquemática de uma configuração de alto-falante quadrifônica com quatro alto-falantes (esquerdo frontal “fL”, direito frontal “TR”, esquerdo traseiro “IL”, direito traseiro “TR”); e a figura 9 mostra uma representação esquemática de uma configuração de alto-falante quadrifônica com alto-falantes de altura adicional marcados com “h”.
1. PROCESSADOR DO SINAL DE ÁUDIO DE ACORDO COM A FIGURA 1A E A FIGURA 1B 1A) PROCESSADOR DO SINAL DE ÁUDIO DE ACORDO COM A FIGURA 1A.
[051] A figura 1a mostra um diagrama de blocos esquemático de um processador do sinal de áudio, de acordo com uma modalidade da presente invenção. O processador do sinal de áudio de acordo com a figura 1a é designado em sua íntegra com 100.
[052] O processador do sinal de áudio 100 recebe um sinal de áudio de entrada 110, que pode, por exemplo, ser um sinal de áudio de entrada multicanais. O sinal de áudio de entrada 110 pode, por exemplo, compreender N canais. Além do mais, o processador do sinal de áudio 100 provê os canais de sinal do ambiente 112a, 112b, 112c com base no sinal de áudio de entrada 110.
[053] O processador do sinal de áudio 100 é configurado para extrair um sinal do ambiente 130 (que também pode ser considerado como um sinal do ambiente intermediário) com base no sinal de áudio de entrada 110. Para este propósito, o processador do sinal de áudio pode, por exemplo, compreender uma extração do sinal do ambiente 120. Por exemplo, a extração do sinal do ambiente 120 pode realizar uma separação direto-ambiente ou uma decomposição direto-ambiente com base no sinal de áudio de entrada 110, a fim de derivar o sinal do ambiente 130. Por exemplo, a extração do sinal do ambiente 120 também pode prover um sinal direto (por exemplo, um sinal direto estimado ou extraído), que pode ser designado com D, e que não é mostrado na figura 1a. Alternativamente, a extração do sinal do ambiente pode apenas extrair o sinal do ambiente 130 do sinal de áudio de entrada 120 sem prover o sinal direto. Por exemplo, a extração do sinal do ambiente 120 pode realizar uma separação direto-ambiente ou decomposição direto-ambiente ou extração do sinal do ambiente “cegas”. Alternativamente, entretanto, a extração do sinal do ambiente 120 pode receber os parâmetros que suportam a separação direto-ambiente ou a decomposição direto-ambiente ou a extração do sinal do ambiente.
[054] Além do mais, o processador do sinal de áudio 100 é configurado para distribuir (por exemplo, para realizar mixagem ascendente) o sinal do ambiente 130 (que pode ser considerado como um sinal do ambiente intermediário) para a pluralidade de canais de sinal do ambiente 112a, 112b, 112c, em que o número de canais de sinal do ambiente 112a, 112b, 112c é maior do que o número de canais do sinal de áudio de entrada 110 (e, tipicamente, também, maior do que um número de canais do sinal do ambiente intermediário 130). Deve-se notar que a funcionalidade para distribuir o sinal do ambiente 130 para a pluralidade de canais de sinal do ambiente 112a, 112b, 112c pode, por exemplo, ser realizada por uma distribuição do sinal do ambiente 140, que pode receber o sinal do ambiente (intermediário) 130 e que também pode receber o sinal de áudio de entrada 110, ou uma informação, por exemplo, em relação às posições ou às direções das fontes de som no sinal de áudio de entrada. Também, deve-se notar que o processador do sinal de áudio é configurado para distribuir o sinal do ambiente 130 para a pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada 110. Desta maneira, os canais de sinal do ambiente 112a, 112b, 112c podem, por exemplo, compreender diferentes conteúdos de sinal, em que a distribuição do sinal do ambiente (intermediário) 130 para a pluralidade de canais de sinal do ambiente 112a, 112b, 112c também pode ser dependente do tempo e/ou dependente da frequência e refletir posições variáveis e/ou conteúdos variáveis das fontes de som subjacentes ao sinal de áudio de entrada.
[055] Para concluir, o processador do sinal de áudio 110 pode extrair o sinal do ambiente (intermediário) 130 usando a extração do sinal do ambiente, e pode, então, distribuir o sinal do ambiente (intermediário) 130 para os canais de sinal do ambiente 112a, 112b, 112c, em que o número de canais de sinal do ambiente é maior do que o número de canais do sinal de áudio de entrada. A distribuição do sinal do ambiente (intermediário) 130 para os canais de sinal do ambiente 112a, 112b, 112c pode não ser definida estaticamente, mas pode se adaptar às posições variantes no tempo ou às direções das fontes de som no sinal de áudio de entrada. Também, os componentes de sinal do sinal do ambiente 130 podem ser distribuídos através dos canais de sinal do ambiente 112a, 112b, 112c de uma maneira tal que a distribuição corresponda às posições ou às direções das fontes de som diretas que excitam os sinais do ambiente.
[056] Desta maneira, os diferentes canais de sinal do ambiente 112a, 112b, 112c podem, por exemplo, compreender diferentes componentes do sinal do ambiente, em que um dos canais de sinal do ambiente pode, predominantemente, compreender os componentes do sinal do ambiente que originam a partir de (ou excitados por) uma primeira fonte de som direta, e em que um outro dos canais de sinal do ambiente pode, predominantemente, compreender os componentes do sinal do ambiente que originam a partir de (ou excitados por) uma outra fonte de som direta.
[057] Para concluir, o processador do sinal de áudio 100 de acordo com a figura 1a pode distribuir os componentes do sinal do ambiente que originam a partir de diferentes fontes de som diretas para diferentes canais de sinal do ambiente, de maneira tal que, por exemplo, os componentes do sinal do ambiente possam ser espacialmente distribuídos.
[058] Isto pode trazer melhorada impressão de audição em algumas situações. Pode ser evitado que os componentes do sinal do ambiente sejam renderizados por meio de canais de sinal do ambiente que são associados a direções que “absolutamente não se adaptam” a uma direção a partir da qual o som direto origina.
[059] Além do mais, deve-se notar que o processador do sinal de áudio de acordo com a figura 1a pode ser complementado por quaisquer recursos, funcionalidades e detalhes aqui descritos, tanto individualmente quanto tomados em combinação.
1B) PROCESSADOR DO SINAL DE ÁUDIO DE ACORDO COM A FIGURA 1B
[060] A figura 1b mostra um diagrama de blocos esquemático de um processador do sinal de áudio, de acordo com uma modalidade da presente invenção. O processador do sinal de áudio de acordo com a figura 1b é designado em sua íntegra com 150.
[061] O processador do sinal de áudio 150 recebe um sinal de áudio de entrada 160, que pode, por exemplo, ser um sinal de áudio de entrada multicanais. O sinal de áudio de entrada 160 pode, por exemplo, compreender N canais. Além do mais, o processador do sinal de áudio 150 provê os canais de sinal do ambiente 162a, 162b, 162c com base no sinal de áudio de entrada 160.
[062] O processador do sinal de áudio 150 é configurado para prover os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada.
[063] Este processador do sinal de áudio traz a vantagem de que os canais de sinal do ambiente são bem adaptados aos conteúdos do sinal direto, que podem ser incluídos nos canais de sinal direto. Para detalhes adicionais, a referência é feita às explicações expostas na seção “Sumário da Invenção”, e também às explicações em relação às outras modalidades.
[064] Além do mais, deve-se notar que o processador de sinal 150 pode ser opcionalmente complementado por quaisquer recursos, funcionalidades e detalhes aqui descritos.
2) SISTEMA DE ACORDO COM A FIGURA 2
[065] A figura 2 mostra um diagrama de blocos esquemático de um sistema, de acordo com uma modalidade da presente invenção. O sistema é designado em sua íntegra com 200. O sistema 200 é configurado para receber um sinal de áudio de entrada multicanais 210, que pode corresponder ao sinal de áudio de entrada 110. Além do mais, o sistema 200 compreende um processador do sinal de áudio 250, que pode, por exemplo, compreender a funcionalidade do processador do sinal de áudio 100, da forma descrita em relação à figura 1a ou à figura 1b. Entretanto, deve-se notar que o processador do sinal de áudio 250 pode ter uma funcionalidade aumentada em algumas modalidades.
[066] Além do mais, o sistema também compreende um arranjo de alto-falante 260 que pode, por exemplo, compreender um conjunto de alto-falantes de sinal direto 262a, 262b, 262c e um conjunto de alto-falantes de sinal do ambiente 264a, 264b, 264c. Por exemplo, o processador do sinal de áudio pode prover uma pluralidade de canais de sinal direto 252a, 252b, 252c para os alto-falantes de sinal direto 262a, 262b, 262c, e o processador do sinal de áudio 250 pode prover os canais de sinal do ambiente 254a, 254b, 254c para os alto-falantes de sinal do ambiente 264a, 264b, 264c. Por exemplo, os canais de sinal do ambiente 254a, 254b, 254c podem corresponder aos canais de sinal do ambiente 112a, 112b, 112c.
[067] Assim, falando no geral, pode-se dizer que o processador do sinal de áudio 250 provê mais do que dois canais de sinal direto 252a, 252b, 252c e mais do que dois canais de sinal do ambiente 254a, 254b, 254c. Cada um dos canais de sinal direto 252a, 252b, 252c é associado a pelo menos um dos alto-falantes de sinal direto 262a,
262b, 262c. Também, cada um dos canais de sinal do ambiente 254a, 254b, 254c é associado com pelo menos um dos alto-falantes de sinal do ambiente 264a, 264b, 264c.
[068] Além do mais, pode haver, por exemplo, uma associação (por exemplo, uma associação par a par) entre alto-falantes de sinal direto e alto-falantes de sinal do ambiente. Alternativamente, entretanto, pode haver uma associação entre um subconjunto dos alto-falantes de sinal direto e dos alto-falantes de sinal do ambiente. Por exemplo, pode haver mais alto-falantes de sinal direto do que alto-falantes de sinal do ambiente (por exemplo, 6 alto-falantes de sinal direto e 4 alto-falantes de sinal do ambiente). Assim, apenas alguns dos alto-falantes de sinal direto podem ter associados alto-falantes de sinal do ambiente, ao mesmo tempo alguns outros alto- falantes de sinal direto não têm associados alto-falantes de sinal do ambiente. Por exemplo, o alto-falante de sinal do ambiente 264a pode ser associado com o alto- falante de sinal direto 262a, o alto-falante de sinal do ambiente 264b pode ser associado com o alto-falante de sinal direto 262b, e o alto-falante de sinal do ambiente 264c pode ser associado com o alto-falante de sinal direto 262c. Por exemplo, os alto- falantes associados podem ser arranjados em posições azimutais iguais ou similares (que podem, por exemplo, diferir em não mais do que 20 º ou em não mais do que 10 º quando vistos a partir de uma posição do ouvinte). Entretanto, os alto-falantes associados (por exemplo, um alto-falante de sinal direto e seu alto-falante de sinal do ambiente associado podem compreender diferentes elevações).
[069] A seguir, alguns detalhes em relação ao processador do sinal de áudio 250 serão explicados. O processador do sinal de áudio 250 compreende uma decomposição direto-ambiente 220, que pode, por exemplo, corresponder à extração do sinal do ambiente 120. A decomposição direto-ambiente 220 pode, por exemplo, receber o sinal de áudio de entrada 210 e realizar uma decomposição direto-ambiente cega (ou, alternativamente, guiada) (em que uma decomposição direto-ambiente guiada recebe e usa os parâmetros provenientes de um codificador de áudio que descreve, por exemplo, energias correspondentes a componentes diretos e componentes ambientes em diferentes bandas ou sub-bandas de frequência), para, desse modo, prover um sinal direto (intermediário) (que também pode ser designado com D), e um sinal do ambiente (intermediário) 230, que pode, por exemplo, corresponder ao sinal do ambiente (intermediário) 130 e que pode, por exemplo, ser designado com À. O sinal direto 226 pode, por exemplo, ser inserido em uma distribuição do sinal direto 246, que distribui o sinal direto (intermediário) 226 (que pode, por exemplo, compreender dois canais) para os canais de sinal direto 252a, 252b, 252c. Por exemplo, a distribuição do sinal direto 246 pode realizar uma mixagem ascendente. Também, a distribuição do sinal direto 246 pode, por exemplo, considerar as posições (ou direções) das fontes do sinal direto durante a mixagem ascendente do sinal direto (intermediário) 226 a partir da decomposição direto-ambiente 226 para obter os canais de sinal direto 252a, 252b, 252c. A distribuição do sinal direto 246 pode, por exemplo, derivar a informação sobre as posições ou as direções das fontes de som a partir do sinal de áudio de entrada 210, por exemplo, a partir das diferenças entre diferentes canais do sinal de áudio de entrada multicanais 210.
[070] A distribuição do sinal do ambiente 240, que pode, por exemplo, corresponder à distribuição do sinal do ambiente 140, irá distribuir o sinal do ambiente (intermediário) 230 para os canais de sinal do ambiente 254a, 254b e 254c. À distribuição do sinal do ambiente 240 também pode realizar uma mixagem ascendente, já que o número de canais do sinal do ambiente (intermediário) 230 é tipicamente menor do que o número dos canais de sinal do ambiente 254a, 254b, 254c.
[071] A distribuição do sinal do ambiente 240 também pode considerar as posições ou as direções das fontes de som no sinal de áudio de entrada 210 durante a realização da funcionalidade da mixagem ascendente, de maneira tal que os componentes do sinal do ambiente também sejam distribuídos espacialmente (já que os canais de sinal do ambiente 254a, 254b, 254c são tipicamente associados com diferentes posições de renderização).
[072] Além do mais, deve-se notar que a distribuição do sinal direto 246 e a distribuição do sinal do ambiente 240 podem, por exemplo, operar de uma maneira coordenada. Uma distribuição de componentes do sinal (por exemplo, de posições ou blocos de frequência temporal de uma representação do domínio de frequência temporal do sinal direto e do sinal do ambiente) pode ser distribuída da mesma maneira pela distribuição do sinal direto 246 e pela distribuição do sinal do ambiente 240 (em que pode haver um deslocamento de tempo na operação da distribuição do sinal do ambiente a fim de considerar apropriadamente um atraso dos componentes do sinal do ambiente em relação aos componentes de sinal direto). Em ordem palavras, um escalonamento das posições de frequência temporal ou dos blocos pela distribuição do sinal direto 246 (que pode ser realizada se a distribuição do sinal direto 246 operar em uma representação do domínio da frequência temporal do sinal direto) pode ser idêntico a um escalonamento das correspondentes posições ou blocos de frequência temporal que é aplicado pela distribuição do sinal do ambiente 246 para derivar os canais de sinal do ambiente 254a, 254b, 254c a partir do sinal do ambiente
230. Os detalhes em relação a esta funcionalidade opcional serão descritos a seguir.
[073] Para concluir, no sistema 200 de acordo com a figura 2, há uma separação entre um sinal direto (intermediário) e um sinal do ambiente (intermediário) (em que ambos podem ser sinais multicanais intermediários). Consequentemente, o sinal direto (intermediário) e o sinal do ambiente (intermediário) são distribuídos (ascendentemente mixados) para obter os respectivos canais de sinal direto e canais de sinal do ambiente. A mixagem ascendente pode corresponder a uma distribuição espacial dos componentes de sinal direto e dos componentes do sinal do ambiente, já que os canais de sinal direto e os canais de sinal do ambiente podem ser associados com posições espaciais. Também, a mixagem ascendente do sinal direto (intermediário) e do sinal do ambiente (intermediário) pode ser coordenada, de maneira tal que os correspondentes componentes do sinal (por exemplo, correspondentes em relação à sua frequência, e correspondentes em relação ao seu tempo - possivelmente em consideração de um deslocamento de tempo entre os componentes do sinal do ambiente e os componentes de sinal direto) possam ser distribuídos da mesma maneira (por exemplo, com o mesmo escalonamento da mixagem ascendente). Desta maneira, uma boa impressão de audição pode ser alcançada, e pode ser evitado que os sinais do ambiente sejam percebidos originando a partir de uma posição apropriada.
[074] Além do mais, deve-se notar que o sistema 200, ou o processador do sinal de áudio 250 do mesmo, pode ser complementado por qualquer um dos recursos e das funcionalidades e dos detalhes aqui descritos, tanto individualmente quanto em combinação. Além do mais, deve-se notar que as funcionalidades descritas em relação ao processador do sinal de áudio 250 também podem ser incorporadas no processador do sinal de áudio 100 como extensões opcionais.
3) PROCESSAMENTO DE SINAL DE ACORDO COM AS FIGURAS 3 E 4
[075] A seguir, um processamento de sinal será descrito tomando referência às figuras 3 e 4 que pode, por exemplo, ser implementado no processador do sinal de áudio 100 da figura 1a ou no processador do sinal de áudio de acordo com a figura 1b ou no processador do sinal de áudio 250 de acordo com a figura 2.
[076] Entretanto, deve-se notar que os recursos, as funcionalidades e os detalhes descritos a seguir devem ser considerados como sendo opcionais. Além do mais, deve ser notado que os recursos, as funcionalidades e os detalhes descritos a seguir podem ser introduzidos individualmente ou em combinação com os processadores de sinal de áudio 100, 250.
[077] A seguir, haverá, primeiro, uma descrição de um fluxo de sinal geral tomando referência à figura 3. Subsequentemente, os detalhes em relação a uma computação de peso espectral serão descritos tomando referência a um exemplo mostrado na figura 4.
[078] Tomando a referência agora ao fluxo de sinal da figura 3, deve-se notar que considera-se que há um sinal de áudio de entrada 310 com N canais, em que N é tipicamente maior do que ou igual a 2. O sinal de áudio de entrada também pode ser representado como x(t), que designa uma representação do domínio de tempo do sinal de áudio de entrada, ou como X(m, k), que designa uma representação do domínio de frequência ou uma representação do domínio espectral ou uma representação do domínio da frequência temporal do sinal de áudio de entrada. Por exemplo, m é o índice de tempo e k é um índice da posição de frequência (ou um sub- banda).
[079] Além do mais, deve-se notar que, no caso em que o sinal de áudio de entrada estiver em uma representação do domínio de tempo, pode haver opcionalmente uma conversão domínio de tempo para domínio espectral. Também, deve-se notar que o processamento é preferivelmente realizado no domínio espectral (isto é, com base no sinal X(m, k)).
[080] Também, deve-se notar que o sinal de áudio de entrada 310 pode corresponder ao sinal de áudio de entrada 110 e ao sinal de áudio de entrada 210.
[081] Além do mais, há uma decomposição direta/ambiente 320, que é realizada com base no sinal de áudio de entrada 310. Preferivelmente, mas não necessariamente, a decomposição direta/ambiente 320 é realizada com base na representação do domínio espectral X(m, k) do sinal de áudio de entrada. Também, a decomposição direta/ambiente pode, por exemplo, corresponder à extração do sinal do ambiente 120 e à decomposição direta/ambiente 220.
[082] Deve ser adicionalmente notado que diferentes implementações da decomposição direta/ambiente 220 são conhecidas pelos versados na técnica. À referência é feita, por exemplo, à separação de sinal do ambiente descrita em PCT/EP2013/072170. Entretanto, deve-se notar que qualquer um dos conceitos da decomposição direta/ambiente conhecidos pelos versados na técnica pode ser aqui usado.
[083] Desta maneira, a decomposição direta/ambiente provê um sinal direto (intermediário) que tipicamente compreende N canais (exatamente como o sinal de áudio de entrada 310). O sinal direto (intermediário) é designado com 322, e também pode ser designado com D. O sinal direto (intermediário) pode, por exemplo, corresponder ao sinal direto (intermediário) 226.
[084] Além do mais, a decomposição direta/ambiente 320 também provê um sinal do ambiente (intermediário) 324, que também pode, por exemplo, compreender N canais (exatamente como o sinal de áudio de entrada 310). O sinal do ambiente (intermediário) também pode ser designado com À.
[085] Deve-se notar que a decomposição direta/ambiente 320 não necessariamente provê uma perfeita decomposição direta/ambiente ou separação direta/ambiente. Em outras palavras, o sinal direto (intermediário) 320 não precisa representar perfeitamente o sinal direto original, e o sinal do ambiente (intermediário) não precisa representar perfeitamente o sinal do ambiente original. Entretanto, o sinal direto (intermediário) D e o sinal do ambiente (intermediário) À deve ser considerado como estimativas do sinal direto original e do sinal do ambiente original, em que a qualidade da estimativa depende da qualidade (e/ou da complexidade) do algoritmo usado para a decomposição direta/ambiente 320. Entretanto, como é conhecido pelos versados na técnica, uma separação razoável entre os componentes de sinal direto e os componentes do sinal do ambiente pode ser alcançada pelos algoritmos conhecidos a partir da literatura.
[086] O processamento de sinal 300 mostrado na figura 3 também compreende uma computação de peso espectral 330. A computação de peso espectral 330 pode, por exemplo, receber o sinal de áudio de entrada 310 e/ou o sinal direto (intermediário)
322. É o propósito da computação de peso espectral 330 prover pesos espectrais 332 para uma mixagem ascendente do sinal direto e para uma mixagem ascendente do sinal do ambiente na dependência de posições ou direções (estimadas) das fontes do sinal em uma cena auditiva. A computação de peso espectral pode, por exemplo, determinar estes pesos espectrais com base em uma análise do sinal de áudio de entrada 310. Falando no geral, uma análise do sinal de áudio de entrada 310 permite que a computação de peso espectral 330 estime uma posição ou uma direção a partir das quais um som em um compartimento espectral específico origina (ou uma derivação direta de pesos espectrais). Por exemplo, a computação de peso espectral 330 pode comparar (ou, falando no geral, avaliar) as amplitudes e/ou as fases de um compartimento espectral (ou de múltiplos compartimentos espectrais) dos canais do sinal de áudio de entrada (por exemplo, de um canal esquerdo e em um canal direito). Com base em uma comparação (ou avaliação) como esta, a informação (explícita ou implícita) pode ser derivada a partir de qual posição ou direção o componente espectral no compartimento espectral considerado origina. Desta maneira, com base na estimativa de quais posição ou direção um som de um dado compartimento espectral origina, pode ser concluído em quais canal ou canais do sinal do canal de áudio (ascendentemente mixado) o componente espectral deve ser ascendentemente mixado (e usando quais intensidade ou escalonamento). Em outras palavras, os pesos espectrais 332 providos pela combinação do peso espectral 330 pode, por exemplo, definir, para cada canal do sinal direto (intermediário) 322, uma ponderação a ser usada na mixagem ascendente 340 do sinal direto.
[087] Em outras palavras, a mixagem ascendente 340 do sinal direto pode receber o sinal direto (intermediário) 322 e os pesos espectrais 332 e, consequentemente, derivar o sinal de áudio direto 342, que pode compreender Q canais com Q > N. Além do mais, os canais dos sinais de áudio diretos ascendentemente mixados 342, podem, por exemplo, corresponder aos canais de sinal direto 252a, 252b, 252c. Por exemplo, os pesos espectrais 332 providos pela computação de peso espectral 330 podem definir uma matriz de mixagem ascendente Gp que define pesos associados com os N canais do sinal direto (intermediário) 322 na computação dos Q canais do sinal de áudio direto ascendentemente mixado 342. Os pesos espectrais e, consequentemente, a matriz de mixagem ascendente Gp, usada pela mixagem ascendente 340, podem, por exemplo, diferir de compartimento espectral! para compartimento “espectral (ou entre diferentes blocos de compartimentos espectrais).
[088] Similarmente, os pesos espectrais 332 providos pela computação de peso espectral 330 também podem ser usados em uma mixagem ascendente 350 do sinal do ambiente (intermediário) 324. A mixagem ascendente 350 pode receber os pesos espectrais 332 e o sinal do ambiente (intermediário), que pode compreender N canais
324, e prover, com base nos mesmos, um sinal do ambiente ascendentemente mixado 352, que pode compreender Q canais com Q > N. Por exemplo, os Q canais do sinal de áudio do ambiente ascendentemente mixado 352 podem, por exemplo, corresponder aos canais de sinal do ambiente 254a, 254b, 254c. Também, a mixagem ascendente 350 pode, por exemplo, corresponder à distribuição do sinal do ambiente 240 mostrada na figura 2 e à distribuição do sinal do ambiente 140 mostrada na figura 1a ou na figura 1b.
[089] Novamente, os pesos espectrais 332 podem definir uma matriz de mixagem ascendente que descreve as contribuições (pesos) dos N canais do sinal do ambiente (intermediário) 324 providos pela decomposição direta/ambiente 320 na provisão dos Q sinais de áudio do ambiente ascendentemente mixados do canal 352.
[090] Por exemplo, a mixagem ascendente 340 e a mixagem ascendente 350 podem usar a mesma matriz de mixagem ascendente GP. Entretanto, o uso de diferentes matrizes de mixagem ascendente também pode ser possível.
[091] Novamente, a mixagem ascendente do sinal do ambiente é dependente da frequência, e pode ser realizada individualmente (usando diferentes matrizes de mixagem ascendente GP para diferentes compartimentos espectrais ou para diferentes grupos de compartimentos espectrais).
[092] Os detalhes opcionais em relação a uma possível computação dos pesos espectrais, que é realizada pela computação de peso espectral 330, serão descritos a seguir.
[093] Além do mais, deve-se notar que a funcionalidade aqui descrita, por exemplo, em relação à computação de peso espectral 330, em relação à mixagem ascendente 340 do sinal direto e em relação à mixagem ascendente 350 do sinal do ambiente, pode ser opcionalmente incorporada nas modalidades de acordo com as figuras 1 e 2, tanto individualmente quanto tomada em combinação.
[094] A seguir, um exemplo simplificado para a computação dos pesos espectrais será descrito tomando referência à figura 4. Entretanto, deve-se notar que a computação dos pesos espectrais pode, por exemplo, ser realizada da forma descrita em WO 2013004698 A1.
[095] Entretanto, deve-se notar que diferentes conceitos para a computação de pesos espectrais, que são pretendidos para uma mixagem ascendente de um sinal de N canais em um sinal de Q canais, também podem ser usados. Entretanto, deve-se notar que os pesos espectrais, que são convencionalmente aplicados na mixagem ascendente com base em um sinal de áudio de entrada, são agora aplicados na mixagem ascendente de um sinal do ambiente 324 provido por uma decomposição direta/ambiente 320 (com base no sinal de áudio de entrada). Entretanto, a determinação dos pesos espectrais ainda pode ser realizada com base no sinal de áudio de entrada (antes da decomposição direta/ambiente) ou com base em sinal direto (intermediário). Em outras palavras, a determinação dos pesos espectrais pode ser similar ou idêntica a uma determinação convencional dos pesos especírais, mas, nas modalidades de acordo com a presente invenção, os pesos espectrais são aplicados a um diferente tipo dos sinais, a saber, ao sinal do ambiente extraído, para, desse modo, melhorar a impressão de audição.
[096] A seguir, um exemplo simplificado para a determinação dos pesos espectrais será descrito tomando referência à figura 4. Uma representação do domínio de frequência de um sinal de áudio de entrada de dois canais (por exemplo, do sinal 310) é mostrada no número de referência 410. Uma coluna esquerda 410a representa compartimentos espectrais de um primeiro canal do sinal de áudio de entrada (por exemplo, de um canal esquerdo) e uma coluna direita 418b representa compartimentos espectrais de um segundo canal (por exemplo, de um canal direito) do sinal de áudio de entrada (por exemplo, do sinal de áudio de entrada 310). Diferentes linhas 419a-419d são associadas com diferentes compartimentos espectrais.
[097] Além do mais, diferentes intensidades de sinal são indicadas por diferente preenchimento dos respectivos campos na representação 410, da forma mostrada em uma legenda 420.
[098] Em outras palavras, a representação de sinal no número de referência 410 pode representar uma representação do domínio de frequência do sinal de áudio de entrada X em um dado tempo (por exemplo, para um dado quadro) e através de uma pluralidade de posições de frequência (com índice k). Por exemplo, em um primeiro compartimento espectral, mostrado na linha 419a, os sinais do primeiro canal e do segundo canal podem ter intensidades aproximadamente idênticas (por exemplo, intensidade média do sinal). Isto pode, por exemplo, indicar (ou implicar) que uma fonte de som está aproximadamente na frente do ouvinte, isto é, em uma região central. Entretanto, durante a consideração de um segundo compartimento espectral, que é representado em uma linha 419b, pode-se ver que o sinal no primeiro canal é significativamente mais forte do que o sinal no segundo canal, o que pode indica, por exemplo, que a fonte de som está em um lado específico (por exemplo, no lado esquerdo) de um ouvinte. No terceiro compartimento espectral, que é representado na linha 419c, o sinal é mais forte no primeiro canal, quando comparado com o segundo canal, em que a diferença (diferença relativa) pode ser menor do que no segundo compartimento espectral (mostrado na linha 419b). Isto pode indicar que uma fonte de som está um tanto deslocada do centro, por exemplo, um tanto deslocada para o lado esquerdo quando visto a partir da perspectiva do ouvinte.
[099] A seguir, os pesos espectrais serão discutidos. Uma representação dos pesos espectrais é mostrada no número de referência 440. Quatro colunas 448a a 448d são associadas com diferentes canais do sinal ascendentemente mixado (isto é, do sinal de áudio direto ascendentemente mixado 342 e/ou do sinal de áudio do ambiente ascendentemente mixado 352). Em outras palavras, considera-se que Q = 4 no exemplo mostrado no número de referência 440. As linhas 449a a 449e são associadas com diferentes compartimentos espectrais. Entretanto, deve-se notar que cada uma das linhas 449a a 449e compreende duas linhas de números (pesos espectrais). Uma primeira linha superior de números em cada uma das linhas 449a- 449e representa uma contribuição do primeiro canal (do sinal direto intermediário e/ou do sinal do ambiente intermediário) para os canais do respectivo sinal ascendentemente mixado (por exemplo, do sinal de áudio direto ascendentemente mixado ou do sinal de áudio do ambiente ascendentemente mixado) para o respectivo compartimento espectral. Similarmente, a segunda linha de números (pesos espectrais) descreve a contribuição do segundo canal do sinal direto intermediário ou do sinal do ambiente intermediário apara os diferentes canais do respectivo sinal ascendentemente mixado (do sinal de áudio direto ascendentemente mixado e/ou do sinal de áudio do ambiente ascendentemente mixado) para o respectivo compartimento espectral.
[0100] Deve-se notar que cada linha 449a, 449b, 449c, 449d, 449e pode corresponder à versão transposta de uma matriz de mixagem ascendente Gr.
[0101] A seguir, será descrita alguma lógica sobre como os coeficientes de mixagem ascendente podem ser derivados a partir do sinal de áudio de entrada. Entretanto, a seguinte explicação deve ser considerada como exemplos simplificados apenas para facilitar o entendimento fundamental da presente invenção. Entretanto, deve-se notar que os seguintes exemplos focam apenas nas amplitudes e deixam fases não consideradas, ao mesmo tempo em que as implementações reais também podem levar em consideração as fases. Além do mais, deve-se notar que os algoritmos usados podem ser mais elaborados, por exemplo, da forma descrita nos documentos referenciados.
[0102] Tomando a referência agora ao primeiro compartimento espectral, pode ser descoberto (por exemplo, pela computação de peso espectral) que as amplitudes do primeiro canal e do segundo canal do sinal de áudio de entrada são similares, da forma mostrada na linha 419a. Desta maneira, pode ser concluído, pela computação de peso espectral 230, que, para o primeiro compartimento espectral, o primeiro canal do sinal direto (intermediário) e/ou do sinal do ambiente (intermediário) devem contribuir para o segundo canal (canal 2') do sinal de áudio direto ascendentemente mixado ou do sinal de áudio do ambiente ascendentemente mixado (apenas). Desta maneira, um apropriado peso espectral de 0,5 pode ser visto na linha superior da linha 449a. Similarmente, pode ser concluído, pela computação de peso espectral, que o segundo canal do sinal direto (intermediário) e/ou do sinal do ambiente intermediário deve contribuir para o terceiro canal (canal 3') do sinal de áudio direto ascendentemente mixado e/ou do sinal de áudio do ambiente ascendentemente mixado, como pode-se ver a partir do correspondente valor 0,5 na segunda linha a partir da primeira linha 449a. Por exemplo, pode-se considerar que o segundo canal (canal 2') e o terceiro canal (canal 3') do sinal de áudio direto ascendentemente mixado e do sinal de áudio do ambiente ascendentemente mixado são comparativamente próximos de um centro de uma cena auditiva, ao mesmo tempo em que, por exemplo, o primeiro canal (canal 1º) e o quarto canal (canal 4') ficam adicionalmente distantes do centro da cena auditiva. Assim, se for descoberto pela computação de peso espectral 330 que uma fonte de áudio está aproximadamente na frente de um ouvinte, os pesos espectrais podem ser escolhidos de maneira tal que os componentes do sinal do ambiente excitados por esta fonte de áudio sejam renderizados (ou principalmente renderizado) em um ou mais canais próximos do centro da cena de áudio.
[0103] Tomando a referência agora ao segundo compartimento espectral, pode- se ver na linha 419b que a fonte de som está provavelmente no lado esquerdo do ouvinte. Consequentemente, a computação de peso espectral 330 pode escolher os pesos espectrais de maneira tal que um sinal do ambiente deste compartimento espectral seja incluído em um canal do sinal de áudio do ambiente ascendentemente mixado que é pretendido para um alto-falante distante no lado esquerdo do ouvinte. Desta maneira, para esta segunda posição de frequência, pode ser decidido, pela computação de peso espectral 330, que os sinais do ambiente para este compartimento espectral devem apenas ser incluídos no primeiro canal (canal 1') do sinal de áudio do ambiente ascendentemente mixado. Isto pode ser efetuado, por exemplo, pela escolha de um peso espectral associado com o primeiro canal ascendentemente mixado (canal 1') para ser diferente de O (por exemplo, 1) e pela escolha dos outros pesos espectrais (associados com os outros canais de mixagem ascendente 2', 3', 4) como sendo 0. Assim, se for descoberto, pela computação de peso espectral 230, que a fonte de áudio está fortemente no lado esquerdo da cena de áudio, a computação de peso espectral escolhe os pesos espectrais de maneira tal que os componentes do sinal do ambiente no respectivo compartimento espectral sejam distribuídos (ascendentemente mixado) para (um ou mais) canais do sinal de áudio do ambiente ascendentemente mixado que são associados aos alto-falantes no lado esquerdo da cena de áudio. Naturalmente, se for descoberto, pelas computações de peso espectral 330, que uma fonte de áudio está no lado direito da cena de áudio (durante a consideração do sinal de áudio de entrada ou do sinal direto), a computação de peso espectral 330 escolhe os pesos espectrais de maneira tal que os correspondentes componentes espectrais do sinal do ambiente extraído sejam distribuídos (ascendentemente mixados) para os (um ou mais) canais do sinal de áudio do ambiente ascendentemente mixado que são associados com as posições do alto-falante no lado direito da cena de áudio.
[0104] Como um terceiro exemplo, um terceiro compartimento espectral é considerado. No terceiro compartimento espectral, uma computação de peso espectral 330 pode descobrir que a fonte de áudio está “um tanto” no lado esquerdo da cena de áudio (mas não extremamente distante no lado esquerdo da cena de áudio). Por exemplo, isto pode ser visto a partir do fato de que há um sinal forte no primeiro canal e um sinal médio no segundo canal (confira linha 419c).
[0105] Neste caso, a computação de peso espectral 330 pode definir os pesos espectrais de maneira tal que um componente do sinal do ambiente no terceiro compartimento espectral seja distribuído para os canais 1º e 2' do sinal de áudio do ambiente ascendentemente mixado, o que corresponde à colocação do sinal do ambiente um tanto no lado esquerdo da cena auditiva (mas não extremamente distante no lado esquerdo da cena auditiva).
[0106] Para concluir, pela apropriada escolha dos pesos espectrais, a computação de peso espectral 330 pode determinar onde os componentes do sinal do ambiente extraídos são colocados (ou panoramicamente girados) em um sinal de cena de áudio. A colocação dos componentes do sinal do ambiente é realizada, por exemplo, em uma base compartimento espectral por compartimento espectral. A decisão, onde na cena espectral uma posição de frequência específica do sinal do ambiente extraído deve ser colocada, pode ser feita com base em uma análise do sinal de áudio de entrada ou com base em uma análise do sinal direto extraído. Também, um atraso de tempo entre o sinal direto e o sinal do ambiente pode ser considerado, de maneira tal que os pesos espectrais usados na mixagem ascendente 350 do sinal do ambiente possam ser atrasados no tempo (por exemplo, em um ou mais quadros), quando comparados com os pesos espectrais usados na mixagem ascendente 340 do sinal direto.
[0107] Entretanto, as fases ou as diferenças de fase dos sinais de áudio de entrada ou dos sinais diretos extraídos também podem ser consideradas pela combinação do peso especítral. Também, os pesos espectrais podem ser naturalmente determinados à maneira de ajuste fino. Por exemplo, os pesos espectrais não precisam representar uma alocação de um canal do sinal do ambiente (intermediário) em exatamente um canal do sinal de áudio do ambiente ascendentemente mixado. Em vez disto, uma distribuição uniforme através de múltiplos canais ou até mesmo através de todos os canais pode ser indicada pelos pesos espectrais.
[0108] Deve-se notar que a funcionalidade descrita tomando referência às figuras 3 e 4 pode ser opcionalmente usada em qualquer uma das modalidades de acordo com a presente invenção. Entretanto, diferentes conceitos para a extração do sinal do ambiente e a distribuição do sinal do ambiente também podem ser usados.
[0109] Também, deve ser notado que os recursos, as funcionalidades e os detalhes descritos em relação às figuras 3 e 4 podem ser introduzidos nas outras modalidades individualmente ou em combinação.
4) MÉTODO DE ACORDO COM A FIGURA 5
[0110] A figura 5 mostra um fluxograma de um método 500 para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada.
[0111] O método compreende, em uma etapa 510, extrair um sinal do ambiente (intermediário) com base no sinal de áudio de entrada. O método 500 compreende adicionalmente, em uma etapa 520, distribuir o sinal do ambiente (intermediário extraído) para uma pluralidade de canais de sinal do ambiente (ascendentemente mixados), em que um número de canais de sinal do ambiente é maior do que um número de canais do sinal de áudio de entrada, na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada.
[0112] O método 500 de acordo com a figura 5 pode ser complementado por qualquer um dos recursos e funcionalidades aqui descritos, tanto individualmente quanto em combinação. Em particular, deve-se notar que o método 500 de acordo com a figura 5 pode ser complementado por qualquer um dos recursos e funcionalidades e detalhes descritos em relação ao processador do sinal de áudio e/ou em relação ao sistema.
5) MÉTODO DE ACORDO COM A FIGURA 6
[0113] A figura 6 mostra um fluxograma de um método 600 para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais.
[0114] O método compreende prover 610 os canais de sinal do ambiente com base em um sinal de áudio de entrada, em que mais do que dois canais de sinal do ambiente são providos. A provisão dos canais de sinal do ambiente pode, por exemplo, ser realizada de acordo com o método 500 descrito em relação à figura 5.
[0115] O método 600 também compreende prover 620 mais do que dois canais de sinal direto.
[0116] O método 600 também compreende alimentar 630 os canais de sinal do ambiente e os canais de sinal direto para um arranjo de alto-falante que compreende um conjunto de alto-falantes de sinal direto e um conjunto de alto-falantes de sinal do ambiente, em que cada um dos canais de sinal direto é alimentado para pelo menos um dos alto-falantes de sinal direto, e em que cada um dos canais de sinal do ambiente é alimentado para pelo menos um dos alto-falantes de sinal do ambiente.
[0117] O método 600 pode ser opcionalmente complementado por qualquer um dos recursos e funcionalidades e detalhes aqui descritos, tanto individualmente quanto em combinação. Por exemplo, o método 600 também pode ser complementado por recursos, funcionalidades e detalhes descritos em relação ao processador do sinal de áudio ou em relação ao sistema.
6) ASPECTOS E MODALIDADES ADICIONAIS
[0118] A seguir, uma modalidade de acordo com a presente invenção será apresentada. Em particular, serão apresentados os detalhes que podem ser assumidos em qualquer uma das outras modalidades, tanto individualmente quanto tomadas em combinação. Deve-se notar que será descrito um método que, entretanto, pode ser realizado pelos aparelhos e pelo sistema aqui mencionados.
6.1. VISÃO GERAL
[0119] A seguir, uma visão geral será apresentada. Os recursos descritos na visão geral podem formar uma modalidade, ou podem ser introduzidos em outras modalidades aqui descritas.
[0120] As modalidades de acordo com a presente invenção introduzem a separação de um sinal do ambiente em que o próprio sinal do ambiente é separado em componentes do sinal de acordo com a posição de seu sinal de origem (por exemplo, de acordo com a posição das fontes de áudio que excitam o sinal do ambiente). Embora todos os sinais do ambiente sejam difusos e, portanto, não tenham uma posição localizável, muitos sinais do ambiente, por exemplo, reverberação, são gerados a partir de um sinal de excitação (direto) com uma posição localizável. O sinal de saída do ambiente obtido (por exemplo, os canais de sinal do ambiente 112b a 112c ou os canais de sinal do ambiente 254a a 254c ou o sinal de áudio do ambiente ascendentemente mixado 352) tem mais canais (por exemplo, Q canais) do que o sinal de entrada (por exemplo, N canais), em que os canais de saída (por exemplo, os canais de sinal do ambiente) corresponde, às posições do sinal de origem direto que produziu o componente do sinal do ambiente.
[0121] O sinal do ambiente multicanais obtido (por exemplo, representado pelos canais de sinal do ambiente 112a a 112c ou pelos canais de sinal do ambiente 254a a 254c, ou pelo sinal de áudio do ambiente ascendentemente mixado 352) é desejado para a mixagem ascendente dos sinais de áudio, isto é, para criar um sinal com Q canais dado um sinal de entrada com N canais em que Q > N. A renderização dos sinais de saída em um sistema de reprodução de som multicanais é descrita a seguir
(e, também, em algum grau, na descrição exposta).
6.2 RENDERIZAÇÃO PROPOSTA DO SINAL EXTRAÍDO
[0122] Um importante aspecto do método (e conceito) apresentado é que os componentes do sinal do ambiente extraídos (por exemplo, o sinal do ambiente extraído 130 ou o sinal do ambiente extraído 230 ou o sinal do ambiente extraído 324) são distribuídos entre os sinais do canal do ambiente (por exemplo, entre os sinais 112a a 112c ou entre os sinais 254a a 254c, ou entre os canais do sinal de áudio do ambiente ascendentemente mixado 352) de acordo com a posição de seu sinal de excitação (por exemplo, da fonte de som direta que excita os respectivos sinais do ambiente ou componentes do sinal do ambiente). No geral, todos os canais (alto- falantes) podem ser usados para reproduzir sinais diretos ou sinais do ambiente ou ambos.
[0123] A figura 7 mostra uma configuração de alto-falante comum com dois alto- falantes, que é apropriada para reproduzir sinais de áudio estereofônicos com dois canais. Em outras palavras, a figura 7 mostra uma configuração de alto-falante padrão com dois alto-falantes (nos lados esquerdo e direito, “L” e “R”, respectivamente) para estereofonia de dois canais.
[0124] Quando uma configuração de alto-falante com mais canais estiver disponível, um sinal de entrada de dois canais (por exemplo, o sinal de áudio de entrada 110 ou o sinal de áudio de entrada 210 ou o sinal de áudio de entrada 310) pode ser separado em sinais de múltiplos canais e os sinais de saída adicionais são alimentados nos alto-falantes adicionais. Este processo de geração de um sinal de saída com mais canais do que os canais de entrada disponíveis é comumente referido como mixagem ascendente.
[0125] A figura 8 ilustra uma configuração de alto-falante com quatro alto-falantes. Em outras palavras, a figura 8 mostra uma configuração de alto-falante quadrifônica com quatro alto-falantes (esquerdo frontal “fL”, direito frontal fR”, esquerdo traseiro “IL”, direito traseiro “rTR”). Redigido diferentemente, a figura 8 ilustra uma configuração de alto-falante com quatro alto-falantes. Para tirar vantagem de todos os quatro alto-
falantes durante a reprodução de um sinal com dois canais, por exemplo, o sinal de entrada (por exemplo, o sinal de áudio de entrada 110 ou o sinal de áudio de entrada 210 ou o sinal de áudio de entrada 310) pode ser dividido em um sinal com quatro canais.
[0126] Uma outra configuração de alto-falante é mostrada na figura 9 com oito alto- falantes, em que quatro alto-falantes (a “altura” alto-falantes) são elevados, por exemplo, montados abaixo do teto do cômodo de audição. Em outras palavras, a figura 9 mostra uma configuração de alto-falante quadrifônica com alto-falantes de altura adicional marcada “h”.
[0127] Durante a reprodução dos sinais de áudio usando as configurações de alto- falante com mais canais do que o sinal de entrada, é prática comum decompor o sinal de entrada em significativos componentes do sinal. Para o dado exemplo, todos os sons diretos são alimentados para um dos quatro alto-falantes inferiores, de maneira tal que as fontes de som que são panoramicamente giradas para os lados do sinal de entrada sejam reproduzidas pelos alto-falantes traseiros “rl” e “TR”. As fontes de som que são panoramicamente giradas para o centro ou ligeiramente fora do centro são panoramicamente giradas para os alto-falantes frontais fL" e fR”. Desse modo, as fontes de som diretas podem ser distribuídas entre os alto-falantes de acordo com sua posição percebida no panorama estéreo. Os métodos convencionais computam os sinais do ambiente com o mesmo número de canais que os sinais de entrada têm. Durante a mixagem ascendente de um sinal de entrada estéreo de dois canais, um sinal do ambiente de dois canais tanto é alimentado para um subconjunto dos alto- falantes disponíveis quanto é distribuído entre todos os quatro alto-falantes pela alimentação de um sinal do canal ambiente para múltiplos alto-falantes.
[0128] Um importante aspecto do método apresentado é a separação de um sinal do ambiente com Q canais dos sinais de entrada com N canais com Q > N. Para o dado exemplo, um sinal do ambiente com quatro canais é computado de maneira tal que os sinais do ambiente sejam excitados a partir das fontes de som diretas e panoramicamente girados para a direção destes sinais.
[0129] Neste aspecto, deve-se notar que, por exemplo, a supramencionada distribuição das fontes de som diretas entre os alto-falantes pode ser realizada pela interação da decomposição direta/ambiente 220 e da distribuição do sinal do ambiente
240. Por exemplo, a computação de peso espectral 330 pode determinar os pesos espectrais de maneira tal que a mixagem ascendente 340 do sinal direto realize uma distribuição das fontes de som diretas, da forma aqui descrita (por exemplo, de maneira tal que as fontes de som que são panoramicamente giradas para os lados do sinal de entrada sejam reproduzidas pelos alto-falantes traseiros e de maneira tal que as fontes de som que são panoramicamente giradas para o centro ou ligeiramente para fora do centro sejam panoramicamente giradas para os alto-falantes frontais).
[0130] Além do mais, deve-se notar que os quatro alto-falantes inferiores supramencionados (fL, fR, rL, rR) podem corresponder aos alto-falantes 262a a 262c. Além do mais, os alto-falantes de altura h podem corresponder aos alto-falantes 264a a 264c.
[0131] Em outras palavras, o supramencionado conceito para a distribuição de sons diretos também pode ser implementado no sistema 200 de acordo com a figura 2, e pode ser alcançado pelo processamento explicado em relação às figuras 3 e 4.
6.3 MÉTODO DE SEPARAÇÃO DO SINAL
[0132] A seguir, um método de separação do sinal que pode ser usado em modalidades de acordo com a invenção será descrito.
[0133] Em um ambiente reverberante (um estúdio de gravação ou uma sala de concertos), as fontes de som geram reverberação e, desse modo, contribuem para a ambiência, juntamente com outros sons difusos, como sons de aplauso e ruído ambiental difuso (por exemplo, ruído de vento ou chuva). Para a maior parte das gravações musicais, a reverberação é o mais proeminente sinal do ambiente. À mesma pode ser gerada acusticamente pela gravação das fontes de som em um cômodo ou pela alimentação de um sinal de alto-falante em um cômodo e gravação do sinal de reverberação com um microfone. A reverberação também pode ser gerada artificialmente por meio de um processamento de sinal.
[0134] A reverberação é produzida por fontes de som que são refletidas nos contornos (parede, chão, teto). Os reflexos iniciais têm, tipicamente, a maior magnitude e alcançam os microfones primeiro. Os reflexos são adicionalmente refletidos com magnitudes decadentes e contribuem para a reverberação atrasada. Este processo pode ser modelado como uma mistura aditiva de muitas cópias atrasadas e escaladas do sinal de origem. O mesmo é, portanto, frequentemente implementado por meio de convolução.
[0135] A mixagem ascendente pode ser realizada tanto guiada pelo uso de informação adicional quanto não guiada pelo uso do sinal de entrada de áudio exclusivamente sem nenhuma informação adicional. Aqui, foca-se no procedimento mais desafiador de mixagem ascendente cega. Conceitos similares podem ser aplicados durante o uso da abordagem guiada com os metadados apropriados.
[0136] Um sinal de entrada x(t) é considerado como uma mistura aditiva de um sinal direto d(t) e um sinal do ambiente a(t). x(t) = d(t) + a(t). (1)
[0137] Todos os sinais têm sinais de múltiplos canais. O sinal de entrada do i- ésimo canal, sinal direto ou do ambiente, são denotados por xi(t), di(t) e ai(t), respectivamente. Os sinais multicanais podem, então, ser gravados como x(t) = Dx1(t) ... xN(t]", d(t) = [di(t) ... dn(t)]" e a(t) = [a1(t) ... a(t)]!, em que Né o número de canais.
[0138] O processamento (por exemplo, o processamento realizado pelos aparelhos e métodos de acordo com a presente invenção; por exemplo, o processamento realizado pelo aparelho 100 ou pelo sistema 200, ou o processamento da forma mostrada nas figuras 3 e 4) é realizado no domínio da frequência temporal pelo uso de uma transformada de Fourier de curto prazo ou um outro banco de filtro de reconstrução. No domínio da frequência temporal, o modelo do sinal é escrito como X(m, k) = D(m, k) + A(m, k), (2) em que X(m, k), D(m, k) e A(m, k) são os coeficientes espectrais de x(t), d(t) e a(t), respectivamente, m denota o índice de tempo e k denota o índice da posição de frequência (ou sub-banda). A seguir, os índices de tempo e sub-banda são omitidos quando possível.
[0139] O próprio sinal direto pode consistir em múltiplos componentes do sinal D7 que são gerados por múltiplas fontes de som, escrito em notação do domínio de frequência como D=X5, DS, G) e em notação do domínio de tempo como d=X5, ds, (4) com S sendo o número das fontes de som. Os componentes do sinal são panoramicamente girados para diferentes posições.
[0140] A geração de um componente do sinal de reverberação rº por um componente de sinal direto dº é modelada como um processo linear invariante no tempo (LTI) e pode, no domínio de tempo, ser sintetizado por meio de convolução do sinal direto com uma resposta de impulso que caracteriza o processo de reverberação.
rº = hº x do, (5)
[0141] As respostas de impulso dos processos de reverberação usados para a produção de música são decadentes, frequentemente exponencialmente decadentes. O decaimento pode ser especificado por meio do tempo de reverberação. O tempo de reverberação é o tempo depois do qual o nível do sinal de reverberação é decaído até uma fração do som inicial depois que o som inicial ficar mudo. O tempo de reverberação pode, por exemplo, ser especificado como “RT60”, isto é, o tempo que leva para que o sinal de reverberação reduza em 60 dB. O tempo de reverberação RT60 de cômodos comuns, salas e outros processos de reverberação varia entre 100 mse6s.
[0142] Deve-se notar que os supramencionados modelos dos sinais x(t), x(t), X(m,k) e rº supradescritos podem representar as características do sinal de áudio de entrada 110, do sinal de áudio de entrada 210 e/ou do sinal de áudio de entrada 310, e podem ser explorados durante a realização da extração do sinal do ambiente 120 ou durante a realização da decomposição direta/ambiente 220 ou da decomposição direta/ambiente 320.
[0143] A seguir, um conceito chave subjacente à presente invenção será descrito, que pode ser aplicado no aparelho 100, no sistema 200 e implementado pela funcionalidade descrita em relação às figuras 3 e 4.
[0144] De acordo com um aspecto da presente invenção, é proposto separar (ou prover) um sinal do ambiente À? com Q canais. Por exemplo, o método compreende o seguinte:
1. separar um sinal do ambiente À com N canais,
2. computar os pesos espectrais (7) para separar as fontes de som de acordo com sua posição na imagem espacial do sinal de entrada, para todas as posições p = 1...P,
3. realizar a mixagem ascendente do sinal do ambiente obtido para Q canais por meio de ponderação espectral (6).
Ã? = GPÃ, (6)
[0145] Por exemplo, a separação do sinal do ambiente À com N canais pode ser realizada pela extração do sinal do ambiente 120 ou pela decomposição direta/ambiente 220 ou pela decomposição direta/ambiente 320.
[0146] Além do mais, a computação de pesos espectrais pode ser realizada pelo processador do sinal de áudio 100 ou pelo processador do sinal de áudio 250 ou pela computação de peso espectral 330. Além do mais, a mixagem ascendente do sinal do ambiente obtido para Q canais pode, por exemplo, ser realizada pela distribuição do sinal do ambiente 140 ou pela distribuição do sinal do ambiente 240 ou pela mixagem ascendente 350. Os pesos espectrais (por exemplo, os pesos espectrais 332, que podem ser representados pelas linhas 449a a 449e na figura 4) podem, por exemplo, ser derivados a partir da análise do sinal de entrada X (por exemplo, o sinal de áudio de entrada 110 ou o sinal de áudio de entrada 210 ou o sinal de áudio de entrada 310). GP =fMA, (7)
[0147] Os pesos espectrais G” são computados de maneira tal que os mesmos possam separar as fontes de som panoramicamente giradas para a posição p a partir do sinal de entrada. Os pesos espectrais G” são opcionalmente atrasados (deslocados em tempo) antes da aplicação no sinal do ambiente estimado  para levar em conta o atraso de tempo na resposta de impulso da reverberação (pré-atraso).
[0148] Vários métodos para ambas as etapas de processamento da separação de sinal são factíveis. A seguir, dois métodos adequados são descritos.
[0149] Entretanto, deve-se notar que os métodos descritos a seguir devem ser considerados como exemplos apenas, e que os métodos devem ser adaptados à aplicação específica de acordo com a invenção. Deve-se notar que nenhuma alteração ou apenas alterações menores são exigidas em relação ao método de separação de sinal do ambiente.
[0150] Além do mais, deve-se notar que a computação de pesos espectrais também não precisa ser fortemente adaptada. Em vez disto, a computação de pesos espectrais mencionada a seguir pode, por exemplo, ser realizada com base no sinal de áudio de entrada 110, 210, 310. Entretanto, os pesos espectrais obtidos pelo método (para a computação de pesos espectrais) descrito a seguir serão aplicados na mixagem ascendente do sinal do ambiente extraído, em vez da mixagem ascendente do sinal de entrada ou do a mixagem ascendente do sinal direto.
6.4 MÉTODO DE SEPARAÇÃO DE SINAL DO AMBIENTE
[0151] Um possível método para a separação de sinal do ambiente é descrito no Pedido de Patente Internacional POCT/EP2013/072170 “Apparatus and method for multi-channel direct-ambient decomposition for audio signal processing”.
[0152] Entretanto, diferentes métodos podem ser usados para a separação de sinal do ambiente, e modificações no dito método também são possíveis, desde que haja uma extração de um sinal do ambiente ou uma decomposição de um sinal de entrada em um sinal direto e um sinal do ambiente.
[0153] 65 MÉTODO PARA COMPUTAR PESOS ESPECTRAIS PARA
[0154] Um possível método para computar os pesos espectrais para as posições espaciais é descrito no Pedido de Patente Internacional WO 2013004698 A1 “Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator”.
[0155] Entretanto, deve-se notar que diferentes métodos para obter pesos espectrais (que podem, por exemplo, definir a matriz GP) podem ser usados. Também, o método de acordo com WO 2013004698 A1 também pode ser modificado, desde que seja garantido que os pesos espectrais para separar as fontes de som de acordo com suas posições na imagem espacial sejam derivados para um número de canais que corresponde ao número desejado de canais de saída.
7. CONCLUSÕES
[0156] A seguir, algumas conclusões serão providas. Entretanto, deve-se notar que as ideias descritas nas conclusões também podem ser introduzidas em qualquer uma das modalidades aqui reveladas.
[0157] Deve-se notar que um método para decompor um sinal de entrada de áudio em componentes de sinal direto e componentes do sinal do ambiente é descrito. O método pode ser aplicado para pós-produção e reprodução de som. O objetivo é computar um sinal do ambiente em que todos os componentes de sinal direto são atenuados e apenas os componentes de sinal difuso são audíveis.
[0158] É um importante aspecto do método apresentado que tais componentes do sinal do ambiente sejam separados de acordo com a posição de seu sinal de origem. Embora todos os sinais do ambiente sejam difusos e, portanto, do não tenham uma posição, muitos sinais do ambiente, por exemplo, reverberação, são gerados a partir de um sinal de excitação direto com uma posição definida. O sinal de saída do ambiente obtido que pode, por exemplo, ser representado pelos canais de sinal do ambiente 112a a 112c ou pelos sinais do canal do ambiente 254a a 254c ou pelo sinal de áudio do ambiente ascendentemente mixado 352, tem mais canais (por exemplo, Q canais) do que o sinal de entrada (por exemplo, N canais), em que os canais de saída (por exemplo, os canais de sinal do ambiente 112a a 112c ou os canais de sinal do ambiente 254a a 254c) correspondem às posições do sinal de excitação direto (que pode, por exemplo, ser incluído no sinal de áudio de entrada 110 ou no sinal de áudio de entrada 210 ou no sinal de áudio de entrada 310).
[0159] Para concluir adicionalmente, vários métodos foram propostos para separar os componentes do sinal (ou todos os componentes do sinal) ou os componentes de sinal direto apenas de acordo com seus locais na imagem estéreo (conforme, por exemplo, as Referências [2], [10], [11] e [12]). As modalidades de acordo com a invenção estendem este conceito (convencional) para os componentes do sinal do ambiente.
[0160] Para concluir adicionalmente, as modalidades de acordo com a invenção são relacionadas a uma extração do sinal do ambiente e mixagem ascendente. As modalidades de acordo com a invenção podem ser aplicadas, por exemplo, em aplicações automotivas.
[0161] As modalidades de acordo com a invenção podem, por exemplo, ser aplicadas no contexto de um conceito de “sinforia”.
[0162] As modalidades de acordo com a invenção também podem ser aplicadas para criar um panorama 3D.
8. ALTERNATIVAS DE IMPLEMENTAÇÃO
[0163] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, fica claro que estes aspectos também representam uma descrição do correspondente método, em que um bloco ou dispositivo correspondem a uma etapa do método ou um recurso de uma etapa do método. Analogamente, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco ou item ou recurso correspondentes de um aparelho correspondente. Algumas ou todas as etapas do método podem ser executadas por (ou usando) um aparelho em hardware, como, por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas modalidades, uma ou mais das etapas mais importantes do método podem ser executadas por um aparelho como este.
[0164] Dependendo de certas exigências de implementação, as modalidades da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada usando uma mídia de armazenamento digital, por exemplo, um disco flexível, um DVD, um Blu-Ray, um CD, uma ROM, uma PROM, uma EPROM, uma EEPROM ou uma memória flash, com sinais de controle eletronicamente legíveis armazenados nos mesmos, que cooperam (ou são capazes de cooperar) com um sistema de computador programável, de maneira tal que o respectivo método seja realizado. Portanto, a mídia de armazenamento digital pode ser legível por computador.
[0165] Algumas modalidades de acordo com a invenção compreendem uma portadora de dados com sinais de controle eletronicamente legíveis, que são capazes de cooperar com um dispositivo de computador programável, de maneira tal que um dos métodos aqui descritos seja realizado.
[0166] No geral, as modalidades da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, o código de programa sendo operativo para realizar um dos métodos quando o produto de programa de computador executar em um computador. O código de programa pode ser, por exemplo, armazenado em uma portadora legível por máquina.
[0167] Outras modalidades compreendem o programa de computador para realizar um dos métodos aqui descritos, armazenado em uma portadora legível por máquina.
[0168] Em outras palavras, uma modalidade do método inventivo é, portanto, um programa de computador com um código de programa para realizar um dos métodos aqui descritos, quando o programa de computador executar em um computador.
[0169] Uma modalidade adicional dos métodos inventivos é, portanto, uma portadora de dados (ou uma mídia de armazenamento digital, ou uma mídia legível por computador) que compreende, gravado na mesma, o programa de computador para realizar um dos métodos aqui descritos. A portadora de dados, a mídia de armazenamento digital ou a mídia gravada são tipicamente tangíveis e/ou não transitórias.
[0170] Uma modalidade adicional do método inventivo é, portanto, um fluxo contínuo de dados ou uma sequência dos sinais que representa o programa de computador para realizar um dos métodos aqui descritos. O fluxo contínuo de dados ou a sequência de sinais podem ser, por exemplo, configurados para ser transferidos por meio de uma conexão de comunicação de dados, por exemplo, por meio da Internet.
[0171] Uma modalidade adicional compreende um meio de processamento, por exemplo, um computador, ou um dispositivo lógico programável, configurado para ou adaptado para realizar um dos métodos aqui descritos.
[0172] Uma modalidade adicional compreende um computador que tem, instalado no mesmo, o programa de computador para realizar um dos métodos aqui descritos.
[0173] Uma modalidade adicional de acordo com a invenção compreende um aparelho ou um sistema configurados para transferir (por exemplo, eletronicamente ou opticamente) um programa de computador para realizar um dos métodos aqui descritos para um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou congêneres. O aparelho ou o sistema podem, por exemplo, compreender um servidor de arquivos para transferir o programa de computador para o receptor.
[0174] Em algumas modalidades, um dispositivo lógico programável (por exemplo, um arranjo de portas programável no campo) pode ser usado para realizar algumas ou todas as funcionalidades dos métodos aqui descritos. Em algumas modalidades, um arranjo de portas programável no campo pode cooperar com um microprocessador a fim de realizar um dos métodos aqui descritos. No geral, os métodos são preferivelmente realizados por qualquer aparelho em hardware.
[0175] O aparelho aqui descrito pode ser implementado usando um aparelho em hardware, ou usando um computador, ou usando uma combinação de um aparelho em hardware e um computador.
[0176] O aparelho aqui descrito, ou quaisquer componentes do aparelho aqui descrito, podem ser implementados pelo menos parcialmente em hardware e/ou em software.
[0177] Os métodos aqui descritos podem ser realizados usando um aparelho em hardware, ou usando um computador, ou usando uma combinação de um aparelho em hardware e um computador.
[0178] Os métodos aqui descritos, ou quaisquer componentes do aparelho aqui descrito, podem ser realizados pelo menos parcialmente por hardware e/ou por software.
[0179] As supradescritas modalidades são meramente ilustrativas para os princípios da presente invenção. Entende-se que as modificações e as variações dos arranjos e dos detalhes aqui descritos serão aparentes aos outros versados na técnica. É a intenção, portanto, ser limitado apenas pelo escopo das reivindicações de patente anexas e não pelos detalhes específicos apresentados a título de descrição e explicação das modalidades aqui expostas.
[0180] [1] JB. Allen, D.A. Berkeley, and J. Blauert, "Multi-microphone signal- processing technique to remove room reverberation from speech signals," J. Acoust. Soc. Am., vol. 62, 1977.
[0181] [2] C. Avendano and J.-M. Jot, "A frequency-domain approach to multi- channel upmix," J. Audio Eng. Soc., vol. 52, 2004.
[0182] [3] C. Faller, "Multiple-loudspeaker playback of stereo signals," J. Audio Eng. Soc., vol. 54, 2006.
[0183] [4] J. Merimaa, M. Goodwin, and J.-M. Jot, "Correlation-based ambience extraction from stereo recordings," in Proc. Audio Eng. Soc. /23rd Conv., 2007.
[0184] [5] J. Usher and J. Benesty, "Enhancement of spatial sound quality: A new reverberation-extraction audio uprnixer," IEEE Trans. Audio, Speech, and Language Process., vol. 15, pp. 2141-2150, 2007.
[0185] [6] G. Soulodre, "System for extracting and changing the reverberant content of an audio input signal," US Patent 8,036,767, Oct. 2011.
[0186] [7] J. He, E.-L. Tan, and W.-S. Gan, "Linear estimation based primary-
ambient extraction for stereo audio signals," IEEE/ACM Trans. Audio, Speech, and Language Process., vol. 22, no. 2, 2014.
[0187] [8] C. Uhle and E. Habets, "Direct-ambient decomposition using parametric Wiener filtering wih spatial cue control," in Proc.Int. Conf on Acoust., Speech and Sig. Process., ICASSP, 2015.
[0188] [9] A. Walther and C. Faller, "Direct-ambient decomposition and upmix of surround sound signals," in Proc.IEEE WASPAA, 2011.
[0189] [10] D. Barry, B. Lawlor, and E. Coyle, "Sound source separation: Azimuth discrimination and resynthesis," in Proc. Int. Conf Digital Audio Effects ( DAFx), 2004.
[0190] [11] C. Uhle, "Center signal scaling using signal-to-downmix ratios," in Proc. Int. Corif. Digital Audio Effects, DAFx, 2013.
[0191] [12] C. Uhle and E. Habets, "Subband center signal scaling using power ratios," in Proc. AES 53rd Conf Semantic Audio, 2014.
Claims (33)
1. Processador de sinal de áudio (100;150; 250) para prover os canais de sinal do ambiente (112a-112c; 162a-162c; 254a-254c; 352; Ã?) com base em um sinal de áudio de entrada (110;160; 210;310;x(t),x(t), X(m,k)), caracterizado por o processador de sinal de áudio ser configurado para obter os canais de sinal do ambiente, em que um número de canais de sinal do ambiente obtidos (Q) que compreendem conteúdo de áudio diferente é maior do que um número (N) de canais do sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para extrair um sinal do ambiente (130; 230; 324; À) com base no sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para distribuir os componentes do sinal do ambiente entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente, de maneira tal que os diferentes componentes do sinal do ambiente excitados por diferentes fontes localizadas em diferentes posições sejam distribuídos diferentemente entre os canais de sinal do ambiente, e de maneira tal que uma distribuição dos componentes do sinal do ambiente para diferentes canais de sinal do ambiente corresponda a uma distribuição dos componentes de sinal direto que excitam os respectivos componentes do sinal do ambiente para diferentes canais de sinal direto.
2. Processador de sinal de áudio (100;150; 250) para prover os canais de sinal do ambiente (112a-112c; 162a-162c; 254a-254c; 352; ÀP) com base em um sinal de áudio de entrada (110;160; 210;310;x(t),x(t), X(m,k)),
caracterizado por o processador de sinal de áudio ser configurado para obter os canais de sinal do ambiente,
em que um número de canais de sinal do ambiente obtidos (Q) que compreendem conteúdo de áudio diferente é maior do que um número (N) de canais do sinal de áudio de entrada;
em que o processador de sinal de áudio é configurado para obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada;
em que o processador de sinal de áudio é configurado para obter um sinal direto, que compreende os componentes de som diretos, com base no sinal de áudio de entrada;
em que o processador de sinal de áudio é configurado para extrair um sinal do ambiente (130; 230; 324; À) com base no sinal de áudio de entrada; e em que o processador de sinal é configurado para distribuir o sinal do ambiente para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente (Q) é maior do que um número de canais (N) do sinal de áudio de entrada;
em que os canais de sinal do ambiente (112a-112c; 254a-254c; 352; Ã?) são associados com diferentes direções;
em que os canais de sinal direto (252a-252c;324; DP) são associados com diferentes direções,
em que os canais de sinal do ambiente (254a-254c; 352; ÀP) e os canais de sinal direto (252a-252c;342; DP) são associados com o mesmo conjunto de direções, ou em que os canais de sinal do ambiente são associados com um subconjunto do conjunto de direções associado com os canais de sinal direto; e em que o processador de sinal de áudio é configurado para distribuir os componentes de sinal direto entre os canais de sinal direto de acordo com as posições
Ou as direções dos respectivos componentes de som diretos, e em que o processador de sinal de áudio é configurado para distribuir os componentes do sinal do ambiente entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente usando os mesmos coeficientes de giro panorâmico ou pesos espectrais usando quais dos componentes de sinal direto forem distribuídos.
3. Processador de sinal de áudio (100;150; 250) para prover os canais de sinal do ambiente (112a-112c; 162a-162c; 254a-254c; 352; Ã?) com base em um sinal de áudio de entrada (110;160; 210;310;x(t),x(t), X(m,k)), caracterizado por o processador de sinal de áudio ser configurado para obter os canais de sinal do ambiente, em que um número de canais de sinal do ambiente obtidos (Q) que compreendem conteúdo de áudio diferente é maior do que um número (N) de canais do sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para obter um sinal direto, que compreende os componentes de som diretos, com base no sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para extrair um sinal do ambiente (130; 230; 324; Â) com base no sinal de áudio de entrada; e em que o processador de sinal é configurado para distribuir o sinal do ambiente para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente (Q) é maior do que um número de canais (N) do sinal de áudio de entrada;
em que o processador de sinal de áudio é configurado para obter um sinal direto com base no sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para aplicar pesos espectrais (332;G”), a fim de distribuir o sinal do ambiente (130; 230; 324; À) para os canais de sinal do ambiente (112a-112c; 254a-254c; 352; ÀP); em que o processador de sinal de áudio é configurado para aplicar um mesmo conjunto de pesos espectrais (332;G”) para distribuir os componentes de sinal direto (226; D;322) para canais de sinal direto (252a-252c;342; DP) e para distribuir os componentes do sinal do ambiente (230; 4;324) do sinal do ambiente para os canais de sinal do ambiente (112a-112c; 254a-254c; 352; À?).
4. Processador de sinal de áudio (100;150; 250), de acordo com qualquer uma das reivindicações 1 a 3, caracterizado por o processador de sinal de áudio ser configurado para obter os canais de sinal do ambiente (112a-112c; 162a-162c; 254a- 254c; 352; À?) de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente.
5. Processador de sinal de áudio (150; 250), de acordo com qualquer uma das reivindicações 1 a 4, caracterizado por o processador de sinal de áudio ser configurado para distribuir os um ou mais canais do sinal de áudio de entrada para uma pluralidade de canais ascendentemente mixados, em que um número de canais ascendentemente mixados é maior do que o número de canais do sinal de áudio de entrada, e em que o processador de sinal de áudio é configurado para extrair os canais de sinal do ambiente a partir de canais ascendentemente mixados.
6. Processador de sinal de áudio (150; 250), de acordo com a reivindicação 5, caracterizado por o processador de sinal de áudio ser configurado para extrair os canais de sinal do ambiente a partir dos canais ascendentemente mixados usando uma extração do sinal do ambiente multicanais ou usando uma separação de sinal direto/sinal do ambiente multicanais.
7. Processador de sinal de áudio (150; 250), de acordo com qualquer uma das reivindicações 1 a 4, caracterizado por o processador de sinal de áudio ser configurado para determinar os coeficientes de mixagem ascendente e para determinar os coeficientes de extração do sinal do ambiente, e em que o processador de sinal de áudio é configurado para obter os canais de sinal do ambiente usando os coeficientes de mixagem ascendente e os coeficientes de extração do sinal do ambiente.
8. Processador de sinal de áudio (100;250) para prover os canais de sinal do ambiente (112a-112c; 254a-254c; 352; ÀP) com base em um sinal de áudio de entrada (110;210;310;x(t),x(t)X(m,k)), de acordo com qualquer uma das reivindicações 1 a 7, caracterizado por o processador de sinal de áudio ser configurado para extrair um sinal do ambiente (130; 230; 324; À) com base no sinal de áudio de entrada; e em que o processador de sinal é configurado para distribuir o sinal do ambiente para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente (Q) é maior do que um número de canais (N) do sinal de áudio de entrada.
9. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 1 a 8, caracterizado por o processador de sinal de áudio ser configurado para realizar uma separação de ambiente direto (120;220;320) com base no sinal de áudio de entrada (110;210;310;x(t),x(t), X(m,k)), a fim de derivar o sinal do ambiente.
10. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado por o processador de sinal de áudio ser configurado para distribuir os componentes do sinal do ambiente entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente.
11. Processador de sinal de áudio, de acordo com a reivindicação 10, caracterizado por os canais de sinal do ambiente (112a-112c; 254a-254c; 352; Fu) serem associados com diferentes direções.
12. Processador de sinal de áudio, de acordo com a reivindicação 11, caracterizado por os canais de sinal direto (252a-252c;324; DP) serem associados com diferentes direções, em que os canais de sinal do ambiente (254a-254c; 352; À?) e os canais de sinal direto (252a-252c;342; DP) são associados com o mesmo conjunto de direções, ou em que os canais de sinal do ambiente são associados com um subconjunto do conjunto de direções associado com os canais de sinal direto; e em que o processador de sinal de áudio é configurado para distribuir os componentes de sinal direto entre os canais de sinal direto de acordo com as posições Ou as direções dos respectivos componentes de som diretos, e em que o processador de sinal de áudio é configurado para distribuir os componentes do sinal do ambiente entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente da mesma maneira em que os componentes de sinal direto são distribuídos.
13. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado por o processador de sinal de áudio ser configurado para prover os canais de sinal do ambiente (112a-112c; 254a-254c; 352; À?) de maneira tal que o sinal do ambiente seja separado em componentes do sinal do ambiente de acordo com as posições dos sinais de origem subjacentes aos componentes do sinal do ambiente.
14. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado por o processador de sinal de áudio ser configurado para aplicar pesos espectrais (332;G”P), a fim de distribuir o sinal do ambiente (130; 230; 324; À) para os canais de sinal do ambiente (112a-112c; 254a-
254c; 352; À?)
15. Processador de sinal de áudio, de acordo com a reivindicação 14, caracterizado por o processador de sinal de áudio ser configurado para aplicar pesos espectrais (332;GP), que são computados para separar as fontes de áudio direcional de acordo com suas posições ou direções, a fim de mixar ascendentemente o sinal do ambiente (130; 230; 324; À) em relação à pluralidade de canais de sinal do ambiente (112a-112c; 254a-254c; 352; ÀP), ou em que o processador de sinal de áudio é configurado para aplicar uma versão atrasada dos pesos espectrais, que são computados para separar as fontes de áudio direcional de acordo com suas posições ou direções, a fim de mixar ascendentemente o sinal do ambiente em relação à pluralidade de canais de sinal do ambiente.
16. Processador de sinal de áudio, de acordo com as reivindicações 14 ou 15, caracterizado por o processador de sinal de áudio ser configurado para derivar os pesos espectrais (332;GP”) de maneira tal que os pesos especírais sejam dependentes de tempo e dependentes de frequência.
17. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 14 a 16, caracterizado por o processador de sinal de áudio ser configurado para derivar os pesos espectrais (332;GP) na dependência das posições ou das direções das fontes de som em uma imagem do som espacial do sinal de áudio de entrada (110;210;310;x(t),x(t), X(m,k)).
18. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 14 a 17, caracterizado por o sinal de áudio de entrada (110;210;310;x(t),x(t), X(m,k)) compreender pelo menos dois sinais do canal de entrada, e em que o processador de sinal de áudio é configurado para derivar os pesos espectrais (332;G?) na dependência das diferenças entre os pelo menos dois sinais do canal de entrada.
19. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 14 a 18, caracterizado por o processador de sinal de áudio ser configurado para determinar os pesos espectrais (332;GP) na dependência das posições ou das direções a partir das quais os componentes espectrais originam, de maneira tal que os componentes espectrais que originam a partir de uma dada posição ou direção sejam ponderados mais fortes em um canal associado com as respectivas posição ou direção, quando comparado com outros canais.
20. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 14 a 19, caracterizado por o processador de sinal de áudio ser configurado para determinar os pesos espectrais (332;GP) de maneira tal que os pesos espectrais descrevam uma ponderação dos componentes espectrais dos sinais do canal de entrada (322,324) em uma pluralidade de sinais do canal de saída (342,352).
21. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações 14 a 20, caracterizado por o processador de sinal de áudio ser configurado para aplicar um mesmo conjunto de pesos espectrais (332;GP) para distribuir os componentes de sinal direto (226; D;322) para os canais de sinal direto (252a-252c;342; DP?) e para distribuir os componentes do sinal do ambiente (230; Ã;324) do sinal do ambiente para os canais de sinal do ambiente (112a-112c; 254a- 254c; 352; ÀP).
22. Processador de sinal de áudio, de acordo com qualquer uma das reivindicações | a 21, caracterizado por o sinal de áudio de entrada (110;210;310;x(t),x(t), X(m,k)) compreender pelo menos 2 canais, e/ou em que o sinal do ambiente (130; 230; 324; À) compreende pelo menos 2 canais.
23. Sistema (200) para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais (210, X), caracterizado por compreender: um processador de sinal de áudio (100; 250) como definido em qualquer uma das reivindicações 1 a 22, em que o processador de sinal de áudio é configurado para prover mais do que 2 canais de sinal direto (252a-252c) e mais do que 2 canais de sinal do ambiente (254a-254c); e um arranjo de alto-falante (260) que compreende um conjunto de alto-
falantes de sinal direto (262a-262c) e um conjunto de alto-falantes de sinal do ambiente (264a-264c), em que cada um dos canais de sinal direto é associado a pelo menos um dos alto-falantes de sinal direto, e em que cada um dos canais de sinal do ambiente é associado com pelo menos um dos alto-falantes de sinal do ambiente.
24. Sistema, de acordo com a reivindicação 23, caracterizado por cada um dos alto-falantes de sinal do ambiente (264a-264c) ser associado com um dos alto-falantes de sinal direto (262a-262c).
25. Sistema, de acordo com as reivindicações 23 ou 24, caracterizado por as posições dos alto-falantes de sinal do ambiente (264a-264c; h) serem elevadas em relação às posições dos alto-falantes de sinal direto (262a-262c; fL,IR,rL,rR).
26. Método para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada, caracterizado por o método compreender obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente obtidos que compreendem conteúdo de áudio diferente é maior do que um número de canais do sinal de áudio de entrada; em que os componentes do sinal do ambiente são distribuídos entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente, de maneira tal que os diferentes componentes do sinal do ambiente excitados por diferentes fontes localizadas em diferentes posições sejam distribuídos diferentemente entre os canais de sinal do ambiente, e de maneira tal que uma distribuição dos componentes do sinal do ambiente para diferentes canais de sinal do ambiente corresponda a uma distribuição dos componentes de sinal direto que excitam os respectivos componentes do sinal do ambiente para diferentes canais de sinal direto.
27. Método para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada, caracterizado por o método compreender obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente obtidos que compreendem conteúdo de áudio diferente é maior do que um número de canais do sinal de áudio de entrada; em que o método compreende obter um sinal direto, que compreende os componentes de som diretos, com base no sinal de áudio de entrada; em que o método compreende extrair um sinal do ambiente (130; 230; 324; À) com base no sinal de áudio de entrada; e em que o método compreende distribuir o sinal do ambiente para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente (Q) é maior do que um número de canais (N) do sinal de áudio de entrada; em que os canais de sinal do ambiente (112a-112c; 254a-254c; 352; Ã?) são associados com diferentes direções; em que os canais de sinal direto (252a-252c;324; DP) são associados com diferentes direções, em que os canais de sinal do ambiente (254a-254c; 352; ÀP) e os canais de sinal direto (252a-252c;342; DP) são associados com o mesmo conjunto de direções, ou em que os canais de sinal do ambiente são associados com um subconjunto do conjunto de direções associado com os canais de sinal direto; e em que os componentes de sinal direto são distribuídos entre os canais de sinal direto de acordo com as posições ou as direções dos respectivos componentes de som diretos, e em que os componentes do sinal do ambiente são distribuídos entre os canais de sinal do ambiente de acordo com as posições ou as direções das fontes de som diretas que excitam os respectivos componentes do sinal do ambiente usando os mesmos coeficientes de giro panorâmico ou pesos espectrais usando quais dos componentes de sinal direto forem distribuídos.
28. Método para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada, caracterizado por o método compreender obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente obtidos que compreendem conteúdo de áudio diferente é maior do que um número de canais do sinal de áudio de entrada; em que o método compreende obter um sinal direto, que compreende os componentes de som diretos, com base no sinal de áudio de entrada; em que o método compreende extrair um sinal do ambiente (130; 230; 324; Ã) com base no sinal de áudio de entrada; e em que o sinal do ambiente é distribuído para uma pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente (Q) é maior do que um número de canais (N) do sinal de áudio de entrada; em que um sinal direto é obtido com base no sinal de áudio de entrada; em que os pesos espectrais (332;GP) são aplicados, a fim de distribuir o sinal do ambiente (130; 230; 324; À) para os canais de sinal do ambiente (112a-112c; 254a-254c; 352; ÀP); em que um mesmo conjunto de pesos espectrais (332;GP) é aplicado para distribuir os componentes de sinal direto (226; D;322) para os canais de sinal direto (252a-252c;342; DP?) e para distribuir os componentes do sinal do ambiente (230; Ã;324) do sinal do ambiente para os canais de sinal do ambiente (112a-112c; 254a- 254c; 352; ÀP).
29. Método (500) para prover os canais de sinal do ambiente com base em um sinal de áudio de entrada, de acordo com qualquer uma das reivindicações 26 a 28, caracterizado por o método compreender extrair (510) um sinal do ambiente com base no sinal de áudio de entrada; e em que o método compreende distribuir (520) o sinal do ambiente para a pluralidade de canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada, em que um número de canais de sinal do ambiente é maior do que um número de canais do sinal de áudio de entrada.
30. Método (600) para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais, caracterizado por compreender: prover (610) os canais de sinal do ambiente com base em um sinal de áudio de entrada, como definido em qualquer uma das reivindicações 26 a 29, em que mais do que 2 canais de sinal do ambiente são providos; prover (620) mais do que 2 canais de sinal direto; alimentar (630) os canais de sinal do ambiente e os canais de sinal direto para um arranjo de alto-falante que compreende um conjunto de alto-falantes de sinal direto e um conjunto de alto-falantes de sinal do ambiente, em que cada um dos canais de sinal direto é alimentado para pelo menos um dos alto-falantes de sinal direto, e em que cada um dos canais de sinal do ambiente é alimentado com pelo menos um dos alto-falantes de sinal do ambiente.
31. Programa de computador, caracterizado por realizar um método, como definido em qualquer uma das reivindicações 26 a 30, quando o programa de computador executar em um computador.
32. Sistema (200) para renderizar um conteúdo de áudio representado por um sinal de áudio de entrada multicanais (210, X), caracterizado por compreender: um processador de sinal de áudio (100;150; 250) para prover os canais de sinal do ambiente (112a-112c; 162a-162c; 254a-254c; 352; Ã?) com base em um sinal de áudio de entrada (110;160; 210;310;x(t),x(t), X(m,k)), em que o processador de sinal de áudio é configurado para obter os canais de sinal do ambiente, em que um número de canais de sinal do ambiente obtidos (Q) que compreendem conteúdo de áudio diferente é maior do que um número (N) de canais do sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para obter os canais de sinal do ambiente de maneira tal que os componentes do sinal do ambiente sejam distribuídos entre os canais de sinal do ambiente na dependência das posições ou das direções das fontes de som no sinal de áudio de entrada; em que o processador de sinal de áudio é configurado para prover mais do que 2 canais de sinal direto (252a-252c) e mais do que 2 canais de sinal do ambiente (254a-254c); e um arranjo de alto-falante (260) que compreende um conjunto de alto- falantes de sinal direto (262a-262c) e um conjunto de alto-falantes de sinal do ambiente (264a-264c), em que cada um dos canais de sinal direto é associado a pelo menos um dos alto-falantes de sinal direto, e em que cada um dos canais de sinal do ambiente é associado com pelo menos um dos alto-falantes de sinal do ambiente, de maneira tal que os sinais diretos e os sinais do ambiente sejam renderizados usando alto-falantes diferentes.
33. Sistema, de acordo com a reivindicação 32, caracterizado por haver uma associação entre alto-falantes de sinal direto e alto-falantes de sinal do ambiente, ou em que há uma associação entre um subconjunto dos alto-falantes de sinal direto e dos alto-falantes de sinal do ambiente.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18153968.5 | 2018-01-29 | ||
| EP18153968.5A EP3518562A1 (en) | 2018-01-29 | 2018-01-29 | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels |
| PCT/EP2019/052018 WO2019145545A1 (en) | 2018-01-29 | 2019-01-28 | Audio signal processor, system and methods distributing an ambient signal to a plurality of ambient signal channels |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112020015360A2 true BR112020015360A2 (pt) | 2020-12-08 |
Family
ID=61074439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112020015360-5A BR112020015360A2 (pt) | 2018-01-29 | 2019-01-28 | Processador de sinal de áudio, sistema e métodos de distribuição de um sinal do ambiente para uma pluralidade de canais de sinal do ambiente |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US11470438B2 (pt) |
| EP (3) | EP3518562A1 (pt) |
| JP (1) | JP7083405B2 (pt) |
| KR (1) | KR102547423B1 (pt) |
| CN (1) | CN111919455B (pt) |
| AU (1) | AU2019213006B2 (pt) |
| BR (1) | BR112020015360A2 (pt) |
| CA (1) | CA3094815C (pt) |
| MX (1) | MX2020007863A (pt) |
| RU (1) | RU2768974C2 (pt) |
| WO (1) | WO2019145545A1 (pt) |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000152399A (ja) * | 1998-11-12 | 2000-05-30 | Yamaha Corp | 音場効果制御装置 |
| US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
| US8036767B2 (en) | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
| RU2439717C1 (ru) * | 2008-01-01 | 2012-01-10 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для обработки звукового сигнала |
| GB2457508B (en) * | 2008-02-18 | 2010-06-09 | Ltd Sony Computer Entertainmen | System and method of audio adaptaton |
| CH703771A2 (de) * | 2010-09-10 | 2012-03-15 | Stormingswiss Gmbh | Vorrichtung und Verfahren zur zeitlichen Auswertung und Optimierung von stereophonen oder pseudostereophonen Signalen. |
| US9031268B2 (en) * | 2011-05-09 | 2015-05-12 | Dts, Inc. | Room characterization and correction for multi-channel audio |
| EP2523473A1 (en) * | 2011-05-11 | 2012-11-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an output signal employing a decomposer |
| EP2544466A1 (en) | 2011-07-05 | 2013-01-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral subtractor |
| EP2733964A1 (en) * | 2012-11-15 | 2014-05-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Segment-wise adjustment of spatial audio signal to different playback loudspeaker setup |
| SG11201507066PA (en) | 2013-03-05 | 2015-10-29 | Fraunhofer Ges Forschung | Apparatus and method for multichannel direct-ambient decomposition for audio signal processing |
| FR3017484A1 (fr) | 2014-02-07 | 2015-08-14 | Orange | Extension amelioree de bande de frequence dans un decodeur de signaux audiofrequences |
| EP3048818B1 (en) * | 2015-01-20 | 2018-10-10 | Yamaha Corporation | Audio signal processing apparatus |
| DE102015205042A1 (de) * | 2015-03-19 | 2016-09-22 | Continental Automotive Gmbh | Verfahren zur Steuerung einer Audiosignalausgabe für ein Fahrzeug |
-
2018
- 2018-01-29 EP EP18153968.5A patent/EP3518562A1/en not_active Withdrawn
-
2019
- 2019-01-28 RU RU2020128498A patent/RU2768974C2/ru active
- 2019-01-28 JP JP2020562845A patent/JP7083405B2/ja active Active
- 2019-01-28 CA CA3094815A patent/CA3094815C/en active Active
- 2019-01-28 MX MX2020007863A patent/MX2020007863A/es unknown
- 2019-01-28 EP EP23210178.2A patent/EP4300999A3/en active Pending
- 2019-01-28 AU AU2019213006A patent/AU2019213006B2/en active Active
- 2019-01-28 BR BR112020015360-5A patent/BR112020015360A2/pt unknown
- 2019-01-28 KR KR1020207024966A patent/KR102547423B1/ko active IP Right Grant
- 2019-01-28 EP EP19701867.4A patent/EP3747206B1/en active Active
- 2019-01-28 CN CN201980023008.0A patent/CN111919455B/zh active Active
- 2019-01-28 WO PCT/EP2019/052018 patent/WO2019145545A1/en unknown
-
2020
- 2020-07-29 US US16/942,437 patent/US11470438B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3518562A1 (en) | 2019-07-31 |
| EP4300999A3 (en) | 2024-03-27 |
| MX2020007863A (es) | 2021-01-08 |
| CN111919455B (zh) | 2022-11-22 |
| CN111919455A (zh) | 2020-11-10 |
| RU2020128498A3 (pt) | 2022-02-28 |
| US20200359155A1 (en) | 2020-11-12 |
| RU2020128498A (ru) | 2022-02-28 |
| AU2019213006B2 (en) | 2022-03-10 |
| EP3747206B1 (en) | 2023-12-27 |
| AU2019213006A1 (en) | 2020-09-24 |
| JP2021512570A (ja) | 2021-05-13 |
| EP4300999A2 (en) | 2024-01-03 |
| WO2019145545A1 (en) | 2019-08-01 |
| KR20200128671A (ko) | 2020-11-16 |
| EP3747206C0 (en) | 2023-12-27 |
| RU2768974C2 (ru) | 2022-03-28 |
| KR102547423B1 (ko) | 2023-06-23 |
| JP7083405B2 (ja) | 2022-06-10 |
| US11470438B2 (en) | 2022-10-11 |
| CA3094815C (en) | 2023-11-14 |
| CA3094815A1 (en) | 2019-08-01 |
| EP3747206A1 (en) | 2020-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7183467B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
| JP6818841B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
| JP6130599B2 (ja) | 第１および第２の入力チャネルを少なくとも１個の出力チャネルにマッピングするための装置及び方法 | |
| JP4944902B2 (ja) | バイノーラルオーディオ信号の復号制御 | |
| Avendano et al. | Ambience extraction and synthesis from stereo signals for multi-channel audio up-mix | |
| AU2015295518B2 (en) | Apparatus and method for enhancing an audio signal, sound enhancing system | |
| CN110326310B (zh) | 串扰消除的动态均衡 | |
| US8335330B2 (en) | Methods and devices for audio upmixing | |
| TW201923752A (zh) | 以保真立體音響格式所編碼聲訊訊號為ｌ揚聲器在已知位置之解碼方法和裝置以及電腦可讀式儲存媒體 | |
| BR112013029850B1 (pt) | sistema de áudio e método de operação de um sistema de áudio | |
| BR112015025919B1 (pt) | Aparelho e método para criar um sinal de áudio modificado e sistema | |
| US11979723B2 (en) | Content based spatial remixing | |
| KR101546849B1 (ko) | 주파수 영역에서의 음장효과 생성 방법 및 장치 | |
| BR112020015360A2 (pt) | Processador de sinal de áudio, sistema e métodos de distribuição de um sinal do ambiente para uma pluralidade de canais de sinal do ambiente | |
| US20220328054A1 (en) | Audio system height channel up-mixing | |
| Kraft | Stereo Signal Decomposition and Upmixing to Surround and 3D Audio | |
| BR112017000645B1 (pt) | Aparelho e método para reforço de um sistema de reforço de som e sinal de áudio | |
| KR20110102719A (ko) | 오디오 업믹싱 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] |