BR112014013336A2 - aparelho e método para combinar fluxos de codificação de áudio espacial com base em geometria - Google Patents
aparelho e método para combinar fluxos de codificação de áudio espacial com base em geometria Download PDFInfo
- Publication number
- BR112014013336A2 BR112014013336A2 BR112014013336-0A BR112014013336A BR112014013336A2 BR 112014013336 A2 BR112014013336 A2 BR 112014013336A2 BR 112014013336 A BR112014013336 A BR 112014013336A BR 112014013336 A2 BR112014013336 A2 BR 112014013336A2
- Authority
- BR
- Brazil
- Prior art keywords
- audio data
- data streams
- single layer
- sound
- value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 239000002356 single layer Substances 0.000 claims abstract description 128
- 239000010410 layer Substances 0.000 claims abstract description 102
- 238000009792 diffusion process Methods 0.000 claims description 85
- 238000004590 computer program Methods 0.000 claims description 10
- 238000002156 mixing Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 description 43
- 238000003786 synthesis reaction Methods 0.000 description 43
- 230000005236 sound signal Effects 0.000 description 40
- 239000013598 vector Substances 0.000 description 37
- 238000012986 modification Methods 0.000 description 35
- 230000004048 modification Effects 0.000 description 35
- 238000003491 array Methods 0.000 description 30
- 238000004458 analytical method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 11
- 238000001914 filtration Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000001934 delay Effects 0.000 description 5
- 230000001629 suppression Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 101100135888 Mus musculus Pdia5 gene Proteins 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000014616 translation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100236764 Caenorhabditis elegans mcu-1 gene Proteins 0.000 description 1
- 101000617738 Homo sapiens Survival motor neuron protein Proteins 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 102100036467 Protein delta homolog 1 Human genes 0.000 description 1
- 102100021947 Survival motor neuron protein Human genes 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 101150102995 dlk-1 gene Proteins 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
APARELHO E MÉTODO PARA COMBINAR FLUXOS DE CODIFICAÇÃO DE ÁUDIO ESPACIAL COM BASE EM GEOMETRIA.
Um aparelho para gerar um fluxo de dados de áudio combinado é fornecido. O aparelho compreende um demultiplexador (180) para obter uma pluralidade de fluxos de dados de áudio de camada única, caracterizado pelo demultiplexador (180) ser adaptado para receber um ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador (180) é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo uma ou mais camadas nos dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que os dois ou mais fluxos de dados de áudio demultiplexados juntos compreendam uma ou mais camadas do fluxo de dados de áudio de entrada. Além disso, o aparelho compreende um módulo de combinação (190) para gerar o fluxo de dados de áudio combinado, tendo uma ou mais camadas, com base na pluralidade dos fluxos de dados de áudio de camada única. Cada camada dos fluxos de áudio de dados de entrada, dos fluxos de dados de áudio demultiplexados, dos fluxos de dados de camada única e do fluxo de dados de áudio combinado compreende um valor de pressão de um sinal de pressão, um valor de posição e um valor de difusão as dados de áudio.
Description
[0001] A presente invenção refere-se ao processamento de áudio e, em particular, a um aparelho e um método para gerar um fluxo de dados de áudio combinado é fornecido.
[0002] 0 processamento de áudio e, em particular, a codificação de áudio espacial se torna cada vez mais importante. A gravação de som espacial tradicional tem o objetivo de capturar um campo de som, de modo que no lado da reprodução um ouvinte percebe a imagem do som como se estivesse no local da gravação. Diferentes abordagens para a gravação de som espacial e técnicas de reprodução são conhecidas a partir do estado da técnica, que pode ser baseado nas representações por canal, objeto ou paramétricas.
[0003] Representações com base em canal representam a cena de som por meios de sinais de áudio discretos N a ser reproduzidos por alto-falantes dispostos em uma configuração conhecida, por exemplo, uma configuração de som surround 5.1. A abordagem para a gravação de som espacial geralmente emprega microfones omnidirecionais espaçados, por exemplo, em estereofonia AB, ou microfones direcionais coincidentes, por exemplo, na estereofonia de intensidade. De modo alternativo, mais microfones sofisticados, como um microfone em formato B, podem ser empregados, por exemplo, em Ambisonics, vide:
[0004] [1] Michael A. Gerzon. Ambisonics in multichannel broadcasting and video. J. Audio Eng. Soc, 33(11):859-871, 1985.
[0005] Os sinais de alto-falante desejados para a configuração conhecida são derivados diretamente dos sinais de microfone gravados e são então transmitidos ou armazenados discretamente. Uma representação mais eficiente é obtida aplicando a codificação de áudio aos sinais discretos, que em alguns casos, codifica a informação dos diferentes canais conjuntamente para a eficiência aumentada, por exemplo, em MPEG-Surround para 5.1, vide:
[0006] [21] J. Herre, K. Kjõrling, J. Breebaart, C.
Faller, S. Disch, H. Purnhagen, J. Koppens, J. Hilpert, J. Rõdén, W. Oomen, K. Linzmeier, K.S. Chong: "MPEG Surround - The ISO/MPEG Standard for Efficient and Compatible Multichannel Audio Coding", 122nd AES Convention, Vienna, Austria, 2007, Preprint 7084.
[0007] Uma desvantagem importante destas técnicas é que a cena de som, uma vez que os sinais do alto-falante foram computados, não pode ser modificada.
[0008] As representações com base no objeto são, por exemplo, utilizadas na Codificação de Objeto de Audio Espacial (SAOC I Spatial Audio Objeto Coding), vide
[0009] [25] Jeroen Breebaart, Jonas Engdegárd, Cornelia Falch, Oliver Hellmuth, Johannes Hilpert, Andreas Hoelzer, Jeroens Koppens, Werner Oomen, Barbara Resch, Erik Schuijers, and Leonid Terentiev. Spatial audio object coding (saoc) - the upcoming mpeg standard on parametric object based audio coding. In Audio Engineering Society Convention 124, 5 2008.
[00010] As representações com base no objeto representam a cena de som com N objetos de áudio discretos. Esta representação fornece alta flexibilidade no lado da reprodução, visto que a cena de som pode ser manipulada mudando, por exemplo, a posição e ruído de cada objeto. Embora esta representação possa estar rapidamente disponível a partir de, por exemplo, uma gravação multipista, é muito difícil de ser obtida a partir de uma cena complexa de som gravada com alguns microfones (vide, por exemplo, [21]). De fato, os transmissores (ou outros objetos que emitem som) devem ser primeiro localizados e, então, extraídos da mistura, que pode causar interferências.
[00011] Representações paramétricas geralmente empregam microfones espaciais para determinar um ou mais sinais downmix de áudio juntos com a informação lateral descrevendo o som espacial.
Um exemplo é a Codificação de Audio Direcional (DirAC Directional Audio Coding), conforme discutido em
[00012] [29] Ville Pulkki. Spatial sound reproduction with directional audio coding. J. Audio Eng. Sac, 55(6):503-516, June 2007.
[00013] O termo "microfone espacial" refere-se a qualquer aparelho para a aquisição de som espacial capaz de recuperar a direção da chegada do som (por exemplo, combinação de microfones direcionais, matrizes de microfone, etc.).
[00014] 0 termo "microfone não espacial" refere-se a qualquer aparelho que não é adaptado para recuperar a direção da chegada do som, como um único microfone omnidirecional ou diretivo.
[00015] Outro exemplo ë proposto em:
[00016] [4] C. Faller. Microphone front-ends for spatial audio coders. In Proc. of the AES 125th International Convention, San Francisco, Oct. 2008.
[00017] Em DirAC, a informação de sugestão espacial compreende a direção de chegada (DOA I direction of arrival) de som e a difusão do campo de som calculado em um domínio de tempo- frequência. Para a reprodução de som, os sinais de reprodução de áudio podem ser derivados com base na descrição paramétrica. Estas técnicas oferecem ótima flexibilidade no lado da reprodução, pois uma configuração do alto-falante arbitrário pode ser em pregada, pois a representação é particularmente flexível e compacta, e compreende um sinal monoáudio de downmix e informação lateral, e porque permite fáceis modificações na cena de som, por exemplo, zoom acústico, filtragem direcional, combinação de cena, etc.
[00018] Entretanto, estas técnicas ainda são limitadas pelo fato de que a imagem espacial gravada é sempre relativa ao microfone espacial utilizado. Assim, o ponto de vista acústico não pode ser variado e a posição de audição dentro da cena de som não pode ser mudada.
[00019] Uma abordagem do microfone virtual é apresentada em
[00020] [22] Giovanni Del Galdo, Oliver Thiergart, Tobias Weller, and E. A. P. Habets. Generating virtual microphone signals using geometrical information gathered by distributed arrays. In Third Joint Workshop on Hands-free Speech Communication and Microphone Arrays (HSCMA'11), Edinburgh, United Kingdom, May 2011.
[00021] que permite calcular os sinais de saída de um microfone espacial arbitrário virtualmente colocado à disposição (ou seja, posição arbitrária e orientação) no ambiente. A flexibilidade que caracteriza a abordagem do microfone virtual (VM 1 virtual microphone) permite que a cena de som seja virtualmente capturada em uma etapa pós-processamento, mas nenhuma representação do campo de som se torna disponível, que pode ser
:: utilizada para transmitir e/ou armazenar e/ou modificar a cena de som eficientemente. Ainda apenas uma fonte por posição de tempo- frequência é assumida como ativa, e assim, não pode descrever corretamente a cena de som se duas ou mais fontes são ativas na mesma posição de tempo-frequência. Ainda, se o microfone virtual (VM) é aplicado no lado do receptor, todos os sinais do microfone precisam ser enviados sobre o canal, que torna a representação ineficiente, em que se o VM é aplicado no lado do transmissor, a cena de som não pode ser mais manipulada e o modelo perde a flexibilidade e se torna limitado em uma determinada configuração do alto-falante. Ainda, não considera uma manipulação da cena de som com base na informação paramétrica.
[00022] Em
[00023] [241 Emmanuel Gallo and Nicolas Tsingos.
Extracting and re-rendering structured auditory scenes from field recordings. In AES 30th International Conference on Intelligent Audio Environments, 2007,
[00024] a estimativa da posição de fonte sonora é com base na diferença de tempo em pares da chegada medida por meios de microfones distribuídos. Ainda, o receptor é dependente da gravação e exige que todos os sinais do microfone para a síntese (por exemplo, a geração dos sinais do alto-falante).
[00025] 0 método apresentado em
[00026] [28] Svein Berge, Device and method for converting spatial audio signal. US patent application, Appl. No.
10/547,151,
[00027] utiliza, semelhantemente à DirAC, a direção de chegada como um parâmetro, limitando, assim, a representação a um ponto de vista da cena de som específico. Ainda, não propõe a possibilidade de transmitir/armazenar a representação da cena de som, visto que a análise e síntese precisam ser aplicadas no mesmo lado do sistema de comunicação.
[00028] Outro exemplo pode ser aplicações de videoconferência, em que as partes que estão sendo gravadas em diferentes ambientes precisam ser reproduzidas em uma única cena de som. Uma Unidade de Controle Multiponto (MCU I Multipoint Control Unit) deve ter certeza que uma única cena de som é reproduzida.
[00029] Em
[00030] [22] G. Del Galdo, F.Kuech, M. Kallinger, and R.
Schultz-Amling. Efficient merging of multiple audio streams for spatial sound reproduction in directional audio coding. In International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2009), 2009
[00031] e em
[00032] [23] US 20110216908: Apparatus for Merging Spatial Audio Streams
[00033] a ideia de combinar duas ou mais representações paramétricas de uma cena de som foi proposta.
[00034] Entretanto, seria altamente benéfico se conceitos fossem fornecidos para criar uma única cena de som de duas ou mais representações das cenas de som em uma forma eficiente, suficientemente flexível para modificar a cena de som.
[00035] 0 objetivo da presente invenção é fornecer conceitos melhorados para gerar um fluxo de dados de áudio combinado, por exemplo, um fluxo GAG. O objetivo da presente invenção é solucionado por um aparelho de acordo com a reivindicação 1, por um método, de acordo com a reivindicação 17 e por um programa de computador, de acordo com a reivindicação 18.
[00036] De acordo com uma aplicação, um aparelho para gerar um fluxo de dados de áudio combinado é fornecido. O aparelho compreende um demultiplexador para obter uma pluralidade de fluxos de dados de áudio de camada única, em que o demultiplexador é adaptado para receber um ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo uma ou mais camadas em dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que um ou mais fluxos de dados de áudio demultiplexados juntos compreendam uma ou mais camadas dos fluxos de dados de áudio de entrada, fornecendo dois ou mais dos fluxos de dados de áudio de camada única. Ainda, o aparelho compreende um módulo de combinação para gerar o fluxo de dados de áudio combinado, tendo uma ou mais camadas, com base na pluralidade de fluxos de dados de áudio de camada única, por exemplo, com base na pluralidade de fluxos de dados de áudio de camada única demultiplexados. Cada camada dos fluxos de áudio de dados de entrada, dos fluxos de dados de áudio demultiplexados, dos fluxos de dados de camada única e do fluxo de dados de áudio combinado compreende um valor de pressão de um sinal de pressão, um valor de posição e um valor de difusão as dados de áudio.
[00037] Em outra aplicação, o aparelho pode compreender um demultiplexador para obter uma pluralidade de fluxos de dados de áudio de camada única, em que o demultiplexador é adaptado para receber dois ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo duas ou mais camadas em dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que os dois ou mais fluxos de dados de áudio demultiplexados juntos compreendam as duas ou mais camadas dos fluxos de dados de áudio de entrada, para obter dois ou mais dos fluxos de dados de áudio de camada única. Ainda, o aparelho pode compreender um módulo de combinação para gerar o fluxo de dados de áudio combinado, tendo uma ou mais camadas, com base na pluralidade de fluxos de dados de áudio de camada única.
[00038] Em uma aplicação, o aparelho pode ser adaptado para inserir um ou mais fluxos de dados de áudio de entrada recebidos tendo exatamente uma camada diretamente no módulo de combinação sem inseri-los ao demultiplexador.
[00039] Cada camada dos fluxos de áudio de dados de entrada, dos fluxos de dados de áudio demultiplexados, dos fluxos de dados de camada única e do fluxo de dados de áudio combinado compreende um valor de pressão de um sinal de pressão, um valor de posição e um valor de difusão as dados de áudio, os dados de áudio sendo definidos para uma posição de tempo-frequência de uma pluralidade de posições de tempo-frequência.
[00040] De acordo com esta aplicação, duas ou mais cenas de som gravadas são combinadas em uma por meios de combinação de dois ou mais fluxo de dados de áudios, por exemplo, fluxos GAO, e pela emissão de um único fluxo de dados de áudio, por exemplo, um único fluxo GAC.
[000411 Combinação das cenas de som podem ser utilizadas, por exemplo, em aplicações de videoconferência, nas quais partes sendo gravadas em diferentes ambientes precisam ser reproduzidas em uma única cena de som. A combinação pode, então, ocorrer em uma Unidade de Controle Multiponto (MCU 1 Multipoint Control Unit), para reduzir o tráfego de rede ou, nos usuários finais, para reduzir o custo computacional da síntese (por exemplo, a computação dos sinais do alto-falante).
[00042] Em uma aplicação, o módulo de combinação pode compreender um módulo de função de custo para atribuir um valor de custo a cada um dos fluxos de dados de áudio de camada única, e em que o módulo de combinação pode ser adaptado para gerar o fluxo de dados de áudio combinado com base nos valores de custo atribuídos aos fluxos de dados de áudio de camada única.
[000431 De acordo com outra aplicação, o módulo de função de custo pode ser adaptado para atribuir o valor de custo a cada um dos fluxos de dados de áudio de camada única dependendo de pelo menos um dos valores de pressão ou dos valores de difusão do fluxo de dados de áudio de camada única.
[000441 Em outra aplicação, o módulo de função de custo pode ser adaptado para atribuir um valor de custo a cada fluxo de dados de áudio do grupo de fluxos de dados de áudio de camada única, aplicando a fórmula: ff('v.,.I ) = (1 - Ii i ) . Ipt ~°z
[00045] caracterizado por Pi ser o valor de pressão e i*ri ser o valor de difusão da camada de um fluxo de dados de áudio i- th do grupo de fluxos de dados de áudio de camada única, por exemplo, para cada posição de tempo-frequência.
[00046] De acordo com outra aplicação, o módulo de combinação pode, ainda, compreender uma unidade de combinação de pressão, em que a unidade de combinação de pressão pode ser adaptada para determinar um primeiro grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única e para determinar um segundo grupo compreendendo um ou mais diferentes fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do primeiro grupo pode ser maior do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do segundo grupo, ou em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do primeiro grupo pode ser menor do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do segundo grupo, em que a unidade de combinação de pressão pode ser adaptada para gerar um ou mais valores de pressão de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de pressão de cada um dos fluxos de dados de áudio de camada única do primeiro grupo pode ser um valor de pressão de uma das camadas do fluxo de dados de áudio combinado, e de modo que uma combinação do valores de pressão dos fluxos de dados de áudio de camada única do segundo grupo pode ser um valor de pressão de uma das camadas do fluxo de dados de áudio combinado.
[00047] Em outra aplicação, o módulo de combinação pode, ainda, compreender uma unidade de combinação de difusão, em que a unidade de combinação de difusão pode ser adaptada para determinar um terceiro grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única e para determinar um quarto grupo compreendendo um ou mais diferentes fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única. 0 valor de custo de cada um dos fluxos de dados de áudio de camada única do terceiro grupo pode ser maior do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quarto grupo, ou em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do terceiro grupo pode ser menor do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quarto grupo, em que a unidade de combinação de difusão pode ser adaptada para gerar um ou mais valores de difusão de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de difusão de cada um dos fluxos de dados de áudio de camada única do terceiro grupo possa ser um valor de difusão de uma das camadas do fluxo de dados de áudio combinado, e de modo que uma combinação dos valores de difusão dos fluxos de dados de áudio de camada única do quarto grupo possa ser um valor de difusão de uma das camadas do fluxo de dados de áudio combinado.
[00048] De acordo com outra aplicação, o módulo de combinação pode, ainda, compreender uma unidade de mistura de posição (1403), em que a unidade de mistura de posição (1403) pode ser adaptada para determinar um quinto grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quinto grupo pode ser maior do que o valor de custo de qualquer fluxo de dados de áudio de camada única não compreendido no quinto grupo da pluralidade de fluxos de dados de áudio de camada única, ou em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quinto grupo é menor do que o valor de custo de qualquer fluxo de dados de áudio de camada única não compreendido no quinto grupo da pluralidade de fluxos de dados de áudio de camada única.
A unidade de mistura de posição (1403) pode ser adaptada para gerar um ou mais valores de posição de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de posição de cada um dos fluxos de dados de áudio de camada única do quinto grupo possa ser um valor de posição de uma das camadas do fluxo de dados de áudio combinado.
[000491 Em outra aplicação, o módulo de combinação pode, ainda, compreender um módulo de adaptação da cena sonora para manipular o valor de posição de um ou mais dos fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única.
[00050] De acordo com outra aplicação, o módulo de adaptação da cena sonora pode ser adaptado para manipular o valor de posição de um ou mais dos fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única aplicando uma rotação, uma tradução ou uma transformação não linear no valor de posição.
[00051] Em outra aplicação, o demultiplexador pode compreender uma pluralidade de unidades de demultiplexação, em que cada uma das unidades de demultiplexação pode ser configurada para demultiplexar um ou mais dos fluxos de dados de áudio de entrada.
[00052] De acordo com outra aplicação, o aparelho pode, ainda, compreender um gerador de fonte sonora artificial para gerar um fluxo de dados artificial compreendendo exatamente uma camada, em que o gerador de fonte artificial pode ser adaptado para receber informação de pressão sendo representada em um domínio de tempo e para receber uma informação de posição, em que o gerador de fonte artificial pode ser adaptado para replicar a informação de pressão para gerar informação de posição para uma pluralidade de posições de tempo-frequência, e em que o gerador de fonte artificial pode ainda ser adaptado para calcular a informação de difusão com base na informação de pressão.
[00053] Em outra aplicação, o gerador de fonte artificial pode ser adaptado para transformar a informação de pressão sendo representada em um domínio de tempo a um domínio de tempo- frequência.
[00054] De acordo com outra aplicação, o gerador de fonte artificial pode ser adaptado para adicionar a reverberação à informação de pressão.
[00055] Outra aplicação permite inserir uma fonte sonora artificial à cena de som. A inserção de uma fonte sonora artificial é particularmente útil na realidade virtual e aplicações como videogames, nas quais uma cena de som complexa pode ser multiplicada por fontes sintéticas. Em cenários de teleconferência a inserção é útil ao combinar as partes que se comunicam através de um monocanal, por exemplo, discando através de telefones.
[00056] Aplicações preferidas da presente invenção serão descritas a seguir, em que:
[00057] A Fig. 1 ilustra um aparelho para gerar um fluxo de dados de áudio combinado de acordo com uma aplicação,
[00058] A Fig. 2a ilustra um aparelho para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio compreendendo dados de áudio referentes a uma ou mais fontes sonoras de acordo com uma aplicação,
[00059] A Fig. 2b ilustra uma aparelho para gerar um fluxo de dados de áudio compreendendo dados de fonte sonora referentes a uma ou mais fontes sonoras de acordo com uma aplicação,
[00060] A Fig. 3a-3c ilustram fluxos de dados de áudio de acordo com diferentes aplicações,
[00061] A Fig. 4 ilustra um aparelho para gerar um fluxo de dados de áudio compreendendo dados de fonte sonora referentes a uma ou mais fontes sonoras de acordo com outra aplicação,
[00062] A Fig. 5 ilustra uma cena de som composta por duas fontes sonoras e duas matrizes de microfone lineares uniformes,
[00063] A Fig. 6a ilustra um aparelho 600 para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio de acordo com uma aplicação,
[00064] A Fig. 6b ilustra um aparelho 660 para gerar um fluxo de dados de áudio compreendendo dados de fonte sonora referentes a uma ou mais fontes sonoras de acordo com uma aplicação,
[00065] A Fig. 7 descreve um módulo de modificação de acordo com uma aplicação,
[00066] A Fig. 8 descreve um módulo de modificação de acordo com outra aplicação,
[00067] A Fig. 9 ilustra unidades do transmissor/análise e unidades do receptor/síntese de acordo com uma aplicação,
[00068] A Fig. 10a descreve um módulo de síntese de acordo com uma aplicação,
[00069] A Fig. 10b descreve uma primeira unidade do estágio da síntese de acordo com uma aplicação,
[00070] A Fig. lOc descreve uma segunda unidade do estágio da síntese de acordo com uma aplicação,
[00071] A Fig. 11 descreve um módulo de síntese de acordo com outra aplicação,
[00072] A Fig. 12 ilustra um aparelho para gerar um sinal de saída de áudio de um microfone virtual de acordo com uma aplicação,
[00073] A Fig. 13 ilustra as entradas e saídas de um aparelho e um método para gerar um sinal de saída de áudio de um microfone virtual de acordo com uma aplicação,
[00074] A Fig. 14 ilustra a estrutura básica de um aparelho para gerar um sinal de saída de áudio de um microfone virtual de acordo com uma aplicação que compreende um avaliador de posição dos eventos de som e um módulo de computação de informação,
[00075] A Fig. 15 mostra um cenário exemplar no qual os microfones espaciais reais são descritos como Matrizes Lineares Uniformes de 3 microfones cada,
[00076] A Fig. 16 descreve dois microfones espaciais em 3D para estimar a direção de chegada no espaço 3D,
[00077] A Fig. 17 ilustra uma geometria onde uma fonte sonora do tipo ponto isotrópico da posição de tempo-frequência (k, n) atual está localizada em uma posição pIPLs (k, n),
[00078] A Fig. 18 descreve o módulo de computação de informação de acordo com uma aplicação,
[00079] A Fig. 19 descreve o módulo de computação de informação de acordo com outra aplicação,
[00080] A Fig. 20 mostra dois microfones espaciais reais, um evento de som localizado e a posição de um microfone espacial virtual,
[00081] A Fig. 21 ilustra como obter a direção de chegada com relação a um microfone virtual de acordo com uma aplicação,
[00082] A Fig. 22 descreve uma possível forma de derivar a DOA do som do ponto de vista do microfone virtual de acordo com uma aplicação,
[00083] A Fig. 23 ilustra um bloco de cálculo de informação compreendendo uma unidade de cálculo de difusão de acordo com uma aplicação,
[00084] A Fig. 24 descreve uma unidade de cálculo de difusão de acordo com uma aplicação,
[00085] A Fig. 25 ilustra um cenário, onde a estimativa da posição do eventos sonoros não é possível,
[00086] A Fig. 26 ilustra um aparelho para gerar um fluxo de dados virtuais do microfone de acordo com uma aplicação, e
[00087] A Fig. 27 ilustra um aparelho para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio de acordo com outra aplicação,
[00088] A Fig. 28 descreve as entradas e saídas de um aparelho para gerar um fluxo de dados de áudio combinado de acordo com outra aplicação,
[00089] A Fig. 29 ilustra um aparelho para gerar um fluxo de dados de áudio combinado de acordo com outra aplicação,
[00090] A Fig. 30 descreve um módulo de combinação de acordo com uma aplicação, [000911 A Fig. 31a - 31c descrevem possíveis cenas de som cenário, e
[00092] As Figs. 32a -32b ilustram geradores de fonte artificial de acordo com as aplicações.
[00093] As Figs. 33a-33c ilustram cenários onde duas matrizes de microfone recebem som direto, som refletido por uma parede e som difuso.
[00094] Antes de fornecer uma descrição detalhada das aplicações da presente invenção, um aparelho para gerar um sinal de saída de áudio de um microfone virtual é descrito para fornecer informação anterior referente aos conceitos da presente invenção.
[00095) A figura 12 ilustra um aparelho para gerar um sinal de saída de áudio para simular uma gravação de um microfone em uma posição virtual configurável posVmic em um ambiente. O aparelho compreende um avaliador da posição dos eventos de som 110 e um módulo de computação de informação 120. 0 avaliador da posição dos eventos de som 110 recebe uma primeira informação de direção di1 de um primeiro microfone espacial real e uma segunda informação de direção di2 de um segundo microfone espacial real. 0 avaliador da posição dos eventos de som 110 é adaptado para estimar uma posição de fonte sonora SSP indicando uma posição de uma fonte sonora no ambiente, a fonte sonora emitindo uma onda de som, em que o avaliador da posição dos eventos de som 110 é adaptado para estimar a posição de fonte sonora ssp com base em uma primeira informação de direção dil fornecida por um primeiro microfone espacial real sendo localizado em uma primeira posição do microfone real poslmic no ambiente, e com base em uma segunda informação de direção di2 fornecida por um segundo microfone espacial real estando localizado em uma segunda posição do microfone real no ambiente. O módulo de computação de informação 120 é adaptado para gerar o sinal de saída de áudio com base em um primeiro sinal de entrada de áudio gravado isl sendo gravado pelo primeiro microfone espacial real, com base na primeira posição do microfone real poslmic e com base na posição virtual posVmic do microfone virtual. 0 módulo de computação de informação 120 compreende um compensador de propagação sendo adaptado para gerar um primeiro sinal de áudio modificado pela modificação do primeiro sinal de entrada de áudio gravado isl compensando um primeiro atraso ou declínio de amplitude entre uma chegada da onda de som emitida pela fonte sonora no primeiro microfone espacial real e uma chegada da onda de som no microfone virtual ajustando um valor de amplitude, um valor de magnitude ou um valor de fase do primeiro sinal de entrada de áudio gravado isl, para obter o sinal de saída de áudio.
[00096] A figura 13 ilustra as entradas e saídas de um aparelho e um método de acordo com uma aplicação. Informação de dois ou mais microfones espaciais reais 111, 112, ..., 11N é inserida ao aparelho/é processada pelo método. Esta informação compreende sinais de áudio coletados pelos microfones espaciais reais bem como informação de direção dos microfones espaciais reais, por exemplo, estimativas da direção de chegada (DOA). Os sinais de áudio e a informação de direção, como as estimativas da direção de chegada podem ser expressos em um domínio de tempo- frequência. Se, por exemplo, uma reconstrução da geometria 2D é desejada e um domínio tradicional STFT (short time Fourier transformation I transformada de Fourier de curta duração) é escolhido para a representação dos sinais, a DOA pode ser expressa como ângulos de azimute dependentes de k e n, a saber os índices de frequência e tempo.
[00097] Nas aplicações, a localização do evento de som no espaço, bem como descrição da posição do microfone virtual pode ser conduzida com base nas posições e orientações dos microfones espaciais virtuais e reais em um sistema de coordenada comum. Esta informação pode ser representada pelas entradas 121 ... 12N e entrada 104 na figura 13. A entrada 104 pode adicionalmente especificar a característica do microfone espacial virtual, por exemplo, sua posição e padrão de coleta, como será discutido a seguir. Se o microfone espacial virtual compreende vários sensores virtuais, suas posições e os diferentes padrões de coleta correspondentes podem ser considerados.
[00098] A saída do aparelho ou um método correspondente pode ser, quando desejada, um ou mais sinais de som 105, que pode ter sido coletada por um microfone espacial definido e colocado conforme especificado por 104. Ainda, o aparelho (ou ainda o método) pode fornecer como emissão da informação lateral espacial correspondente 106 que pode ser estimada empregando o microfone espacial virtual.
[00099] A figura 14 ilustra um aparelho de acordo com uma aplicação, que compreende duas unidades de processamento principais, um avaliador da posição dos eventos de som 201 e um módulo de computação de informação 202. 0 avaliador da posição dos eventos de som 201 pode realizar a reconstrução geométrica com base nas DOA's compreendidas nas entradas 111 ... 11N e com base no conhecimento da posição e orientação dos microfones espaciais reais, onde as DOA's foram calculadas. A saída do avaliador da posição dos eventos de som 205 compreende as estimativas da posição (tanto em 2D quanto em 3D) das fontes sonoras onde os eventos de som ocorrem em cada parte de tempo e frequência. O segundo bloco de processamento 202 é um módulo de computação de informação. De acordo com a aplicação da figura 14, o segundo bloco de processamento 202 calcula um sinal do microfone virtual e informação lateral espacial. É, ainda, também referido como o bloco do sinal do microfone virtual e cálculo de informação lateral 202. 0 bloco do sinal do microfone virtual e cálculo de informação lateral 202 utiliza as posições dos eventos de som 205 para processar os sinais de áudio compreendidos em 111...11N para emitir o sinal de áudio do microfone virtual 105. 0 bloco 202, se solicitado, pode também calcular a informação lateral espacial 106 correspondente ao microfone espacial virtual. As aplicações abaixo ilustram possibilidades, como os blocos 201 e 202 podem operar.
[000100] A seguir, a estimativa de posição de um avaliador da posição dos eventos de som de acordo com uma aplicação é descrita em mais detalhes.
[000101] Dependendo da dimensional idade do problema (2D ou 3D) e o número de microfones espaciais, várias soluções para a estimativa de posição são possíveis.
[000102] Se dois microfones espaciais em 2D existem, (o caso possível mais simples) uma única triangulação é possível. A figura 15 mostra um cenário exemplar, no qual os microfones espaciais reais são descritos como Matrizes Lineares Uniformes (ULA's I Uniform Linear Arrays) de 3 microfones cada. A DOA, expressa como os ângulos de azimute al(k, n) e a2(k, n), são calculados para a posição de tempo-frequência (k, n). Isso é atingido empregando um avaliador adequado de DOA, como ESPRIT,
[000103] [13] R. Roy, A. Paulraj, and T. Kailath, "Direction-of-arrival estimation by subspace rotation methods - ESPRIT," in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Stanford, CA, USA, April 1986,
[000104] ou (raiz) MUSIC, vide
[000105] [14] R. Schmidt, "Multiple emitter location and signal parameter estimation," IEEE Transactions on Antennas and Propagation, vol. 34, no. 3, pp. 276-280, 1986
[000106] aos sinais de pressão transformados no domínio de tempo-frequência.
[000107] Na figura 15, dois microfones espaciais reais, aqui, duas matrizes do microfone espacial real 410, 420 são ilustrados. As duas DOA's al(k, n) e a2(k, n) estimadas são representadas por duas linhas, uma primeira linha 430 representando a DOA al(k, n) e uma segunda linha 440 representando a DOA a2(k, n). A triangulação é possível através das simples considerações aritméticas conhecendo a posição e orientação de cada matriz.
[000108] A triangulação falha quando as duas linhas 430, 440 são exatamente paralelas. Nas aplicações reais, entretanto, isso é muito improvável. Entretanto, em todos os resultados de triangulação correspondem a uma posição física ou prática para o evento de som no espaço considerado. Por exemplo, a posição estimada do evento de som pode estar muito distante ou ainda fora do espaço assumido, indicando que a probabilidade que as DOA's não correspondem a qualquer evento de som que pode ser fisicamente interpretada com o modelo utilizado. Estes resultados podem ser causados pelo ruído do sensor ou reverberação ambiente muito forte. Assim, de acordo com uma aplicação, estes resultados indesejados são marcados de modo que o módulo de computação de informação 202 possa tratá-los corretamente.
[000109] A figura 16 descreve um cenário, onde a posição de um evento de som é estimada no espaço 3D. Microfones espaciais corretos são empregados, por exemplo, uma matriz de microfone plana ou 3D. Na figura 16, um primeiro microfone espacial 510, por exemplo, uma primeira matriz de microfone 3D, e um segundo microfone espacial 520, por exemplo, uma primeira matriz de microfone 3D, é ilustrado. A DOA no espaço 3D, pode, por exemplo, ser expressa como azimute e elevação. Vetores de unidade 530, 540 podem ser empregados para expressar as DOA's. Duas linhas 550, 560 são projetadas de acordo com as DOA's. Em 3D, ainda com estimativas muito confiáveis, as duas linhas 550, 560 projetadas de acordo com as DOA's podem não cruzar. Entretanto, a triangulação pode ainda ser realizada, por exemplo, escolhendo o ponto médio do menor segmento que conecta as duas linhas.
[000110] Semelhantemente ao caso 20, a triangulação pode falhar ou pode produzir resultados impraticáveis para determinadas combinações de direções que podem, então, ser marcadas, por exemplo, ao módulo de computação de informação 202 da figura 14.
[000111] Se mais do que dois microfones espaciais existem, 1 várias soluções são possíveis. Por exemplo, a triangulação explicada acima, poderia ser realizada para todos os pares de microfones espaciais reais (se N = 3, 1 com 2, 1 com 3, e 2 com 3). As posições resultantes podem então ser variadas (por x e y, e, se 3D for considerado, z).
[000112] De modo alternativo, conceitos mais complexos podem ser utilizados. Por exemplo, abordagens probabilísticas podem ser aplicadas conforme descrito em
[000113] [15] J. Michael Steele. "Optimal Triangulation of Random Samples in the Plane", The Annals of Probability, Vol. 10, No.3 (Aug., 1982), pp. 548-553.
[000114] De acordo com uma aplicação, o campo de som pode ser analisado no domínio de tempo-frequência, por exemplo, obtido através de uma transformada de Fourier de curta duração (SIFT), na qual k e n denotam o índice de frequência k e índice de tempo n, respectivamente. A pressão complexa P(k, n) em uma posição arbitrária p para um determinado k e n é modelada como uma única onda esférica emitida por uma fonte do tipo ponto isotrópico de banda estreita, por exemplo, empregando a fórmula: Pz,(k,n) = Apr.s(k, n) • ~y(k,PIPLS (k,n),pV), (1)
[000115] onde PIPLS (k, n) é o sinal emitido por IPLS na sua posição P IPLS (k, n) . O fator complexo y(k, PIPLS, pv) expressa a propagação de pIPLS(k, n) a p,,, por exemplo, introduz modificações de fase e magnitude apropriadas. Aqui, a suposição pode ser aplicada que em cada posição de tempo-frequência apenas uma IPLS é ativo. Independentemente, vários IPLS's de banda estreita localizados em diferentes posições podem ainda ser ativos em um único instante de tempo.
[000116] Cada IPLS modela o som direto ou uma reflexão ambiente distinta. Sua posição pIFLs(k, n) pode idealmente corresponder a uma fonte sonora real localizada dentro da sala, ou uma fonte sonora da imagem do espelho localizada fora, respectivamente. Assim, a posição p JPLs (k, n) pode ainda indicar a posição de um evento de som.
[000117] Por favor observe que o termo "fontes sonoras reais" denota as fontes sonoras reais fisicamente existentes no ambiente de gravação, como transmissores ou instrumentos musicais.
Ao contrário, com "fontes sonoras" ou "eventos de som" ou "IPLS" referimos a fontes sonoras efetivas, que são ativas em determinados instantes de tempo ou em determinadas posições de tempo-frequência, em que as fontes sonoras podem, por exemplo, representar fontes sonoras reais ou fontes de imagem de espelho.
[000118] As figuras 33a-33b ilustram matrizes de microfone que localizam fontes sonoras. As fontes sonoras localizadas podem ter diferentes interpretações físicas dependendo da sua natureza.
Quando as matrizes de microfone recebem som direto, elas podem localizar a posição de uma fonte sonora verdadeira (por exemplo, transmissores). Quando as matrizes de microfone recebem reflexões, elas podem localizar a posição de uma fonte de imagem de espelho.
As fontes de imagem de espelho são também fontes sonoras.
[000119] A figura 33a ilustra um cenário, onde duas matrizes de microfone 151 e 152 recebem som direto de uma fonte sonora real (uma fonte sonora fisicamente existente) 153.
[000120] A figura 33b ilustra um cenário, onde duas matrizes de microfone 161, 162 recebem som refletido, em que o som foi refletido por uma parede. Por causa da reflexão, as matrizes de microfone 161, 162 localizam a posição, onde o som aparece vindo, em uma posição de uma fonte de imagem de espelho 165, que é diferente da posição do orador 163.
[000121] Tanto a fonte sonora real 153 da figura 33a, bem como a fonte de imagem de espelho 165 são fontes sonoras.
[000122] A figura 33c ilustra um cenário, onde duas matrizes de microfone 171, 172 recebem som difuso e não podem localizar uma fonte sonora.
[000123] Enquanto este modelo de onda única é precisa apenas para ambientes levemente reverberantes dado que os sinais da fonte realizam a condição de ortogonalidade dísjunta por W (WDO), ou seja a sobreposição de tempo-frequência é suficientemente pequena. Isso é normalmente verdadeiro para os sinais de discurso, veja, por exemplo,
[000124] [12] S. Rickard e Z. Yilmaz. "On the approximate W-disjoint orthogonality of speech," in Acoustics, Speech and Signal Processing, 2002. ICASSP 2002. IEEE International Conference on, April 2002, vol. 1.
[000125] Entretanto, o modelo ainda fornece uma boa estimativa para outros ambientes e é, portanto, aplicável para estes ambientes.
[000126] A seguir, a estimativa das posições pi p-s (k, n) de acordo com uma aplicação é explicada. A posição p:ELS(k, n) de uma IPLS ativo em uma determinada posição de tempo-frequência, e assim a estimativa de um evento de som em uma posição de tempo- frequência, é estimada através da triangulação com base na direção de chegada (DOA) de som medida pelo menos em dois diferentes
Y pontos de observação.
[000127] A figura 17 ilustra uma geometria, onde a IPLS do compartimento de tempo-frequência atuais (k, n) é localizado na posição desconhecida pJLs(k, n). Para determinar a informação de DOA necessária, dois microfones espaciais reais, aqui, duas matrizes de microfone, são empregados tendo uma geometria, posição e orientação conhecidas que são colocadas nas posições 610 e 620, respectivamente. Os vetores Pi e p2 aponta nas posições 610, 620, respectivamente. As orientações da matriz são definidas pelos vetores de unidade cl e c2. A DOA do som é determinada nas posições 610 e 620 para cada (k, n) utilizando um algoritmo de estimativa de DOA, por exemplo, conforme fornecido pela análise DirAC (vide 121, [3]). Por isso, um primeiro vetor da unidade do ponto de rov vista e (k ,n) e um segundo vetor da unidade do ponto de vista
P ezov(k,n~ com relação a um ponto de vista das matrizes de microfone (ambas não mostradas na figura 17) pode ser fornecido como saída da análise DirAC. Por exemplo, ao operar em 2D, o primeiro vetor da unidade do ponto de vista resulta em:
POV (k, e1 'r11 = (2)
[000128] Aqui, cpl(k, n) representa o azimute da DOA estimada na primeira matriz de microfone, conforme descrito na figura 17. Os vetores da unidade de DOA correspondentes e,(k, n) e e2(k, n), com relação ao sistema de coordenada global na origem, podem ser calculados aplicando a fórmula: e1 (k, 7 z) = R i . e10 (A, n), e2(k. n) = R. ~ erov(k, n), (3)
[000129] onde R são matrizes de transformação de coordenada, por exemplo, C1.á —C11 R1 -= Cl?) c1 (4)
[000130] ao operar em 2D e e] = ~c], ~ ,, C1,1.j] . Para realizar a triangulação, os vetores de direção d1(k, n) e d2(k, n) podem ser calculados como: d 1 (k, n) — d1 (á-, 7n.) e 1 (k, ra), d1(á.. n) = (12(k. n) e2 (k. fl,), (5)
[000131] onde d1 (k, n) = I 1 d1 (k, n) II e d2 (k, n) = J n) II são as distâncias desconhecidas entre a IPLS e as duas matrizes de microfone. A seguinte equação pi + di (k, n) = p2 + dz (k, n) (6)
[000132] pode ser solucionada para dl(k, n). Finalmente, a posição p1 (k, n) de IPLS é dada por piPLs (k, n) = (11 (7c, n)ei (k, ri) + pl . í7)
[000133] Em outra aplicação, a equação (6) pode ser solucionada para d2(k, n) e pI pLs(k, n) é analogamente calculada empregando d2(k, n).
[000134] A equação (6) sempre fornece uma solução ao operar em 2D, a menos que el(k, n) e e2(k, n) sejam paralelos.
Entretanto, ao utilizar mais do que duas matrizes de microfone ou ao operar em 3D, uma solução não pode ser obtida quando os vetores de direção d não se cruzam. De acordo com uma aplicação, neste caso, o ponto que é mais próximo a todos os vetores de direção d deve ser calculado e o resultado pode ser utilizado como a posição da IPLS.
[000135] Em uma aplicação, todos os pontos de observação Pi, P2, ... deveriam ser localizados de modo que o som emitido pela IPLS caia no mesmo bloco temporal n. Esta exigência pode simplesmente ser realizada quando a distância A entre qualquer um dos dois pontos de observação é menor do que rzFFT(I. - R) 'rnax — C , fs (8)
[000136] onde H EFT é o comprimento da janela STFT, 0 <_ R < 1 especifica a sobreposição entre sucessivas estruturas de tempo e f s é a frequência de amostragem. Por exemplo, para um STFT de 1024 pontos em 48 kHz com 50 de sobreposição (R - 0,5), o espaçamento máximo entre as matrizes para cumprir com a exigência acima é A =
3.65 m.
[000137] A seguir, um módulo de computação de informação 202, por exemplo, um sinal do microfone virtual e módulo de computação de informação lateral, de acordo com uma aplicação é descrito em mais detalhes.
[000138] A figura 18 ilustra uma visão geral esquemática de um módulo de computação de informação 202 de acordo com uma aplicação. A unidade de computação de informação compreende um compensador de propagação 500, um combinador 510 e uma unidade de ponderação espectral 520. 0 módulo de computação de informação 202 recebe as estimativas da posição de fonte sonora ssp estimadas por um avaliador da posição dos eventos de som, um ou mais sinais da entrada de áudio é gravado por um ou mais do microfones espaciais reais, posições posRealMic de um ou mais do microfones espaciais reais, e a posição virtual posVmic do microfone virtual. Emite um sinal de saída de áudio os representando um sinal de áudio do microfone virtual.
[000139] A figura 19 ilustra um módulo de computação de informação de acordo com outra aplicação. 0 módulo de computação de informação da figura 19 compreende um compensador de propagação
500, um combinador 510 e uma unidade de ponderação espectral 520.
0 compensador de propagação 500 compreende um módulo de computação de parâmetros de propagação 501 e um módulo de compensação de propagação 504. 0 combinador 510 compreende uma módulo de computação dos fatores de combinação 502 e um módulo de combinação
505. A unidade de ponderação espectral 520 compreende uma unidade de computação de pesos espectrais 503, um módulo de aplicação de ponderação espectral 506 e um módulo de computação da informação lateral espacial 507.
[000140] Para computar o sinal de áudio do microfone virtual, a informação geométrica, por exemplo, a posição e orientação dos microfones espaciais reais 121 ... 12N, a posição, orientação e características do microfone espacial virtual 104, e as estimativas da posição dos eventos de som 205 são inseridos ao módulo de computação de informação 202, em particular, ao módulo de computação de parâmetros de propagação 501 do compensador de propagação 500, ao módulo de compensação dos fatores de combinação 502 do combinador 510 e à unidade de computação de pesos espectrais 503 da unidade de ponderação espectral 520. 0 módulo de computação de parâmetros de propagação 501, o módulo de compensação dos fatores de combinação 502 e a unidade de computação de pesos espectrais 503 calculam os parâmetros utilizados na modificação dos sinais de áudio 111 ... 11N no módulo de compensação de propagação 504, no módulo de combinação 505 e no módulo de aplicação de ponderação espectral 506.
[000141] No módulo de computação de informação 202, os sinais de áudio 111 ... 11N podem primeiramente ser modificados para compensar os efeitos dados pelos diferentes comprimentos de propagação entre as posições do evento de som e os microfones espaciais reais. Os sinais podem então ser combinados para melhorar, por exemplo, o índice de sinal-para-ruído (SNR).
Finalmente, o sinal resultante pode, então, ser espectralmente ponderado para considerar o padrão de coleta direcional do microfone virtual, bem como qualquer função de ganho dependente da distância. Estas três etapas são discutidas em mais detalhes abaixo.
[000142] A compensação de propagação é agora explicada em mais detalhes. Na parte superior da figura 20, dois microfones espaciais reais (uma primeira matriz de microfone 910 e uma segunda matriz de microfone 920) , a posição de um evento de som localizado 930 para a posição de tempo-frequência (k, n), e a posição do microfone espacial virtual 940 são ilustrados.
[000143] A parte inferior da figura 20 descreve um eixo temporal. É assumido que um evento de som é emitido no tempo t0 e então propaga aos microfones espaciais virtuais e reais. Os atrasos da chegada bem como as amplitudes mudam com a distância, de modo que outro comprimento de propagação, quanto mais fraca a amplitude mais longo o atraso da chegada será.
[000144] Os sinais nas duas matrizes reais são comparáveis apenas se o atraso relativo Dtl2 entre eles for pequeno. Caso contrário, um dos dois sinais precisa ser temporalmente realinhado para compensar o atraso relativo Dt12, e possivelmente, para ser escalado para compensar os diferentes declínios.
[000145] Compensar o atraso entre a chegada no microfone virtual e a chegada nas matrizes de microfone real (em um dos microfones espaciais reais) muda o atraso independentemente da localização do evento de som, tornando-o supérfluo para a maioria das aplicações.
[000146] Retornando à figura 19, o módulo de computação de parâmetros de propagação 501 é adaptado para calcular os atrasos a ser corrigidos para cada microfone espacial real e para cada evento de som. Se desejado, ainda calcula os fatores de ganho a ser considerados para compensar as diferentes declínios de amplitude.
[000147] 0 módulo de compensação de propagação 504 é configurado para utilizar esta informação para modificar os sinais de áudio corretamente. Se os sinais devem ser mudados por uma pequena quantidade de tempo (comparado a janela de tempo do banco de filtro) , então uma simples rotação de fase é o suficiente. Se os atrasos são maiores, implementações mais complicadas são necessárias.
[000148] A saída do módulo de compensação de propagação 504 são os sinais de áudio modificados expressos no domínio de tempo-frequência original.
[000149] A seguir, uma estimativa particular da compensação de propagação para um microfone virtual, de acordo com uma aplicação, será descrita com referência à figura 17 que, inter alia, ilustra uma posição 610 de um primeiro microfone espacial real e a posição 620 de um segundo microfone espacial real.
[000150] Na aplicação que é agora explicada, assume-se que pelo menos um primeiro sinal de entrada de áudio gravado, por exemplo, um sinal de pressão de pelo menos um dos microfones espaciais reais (por exemplo, as matrizes de microfone) está disponível, por exemplo, o sinal de pressão de um primeiro microfone espacial real. Nos referimos ao microfone considerado como microfone de referência, a sua posição como posição de referência p re f e ao seu sinal de pressão como sinal de pressão de referência PLer (k, n). Entretanto, a compensação de propagação pode não apenas ser conduzida com relação a apenas um sinal de pressão, mas ainda com relação aos sinais de pressão de uma pluralidade ou de todos os microfones espaciais reais.
[000151] A relação entre o sinal de pressão L .; ( k, n) emitido pela IPLS e um sinal de pressão de referência Prºf (k, n) de um microfone de referência localizado em Prof pode ser expressa pela fórmula (9): Pref (k, 7l)PIPLS(k. = fl) • 7 (k, PIPLS, pref) , ( 9)
[000152] No general, o fator complexo y(k, p8 , pb ) expressa a rotação de fase e declínio de amplitude introduzida pela propagação de uma onda esférica de sua origem em p, a Pb.
Entretanto, testes práticos indicados que considerando apenas a declínio de amplitude em y leva a impressões plausíveis do sinal do microfone virtual com poucos interferência significativos comparados a outra consideração da rotação de fase.
[000153] A energia do som que pode ser medida em um determinado ponto no espaço depende muito da distância r da fonte sonora, na figura 6 da posição PIPLs da fonte sonora. Em muitas situações, esta dependência pode ser modelada com precisão suficiente utilizando os princípios físicos bem conhecidos, por exemplo, o declínio 1/r da pressão do som no campo distante de uma fonte do ponto. Quando a distância de um microfone de referência, por exemplo, o primeiro microfone real da fonte sonora é conhecido, e quando outra distância do microfone virtual da fonte sonora é conhecida, então, a energia do som na posição do microfone virtual pode ser estimada do sinal e da energia do microfone de referência, por exemplo, o primeiro microfone espacial real. Isso significa que o sinal de saída do microfone virtual pode ser obtido aplicando ganhos corretos ao sinal de pressão de referência.
[000154] Assumindo que o primeiro microfone espacial real é o microfone de referência, então Pref = pl. Na figura 17, o microfone virtual está localizado em p,,. Visto que a geometria na figura 17 é conhecida em detalhes, a distância dl(k, n) ld l (k, n)II entre o microfone de referência (na figura 17: o primeiro microfone espacial real) e a IPLS pode facilmente ser determinada, bem como a distância s(k, n) = Ils(k, n)II entre o microfone virtual e a IPLS, a saber s(k. n) = s(k, n) _ j Ipi + d1 (k n) — Pv L - (10 )
[000155] A pressão do som P(k, n) na posição do microfone virtual é calculada combinando fórmulas (1) e (9), levando a Pv (k:, ra) = y (k. Pii~Ls, p ,) Pref1~. rz . 7 (í', P1p1 S Pref ) (11)
[000156] Conforme mencionado acima, em algumas aplicações, os fatores y podem apenas considerar o declínio de amplitude devido à propagação. Assumindo, por exemplo, que a pressão do som reduz com 1/r, então di (k Pv (k, n) = Pef(k, n). s(k,n) (12)
[000157] Quando o modelo na fórmula (1) permanece, por exemplo, quando apenas o som direto está presente, então a fórmula (12) pode precisamente reconstruir a informação de magnitude.
Entretanto, no caso dos campos de som de difusão pura, por exemplo, quando as suposições do modelo não são cumpridas, o método apresentado produz uma desreverberação implícita do sinal ao mover o microfone virtual longe das posições das matrizes do sensor. De fato, conforme discutido acima, nos campos de som difusos, esperamos que a maioria dos IPLS estejam localizados próximos às duas matrizes do sensor. Assim, ao mover o microfone virtual longe destas posições, provavelmente aumentamos a distância s = I1siI na figura 17. Assim, a magnitude da pressão de referência é reduzida ao aplicar uma ponderação de acordo com a fórmula (11). Correspondentemente, ao mover o microfone virtual próximo a uma fonte sonora real, as posições de tempo-frequência correspondentes ao som direto serão amplificadas de modo que todo o sinal de áudio será percebido menos difuso. Pelo ajuste da regra na fórmula (12), um pode controlar a amplificação do som direto e supressão do som difuso à vontade.
[000158] Pela condução da compensação de propagação no sinal de entrada de áudio gravado (por exemplo, o sinal de pressão) do primeiro microfone espacial real, um primeiro sinal de áudio modificado é obtido.
[000159] Nas aplicações, um segundo sinal de áudio modificado pode ser obtido conduzindo a compensação de propagação em um segundo sinal de entrada de áudio gravado (segundo sinal de pressão) do segundo microfone espacial real.
[000160] Em outras aplicações, outros sinais de áudio podem ser obtidos conduzindo a compensação de propagação nos outros sinais da entrada de áudio gravados (outros sinais de pressão) de outros microfones espaciais reais.
[000161] Agora, a combinação em blocos 502 e 505 na figura
19 de acordo com uma aplicação é explicada em mais detalhes.
Assume-se que dois ou mais sinais de áudio de uma pluralidade diferentes microfones espaciais reais foram modificados para compensar as diferentes passagens de propagação para obter dois ou mais sinais de áudio modificados. Visto que os sinais de áudio dos diferentes microfones espaciais reais foram modificados para compensar as diferentes passagens de propagação, eles podem ser combinados para melhorar a qualidade do áudio. Fazendo isso, por exemplo, o SNR pode ser aumentado ou a reverberãncia pode ser reduzida.
[000162] Possíveis soluções para a combinação compreendem:
[000163] Média ponderada, por exemplo, considerando o SNR, ou a distância ao microfone virtual, ou a difusão que foi estimada pelos microfones espaciais reais. Soluções tradicionais, por exemplo, Combinação de Ïndice Máximo (MRC Maximum Ratio Combining) ou Combinação de Ganho Igual (EQC Equal Gain Combining) podem ser empregadas, ou
[000164] Combinação linear de alguns ou todos os sinais de áudio modificados para obter um sinal de combinação. Os sinais de áudio modificados podem ser ponderados na combinação linear para obter o sinal de combinação, ou
[000165] Seleção, por exemplo, apenas de um sinal é utilizado, por exemplo, dependente do SNR ou distância ou difusão.
[000166] A tarefa do módulo 502 é, se aplicável, para calcular os parâmetros para a combinação, que é realizada no módulo 505.
[000167] Agora, a ponderação espectral de acordo com as aplicações é descrita em mais detalhes. Para isso, a referência é feita aos blocos 503 e 506 da figura 19. Nesta etapa final, o sinal de áudio resultante da combinação ou da compensação de propagação dos sinais de entrada de áudio é ponderado no domínio de tempo-frequência de acordo com as características espaciais do microfone espacial virtual conforme especificado pela entrada 104 e/ou de acordo com a geometria reconstruída (dado em 205).
[000168] Para cada posição de tempo-frequência a reconstrução geométrica nos permite obter facilmente a DOA com relação ao microfone virtual, conforme mostrado na figura 21.
Ainda, a distância entre o microfone virtual e a posição do evento de som pode ainda ser prontamente calculada.
[000169] O peso para a posição de tempo-frequência é então calculado considerando o tipo de microfone virtual desejado.
[000170] No caso de microfones direcionais, os pesos espectrais podem ser calculados de acordo com um padrão de coleta predefinido. Por exemplo, de acordo com uma aplicação, um microfone cardioide pode ter um padrão de coleta definido pela função g(theta), g(theta) = 0,5 + 0,5 cos(theta),
[000171] onde theta é o ângulo entre a direção de visualização do microfone espacial virtual e a DOA do som do ponto de vista do microfone virtual.
[000172] Outra possibilidade é as funções de declínio artístico (não físico). Em determinadas aplicações, pode ser desejado suprimir os eventos de som longes do microfone virtual com um fator maior do que uma propagação de campo livre caracterizante. Para esta finalidade, algumas aplicações introduzem uma função de ponderação adicional que depende da
• distância entre o microfone virtual e o evento de som. Em uma aplicação, apenas eventos de som originados de uma determinada distância (por exemplo, em metros) do microfone virtual devem ser coletados.
[000173] Com relação à diretividade do microfone virtual, os padrões de diretividade arbitrária podem ser aplicados para o microfone virtual. Fazendo isso, um pode por exemplo separar uma fonte de uma cena de som complexa.
[000174] Visto que a DOA do som pode ser calculada na posição pv, do microfone virtual, a saber s W v (k, n) = arccos Cu HSI ) (13)
[000175] onde c„ é um vetor da unidade descrevendo a orientação do microfone virtual, as diretividades arbitrárias para o microfone virtual podem ser realizadas. Por exemplo, assumindo que P„(k,n) indica o sinal de combinação ou o sinal de áudio modificado compensado por propagação, então a fórmula: P (h,,n) = P(k,r1:) [1 +cos( ,(k,n))] (14)
[000176] calcula a saída de um microfone virtual com a diretividade cardioide. Os padrões direcionais, que podem potencialmente ser gerados desta forma, dependem da precisão da estimativa de posição.
[000177] Nas aplicações, um ou mais microfones não espaciais reais, por exemplo, um microfone omnidirecional ou um microfone direcional como um cardioide, são colocados na cena de som além dos microfones espaciais reais para melhorar ainda mais a qualidade do som dos sinais do microfone virtual 105 na figura 8.
Estes microfones não são utilizados para obter qualquer informação geométrica, mas apenas para fornecer um sinal de áudio mais limpo.
Estes microfones podem ser colocados mais próximos às fontes sonoras do que os microfones espaciais. Neste caso, de acordo com uma aplicação, os sinais de áudio dos microfones não espaciais reais e suas posições são simplesmente inseridos ao módulo de compensação de propagação 504 da figura 19 para processar, ao invés dos sinais de áudio do microfones espaciais reais. A compensação de propagação é então conduzida para um ou mais sinais de áudio gravados dos microfones não espaciais com relação à posição de um ou mais microfones não espaciais. Por isso, uma aplicação é realizada utilizando microfones não espaciais adicionais.
[000178] Em outra aplicação, o cálculo da informação lateral espacial do microfone virtual é realizado. Para calcular a informação lateral espacial 106 do microfone, o módulo de computação de informação 202 da figura 19 compreende um módulo de computação da informação lateral espacial 507, que é adaptado para receber como entrada as posições das fontes sonoras 205 e a posição, orientação e características 104 do microfone virtual.
Nas aplicações determinadas, de acordo com a informação lateral 106 que precisa ser calculada, o sinal de áudio do microfone virtual 105 pode ainda ser considerado como entrada ao módulo de computação da informação lateral espacial 507.
[000179] A salda do módulo de computação da informação lateral espacial 507 é a informação lateral do microfone virtual
106. Esta informação lateral pode ser, por exemplo, a DOA ou a difusão de som para cada posição de tempo-frequência (k, n) do ponto de vista do microfone virtual. Outra possível informação lateral poderia, por exemplo, ser o vetor de intensidade de som ativo Ia(k, n) que seria medido na posição do microfone virtual.
Como estes parâmetros podem ser derivados será descrito agora.
[000180] De acordo com uma aplicação, a estimativa da DOA para o microfone espacial virtual é realizada. 0 módulo de computação de informação 120 é adaptado para estimar a direção de chegada no microfone virtual como informação lateral espacial, com base em um vetor de posição do microfone virtual e com base em um vetor de posição do evento de som conforme ilustrado pela figura
22.
[000181] A figura 22 descreve uma possível forma de derivar a DOA do som do ponto de vista do microfone virtual. A posição do evento de som, fornecida pelo bloco 205 na figura 19, pode ser descrita para cada posição de tempo-frequência (k, n) com um vetor de posição r(k, n), o vetor de posição do evento de som.
Semelhantemente, a posição do microfone virtual, fornecida como entrada 104 na figura 19, pode ser descrita com um vetor de posição s(k,n), o vetor de posição do microfone virtual. A direção de visualização do microfone virtual pode ser descrita por um vetor v(k, n) . A DOA com relação ao microfone virtual é dada por a(k,n). Representa o ângulo entre v e a passagem de propagação do som h(k,n). h(k, n) pode ser calculada empregando a fórmula: h(k, n) - s(k,n) - r(k, n) .
[000182] A DOA desejada a(k, n) pode agora ser calculada para cada (k, n) por exemplo através da definição do produto interno de h(k, n) e v(k,n), a saber
[000183] a(k, n) = arcos (h(k, n) • v(k,n) / ( I Ih(k, n) I I ilv(k,n)II )-
[000184] Em outra aplicação, o módulo de computação de informação 120 pode ser adaptado para estimar a intensidade do som ativo no microfone virtual como informação lateral espacial, com base em um vetor de posição do microfone virtual e com base em um vetor de posição do evento de som conforme ilustrado pela figura
22.
[000185] Da DOA a(k, n) definida acima, podemos derivar a intensidade do som ativo Ia(k, n) na posição do microfone virtual.
Para isso, assume-se que o sinal de áudio do microfone virtual 105 na figura 19 corresponde à saída de um microfone omnidirecional, por exemplo, assumimos que o microfone virtual é um microfone omnidirecional. Ainda, a direção de visualização v na figura 22 é assumida ser paralela ao eixo x do sistema de coordenada. Visto que o vetor de intensidade de som ativo Ia(k, n) desejado descreve o flux líquido de energia através da posição do microfone virtual, podemos calcular Ia(k, n) pode ser calculado, por exemplo, de acordo com a fórmula:
[000186] Ia(k, n) _ - (1/2 rho) I P(k, n) t 2 * [ cos a(k, n), sin a(k, n) ]",
[000187] onde [] T denota um vetor transposto, rho é a densidade do ar, e PV (k, n) é a pressão do som medida pelo microfone espacial virtual, por exemplo, a saída 105 do bloco 506 na figura 19.
[000188] Se o vetor de intensidade ativa deve ser calculado expresso no sistema de coordenada geral, mas ainda na posição do microfone virtual, a seguinte fórmula pode ser aplicada:
[000189] Ia(k, n) _ (1/2 rho) EP„ (k, n) 1 2 h(k, n) h(k, n) II.
[000190] A difusão do som expressa o quão difuso o campo de som é em um dado compartimento de tempo-frequência (veja, por exemplo, [2]) . A difusão é expressa pelo valor i, em que 0 < ~r
1. Uma difusão de 1 indica que o campo de energia do som total de um campo de som é completamente difuso. Esta informação é importante, por exemplo, na reprodução do som espacial.
Tradicionalmente, a difusão é calculada no ponto específico no espaço em que uma matriz de microfone é colocada.
[000191] De acordo com uma aplicação, a difusão pode ser calculada como um parâmetro adicional à informação lateral gerada para o microfone virtual (VM), que pode ser colocada em uma posição arbitrária na cena de som. Por causa disso, um aparelho que ainda calcula a difusão além do sinal de áudio em uma posição virtual de um microfone virtual pode ser visto como um DirAC virtual dianteiro, como é possível para produzir um fluxo de DirAC, a saber um sinal de áudio, direção de chegada, e difusão, para um ponto arbitrário na cena de som. 0 fluxo de DirAC pode ser ainda processado, armazenado, transmitido e reproduzido em uma configuração arbitrária multi-alto-falante. Neste caso, o ouvinte vê a cena de som como se ele ou ela estivesse na posição especificada pelo microfone virtual e estivesse olhando na direção determinada por esta orientação.
[000192] A figura 23 ilustra um bloco de cálculo de informação de acordo com uma aplicação compreendendo uma unidade de cálculo de difusão 801 para calcular a difusão no microfone virtual. O bloco de cálculo de informação 202 é adaptado para receber entradas 111 a 11N, que além das entradas da figura 14 ainda incluem a difusão nos microfones espaciais reais. Deixe r15M a ,I,{SMN1 denotar estes valores. Estas entradas adicionais são inseridas ao módulo de computação de informação 202. A saída 103 da unidade de cálculo de difusão 801 é o parâmetro de difusão calculado na posição do microfone virtual.
[000193] Uma unidade de cálculo de difusão 801 de uma aplicação é ilustrada na figura 24 descrevendo mais detalhes. De acordo com uma aplicação, a energia do som difuso e direto em cada um dos N microfones espaciais é estimada. Então, utilizar a informação sobre as posições da IPLS, e a informação sobre as posições dos microfones espaciais e virtuais, N estimativas destas energias na posição do microfone virtual são obtidas. Finalmente, as estimativas podem ser combinadas para melhorar a precisão da estimativa e o parâmetro de difusão no microfone virtual pode ser prontamente calculado. [000194 ] Deixe Ed. a Ed . `~ (S eEt M !) a EdSf N) denotarem as estimativas das energias de som difuso e direto para os N microfones espaciais calculados pela unidade de análise de energia
810. Se PÍ é o sinal de pressão complexo e cri é a difusão para o microfone espacial i-th, então as energias podem, por exemplo, ser calculadas de acordo com a fórmula: (1 — . pi 2 _ cliff x
[000195] A energia do som difuso deve ser igual em todas as posições, assim, uma estimativa da energia do som difuso Edifi difT~ no microfone virtual pode ser calculada simplesmente pela média de Edis'} a Easf' por exemplo, em uma unidade de combinação de difusão 820, por exemplo, de acordo com a fórmula:
[000196] Uma combinação mais efetiva das estimativas E~~ 1) Ediff apd~flF oderia ser realizada considerando a variância dos avaliadores, por exemplo, considerando o SNR.
[000197] A energia do som direto depende da distância à fonte devido à propagação. Assim, Edirl) ir a Ea1M N) podem ser modificado para considerar isso. Isso pode ser realizado, por exemplo, pela unidade de ajuste da propagação de som direto 830.
Por exemplo, se assume-se que a energia do campo de som direto decline com 1 sobre a distância elevada ao quadrado, então a estimativa para o som direto no microfone virtual para o microfone espacial i-th pode ser calculada de acordo com a fórmula: 1 R1x ((E.Slatice 4ìl1 — í}'LS \2 2
[000198] Semelhantemente à unidade de combinação de difusão 820, as estimativas da energia do som direto obtidas em diferentes microfones espaciais podem ser combinadas, por exemplo, pela unidade de combinação de som direto 840. 0 resultado ó E~rM1 , por exemplo, a estimativa para a energia do som direto no microfone virtual. A difusão no microfone virtual tos pode ser calculada, por exemplo, pela subcalculadora de difusão 850, por exemplo, de acordo com a fórmula: ,íV lI _ l.~di 1 + F:'d ,r ',11í% ,..i!
[000199] Conforme mencionado acima, em alguns casos, a estimativa da posição dos eventos sonoros realizados pelo avaliador da posição dos eventos de som falha, por exemplo, no caso de uma estimativa errada da direção de chegada. A figura 25 ilustra tal cenário. Nestes casos, independente dos parâmetros de difusão estimados nos diferentes microfones espaciais e conforme recebido como entradas 111 a i1N, a difusão para o microfone virtual 103 pode ser definida a 1 (ou seja, completamente difusa), pois nenhuma reprodução espacialmente coerente é possível.
[000200] Adicionalmente, a confiabilidade das estimativas da DOA nos N microfones espaciais pode ser considerada. Isso pode ser expresso, por exemplo, em termos de variância do avaliador de DOA ou SNR. Tal informação pode ser considerada pela subcalculadora de difusão 850, de modo que a difusão VM 103 possa ser artificialmente aumentada no caso que as estimativas da DOA são inconfiáveis. De fato, como uma consequência, as estimativas da posição 205 serão ainda inconfiáveis.
[000201] A figura 2a ilustra um aparelho 150 para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio compreendendo dados de áudio referentes a uma ou mais fontes sonoras de acordo com uma aplicação.
[000202] 0 aparelho 150 compreende um receptor 160 para receber o fluxo de dados de áudio compreendendo os dados de áudio.
Os dados de áudio compreendem um ou mais valores de pressão para cada uma de uma ou mais fontes sonoras. Ainda, os dados de áudio compreendem um ou mais valores de posição indicando uma posição de uma das fontes sonoras para cada uma das fontes sonoras. Ainda, o aparelho compreende um módulo de síntese 170 para gerar, pelo menos, um sinal de saída de áudio com base em pelo menos um de um ou mais valores de pressão dos dados de áudio do fluxo de dados de áudio e com base em pelo menos um de um ou mais valores de posição dos dados de áudio do fluxo de dados de áudio. Os dados de áudio são definidos para uma posição de tempo-frequência de uma pluralidade de posições de tempo-frequência. Para cada uma das
. . fontes sonoras, pelo menos um valor de pressão é compreendido nos dados de áudio, em que pelo menos um valor de pressão pode ser um valor de pressão referente a uma onda de som emitida, por exemplo, originando da fonte sonora. 0 valor de pressão pode ser um valor de um sinal de áudio, por exemplo, um valor de pressão de um sinal de saída de áudio gerado por um aparelho para gerar um sinal de saída de áudio de um microfone virtual, em que este microfone virtual é colocado na posição da fonte sonora.
[000203] Assim, a figura 2a ilustra um aparelho 150 que pode ser empregado para receber ou processar o fluxo de dados de áudio mencionado, ou seja, o aparelho 150 pode ser empregado em um lado do receptor/síntese. 0 fluxo de dados de áudio compreende dados de áudio que compreende um ou mais valores de pressão e um ou mais valores de posição para cada uma de uma pluralidade de fontes sonoras, ou seja, cada um dos valores de pressão e dos valores de posição se refere a uma fonte sonora particular de uma ou mais fontes sonoras da cena de áudio gravada. Isso significa que os valores de posição indicam as posições das fontes sonoras ao invés dos microfones de gravação. Com relação ao valor de pressão isso significa que o fluxo de dados de áudio compreende um ou mais valores de pressão para cada uma das fontes sonoras, ou seja, os valores de pressão indicam um sinal de áudio que está relacionado a uma fonte sonora ao invés de estar relacionada a uma gravação de um microfone espacial real.
[000204] De acordo com uma aplicação, o receptor 160 pode ser adaptado para receber o fluxo de dados de áudio compreendendo os dados de áudio, em que os dados de áudio compreendem, ainda, um ou mais valores de difusão para cada uma das fontes sonoras. 0
.- módulo de síntese 170 pode ser adaptado para gerar, pelo menos, um sinal de saída de áudio com base em pelo menos um de um ou mais valores de difusão.
[000205] A figura 2b ilustra um aparelho 200 para gerar um fluxo de dados de áudio compreendendo dados de fonte sonora referentes a uma ou mais fontes sonoras de acordo com uma aplicação. O aparelho 200 para gerar um fluxo de dados de áudio compreende um determinador 210 para determinar os dados de fonte sonora com base em pelo menos um sinal de entrada de áudio gravado por pelo menos um microfone espacial e com base na informação lateral de áudio fornecida pelo menos por dois microfones espaciais. Ainda, o aparelho 200 compreende um gerador de fluxo de dados 220 para gerar o fluxo de dados de áudio de modo que o fluxo de dados de áudio compreende os dados de fonte sonora. Os dados de fonte sonora compreende um ou mais valores de pressão para cada uma das fontes sonoras. Ainda, os dados de fonte sonora compreendem, ainda, um ou mais valores de posição indicando uma posição de fonte sonora para cada uma das fontes sonoras. Ainda, os dados de fonte sonora são definidos para uma posição de tempo- frequência de uma pluralidade de posições de tempo-frequência.
[000206] 0 fluxo de dados de áudio gerado pelo aparelho 200 pode, então, ser transmitido. Assim, o aparelho 200 pode ser empregado em um lado de análise/transmissor. 0 fluxo de dados de áudio compreende dados de áudio que compreende um ou mais valores de pressão e um ou mais valores de posição para cada uma de uma pluralidade de fontes sonoras, ou seja, cada um dos valores de pressão e dos valores de posição se refere a uma fonte sonora particular de uma ou mais fontes sonoras da cena de áudio gravada.
Isso significa que com relação aos valores de posição, os valores de posição indicam posições das fontes sonoras ao invés de microfones de gravação.
[000207] Em outra aplicação, o determinador 210 pode ser adaptado para determinar os dados de fonte sonora com base na informação de difusão pelo menos por um microfone espacial. O gerador de fluxo de dados 220 pode ser adaptado para gerar o fluxo de dados de áudio de modo que o fluxo de dados de áudio compreende os dados de fonte sonora. Os dados de fonte sonora compreendem, ainda, um ou mais valores de difusão para cada uma das fontes sonoras.
[000208] A figura 3a ilustra um fluxo de dados de áudio de acordo com uma aplicação. O fluxo de dados de áudio compreende dados de áudio referentes a duas fontes sonoras estando ativas em uma posição de tempo-frequência. Em particular, a figura 3a ilustra os dados de áudio que são transmitidos para uma posição de tempo-frequência (k, n), em que k denota o índice de frequência e n denota o índice de tempo. Os dados de áudio compreendem um valor de pressão P1, um valor de posição Q1 e um valor de difusão l de uma primeira fonte sonora. 0 valor de posição Q1 compreende três valores de coordenada Xl, Yl e Zl indicando a posição da primeira fonte sonora. Ainda, os dados de áudio compreendem um valor de pressão P2, um valor de posição Q2 e um valor de difusão i 2 de uma segunda fonte sonora. 0 valor de posição Q2 compreende três valores de coordenada X2, Y2 e Z2 indicando a posição da segunda fonte sonora.
[000209] A figura 3b ilustra um fluxo de áudio de acordo com outra aplicação. Novamente, os dados de áudio compreendem um valor de pressão P1, um valor de posição Ql e um valor de difusão ~j 1 de uma primeira fonte sonora. O valor de posição Ql compreende três valores de coordenada Xl, Yl e Zl indicando a posição da primeira fonte sonora. Ainda, os dados de áudio compreendem um valor de pressão P2, um valor de posição Q2 e um valor de difusão i 2 de uma segunda fonte sonora. O valor de posição Q2 compreende três valores de coordenada X2, Y2 e Z2 indicando a posição da segunda fonte sonora.
[000210] A figura 3c fornece outra ilustração do fluxo de dados de áudio. Como o fluxo de dados de áudio fornece informação de codificação de áudio espacial (GAC 1 geometry-based spatial audio coding) com base na geometria, é ainda referido como "fluxo de codificação de áudio espacial com base na geometria" ou "fluxo GAC". 0 fluxo de dados de áudio compreende informação que se refere a uma ou mais fontes sonoras, por exemplo, uma ou mais fontes do tipo ponto isotrópico (IPLS isotropic point-like source). Conforme já explicado acima, o fluxo GAC pode compreender os seguintes sinais, em que k e n denotam o índice de frequência e o índice de tempo da posição de tempo-frequência considerada: • P(k, n): Pressão complexa na fonte sonora, por exemplo, na IPLS. Este sinal possivelmente compreende som direto (o som originando da própria IPLS) e som difuso.
• Q(k,n): Posição (por exemplo, Coordenadas cartesianas em 3D) da fonte sonora, por exemplo, da IPLS: a posição pode, por exemplo, compreender Coordenadas cartesianas X(k,n) , Y(k,n) , Z (k,n) .
• Difusão na IPLS: i4r (k, n) . Este parâmetro está relacionado ao índice de potência do som direto ao difuso compreendido em P(k,n). Se P(k,n) = Pdir(k,n) + Pdlff(k,n), então, uma possibilidade para expressar a difusão é (k,n) - I Pdlff (k, n) 1 2 / I P (k, n) 1 2. Se I P (k, n) 1 2 é conhecido, outras representações equivalentes são concebíveis, por exemplo, o Índice Direto ao Difuso (DDR Direct to Diffuse Ratio) r=lPdir(k,n) I 2/IPdiff(k,n) I 2 .
[000211] Conforme já mencionado, k e n denotam os índices de frequência e tempo, respectivamente. Se desejado e se a análise permitir isso, mais do que uma IPLS pode ser representada em um dado compartimento de tempo-frequência. Isso é descrito na figura 3c como M múltiplas camadas, de modo que o sinal de pressão para a camada i-th (ou seja, para i-th IPLS) seja denotada com P1(k, n), Por conveniência, a posição da IPLS pode ser expressa como o vetor = (k, n) , Y(k, n) , Z(k, n)1 7 . Diferentemente do estado (k, n) [Xi Q1 da técnica, todos os parâmetros no fluxo GAO são expressos com relação a uma ou mais fontes sonoras, por exemplo, com relação a IPLS, assim atingindo a independência da posição de gravação. Na figura 3c, bem como na figura 3a e 3b, todas as quantidades na figura são consideradas no domínio de tempo-frequência; a notação (k,n) foi ignorada por razões de simplicidade, por exemplo, P; significa Pi (k,n) , por exemplo, P, = P, (k,n)
[000212] A seguir, um aparelho para gerar um fluxo de dados de áudio de acordo com uma aplicação é explicado em mais detalhes. Como o aparelho da figura 2b, o aparelho da figura 4 compreende um determinador 210 e um gerador de fluxo de dados 220 que pode ser semelhante ao determinador 210. Como o determinador analisa os dados de entrada de áudio para determinar os dados de fonte sonora com base no qual o gerador de fluxo de dados gera o fluxo de dados de áudio, o determinador e o gerador de fluxo de dados podem juntos ser referidos como um "módulo de análise" (vide módulo de análise 410 na figura 4).
[000213] 0 módulo de análise 410 calcula o fluxo GAC das gravações dos N microfones espaciais. Dependendo do número M de camadas desejadas (por exemplo, o número de fontes sonoras para as quais a informação deve ser compreendida no fluxo de dados de áudio para uma posição de tempo-frequência particular), o tipo e número N de microfones espaciais, diferentes métodos para a análise são concebíveis. Alguns exemplos são dados a seguir.
[000214] Como um primeiro exemplo, a estimativa do parâmetro para uma fonte sonora, por exemplo, uma IPLS, por compartimento de tempo-frequência é considerada. No caso de M = 1, o fluxo GAC pode ser prontamente obtido com os conceitos explicados acima para o aparelho gerar um sinal de saída de áudio de um microfone virtual, em que um microfone espacial virtual pode ser colocado na posição da fonte sonora, por exemplo, na posição da IPLS. Isso permite que os sinais de pressão sejam calculados na posição da IPLS, juntos com a estimativas da posição correspondentes, e possivelmente a difusão. Estes três parâmetros são agrupados juntos em um fluxo GAC e podem ser ainda manipulados pelo módulo 102 na figura 8 antes de ser transmitido ou armazenado.
[000215] Por exemplo, o determinador pode determinar a posição de uma fonte sonora empregando os conceitos propostos para a estimativa da posição dos eventos sonoros do aparelho para gerar um sinal de saída de áudio de um microfone virtual. Ainda, o determinador pode compreender um aparelho para gerar um sinal de saída de áudio e pode usar a posição da fonte sonora determinada como a posição do microfone virtual para calcular os valores de pressão (por exemplo, os valores do sinal de saída de áudio a ser gerados) e a difusão na posição da fonte sonora.
[000216] Em particular, o determinador 210, por exemplo, na figura 4), é configurado para determinar os sinais de pressão, as estimativas da posição correspondentes, e a difusão correspondente, enquanto o gerador de fluxo de dados 220 é configurado para gerar o fluxo de dados de áudio com base nos sinais de pressão calculados, estimativas da posição e difusão.
[000217] Como outro exemplo, a estimativa do parâmetro para 2 fontes sonoras, por exemplo, 2 IPLS, por compartimento de tempo-frequência é considerada. Se o módulo de análise 410 é para estimar duas fontes sonoras por posição de tempo-frequência, então o seguinte conceito com base nos avaliadores do estado da técnica pode ser utilizado.
[000218] A figura 5 ilustra uma cena de som composta por duas fontes sonoras e duas matrizes de microfone lineares uniformes. A referência é feita a ESPRIT, veja
[000219] [26] R. Roy e T. Kailath. ESPRIT-estimation of signal parameters via rotational invariance techniques. Acoustics, Speech and Signal Processing, IEEE Transactions on, 37(7):984-995, July 1989.
[000220] ESPRIT ([26]) pode ser empregado separadamente em cada matriz para obter duas estimativas de DOA para cada posição de tempo-frequência em cada matriz. Devido a uma ambiguidade de pareamento, isso leva a duas possíveis soluções para a posição das fontes. Como pode ser visto da figura 5, as duas possíveis
' soluções são dadas por (1, 2) e (1', 2'). Para solucionar esta ambiguidade, a seguinte solução pode ser aplicada. 0 sinal emitido r em cada fonte é estimado utilizando um formador de feixe orientado na direção das posições da fonte estimada e aplicando um fator correto para compensar a propagação (por exemplo, multiplicando pelo inverso da atenuação apresentada pela onda). Isso pode ser realizado para cada fonte em cada matriz para cada uma das possíveis soluções. Podemos então definir um erro de estimativa para cada par de fontes (i, j) como: - P1 + I Pi,1 - Pj 2 l , ( 1)
[000221] onde (i, j) E { (1, 2), (1', 2')} (veja a figura 5) e Pi , 1 é responsável pela energia do sinal compensado visto pela matriz r da fonte sonora i. O erro é mínimo para o par de fonte sonora verdadeira. Visto que a questão do pareamento é solucionada e as estimativas da DOA corretas são calculadas, estes são agrupados, juntos com as estimativas dos sinais de pressão e difusão correspondentes a um fluxo GAC. As estimativas dos sinais de pressão e difusão podem ser obtidas utilizando o mesmo método já descrito para a estimativa do parâmetro para uma fonte sonora.
f000222] A figura 6a ilustra um aparelho 600 para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio de acordo com uma aplicação. 0 aparelho 600 compreende um receptor 610 e um módulo de síntese 620. 0 receptor 610 compreende um módulo de modificação 630 para modificar os dados de áudio do fluxo de dados de áudio recebido pela modificação de pelo menos um dos valores de pressão dos dados de áudio, pelo menos um dos valores de posição dos dados de áudio ou pelo menos um dos valores de difusão dos dados de áudio referentes a pelo menos uma da fontes sonoras.
[000223] A figura 6b ilustra um aparelho 660 para gerar um fluxo de dados de áudio compreendendo dados de fonte sonora referentes a uma ou mais fontes sonoras de acordo com uma aplicação. O aparelho para gerar um fluxo de dados de áudio compreende um determinador 670, um gerador de fluxo de dados 680 e outro módulo de modificação 690 para modificar o fluxo de dados de áudio gerado pelo gerador de fluxo de dados modificando pelo menos um dos valores de pressão dos dados de áudio, pelo menos um dos valores de posição dos dados de áudio ou pelo menos um dos valores de difusão dos dados de áudio referentes a pelo menos uma da fontes sonoras.
[0002241 Enquanto o módulo de modificação 610 da figura 6a é empregado em um lado do receptor/síntese, o módulo de modificação 660 da figura 6b é empregado em um lado do transmissor/análise.
[000225] As modificações do fluxo de dados de áudio conduzidas pelo módulo de modificações 610, 660 podem ainda ser consideradas como modificações da cena de som. Assim, o módulo de modificações 610, 660 pode ainda ser referido como os módulos de manipulação da cena de som.
[000226] A representação do campo de som fornecida pelo fluxo GAC permite diferentes tipos de modificações do fluxo de dados de áudio, ou seja, como uma consequência, manipulações da cena de som. Alguns exemplos neste contexto são:
1. Expandir as seções arbitrárias de espaço/volumes na cena de som (por exemplo, expansão de uma fonte sonora do tipo ponto para fazê-la parecer mais ampla ao ouvinte);
2. Transformar uma seção selecionada de espaço/volume a qualquer outra seção arbitrária de espaço/volume na cena de som (o espaço/volume transformado poderia, por exemplo, conter uma fonte que é exigida para ser movida para uma nova localização);
3. Filtrar com base na posição, onde as regiões selecionadas da cena de som são melhoradas ou parcialmente/completamente suprimidas
[000227] A seguir uma camada de um fluxo de dados de áudio, por exemplo, um fluxo GAC, é assumido compreender todos os dados de áudio de uma das fontes sonoras com relação à posição de tempo-frequência particular.
[000228] A figura 7 descreve um módulo de modificação de acordo com uma aplicação. A unidade de modificação da figura 7 compreende um demultiplexador 401, um processador de manipulação 420 e um multiplexador 405.
[000229] 0 demultiplexador 401 é configurado para separar as diferentes camadas do fluxo GAC da camada M e formar os fluxos GAC's da única camada M. Ainda, o processador de manipulação 420 compreende unidades 402, 403 e 404, que são aplicadas em cada um dos fluxos GAC separadamente. Ainda, o multiplexador 405 é configurado para formar o fluxo GAC da camada M dos fluxos GAC's da única camada manipulada.
[000230] Com base nos dados da posição do fluxo GAC e no conhecimento sobre a posição das fontes reais (por exemplo, transmissores), a energia pode ser associada com uma determinada fonte real para cada posição de tempo-frequência. Os valores de pressão P são então ponderados corretamente para modificar o ruído da respectiva fonte real (por exemplo, falador). Isso exige uma informação prévia ou uma estimativa da localização das fontes sonoras reais (por exemplo, transmissores).
[000231] Em algumas aplicações, se o conhecimento sobre a posição das fontes reais está disponível, então com base nos dados da posição do fluxo GAC, a energia pode ser associada com uma determinada fonte real para cada posição de tempo-frequência.
[000232] A manipulação do fluxo de dados de áudio, por exemplo, o fluxo GAC pode ocorrer no módulo de modificação 630 do aparelho 600 para gerar, pelo menos, um sinal de saída de áudio da figura 6a, ou seja, em um lado do receptor/síntese e/ou no módulo de modificação 690 do aparelho 660 para gerar um fluxo de dados de áudio da figura 6b, ou seja, em um lado do transmissor/análise.
[000233] Por exemplo, o fluxo de dados de áudio, ou seja, o fluxo GAC, pode ser modificado antes da transmissão, ou antes da síntese após a transmissão.
[000234] Diferente do módulo de modificação 630 da figura 6a no lado do receptor/síntese, o módulo de modificação 690 da figura 6b no lado do transmissor/análise pode explicar a informação adicional das entradas 111 a 11N (os sinais gravados) e 121 s 12N (posição e orientação relativas dos microfones espaciais), como esta informação está disponível no lado do transmissor. Usando esta informação, uma unidade de modificação de acordo com uma aplicação alternativa pode ser realizada, que é descrita na figura 8.
[000235] A figura 9 descreve uma aplicação ilustrando uma visão geral esquemática de um sistema, em que um fluxo GAC é gerado em um lado do transmissor/análise, onde, opcionalmente, o fluxo GAC pode ser modificado pelo módulo de modificação 102 em um lado do transmissor/análise, onde o fluxo GAC pode, opcionalmente, a ser modificado em um lado do receptor/síntese pelo módulo de modificação 103 e em que o fluxo GAC é utilizado para gerar uma pluralidade de sinais de saída de áudio 191 ... 19L.
[000236] No lado do transmissor/análise, a representação do campo de som (por exemplo, o fluxo GAC) é calculada na unidade 101 das entradas 111 a llN, ou seja, os sinais gravado com N >- 2 microfones espaciais, e das entradas 121 a 12N, ou seja, posição e orientação positivas dos microfones espaciais.
[000237] A saída da unidade 101 é a representação do campo de som previamente mencionada, que seguindo é denotada como fluxo de codificação de áudio espacial (GAC) com base na geometria.
Semelhantemente à proposta em
[000238] [20] Giovanni Del Caldo, Oliver Thiergart, Tobias Weller, and E. A. P. Habets. Generating virtual microphone signals using geometrical information gathered by distributed arrays. In Third Joint Workshop on Hands-free Speech Communication and Microphone Arrays (HSCMA '11), Edinburgh, United Kingdom, May 2011,
[000239] e conforme descrito para o aparelho gerar um sinal de saída de áudio de um microfone virtual em uma posição virtual configurável, uma cena de som complexa é modelada por meios de fontes sonoras, por exemplo, fontes do tipo ponto isotrópico sonoras (IPLS), que são ativas em compartimentos específicos em uma representação de tempo-frequência, coma um fornecido pela Transformada de Fourier de curta duração (SIFT).
[000240] 0 fluxo GAC pode ser ainda processado no módulo
• de modificação opcional 102, que pode ainda ser referido como uma unidade de manipulação. 0 módulo de modificação 102 permite várias aplicações. 0 fluxo GAC pode, então, ser transmitido ou armazenado. A natureza paramétrica do fluxo GAC é altamente eficiente. No lado da síntese/receptor, um módulo de modificações mais opcional (unidades de manipulação) 103 pode ser empregado. O fluxo GAC resultante entra na unidade da síntese 104 que gera os sinais do alto-falante. Dada a independência da representação da gravação, o usuário final no lado da reprodução pode potencialmente manipular a cena de som e decidir a posição de audição e orientação dentro da cena de som livremente.
[000241] A modificação/manipulação do fluxo de dados de áudio, por exemplo, o fluxo GAC pode ocorrer no módulo de modificações 102 e/eu 103 na figura 9, modificando o fluxo GAC corretamente tanto antes da transmissão no módulo 102 quanto após a transmissão antes da síntese 103. Diferente do módulo de modificação 103 no lado do receptor/síntese, o módulo de modificação 102 no lado do transmissor/análise pode explicar a informação adicional das entradas 111 a 11N (os dados de áudio fornecidos pelos microfones espaciais) e 121 a 12N (posição e orientação positivas do microfones espaciais), pois esta informação está disponível no lado do transmissor. A figura 8 ilustra uma aplicação alternativa de um módulo de modificação que emprega esta informação.
[000242] Exemplos de diferentes conceitos para a manipulação do fluxo GAC são descritos a seguir com referência à figura 7 e à figura 8. Unidades com sinais de referência iguais têm função igual.
1. Expansão do volume
[000243] Assume-se que a determinada energia na cena é localizada dentro do volume V. O volume V pode indicar uma área predefinida de um ambiente. 8 denota o conjunto de posições de tempo-frequência (k, n) no qual as fontes sonoras correspondentes, por exemplo, IPLS, são localizadas dentro do volume V.
[000244] Se a expansão do volume V em outro volume V' é desejado, isso pode ser obtido adicionando um termo aleatório aos dados da posição no fluxo GAO sempre que k, n) E O (avaliados nas unidades de decisão 403) e substituindo Q(k, n) = [X(k, n), Y (k, n) ,Z(k, n)]T (a camada do índice é reduzida para simplificar) de modo que as saídas 431 a 43M das unidades 404 na figura 7 e 8 se tornam
[000245] Q(k, n) = [X(k, n) + 0(k, n); Y (k, n) + 4,(k, n) Z(k, n) + 0z(k, n)]T (2)
[000246] onde (D,,, O,, e D, são variáveis aleatórias cuja faixa depende da geometria do novo volume V' com relação ao volume original V. Este conceito pode, por exemplo, ser empregado para tornar-se uma fonte sonora mais ampla. Neste exemplo, o volume original V é infinitamente pequeno, ou seja, a fonte sonora, por exemplo, a IPLS, deve ser localizada no mesmo ponto Q(k, n) = [X(k, n), Y (k, n), Z(k, n)]T para todos (k, n) E O. Este mecanismo pode ser visto como uma forma de hesitar o parâmetro de posição Q(k, n) .
[000247] De acordo com uma aplicação, cada um dos valores de posição de cada uma das fontes sonoras compreende pelo menos dois valores de coordenada, e o módulo de modificação é adaptado para modificar os valores de coordenada adicionando pelo menos um número aleatório aos valores de coordenada, quando valores de coordenada indicam que uma fonte sonora está localizada em uma posição dentro de uma área predefinida de um ambiente.
2. Transformação do volume
[000248] Além da expansão do volume, os dados da posição do fluxo GAC podem ser modificados para relocalizar as seções de espaço/volume dentro do campo de som. Neste caso, os dados a ser manipulados compreendem as coordenadas espaciais de energia localizada.
[000249] V denota novamente o volume que deve ser relocalizado, e 8 denota o conjunto de todas as posições de tempo- frequência (k, n) nas quais a energia está localizada dentro do volume V. Novamente, o volume V pode indicar uma área predefina de um ambiente.
[000250] A realocação do volume pode ser obtida pela modificação do fluxo GAC, de modo que para todas as posições de tempo-frequência (k, n) E 8, Q (k, n) sejam realocadas por f (Q (k, n) ) nas saídas 431 a 43M de unidades 404, onde f é uma função das coordenadas espaciais (X, Y, Z), descrevendo a manipulação do volume a ser realizada. A função f pode representar uma simples transformação linear como rotação, tradução, ou qualquer outro mapeamento não linear complexo. Esta técnica pode ser utilizada, por exemplo, para mover as fontes sonoras de um posição a outra dentro da cena de som garantindo que 8 corresponde ao conjunto de posições de tempo-frequência no qual as fontes sonoras foram localizadas dentro do volume V. A técnica permite uma variedade de manipulações complexas de toda a cena de som, como reflexão da cena, rotação da cena, ampliação da e/ou compressão da cena etc.
Por exemplo, aplicando um mapeamento apropriado linear no volume V, o efeito complementar da expansão do volume, ou seja, encolhimento do volume pode ser obtido. Isso poderia por exemplo, ser feito mapeando Q(k,n) for (k,n) E O a f(Q(k,n)) E V', onde V' c V e V' compreende um volume significativamente menor do que V .
[000251] De acordo com uma aplicação, o módulo de modificação é adaptado para modificar os valores de coordenada aplicando uma função determinística nos valores de coordenada, quando os valores de coordenada indicam que uma fonte sonora está localizada em uma posição dentro de uma área predefina de um ambiente.
3. Filtragem com base na posição
[000252] A ideia filtragem com base na geometria (ou filtragem com base na posição) oferece um método para melhorar ou remover completamente/parcialmente as seções de espaço/volumes da cena de som. Comparado às técnicas de expansão do volume e transformação, neste caso, entretanto, apenas os dados de pressão do fluxo GAC são modificados aplicando pesos de escala apropriados.
[000253] Na filtragem com base na geometria, uma distinção pode ser feita entre o módulo de modificação do lado do transmissor 102 e do lado do receptor 103, em que o fornecimento de um pode utilizar as entradas 111 a 11N e 121 a 12N para auxiliar o cálculo dos pesos de filtro apropriados, conforme descrito na figura 8. Assumindo que o objetivo é suprir/melhorar a energia originando de uma seção selecionada de espaço/volume V, a filtragem com base na geometria pode ser aplicada, conforme segue:
[000254] Para todos (k, n) E a, a pressão complexa P(k, n) no fluxo GAC é modificada para P(k, n) nas saídas de 402, onde n é um fator de ponderação real, por exemplo, calculado pela unidade
402. Em algumas aplicações, o módulo 402 pode ser adaptado para calcular um fator de ponderação dependente da difusão também.
[000255] O conceito de filtragem com base na geometria pode ser utilizado em uma pluralidade de aplicações, como melhoria do sinal e separação de fonte. Algumas das aplicações e a informação prévia necessária compreendem: • Desreverberação. Conhecendo a geometria da sala, o filtro espacial pode ser utilizado para suprir a energia localizada fora dos cantos da sala que podem ser causados pela propagação multipassagem. Esta aplicação pode ser de interesse, por exemplo, para comunicação sem as mãos nas salas de reunião e carros. Observe que para suprir a reverberação atrasada, é suficiente fechar o filtro no caso de alta difusão, em que para suprir as reflexões precoces um filtro dependente da posição é mais efetivo. Neste caso, como já mencionado, a geometria da sala precisa ser conhecida previamente.
• Supressão do ruído de fundo. Um conceito semelhante pode ser utilizado para suprir o ruído de fundo também.
Se as regiões potenciais onde as fontes podem estar localizadas, (por exemplo, as cadeiras dos participantes nas salas de reunião ou assentos de um carro) são conhecidas, então a energia localizada fora destas regiões é associada ao ruído de fundo e é assim suprimida pelo filtro espacial. Esta aplicação exige uma informação prévia ou uma estimativa, com base nos dados disponíveis nos fluxos GAC, da localização aproximada das fontes.
• Supressão de um intervencionista do tipo ponto. Se o intervencionista está claramente localizado no espaço, ao invés da difusão, a filtragem com base na posição pode ser aplicada para atenuar a energia localizada na posição do intervencionista. Isso exige uma informação prévia ou uma estimativa da localização do intervencionista.
• Controle de eco. Neste caso os intervencionistas a ser supridos são os sinais do alto-falante.
Para essa finalidade, semelhantemente ao caso para intervencionista do tipo ponto, a energia localizada exatamente ou próxima à posição dos alto-falantes é suprida. Isso exige uma informação prévia ou uma estimativa das posições do alto-falante.
• Detecção de voz melhorada. As técnicas de melhoria do sinal associadas com a invenção da filtragem com base na geometria podem ser implementadas como uma etapa de processamento em um sistema da atividade de voz convencional, por exemplo, em carros. A desreverberação, ou supressão de ruído pode ser utilizada como suplementos para melhorar o desempenho do sistema.
• Vigilância. Preservar apenas a energia de determinadas áreas e suprir o resto é uma técnica geralmente utilizada nas aplicações de vigilância. Isso exige uma informação prévia sobre a geometria e localização da área de interesse.
• Separação da fonte. Em um ambiente com várias fontes simultaneamente ativas o filtro espacial com base na geometria pode ser aplicado para separação da fonte. Colocar um filtro espacial corretamente desenhado centralizado na localização de uma fonte, resulta na supressão/atenuação de outras fontes simultaneamente ativas. Esta inovação pode ser utilizada, por exemplo, como em SAOC. A informação prévia ou uma estimativa das localizações da fonte é necessária.
• Controle de Ganho Automático dependente da Posição (AGC). Pesos dependentes da posição podem ser utilizados, por exemplo, para equalizar o ruído de diferentes transmissores nas aplicações de teleconferência.
[000256] A seguir, os módulos de síntese de acordo com as aplicações sãos descritos. De acordo com uma aplicação, um módulo de síntese pode ser adaptado para gerar, pelo menos, um sinal de saída de áudio com base em pelo menos um valor de pressão de dados de áudio de um fluxo de dados de áudio o com base em pelo menos um valor de posição dos dados de áudio do fluxo de dados de áudio.
Pelo menos um valor de pressão pode ser um valor de pressão de um sinal de pressão, por exemplo, um sinal de áudio.
[000257] Os princípios da operação além da síntese de GAO são motivados pelas suposições da percepção de som espacial dadas em
[000258] [27] W02004077884: Tapio Lokki, Juha Merimaa, and Ville Pulkki. Method for reproducing natural or modified spatial impression in multichannel listening, 2006.
[000259] Em particular, os sinais espaciais necessários para perceber corretamente a imagem espacial de uma cena de som podem ser obtidos reproduzindo corretamente uma direção de chegada de som não difuso para cada posição de tempo-frequência. A síntese, descrita na figura 10a, é assim dividida em dois estágios.
[000260] 0 primeiro estágio considera a posição e orientação do ouvinte dentro da cena de som e determina qual de M IPLS é dominante para cada posição de tempo-frequência.
Consequentemente, seu sinal de pressão PdI, e direção de chegada 6 podem ser calculados. As fontes restantes e de som difuso são coletadas em um segundo sinal de pressão Pdl~f.
[000261] 0 segundo estágio é idêntico à segunda metade da síntese de DirAC descrita em [27]. 0 som não difuso é reproduzido com um mecanismo de posição do som que produz uma fonte do tipo ponto, onde o som difuso é reproduzido de todos os alto-falantes após ter sido descorrelacionado.
[000262] A figura 10a descreve um módulo de síntese de acordo com uma aplicação ilustrando a síntese do fluxo GAC.
[000263] A estágio unidade da síntese 501 do primeiro estágio, calcula os sinais de pressão Pali. e Pdiff que precisam ser reproduzidos diferentemente. De fato, enquanto Pdir compreende o som que deve ser reproduzido coerentemente no espaço, Pd ,f compreende som difuso. A terceira saída da unidade da síntese do primeiro estágio 501 é a Direção de chegada (DOA) e 505 do ponto de vista da posição de audição desejada, ou seja, uma informação de direção de chegada. Observe que a Direção de chegada (DOA) pode ser expressa como um ângulo azimute se o espaço 2D, ou pelo par de ângulo azimute e de elevação em 3D. Equivalentemente, um vetor da norma da unidade indicado em uma DOA pode ser utilizado. A DOA especifica de qual direção (com relação à posição de audição desejada) o sinal Pdir deve vir. A unidade da síntese do primeiro estágio 501 toma o fluxo GAC como uma entrada, ou seja, uma representação paramétrica do campo de som, e calcula os sinais previamente mencionados com base na posição do ouvinte orientação especificada pela entrada 141. De fato, o usuário final pode decidir livremente a posição de audição e orientação dentro da cena de som descrita pelo fluxo GAC.
[000264] A unidade da síntese do segundo estágio 502 calcula os sinais do alto-falante L 511 a 51L com base no conhecimento da configuração do alto-falante 131. Por favor, recordar que a unidade 502 é idêntica à segunda metade da síntese DirAC descrita em [27].
[000265] A figura 10b descreve uma primeira unidade do estágio da síntese de acordo com uma aplicação. A entrada fornecida ao bloco é um fluxo GAC composto por camadas M. Em uma primeira etapa, a unidade 601 demultiplexa as camadas M em fluxo GAC paralelo de uma camada.
[000266] 0 fluxo GAC i-th compreende um sinal de pressão Pi, uma difusão iii e um vetor de posição Qi = [Xi , Y1 , Z; ] T . O sinal de pressão Pi compreende um ou mais valores de pressão. 0 vetor de posição é um valor de posição. Pelo menos um sinal de saída de áudio é agora gerado com base nestes valores.
[000267] 0 sinal de pressão para o som difuso e direto Pair, i e Pdi f, ì, é obtido de Pï aplicando um fator correto derivado da difusão cri . Os sinais de pressão compreendem som direto que entram no bloco de compensação de propagação 602, que calcula os atrasos correspondentes à propagação do sinal da posição de fonte sonora, por exemplo, a posição da IPLS, à posição do ouvinte. Além disso, o bloco ainda calcula os fatores de ganho necessários para compensar os diferentes declínios de magnitude. Em outras aplicações, apenas os diferentes declínios de magnitude são compensados, enquanto os atrasos não são compensados.
[000268] Os sinais de pressão compensados, denotados por PçIjr•7 entram no bloco 603, que emite o índice 1max da entrada mais - forte z ]~ '7rULK = a.r Inax (3)
[000269] A ideia principal por trás deste mecanismo é que a M IPLS ativa na posição de tempo-frequência no estudo, apenas a mais forte (com relação a posição do ouvinte) será reproduzida coerentemente (ou seja, como som direto). Os blocos 604 e 605 selecionam a partir de suas entradas um que é definido por imax. O bloco 607 calcula a direção de chegada de ima „-th IPLS com relação à posição e orientação do ouvinte (entrada 141) . A saída do bloco 604 P11"•'r~=~xh corresponde à saída do bloco 501, a saber o som sinal Pdi que será reproduzido como som direto pelo bloco 502. O som difuso, a saber saída 504 Pdlff, compreende a soma de todo o som difuso nas ramificações M bem como todos os sinais de som direto i~l'•7 exceto para i,,a,x-th, a saber Vi 0 imax
[000270] A figura 10c ilustra uma segunda unidade do estágio da síntese 502. Como já mencionado, este estágio é idêntico à segunda metade do módulo de síntese proposta em [27]. 0 som não difuso Pair 503 é reproduzido como uma fonte do tipo de ponto, por exemplo, pela posição do som, cujos ganhos são calculados no bloco 701 com base na direção de chegada (505). Por outro lado, o som difuso, Pajff, passa por descorrelacioriadores distintos L (711 a 71L). Para cada um dos sinais L do alto- falante, as passagens do som difuso e direto são adicionadas antes de passar pelo banco de filtro inverso (703).
[000271] A figura 11 ilustra um módulo de síntese de acordo com uma aplicação alternativa. Todas as quantidades na figura são consideradas no domínio de tempo-frequência; a notação (k,n) foi ignorada por razões de simplicidade, por exemplo, P; = Pi (k,n). Para melhorar a qualidade do áudio da reprodução no caso das cenas de som particularmente complexas, por exemplo, várias fontes ativas ao mesmo tempo, o módulo de síntese, por exemplo, módulo de síntese 104 pode, por exemplo, ser realizada conforme mostrado na figura 11. Ao invés de selecionar a IPLS mais dominante a ser reproduzida coerentemente, a síntese na figura 11 realiza uma síntese completa de cada uma das camadas M separadamente. Os sinais L do alto-falante da camada i-th são a saída do bloco 502 e são denotados por 1911 a 19L1. 0 sinal do alto-falante h-th 19h na saída da primeira unidade do estágio da síntese 501 é a soma de 19h1 a l9hM. Por favor observe que diferentemente da figura 10b, a etapa de estimativa da DOA no bloco 607 precisa ser realizada para cada uma das camadas M.
[000272] A figura 26 ilustra um aparelho 950 para gerar um fluxo de dados virtuais do microfone de acordo com uma aplicação.
0 aparelho 950 para gerar m fluxo de dados virtuais do microfone compreende um aparelho 960 para gerar um sinal de saída de áudio de um microfone virtual de acordo com uma das aplicações descritas acima, por exemplo, de acordo com a figura 12, e um aparelho 970 para gerar um fluxo de dados de áudio de acordo com uma das aplicações descritas acima, por exemplo, de acordo com a figura 2b, em que o fluxo de dados de áudio gerado pelo aparelho 970 para gerar um fluxo de dados de áudio é o fluxo de dados virtuais do microfone.
[000273] 0 aparelho 960, por exemplo, na figura 26 para gerar um sinal de saída de áudio de um microfone virtual compreende um avaliador da posição dos eventos de som e um módulo de computação de informação como na figura 12. 0 avaliador da posição dos eventos de som é adaptado para estimar uma posição de fonte sonora indicando uma posição de uma fonte sonora no ambiente, em que o avaliador da posição dos eventos de som é adaptado para estimar a posição de fonte sonora com base em uma primeira informação de direção fornecida pelo primeiro microfone espacial real estando localizado em uma primeira posição do microfone real no ambiente, e com base em uma segunda informação de direção fornecida pelo segundo microfone espacial real estando localizado em uma segunda posição do microfone real no ambiente. O módulo de computação de informação é adaptado para gerar o sinal de saída de áudio com base em um sinal de entrada de áudio gravado, com base na primeira posição do microfone real e com base na posição do microfone calculada.
[000274] 0 aparelho 960 para gerar um sinal de saída de áudio de um microfone virtual é disposto para fornecer o sinal de saída de áudio ao aparelho 970 para gerar um fluxo de dados de áudio. 0 aparelho 970 para gerar um fluxo de dados de áudio compreende um determinador, por exemplo, o determinador 210 descrito com relação à figura 2b. 0 determinador do aparelho 970 para gerar um fluxo de dados de áudio determina os dados de fonte sonora com base no sinal de saída de áudio fornecido pelo aparelho 960 para gerar um sinal de saída de áudio de um microfone virtual.
[000275] A figura 27 ilustra um aparelho 980 para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio de acordo com uma das aplicações descritas acima, por exemplo, o aparelho de acordo com a reivindicação, sendo configurado para gerar o sinal de saída de áudio com base em um fluxo de dados virtuais do microfone como o fluxo de dados de áudio fornecido por um aparelho 950 para gerar um fluxo de dados virtuais do microfone, por exemplo, o aparelho 950 na figura 26.
[000276] 0 aparelho 980 para gerar um fluxo de dados virtuais do microfone insere o sinal do microfone virtual gerado no aparelho 980 para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio. Deve ser observado que o fluxo de dados virtuais do microfone é um fluxo de dados de áudio.
0 aparelho 980 para gerar, pelo menos, um sinal de saída de áudio com base em um fluxo de dados de áudio gera um sinal de saída de áudio com base no fluxo de dados virtuais do microfone corno fluxo de dados de áudio, por exemplo, conforme descrito com relação ao aparelho da figura 2a.
[000277] A figura 1 ilustra um aparelho para gerar um fluxo de dados de áudio combinado de acordo com urna aplicação.
[000278] Em uma aplicação, o aparelho compreende um demultiplexador 180 para obter uma pluralidade de fluxos de dados de áudio de camada única, em que o demultiplexador 180 é adaptado para receber um ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador 180 é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo uma ou mais camadas em dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que um ou mais fluxos de dados de áudio demultiplexados juntos compreendam uma ou mais camadas do fluxo de dados de áudio de entrada, para obter dois ou mais dos fluxos de dados de áudio de camada única.
[000279] Em outra aplicação, o aparelho compreende um demultiplexador 180 para obter uma pluralidade de fluxos de dados de áudio de camada única, em que o demultiplexador 180 é adaptado para receber dois ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador 180 é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo duas ou mais camadas em dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que os dois ou mais fluxos de dados de áudio demultiplexados juntos compreendam as duas ou mais camadas do fluxo de dados de áudio de entrada, para obter dois ou mais dos fluxos de dados de áudio de camada única.
[000280] Ainda, o aparelho compreende um módulo de combinação 190 para gerar o fluxo de dados de áudio combinado, tendo uma ou mais camadas, com base na pluralidade de fluxos de dados de áudio de camada única. Cada camada dos fluxos de áudio de dados de entrada, dos fluxos de dados de áudio demultiplexados, dos fluxos de dados de camada única e do fluxo de dados de áudio combinado compreende um valor de pressão de um sinal de pressão, um valor de posição e um valor de difusão como dados de áudio, os dados de áudio estando definidos para uma posição de tempo- frequência de uma pluralidade de posições de tempo-frequência.
[000281] Em uma aplicação, o aparelho pode ser adaptado para inserir um ou mais fluxos de dados de áudio de entrada recebidos tendo exatamente uma camada diretamente ao módulo de combinação sem inseri-los ao demultiplexador, veja linha tracejada
195.
[000282] Em algumas aplicações, o demultiplexador 180 é • adaptado para modificar os valores de pressão dos fluxos de dados de áudio demultiplexados para equalizar os volumes (por exemplo, ruído) das diferentes cenas de som representadas pelos fluxos de dados de áudio demultiplexados. Por exemplo, se dois fluxos de dados de áudio originam de dois diferentes ambientes de gravação, e o primeiro é caracterizado pelo baixo volume (por exemplo, devido às fontes que são distantes dos microfones, ou simplesmente devido aos microfones com baixa sensibilidade ou com baixo ganho dos pré-amplificadores) é possível aumentar o volume do primeiro fluxo de dados de áudio multiplicando uma escala aos valores de pressão do primeiro fluxo de dados de áudio. Analogamente, é possível reduzir o volume do segundo fluxo de dados de áudio de forma semelhante.
[000283] A figura 28 descreve as entradas e saídas de um aparelho para gerar um fluxo de dados de áudio combinado de acordo com outra aplicação. Um número de fluxos de dados de áudio M, por exemplo, fluxos GAC M, e opcionalmente, um sinal de pressão p(t) e posição q(t) de uma fonte sonora artificial a ser injetada, são inseridos ao aparelho da figura 28. Em outra aplicação, duas ou mais fontes sonoras artificiais (fontes sonoras sintéticas) são inseridos ao aparelho. Na saída, um fluxo de saída de âudio, por exemplo, um fluxo GAC representando a cena de som modificado, é retornado.
[000284] Analogamente, um fluxo de saída de áudio, por exemplo, um fluxo GAC, pode ser diretamente gerado de uma fonte monossonora (ou seja, sem qualquer combinação).
[000285] 0 primeiro tipo de entrada 1111, 1112, ..., 111M ao aparelho são fluxos de dados de áudio, por exemplo, fluxos GAC M, onde o fluxo i-th compreende L, camadas, i E {1 2..•,~I Cada camada do fluxo de dados de áudio i-th compreende um ou mais valores de pressão do sinal de pressão complexo Pi, a posição da fonte Qi - [X_, Yi, Z± ] T , e a difusão cri em um domínio de tempo- frequência. Se uma representação bidimensional é utilizada, a posição da fonte pode ser definida como Q, [Xi, = Yi]T . Deve ser observado que todas as quantidades dependem dos índices de tempo e frequência (k, n). Em uma formulação, entretanto, a dependência do tempo e frequência não é explicitamente mencionada para uma formulação melhor legível e para simplificar.
[000286] A entrada 1120 é a informação opcional sendo representada em um domínio de tempo, na pressão e na posição de uma fonte sonora artificial a ser inserida na cena de som. A 1140 saída do aparelho da figura 28 é um fluxo de dados de áudio, por exemplo, um fluxo GAC tendo Lo camadas.
[000287] A figura 29 ilustra um aparelho para gerar um fluxo de dados de áudio combinado de acordo com outra aplicação.
Na figura 29, o demultiplexador da figura 1 compreende uma pluralidade de unidades de demultiplexação. 0 aparelho da figura 29 compreende as unidades de demultiplexação (DEMUX) 1201, um gerador de fonte artificial (realizando o fluxo de áudio, por exemplo, fluxo GAC, geração para uma fonte artificial) 1202, e um módulo de combinação 1203.
[000288] Referente a uma das unidades de demultiplexação 1201, a unidade de demultiplexação com relação ao fluxo GAC i-th 111i, que compreende Li camadas, saídas Li fluxos GAC separados de camada única. 0 gerador de fonte artificial 1202 gera um fluxo GAC de camada única para a fonte sonora artificial.
[000289] 0 módulo de combinação 1203, que realiza a combinação recebe fluxos GAC de camada única N, em que N é: lI N= Li +i. r -t (1)
[000290] A figura 30 descreve um módulo de combinação 1203 de acordo com uma aplicação. 0 fluxos de dados de áudio de camada única N, por exemplo, os fluxos GAC de camada única N, 1211 a 121N são combinados, resultando no fluxo de dados de áudio, por exemplo, um fluxo GAC 1140, tendo Lo camadas correspondentes à combinação da cenas de som, onde Lo <_ N.
[000291] A combinação é inter alia, com base no seguinte conceito: para cada posição de tempo-frequência, há N IPLS ativo, cada um descrito por um dos fluxos GAC N. Considerando,0 por exemplo, energia e difusão, as fontes mais proeminentes Lo são identificadas. As primeiras fontes L0 - 1 são simplesmente reatribuídas às primeiras camadas do fluxo de dados de áudio combinado LO - 1, por exemplo, o fluxo GAC de saída, onde todas as fontes restantes são adicionadas à ultima camada, ou seja, a Lo - th.
[000292] 0 aparelho da figura 30 compreende um módulo de função de custo 1401. 0 módulo de função de custo 1401 analisa os sinais de pressão N e parâmetros de difusão N. 0 módulo de função de custo 1401 é configurado para determinar as fontes sonoras mais proeminentes para cada posição de tempo-frequência. Por exemplo, a função de custo fì para o fluxo i-th com E pode ser, por exemplo, definido como .f1(Wi-Pi)-( -X11)-1-át1 (2)
- 74/88 [0002931 de modo que uma fonte sonora, por exemplo, uma IPLS, com alta energia e baixa difusão resulta em valores altos da função de custo. A função de custo fi calcula um valor de custo.
[000294] A saída do módulo de função de custo 1401 é o vetor r de tamanho L. x 1, compreendendo os índices da IPLS com fi mais alto. Ainda, os índices são classificados da IPLS mais proeminente à menos. Esta informação é passada a uma unidade de mistura de posição 1403, uma unidade de combinação de pressão 1404, e uma unidade de combinação de difusão 1405, onde os parâmetros do fluxo GAC resultante para cada posição de tempo- frequência são calculados corretamente. Aplicações como calcular os parâmetros são descritos em detalhes abaixo.
[000295] O aparelho da figura 30 compreender, ainda, um módulo de adaptação da cena sonora 1402. 0 módulo de adaptação da cena sonora 1402 permite controle adicional sobre a etapa de combinação, onde a informação de posição de GAC é manipulada antes da combinação real. Desta forma, vários esquemas de combinação podem ser obtidos, por exemplo, combinação com sobreposição completa dos eventos nas cenas separadas, combinação com colocação das cenas de som lado a lado, combinação com determinadas restrições na quantidade da sobreposição etc.
[000296] A figura 31a, a figura 31b e a figura 31c descrevem possíveis cenários da cena de som. A figura 31a mostra duas cenas de som com um falador cada. Os vetores indicam um sistema de coordenada local. Após a combinação, sem qualquer modificação realizada pelo módulo de adaptação da cena sonora 1402, uma cena de som conforme descrito no fundo da figura 31a será obtida. Isso pode ser indesejado. Pela manipulação do sistema de coordenada de uma ou mais cenas de som, é possível compor a cena de som combinada arbitrariamente. Na figura 31b, como um exemplo, uma rotação é introduzida, de modo que nas cenas de som combinadas os transmissores são separados. Traduções {conforme mostrado na figura 31c) ou transformações não lineares aplicadas nas posições Q1 a Q são ainda possíveis.
[000297] A unidade de mistura de posição 1403, a unidade de combinação de pressão 1404, e a unidade de combinação de difusão 1405 são adaptadas para receber os fluxos do parâmetro N como entrada e são adaptadas para calcular os parâmetros dos fluxos GAC's Lp resultantes.
[000298] Cada um dos parâmetros pode ser obtido da seguinte forma: a. A unidade de mistura de posição 1403 é adaptada para determinar a posição resultante do fluxo GAC de saída. A posição da fonte i-th no fluxo de saída Qì' corresponde à posição da fonte de entrada não difusa mais proeminente i-th indicada pelo vetor r fornecido pelo módulo de função de custo
1401. Q ... ft • i = 1.2..... L1
[000299] onde ri indica o elemento i-th de r.
[000300] Pela determinação das fontes de entrada não difusas mais proeminentes L0-th conforme indicado pelo vetor r, a unidade de mistura de posição 1403 determina um grupo compreendendo um ou mais fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do grupo pode ser maior do que o valor de custo de qualquer fluxo de dados de áudio de camada única não compreendido no grupo. A unidade de mistura de posição 1403 é adaptada para selecionar/gerar um ou mais valores de posição de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de posição de cada um dos fluxos de dados de áudio de camada única do grupo seja um valor de posição de uma das camadas do fluxo de dados de áudio combinado.
b. A pressão resultante para cada um dos fluxos é calculada pela unidade de combinação de pressão 1404. 0 sinal de pressão para todos, mas o último fluxo GAC (Lo-th) é igual ao sinal de pressão correspondente de acordo com o vetor de entrada r. A pressão do fluxo GAC Lo-th é dada como uma combinação linear das pressões de cada um dos sinais de pressão restantes N - Lc +1, por exemplo ;'—I . tor7= 1.2.....L(á -1.
pi,p = j i'1,C) - ri :i: í T (4)
[000301] Pela determinação das fontes de entrada não difusas mais proeminentes L0-1 -th conforme indicado pelo vetor r, a unidade de combinação de pressão é adaptada para determinar um primeiro grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única e para determinar um segundo grupo (as fontes de entrada restantes no vetor r) compreendendo um ou mais diferentes fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do primeiro grupo é maior do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do segundo grupo. A unidade de combinação de pressão é adaptada para gerar um ou mais valores de pressão de uma c ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de pressão de cada um dos fluxos de dados de áudio de camada única do primeiro grupo seja um valor de pressão de uma das camadas do fluxo de dados de áudio combinado, e de modo que uma combinação do valores de pressão dos fluxos de dados de áudio de camada única do segundo grupo seja um valor de pressão de uma das camadas do fluxo de dados de áudio combinado.
c. A difusão do fluxo GAC resultante é calculada pela unidade de combinação de difusão 1405. Semelhantemente a outros parâmetros, a difusão é copiada dos fluxos de entrada a todos, menos o último, fluxo GAC Lo-th ~1r1=AI'.,-; . f(-n- i- 1. 2.. --.L t )-- 1.
[000302] Os parâmetros Lo-th de difusão podem, por rP/ exemplo, ser calculados considerando que o sinal de pressão 1.•o compreende som direto de mais IPLS que não será interpretado r coerentemente, como apenas uma posição a•o pode ser atribuída.
Assim, a quantidade de energia em 1-r) que corresponde ao som direto é meramente ( 1 _ áj1 rLU } ) '°
[000303] Consequentemente, a difusão pode ser obtida por (_ 1. _. J'í'F,{1 ) CI I 'y " I , I -~ _.. R1 ~1LO = ., -fl (5)
[000304] Pela determinação das fontes de entrada não difusas L3-1 -th mais proeminentes conforme indicado pelo vetor r, a unidade de combinação de difusão é adaptada para determinar um primeiro grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de
YA camada única e para determinar um segundo grupo (as fontes de entrada restantes no vetor r) compreendendo um ou mais diferentes fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do primeiro grupo é maior do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do segundo grupo. A unidade de combinação de difusão é adaptada para gerar um ou mais valores de pressão de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de difusão de cada um dos fluxos de dados de áudio de camada única do primeiro grupo seja um valor de difusão de uma das camadas do fluxo de dados de áudio combinado, e de modo que uma combinação dos valores de difusão dos fluxos de dados de áudio de camada única do segundo grupo seja um valor de difusão de uma das camadas do fluxo de dados de áudio combinado.
[000305] Finalmente, os fluxos GAC de camada única resultantes Lo são multiplexados no bloco 1406 para formar o fluxo GAC final (saída 1140) das camadas L0 .
[000306] A seguir, geradores de fonte artificial de acordo com as aplicações são descritas em mais detalhes com referência à figura 32a e à figura 32b.
[000307] 0 gerador de fonte artificial é um módulo opcional e utiliza como entrada 1120 uma posição e um sinal de pressão expressa no domínio de tempo de uma fonte sonora artificial, que deve ser inserida na cena de som. Esta então retorna o fluxo GAC da fonte artificial como saída 121N.
[000308] A informação sobre a posição da fonte no tempo é dada ao primeiro bloco de processamento 1301. Se a fonte sonora não estiver movendo, o bloco 1301 simplesmente copia a posição para todas as posições de tempo-frequência Q(k, n) na saída 21N.
'Para um fonte móvel, a informação em q(t) é copiada em todas as posições de frequência k correspondentes ao bloco de tempo correto n. A saída do bloco 1301 é então diretamente passada como o fluxo GAC ao bloco 1203. 0 sinal de pressão p(t) da fonte injetada 1120 pode ser a. diretamente convertido ao ao sinal de pressão do fluxo GAC P(k, n) (veja a figura 32a) b. primeiro reverberado e então convertido ao sinal de pressão do fluxo GAC
[000309] P(k, n) (veja a figura 32b).
[000310] De acordo com a aplicação a), ilustrada na figura 32a, o sinal é transformado no domínio de frequência utilizando o banco de filtro de análise no bloco 1302 e então passado como parâmetro do fluxo GAC correspondente à fonte inserida. Se o sinal de pressão p(t) não está seco, o sinal pode passar pelo bloco opcional 1303, onde o ruído e/ou atmosfera são detectados. A informação no ruído e atmosfera passa então ao bloco 1304, que calcula a estimativa da difusão. 0 bloco 1303 pode implementar um algoritmo do estado da técnica para estas finalidades, como a descrita em
[000311] [30] C. Uhle e C. Paul: A supervised learning approach to ambience extraction from mono recordings for blind upmixing in Proc. of the 11th 1nt. Conference on Digital Audio Effects (DAFx-08), Espoo, Finland, September 1-4, 2008.
[000312] A informação sobre o ruído e atmosfera passa então ao bloco 1304, que calcula a estimativa de difusão. Isso é particularmente útil para evitar que a atmosfera e ruído compreendidos em p(t) sejam reproduzidos coerentemente na síntese.
Assim, o mecanismo já descrito garante que a parte direta do sinal seja atribuída a um baixo valor de difusão onde as partes com ruído e ambiente do sinal são associadas com a alta difusão. De modo alternativo à passagem do sinal do bloco 1303 e 1304, o parâmetro de difusão em 121N pode ser simplesmente definido em um valor constante.
[000313] A aplicação b), ilustrada na figura 32b, em algum sentido da situação oposta, é abrangida. Assumindo que p(t) é um sinal seco, pode ser desejado adicionar a reverberação para tornar o p(t) som mais natural, ou seja, para fazer o som da fonte sonora sintética como se fosse gravado em uma sala. Isso é obtido por meios do bloco 1305. Tanto os siais reverberados quando os originais passam pela transformação conduzida com o banco de filtro de análise 1302 e são passados ao bloco de análise do índice de potência 1306. 0 bloco 1306 calcula a informação em quanto a reverberação e quando o som direto está presente em uma determinada posição de tempo-frequência, por exemplo, calculando o índice Direto a Reverberação (DRR J Direct to Reverberation Ratio). Esta informação é então passada ao bloco 1304, no qual a difusão é calculada.
[000314] Para o DRR alto o parâmetro de difusão é definido em valores baixos, enquanto que quando a reverberação domina (por exemplo, sem restos da última reverberação) a difusão é definida em valores altos.
[000315] A seguir, alguns casos especiais são descritos.
[000316] Se fluxos GAC M de camada única precisam ser combinados a um fluxo GAC Lo = 1, então uma aplicação simplificada pode ser empregada. 0 fluxo GAC resultante será caracterizado pela: - pressão: a pressão será a soma de todos os sinais de pressão M.
- posição: a posição será a posição das fontes sonoras mais fortes, por exemplo, uma IPLS mais forte.
- difusão: a difusão será calculada de acordo com a fórmula (5)
[000317] Se o número de camadas na saída é igual ao número total de camadas na entrada, ou seja, Lo = N, então, o fluxo de saída pode ser visto como uma concatenação dos fluxos de entrada.
[000318] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é claro que estes aspectos ainda representam uma descrição do método correspondente, onde um bloco ou dispositivo corresponde a uma etapa do método ou uma característica de uma etapa do método. Analogamente, aspectos descritos no contexto de uma etapa do método ainda representam uma descrição de uma unidade correspondente ou item ou característica de um aparelho correspondente.
[000319] 0 sinal decomposto inventivo pode ser armazenado em um meio de armazenamento digital ou pode ser transmitido em um meio de transmissão como um meio de transmissão sem fio ou um meio de transmissão cabeado como a Internet.
[000320] Dependendo de certas exigências de implementação, aplicações da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada utilizando um meio de armazenamento digital, por exemplo, um disquete, um DVD, um Blu- Ray, um CD, uma memória ROM, PROM, EPROM, EEPROM ou uma memória FLASH, com sinais de controle eletronicamente legíveis armazenados nele, que cooperam (ou são capazes de cooperar) com um sistema de computador programável de modo que o respectivo método seja realizado. Portanto, o meio de armazenamento digital pode ser um computador legível.
[000321] Algumas aplicações de acordo com a invenção compreendem um transportador de dados com sinais de controle legíveis eletronicamente que são capazes de cooperar com um sistema de computador programável, de modo que um dos métodos descrito neste documento seja realizado.
[000322] Geralmente, aplicações da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, o código de programa sendo eficiente para realizar um dos métodos quando o produto de programa de computador é executado em um computador. O código de programa pode, por exemplo, ser armazenado em um transportador de máquina legível.
[000323] Outras aplicações compreendem o programa de computador para realizar um dos métodos descritos neste documento, armazenado em um transportador de máquina legível.
[000324] Em outras palavras, uma aplicação do método inventivo é, portanto, um programa de computador com um código de programa para realizar um dos métodos descritos neste documento, quando o programa de computador é executado em um computador.
[000325] Outra aplicação dos métodos inventivos é, assim, um transportador de dados (ou um meio de armazenamento digital, ou um meio legível de computador) compreendendo, gravado ali, o
• programa de computador para realizar um dos métodos descritos neste documento. O transportador de dados, o meio de armazenamento digital ou o meio gravado são normalmente tangíveis e/ou não transitórios.
[000326] Outra aplicação do método inventivo é, portanto, um fluxo de dados ou uma sequência de sinais que representam o programa de computador para realizar um dos métodos descritos neste documento. 0 fluxo de dados ou a sequência dos sinais pode, por exemplo, ser configurado para ser transferido através de uma conexão de comunicação de dados, por exemplo, através da Internet.
[000327] Outra aplicação compreende um meio de processamento, por exemplo, um computador ou um dispositivo lógico programável configurado ou adaptado para realizar um dos métodos descrito neste documento.
[000328] Outra aplicação compreende um computador tendo instalado nele o programa de computador para realizar um dos métodos descritos neste documento.
[000329] Em algumas aplicações, um dispositivo lógico programável (por exemplo, um arranjo de porta de campo programável) pode ser utilizado para realizar algumas ou todas as funcionalidades dos métodos descritos neste documento. Em algumas aplicações, um arranjo de porta de campo programável pode cooperar com um microprocessador para realizar um dos métodos descritos neste documento. Geralmente, os métodos são preferivelmente realizados em qualquer aparelho de hardware.
[000330] As aplicações descritas acima são meramente ilustrativas para os princípios da presente invenção. É entendido que as modificações e variações das disposições e os detalhes descritos neste documento serão evidentes a outros especialistas na técnica. É a intenção, portanto, ser limitado apenas pelo escopo das reivindicações de patente iminentes e não pelos detalhes específicos apresentados em forma de descrição e explicação das aplicações neste documento.
[000331] [1] Michael A. Gerzon. Ambisonics in multichannel broadcasting and video. J. Audio Eng. Soc, 33(11):859-871, 1985.
[000332] [2] V. Pulkki, "Directional audio coding in spatial sound reproduction and stereo upmixing," in Proceedings of the AES 28th International Conference, pp. 251-258, Piteá, Sweden, June 30 - July 2, 2006.
[000333] [3] V. Pulkki, "Spatial sound reproduction with directional audio coding," J. Audio Eng. Soc., vol. 55, no. 6, pp.
503-516, June 2007.
[000334] [4] C. Faller: "Microphone Front-Ends for Spatial Audio Coders", in Proceedings of the AES 125th International Convention, San Francisco, Oct. 2008.
[000335] [5] M. Kallinger, H. Ochsenfeld, G. Del Galdo, F. KUch, D. Mahne, R. Schultz-Amling. and O. Thiergart, "A spatial filtering approach for directional audio coding," in Audio Engineering Society Convention 126, Munich, Germany, May 2009.
[000336] [6] R. Schultz-Amling, F. KUch, O. Thiergart, and M. Kallinger, "Acoustical zooming based on a parametric sound field representation," in Audio Engineering Society Convention 128, London UK, May 2010.
[000337] [7] J. Herre, C. Falch, D. Mahne, G. Del Galdo,
M. Kallinger, and 0. Thiergart, "Interactive teleconferencing combining spatial audio object coding and DirAC technology," in Audio Engineering Society Convention 128, London UK, May 2010.
[000338] [8] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustical Holography, Academic Press,
1999.
[000339] [9] A. Kuntz and R. Rabenstein, "Limitations in the extrapolation of wave fields from circular measurements," in 15th European Signal Processing Conference (EUSIPCO 2007), 2007.
[000340] [10] A. Walther and C. Faller, "Linear simulation of spaced microphone arrays using b-format recordings," in Audio Engiineering Society Convention 128, London UK, May 2010.
[000341] [11] US61/287,596: An Apparatus and a Method for Converting a First Parametric Spatial Audio Signal into a Second Parametric Spatial Audio Signal.
[000342] [12] S. Rickard and Z. Yilmaz, "On the approximate W-disjoint orthogonality of speech," in Acoustics, Speech and Signal Processing, 2002. ICASSP 2002. IEEE International Conference on, April 2002, vol. 1.
[000343] [13] R. Roy, A. Paulraj, and T. Kailath, "Direction-of-arrival estimation by subspace rotation methods - ESPRIT," in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Stanford, CA, USA, April 1986.
[000344] [14] R. Schmidt, "Multiple emitter location and signal parameter estimation," IEEE Transactions on Antennas and Propagation, vol. 34, no. 3, pp. 276-280, 1986.
[000345] [15] J. Michael Steele, "Optimal Triangulation of Random Samples in the Plane", The Annals of Probability, Vol.
10, No.3 (Aug., 1982), pp. 548-553.
[000346] [16] F. J. Fahy, Sound Intensity, Essex: Elsevier Science Publishers Ltd., 1989.
[000347] [17] R. Schultz-Amling, F. KUch, M. Kallinger, G. Del Galdo, T. Ahonen and V. Pulkki, "Planar microphone array processing for the analysis and reproduction of spatial audio using directional audio coding," in Audio Engineering Society Convention 124, Amsterdam, The Netherlands, May 2008.
[000348] [18] M. Kallinger, F. KUch, R. Schultz-Amling, G. Del Galdo, T. Ahonen and V. Pulkki, "Enhanced direction estimation using microphone arrays for directional audio coding;" in Hands-Free Speech Communication and Microphone Arrays, 2008.
HSCMA 2008, May 2008, pp. 45-48.
[000349] [19] R. K. Furness, "Ambisonics - An overview," in ASS 8th International Conference, April 1990, pp. 181-189.
[000350] [20] Giovanni Del Galdo, Oliver Thiergart, TobiasWeller, and E. A. P. Habets. Generating virtual microphone signals using geometrical information gathered by distributed arrays. In Third Joint Workshop on Hands-free Speech Communication and Microphone Arrays (HSCMA '11), Edinburgh, United Kingdom, May
2011.
[000351] [21] Jurgen Herre, Cornelia Falch, Dirk Mahne, Giovanni Del Galdo, Markus Kallinger, and Oliver Thiergart.
Interactive teleconferencing combining spatial audio object coding and DirAC technology. In Audio Engineering Society Convention 128,
2010.
[000352] [22] G. Del Galdo, F.Kuech, M. Kallinger, and R. Schultz-Amling. Efficient merging of multiple audio streams for i i á spatial sound reproduction in directional audio coding. In International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2009), 2009.
1000353] [231 US 20110216908: Apparatus for Merging Spatial Audio Streams.
[000354] [24] Emmanuel Gallo and Nicolas Tsingos.
Extracting and re-rendering structured auditory scenes from field recordings. In ABS 30th International Conference on Intelligent Audio Environments, 2007.
[000355] [25] Jeroen Breebaart, Jonas Engdegárd, Cornelia Falch, Oliver Hellmuth, Johannes Hilpert, Andreas Hoelzer, Jeroesn Koppens, Werner Oomen, Barbara Resch, Erik Schuijers, and Leonid Terentiev. Spatial audio object coding (saoc) - the upcoming mpeg standard on parametric object based audio coding. In Audio Engineering Society Convention 124, 5 2008.
[000356] [26] R. Roy and T. Kailath. ESPRIT-estimation of signal parameters via rotational invariance techniques. Acoustics, Speech and Signal Processing, IEEE Transactions on, 37(7):984-995, July 1989.
[000357] [27] Tapio Lokki, Juha Merimaa, and Ville Pulkki.
Method for reproducing natural or modified spatial impression in multichannel listening, 2006.
[000358] [28] Svein Merge. Device and method for converting spatial audio signal. US patent application, Appl. No.
10/547,151.
[000359] [29] Ville Pulkki. Spatial sound reproduction with directional audio coding. J. Audio Eng. Soc, 55(6) :503-516, June 2007.
[000360] [30] C. Uhle and C. Paul: A supervised learning approach to ambience extraction from mono recordings for blind upmixing in Proc. of the 11th Int. Conference on Digital Audio Effects (DAFx-08), Espoo, Finland, September 1-4, 2008.
Claims (18)
1. Um aparelho para gerar um fluxo de dados de áudio combinado, compreendendo: um demultiplexador (180) para obter uma pluralidade de fluxos de dados de áudio de camada única, caracterizado pelo demultiplexador (180) ser adaptado para receber um ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador (180) é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo uma ou mais camadas em dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que os dois ou mais fluxos de dados de áudio demultiplexados juntos compreendem uma ou mais camadas do fluxo de dados de áudio de entrada, para obter dois ou mais dos fluxos de dados de áudio de camada única; e um módulo de combinação (190) para gerar o fluxo de dados de áudio combinado, tendo uma ou mais camadas, com base na pluralidade dos fluxos de dados de áudio de camada única, em que cada camada dos fluxos de áudio de dados de entrada, dos fluxos de dados de áudio demultiplexados, dos fluxos de dados de camada única e do fluxo de dados de áudio combinado compreende um valor de pressão de um sinal de pressão, um valor de posição e um valor de difusão como dados de áudio.
2. Um aparelho de acordo com a reivindicação 1, caracterizado pelo demultiplexador (180) ser adaptado para receber dois ou mais dos fluxos de dados de áudio de entrada, e pelo demultiplexador (180) ser adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo duas ou mais camadas em dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que os dois ou mais fluxos de dados de áudio demultiplexados juntos compreendam as duas ou mais camadas do dito fluxo de dados de áudio de entrada, para obter os dois ou mais dos fluxos de dados de áudio de camada única.
3. Um aparelho de acordo com a reivindicação 1 ou 2, caracterizado pelos dados de áudio serem definidos para uma posição de tempo-frequência de uma pluralidade de posições de tempo-frequência.
4. Um aparelho de acordo com qualquer uma das reivindicações de 1 a 3, caracterizado pelo módulo de combinação (190) compreender um módulo de função de custo (1401) para atribuir um valor de custo a cada um dos fluxos de dados de áudio de camada única, e em que o módulo de combinação (190) é adaptado para gerar o fluxo de dados de áudio combinado com base nos valores de custo atribuídos aos fluxos de dados de áudio de camada única.
5. Um aparelho de acordo com a reivindicação 4, caracterizado pelo módulo de função de custo (1401) ser adaptado para atribuir o valor de custo a cada um dos fluxos de dados de áudio de camada única dependendo pelo menos de um dos valores de pressão ou os valores de difusão do fluxo de dados de áudio de camada única.
6. Um aparelho de acordo com a reivindicação 5, caracterizado pelo módulo de função de custo (1401) ser adaptado para atribuir o valor de custo a cada fluxo de dados de áudio do grupo de fluxos de dados de áudio de camada única aplicando a fórmula: Ji(Wh P1) Pi - em que P; é o valor de pressão e 4s é o valor de difusão da camada de um fluxo de dados de áudio i-th do grupo de fluxos de dados de áudio de camada única.
7. Um aparelho de acordo com qualquer uma das reivindicações de 4 a 6, caracterizado pelo módulo de combinação (190) compreender, ainda, uma unidade de combinação de pressão (1404), em que a unidade de combinação de pressão (1404) é adaptada para determinar um primeiro grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única e para determinar um segundo grupo compreendendo um ou mais fluxos de dados de áudio de camada única diferentes da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do primeiro grupo é maior do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do segundo grupo, ou em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do primeiro grupo ser menor do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do segundo grupo, em que a unidade de combinação de pressão (1404) é adaptada para gerar um ou mais valores de pressão de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de pressão de cada um dos fluxos de dados de áudio de camada única do primeiro grupo é um valor de pressão de uma das camadas do fluxo de dados de áudio combinado, e de modo que uma combinação dos valores de pressão dos fluxos de dados de áudio de camada única do segundo grupo é um valor de pressão de uma das camadas do fluxo de dados de áudio combinado.
8. Um aparelho de acordo com qualquer uma das reivindicações de 4 a 7, caracterizado pelo módulo de combinação (190) compreender, ainda, uma unidade de combinação de difusão (1405), em que a unidade de combinação de difusão (1405) é adaptada para determinar um terceiro grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única e para determinar um quarto grupo compreendendo um ou mais diferentes fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do terceiro grupo é maior do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quarto grupo, ou em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do terceiro grupo é menor do que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quarto grupo, em que a unidade de combinação de difusão (1405) é adaptada para gerar um ou mais valores de difusão de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de difusão de cada um dos fluxos de dados de áudio de camada única do terceiro grupo é um valor de difusão de uma das camadas do fluxo de dados de áudio combinado, e de modo que uma combinação dos valores de difusão dos fluxos de dados de áudio de camada única do quarto grupo é um valor de difusão de uma das camadas do fluxo de dados de áudio combinado.
9. Um aparelho de acordo com qualquer uma das reivindicações de 3 a 8, caracterizado pelo módulo de combinação (190) compreender, ainda, uma unidade de mistura de posição, em que a unidade de mistura de posição (1403) é adaptada para determinar um quinto grupo compreendendo um ou mais fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única, em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quinto grupo é maior do que o valor de custo de qualquer fluxo de dados de áudio de camada única não compreendido no quinto grupo da pluralidade de fluxos de dados de áudio de camada única, ou em que o valor de custo de cada um dos fluxos de dados de áudio de camada única do quinto grupo é menor do que o valor de custo de qualquer fluxo de dados de áudic de camada única não compreendido no quinto grupo da pluralidade de fluxos de dados de áudio de camada única, em que a unidade do valor de posição é adaptada para gerar um ou mais valores de posição de uma ou mais camadas do fluxo de dados de áudio combinado, de modo que cada valor de posição de cada um dos fluxos de dados de áudio de camada única do quinto grupo é um valor de posição de uma das camadas do fluxo de dados de áudio combinado.
10. Um aparelho de acordo com qualquer uma das reivindicações de 3 a 9, caracterizado pelo módulo de combinação (190) compreender, ainda, um módulo de adaptação da cena sonora (1402) para manipular o valor de posição de um ou mais dos fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única.
11. Um aparelho de acordo com a reivindicação 10, caracterizado pelo módulo de adaptação da cena sonora (1402) ser adaptado para manipular o valor de posição de um ou mais dos fluxos de dados de áudio de camada única da pluralidade de fluxos de dados de áudio de camada única aplicando uma rotação, uma tradução ou uma transformação não linear no valor de posição.
12. Um aparelho de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo demultiplexador (180) ser adaptado para modificar uma magnitude de um dos valores de pressão de um dos fluxos de dados de áudio demultiplexados pela multiplexação da magnitude por um valor de escala.
13. Um aparelho de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo demultiplexador (180) compreender uma pluralidade de unidades de demultiplexação (1201), em que cada uma das unidades de demultiplexação (1201) é configurada para demultiplexar um ou mais dos fluxos de dados de áudio de entrada.
14. Um aparelho de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo aparelho compreender, ainda, um gerador de fonte artificial (1202) para gerar um fluxo de dados artificial compreendendo exatamente uma camada, em que o gerador de fonte artificial (1202) é adaptado para receber informação de pressão sendo representada em um domínio de tempo e para receber uma informação de posição, em que o gerador de fonte artificial (1202) é adaptado para replicar a informação de pressão para gerar informação de posição para uma pluralidade de posições de tempo- frequência, e em que o gerador de fonte artificial (1202) é ainda adaptado para calcular a informação de difusão com base na informação de pressão.
15. Um aparelho de acordo com a reivindicação 14, caracterizado pelo gerador de fonte artificial (1202) ser adaptado para transformar a informação de pressão sendo representada em um domínio de tempo a um domínio de tempo-frequência.
16. Um aparelho de acordo com a reivindicação 14, caracterizado pelo gerador de fonte artificial (1202) ser adaptado para adicionar a reverberação à informação de pressão.
17. Um método para gerar um fluxo de dados de áudio combinado, compreendendo obter uma pluralidade de fluxos de dados de áudio de camada única, caracterizado pelo demultiplexador ser adaptado para receber um ou mais fluxos de dados de áudio de entrada, em que cada fluxo de dados de áudio de entrada compreende uma ou mais camadas, em que o demultiplexador é adaptado para demultiplexar cada um dos fluxos de dados de áudio de entrada tendo uma ou mais camadas aos dois ou mais fluxos de dados de áudio demultiplexados tendo exatamente uma camada, de modo que os dois ou mais fluxos de dados de áudio demultiplexados juntos compreendam uma ou mais camadas do fluxo de dados de áudio de entrada, para obter dois ou mais dos fluxos de dados de áudio de camada única; e gerar o fluxo de dados de áudio combinado, tendo uma ou mais camadas, com base na pluralidade dos fluxos de dados de áudio de camada única, em que cada camada dos fluxos de áudio de dados de entrada, dos fluxos de dados de áudio demultiplexados, dos fluxos de dados de camada única e do fluxo de dados de áudio combinado compreende um valor de pressão de um sinal de pressão, um valor de posição e um valor de difusão as dados de áudio, os dados de áudio sendo definidos para uma posição de tempo- frequência de uma pluralidade de posições de tempo-frequência.
18. Um programa de computador para implementar o método de acordo com a reivindicação 17, caracterizado por ser executado em um computador ou um processador de sinal.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11191816.5A EP2600343A1 (en) | 2011-12-02 | 2011-12-02 | Apparatus and method for merging geometry - based spatial audio coding streams |
| US13/445,585 US9484038B2 (en) | 2011-12-02 | 2012-04-12 | Apparatus and method for merging geometry-based spatial audio coding streams |
| US13/455,585 | 2012-04-12 | ||
| PCT/EP2012/074097 WO2013079663A2 (en) | 2011-12-02 | 2012-11-30 | Apparatus and method for merging geometry-based spatial audio coding streams |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112014013336A2 true BR112014013336A2 (pt) | 2021-01-26 |
| BR112014013336B1 BR112014013336B1 (pt) | 2021-08-24 |
Family
ID=45047686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112014013336-0A BR112014013336B1 (pt) | 2011-12-02 | 2012-11-30 | Aparelho e método para combinar fluxos de codificação de áudio espacial com base em geometria |
Country Status (18)
| Country | Link |
|---|---|
| US (1) | US9484038B2 (pt) |
| EP (2) | EP2600343A1 (pt) |
| JP (1) | JP6086923B2 (pt) |
| KR (1) | KR101666730B1 (pt) |
| CN (1) | CN104185869B9 (pt) |
| AR (1) | AR089053A1 (pt) |
| AU (3) | AU2012343819C1 (pt) |
| BR (1) | BR112014013336B1 (pt) |
| CA (1) | CA2857614C (pt) |
| HK (1) | HK1202181A1 (pt) |
| IN (1) | IN2014KN01069A (pt) |
| MX (1) | MX342794B (pt) |
| MY (1) | MY167160A (pt) |
| RU (1) | RU2609102C2 (pt) |
| SG (1) | SG11201402777QA (pt) |
| TW (1) | TWI555412B (pt) |
| WO (1) | WO2013079663A2 (pt) |
| ZA (1) | ZA201404823B (pt) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10152524B2 (en) * | 2012-07-30 | 2018-12-11 | Spatial Digital Systems, Inc. | Wavefront muxing and demuxing for cloud data storage and transport |
| US10154361B2 (en) * | 2011-12-22 | 2018-12-11 | Nokia Technologies Oy | Spatial audio processing apparatus |
| US9407992B2 (en) * | 2012-12-14 | 2016-08-02 | Conexant Systems, Inc. | Estimation of reverberation decay related applications |
| CN104982042B (zh) | 2013-04-19 | 2018-06-08 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| CN108806704B (zh) | 2013-04-19 | 2023-06-06 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| US10499176B2 (en) | 2013-05-29 | 2019-12-03 | Qualcomm Incorporated | Identifying codebooks to use when coding spatial components of a sound field |
| US9319819B2 (en) * | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| EP3028476B1 (en) * | 2013-07-30 | 2019-03-13 | Dolby International AB | Panning of audio objects to arbitrary speaker layouts |
| CN104683933A (zh) | 2013-11-29 | 2015-06-03 | 杜比实验室特许公司 | 音频对象提取 |
| US10042037B2 (en) * | 2014-02-20 | 2018-08-07 | Nestwave Sas | System and method for estimating time of arrival (TOA) |
| EP2942982A1 (en) * | 2014-05-05 | 2015-11-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering |
| ES2833424T3 (es) | 2014-05-13 | 2021-06-15 | Fraunhofer Ges Forschung | Aparato y método para panoramización de amplitud de atenuación de bordes |
| US10770087B2 (en) | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
| US9620137B2 (en) * | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
| US9774974B2 (en) * | 2014-09-24 | 2017-09-26 | Electronics And Telecommunications Research Institute | Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion |
| US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
| US9984693B2 (en) | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
| CN111866022B (zh) | 2015-02-03 | 2022-08-30 | 杜比实验室特许公司 | 感知质量比会议中原始听到的更高的后会议回放系统 |
| EP3254456B1 (en) | 2015-02-03 | 2020-12-30 | Dolby Laboratories Licensing Corporation | Optimized virtual scene layout for spatial meeting playback |
| WO2017004584A1 (en) | 2015-07-02 | 2017-01-05 | Dolby Laboratories Licensing Corporation | Determining azimuth and elevation angles from stereo recordings |
| HK1255002A1 (zh) | 2015-07-02 | 2019-08-02 | 杜比實驗室特許公司 | 根據立體聲記錄確定方位角和俯仰角 |
| EP3332557B1 (en) | 2015-08-07 | 2019-06-19 | Dolby Laboratories Licensing Corporation | Processing object-based audio signals |
| CN105117111B (zh) * | 2015-09-23 | 2019-11-15 | 小米科技有限责任公司 | 虚拟现实交互画面的渲染方法和装置 |
| TWI577194B (zh) * | 2015-10-22 | 2017-04-01 | 山衛科技股份有限公司 | 環境音源辨識系統及其環境音源辨識之方法 |
| US10206040B2 (en) * | 2015-10-30 | 2019-02-12 | Essential Products, Inc. | Microphone array for generating virtual sound field |
| CN107710323B (zh) | 2016-01-22 | 2022-07-19 | 弗劳恩霍夫应用研究促进协会 | 使用频谱域重新取样来编码或解码音频多通道信号的装置及方法 |
| US10923132B2 (en) | 2016-02-19 | 2021-02-16 | Dolby Laboratories Licensing Corporation | Diffusivity based sound processing method and apparatus |
| US9949052B2 (en) | 2016-03-22 | 2018-04-17 | Dolby Laboratories Licensing Corporation | Adaptive panner of audio objects |
| US20170293461A1 (en) * | 2016-04-07 | 2017-10-12 | VideoStitch Inc. | Graphical placement of immersive audio sources |
| GB2551780A (en) | 2016-06-30 | 2018-01-03 | Nokia Technologies Oy | An apparatus, method and computer program for obtaining audio signals |
| US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
| US10820097B2 (en) * | 2016-09-29 | 2020-10-27 | Dolby Laboratories Licensing Corporation | Method, systems and apparatus for determining audio representation(s) of one or more audio sources |
| WO2018090356A1 (en) * | 2016-11-21 | 2018-05-24 | Microsoft Technology Licensing, Llc | Automatic dubbing method and apparatus |
| KR20180090022A (ko) * | 2017-02-02 | 2018-08-10 | 한국전자통신연구원 | 다중 전방향 카메라 및 마이크 기반 가상현실 제공 방법 및 가상 현실 제공 방법을 수행하는 음향 신호 처리 장치 및 영상 신호 처리 장치 |
| GB2561595A (en) * | 2017-04-20 | 2018-10-24 | Nokia Technologies Oy | Ambience generation for spatial audio mixing featuring use of original and extended signal |
| GB2563635A (en) | 2017-06-21 | 2018-12-26 | Nokia Technologies Oy | Recording and rendering audio signals |
| KR102568365B1 (ko) | 2017-07-14 | 2023-08-18 | 프라운 호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 깊이-확장형 DirAC 기술 또는 기타 기술을 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 |
| BR112020000759A2 (pt) * | 2017-07-14 | 2020-07-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | aparelho para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, método para gerar uma descrição aprimorada de campo sonoro, método para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, programa de computador, descrição aprimorada de campo sonoro |
| EP3652735A1 (en) * | 2017-07-14 | 2020-05-20 | Fraunhofer Gesellschaft zur Förderung der Angewand | Concept for generating an enhanced sound field description or a modified sound field description using a multi-point sound field description |
| GB2566992A (en) | 2017-09-29 | 2019-04-03 | Nokia Technologies Oy | Recording and rendering spatial audio signals |
| CA3076703C (en) * | 2017-10-04 | 2024-01-02 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus, method and computer program for encoding, decoding, scene processing and other procedures related to dirac based spatial audio coding |
| TWI690921B (zh) * | 2018-08-24 | 2020-04-11 | 緯創資通股份有限公司 | 收音處理裝置及其收音處理方法 |
| WO2021018378A1 (en) | 2019-07-29 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for processing a sound field representation in a spatial transform domain |
| CN110853657B (zh) * | 2019-11-18 | 2022-05-13 | 北京小米智能科技有限公司 | 空间划分方法、装置及存储介质 |
| GB2590650A (en) * | 2019-12-23 | 2021-07-07 | Nokia Technologies Oy | The merging of spatial audio parameters |
| WO2022115803A1 (en) * | 2020-11-30 | 2022-06-02 | The Regents Of The University Of California | Systems and methods for sound-enhanced meeting platforms |
| GB2602148A (en) * | 2020-12-21 | 2022-06-22 | Nokia Technologies Oy | Audio rendering with spatial metadata interpolation and source position information |
| CN113708868B (zh) * | 2021-08-27 | 2023-06-27 | 国网安徽省电力有限公司池州供电公司 | 一种多拾音设备的调度系统及其调度方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0905933A3 (de) * | 1997-09-24 | 2004-03-24 | STUDER Professional Audio AG | Verfahren und Vorrichtung zum Mischen von Tonsignalen |
| AUPR989802A0 (en) * | 2002-01-09 | 2002-01-31 | Lake Technology Limited | Interactive spatialized audiovisual system |
| FI118247B (fi) | 2003-02-26 | 2007-08-31 | Fraunhofer Ges Forschung | Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa |
| EP1647010B1 (de) * | 2003-07-21 | 2017-09-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audiodateiformatumwandlung |
| EP1509065B1 (en) * | 2003-08-21 | 2006-04-26 | Bernafon Ag | Method for processing audio-signals |
| US7483519B2 (en) * | 2003-12-23 | 2009-01-27 | At&T Intellectual Property I, L.P. | Caller controlled systems to suppress system to de-activate 911 indicator |
| US7272567B2 (en) * | 2004-03-25 | 2007-09-18 | Zoran Fejzo | Scalable lossless audio codec and authoring tool |
| BRPI0608753B1 (pt) | 2005-03-30 | 2019-12-24 | Koninl Philips Electronics Nv | codificador de áudio, decodificador de áudio, método para codificar um sinal de áudio de multicanal, método para gerar um sinal de áudio de multicanal, sinal de áudio de multicanal codificado, e meio de armazenamento |
| KR20070108302A (ko) | 2005-10-14 | 2007-11-09 | 삼성전자주식회사 | 오디오 데이터의 확장에 대한 스케러빌러티를 지원하는부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| DE102005057406A1 (de) * | 2005-11-30 | 2007-06-06 | Valenzuela, Carlos Alberto, Dr.-Ing. | Verfahren zur Aufnahme einer Tonquelle mit zeitlich variabler Richtcharakteristik und zur Wiedergabe sowie System zur Durchführung des Verfahrens |
| EP2369836B1 (en) | 2006-05-19 | 2014-04-23 | Electronics and Telecommunications Research Institute | Object-based 3-dimensional audio service system using preset audio scenes |
| ES2380059T3 (es) * | 2006-07-07 | 2012-05-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para combinar múltiples fuentes de audio codificadas paramétricamente |
| US20080232601A1 (en) * | 2007-03-21 | 2008-09-25 | Ville Pulkki | Method and apparatus for enhancement of audio reconstruction |
| US8131542B2 (en) * | 2007-06-08 | 2012-03-06 | Honda Motor Co., Ltd. | Sound source separation system which converges a separation matrix using a dynamic update amount based on a cost function |
| EP2144231A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
| EP2154911A1 (en) * | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | An apparatus for determining a spatial output multi-channel audio signal |
| EP2154910A1 (en) | 2008-08-13 | 2010-02-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for merging spatial audio streams |
| JP5540492B2 (ja) | 2008-10-29 | 2014-07-02 | 富士通株式会社 | 通信装置、効果音出力制御プログラム及び効果音出力制御方法 |
| ES2690164T3 (es) | 2009-06-25 | 2018-11-19 | Dts Licensing Limited | Dispositivo y método para convertir una señal de audio espacial |
| EP2346028A1 (en) * | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
| US8731923B2 (en) * | 2010-08-20 | 2014-05-20 | Adacel Systems, Inc. | System and method for merging audio data streams for use in speech recognition applications |
-
2011
- 2011-12-02 EP EP11191816.5A patent/EP2600343A1/en not_active Withdrawn
-
2012
- 2012-04-12 US US13/445,585 patent/US9484038B2/en active Active
- 2012-11-30 AU AU2012343819A patent/AU2012343819C1/en active Active
- 2012-11-30 RU RU2014126818A patent/RU2609102C2/ru active
- 2012-11-30 JP JP2014543912A patent/JP6086923B2/ja active Active
- 2012-11-30 EP EP12794963.4A patent/EP2786374B1/en active Active
- 2012-11-30 TW TW101145074A patent/TWI555412B/zh active
- 2012-11-30 WO PCT/EP2012/074097 patent/WO2013079663A2/en active Application Filing
- 2012-11-30 KR KR1020147018321A patent/KR101666730B1/ko active IP Right Grant
- 2012-11-30 MY MYPI2014001578A patent/MY167160A/en unknown
- 2012-11-30 CN CN201280067983.XA patent/CN104185869B9/zh active Active
- 2012-11-30 SG SG11201402777QA patent/SG11201402777QA/en unknown
- 2012-11-30 CA CA2857614A patent/CA2857614C/en active Active
- 2012-11-30 IN IN1069KON2014 patent/IN2014KN01069A/en unknown
- 2012-11-30 AR ARP120104513A patent/AR089053A1/es active IP Right Grant
- 2012-11-30 MX MX2014006199A patent/MX342794B/es active IP Right Grant
- 2012-11-30 BR BR112014013336-0A patent/BR112014013336B1/pt active IP Right Grant
-
2014
- 2014-06-30 ZA ZA2014/04823A patent/ZA201404823B/en unknown
-
2015
- 2015-03-16 HK HK15102679.7A patent/HK1202181A1/xx unknown
-
2016
- 2016-04-22 AU AU2016202604A patent/AU2016202604A1/en not_active Abandoned
-
2018
- 2018-01-25 AU AU2018200613A patent/AU2018200613A1/en not_active Withdrawn
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112014013336A2 (pt) | aparelho e método para combinar fluxos de codificação de áudio espacial com base em geometria | |
| AU2011334857B2 (en) | Apparatus and method for geometry-based spatial audio coding | |
| KR101296757B1 (ko) | 마이크로폰 신호를 기반으로 공간 큐의 세트를 제공하는 장치, 방법 및 컴퓨터 프로그램과, 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치 | |
| BR112013013678B1 (pt) | Aparelho e método para codificação de áudio espacial com base em geometria |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 30/11/2012, OBSERVADAS AS CONDICOES LEGAIS. |