BRPI0707969A2 - codificador e decodificador de áudio, métodos de codificação e de decodificação de áudio, e para transmitir e receber um sinal de áudio, receptor para receber um sinal de áudio, transmissor e método para transmitir um fluxo de dados de saìda, sistema de transmissão para transmitir um sinal de áudio, produto de programa de computador, dispositivos de gravação e de execução de áudio, e, fluxo de dados de áudio para um sinal, e, meio de armazenamento - Google Patents
codificador e decodificador de áudio, métodos de codificação e de decodificação de áudio, e para transmitir e receber um sinal de áudio, receptor para receber um sinal de áudio, transmissor e método para transmitir um fluxo de dados de saìda, sistema de transmissão para transmitir um sinal de áudio, produto de programa de computador, dispositivos de gravação e de execução de áudio, e, fluxo de dados de áudio para um sinal, e, meio de armazenamento Download PDFInfo
- Publication number
- BRPI0707969A2 BRPI0707969A2 BRPI0707969-9A BRPI0707969A BRPI0707969A2 BR PI0707969 A2 BRPI0707969 A2 BR PI0707969A2 BR PI0707969 A BRPI0707969 A BR PI0707969A BR PI0707969 A2 BRPI0707969 A2 BR PI0707969A2
- Authority
- BR
- Brazil
- Prior art keywords
- signal
- data
- stereo
- stereo signal
- audio
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000005540 biological transmission Effects 0.000 title claims description 12
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000003860 storage Methods 0.000 title claims description 4
- 230000004044 response Effects 0.000 claims abstract description 79
- 238000012546 transfer Methods 0.000 claims abstract description 56
- 230000015572 biosynthetic process Effects 0.000 claims description 57
- 238000003786 synthesis reaction Methods 0.000 claims description 57
- 239000011159 matrix material Substances 0.000 claims description 44
- 238000002156 mixing Methods 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000008021 deposition Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 17
- 230000008569 process Effects 0.000 abstract description 15
- 230000002441 reversible effect Effects 0.000 abstract description 13
- 230000006870 function Effects 0.000 description 54
- 230000000875 corresponding effect Effects 0.000 description 27
- 238000013459 approach Methods 0.000 description 13
- 230000008447 perception Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 210000005069 ears Anatomy 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 230000002301 combined effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 210000003454 tympanic membrane Anatomy 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100040836 Claudin-1 Human genes 0.000 description 1
- 101100113671 Homo sapiens CLDN1 gene Proteins 0.000 description 1
- 101100113675 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) CLD1 gene Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002868 homogeneous time resolved fluorescence Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
- H04S3/004—For headphones
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
Abstract
CODIFICADOR E DECODIFICADOR DE áUDIO, MéTODOS DE CODIFICAçãO E DE DECODIFICAçãO DE áUDIO, E PARA TRANSMITIR E RECEBER UM SINAL DE AUDIO, RECEPTOR PARA RECEBER UM SINAL DE áUDIO, TRANSMISSOR E MéTODO PARA TRANSMITIR UM FLUXO DE DADOS DE SAIDA, SISTEMA DE TRANSMISSãO PARA TRANSMITIR UM SINAL DE áUDIO, PRODUTO DE PROGRAMA DE COMPUTADOR, DISPOSITIVOS DE GRAVAçãO E DE EXECUçãO DE áUDIO, E, FLUXO DE DADOS DE áUDIO PARA UM SINAL DE áUDIO, E, MEIO DE ARMAZENAMENTO. Um codificador de áudio compreende um receptor de múltiplos canais (401) que recebe um sinal de áudio de M canais onde M>2. Um processador de mistura para baixo (403) faz a mistura para baixo do sinal de áudio de M canais para um primeiro sinal estéreo e os dados paramétricos associados e um processador espacial (407) modifica o primeiro sinal estéreo para gerar um segundo sinal estéreo em resposta aos dados paramétricos associados e dados de parâmetro espacial para uma função de transferência perceptual binaural, tal como uma Head Related Transferência Function (HRTF). O segundo sinal estéreo é um sinal binaural e pode especificamente ser um sinal espacial virtual (3D). Um fluxo de dados de saída compreendendo os dados codificados e os dados paramétricos associados é gerado através de um processador de codificação(411) e um processador de saída (413). O processamento de HRTF pode permitir a geração de um sinal espacial virtual (3D) através de decodificadores de estéreo convencionais. Um decodificador de múltiplos canais pode inverter o processo do processador espacial (407) para gerar um sinal de múltiplos canais de qualidade melhorada.
Description
"CODIFICADOR E DECODIFICADOR DE ÁUDIO, MÉTODOS DECODIFICAÇÃO E DE DECODIFICAÇÃO DE ÁUDIO, E PARATRANSMITIR E RECEBER UM SINAL DE ÁUDIO, RECEPTOR PARARECEBER UM SINAL DE ÁUDIO, TRANSMISSOR E MÉTODO PARATRANSMITIR UM FLUXO DE DADOS DE SAÍDA, SISTEMA DETRANSMISSÃO PARA TRANSMITIR UM SINAL DE ÁUDIO, PRODUTODE PROGRAMA DE COMPUTADOR, DISPOSITIVOS DE GRAVAÇÃO EDE EXECUÇÃO DE ÁUDIO, E, FLUXO DE DADOS DE ÁUDIO PARA UMSINAL DE ÁUDIO, E, MEIO DE ARMAZENAMENTO"
A invenção se relaciona à codificação e decodificação de áudioe em particular, mas não de forma exclusiva, para codificação e decodificaçãode áudio envolvendo um sinal espacial virtual binaural.
Codificação digital de vários sinais fonte tem se tornado deforma crescente importante nas últimas décadas conforme representação desinal e comunicação digital de forma crescente tem substituído representaçãoe comunicação analógica. Por exemplo, distribuição de conteúdo de mídia, talcomo vídeo e musica, está de forma crescente baseada na codificação deconteúdo digital.
Ainda mais, na última década tem havido uma tendência emdireção a áudio de múltiplos canais e especificamente em direção a áudioespacial se estendendo além de sinais estéreos convencionais. Por exemplo,gravações de estéreo tradicionais somente, compreendem dois canais ao passoque sistemas de áudio avançados modernos tipicamente usam cinco ou seiscanais, como nos populares sistemas de som ambiente 5.1. Este fornece parauma mais experiência de audição envolvida onde o usuário pode ser rodeadopor fontes de som.
Várias técnicas e padrões tem sido desenvolvidos paracomunicação de tais sinais de múltiplos canais. Por exemplo, seis canaisdiscretos representando sistema ambiente de 5.1 podem ser transmitidos deacordo com padrões tais como os padrões Advanced Audio Coding (AAC) ouDolby Digital.
Contudo, de modo a fornecer compatibilidade para trás, isto éconhecido para fazer mistura para baixo do número mais alto de canais paraum número mais baixo e especificamente isto é de forma freqüente usado parafazer a mistura para baixo de uma sinal de som ambiente 5.1 para um sinalestéreo permitindo um sinal estéreo ser reproduzido por decodificadores(estéreo) legados e um sinal RAM 5.1 por decodificadores de som ambiente.
Um exemplo é o método de codificação compatível para trás de MPEG 2. Um sinal de múltiplos canais é com mistura feita para baixo emum sinal estéreo. Sinais adicionais são codificados na porção de dadosacessórios permitindo a um decodificador de múltiplos canais de MPEG 2gerar uma representação do sinal de múltiplos canais. Um decodificador deMPEG 1 vai ignorar os dados acessórios e assim sendo somente decodifica ocom mistura feita estéreo. A principal desvantagem do método de codificaçãoaplicado no MPEG 2 é que a taxa de dados adicional requerida para os sinaisadicionais está na mesma ordem de magnitude que a taxa de dados requeridapara codificar o sinal estéreo. A taxa de bit adicional para estender estéreopara áudio de múltiplos canais é por conseguinte significativa.
Outros métodos existentes para transmissão de múltiploscanais compatível para trás sem informação de múltiplos canais adicionalpodem tipicamente ser caracterizados como métodos de ambiente commatrizes. Exemplos de codificação de som ambiente por matriz incluemmétodos tais como Dolby Pro lógica II e Logic-7. O princípio comum dessesmétodos é que eles multiplicam por matriz os múltiplos canais do sinal deentrada através de uma matriz não quadrática adequada e por meio disso,gerando um sinal de saída com um número mais baixo de canais.Especificamente, um decodificador de matriz tipicamente aplicadeslocamentos de fase de nos canais ambientes antes de mixá-los com oscanais frontais e centrais.
Uma outra razão para uma conversão de canal é a eficiência decodificação. Tem sido encontrado que e.g. sinais de áudio de som ambientepodem ser codificados como sinais de áudio de canal estéreo combinado comum fluxo de bit de parâmetro descrevendo como propriedades espaciais dosinal de áudio. O decodificador pode reproduzir os sinais de áudio estéreocom um grau muito satisfatório de precisão. Desta maneira, economia de taxade bit substancial pode ser obtida.
Existem vários parâmetros que podem ser usados paradescrever como propriedades espaciais de sinais de áudio. Um tal parâmetro éa relação cruzada entre canais, tal como a relação cruzada entre o canalesquerdo e o canal direito para sinais estéreos. Um outro parâmetro é aproporção de potência dos canais. Nos assim chamados codificadoresespaciais de áudio (paramétrico), esses e outros parâmetros são extraídos dosinal de áudio original a fim de produzir um sinal de áudio tendo a númeroreduzido de canais, por exemplo somente um canal único, mais um conjuntode parâmetros descrevendo como propriedades espaciais do sinal de áudiooriginal. Nos assim chamados decodificadores espaciais de áudio(paramétrico), como propriedades espaciais como descritas através dosparâmetros espaciais transmitidos são re-instaladas.
Tal codificação espacial de áudio preferencialmente empregauma estrutura hierárquica baseada em árvore ou cascata compreendendounidades padrões no codificador e no decodificador. No codificador, essasunidades padrões podem ser fazedores de mistura para baixo combinandocanais em um número mais baixo de canais tal como fazedores de misturapara baixo de 2 para 1, 3 para 1, 3 para 2, etc., enquanto no decodificadorcorrespondente como unidades padrões podem ser fazedores de mistura paracima separando os canais uma maior número de canais tal como fazedores demistura para cima de 1 para 2, 2 para 3.Posicionamento de fonte de som em um 3 D é correntementevantagem de ganho, especialmente no domínio da comunicação móvel.Reprodução de música e efeitos de som em jogos de comunicação móvel podeadicionar valor significativo à experiência do cliente quando posicionado emum 3D, de forma efetiva criando um efeito de um 3D "fora da cabeça ".Especificamente, isto é conhecido para gravar e reproduzir sinais de áudiobinaural que contém informação direcional específica a qual o ouvido humanoé sensitivo. Gravações binaurais são tipicamente feitas usando doismicrofones montados em uma cabeça humana de molde, tal que o somgravado corresponde ao som capturado pelo ouvido humano e inclui qualquerinfluência devido a forma da cabeça e dos ouvidos. Gravações binauraisdiferem das gravações de estéreo (isto é, estéreo fônicas) no fato que areprodução de uma gravação binaural é, de forma geral, pretendida para umconjunto de som de cabeça ou fones de ouvido, ao passo que uma gravação deestéreo é, de forma geral, feita para reprodução através de alto-falantes.Enquanto uma gravação binaural permite uma reprodução de toda informaçãoespacial usando somente dois canais, uma gravação de estéreo não forneceriaa mesma percepção espacial. Gravações de canal dual regular (estereofônico)ou de múltiplos canais (e.g. 5.1) podem ser transformadas em gravaçõesbinaurais fazendo a convolução de cada sinal regular com um conjunto defunções de transferência perceptual. Tais funções de transferência perceptualmodelam a influência da cabeça humana, e possivelmente outros objetos, nosinal. Um bem conhecido tipo of função de transferência perceptual espacial éa assim chamada Head-Related Transferência Function (HRTF). Um tipoalternativo de função de transferência perceptual espacial, que também levaem consideração reflexões causadas pelas paredes, tetos e chão de uma sala, éa Binaural Room Impulse Response (BRIR).
Tipicamente, algoritmos de posicionamento em um 3Dempregam HRTFs, que descrevem a transferência de uma certa posição defonte de som para os tímpanos dos ouvidos por meio de uma resposta deimpulso. Posicionamento de fonte de som em um 3D pode ser aplicado aossinais de múltiplos canais por meio de HRTFs e por meio disso, permitindo aum sinal binaural fornecer informação de som espacial para um usuário porexemplo usando um par de fones de ouvido.
É conhecido que a percepção de elevação épredominantemente facilitada pelos picos e depressões específicos noespectro chegando em ambos os ouvidos. Por outro lado, o azimute(percebido) de uma fonte de som é capturado nos indícios "binaurais", talcomo diferenças de nível e diferenças de tempo de chegada entre os sinais nostímpanos do ouvido. A percepção de distância é principalmente facilitada pelonível de sinal global e, no caso de ambientes de reverberação, através daproporção de energia direta e de reverberação. Na maioria dos casos éassumido que especialmente na última parte de reverberação, não há nenhumindício de localização da fonte de som confiável.
Os indícios de percepção para elevação, azimute e distânciapodem ser capturados por meio de (pares de) resposta de impulso; umaresposta de impulso para descrever a transferência de uma posição de fonte desom específica para o ouvido esquerdo; e uma para o ouvido direito. Então, osindícios de percepção para elevação, azimute e distância são determinadosatravés das propriedades correspondentes das (par de) respostas de impulso daHRTF. Na maioria dos casos, um par de HRTF é medida para um grandeconjunto de posições de fonte de som; tipicamente com uma resoluçãoespacial de cerca de 5 graus em ambas, elevação e azimute.
Síntese de um 3D binaural convencional compreende filtragem(convolução) de um sinal de entrada com um par de HRTF para a posição defonte de som desejada. Contudo, já que HRTFs são tipicamente medidas emcondições sem eco, a percepção da "distância "ou da localização "fora dacabeça "é freqüentemente perdida. Embora convolução de um sinal comHRTFs sem eco não é suficiente para síntese de som em um 3D, o uso deHRTFs sem eco é freqüentemente preferível de um ponto de vista decomplexidade e de flexibilidade. O efeito de um ambiente com eco (requeridopara criação da percepção de distância) pode ser adicionado a um estágioposterior, deixando alguma flexibilidade para o usuário final para modificaras propriedades acústicas da sala. Mais ainda, já que a reverberação tardia éfreqüentemente assumida ser em todas as direções (sem indícios da direção),este método de processamento é freqüentemente mais eficiente do que fazer aconvolução de cada fonte de som com um par de HRTF com eco. Ainda mais,além dos argumentos de complexidade e flexibilidade para acústicas da sala,da mesma forma o uso de HRTFs sem eco tem vantagens para síntese do sinal"seco "(pista direcional).
Pesquisa recente no campo de posicionamento em um 3D temmostrado que a resolução de resolução de freqüência que é reapresentadaatravés da resposta de impulsos da HRTF sem eco é em muitos casos maiordo que necessário. De forma específica, parece que para ambos espectro defase e magnitude, uma resolução de freqüência não linear como propostoatravés da escala de ERB é suficiente para sintetizar as fontes de som em umcom uma precisão que não é diferente perceptivamente do processamentocom HRTFs totalmente sem eco. Em outras palavras, espectro de HRTF semeco não requerer uma resolução espectral que seja maior do que a resoluçãode freqüência do sistema auditivo humano.
Um algoritmo de síntese binaural convencional é delineado naFig. 1. Um conjunto de canais de entrada é filtrado através de um conjunto deHRTFs. Cada sinal de entrada é separado em dois sinais (um componente Left"L", e um Right "R "); cada um desses sinais é filtrado de forma subseqüenteatravés de uma HRTF correspondendo à posição de fonte de som desejada.
Todos os sinais do ouvido esquerdo são somados de forma subseqüente paragerar o sinal de saída binaural esquerdo, e os sinais do ouvido direito sãosomados para gerar o sinal de saída binaural direito.
A convolução da HRTF pode ser efetuada no domínio dotempo, mas é freqüentemente preferido efetuar a filtragem como um produtono domínio da freqüência. Neste caso, a soma também pode ser efetuada nodomínio da freqüência.
Sistemas de decodificador são conhecidos que podem receberum sinal codificado de som ambiente e gerar uma experiência de somambiente a partir de um sinal binaural. Por exemplo, sistemas de fone deouvido permitindo um sinal de som ambiente a ser convertido para um sinalde som ambiente binaural para fornecer uma experiência de som ambientepara o usuário dos fones de ouvido, são conhecidos.
Fig. 2 ilustra um sistema onde um decodificador de ambiente de MPEG recebe a sinal estéreo com dados paramétricos espaciais. O fluxo debits de entrada é demultiplexado resultando em O último fluxo de bit édecodificado usando um decodificador de estéreo ou mono convencional. Ocom mistura feita para baixo decodificado é decodificado através de umdecodificador espacial que gera uma saída de múltiplos canais, com base nosparâmetros espaciais transmitidos. Finalmente, a saída de múltiplos canais éentão processada através de um estágio de síntese binaural (similar àquele daFig. 1) resultando in um sinal de saída binaural fornecendo Usuário Aexperiência de som ambiente para o usuário.
Contudo, tal uma abordagem tem um número de desvantagensassociadas.
Por exemplo, a cascata do decodificador de som ambiente e asíntese binaural incluem a computação de uma representação de sinal demúltiplos canais como um passo intermediário, seguido pela convolução daHRTF e mistura para baixo no passo de síntese binaural. Isto pode resultar emuma complexidade aumentada e desempenho reduzido.
Também, o sistema é muito complexo. Por exemplodecodificadores espaciais tipicamente operam em um domínio de sub-banda(QMF). Convolução de HRTF por outro lado pode tipicamente serimplementada mais eficientemente no domínio de FFT. Por conseguinte, umacascata de bancos de filtro de síntese de QMF de múltiplos canais, umatransformada FFT de múltiplos canais, e uma transformada FFT inversa demúltiplos canais é necessário, resultando em um sistema com demandas dealta computação.
A qualidade da experiência de usuário fornecida pode serreduzida. Por exemplo, artefatos de codificação criados através dodecodificador espacial para criar uma reconstrução de múltiplos canais aindaserão audíveis na saída binaural (estéreo).
Ainda mais, a abordagem requer decodificadores dedicados eprocessamento de sinal complexo a ser efetuado pelos dispositivos de usuárioindividuais. Isto pode entravar a aplicação em muitas situações. Por exemplo,dispositivos legados que são somente capazes de decodificar o estéreo commistura feita para baixo, não serão capazes de fornecer uma experiência aousuário de som ambiente.
Então, uma codificação / decodificação de áudio melhoradaseria vantajosa.
Conseqüentemente, a Invenção procura preferencialmentediminuir, aliviar ou atenuar ou eliminar uma ou mais das desvantagensmencionadas isoladamente ou em combinação, combinação.
De acordo com um primeiro aspecto da invenção é fornecidoum codificador de áudio compreendendo: meios para receber um sinal deáudio de M canais onde M > 2; meios de mistura para baixo para mixar parabaixo o sinal de áudio de M canais para um primeiro sinal estéreo e dadosparamétricos associados; gerar meios para modificar o primeiro sinal estéreopara gerar um segundo sinal estéreo em resposta aos dados paramétricosassociados e dados de parâmetro espacial para uma função de transferênciaperceptual binaural, o segundo sinal estéreo sendo um sinal binaural; meiospara codificar o segundo sinal estéreo para gerar dados codificados; e meiosde saída para gerar um fluxo de dados de saída compreendendo os dadoscodificados e os dados paramétricos associados.
A invenção pode permitir codificação de áudio melhorada. Emparticular, a invenção pode permitir uma codificação de estéreo efetiva desinais de múltiplos canais enquanto permitindo decodificadores de estéreolegados para fornecer uma experiência espacial melhorada. Ainda mais, ainvenção permite um processo de síntese espacial virtual binaural a serrevertido no decodificador e por meio disso, permitindo decodificação demúltiplos canais de alta qualidade. A invenção pode permitir um codificadorde complexidade baixa e pode em particular permitir uma geração decomplexidade baixa de um sinal binaural. A invenção pode permitirimplementação facilitada e re-uso de funcionalidade.
A invenção pode em particular fornece um paramétrico combase na determinação de um sinal binaural espacial virtual a partir de um sinalde múltiplos canais.
O sinal binaural pode especificamente ser um sinal binauralespacial virtual tal como um sinal estéreo binaural de um 3D virtual. O sinalde áudio de M canais pode ser um sinal ambiente tal como um sinal ambientede 5.1. ou 7.1. O sinal binaural espacial virtual pode emular uma posição defonte de som para cada canal do sinal de áudio de M canais. Os dados deparâmetro espacial podem compreender dados indicativos de uma função detransferência a partir de uma posição de fonte de som pretendida para otímpano do ouvido de um usuário pretendido.
A função de transferência perceptual binaural pode porexemplo ser uma Head Related Transfer Function (HRTF) ou uma BinauralRoom Impulso Response (BPIR).
De acordo com uma característica opcional da invenção, osmeios de geração são arrumados para gerar o segundo sinal estéreocalculando valores de dados de sub-banda para o segundo sinal estéreo, emresposta aos dados paramétricos associados, os dados de parâmetro espacial evalores de dados de sub-banda para o primeiro sinal estéreo.
Isto pode permitir codificação melhorada e / ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou uma carga de computação reduzida. Osintervalos de sub-banda de freqüência do primeiro sinal estéreo, o segundosinal estéreo, os dados paramétricos associados e os dados de parâmetroespacial podem ser diferentes ou alguma ou todas as sub-bandas podem sersubstancialmente idênticas para alguns ou todos essas.
De acordo com uma característica opcional da invenção, osmeios de geração são arrumados para gerar valores de sub-banda para umaprimeira sub-banda do segundo sinal estéreo em resposta à multiplicação decorrespondentes valores estéreo da sub-banda para o primeiro sinal estéreopor uma primeira matriz de sub-banda; os meios de geração aindacompreendendo meios de parâmetros para determinar valores de dados daprimeira matriz de sub-banda em resposta aos dados paramétricos associadose dados de parâmetro espacial para a primeira sub-banda.
Isto pode permitir codificação melhorada e / ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou volume de computação reduzido. A invençãopode em particular fornecer um paramétrico com base na determinação de umsinal binaural espacial virtual a partir de um sinal de múltiplos canaisefetuando operações de matriz nas sub-bandas individuais. A primeira matrizde valores de sub-banda pode refletir o efeito combinado de uma estrutura emcascata de uma decodificação de múltiplos canais e filtragem de HRTF/BRIRdos múltiplos canais resultantes. A multiplicação de matrizes de sub-bandapode ser efetuado para todas as sub-bandas do segundo sinal estéreo.De acordo com uma característica opcional da invenção, osmeios de geração ainda compreendem meios para converter um valor dedados de, pelo menos, um do primeiro sinal estéreo, dos dados paramétricosassociados e dos dados de parâmetro espacial, associados com a sub-bandatendo um intervalo de freqüência diferente do primeiro intervalo de sub-bandapara um correspondente valor de dados para a primeira sub-banda.
Isto pode permitir codificação melhorada e/ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou um volume de computação reduzido. De formaespecífica, a invenção pode permitir os diferentes processos e algoritmos aserem com base nas divisões de sub-banda, mais adequada para o processoindividual.
De acordo com uma característica opcional da invenção, osmeios de geração são arrumados para determinar os valores estéreos de sub-banda Lb, Rb para a primeira sub-banda do segundo sinal estéreosubstancialmente como:
<formula>formula see original document page 12</formula>
onde L0, Ro são correspondentes valores de sub-banda do primeiro sinalestéreo e os meios de parâmetros são arrumados para determinar os valores dedados da multiplicação de matriz substancialmente como:h11= mn Hl (L) + m2l Hl (R) + m3l Hl (C)h12 = m12 Hl (L) + m22 Hl (R) + m32 Hl (C)h21 = mu Hr (L) + m21 Hr (R) + m3, Hr (C)h22 = m12 Hr (L) + m22HR (R) + m32HR (C)onde IiikjI são parâmetros determinados em resposta aos dados paramétricosassociados para uma mistura para baixo através dos meios de mistura parabaixo dos canais L, R e C para o primeiro sinal estéreo; e Hj(X) édeterminado em resposta aos dados de parâmetro espacial para canal X paracanal de saída estéreo J do segundo sinal estéreo.Isto pode permitir codificação melhorada e / ouimplementação facilitada.De forma específica, a característica pode fornecercomplexidade reduzida e / ou um volume de computação reduzida.
De acordo com uma característica opcional da invenção, pelomenos, um dos canais LeR correspondem a uma mistura para fora de, pelomenos, dois canais com mistura feita para baixo e os meios de parâmetros sãoarrumados para determinar Hj(X) em resposta a uma combinação ponderadados dados de parâmetro espacial para o, pelo menos, dois canais com misturafeita para baixo.
Isto pode permitir codificação melhorada e / ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou um volume de computação reduzido.
De acordo com uma característica opcional da invenção, osmeios de parâmetros são arrumados para determinar uma ponderação dosdados de parâmetro espacial para os, pelo menos, dois canais com misturafeita para baixo em resposta a uma medida de energia relativa para os, pelomenos, dois canais com mistura feita para baixo.
Isto pode permitir codificação melhorada e / ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou um volume de computação reduzida.
De acordo com uma característica opcional da invenção, osdados de parâmetro espacial incluem, pelo menos, um parâmetro selecionadodo grupo consistindo de: um nível médio por parâmetro de sub-banda; umparâmetro de tempo de chegada médio; uma fase de, pelo menos, um canalestéreo; um parâmetro de sincronismo; um parâmetro de retardo de grupo;uma fase entre canais estéreos; e um parâmetro de correlação de canalcruzado.
Esses parâmetros podem de forma particular fornecercodificação vantajosa e em particular podem ser especificamente adequadospara processamento de sub-banda.
De acordo com uma característica opcional da invenção, osmeios de saída são arrumados para incluir dados de posição de fonte de somno fluxo de saída.
Isto pode permitir a um decodificador determinar dados deparâmetro espacial adequados e / ou pode fornecer uma maneira eficiente deindicar os dados de parâmetro espacial com baixa sobrecarga. Isto podefornecer uma maneira eficiente de reverter o processo de síntese espacialvirtual binaural no decodificador e por meio disso, permitir decodificação demúltiplos canais de alta qualidade. A característica pode ainda mais permitiruma melhorada experiência de usuário e pode permitir ou facilitarimplementação de um sinal binaural espacial virtual com fontes de som emmovimento. A característica pode alternativamente ou adicionalmentepermitir uma customização de uma síntese espacial em um decodificador porexemplo através de primeiro reverter a síntese efetuada no codificadorseguido por uma síntese usando uma função de transferência perceptualbinaural customizada ou individualizada.
De acordo com uma característica opcional da invenção, osmeios de saída são arrumados para incluir, pelo menos, algum dos dados deparâmetro espacial no fluxo de saída.
Isto pode fornecer uma maneira eficiente de reverter oprocesso de síntese espacial virtual binaural no decodificador e por meiodisso, permitir a decodificação de múltiplos canais de alta qualidade. Acaracterística pode ainda mais permitir uma experiência de usuário melhoradae pode permitir ou facilitar a implementação de um sinal binaural espacialvirtual com fontes de som em movimento. Os dados de parâmetro espacialpodem ser diretamente ou indiretamente incluídos no fluxo de saída e.g.incluindo informação que permite a um decodificador determinar os dados deparâmetro espacial. A característica pode alternativamente ou adicionalmentepermitir uma customização de uma síntese espacial em um decodificador porexemplo através de primeiro revertendo a síntese efetuada no codificadorseguido por uma síntese usando uma função de transferência perceptualbinaural customizada ou individualizada.
De acordo com uma característica opcional da invenção, ocodificador ainda compreende meios para determinar os dados de parâmetroespacial em resposta às posições de sinal de som desejadas.
Isto pode permitir codificação melhorada e / ouimplementação facilitada. As posições de sinal de som desejadas podemcorresponder as posições das fontes de som para os canais individuais do sinalde M canais.
De acordo com um outro aspecto da invenção é fornecido umdecodificador de áudio compreendendo: meios para receber dados de entradacompreendendo um primeiro sinal estéreo e os dados paramétricos associadoscom um sinal estéreo com mistura feita para baixo de um sinal de áudio de Mcanais onde M > 2, o primeiro sinal estéreo sendo um sinal binauralcorrespondendo ao sinal de áudio de M canais; e meios de geração paramodificar o primeiro sinal estéreo para gerar o sinal estéreo com mistura feitapara baixo, em resposta aos dados paramétricos e os primeiros dados deparâmetro espacial para uma função de transferência perceptual binaural, osprimeiros dados de parâmetro espacial sendo associados com o primeiro sinalestéreo.
A invenção pode permitir decodificação de áudio melhorada.Em particular, a invenção pode permitir uma decodificação de estéreo de altaqualidade, e pode especificamente permitir um processo de processo desíntese espacial virtual binaural de codificador a ser revertido nodecodificador. A invenção pode permitir um decodificador de complexidadebaixa. A invenção pode permitir implementação facilitada e re-uso defuncionalidade.O sinal binaural pode especificamente ser sinal binauralespacial virtual tal como um sinal estéreo binaural de um 3D virtual. Os dadosde parâmetro espacial podem compreender dados indicativos de uma funçãode transferência a partir de uma posição de fonte de som par ao ouvido de umusuário pretendido. A função de transferência perceptual binaural pode porexemplo ser uma Head Related Transfer Function (HRTF) ou a BinauralRoom Impulse Response (BPIR).
De acordo com uma característica opcional da invenção, odecodificador de áudio ainda compreende meios para gerar o sinal de áudio deM canais em resposta ao sinal estéreo com mistura feita para baixo e aosdados paramétricos.
A invenção pode permitir decodificação de áudio melhorada.Em particular, a invenção pode permitir uma decodificação de múltiploscanais de alta qualidade e pode especificamente permitir um processo desíntese espacial virtual binaural de codificador a ser revertido nodecodificador. A invenção pode permitir um decodificador de complexidadebaixa. A invenção pode permitir implementação facilitada e re-uso defuncionalidade.
O sinal de áudio de M canais pode ser a sinal ambiente talcomo um sinal ambiente de 5.1. ou 7.1. O sinal binaural pode ser um sinalespacial virtual que emula uma posição de fonte de som para cada canal dosinal de áudio de M canais.
De acordo com uma característica opcional da invenção, osmeios de geração são arrumados para gerar o sinal estéreo com mistura feitapara baixo calculando os valores de dados de sub-banda para o sinal estéreocom mistura feita para baixo, em resposta aos dados paramétricos associados,aos dados de parâmetro espacial e aos valores de dados de sub-banda para oprimeiro sinal estéreo.
Isto pode permitir decodificação melhorada e / ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou um volume de computação reduzida. Osintervalos de sub-banda de freqüência do primeiro sinal estéreo, o sinalestéreo, com mistura feita para baixo, os dados paramétricos associados e osdados de parâmetro espacial podem ser diferentes, ou algumas ou todas assub-bandas podem ser substancialmente idênticas para algumas ou todasessas.
De acordo com uma característica opcional da invenção, osmeios de geração são arrumados para gerar valores de sub-banda para umaprimeira sub-banda do sinal estéreo com mistura feita para baixo em respostaa uma multiplicação de correspondentes valores de sub-banda estéreo para oprimeiro sinal estéreo por uma primeira matriz de sub-banda;
- os meios de geração ainda compreendendo meios deparâmetros para determinar valores de dados of a primeira matriz de sub-banda em resposta aos dados paramétricos e aos dados de parâmetro espacialpara a primeira sub-banda.
Isto pode permitir decodificação melhorada e / ouimplementação facilitada. De forma específica, a característica pode fornecercomplexidade reduzida e / ou um volume de computação reduzido. Os valoresda primeira matriz de sub-banda podem refletir o efeito combinado de umaestrutura em cascata de uma decodificação de múltiplos canais e filtragem deHRTF / BRIR dos múltiplos canais resultantes. A multiplicação de matriz desub-banda pode ser efetuada para todas as sub-bandas do sinal estéreo commistura feita para baixo.
De acordo com uma característica opcional da invenção, osdados de entrada compreendem, pelo menos, alguns dados de parâmetroespacial.
Isto pode fornecer uma maneira eficiente de reverter umprocesso de síntese espacial virtual binaural efetuado em um codificador e pormeio disso, permitir decodificação de múltiplos canais de alta qualidade. Acaracterística pode ainda mais permitir uma experiência de usuário melhoradae pode permitir ou facilitar implementação de um sinal binaural espacialvirtual com fontes de som em movimento. Os dados de parâmetro espacialpodem ser diretamente ou indiretamente incluídos nos dados de entrada e.g.pode ser qualquer informação que permita ao decodificador determinar osdados de parâmetro espacial.
De acordo com uma característica opcional da invenção, osdados de entrada compreendem dados de posição de fonte de som e odecodificador compreende meios para determinar os dados de parâmetroespacial em resposta aos dados de posição de fonte de som.
Isto pode permitir codificação melhorada e / ouimplementação facilitada. As posições de sinal de som desejadas podemcorresponder as posições das fontes de som para os canais individuais do sinalde M canais.
O decodificador pode por exemplo compreender umarmazenamento de dados compreendendo dados de parâmetro espacial deHRTF associados com diferentes posições de fonte de som e pode determinaros dados de parâmetro espacial para usar recuperando os dados de parâmetropara as posições indicadas.
De acordo com uma característica opcional da invenção, odecodificador de áudio ainda compreende uma unidade de decodificadorespacial para produzir um par de canais de saída binaural modificando oprimeiro sinal estéreo em resposta aos dados paramétricos associados e ossegundos dados de parâmetro espacial para uma segunda função detransferência perceptual binaural, os segundos dados de parâmetro espacialsendo diferentes do que os primeiros dados de parâmetro espacial.
A característica pode permitir uma síntese espacial melhoradae pode em particular permitir um sinal binaural sintetizado espacialcustomizado ou individual que é particularmente adaptada para o usuárioespecífico. Isto pode ser alcançado enquanto ainda permitindo àdecodificadores de estéreo legados gerar sinais binaurais espaciais semrequerer síntese espacial no decodificador. Por isso, um sistema de áudiomelhorado pode ser alcançado. A segunda função de transferência perceptualbinaural pode especificamente ser diferente do que a função de transferênciaperceptual binaural dos primeiros dados espaciais. A segunda função detransferência perceptual binaural e os segundos dados espaciais podemespecificamente ser customizados para o usuário individual do decodificador.
De acordo com uma característica opcional da invenção, odecodificador espacial compreende: uma unidade de conversão de parâmetropara converter os dados paramétricos em parâmetros de síntese binauralusando os segundos dados de parâmetro espacial, e uma unidade de sínteseespacial para sintetizar o par de canais binaurais usando os parâmetros desíntese binaural e o primeiro sinal estéreo.
Isto pode permitir desempenho melhorado e / ouimplementação facilitada e / ou complexidade reduzida. Os parâmetrosbinaurais podem ser parâmetros que podem ser multiplicados com amostrasde sub-banda do primeiro sinal estéreo e / ou o sinal estéreo com mistura feitapara baixo para gerar amostras de sub-banda para os canais binaurais. Amultiplicação pode por exemplo ser uma multiplicação de matrizes.
De acordo com uma característica opcional da invenção, osparâmetros de síntese binaural compreendem coeficientes de matriz para umamatriz 2 por 2 relacionando amostras de estéreo do sinal estéreo com misturafeita para baixo para amostras de estéreo do par de canais de saída binaural.
Isto pode permitir desempenho melhorado e / ouimplementação facilitada e / ou complexidade reduzida. As amostras deestéreo podem ser amostras de sub-banda de estéreo de e.g. sub-bandas defreqüência de transformada de Fourier ou QMF.De acordo com uma característica opcional da invenção, osparâmetros de síntese binaural compreendem coeficientes de matriz para umamatriz 2 por 2 relacionando amostras de sub-banda de estéreo do primeirosinal estéreo para amostras de estéreo do par de canais de saída binaural.
Isto pode permitir desempenho melhorado e / ouimplementação facilitada e / ou complexidade reduzida. As amostras deestéreo podem ser amostras de sub-banda de estéreo de e.g. sub-bandas defreqüência de transformada de Fourier ou QMF.
De acordo com um outro aspecto da invenção é fornecido ummétodo de codificação de áudio, o método compreendendo: receber um sinalde áudio de M canais onde M > 2; fazer mistura para baixo do sinal de áudiode M canais para um primeiro sinal estéreo e dados paramétricos associados;modificar o primeiro sinal estéreo para gerar um segundo sinal estéreo emresposta aos dados paramétricos associados e dados de parâmetro espacialpara uma função de transferência perceptual binaural, o segundo sinal estéreosendo um sinal binaural; codificar o segundo sinal estéreo para gerar dadoscodificados; e gerar um fluxo de dados de saída compreendendo os dadoscodificados e os dados paramétricos associados.
De acordo com um outro aspecto da invenção é fornecido ummétodo de decodificação de áudio, o método compreendendo:
- receber dados de entrada compreendendo um primeiro sinalestéreo e os dados paramétricos associados com um sinal estéreo com misturafeita para baixo de um sinal de áudio de M canais onde M > 2, o primeirosinal estéreo sendo um sinal binaural correspondendo ao sinal de áudio de Mcanais; e
- modificar o primeiro sinal estéreo para gerar o sinal estéreo,com mistura feita para baixo em resposta aos dados paramétricos e aos dadosde parâmetro espacial para a função de transferência perceptual binaural, osdados de parâmetro espacial sendo associados com o primeiro sinal estéreo.De acordo com um outro aspecto da invenção é fornecido areceptor para receber um sinal de áudio compreendendo: meios para receberdados de entrada compreendendo um primeiro sinal estéreo e os dadosparamétricos associados com um sinal estéreo com mistura feita para baixo deum sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo umsinal binaural correspondendo ao sinal de áudio de M canais; e gerar meiospara modificar o primeiro sinal estéreo para gerar o sinal estéreo com misturafeita para baixo, em resposta aos os dados paramétricos e aos dados deparâmetro espacial para a função de transferência perceptual binaural, osdados de parâmetro espacial sendo associados com o primeiro sinal estéreo.
De acordo com um outro aspecto da invenção é fornecido atransmissor para transmitir um fluxo de dados de saída; o transmissorcompreendendo: meios para receber um sinal de áudio de M canais onde M >2; meios de mistura para baixo para fazer mistura para baixo do sinal de áudiode M canais para um primeiro sinal estéreo e dados paramétricos associados;gerar meios para modificar o primeiro sinal estéreo para gerar um segundosinal estéreo em resposta aos dados paramétricos associados e dados deparâmetro espacial para uma função de transferência perceptual binaural, osegundo sinal estéreo sendo um sinal binaural; meios para codificar o segundosinal estéreo para gerar dados codificados; meios de saída para gerar um fluxode dados de saída compreendendo os dados codificados e os dadosparamétricos associados; e meios para transmitir o fluxo de dados de saída.
De acordo com um outro aspecto da invenção é fornecido umsistema de transmissão para transmitir um sinal de áudio, o sistema detransmissão compreendendo: um transmissor compreendendo: meios parareceber um sinal de áudio de M canais onde M > 2, meios de mistura parabaixo para fazer mistura para baixo do sinal de áudio de M canais para umprimeiro sinal estéreo e dados paramétricos associados, gerar meios paramodificar o primeiro sinal estéreo para gerar um segundo sinal estéreo emresposta aos dados paramétricos associados e aos dados de parâmetro espacialpara uma função de transferência perceptual binaural, o segundo sinal estéreosendo um sinal binaural, meios para codificar o segundo sinal estéreo paragerar dados codificados, meios de saída para gerar um fluxo de dados de saídade áudio compreendendo os dados codificados e os dados paramétricosassociados, e meios para transmitir o fluxo de dados de saída de áudio; e areceptor compreendendo: meios para receber o fluxo de dados de saída deáudio; e meios para modificar o segundo sinal estéreo para gerar o primeirosinal estéreo em resposta aos dados paramétricos e aos dados de parâmetro espacial.
De acordo com um outro aspecto da invenção é fornecido ummétodo para receber um sinal de áudio, o método compreendendo: receberdados de entrada compreendendo um primeiro sinal estéreo e os dadosparamétricos associados com um sinal estéreo com mistura feita para baixo deum sinal de áudio de M canais onde M > 2, o primeiro sinal estéreo sendo umsinal binaural correspondendo ao sinal de áudio de M canais; e modificar oprimeiro sinal estéreo para gerar o sinal estéreo com mistura feita para baixo,em resposta aos dados paramétricos e aos dados de parâmetro espacial parauma função de transferência perceptual binaural, os dados de parâmetroespacial sendo associados com o primeiro sinal estéreo.
De acordo com um outro aspecto da invenção é fornecido amétodo para transmitir um fluxo de dados de saída de áudio, o métodocompreendendo: receber um sinal de áudio de M canais onde M > 2; fazermistura para baixo do sinal de áudio de M canais para um primeiro sinalestéreo e dados paramétricos associados; modificar o primeiro sinal estéreopara gerar um segundo sinal estéreo em resposta aos dados paramétricosassociados e aos dados de parâmetro espacial para uma função detransferência perceptual binaural, o segundo sinal estéreo sendo um sinalbinaural; codificar o segundo sinal estéreo para gerar dados codificados; egerar um fluxo de dados de saída de áudio compreendendo os dadoscodificados e os dados paramétricos associados; e transmitir o fluxo de dadosde saída de áudio.
De acordo com um outro aspecto da invenção é fornecido amétodo para transmitir e receber um sinal de áudio, o método compreendendoreceber um sinal de áudio de M canais onde M > 2; fazer mistura para baixodo sinal de áudio de M canais para um primeiro sinal estéreo e dadosparamétricos associados; modificar o primeiro sinal estéreo para gerar umsegundo sinal estéreo em resposta aos dados paramétricos associados e aosdados de parâmetro espacial para uma função de transferência perceptualbinaural, o segundo sinal estéreo sendo um sinal binaural; codificar o segundosinal estéreo para gerar dados codificados; e gerar um fluxo de dados de saídade áudio compreendendo os dados codificados e os dados paramétricosassociados; transmitir o fluxo de dados de saída de áudio; receber o fluxo dedados de saída de áudio; e modificar o segundo sinal estéreo para gerar oprimeiro sinal estéreo em resposta aos dados paramétricos e aos dados deparâmetro espacial.
De acordo com um outro aspecto da invenção é fornecido umproduto de programa de computador para executar qualquer dos métodosdescritos acima.
De acordo com um outro aspecto da invenção é fornecido umdispositivo de gravação de áudio compreendendo um codificador de acordocom o codificador descrito acima.
De acordo com um outro aspecto da invenção é fornecido umdispositivo de execução de áudio compreendendo um decodificador de acordocom o decodificador descrito acima.
De acordo com um outro aspecto da invenção é fornecida umfluxo de dados de áudio para um sinal de áudio compreendendo um primeirosinal estéreo; e dados paramétricos associados com um sinal estéreo commistura feita para baixo de um sinal de áudio de M canais onde M > 2; onde oprimeiro sinal estéreo é um sinal binaural correspondendo ao sinal de áudio deM canais.
De acordo com um outro aspecto da invenção é fornecido ameio de armazenamento tendo armazenado nele um sinal como descritoacima.
Esses e outros aspectos, características e vantagens dainvenção serão aparentes e elucidados com referência as modalidade(s)descritas daqui em diante.
Modalidades da invenção serão descritas, por meio de exemplosomente, com referência aos desenhos, nos quais
Fig. 1 é uma ilustração de uma síntese binaural de acordo coma arte anterior;
Fig. 2 é uma ilustração de uma cascata de um decodificador demúltiplos canais e uma síntese binaural;
Fig. 3 ilustra um sistema de transmissão para comunicação deum sinal de áudio de acordo com algumas modalidades da invenção;
Fig. 4 ilustra um codificador de acordo com algumasmodalidades da invenção;
Fig. 5 ilustra um codificador paramétrico de mistura parabaixo de som ambiente;
Fig. 6 ilustra um exemplo de uma posição de fonte de somrelativa a um usuário;
Fig. 7 ilustra um decodificador de múltiplos canais de acordocom algumas modalidades da invenção;
Fig. 8 ilustra a decodificador de acordo com algumasmodalidades da invenção;
Fig. 9 ilustra um decodificador de acordo com algumasmodalidades da invenção;Fig. 10 ilustra um método de codificação de áudio de acordocom algumas modalidades da invenção; e
Fig. 11 ilustra um método de decodificação de áudio de acordocom algumas modalidades da invenção.
Fig. 3 ilustra um sistema de transmissão 300 para comunicaçãode um sinal de áudio de acordo com algumas modalidades da invenção. Osistema de transmissão 300 compreende um transmissor 301 que é acoplado aum receptor 303 através de uma rede 305 que especificamente pode ser aInternet.
No exemplo específico, o transmissor 301 é um dispositivo degravação de sinal e o receptor é a dispositivo de execução de sinal 303 masserá apreciado que em outras modalidades um transmissor e receptor pode serusado em outras aplicações e para outros propósitos. Por exemplo, otransmissor 301 e / ou o receptor 303 pode ser parte de uma funcionalidade detrans-codificação e pode e.g. fornecer interface para outras fontes de sinal oudestinações.
No exemplo específico onde uma função de gravação de sinalé suportada, o transmissor 301 compreende um digitalizador 307 que recebeum sinal analógico que é convertido para um sinal digital PCM através deamostragem e conversão analógica para digital. O digitalizador 307 amostrauma grande quantidade de sinais e por meio disso, gera um sinal de múltiploscanais.
O transmissor 301 é acoplado ao codificador 309 da Fig. 1 quecodifica o sinal de múltiplos canais de acordo com um algoritmo decodificação. O codificador 300 é acoplado a um transmissor de rede 311 querecebe o sinal codificado e faz interface com a Internet 305. O transmissor derede pode transmitir o sinal codificado para o receptor 303 através da Internet305.
O receptor 303 compreende um receptor de rede 313 que fazinterface com a Internet 305 e que são arrumados para receber o sinalcodificado do transmissor 301.
O receptor de rede 311 é acoplado a um decodificador 315. Odecodificador 315 recebe o sinal codificado e o decodifica de acordo com umalgoritmo de codificação.
No exemplo específico onde uma função de execução de áudioé suportada, o receptor 303 ainda compreende um executor de sinal 317 querecebe o sinal de áudio decodificado do decodificador 315 e o apresenta parao usuário. De forma específica, o executor de sinal 313 pode compreende umconversor de digital para analógico, amplificadores e alto-falantes comorequerido para emitir o sinal de áudio decodificado.
No exemplo específico, o codificador 309 recebe um sinal desom ambiente de cinco canais e faz a mistura para baixo deste para um sinalestéreo. O sinal estéreo é então pós-processado para gerar um sinal binauralque especificamente é um sinal binaural espacial virtual na forma de misturapara baixo de um 3D. Usando um estágio de pós-processamento de um 3Dtrabalhando na mistura para baixo após a codificação espacial, oprocessamento de um 3D pode ser invertido no decodificador 315. Como umresultado, um decodificador de múltiplos canais para execução em alto-falantenão vai mostrar nenhuma degradação significativa na qualidade devido amistura para baixo de estéreo modificado, enquanto ao mesmo tempo, mesmodecodificadores de estéreo convencionais irá produzir um sinal compatívelcom um 3D. Assim sendo, o codificador 309 pode gerar um sinal que permitea decodificação de múltiplos canais de alta qualidade e ao mesmo tempopermite uma experiência pseudo-espacial a partir de uma saída de estéreotradicional tal como e.g. a partir de um decodificador tradicional alimentandoum par de fones de ouvido.
Fig. 4 ilustra o codificador 309 em mais detalhe.
O codificador 309 compreende um receptor de múltiploscanais 401 que recebe um sinal de áudio de múltiplos canais. Embora osprincípios descritos se aplicarão a um sinal de múltiplos canaiscompreendendo qualquer número de canais acima de dois, o exemploespecífico vai focar em um sinal de cinco canais correspondendo a um sinalde som ambiente padrão (para clareza e brevidade o canal de freqüência maisbaixa usado para sinais de ambiente será ignorado. Contudo será claro para apessoa com qualificação na arte que o sinal de múltiplos canais pode ter umcanal de freqüência baixa adicional. Este canal pode por exemplo sercombinado com o canal Central através de um processador de mistura parabaixo).
O receptor de múltiplos canais 401 é acoplado a umprocessador de mistura para baixo 403 que são arrumados para fazer a misturapara baixo do sinal de cinco canais de áudio para um primeiro sinal estéreo.Em adição, o processador de mistura para baixo 403 gera dados paramétricos405 associados com o primeiro sinal estéreo e contendo pistas e informaçõesde áudio relacionando o primeiro sinal estéreo aos canais originais do sinal demúltiplos canais.
O processador de mistura para baixo 403 pode por exemploimplementar um codificador de múltiplos canais ambiente de MPEG. Umexemplo de tal é ilustrado na Fig. 5. No exemplo, o sinal de entrada demúltiplo canal consiste dos canais Lf (Esquerdo front), Ls (Left surround), C(Center), Rf (Right front) e Rs (Right surround). Os canais Lf e Ls canais sãoalimentado a um primeiro fazedor de mistura para baixo TTO (Two To One)501 que gera uma mistura para baixo mono para um canal Left (L), assimcomo parâmetros relacionando os dois canais de entrada Lf e Ls para o canalde saída L. De forma similar, os canais Rf e Rs canais são alimentados aosegundo TTO fazedor de mistura para baixo de TTO 503 que gera umamistura para baixo mono para um canal Right (R) assim como parâmetrosrelacionando os dois canais de entrada Rf e Rs para o canal de saída R. Oscanais da R, L e C canais são então alimentados para um fazedor de misturapara abaixo de TTT (Three To Two) 505 que combina esses sinais para geraruma mistura para baixo de estéreo e parâmetros espaciais adicionais.
Os parâmetros resultando do fazedor de mistura para baixo deTTT 505 tipicamente consistem de um par de coeficientes de prognóstico paracada banda de parâmetro, ou um par de diferenças de nível para descrever asproporções de energia dos três sinais de entrada. Os parâmetros dos fazedoresde mistura para baixo de TTO 501, 503 tipicamente consistem de diferençasde níveis e valores de coerência ou relação cruzada entre os sinais de entradapara cada banda de freqüência.
O primeiro sinal estéreo gerado é assim sendo um sinal estéreoconvencional padrão compreendendo um número de canais com mistura feitapara baixo. Um decodificador de múltiplos canais pode recriar o sinal demúltiplos canais original fazendo mistura para baixo e aplicando os dadosparamétricos associados. Contudo, um decodificador estéreo padrãomeramente irá fornecer um sinal estéreo e por meio disso, perdendoinformação espacial e produzindo uma experiência reduzida para o usuário.
Contudo, no codificador 309, o sinal estéreo, com mistura feitapara baixo, não é codificado e transmitido. Mais propriamente, o primeirosinal estéreo é alimentado para um processador espacial 407 ao qual tambémé alimentado os dados de parâmetro associados 405 a partir do processador demistura para baixo 403. O processador espacial 407 é ainda mais acoplado aum processador de HRTF 409.
O processador de HRTF 409 gera dados de parâmetro deHead-Related Transfer Function (HRTF) usados pelo processador espacial407 para gerar sinal binaural de um 3D. De forma específica, uma HRTFdescreve a função de transferência a partir de uma dada posição de fonte desom para o tímpano do ouvidos por meio de uma resposta de impulso. Oprocessador de HRTF 409 especificamente gera dados de parâmetro de HRTFcorrespondendo a um valor de uma função de HRTF desejada em uma sub-banda de freqüência. O processador de HRTF 409 pode por exemplo calcularuma HRTF para a posição de fonte de som de um dos canais do sinal demúltiplos canais. Esta função de transferência pode ser convertida para umdomínio de sub-banda de freqüência adequada (tal como um domínio de sub-banda de FFT ou QMF) e o correspondente valo de parâmetro de HRTF emcada sub-banda pode ser determinado.
Será apreciado que embora a descrição foca sobre umaaplicação de Head-Related Transfer Functions, a abordagem e princípiosdescritos se aplicam igualmente bem para outras funções de transferênciaperceptual binaural (espacial), tal como uma função de Binaural RoomImpulse Response (BRIR). Um outro exemplo de uma função de transferênciaperceptual binaural é uma simples regra de identificação de amplitude quedescreve a quantidade relativa de nível de sinal de um canal de entrada paracada um dos canais de saída de estéreo binaural.
Em algumas modalidades, os parâmetros da HRTF podem sercalculados de forma dinâmica, ao passo que em outras modalidades elespodem ser pré-determinados e armazenados em um depósito de dadosadequado. Por exemplo, os parâmetros da HRTF podem ser armazenados emum banco de dados como uma função de azimute, elevação, distância e bandade freqüência. Os parâmetros apropriados da HRTF para uma dada sub-bandade freqüência pode então simplesmente ser recuperada selecionando osvalores para a posição de fonte de som espacial desejada.
O processador espacial 407 modifica o primeiro sinal estéreopara gerar um segundo sinal estéreo em resposta aos dados paramétricosassociados e aos dados de parâmetro da HRTF espaciais. Ao contrário doprimeiro sinal estéreo, o segundo sinal estéreo é um sinal binaural espacialvirtual e especificamente um sinal binaural de um 3D que quando apresentadoatravés de um sistema de estéreo convencional (e.g. através de um par defones de ouvido) pode fornecer uma experiência espacial melhoradaemulando a presença de mais do que duas fontes de som em posiçõesdiferentes de fonte de som.
O segundo sinal estéreo é alimentado para um processador decodificação 411 que é acoplado para o processador espacial 407 e quecodifica o segundo sinal em um fluxo de dados adequado para transmissão(e.g. aplicando níveis de quantização adequados etc). O processador decodificação 411 é acoplado a um processador de saída 413 que gera um fluxode saída combinando, pelo menos, os dados do segundo sinal estéreocodificado e os dados de parâmetro associados 405 gerado através doprocessador de mistura para baixo 403.
Tipicamente, síntese de HRTF requer formas de onda paratodas as fontes de som individuais (e.g. sinais de alto-falantes no contexto deum sinal de som ambiente). Contudo, no codificador 307, pares de HRTF sãoparametrizados para sub-bandas de freqüência e por meio disso, permitindoe.g. uma configuração de alto-falante virtual 5.1 a ser gerada por meio de pós-processamento de complexidade da mistura para baixo do sinal de entrada demúltiplos canais, a ajuda dos parâmetros espaciais que foram extraídosdurante o processo de codificação (e mistura para baixo).
O processador espacial pode especificamente operar em umdomínio de sub-banda tal como um domínio de sub-banda de FFT ou QMF ouFFT. Mais propriamente do que decodificar o primeiro sinal estéreo commistura feita para baixo para gerar o sinal de múltiplos canais original seguidopor uma síntese de HRTF usando filtragem de HRTF, o processador espacial407 gera valores de parâmetro para cada sub-banda correspondendo ao efeitocombinado de decodificar o primeiro sinal estéreo com mistura feita parabaixo para um sinal de múltiplos canais seguido por uma re-codificação dosinal de múltiplos canais como um sinal binaural de um 3D.
De forma específica, os inventores tem realizado que o sinalbinaural de um 3D pode ser gerado aplicando uma multiplicação de matriz2x2 para os valores de sinal de sub-banda sinal do primeiro sinal. Os valoresde sinal resultantes do segundo sinal correspondem estreitamente aos valoresdo sinal que seria gerado por uma decodificação de múltiplos canais emcascata e síntese de HRTF. Assim sendo, o processamento de sinalcombinado da codificação de múltiplos canais e síntese de HRTF, pode sercombinado em quatro valores de parâmetro (os coeficientes de matriz) quepodem simplesmente ser aplicados para os valores de sinal de sub-banda doprimeiro sinal para gerar os valores de sub-banda desejados do segundo sinal.
Já que os valores de parâmetro das matrizes refletem o processo combinadode decodificação do sinal de múltiplos canais e da síntese de HRTF, osvalores de parâmetro são determinados em resposta à ambos, os dadosparamétricos associados do processador de mistura para baixo 403 assimcomo os parâmetros de HRTF.
No codificador 309, as HRTF funções de HRTF sãoparametrizadas para as bandas de freqüências individuais. O propósito daparametrização da HRTF é capturar o mais importante indício paralocalização da fonte de som a partir de cada par de HRTF. Esses parâmetrospodem incluir:
- um nível (médio) por sub-banda de freqüência para aresposta de impulso do ouvido esquerdo;
- um nível (médio) por sub-banda de freqüência para aresposta de impulso do ouvido direito;
- um tempo (médio) de chegada ou diferença de fase entreresposta de impulso do ouvido esquerdo e do ouvido direito;
- uma (média) fase absoluta ou tempo (ou retardo de grupo)por sub-banda de freqüência para ambas respostas de impulsos do ouvidoesquerdo e do direito (neste caso, o tempo ou diferença de fase se torna namaioria dos casos obsoletos);- uma correlação de canal cruzada ou coerência por sub-bandade freqüência entre correspondentes respostas de impulsos.
Os parâmetros de nível por sub-banda de freqüência podemfacilitar ambas sínteses de elevação (devido a específicos picos e no espectro)assim como diferenças de nível para azimute (determinada pela proporção dosparâmetros de nível para cada banda).
Os valores de fase absolutos ou valores de diferença de fasepodem capturar diferenças de tempo de chegada entre ambos ouvidos, quetambém importantes indícios para azimute de fonte de som. O valor decoerência poderia ser adicionado para simular diferenças de estrutura finasentre ambos os ouvidos que não podem ser contribuídas para a média de nívele / ou diferença de fase, por (parâmetro) banda.
A seguir, um exemplo específico do processamento através doprocessador espacial 407 é descrito. No exemplo, a posição de uma fonte desom é definida relativa ao ouvinte através de um angulo de a e a distância D,como mostrado na Fig. 6. Uma fonte de som posicionada a esquerda doouvinte corresponde à ângulos de azimute positivos. A função detransferência da posição de fonte de som para o ouvido esquerdo é denotadapor Hl, a função de transferência da posição de fonte de som para o ouvidodireito por Hr.
As funções de transferência Hl e Hr são dependentes doangulo de azimute a, a distância D e elevação ε (não mostrado na Fig. 6). Emuma representação paramétrica, as funções de transferência podem serdescritas como um conjunto de três parâmetros por HRTF sub-banda defreqüência de HRTF bh. Este conjunto de parâmetros inclui um nível médiopor banda de freqüência para a função de transferência da esquerda Pi {a, ε, D,bh), um nível médio por banda de freqüência para a função de transferência dadireita Pr (a, ε, D, bh), uma diferença de fase média por banda de freqüência Φ(a, ε, D, bh). Uma possível extensão deste conjunto é incluir uma medida decoerência das funções de transferência esquerda e direita por banda defreqüência de HRTF σ (a, ε, D, bh). Esses parâmetros podem ser armazenadosem um banco de dados como a função de azimute, elevação, distância e bandade freqüência, e / ou podem ser computados usando alguma função analítica.
Por exemplo, os parâmetros Pi e Pr poderiam ser armazenados como umafunção de azimute e elevação, enquanto o efeito da distância é alcançadodividindo esses valores pela própria distância (assumindo uma relação de l/Dentre nível de sinal e distância). A seguir, a notação Pi(Lf) denota o parâmetroespacial Pi correspondendo à posição da fonte de som do canal Lf
Deve ser notado que o número de sub-banda de freqüênciaspara parametrização de HRTF (bh) e a largura de banda de cada sub-bandanão são necessariamente iguais à resolução de freqüência do (QMF) banco defiltro (k) usado pelo processador espacial 407 ou a resolução do parâmetroespacial do processador de mistura para baixo 403 e as bandas de parâmetrosassociados (bp). Por exemplo, o banco de filtro híbrido de QMF pode ter 71canais, a HRTF pode ser parametrizada em 28 banda de freqüências, ecodificação espacial poderia ser efetuado usando 10 bandas de parâmetro. Emtais casos, um mapeamento dos parâmetros espaciais de HTTF para índiceshíbridos de QMF pode ser aplicado por exemplo usando uma tabela deprocura ou uma função de interpolação ou de média. Os seguintes índices deparâmetro serão usados na descrição:
<table>table see original document page 33</column></row><table>
No exemplo específico, o processador espacial 407 divide oprimeiro sinal estéreo em sub-banda de freqüências adequadas através defiltragem de QMF. Para cada sub-banda os valores de sub-banda Lb, Rb sãodeterminados como:
<table>table see original document page 33</column></row><table>onde L0, Ro são os valores correspondentes de sub-banda do primeiro sinalestéreo e os valores de matriz h j>k são parâmetros que são determinados apartir dos parâmetros da HRTF e dos dados paramétricos associados commistura para baixo.
Os coeficientes de matriz ajudam a reproduzir as propriedadesda mistura para baixo como se todos os canais individuais fossem processadoscom HRTFs correspondendo à posição desejada de fonte de som e elesincluem o efeito combinado de decodificar o sinal de múltiplos canais eefetuar uma síntese de HRTF neles.
De forma específica, e com referência à Fig. 5 e a descriçãodeles, os valores de matriz podem ser determinados como:h11= Tu11Hl (L) + m2lHL (R) + m3íHL (C)h12= m12HL (L) + m22HL (R) + m32HL (C)h21 = M11Hr (L) + m2lHR (R) + m3lHR (C)h22 = IU12Hr (L) + TYI22Hr (R) + TTI32Hr (C)
onde m k,l são parâmetros determinados em resposta aos dados paramétricosgerados através do fazedor de mistura para baixo de TTT 505.
De forma específica os sinais L, R e C são gerados a partir dosinal com mistura para baixo estéreo, L0, Ro de acordo com:
<formula>formula see original document page 34</formula>
onde m kj são dependentes de dois coeficientes de prognóstico Ci e C2, quesão parte dos parâmetros espaciais transmitidos:
<formula>formula see original document page 34</formula>Os valores Hj(X) são determinados em resposta aos dados deparâmetro de HRTF por canal X para canal de saída estéreo J do segundosinal estéreo assim como parâmetros apropriados com mistura para baixo.
De forma específica, os parâmetros Hj(X) relacionados aossinais com mistura par abaixo esquerdo (L) e direito (R) gerados pelos doisfazedores de mistura para baixo de TTO 501, 503 e podem ser determinadosem resposta aos dados de parâmetro de HRTF para os dois canais commistura feita para baixo. De forma específica, a combinação ponderada doparâmetro da HRTF para os dois canais individuais esquerdo (Lf e Ls) oudireito (Rf e Rs) podem ser usados. Os parâmetros individuais podem serponderados através da energia relativa dos sinais individuais. Como umexemplo específico, os seguintes valores podem ser determinados para o sinalesquerdo (L):
<formula>formula see original document page 35</formula>
onde os pesos Wx são dados por:
<formula>formula see original document page 35</formula>
e CLD1 é a "Diferença de Nível de Canal "entre o esquerdo-frontal (Lf) eesquerdo-ambiente (Ls) definido em decibéis (que é parte do fluxo de bináriado parâmetro espacial):
<formula>formula see original document page 35</formula>
com (51/ a potência em uma sub-banda de parâmetros do canal Lf, e apotência na correspondente sub-banda do canal Ls.
De forma similar, os seguintes valores podem serdeterminados para o sinal direito (R):
<formula>formula see original document page 35</formula>
e para o sinal do centro (C):Hl (C) = P1 (C) e+JO(C)/2
Hr (C) = Pr(C) e"j0(C)/2
Assim sendo, usando a abordagem descrita, um processamentoespacial de complexidade baixa pode um sinal binaural espacial virtual a sergerado com base no sinal de múltiplos canais com mistura feita para baixo.
Como mencionado, uma vantagem da abordagem descrita éque a sub-banda de freqüências dos parâmetros associados com mistura parabaixo, o processamento espacial pelo processador espacial 407 e o parâmetroda HRTF não necessitam ser os mesmos. Por exemplo, um mapeamento entreparâmetros de uma sub-banda com as sub-bandas do processamento espacialpode ser efetuado. Por exemplo, se uma sub-banda de processamento espacialcobre um intervalo de freqüência correspondendo as duas sub-bandas deparâmetro de HRTF, o processador espacial 407 pode simplesmente aplicarprocessamento (individual) nas sub-bandas de parâmetro de HRTF, usando omesmo parâmetro espacial para todas as sub-bandas de parâmetro de HRTFque correspondem àquele parâmetro espacial.
Em algumas modalidades, o codificador 309 pode serarrumado para incluir dados de posição de fonte de som que permite a umdecodificador identificar os dados de posição desejada de uma ou mais dasfontes de som no fluxo de saída. Isto permite ao decodificador determinar oparâmetro da HRTF aplicado pelo codificador 309 e por meio disso,permitindo-o reverter a operação do processador espacial 407.Adicionalmente ou alternativamente, o codificador pode ser arrumado paraincluir, pelo menos, alguns dos dados de parâmetro de HRTF no fluxo desaída.
Assim sendo, opcionalmente, os parâmetros de HRTF e / oudados da posição de alto-falante podem ser incluídos no fluxo de saída. Istopode por exemplo permitir a atualização dinâmica dos dados da posição dealto-falante como uma função do tempo (no caso da transmissão da posiçãodo alto-falante) ou o uso dos dados de HRTF individualizados (no caso datransmissão de parâmetro de HRTF).
No caso que parâmetros da HRTF são transmitidos como partedo fluxo de bits, pelo menos, os parâmetros Pi, Pr e Φ podem ser transmitidospara cada banda de freqüência e para cada posição de fonte de som. Aparâmetros de magnitude Pi, Pr podem ser quantizados usando um fazedor dequantização linear, ou pode ser quantizado no domínio logarítmico. A fase deângulos Φ pode ser quantizada de forma linear. índices do fazedor dequantização podem então ser incluídos no fluxo de bits.
Ainda mais, a fase de ângulos Φ pode ser assumido ser zeropara freqüências tipicamente acima de 2,5 kHz, já que fase (inter-aural) deinformação é de modo perceptual irrelevante para altas freqüências.
Após quantização, vários esquemas de compressão de menosperda podem ser aplicados aos índices do fazedor de quantização dosparâmetros da HRTF. Por exemplo, codificação de entropia pode ser aplicada,possivelmente em combinação com codificação diferencial através da bandade freqüências. Alternativamente, parâmetros da HRTF podem serrepresentados como uma diferença com respeito ao conjunto de um parâmetrocomum ou médio da HRTF. Especialmente isto se mantém para os parâmetrosde magnitude. Ao contrário, os parâmetros de fase podem ser aproximadoscompletamente de forma exata simplesmente codificando a elevação eazimute. Calculando a diferença de tempo de chegada [ tipicamente, adiferença de tempo de chegada é praticamente independente da freqüência;ela é principalmente dependente do azimute e da elevação], dada a diferençade trajetória para ambos ouvidos, os parâmetros de fase correspondentespodem ser derivados. Em adição diferenças de medida podem ser codificadasde forma diferente par aos valores prognosticados com base nos valores deazimute e de elevação.
Também esquemas de compressão de perdas podem seraplicados, tal como princípio de decomposição de componente, seguido detransmissão dos pouco mais importantes pesos de PCA.
Fig. 7 ilustra um exemplo de um decodificador de múltiploscanais de acordo com algumas modalidades da invenção. O decodificadorpode especificamente ser o decodificador 315 da Fig. 3.
O decodificador 315 compreende um receptor de entrada 701que recebe o fluxo de saída do codificador 309. O receptor de entrada 701demultiplexa o fluxo de dados recebido e fornece os dados relevantes para oselementos funcionais apropriados.
O receptor de entrada 701 é acoplado a um processador dedecodificação 703 que é alimentado com os dados codificados do segundosinal estéreo. O processador de decodificação 703 decodifica esses dados paragerar o sinal espacial virtual binaural produzido pelo processador espacial407.
O processador de decodificação 703 é acoplado a umprocessador de reversão processador 705 que é arrumado para reverter aoperação efetuado pelo processador espacial 407. Assim sendo, o processadorde reversão 705 gera o sinal estéreo com mistura feita para baixo produzidopelo processador de mistura para baixo 403.
De forma específica, o processador de reversão 705 gera osinal estéreo com mistura para baixo aplicando uma multiplicação de matrizpara os valores de sub-banda do sinal espacial virtual binaural recebido. Amultiplicação de matriz é através de uma matriz correspondendo à matrizinversa daquela usada pelo processador espacial 407 e por meio disso,revertendo esta operação:
<formula>formula see original document page 38</formula>
Esta multiplicação de matriz também pode ser descrita como:
<formula>formula see original document page 38</formula>Os coeficientes de matriz qk,i são determinados a partir dosdados paramétricos associados com o sinal com mistura para baixo (erecebido nos fluxos de dados do decodificador 309) assim como dos dados deparâmetro da HRTF. De forma específica, a abordagem descrita comreferência ao codificador 309 pode também ser usada pelo decodificador 409para gerar os coeficientes de matriz hxy. Os coeficientes de matriz qxy podementão em resposta encontrados através de uma inversão de matriz padrão.
O processador de reversão 705 é acoplado a um processadorde parâmetro 707 que determina os dados de parâmetro de HRTF a seremusados. O parâmetro da HRTF pode em algumas modalidades ser incluído nofluxo de dado recebida e pode simplesmente ser extraído de lá. Em outrasmodalidades, diferentes parâmetros da HRTF podem por exemplo serarmazenados em um banco de dados para diferentes posições de fonte de some o processador de parâmetro 707 pode determinar o parâmetro da HRTFextraindo os valores correspondendo a posição da fonte de sinal desejada. Emalgumas modalidades, a posição(es) da fonte de sinal desejada pode serincluída no fluxo de dados do codificador 309. O processador de parâmetro707 pode extrair esta informação e usá-la para determinar os parâmetros daHRTF. Por exemplo, ele pode recuperar os parâmetro da HRTF armazenadospara a indicação da fonte de som posição(es) da fonte de som
Em algumas modalidades, o sinal estéreo gerado peloprocessador de reversão pode ser emitido diretamente. Contudo, em outrasmodalidades, ele pode ser alimentado para um decodificador de múltiploscanais 709 que pode gerar o sinal de M canais a partir do sinal estéreo commistura para baixo e dos dados paramétricos recebidos.
No exemplo, a inversão da síntese binaural de síntese binauralde um 3 D é efetuada no domínio da sub-banda, tal como na QMF ou nas sub-bandas de freqüência de Fourier. Assim sendo, o processador dedecodificação 703 pode compreender um banco de filtro de QMF ou FastFourier Transform (FFT) para gerar as amostras de sub-banda alimentadaspara o processador de reversão 705. De forma similar, o processador dereversão 705 ou o decodificador de múltiplos canais 709 pode compreenderuma FFT inversa ou banco de filtro de QMF para converter os sinais de voltaao domínio do tempo.
A geração de um sinal binaural de um 3D no lado docodificador permite experiências de audição espacial a serem fornecidas a umusuário de fones de ouvido através de um codificador de estéreoconvencional. Assim sendo, a abordagem descrita tem a vantagem quedispositivos de estéreo legados podem reproduzir sinais binaurais de um 3D.Como tal, de modo a reproduzir sinais binaurais de um 3D, nenhum pós-processamento adicional precisa ser aplicado resultando em uma solução debaixa complexidade.
Contudo, em tal uma abordagem, uma HRTF generalizada étipicamente usada que pode em alguns casos conduzir a uma geração espacialótima secundária em comparação a uma geração do sinal binaural de um 3 Dno decodificador usando dados otimizados da HRTF dedicados para o usuárioespecífico.
De forma específica, uma percepção limitada de distância epossíveis erros de localização da fonte de som podem algumas vezes originardo uso de HRTFs não individualizadas (tal como resposta de impulsos medidapara uma cabeça de teste ou uma outra pessoa). Em princípio, HRTFs diferemde pessoa à pessoa devido as diferenças na geometria anatômica do corpohumano. Em termos de localização correta de fonte de som, resultados ótimospodem ser por conseguinte, melhor de ser alcançado com dados de HRTFindividualizados.
Em algumas modalidades, o decodificador 315 ainda maiscompreende funcionalidade para primeiro reverter o processamento espacialdo codificador 309 seguido por uma geração de um sinal binaural de um 3Dusando dados locais da HRTF e especificamente usando dados de HRTFindividualizados otimizados para o usuário específico. Assim sendo, nestamodalidade, o decodificador 315 gera um par de canais de saída binauralmodificando o sinal estéreo com mistura feita para baixo usando os dadosparamétricos associados e os dados de parâmetro de HRTF que é diferente doque os dados (HRTF) usados no codificador 309. Então, nesta a abordagemfornece uma combinação de síntese de um 3 D no lado do codificador,inversão do lado do decodificador, seguido de um outro estágio de síntese deum 3D do lado do decodificador.
Uma vantagem de tal uma abordagem é que dispositivos deestéreo legados terão sinais binaurais de um 3 D como saída fornecendo umaqualidade de um 3 D básico, enquanto decodificadores aprimorados terão aopção de usar HRTFs personalizadas possibilitando uma qualidade de um 3Dmelhorado. Assim sendo, ambas, a síntese de um 3D compatível com legadoassim como a síntese de um 3D dedicado de alta qualidade é habilitada nomesmo sistema de áudio.
Um exemplo simples de tal um sistema é ilustrado na Fig. 8que mostra como um processador espacial 801 adicional pode ser pode seradicionado ao decodificador da Fig. 7 para fornecer um sinal de saída binauralde um 3D customizado. Em algumas modalidades, o processador espacial 801pode simplesmente fornecer uma simples síntese binaural de um 3D diretausando funções de HRTF individuais para cada um dos canais de áudio.Assim sendo, o decodificador pode re-criar o sinal original de múltiploscanais e converter estes em um sinal binaural de um 3D usando filtragem deHTRF customizada.
Em outras modalidades, a inversão da síntese de codificador eda síntese de decodificador pode ser combinada para fornecer uma operaçãode complexidade mais baixa. De forma específica, as HRTFs individualizadasusadas para a síntese de decodificador pode ser parametrizada e combinadacom os (inverso de) parâmetros usados pela síntese de um 3 D de codificador.
Mais especificamente, como descrito anteriormente, a síntesede codificador envolve multiplicar amostras de sub-banda de estéreo dossinais com mistura feita para baixo por uma matriz 2x2:
<formula>formula see original document page 42</formula>
onde Lo, Ro são os valores de sub-banda correspondentes do sinal estéreocom mistura feita para baixo e os valores da matriz h j,k são parâmetros quesão determinados a partir dos parâmetros da HRTF e dos dados paramétricoscom mistura para baixo, associados como descrito anteriormente.
A inversão efetuada pelo processador de reversão 705 podeentão ser dado por:
<formula>formula see original document page 42</formula>
onde Lb, Rb são os valores de sub-banda correspondentes do sinal estéreo dodecodificador com mistura feita para baixo.
Para assegurar um processo apropriado de inversão do lado dodecodificador, os parâmetros da HRTF usados no codificador para gerar sinalbinaural de um 3D, e os parâmetros da HRTF usados para inverter oprocessamento binaural de um 3D são idênticos ou suficientemente similar. Jáque um fluxo de bit, de forma geral, servirá a vários decodificadores,personalização da mistura para baixo binaural de um 3D é difícil de obteratravés da síntese de codificador.
Contudo, já que processo de síntese binaural de um 3D épossível de inverter, o processador de reversão 705 regenera o sinal estéreocom mistura feita para baixo que é então usado para gerar um sinal binauralde um 3D com base nas HRTFs individualizadas.
De forma específica, em analogia à operação no codificador309, a síntese binaural de um 3D no decodificador 315 pode ser gerado poruma simples, operação inteligente de matriz 2 χ 2 de sub-banda larga no sinalcom mistura para baixo L0, Ro para gerar o sinal binaural de um 3D LB, Rb-:
<formula>formula see original document page 43</formula>
onde os parâmetros ρ x,y são determinados com base nas HRTFsindividualizadas na mesma maneira que h x>y são gerados pelo codificador 309com base na HRTF geral. De forma específica, no decodificador 309, osparâmetros h x?y são determinados dos dados paramétricos de múltiplos canaise das HRTFs gerais. Como os dados paramétricos de múltiplos canais sãotransmitidos para o decodificador 315, a mesma abordagem pode ser usadapor estes, para calcular ρ x>y com base na HRTF individual.
Combinando estes com a operação de processador de reversão 705
<formula>formula see original document page 43</formula>
Nesta equação, as entradas da matriz h x,y, são obtidas usando aHRTF não individualizada geral no codificador, enquanto as entradas dematriz ρ x,y são obtidas usando um conjunto de HRTF diferente epreferencialmente personalizado. Então o sinal binaural de um 3D de entradaLB, RB gerado usando dados de HRTF não individualizada é transformado emum sinal binaural de um 3D alternativo LB·, RB> usando dados de HRTFdiferentes personalizados.
Ainda mais, como ilustrado, a abordagem combinada dainversão da síntese de codificador e da síntese de decodificador pode seralcançada através de uma simples operação de matriz de 2 χ 2. Então acomplexidade de computação deste processo combinado é virtualmente amesma que para uma inversão binaural de um 3D simples.
Fig. 9 ilustra um exemplo do decodificador 315 operando deacordo com os princípios descritos cima. De forma específica, as amostras desub-banda de estéreo do estéreo binaural de um 3D com mistura para baixo docodificador 309 é alimentado para o processador de reversão 705 queregenera as amostras com mistura para baixo de estéreo original através deuma operação de matriz de 2 χ 2.
<formula>formula see original document page 44</formula>
As amostras de sub-banda resultantes são alimentadas parauma unidade de síntese espacial 901 que gera um sinal binaural de um 3Dindividualizado multiplicando essas amostras por uma matriz de 2 χ 2.
<formula>formula see original document page 44</formula>
Os coeficientes de matriz são gerados através de uma unidadede conversor de parâmetro (903) que gera os parâmetros com base na HRTFindividualizada e nos dados de extensão de múltiplos canais recebidos docodificador 309.
As amostras de sub-banda de síntese LB·, Rb' são alimentadospara uma sub-banda para a transformada no domínio do tempo 905 que geraos sinais binaural de um 3 D do domínio do tempo que podem ser fornecidos aum usuário.
Embora Fig. 9 ilustre os passos de inversão de um 3D combase em HRTFs não individualizadas e de síntese de um 3D com base nasHRTFs individualizadas como operações seqüenciais através de unidadesfuncionais diferentes, será apreciado que em muitas modalidades dessasoperações são aplicada, de forma simultânea, através de uma aplicação dematriz única. Especialmente, a matriz de 2 χ 2
<formula>formula see original document page 44</formula>
é calculada e as amostras emitidas são calculadas como
<formula>formula see original document page 44</formula>
Será apreciado que o sistema descrito fornece um número devantagens incluindo:
- Nenhuma ou pequena (percepção) degradação da qualidadede reconstrução de múltiplos canais já que o processamento de estéreoespacial pode ser revertido nos decodificadores de múltiplos canais.
- Uma experiência de estéreo binaural espacial (um 3D) podeser fornecida mesmo através de decodificadores de estéreo convencionais.
- Complexidade reduzida comparada com métodos deposicionamento espacial existentes. A complexidade é reduzida em umnúmero de maneiras:
- Armazenagem eficiente de parâmetros de HRTF. Em vez dearmazenar resposta de impulsos de HRTF, somente um número limitado deparâmetros é usado para caracterizar as HRTFs.
- Processamento de um 3D eficiente. Já que as HRTFs sãocaracterizadas como parâmetros em uma resolução de freqüência limitada, e aaplicação de parâmetros da HRTF é efetuada no domínio do parâmetro(altamente amostrado para baixo), o estágio de síntese espacial é maiseficiente do que métodos de síntese convencionais com base na convoluçãototal da HRTF.
- O processamento requerido pode ser efetuado no e.g. odomínio de QMF, resultando em uma carga menor de computação e dememória do que os métodos baseados em FFT.
- Re-uso eficiente de blocos existentes de construção de somambiente (tal como codificação de som ambiente de MPEG padrão /funcionalidades de decodificação) permitindo complexidade deimplementação mínima.
- Possibilidade de personalização através de modificação dosdados da HRTF (parametrizada) transmitidos pelo codificador.
- Posições de fonte de som podem mudar com precisão atravésda informação de posição transmitida.
Fig. 10 ilustra um método de codificação de áudio de acordocom algumas modalidades da invenção.O método inicia in passo 1001 onde um sinal de áudio de Mcanais é recebido (M > 2).
Passo 1001 é seguido pelo passo 1003 onde ao sinal de áudiode M canais é feito mistura para baixo para um primeiro sinal estéreo e dadosparamétricos associados.
Passo 1003 é seguido pelo passo 1005 onde o primeiro sinalestéreo é modificado para gerar um segundo sinal estéreo em resposta aosdados paramétricos associados e aos dados de parâmetro espacial da HeadRelated Transfer Function (HRTF). O segundo sinal estéreo é um sinalespacial virtual binaural.
Passo 1005 é seguido pelo passo 1007 onde o segundo sinalestéreo é codificado para gerar dados codificados.
Passo 1007 é seguido pelo passo 1009 onde um fluxo de dadosde saída compreendendo os dados codificados e os dados paramétricosassociados, é gerada.
Fig. 11 ilustra um método de decodificação de áudio de acordocom algumas modalidades da invenção.
O método inicia no passo 1101, onde um decodificador recebedados de entrada compreendendo um primeiro sinal estéreo e os dadosparamétricos associados com um sinal estéreo com mistura feita para baixo deum sinal de áudio de M canais, onde M > 2. O primeiro sinal estéreo é umsinal espacial virtual binaural.
Passo 1101 é seguido pelo passo 1103 onde o primeiro sinalestéreo é modificado para gerar o sinal estéreo com mistura feita para baixoem resposta aos dados paramétricos e aos dados de parâmetro espacial daHead Related Transfer Function (HRTF) associados com o primeiro sinalestéreo.
Passo 1103 é seguido pelo passo opcional 1105 onde o sinal deáudio de M canais é gerado em resposta ao sinal estéreo com mistura feitapara baixo e aos dados paramétricos.
Será apreciado que a descrição acima para clareza temmodalidades da invenção descritas com referência às unidades eprocessadores funcionais diferentes. Contudo, será aparente que qualqueradequada distribuição de funcionalidade entre unidades e processadoresfuncionais diferentes pode ser usado sem esquecer da invenção. Por exemplo,funcionalidade ilustrada para ser efetuada por processadores ou controladoresseparados pode ser efetuada pelo mesmo processador ou controlador. Então,referências à unidades funcionais específicas são somente para serem vistascomo referências para meios adequados para fornecer as funcionalidadedescritas mais propriamente do que indicativas de um lógicas estrita ouestrutura física ou organização.
A invenção pode ser implementada em qualquer formaadequada incluindo hardware, software, firmware ou qualquer combinaçãodesses. A invenção pode opcionalmente ser implementada, pelo menos,parcialmente como software de computador sendo executado em um ou maisprocessadores de dados e / ou processadores de sinal digital sinal. Oselementos e componentes de uma modalidade da invenção podem serfisicamente, funcionalmente e logicamente implementados em qualquermaneira adéquada. De fato a funcionalidade pode ser implementada em umaunidade única, em uma grande quantidade de unidades ou como parte deoutras unidades funcionais. Como tal, a invenção pode ser implementada emuma unidade única ou pode ser fisicamente e funcionalmente distribuída entreunidades e processadores diferentes.
Embora a presente invenção tenha sido descrita em conexãocom algumas modalidades, ela não é pretendida ser limitada a formaespecífica aqui estabelecida. Mais propriamente, o escopo da presenteinvenção é limitado somente pelas reivindicações anexas. Adicionalmente,embora a característica pode parecer ser descrita em conexão commodalidades particulares, alguém com qualificação na arte reconhecerá quevárias características das modalidades descritas podem ser combinadas deacordo com a invenção. Nas reivindicações, o termo compreendendo nãoexclui a presença de outros elementos ou passos.
Ainda mais, embora individualmente listada, uma grandequantidade de meios, elementos ou passos de método podem serimplementados através de e.g. uma unidade ou processador único.Adicionalmente, embora características individuais podem ser incluídas nasreivindicações diferentes, essas possivelmente podem ser combinadas demodo vantajoso, e a inclusão nas reivindicações diferentes não implica queuma combinação de características não seja factível / ou vantajosa. Também ainclusão de uma característica em uma categoria de reivindicações nãoimplica em uma limitação para esta categoria mas mais propriamente indicaque a característica é igualmente aplicável para outras categorias dereivindicação conforme apropriado. Ainda mais, a ordem das característicasnas reivindicações não implica em qualquer ordem específica na qual ascaracterísticas precisam ser trabalhadas e em particular a ordem dos passosindividuais em uma reivindicação de método não implica que os passosprecisam ser efetuados nessa ordem. Mais propriamente, os passos podem serefetuados in qualquer ordem adequada. Em adição, referências singulares nãoexcluem uma grande quantidade. Assim sendo referências para "um", "uma","primeiro", "segundo etc não exclui uma grande quantidade. Símbolos dereferência nas reivindicações são fornecidos meramente como um exemploesclarecedor não devem ser interpretados como limitando o escopo dasreivindicações em qualquer maneira.
Claims (34)
1. Codificador de áudio, caracterizado pelo fato decompreender:- meios para receber (401) um sinal de áudio de M canais ondeM >2;- meios de mistura para baixo (403) para fazer mistura parabaixo do sinal de áudio de M canais para um primeiro sinal estéreo e dadosparamétricos associados;- gerar meios (407) para modificar o primeiro sinal estéreo,para gerar um segundo sinal estéreo em resposta aos dados paramétricosassociados e dados de parâmetro espacial para a função de transferênciaperceptual binaural, o segundo sinal estéreo sendo um sinal binaural;- meios para codificar (411) o segundo sinal estéreo para gerardados codificados; e- meios de saída (413) para gerar um fluxo de dados de saídacompreendendo os dados codificados e os dados paramétricos associados.
2. Codificador de acordo com a reivindicação 1 caracterizadopelo fato de que os meios de geração (407) são arrumados para gerar osegundo sinal estéreo calculando valores de dados de sub-banda para osegundo sinal estéreo, em resposta aos dados paramétricos associados, aosdados de parâmetro espacial e valores de dados de sub-banda para o primeirosinal estéreo.
3. Codificador de acordo com a reivindicação 2, caracterizadopelo fato de que os meios de geração (407) são arrumados para gerar valoresde sub-banda para uma primeira sub-banda do segundo sinal estéreo emresposta à multiplicação de valores de sub-banda de estéreo correspondente aoprimeiro sinal estéreo, por uma primeira matriz de sub-banda; os meios degeração (407) ainda compreendendo meios de parâmetros para determinarvalores de dados da primeira matriz de sub-banda em resposta aos dadosparamétricos associados e dados de parâmetro espacial para a primeira sub-banda.
4. Codificador de acordo com a reivindicação 3, caracterizadopelo fato de que os meios de geração (407) ainda compreende meios paraconverter um valor de dados de, pelo menos, um do primeiro sinal estéreo,dos dados paramétricos associados e dos dados de parâmetro espacialassociados com a sub-banda tendo um intervalo de freqüência diferente doprimeiro intervalo de sub-banda para um valor de dados correspondente paraa primeira sub-banda.
5. Codificador de acordo com a reivindicação 3, caracterizadopelo fato de que os meios de geração (407) são arrumados para determinar osvalores de sub-banda de estéreo Lb, Rb para a primeira sub-banda do segundosinal estéreo substancialmente como:<formula>formula see original document page 50</formula>em que L0, Ro são os valores de sub-banda correspondentes do primeiro sinalestéreo e os meios de parâmetros são arrumados para determinar valores dedados da matriz de multiplicação substancialmente como:hn = mnHL (L) + m2lHL (R) + m3lHL (C)h]2 = M12Hl (L) + M22Hl (R) + M32Hl (C)h21 = M11Hr (L) + m2lHR (R) + M31Hr (C)h22 = M12Hr (L) + M22Hr (R) + M32Hr (C)onde m são parâmetros determinados em resposta aos dados paramétricosassociados para uma mistura para baixo através dos meios de mistura parabaixo dos canais L, R e C para o primeiro sinal estéreo; e Hj (X) édeterminado em resposta aos dados de parâmetro espacial por canal X paracanal de saída J do segundo sinal estéreo.
6. Codificador de acordo com a reivindicação 5, caracterizadopelo fato de que, pelo menos, um dos canais LeR corresponde a uma misturapara baixo de, pelo menos, dois canais com mistura feita para baixo e osmeios de parâmetros são arrumados para determinar Hj (X) em resposta a umacombinação ponderada dos dados de parâmetro espacial para os, pelo menos,dois canais com mistura feita para baixo.
7. Codificador de acordo com a reivindicação 6 caracterizadopelo fato de que os meios de parâmetros são arrumados para determinar umpeso dos dados de parâmetro espacial para o, pelo menos, dois canais commistura feita para baixo, em resposta a uma energia relativa medida para os,pelo menos, dois canais com mistura feita para baixo.
8. Codificador de acordo com a reivindicação 1 caracterizadopelo fato de que os dados de parâmetro espacial incluem, pelo menos, umparâmetro selecionado do grupo consistindo de:- um nível médio por parâmetro de sub-banda;- um parâmetro de tempo de chegada médio;- a fase de, pelo menos, um canal estéreo;- um parâmetro de sincronismo;- um parâmetro de retardo de grupo;- uma fase entre canais estéreos; e- um parâmetro de correlação de canal cruzado.
9. Codificador de acordo com a reivindicação 1, caracterizadopelo fato de que os meios de saída (413) são arrumados para incluir dados daposição de fonte de som no fluxo de saída.
10. Codificador de acordo com a reivindicação 1,caracterizado pelo fato de que os meios de saída (413) são arrumados paraincluir, pelo menos, alguns dos dados de parâmetro espacial no fluxo de saída.
11. Codificador de acordo com a reivindicação 1 aindacaracterizado pelo fato de compreender meios (409) para determinar os dadosde parâmetro espacial, em resposta as posições de sinal de som desejadas.
12. Decodificador de áudio, caracterizado pelo fato decompreender:- meios para receber (701, 703) dados de entradacompreendendo um primeiro sinal estéreo e os dados paramétricos associadoscom um sinal estéreo com mistura feita para baixo de um sinal de áudio de Mcanais onde M > 2, o primeiro sinal estéreo sendo um sinal binauralcorrespondente para o sinal de áudio de M canais;- gerar meios (705) para modificar o primeiro sinal estéreo,para gerar o sinal estéreo com mistura feita para baixo, em resposta aos dadosparamétricos, e aos primeiros dados de parâmetro espacial para a função detransferência perceptual binaural, os primeiros dados de parâmetro espacialsendo associados com o primeiro sinal estéreo.
13. Decodificador de acordo com a reivindicação 12,caracterizado pelo fato de compreender meios para gerar (709) o sinal deáudio de M canais em resposta ao sinal estéreo com mistura feita para baixo eaos dados paramétricos.
14. Decodificador de acordo com a reivindicação 12,caracterizado pelo fato de que os meios de geração (705) são arrumados paragerar o sinal estéreo com mistura feita para baixo calculando valores de dadosde sub-banda para o sinal estéreo com mistura feita para baixo, em respostaaos dados paramétricos associados, os primeiros dados de parâmetro espaciale valores de dados de sub-banda para o primeiro sinal estéreo.
15. Decodificador de acordo com a reivindicação 14,caracterizado pelo fato de que os meios de geração (705) são arrumados paragerar valores de sub-banda para uma primeira sub-banda do sinal estéreo commistura feita para baixo em resposta a uma multiplicação de valores de sub-banda de estéreo correspondente para o primeiro sinal estéreo, por umaprimeira matriz de sub-banda; os meios de geração (705) aindacompreendendo meios de parâmetros para determinar valores de dados daprimeira matriz de sub-banda em resposta aos dados paramétricos e dados deparâmetro da função de transferência perceptual binaural para a primeira sub-banda.
16. Decodificador de acordo com a reivindicação 12,caracterizado pelo fato de que os dados de entrada compreendem, pelo menos,alguns dos primeiros dados de parâmetro espacial.
17. Decodificador de acordo com a reivindicação 12,caracterizado pelo fato de que os dados de entrada compreendem posição defonte de som dados e o decodificador compreende meios (707) paradeterminar os primeiros dados de parâmetro espacial em resposta aos dadosda posição de fonte de som.
18. Decodificador de acordo com a reivindicação 12,caracterizado pelo fato de compreender:- uma unidade de decodificação espacial (709, 801) paraproduzir um par de canais de saída binaural modificando o primeiro sinalestéreo em resposta aos dados paramétricos associados e segundos dados deparâmetro espacial para uma segunda função de transferência perceptualbinaural, os segundos dados de parâmetro espacial sendo diferentes do que osprimeiros dados de parâmetro espacial.
19. Decodificador de acordo com a reivindicação 18,caracterizado pelo fato de que a unidade de decodificação espacial (709, 801)compreende:- uma unidade de conversão de parâmetro (903) para converteros dados paramétricos em parâmetros de síntese binaural usando os segundosdados de parâmetro espacial, e- uma unidade de síntese espacial (901) para sintetizar o par decanais binaurais usando os parâmetros de síntese binaural e o primeiro sinalestéreo.
20. Decodificador de acordo com a reivindicação 19,caracterizado pelo fato de que os parâmetros de síntese binauralcompreendem coeficientes de matriz para um matriz de 2 por 2 relacionandoamostras de estéreo do sinal estéreo com mistura feita para baixo paraamostras de estéreo do par de canais de saída binaural.
21. Decodificador de acordo com a reivindicação 19,caracterizado pelo fato de que os parâmetros de síntese binauralcompreendem coeficientes de matriz para um matriz de 2 por 2 relacionandoamostras de sub-banda de estéreo do primeiro sinal estéreo para amostras deestéreo do par de canais de saída binaural.
22. Método de codificação de áudio, caracterizado pelo fato decompreender:- receber (1001) um sinal de áudio de M canais onde M > 2;- fazer mistura para baixo(1003) do sinal de áudio de M canaispara um primeiro sinal estéreo e dados paramétricos associados;- modificar (1005) o primeiro sinal estéreo para gerar umsegundo sinal estéreo em resposta aos dados paramétricos associados e dadosde parâmetro espacial para uma função de transferência perceptual binaural, osegundo sinal estéreo sendo um sinal binaural;- codificar (1007) o segundo sinal estéreo para gerar dadoscodificados; e- gerar (1009) um fluxo de dados de saída compreendendo osdados codificados e os dados paramétricos associados.
23. Método de decodificação de áudio, caracterizado pelo fatode compreender:- receber (1101) dados de entrada compreendendo um primeirosinal estéreo e os dados paramétricos associados com um sinal estéreo commistura feita para baixo de um sinal de áudio de M canais onde M > 2, oprimeiro sinal estéreo sendo um sinal binaural correspondendo ao sinal deáudio de M canais; e- modificar (1103) o primeiro sinal estéreo para gerar o sinalestéreo com mistura feita para baixo, em resposta aos dados paramétricos edados de parâmetro espacial para a função de transferência perceptualbinaural, os dados de parâmetro espacial sendo associados com o primeirosinal estéreo.
24. Receptor para receber um sinal de áudio, caracterizadopelo fato de compreender:- meios para receber (701, 703) dados de entradacompreendendo um primeiro sinal estéreo e os dados paramétricos associadoscom um sinal estéreo com mistura feita para baixo de um sinal de áudio de Mcanais onde M > 2, o primeiro sinal estéreo sendo um sinal binauralcorrespondendo ao sinal de áudio de M canais; e- gerar meios (705) para modificar o primeiro sinal estéreopara gerar o sinal estéreo com mistura feita para baixo, em resposta aos dadosparamétricos e dados de parâmetro espacial para a função de transferênciaperceptual binaural, os dados de parâmetro espacial sendo associados com oprimeiro sinal estéreo.
25. Transmissor (1101) para transmitir um fluxo de dados desaída; caracterizado pelo fato de compreender:- meios para receber (401) um sinal de áudio de M canais ondeM > 2 ;- meios de mistura para baixo (403) para fazer mistura parabaixo do sinal de áudio de M canais para um primeiro sinal estéreo e dadosparamétricos associados;- gerar meios (407) para modificar o primeiro sinal estéreo,para gerar um segundo sinal estéreo em resposta aos dados paramétricosassociados e dados de parâmetro espacial para a função de transferênciaperceptual binaural, o segundo sinal estéreo sendo um sinal binaural;- meios para codificar (411) o segundo sinal estéreo para gerardados codificados;- meios de saída (413) para gerar um fluxo de dados de saídacompreendendo os dados codificados e os dados paramétricos associados; e- meios para transmitir (311) um fluxo de dados de saída.
26. Sistema de transmissão para transmitir um sinal de áudio,caracterizado pelo fato de compreender:- um transmissor compreendendo:- meios para receber (401) um sinal de áudio de M canais ondeM >2,- meios de mistura para baixo (403) para fazer mistura parabaixo do sinal de áudio de M canais para um primeiro sinal estéreo e dadosparamétricos associados- gerar meios (407) para modificar o primeiro sinal estéreopara gerar um segundo sinal estéreo em resposta aos dados paramétricosassociados e dados de parâmetro espacial para a função de transferênciaperceptual binaural, o segundo sinal estéreo sendo um sinal binaural,- meios para codificar (411) o segundo sinal estéreo para gerardados codificados,- meios de saída (413) para gerar um fluxo de dados de saídade áudio compreendendo os dados codificados e os dados paramétricosassociados, e- meios para transmitir (311) um fluxo de dados de saída deáudio; eum receptor compreendendo:- meios para receber (701, 703) um fluxo de dados de saída deáudio; e - meios para modificar (705) o segundo sinal estéreo paragerar o primeiro sinal estéreo em resposta aos dados paramétricos e os dadosde parâmetro espacial.
27. Método para receber um sinal de áudio, caracterizado pelofato de compreender:- receber (1101) dados de entrada compreendendo um primeirosinal estéreo e os dados paramétricos associados com um sinal estéreo commistura feita para baixo de um sinal de áudio de M canais onde M > 2, oprimeiro sinal estéreo sendo um sinal binaural correspondendo ao sinal deáudio de M canais; e- modificar (1103) o primeiro sinal estéreo para gerar o sinalestéreo com mistura feita para baixo, em resposta aos dados paramétricos edados de parâmetro espacial para a função de transferência perceptualbinaural, os dados de parâmetro espacial sendo associados com o primeirosinal estéreo.
28. Método para transmitir um fluxo de dados de saída deáudio, caracterizado pelo fato de compreender:- receber (1001) um sinal de áudio de M canais onde M > 2;- fazer mistura para baixo (1003) do sinal de áudio de Mcanais para um primeiro sinal estéreo e dados paramétricos associados;- modificar (1005) o primeiro sinal estéreo para gerar umsegundo sinal estéreo em resposta aos dados paramétricos associados e dadosde parâmetro espacial para a função de transferência perceptual binaural, osegundo sinal estéreo sendo um sinal binaural;- codificar (1007) o segundo sinal estéreo para gerar dadoscodificados; e- gerar (1009) um fluxo de dados de saída de áudiocompreendendo os dados codificados e os dados paramétricos associados; e- transmitir o fluxo de dados de saída de áudio.
29. Método para transmitir e receber um sinal de áudio,caracterizado pelo fato de compreender:- receber (1001) um sinal de áudio de M canais onde M > 2;- fazer mistura para baixo (1003) o sinal de áudio de M canaispara um primeiro sinal estéreo e dados paramétricos associados;- modificar (1005) o primeiro sinal estéreo para gerar umsegundo sinal estéreo em resposta aos dados paramétricos associados e dadosde parâmetro espacial para a função de transferência perceptual binaural, osegundo sinal estéreo sendo um sinal binaural;- codificar (1007) o segundo sinal estéreo para gerar dadoscodificados; e- gerar (1009) um fluxo de dados de saída de áudiocompreendendo os dados codificados e os dados paramétricos associados;- transmitir o fluxo de dados de saída de áudio;- receber (1101) o fluxo de dados de saída de áudio; e- modificar (1103) o segundo sinal estéreo para gerar oprimeiro sinal estéreo em resposta aos dados paramétricos e os dados deparâmetro espacial.
30. Produto de programa de computador, caracterizado pelofato de executar o método como definido em qualquer das reivindicações 22,-23,27,28 ou 29.
31. Dispositivo de gravação de áudio, caracterizado pelo fatode compreender um codificador (309) como definido na reivindicação 1.
32. Dispositivo de execução de áudio, caracterizado pelo fatode compreender um decodificador (315) como definido na reivindicação 12.
33. Fluxo de dados de áudio para um sinal de áudio,caracterizado pelo fato de compreender:- um primeiro sinal estéreo; e- dados paramétricos associados com um sinal estéreo commistura feita para baixo de um sinal de áudio de M canais onde M > 2;em que o primeiro sinal estéreo é um sinal binauralcorrespondendo ao sinal de áudio de M canais.
34. Meio de armazenamento, caracterizado pelo fato de terarmazenado nele um fluxo de dados de áudio como definida na reivindicação 33.
Applications Claiming Priority (9)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP06110231 | 2006-02-21 | ||
| EP06110231.5 | 2006-02-21 | ||
| EP06110803.1 | 2006-03-07 | ||
| EP06110803 | 2006-03-07 | ||
| EP06112104.2 | 2006-03-31 | ||
| EP06112104 | 2006-03-31 | ||
| EP06119670 | 2006-08-29 | ||
| EP06119670.5 | 2006-08-29 | ||
| PCT/IB2007/050473 WO2007096808A1 (en) | 2006-02-21 | 2007-02-13 | Audio encoding and decoding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BRPI0707969A2 true BRPI0707969A2 (pt) | 2011-05-17 |
| BRPI0707969B1 BRPI0707969B1 (pt) | 2020-01-21 |
Family
ID=38169667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0707969A BRPI0707969B1 (pt) | 2006-02-21 | 2007-02-13 | codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador |
Country Status (12)
| Country | Link |
|---|---|
| US (4) | US9009057B2 (pt) |
| EP (1) | EP1989920B1 (pt) |
| JP (1) | JP5081838B2 (pt) |
| KR (1) | KR101358700B1 (pt) |
| CN (1) | CN101390443B (pt) |
| AT (1) | ATE456261T1 (pt) |
| BR (1) | BRPI0707969B1 (pt) |
| DE (1) | DE602007004451D1 (pt) |
| ES (1) | ES2339888T3 (pt) |
| PL (1) | PL1989920T3 (pt) |
| TW (1) | TWI508578B (pt) |
| WO (1) | WO2007096808A1 (pt) |
Families Citing this family (99)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE602007004451D1 (de) | 2006-02-21 | 2010-03-11 | Koninkl Philips Electronics Nv | Audiokodierung und audiodekodierung |
| US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
| MX2008012250A (es) * | 2006-09-29 | 2008-10-07 | Lg Electronics Inc | Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto. |
| US8571875B2 (en) * | 2006-10-18 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method, medium, and apparatus encoding and/or decoding multichannel audio signals |
| GB2467668B (en) * | 2007-10-03 | 2011-12-07 | Creative Tech Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
| WO2009046460A2 (en) * | 2007-10-04 | 2009-04-09 | Creative Technology Ltd | Phase-amplitude 3-d stereo encoder and decoder |
| MY150381A (en) | 2007-10-09 | 2013-12-31 | Dolby Int Ab | Method and apparatus for generating a binaural audio signal |
| WO2009050896A1 (ja) * | 2007-10-16 | 2009-04-23 | Panasonic Corporation | ストリーム合成装置、復号装置、方法 |
| US20090103737A1 (en) * | 2007-10-22 | 2009-04-23 | Kim Poong Min | 3d sound reproduction apparatus using virtual speaker technique in plural channel speaker environment |
| US9031242B2 (en) * | 2007-11-06 | 2015-05-12 | Starkey Laboratories, Inc. | Simulated surround sound hearing aid fitting system |
| JP2009128559A (ja) * | 2007-11-22 | 2009-06-11 | Casio Comput Co Ltd | 残響効果付加装置 |
| KR100954385B1 (ko) * | 2007-12-18 | 2010-04-26 | 한국전자통신연구원 | 개인화된 머리전달함수를 이용한 3차원 오디오 신호 처리장치 및 그 방법과, 그를 이용한 고현장감 멀티미디어 재생시스템 |
| JP2009206691A (ja) | 2008-02-27 | 2009-09-10 | Sony Corp | 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置 |
| KR20090110242A (ko) * | 2008-04-17 | 2009-10-21 | 삼성전자주식회사 | 오디오 신호를 처리하는 방법 및 장치 |
| US9485589B2 (en) | 2008-06-02 | 2016-11-01 | Starkey Laboratories, Inc. | Enhanced dynamics processing of streaming audio by source separation and remixing |
| US8705751B2 (en) * | 2008-06-02 | 2014-04-22 | Starkey Laboratories, Inc. | Compression and mixing for hearing assistance devices |
| US9185500B2 (en) | 2008-06-02 | 2015-11-10 | Starkey Laboratories, Inc. | Compression of spaced sources for hearing assistance devices |
| BRPI0910796B1 (pt) | 2008-07-11 | 2021-07-13 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E. V. | Codificador de áudio e decodificador de áudio |
| EP2384028B1 (en) * | 2008-07-31 | 2014-11-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Signal generation for binaural signals |
| KR20110110093A (ko) * | 2008-10-01 | 2011-10-06 | 톰슨 라이센싱 | 디코딩 장치, 디코딩 방법, 인코딩 장치, 인코딩 방법, 및 편집 장치 |
| EP2175670A1 (en) * | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
| WO2010048157A1 (en) | 2008-10-20 | 2010-04-29 | Genaudio, Inc. | Audio spatialization and environment simulation |
| WO2010070016A1 (en) * | 2008-12-19 | 2010-06-24 | Dolby Sweden Ab | Method and apparatus for applying reverb to a multi-channel audio signal using spatial cue parameters |
| JP5540581B2 (ja) * | 2009-06-23 | 2014-07-02 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| TWI433137B (zh) * | 2009-09-10 | 2014-04-01 | Dolby Int Ab | 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法 |
| JP2011065093A (ja) * | 2009-09-18 | 2011-03-31 | Toshiba Corp | オーディオ信号補正装置及びオーディオ信号補正方法 |
| TWI463485B (zh) * | 2009-09-29 | 2014-12-01 | Fraunhofer Ges Forschung | 音訊信號解碼器或編碼器、用以提供上混信號表示型態或位元串流表示型態之方法、電腦程式及機器可存取媒體 |
| WO2011045506A1 (fr) * | 2009-10-12 | 2011-04-21 | France Telecom | Traitement de donnees sonores encodees dans un domaine de sous-bandes |
| KR101646650B1 (ko) * | 2009-10-15 | 2016-08-08 | 오렌지 | 최적의 저-스루풋 파라메트릭 코딩/디코딩 |
| EP2323130A1 (en) * | 2009-11-12 | 2011-05-18 | Koninklijke Philips Electronics N.V. | Parametric encoding and decoding |
| EP2346028A1 (en) | 2009-12-17 | 2011-07-20 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal |
| CN102157150B (zh) * | 2010-02-12 | 2012-08-08 | 华为技术有限公司 | 立体声解码方法及装置 |
| CN102157152B (zh) * | 2010-02-12 | 2014-04-30 | 华为技术有限公司 | 立体声编码的方法、装置 |
| JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
| JP2012004668A (ja) | 2010-06-14 | 2012-01-05 | Sony Corp | 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置 |
| KR101697550B1 (ko) * | 2010-09-16 | 2017-02-02 | 삼성전자주식회사 | 멀티채널 오디오 대역폭 확장 장치 및 방법 |
| TWI489450B (zh) | 2010-12-03 | 2015-06-21 | Fraunhofer Ges Forschung | 用以產生音訊輸出信號或資料串流之裝置及方法、和相關聯之系統、電腦可讀媒體與電腦程式 |
| FR2976759B1 (fr) * | 2011-06-16 | 2013-08-09 | Jean Luc Haurais | Procede de traitement d'un signal audio pour une restitution amelioree. |
| CN102395070B (zh) * | 2011-10-11 | 2014-05-14 | 美特科技(苏州)有限公司 | 双耳录音耳机 |
| JP6078556B2 (ja) * | 2012-01-23 | 2017-02-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | オーディオ・レンダリング・システムおよびそのための方法 |
| WO2013111038A1 (en) * | 2012-01-24 | 2013-08-01 | Koninklijke Philips N.V. | Generation of a binaural signal |
| US9436929B2 (en) * | 2012-01-24 | 2016-09-06 | Verizon Patent And Licensing Inc. | Collaborative event playlist systems and methods |
| US9510124B2 (en) * | 2012-03-14 | 2016-11-29 | Harman International Industries, Incorporated | Parametric binaural headphone rendering |
| WO2014007097A1 (ja) | 2012-07-02 | 2014-01-09 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、並びにプログラム |
| WO2014007095A1 (ja) | 2012-07-02 | 2014-01-09 | ソニー株式会社 | 復号装置および方法、符号化装置および方法、並びにプログラム |
| MY181365A (en) | 2012-09-12 | 2020-12-21 | Fraunhofer Ges Forschung | Apparatus and method for providing enhanced guided downmix capabilities for 3d audio |
| WO2014106543A1 (en) * | 2013-01-04 | 2014-07-10 | Huawei Technologies Co., Ltd. | Method for determining a stereo signal |
| US9860663B2 (en) | 2013-01-15 | 2018-01-02 | Koninklijke Philips N.V. | Binaural audio processing |
| EP2946572B1 (en) | 2013-01-17 | 2018-09-05 | Koninklijke Philips N.V. | Binaural audio processing |
| CN103152500B (zh) * | 2013-02-21 | 2015-06-24 | 黄文明 | 多方通话中回音消除方法 |
| WO2014171791A1 (ko) * | 2013-04-19 | 2014-10-23 | 한국전자통신연구원 | 다채널 오디오 신호 처리 장치 및 방법 |
| CN108810793B (zh) | 2013-04-19 | 2020-12-15 | 韩国电子通信研究院 | 多信道音频信号处理装置及方法 |
| US9445197B2 (en) * | 2013-05-07 | 2016-09-13 | Bose Corporation | Signal processing for a headrest-based audio system |
| GB2515089A (en) * | 2013-06-14 | 2014-12-17 | Nokia Corp | Audio Processing |
| EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
| EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
| EP2830045A1 (en) * | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| US9319819B2 (en) | 2013-07-25 | 2016-04-19 | Etri | Binaural rendering method and apparatus for decoding multi channel audio |
| TWI671734B (zh) | 2013-09-12 | 2019-09-11 | 瑞典商杜比國際公司 | 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統 |
| CN105706468B (zh) | 2013-09-17 | 2017-08-11 | 韦勒斯标准与技术协会公司 | 用于音频信号处理的方法和设备 |
| US10580417B2 (en) | 2013-10-22 | 2020-03-03 | Industry-Academic Cooperation Foundation, Yonsei University | Method and apparatus for binaural rendering audio signal using variable order filtering in frequency domain |
| US20160277837A1 (en) * | 2013-11-11 | 2016-09-22 | Sharp Kabushiki Kaisha | Earphone and earphone system |
| EP4246513A3 (en) * | 2013-12-23 | 2023-12-13 | Wilus Institute of Standards and Technology Inc. | Audio signal processing method and parameterization device for same |
| WO2015142073A1 (ko) | 2014-03-19 | 2015-09-24 | 주식회사 윌러스표준기술연구소 | 오디오 신호 처리 방법 및 장치 |
| KR102343453B1 (ko) | 2014-03-28 | 2021-12-27 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US9860668B2 (en) | 2014-04-02 | 2018-01-02 | Wilus Institute Of Standards And Technology Inc. | Audio signal processing method and device |
| CN106537942A (zh) * | 2014-11-11 | 2017-03-22 | 谷歌公司 | 3d沉浸式空间音频系统和方法 |
| KR102433613B1 (ko) * | 2014-12-04 | 2022-08-19 | 가우디오랩 주식회사 | 개인 특징을 반영한 바이노럴 오디오 신호 처리 방법 및 장치 |
| WO2016108655A1 (ko) | 2014-12-31 | 2016-07-07 | 한국전자통신연구원 | 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 |
| KR20160081844A (ko) * | 2014-12-31 | 2016-07-08 | 한국전자통신연구원 | 다채널 오디오 신호의 인코딩 방법 및 상기 인코딩 방법을 수행하는 인코딩 장치, 그리고, 다채널 오디오 신호의 디코딩 방법 및 상기 디코딩 방법을 수행하는 디코딩 장치 |
| US9613628B2 (en) | 2015-07-01 | 2017-04-04 | Gopro, Inc. | Audio decoder for wind and microphone noise reduction in a microphone array system |
| US9460727B1 (en) * | 2015-07-01 | 2016-10-04 | Gopro, Inc. | Audio encoder for wind and microphone noise reduction in a microphone array system |
| KR20230105002A (ko) * | 2015-08-25 | 2023-07-11 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩및 디코딩 |
| RU2729603C2 (ru) | 2015-09-25 | 2020-08-11 | Войсэйдж Корпорейшн | Способ и система для кодирования стереофонического звукового сигнала с использованием параметров кодирования первичного канала для кодирования вторичного канала |
| US9734686B2 (en) * | 2015-11-06 | 2017-08-15 | Blackberry Limited | System and method for enhancing a proximity warning sound |
| US9749766B2 (en) * | 2015-12-27 | 2017-08-29 | Philip Scott Lyren | Switching binaural sound |
| DK3406088T3 (da) * | 2016-01-19 | 2022-04-25 | Sphereo Sound Ltd | Syntese af signaler til immersiv lydgengivelse |
| WO2017132082A1 (en) | 2016-01-27 | 2017-08-03 | Dolby Laboratories Licensing Corporation | Acoustic environment simulation |
| WO2017143003A1 (en) * | 2016-02-18 | 2017-08-24 | Dolby Laboratories Licensing Corporation | Processing of microphone signals for spatial playback |
| US11234072B2 (en) | 2016-02-18 | 2022-01-25 | Dolby Laboratories Licensing Corporation | Processing of microphone signals for spatial playback |
| EP3453190A4 (en) | 2016-05-06 | 2020-01-15 | DTS, Inc. | SYSTEMS FOR IMMERSIVE AUDIO PLAYBACK |
| US9913061B1 (en) | 2016-08-29 | 2018-03-06 | The Directv Group, Inc. | Methods and systems for rendering binaural audio content |
| KR102291811B1 (ko) * | 2016-11-08 | 2021-08-23 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 사이드 이득 및 잔여 이득을 사용하여 멀티채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
| US10979844B2 (en) | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| GB2563635A (en) | 2017-06-21 | 2018-12-26 | Nokia Technologies Oy | Recording and rendering audio signals |
| US11089425B2 (en) * | 2017-06-27 | 2021-08-10 | Lg Electronics Inc. | Audio playback method and audio playback apparatus in six degrees of freedom environment |
| TWI703557B (zh) * | 2017-10-18 | 2020-09-01 | 宏達國際電子股份有限公司 | 聲音播放裝置、方法及非暫態儲存媒體 |
| US10504529B2 (en) | 2017-11-09 | 2019-12-10 | Cisco Technology, Inc. | Binaural audio encoding/decoding and rendering for a headset |
| KR20200141438A (ko) | 2018-04-11 | 2020-12-18 | 돌비 인터네셔널 에이비 | 6DoF 오디오 렌더링을 위한 방법, 장치 및 시스템, 및 6DoF 오디오 렌더링을 위한 데이터 표현 및 비트스트림 구조 |
| EP3870991A4 (en) | 2018-10-24 | 2022-08-17 | Otto Engineering Inc. | DIRECTIONAL AUDIO COMMUNICATION SYSTEM |
| CN111107481B (zh) * | 2018-10-26 | 2021-06-22 | 华为技术有限公司 | 一种音频渲染方法及装置 |
| TW202041053A (zh) | 2018-12-28 | 2020-11-01 | 日商索尼股份有限公司 | 資訊處理裝置、資訊處理方法及資訊處理程式 |
| EP4035426A1 (en) * | 2019-09-23 | 2022-08-03 | Dolby Laboratories Licensing Corporation | Audio encoding/decoding with transform parameters |
| CN111031467A (zh) * | 2019-12-27 | 2020-04-17 | 中航华东光电（上海）有限公司 | 一种hrir前后方位增强方法 |
| WO2022010454A1 (en) * | 2020-07-06 | 2022-01-13 | Hewlett-Packard Development Company, L.P. | Binaural down-mixing of audio signals |
| CN111885414B (zh) * | 2020-07-24 | 2023-03-21 | 腾讯科技（深圳）有限公司 | 一种数据处理方法、装置、设备及可读存储介质 |
| US11736886B2 (en) * | 2021-08-09 | 2023-08-22 | Harman International Industries, Incorporated | Immersive sound reproduction using multiple transducers |
| US12003949B2 (en) | 2022-01-19 | 2024-06-04 | Meta Platforms Technologies, Llc | Modifying audio data transmitted to a receiving device to account for acoustic parameters of a user of the receiving device |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69428939T2 (de) * | 1993-06-22 | 2002-04-04 | Deutsche Thomson-Brandt Gmbh | Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix |
| US6128597A (en) * | 1996-05-03 | 2000-10-03 | Lsi Logic Corporation | Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor |
| US5946352A (en) * | 1997-05-02 | 1999-08-31 | Texas Instruments Incorporated | Method and apparatus for downmixing decoded data streams in the frequency domain prior to conversion to the time domain |
| US6122619A (en) * | 1998-06-17 | 2000-09-19 | Lsi Logic Corporation | Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor |
| JP4499206B2 (ja) * | 1998-10-30 | 2010-07-07 | ソニー株式会社 | オーディオ処理装置及びオーディオ再生方法 |
| KR100416757B1 (ko) * | 1999-06-10 | 2004-01-31 | 삼성전자주식회사 | 위치 조절이 가능한 가상 음상을 이용한 스피커 재생용 다채널오디오 재생 장치 및 방법 |
| JP2001057699A (ja) * | 1999-06-11 | 2001-02-27 | Pioneer Electronic Corp | オーディオ装置 |
| US7236838B2 (en) * | 2000-08-29 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Signal processing apparatus, signal processing method, program and recording medium |
| US7583805B2 (en) * | 2004-02-12 | 2009-09-01 | Agere Systems Inc. | Late reverberation-based synthesis of auditory scenes |
| US7116787B2 (en) * | 2001-05-04 | 2006-10-03 | Agere Systems Inc. | Perceptual synthesis of auditory scenes |
| WO2002101728A1 (es) | 2001-06-11 | 2002-12-19 | Lear Automotive (Eeds) Spain, S.L. | Metodo y sistema para cancelacion de exos y ruidos en entornos con condiciones acusticas variables y altamente realimentados |
| CN1647156B (zh) * | 2002-04-22 | 2010-05-26 | 皇家飞利浦电子股份有限公司 | 参数编码方法、参数编码器、用于提供音频信号的设备、解码方法、解码器、用于提供解码后的多声道音频信号的设备 |
| JP4187719B2 (ja) * | 2002-05-03 | 2008-11-26 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | マルチチャネル・ダウンミキシング装置 |
| JP3902065B2 (ja) * | 2002-05-10 | 2007-04-04 | パイオニア株式会社 | サラウンドヘッドホン出力信号生成装置 |
| WO2004028204A2 (en) * | 2002-09-23 | 2004-04-01 | Koninklijke Philips Electronics N.V. | Generation of a sound signal |
| JP2004128854A (ja) * | 2002-10-02 | 2004-04-22 | Matsushita Electric Ind Co Ltd | 音響再生装置 |
| ES2278192T3 (es) * | 2002-11-28 | 2007-08-01 | Koninklijke Philips Electronics N.V. | Codificacion de una señal de audio. |
| ES2273216T3 (es) * | 2003-02-11 | 2007-05-01 | Koninklijke Philips Electronics N.V. | Codificacion de audio. |
| JP4124702B2 (ja) * | 2003-06-11 | 2008-07-23 | 日本放送協会 | 立体音響信号符号化装置、立体音響信号符号化方法および立体音響信号符号化プログラム |
| US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
| TWI233091B (en) * | 2003-11-18 | 2005-05-21 | Ali Corp | Audio mixing output device and method for dynamic range control |
| JP4271588B2 (ja) * | 2004-01-08 | 2009-06-03 | シャープ株式会社 | ディジタルデータの符号化方法および符号化装置 |
| US7394903B2 (en) | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
| WO2005081229A1 (ja) * | 2004-02-25 | 2005-09-01 | Matsushita Electric Industrial Co., Ltd. | オーディオエンコーダ及びオーディオデコーダ |
| US7805313B2 (en) * | 2004-03-04 | 2010-09-28 | Agere Systems Inc. | Frequency-based coding of channels in parametric multi-channel coding systems |
| RU2396608C2 (ru) * | 2004-04-05 | 2010-08-10 | Конинклейке Филипс Электроникс Н.В. | Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема |
| KR100636145B1 (ko) | 2004-06-04 | 2006-10-18 | 삼성전자주식회사 | 확장된 고해상도 오디오 신호 부호화 및 복호화 장치 |
| US20050273324A1 (en) * | 2004-06-08 | 2005-12-08 | Expamedia, Inc. | System for providing audio data and providing method thereof |
| JP2005352396A (ja) | 2004-06-14 | 2005-12-22 | Matsushita Electric Ind Co Ltd | 音響信号符号化装置および音響信号復号装置 |
| KR100644617B1 (ko) * | 2004-06-16 | 2006-11-10 | 삼성전자주식회사 | 7.1 채널 오디오 재생 방법 및 장치 |
| US7391870B2 (en) * | 2004-07-09 | 2008-06-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V | Apparatus and method for generating a multi-channel output signal |
| CN1985544B (zh) * | 2004-07-14 | 2010-10-13 | 皇家飞利浦电子股份有限公司 | 处理立体声下混合信号的方法、装置、编译码器和系统 |
| WO2006011367A1 (ja) * | 2004-07-30 | 2006-02-02 | Matsushita Electric Industrial Co., Ltd. | オーディオ信号符号化装置および復号化装置 |
| US7451325B2 (en) | 2004-08-02 | 2008-11-11 | At&T Intellectual Property I, L.P. | Methods, systems and computer program products for detecting tampering of electronic equipment by varying a verification process |
| GB0419346D0 (en) * | 2004-09-01 | 2004-09-29 | Smyth Stephen M F | Method and apparatus for improved headphone virtualisation |
| US7720230B2 (en) * | 2004-10-20 | 2010-05-18 | Agere Systems, Inc. | Individual channel shaping for BCC schemes and the like |
| US20060106620A1 (en) * | 2004-10-28 | 2006-05-18 | Thompson Jeffrey K | Audio spatial environment down-mixer |
| SE0402649D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Advanced methods of creating orthogonal signals |
| SE0402650D0 (sv) * | 2004-11-02 | 2004-11-02 | Coding Tech Ab | Improved parametric stereo compatible coding of spatial audio |
| KR100682904B1 (ko) * | 2004-12-01 | 2007-02-15 | 삼성전자주식회사 | 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법 |
| JP4258471B2 (ja) | 2005-01-13 | 2009-04-30 | セイコーエプソン株式会社 | 時刻誤差情報提供システム、端末装置、端末装置の制御方法、端末装置の制御プログラム、端末装置の制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US7961890B2 (en) * | 2005-04-15 | 2011-06-14 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Multi-channel hierarchical audio coding with compact side information |
| JP5587551B2 (ja) | 2005-09-13 | 2014-09-10 | コーニンクレッカ フィリップス エヌ ヴェ | オーディオ符号化 |
| KR101333031B1 (ko) | 2005-09-13 | 2013-11-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | ＨＲＴＦｓ을 나타내는 파라미터들의 생성 및 처리 방법 및디바이스 |
| WO2007080211A1 (en) * | 2006-01-09 | 2007-07-19 | Nokia Corporation | Decoding of binaural audio signals |
| DE602007004451D1 (de) | 2006-02-21 | 2010-03-11 | Koninkl Philips Electronics Nv | Audiokodierung und audiodekodierung |
| US7876904B2 (en) * | 2006-07-08 | 2011-01-25 | Nokia Corporation | Dynamic decoding of binaural audio signals |
| KR100873072B1 (ko) * | 2006-08-31 | 2008-12-09 | 삼성모바일디스플레이주식회사 | 발광제어구동부 및 그를 이용한 유기전계발광표시장치 |
-
2007
- 2007-02-13 DE DE200760004451 patent/DE602007004451D1/de active Active
- 2007-02-13 ES ES07705870T patent/ES2339888T3/es active Active
- 2007-02-13 WO PCT/IB2007/050473 patent/WO2007096808A1/en active Application Filing
- 2007-02-13 US US12/279,856 patent/US9009057B2/en active Active
- 2007-02-13 KR KR1020087022998A patent/KR101358700B1/ko active IP Right Grant
- 2007-02-13 PL PL07705870T patent/PL1989920T3/pl unknown
- 2007-02-13 CN CN200780006210XA patent/CN101390443B/zh active Active
- 2007-02-13 JP JP2008555915A patent/JP5081838B2/ja active Active
- 2007-02-13 BR BRPI0707969A patent/BRPI0707969B1/pt active IP Right Grant
- 2007-02-13 AT AT07705870T patent/ATE456261T1/de not_active IP Right Cessation
- 2007-02-13 EP EP20070705870 patent/EP1989920B1/en active Active
- 2007-02-16 TW TW096105931A patent/TWI508578B/zh active
-
2015
- 2015-04-06 US US14/679,283 patent/US9865270B2/en active Active
-
2018
- 2018-01-08 US US15/864,574 patent/US10741187B2/en active Active
-
2020
- 2020-07-06 US US16/920,843 patent/US20200335115A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US9865270B2 (en) | 2018-01-09 |
| EP1989920A1 (en) | 2008-11-12 |
| CN101390443A (zh) | 2009-03-18 |
| US10741187B2 (en) | 2020-08-11 |
| DE602007004451D1 (de) | 2010-03-11 |
| TW200738038A (en) | 2007-10-01 |
| WO2007096808A1 (en) | 2007-08-30 |
| BRPI0707969B1 (pt) | 2020-01-21 |
| EP1989920B1 (en) | 2010-01-20 |
| ES2339888T3 (es) | 2010-05-26 |
| US20150213807A1 (en) | 2015-07-30 |
| US20200335115A1 (en) | 2020-10-22 |
| US9009057B2 (en) | 2015-04-14 |
| JP2009527970A (ja) | 2009-07-30 |
| CN101390443B (zh) | 2010-12-01 |
| US20180151185A1 (en) | 2018-05-31 |
| KR20080107422A (ko) | 2008-12-10 |
| KR101358700B1 (ko) | 2014-02-07 |
| ATE456261T1 (de) | 2010-02-15 |
| JP5081838B2 (ja) | 2012-11-28 |
| PL1989920T3 (pl) | 2010-07-30 |
| US20090043591A1 (en) | 2009-02-12 |
| TWI508578B (zh) | 2015-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200335115A1 (en) | Audio encoding and decoding | |
| JP5698189B2 (ja) | オーディオ符号化 | |
| RU2443075C2 (ru) | Способ и устройство для генерации бинаурального аудиосигнала | |
| KR101010464B1 (ko) | 멀티 채널 신호의 파라메트릭 표현으로부터 공간적 다운믹스 신호의 생성 | |
| JP4944902B2 (ja) | バイノーラルオーディオ信号の復号制御 | |
| CN117560615A (zh) | 目标空间音频参数和相关联的空间音频播放的确定 | |
| BR112016014892B1 (pt) | Método e aparelho para processamento de sinal de áudio | |
| KR20180042397A (ko) | 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩 | |
| GB2485979A (en) | Spatial audio coding | |
| RU2427978C2 (ru) | Кодирование и декодирование аудио | |
| MX2008010631A (es) | Codificacion y decodificacion de audio |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B25D | Requested change of name of applicant approved |
Owner name: KONINKLIJKE PHILIPS N. V. (NL) |
|
| B25G | Requested change of headquarter approved |
Owner name: KONINKLIJKE PHILIPS N. V. (NL) |
|
| B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
| B06T | Formal requirements before examination [chapter 6.20 patent gazette] |
Free format text: EXIGENCIA DE PRE-EXAME |
|
| B15K | Others concerning applications: alteration of classification |
Free format text: AS CLASSIFICACOES ANTERIORES ERAM: H04S 3/00 , H04S 5/00 Ipc: H04S 3/00 (1980.01), H04S 5/00 (1980.01), G10L 19/ |
|
| B07A | Application suspended after technical examination (opinion) [chapter 7.1 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 21/01/2020, OBSERVADAS AS CONDICOES LEGAIS. |