BR112015002367B1 - Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix - Google Patents

Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix Download PDF

Info

Publication number
BR112015002367B1
BR112015002367B1 BR112015002367-3A BR112015002367A BR112015002367B1 BR 112015002367 B1 BR112015002367 B1 BR 112015002367B1 BR 112015002367 A BR112015002367 A BR 112015002367A BR 112015002367 B1 BR112015002367 B1 BR 112015002367B1
Authority
BR
Brazil
Prior art keywords
channels
channel
downmix
processing units
depending
Prior art date
Application number
BR112015002367-3A
Other languages
English (en)
Other versions
BR112015002367A2 (pt
Inventor
Thorsten Kastner
Oliver Hellmuth
Juergen Herre
Leon Terentiv
Original Assignee
Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev filed Critical Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev
Publication of BR112015002367A2 publication Critical patent/BR112015002367A2/pt
Publication of BR112015002367B1 publication Critical patent/BR112015002367B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix. um decodificador para gerar um sinal de saída de áudio, compreendendo um ou mais canal(is) de saída de áudio de um sinal de downmix, compreendendo três ou mais canais de downmix, caracterizado pelo sinal de downmix codificar três ou mais sinais de objeto de áudio é fornecido. o decodificador compreende um roteador de canal de entrada (110) para receber três ou mais canais de downmix e para receber informação adicional e, pelo menos, duas unidades de processamento de canal (121, 122) para gerar, pelo menos, dois canais processados para obter um ou mais canal(is) de saída de áudio. o roteador de canal de entrada (110) é configurado para inserir cada um de, pelo menos, dois dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento de canal (121, 122), de modo que cada uma de, pelo menos, duas unidades de processamento de canal receba um ou mais dos três ou mais canais de downmix e de modo que cada uma de, pelo menos, duas unidades de processamento de canal (121, 122) receba menos do que o número total dos três ou mais canais de downmix. cada unidade de processamento do canal de, pelo menos, duas unidades de processamento de canal (121, 122) é configurada para gerar um ou mais de, pelo menos, dois canais processados, dependendo da informação adicional e dependendo de um ou mais de, pelo menos, dois de três ou mais dos referidos canais de downmix recebidos pela referida unidade de processamento do canal do roteador de canal de entrada.

Description

DESCRIÇÃO
[0001] A presente invenção refere-se a um decodificador e a um método para codificação de objeto de áudio espacial multi-instância (M-SAOC | multi-instance spatial-audio-object-coding) que emprega um conceito paramétrico para caixas multicanal de downmix/upmix.
[0002] Nos sistemas modernos de áudio digital, é uma tendência principal permitir as modificações relacionadas ao objeto de áudio do conteúdo transmitido no lado receptor. Estas modificações incluem modificações de ganho das partes selecionadas do sinal de áudio e/ou reposicionamento espacial dos objetos de áudio dedicados no caso de reprodução multicanal através dos alto-falantes espacialmente distribuídos. Isso pode ser obtido pelas diferentes partes individualmente distribuídas do conteúdo de áudio nos diferentes alto-falantes.
[0003] Em outras palavras, na técnica de processamento de áudio, transmissão de áudio e armazenamento de áudio, há um desejo crescente em permitir a interação do usuário na reprodução do conteúdo de áudio orientado pelo objeto e ainda uma demanda para utilizar as possibilidades estendidas da reprodução multicanal para individualmente renderizar os conteúdos de áudio ou partes destes a fim de melhorar a impressão da audição. Pelo presente, a utilização do conteúdo de áudio multicanal traz melhorias significativas para o usuário. Por exemplo, uma impressão da audição tridimensional pode ser obtida, trazendo uma satisfação melhorada do usuário nas aplicações de entretenimento. Entretanto, o conteúdo de áudio multicanal é também útil em ambientes profissionais, por exemplo, em aplicações de conferência telefônica, pois a inteligibilidade do transmissor pode ser melhorada utilizando uma reprodução de áudio multicanal. Outra possivel aplicação é oferecer a um ouvinte de uma peça musical ajustar individualmente o nivel da reprodução e/ou posição espacial de diferentes partes (também chamadas de "objetos de áudio") ou faixas, como uma parte vocal ou diferentes instrumentos. O usuário pode realizar tal ajuste por razões de gosto pessoal, para transcrição mais fácil de uma ou mais parte (s) da peça musical, finalidades educacionais, karaokê, ensaio, etc.
[0004] A transmissão discreta direta de todo o conteúdo digital de áudio multiobjeto ou multicanal, por exemplo, na forma de dados da modulação por codificação de pulso (PCM I pulse code modulation)ou formatos de áudio mais comprimidos, exige taxas de bit muito altas. Entretanto, ainda é desejável transmitir e armazenar dados de áudio em uma forma eficiente de taxa de bit. Assim, alguém que deseja aceitar uma troca razoável entre a qualidade do áudio e as exigências de taxa de bit a fim de evitar uma carga de recurso excessiva causada pelas aplicações multicanal/multiobjeto.
[0005] Recentemente, no campo da codificação de áudio, as técnicas paramétricas para a transmissão/armazenamento eficientes por taxa de bit de sinais de áudio multicanal/multiobjeto foram introduzidas, por exemplo, pelo Grupo de Especialistas de Imagens com Movimento (MPEG / Moving Picture Experts Group) e outros. Um exemplo é MPEG Surround (MPS) como uma abordagem orientada por canal [MPS, BCC], ou Codificação do Objeto de Áudio Espacial MPEG (SAOC) como uma abordagem orientada por objeto [JSC, SAOC, SAOC1, SAOC2]. Outra abordagem orientada por objeto é denominada "separação de fonte informada" [ISS1, ISS2, ISS3, ISS4, ISS5, ISS6]. Estas técnicas pretendem reconstruir uma cena de áudio de saida desejada ou um objeto de fonte de áudio desejada com base em um downmix de canais/objetos e informações adicionais que descrevem a cena de áudio transmitida/armazenada e/ou os objetos de fonte de áudio na cena de áudio
[0006] A estimativa e a aplicação da informação adicional relacionada ao canal/objeto nestes sistemas é feita em uma forma seletiva de tempo/frequência. Assim, estes sistemas empregam as transformadas de tempo/frequência como a Transformada Discreta de Fourier (DFT / Discrete Fourier Transform), a Transformada de Fourier de Curta Duração (STFT / Short Time Fourier Transform)ou bancos de filtro como bancos de Filtro Espelhado em Quadratura (QMF / Quadrature Mirror Filter) , etc. 0 principio básico destes sistemas é descrito na figura 3, utilizando o exemplo de MPEG SAOC.
[0007] No caso de STFT, a dimensão temporal é representada pelo número de bloco de tempo e a dimensão espectral é capturada pelo número de coeficiente espectral ("posição"). No caso de QMF, a dimensão temporal é representada pelo número da faixa de tempo e a dimensão espectral é capturada pelo número de sub-banda. Se a resolução espectral de QMF é melhorada pela aplicação subsequente de um segundo estágio de filtro, todo o banco de filtro é denominado QMF hibrido e as sub-bandas de fina resolução são denominadas sub-bandas hibridas.
[0008] Conforme já mencionado acima, em SAOC o processamento geral é realizado em uma forma seletiva de tempo/frequência e pode ser descrito como segue dentro de cada faixa de frequência, conforme descrito na figura 2:sinais de objeto de áudio de entrada N Si ... sN são misturados aos canais P Xj ... xP como parte do processamento do codificador utilizando uma matriz de downmix que consiste em elementos dlri ... dN,P. Além disso, o codificador extrai a informação adicional que descreve as características dos objetos de áudio de entrada (módulo do estimador de informação adicional (SIE)). Para MPEG SAOC, as relações das potências do objeto entre elas são a forma mais básica desta informação adicional.sinal(s) de downmix e informação adicional são transmitidos/armazenados. Para esta finalidade, o(s) sinal (s) de áudio de downmix podem ser comprimidos, por exemplo, utilizando os codificadores de áudio perceptuais bem conhecidos como MPEG-1/2 Camada II ou III (aka .mp3), Codificação de Áudio Avançada MPEG-2/4 (AAC / Advanced Audio Coding) etc.- na extremidade de recepção, o decodificador conceitualmente tenta recuperar os sinais do objeto originais ("separação do objeto") do(s) sinais de downmix (decodificados) utilizando a informação adicional transmitida. Estes sinais do objeto aproximado §i ... sN são então misturados em uma cena alvo representada por canais de saida de áudio M ... yM utilizando uma matriz de renderização descrita pelos coeficientes rlfl... rN,Mna Figura 2. A cena alvo desejada pode ser, no caso extremo, a renderização de apenas um sinal fonte da mistura (cenário de separação da fonte), mas ainda qualquer outra cena acústica arbitrária que consiste em objetos transmitidos. Por exemplo, a saida pode ser uma cena alvo com canal único, de 2 canais estéreos ou multicanal 5.1.
[0009] O armazenamento / largura de banda crescente disponível e as melhorias continuas no campo da codificação de áudio permite que o usuário selecione de uma escolha constantemente crescente de produções de áudio multicanal. Os formatos de áudio multicanal 5.1 já são padrão nas produções de DVD e Blue-Ray. Novos formatos de áudio como Áudio MPEG-H 3D com ainda mais canais de transporte de áudio aparecem no horizonte, que fornecerá aos usuários finais uma experiência de áudio altamente imersiva.
[00010] Os esquemas de codificação de objeto de áudio paramétricos são atualmente restritos a um máximo de dois canais de downmix.Eles podem ser aplicados apenas em alguma extensão nas misturas multicanal, por exemplo, apenas em dois canais de downmix selecionados. A flexibilidade destes esquemas de codificação oferece ao usuário o ajuste da cena de áudio para suas próprias referências é então severamente limitada, por exemplo, com relação à mudança de nivel de áudio do comentador de esportes e a atmosfera na transmissão de esportes.
[00011] Além disso, os esquemas de codificação do objeto de áudio atual oferecem apenas uma variabilidade limitada no processo de mistura no lado do decodificador. 0 processo de mistura é limitado à mistura variante de tempo dos objetos de áudio; e mistura variante de frequência não é possivel.
[00012] Então, seria altamente apreciado se os conceitos melhorados para codificação de áudio seriam fornecidos.
[00013] 0 objeto da presente invenção é fornecer os conceitos melhorados para a codificação do objeto de áudio. 0 objeto da presente invenção é solucionado por um decodificador, de acordo com a reivindicação 1, por um método, de acordo com a reivindicação 16 e por um programa de computador, de acordo com a reivindicação 17.
[00014] Um decodificador para gerar um sinal de saida de áudio compreendendo um ou mais canal (is) de saida de áudio de um sinal de downmix compreendendo três ou mais canais de downmix, em que o sinal de downmix codifica três ou mais sinais de objeto de áudio é fornecido.
[00015] 0 decodificador compreende um roteador de canal de entrada para receber os três ou mais canais de downmix e para receber a informação adicional, e pelo menos duas unidades de processamento do canal para gerar, pelo menos, dois canais processados para obter um ou mais canal(is) de saida de áudio.
[00016] 0 roteador de canal de entrada é configurado para inserir cada um de, pelo menos, dois dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal, de modo que cada uma de, pelo menos, duas unidades de processamento do canal recebe um ou mais dos três ou mais canais de downmix, e de modo que cada uma de, pelo menos, duas unidades de processamento do canal recebe menos do que o número total das três ou mais canais de downmix.
[00017] Cada unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal é configurada para gerar um ou mais de, pelo menos, dois canais processados, dependendo da informação adicional e dependendo de um ou mais de, pelo menos, dois de três ou mais dos referidos canais de downmix recebidos pela referida unidade de processamento do canal do roteador de canal de entrada.
[00018] Mais flexibilidade no processo de mistura permite uma ótima exploração das características do objeto do sinal. Um downmix pode ser produzido sendo otimizado para a separação paramétrica no lado do decodificador referente à qualidade percebida.
[00019] As aplicações se estendem à parte paramétrica do esquema de SAOC em um número arbitrário dos canais de downmix/upmix. O método inventivo permite, ainda, a mistura completamente flexível dos objetos de áudio.
[00020] De acordo com uma aplicação, o roteador de canal de entrada pode ser configurado para inserir cada um de, pelo menos, dois de três ou mais canais de downmix exatamente em uma de, pelo menos, duas unidades de processamento do canal.
[00021] Em uma aplicação, o roteador de canal de entrada pode ser configurado para inserir cada um dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal, de modo que cada um dos três ou mais canais de downmix seja recebido por uma ou mais de, pelo menos, duas unidades processadas do canal.
[00022] De acordo com uma aplicação, cada uma de, pelo menos, duas unidades de processamento do canal pode ser configurada para gerar um ou mais de, pelo menos, dois referidos canais processados independentes de, pelo menos, um de três ou mais canais de downmix.
[00023] Em uma aplicação, cada uma de, pelo menos, duas unidades de processamento do canal pode tanto ser uma unidade de processamento mono quanto uma unidade de processamento estéreo, em que a referida unidade de processamento mono pode ser configurada para receber exatamente um dos três ou mais canais de downmix e é configurada para gerar exatamente um ou exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de um dos referidos três ou mais canais de downmix e dependendo da informação adicional, e em que a referida unidade de processamento estéreo pode ser configurada para receber exatamente dois dos três ou mais canais de downmix e é configurado para gerar exatamente um ou exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de dois dos três referidos ou mais canais de downmix e dependendo da informação adicional.
[00024] Pelo menos uma de, pelo menos, duas unidadesde processamento do canal pode ser configurada para receber exatamente um dos três ou mais canais de downmix e ser configurada para gerar exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de um dos referidos três ou mais canais de downmix e dependendo da informação adicional.
[00025] De acordo com uma aplicação, pelo menos umade, pelo menos, duas unidades de processamento do canal pode ser configurada para receber exatamente dois dos três ou mais canais de downmix e ser configurada para gerar exatamente um de, pelo menos, dois canais processados, dependendo exatamente de dois dos três referidos ou mais canais de downmix e dependendo da informação adicional.
[00026] Em uma aplicação, o roteador de canal deentrada pode ser configurado para receber quatro ou mais canais de downmix, e pelo menos uma de, pelo menos, duas unidades de processamento do canal pode ser configurada para receber pelo menos três de quatro ou mais canais de downmix e pode ser configurada para gerar, pelo menos, três dos canais processados dependendo de, pelo menos, três de quatro ou mais referidos canais de downmix e dependendo da informação adicional.
[00027] De acordo com uma aplicação, pelo menos uma de, pelo menos, duas unidades de processamento do canal pode ser configurada para receber exatamente três de quatro ou mais canais de downmix e pode ser configurada para gerar exatamente três dos canais processados, dependendo exatamente de três de quatro ou mais referidos canais de downmix e dependendo da informação adicional.
[00028] Em uma aplicação, o roteador de canal de entrada pode ser configurado para receber seis ou mais canais de downmix, e em que pelo menos uma de, pelo menos, duas unidades de processamento do canal pode ser configurada para receber exatamente cinco de seis ou mais canais de downmix e é configurada para gerar exatamente cinco dos canais processados, dependendo exatamente dos seis ou mais referidos canais de downmix e dependendo da informação adicional.
[00029] Em uma aplicação, o roteador de canal de entrada é configurado para não inserir pelo menos um dos três ou mais canais de downmix em qualquer uma de, pelo menos, duas unidades de processamento do canal, de modo que pelo menos um dos três ou mais referidos canais de downmix não seja recebido por qualquer uma de, pelo menos, duas unidades processadas do canal.
[00030] De acordo com uma aplicação, o decodificador pode compreender, ainda, um roteador do canal de saida para combinar, pelo menos, dois canais processados para obter um ou mais canal(is) de saida de áudio.
[00031] Em uma aplicação, o decodificador podecompreender, ainda, um renderizador, em que o renderizador pode ser configurado para receber informações de renderização, e em que o renderizador é configurado para gerar um ou mais canal (is) de saida de áudio dependendo de, pelo menos, dois canais processados e dependendo das informações de renderização.
[00032] De acordo com uma aplicação, pelo menos duas unidades de processamento do canal podem ser configuradas para gerar, pelo menos, dois canais processados em paralelo.
[00033] De acordo com uma aplicação, uma primeira unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal pode ser configurada para inserir um primeiro canal processado de, pelo menos, dois canais processados em uma segunda unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal. A referida segunda unidade de processamento pode ser configurada para gerar um segundo canal processado de, pelo menos, dois canais processados dependendo do primeiro canal processado.
[00034] Além disso, um método para gerar um sinal de saida de áudio, compreendendo um ou mais canal (is) de saida de áudio de um sinal de downmix, compreendendo três ou mais canais de downmix é fornecido. 0 sinal de downmix codifica três ou mais sinais de objeto de áudio. O método compreende:- Receber três ou mais canais de downmix e receber informação adicional por um roteador de canal de entrada,- Inserir cada um de, pelo menos, dois dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal, e- Gerar, pelo menos, dois canais processados por, pelo menos, duas unidades de processamento do canal para obter um ou mais canal(is) de saida de áudio,
[00035] A inserção de cada um de, pelo menos, doisdos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal pelo roteador de canal de entrada é conduzida, de modo que cada uma de, pelo menos, duas unidades de processamento do canal recebe um ou mais dos três ou mais canais de downmix, e de modo que cada uma de, pelo menos, duas unidades de processamento do canal recebe menos do que o número total dos três ou mais canais de downmix.
[00036] A geração de, pelo menos, dois canaisprocessados é conduzida pela geração de um ou mais de, pelo menos, dois canais processados por cada unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal dependendo da informação adicional e dependendo de um ou mais de, pelo menos, dois de três ou mais dos referidos canais de downmix recebidos pela referida unidade de processamento do canal do roteador de canal de entrada.
[00037] Além disso, um programa de computador paraimplementar o método descrito acima, quando executado em um computador ou processador do sinal, é fornecido.
[00038] A seguir, as aplicações da presente invençãosão descritas em mais detalhes com referência às figuras, nasquais:
[00039] A Figura 1 é um decodificador para gerar um sinal de saida de áudio, de acordo com uma aplicação,
[00040] A Figura 2 é uma visualização geral do sistema SAOC que descreve o principio destes sistemas utilizando o exemplo de MPEG SAOC,
[00041] A Figura 3 descreve uma ilustração esquemática que mostra o principio de combinação de vários momentos dos decodificadores/transcodificadores mono e estéreo de SAOC em paralelo à decodificação paramétrica de uma mistura do sinal multicanal, de acordo com uma aplicação, e
[00042] A Figura 4 descreve um diagrama esquemático que ilustra o principio de uma estrutura dos decodificadores/transcodificadores mono e estéreo SAOC em cascata para processar uma mistura do sinal multicanal de acordo com uma aplicação.
[00043] Antes de descrever as aplicações da presente invenção, mais histórico sobre os sistemas de SAOC do estado da técnica é fornecido.
[00044] A figura 2 mostra uma disposição geral de um codificador SAOC 10 e um decodificador SAOC 12. O codificador SAOC 10 recebe como uma entrada objetos N, ou seja, sinais de áudio si a sN. Em particular, o codificador 10 compreende um downmixer16 que recebe os sinais de áudio Si a sN e reduz o mesmo a um sinal de downmix 18. De modo alternativo, o downmix pode ser fornecido externamente {"downmix artistico") e o sistema estima a informação adicional para fazer odownmix fornecido corresponder com o downmix calculado. Na Figura 2, o sinal de downmix é mostrado como um sinal do canal P. Assim, qualquer configuração mono (P=l), estéreo (P=2) ou multicanal (P>2) do sinal de downmix é aceitável.
[00045] No caso de um downmix estéreo, os canais dosinal de downmix 18 são denotados LO e RO, no caso de um mesmo downmix mono ser simplesmente denotado LO. A fim de permitir que o decodificador SAOC 12 recupere os objetos individuais Sj a sN, estimador da informação adicional 17 fornece ao decodificador SAOC 12 informação adicional incluindo parâmetros SAOC. Por exemplo, no caso de um downmix estéreo, os parâmetros de SAOC compreendem diferenças do nivel do objeto (OLD | objeto level differences),correlações inter-objeto (IOC | inter-object correlations)(parâmetros de correlação cruzada inter-objeto), valores de ganho de downmix (DMG I downmix gain values)e diferenças do nivel de canal de downmix (DCLD | downmix channel level differences) . A informação adicional 20, incluindo os parâmetros SAOC, com o sinal de downmix 18, forma o fluxo de dados de saida de SAOC recebido pelo decodificador SAOC 12.
[00046] O decodificador SAOC 12 compreende um up-mixer que recebe o sinal de downmix 18 bem como a informação adicional 20 a fim de recuperar e renderizar os sinais de áudio Si e sN em qualquer conjunto selecionado por usuário de canais y; a yM, com a renderização sendo prescrita pelas informações de renderização 26 inseridas no decodificador SAOC 12.
[00047]
[00048] Os sinais de áudio Sj a &v podem serinseridos ao codificador 10 em qualquer dominio de codificação, como, no dominio de tempo ou espectral. No caso dos sinais de áudio Sj a sN são inseridos ao codificador 10 no dominio de tempo, como PCM codificado, o codificador 10 pode utilizar um banco de filtro, como um banco QMF hibrido, a fim de transferir os sinais em um dominio espectral, no qual os sinais de áudio são representados em várias subbandas associadas com as diferentes partes espectrais, em uma resolução especifica do banco de filtro. Se os sinais de áudio Si a sN já estão na representação esperada pelo codificador 10, o mesmo não tem que realizar a decomposição espectral.
[00049] A figura 1 ilustra um decodificador paragerar um sinal de saida de áudio compreendendo um ou mais canal(is) de saida de áudio de um sinal de downmix compreendendo três ou mais canais de downmix de acordo com uma aplicação. O sinal de downmix codifica três ou mais sinais de objeto de áudio.
[00050] O decodificador compreende um roteador decanal de entrada 110 para receber os três ou mais canais de downmix DMX1, DMX2, DMX3 e para receber informação adicional SI, e pelo menos duas unidades de processamento do canal 121, 122 para gerar, pelo menos, dois canais processados para obter um ou mais canal(is) de saida de áudio.
[00051] O roteador de canal de entrada 110 éconfigurado para inserir cada um de, pelo menos, dois dos três ou mais canais de downmix DMX1, DMX2 DMX3 em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal 121, 122, de modo que cada uma de, pelo menos, duas unidades de processamento do canal 121, 122 recebe um ou mais dos três ou mais canais de downmix, e de modo que cada uma de, pelo menos, duas unidades de processamento do canal 121, 122 recebe menos do que o número total de três ou mais canais de downmix DMX1, DMX2, DMX3.
[00052] Em particular, na aplicação da figura 1, cada um dos três canais de downmixDMX1, DMX2, DMX3 é inserido exatamente em uma unidade de processamento do canal. Entretanto, em outras aplicações, nem todos os três ou mais canais de downmix recebidos pelo roteador de canal de entrada 110 pode ser inserido em uma unidade de processamento. Entretanto, em qualquer caso, cada um de, pelo menos, dois canais de downmix dos três ou mais canais de downmix será inserido em, pelo menos, uma das unidades de processamento do canal.
[00053] Cada unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal 121, 122 é configurada para gerar um ou mais de, pelo menos, dois canais processados, dependendo da informação adicional SI e dependendo de um ou mais de, pelo menos, dois de três ou mais dos referidos canais de downmix (DMX1, DMX2, DMX3) recebidos pela referida unidade de processamento do canal 121, 122, do roteador de canal de entrada 110.
[00054] No exemplo da Figura 1, a unidade de processamento do canal 121 recebe dois canais de downmix (DMX1 DMX2) para gerar dois canais processados (PCH1, PCH2).Assim, a unidade de processamento 121 pode ser considerada como uma unidade de processamento estéreo-para-estéreo.
[00055] Além disso, no exemplo da figura 1, a unidade de processamento do canal 122 recebe o canal de downmix DMX3 para gerar dois canais processados (PCH3, PCH4).
[00056] No exemplo da figura 1, os canais processados PCH1, PCH2, PCH3, PCH4 são os canais de saida de áudio gerados pelo decodificador. Entretanto, em outras aplicações, os canais de saida de áudio são gerados dependendo dos canais processados, por exemplo, empregando as informações de renderização.
[00057] A geração dos canais processados dos canais de downmix é feita empregando a informação adicional. A informação adicional pode, por exemplo, compreender informação de downmix que indica como os objetos de áudio foram reduzidos para obter os três ou mais canais de downmix. Além disso, a informação adicional também pode compreender informações sobre uma matriz de covariância de tamanho N x N, que pode indicar para objetos de áudio N ou sinais de objeto de áudio N, que são codificados, os parâmetros OLD e IOC destes objetos de áudio N.
[00058] Uma unidade de processamento do canal de, pelo menos, duas unidades de processamento 121, 122 pode, por exemplo, ser uma unidade de processamento mono-para-mono que implementa um modo de processamento mono para mono "x-1-1". Ou, uma unidade de processamento do canal de, pelo menos, duas unidades de processamento 121, 122 pode, por exemplo, ser configurada para implementar um modo de processamento mono para estéreo "x-1-2". Ou, uma unidade de processamento do canal de, pelo menos, duas unidades de processamento 121, 122 pode, por exemplo, ser configurada para implementar um modo de processamento estéreo para mono "x-2-1". Ou, uma unidade de processamento do canal de, pelo menos, duas unidades de processamento 121, 122 pode, por exemplo, ser uma unidade de processamento estéreo para estéreo que implementa um modo de processamento estéreo para estéreo "x-2-2".
[00059] O modo de processamento mono para mono "x-1- 1", o modo de processamento mono para estéreo "x-1-2", o modo de processamento estéreo para mono "x-2-1" e o modo de processamento estéreo para estéreo "x-2-2" são descritos no Padrão SAOC (veja [SAOC]), como os modos de decodificação do padrão SAOC.
[00060] Em particular, vide, por exemplo: ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) Padrão Internacional 23003-2:2010, em particular, vide capitulo "SAOC Processing",mais particularmente, vide o subcapitulo "Decoding modes".
[00061] Em uma aplicação, cada uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser tanto uma unidade de processamento mono quanto uma unidade de processamento estéreo, em que a referida unidade de processamento mono é configurada para receber exatamente um dos três ou mais canais de downmix e é configurada para gerar exatamente um ou exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de um dos referidos três ou mais canais de downmix e dependendo da informação adicional, e em que a referida unidade de processamento estéreo é configurada para receber exatamente dois dos três ou mais canais de downmix e é configurada para gerar exatamente um ou exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de dois dos três referidos ou mais canais de downmix e dependendo da informação adicional.
[00062] Pelo menos uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser configurada para receber exatamente um dos três ou mais canais de downmix e ser configurada para gerar exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de um dos referidos três ou mais canais de downmix e dependendo da informação adicional.
[00063] De acordo com uma aplicação, pelo menos uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser configurada para receber exatamente dois dos três ou mais canais de downmix e é configurada para gerar exatamente um de, pelo menos, dois canais processados, dependendo exatamente de dois dos três referidos ou mais canais de downmix e dependendo da informação adicional.
[00064] Uma unidade de processamento do canal de, pelo menos, duas unidades de processamento 121, 122 pode, por exemplo, implementar um modo de processamento de downmix mono ("x-1-5") para gerar cinco canais processados de um canal de downmix mono. Ou, uma unidade de processamento do canal de, pelo menos, duas unidades de processamento 121, 122 pode, por exemplo, implementar um modo de processamento de downmix estéreo ("x-2-5") para gerar cinco canais processados de um dos dois canais de downmix.
[00065] O modo de processamento de downmix mono ("x- 1-5") e o modo de processamento de downmix estéreo ("x-2-5") são descritos no Padrão SAOC (veja [SAOC]), como os modos de transcodificação do padrão SAOC.
[00066] Em particular, vide, por exemplo: ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) Padrão Internacional 23003-2:2010, em particular, vide capitulo "SAOC Processing", mais particularmente, vide o subcapitulo "Transcoding modes".
[00067] Entretanto, em algumas aplicações, uma, algumas ou todas as unidades de processamento do canal 121, 122 podem ser configuradas diferentemente.
[00068] Em uma aplicação, o roteador de canal de entrada 110 pode ser configurado para receber quatro ou mais canais de downmix, e pelo menos uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser configurada para receber pelo menos três de quatro ou mais canais de downmix e pode ser configurada para gerar, pelo menos, três dos canais processados dependendo de, pelo menos, três de quatro ou mais referidos canais de downmixe dependendo da informação adicional.
[00069] De acordo com uma aplicação, pelo menos uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser configurada para receber exatamente três de quatro ou mais canais de downmixe pode ser configurada para gerar exatamente três dos canais processados, dependendo exatamente de três de quatro ou mais referidos canais de downmix e dependendo da informação adicional.
[00070] Em uma aplicação, o roteador de canal deentrada 110 pode ser configurado para receber seis ou mais canais de downmix, e em que pelo menos uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser configurada para receber exatamente cinco de seis ou mais canais de downmix e é configurado para gerar exatamente cinco dos canais processados, dependendo exatamente dos seis ou mais referidos canais de downmix e dependendo da informação adicional.
[00071] De acordo com uma aplicação, o roteador decanal de entrada pode ser configurado para inserir cada um de, pelo menos, dois de três ou mais canais de downmix exatamente em uma de, pelo menos, duas unidades de processamento do canal 121, 122. Assim, nenhum dos canais de downmix DMX1, DMX2, DMX3 é inserido em duas ou mais das unidades de processamento do canal 121, 122, como, por exemplo, no exemplo da figura 1. Entretanto, em outras aplicações, um ou mais dos canais de downmix pode ser inserido em mais do que uma unidade de processamento do canal.
[00072] Em uma aplicação, o roteador de canal deentrada 110 pode ser configurado para inserir cada um dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal 121, 122, de modo que cada um dos três ou mais canais de downmix seja recebido por um ou mais de, pelo menos, duas unidades processadas do canal 121, 122. Entretanto, em outras aplicações, o roteador de canal de entrada 110 é configurado para não inserir pelo menos um dos três ou mais canais de downmix em qualquer uma de, pelo menos, duas unidades de processamento do canal 121, 122, de modo que pelo menos um dos três ou mais referidos canais de downmix não é recebido por qualquer uma de, pelo menos, duas unidades processadas do canal.
[00073] De acordo com uma aplicação, cada uma de, pelo menos, duas unidades de processamento do canal 121, 122 pode ser configurada para gerar um ou mais de, pelo menos, dois referidos canais processados independentes de, pelo menos, um dos três ou mais canais de downmix. Em outras palavras, nenhuma das unidades de processamento do canal recebe todos os canais de downmix DMX1, DMX2, DMX3, conforme ilustrado pela figura 1.
[00074] De acordo com as aplicações, a funcionalidade do processamento de downmix multicanal pode ser percebida pela aplicação (em cascata e/ou paralela) de vários exemplos dos decodificadores SAOC/transcodificador (ou suas partes).
[00075] A figura 3 descreve uma ilustração esquemática que mostra o principio de combinar vários exemplos dos decodificadores SAOC estéreo e mono/transcodificador em paralelo para decodificar parametricamente uma mistura do sinal multicanal de acordo com uma aplicação.
[00076] Em particular, na figura 3, os vários exemplos do decodificador SAOC estéreo e mono/transcodificador são acionados em paralelo para processar o downmix multicanal.
[00077] Por exemplo, as unidades de processamento do canal 121, 122, 123, 124, 125, 126 da figura 3 podem ser configuradas para gerar, pelo menos, dois canais processados em paralelo. Por exemplo, as unidades de processamento do canal 121, 122, 123, 124, 125, 126 podem ser configuradas para gerar, pelo menos, dois canais processados em paralelo de modo que cada uma de, pelo menos, duas unidades de processamento do canal comece a gerar um de, pelo menos, dois canais processados, antes de qualquer outra unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal terminar de gerar outro de, pelo menos, dois canais processados.
[00078] O roteador de canal de entrada 110 da figura 3 direciona os canais aos vários decodificadores / transcodificadores. Deve ser observado que os decodificadores / transcodificadores possam ser acionados com qualquer número arbitrário de canais de entrada e não sejam restritos aos sinais mono ou estéreo apenas, conforme descrito na figura 3 para melhor visualização.
[00079] De acordo com a aplicação da figura 3, o decodificador ainda compreende um roteador do canal de saida 130 para combinar, pelo menos, dois canais processados para obter um ou mais canal (is) de saida de áudio. Os sinais (processados) processados das unidades dos decodificadores / transcodificadores são inseridos no roteador do canal de saida 130. O roteador do canal de saida 130 combina os vários fluxos de entrada e produz uma estimativa final dos sinais de objeto de áudio ao renderizador 140.
[00080] Na aplicação ilustrada pela Figura 3, o decodificador ainda compreende um renderizador 140. O renderizador 140 é configurado para receber informações de renderização, em que o renderizador é configurado para gerar um ou mais canal (is) de saida de áudio dependendo de, pelo menos, dois canais processados e dependendo das informações de renderização.
[00081] Deve ser observado que o processamento paramétrico precisa apenas ser aplicado aos canais de downmix de interesse. A complexidade computacional pode então ser reduzida. Os sinais de downmix podem ser completamente derivados do processamento se não são necessários (por exemplo, canais surround podem ser derivados se apenas a cena frontal é manipulada). Nestas aplicações, nem todos os três ou mais canais de downmix recebido pelo roteador de canal de entrada 110 são inseridos na unidade de processamento do canal, mas apenas um subconjunto destes canais de downmix recebidos. Em qualquer caso, entretanto, pelo menos dois canais de downmix dos três ou mais canais de downmix recebidos são fornecidos às unidades de processamento do canal.
[00082] A figura 4 descreve um diagrama esquemático que ilustra o principio de uma estrutura em cascata dos decodificadores SAOC estéreo e mono/transcodificador para processar uma mistura do sinal multicanal de acordo com uma aplicação.
[00083] De acordo com esta aplicação ilustrada pela figura 4, uma primeira unidade de processamento do canal 121 de, pelo menos, duas unidades de processamento do canal pode ser configurada para inserir um primeiro canal processado PCH11 de, pelo menos, dois canais processados em uma segunda unidade de processamento do canal 126 de, pelo menos, duas unidades de processamento do canal. A referida segunda unidade de processamento 126 pode ser configurada para gerar um segundo canal processado PCH22 de, pelo menos, dois canais processados dependendo do primeiro canal processado PCH11.
[00084] A combinação dos vários decodificadores / transcodificadores pode ser estática e dada a priori, mas também deve ser adaptada dinamicamente.
[00085] Esta abordagem representa um método de extensão compativel de SAOC completamente atrasado para gerenciar sistemas de downmix multicanal.
[00086] As aplicações inventivas apresentadas podem ser aplicadas em um número arbitrário de canais de downmix / upmix. Pode ser combinado com qualquer corrente e também futuros formatos de áudio.
[00087] A flexibilidade do método inventivo permite derivar os canais inalterados para reduzir a complexidade computacional, reduzir a carga útil do fluxo de bits continuo / quantidade de dados reduzida.
[00088] Algumas aplicações referem-se a um codificador de áudio, método ou programa de computador para codificação. Além disso, algumas aplicações referem-se a um decodificador de áudio, método ou programa de computador para decodificação, conforme descrito acima. Além disso, algumas aplicações referem-se a um sinal codificado.
[00089] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é evidente que estes aspectos também representam uma descrição do método correspondente, onde um bloco ou dispositivo corresponde a uma etapa do método ou uma característica de uma etapa do método. De forma análoga, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco correspondente ou item ou característica de um aparelho correspondente.
[00090] 0 sinal decomposto inventivo pode ser armazenado em um meio de armazenamento digital ou pode ser transmitido em um meio de transmissão, como um meio de transmissão sem fio ou um meio de transmissão com fio, como a Internet.
[00091] Dependendo de certas exigências de implementação, as aplicações da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada utilizando um meio de armazenamento digital, por exemplo, um disquete, um DVD, um CD, uma memória ROM, uma FROM, uma EPROM, uma EEPROM ou uma memória FLASH, tendo sinais de controle eletronicamente legiveis armazenados nele (ou são capazes de cooperar) com um sistema de computador programável de modo que o respectivo método seja realização.
[00092] Algumas aplicações, de acordo com a invenção, compreendem um transportador de dados não transitórios tendo sinais de controle eletronicamente legiveis que são capazes de cooperar com um sistema de computador programável, de modo que um dos métodos descritos neste documento seja realizado.
[00093] De forma geral, as aplicações da presente invenção podem ser implementadas como um produto do programa de computador com um código do programa, o código do programa sendo operativo para realizar um dos métodos quando o produto do programa de computador é executado em um computador. O código do programa pode, por exemplo, ser armazenado em um transportador legivel por máquina.
[00094] Outras aplicações compreendem o programa de computador para realizar um dos métodos descritos neste documento, armazenados em um transportador legivel por máquina.
[00095] Em outras palavras, uma aplicação do método inventivo é, assim, um programa de computador tendo um código do programa para realizar um dos métodos descritos neste documento, quando o programa de computador é executado em um computador.
[00096] Outra aplicação dos métodos inventivos é, assim, um transportador de dados (ou um meio de armazenamento digital, ou um meio legivel por computador) compreendendo, gravado nele, o programa de computador para realizar um dos métodos descritos neste documento.
[00097] Outra aplicação do método inventivo é, assim, um fluxo de dados ou uma sequência de sinais que representam o programa de computador para realizar um dos métodos descritos neste documento. O fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurado para ser transferido através de uma conexão de comunicação de dados, por exemplo, através da Internet.
[00098] Outra aplicação compreende um meio de processamento, por exemplo, um computador, ou um dispositivo lógico programável, configurado para ou adaptado para realizar um dos métodos descritos neste documento.
[00099] Outra aplicação compreende um computador tendo instalado nele o programa de computador para realizar um dos métodos descritos neste documento.
[000100] Em algumas aplicações, um dispositivo lógico programável (por exemplo, um arranjo de portas de campo programáveis) pode ser utilizado para realizar algumas ou todas as funcionalidades dos métodos descritos neste documento. Em algumas aplicações, um arranjo de portas de campo programáveis pode cooperar com um microprocessador, a fim de realizar um dos métodos descritos neste documento. De forma geral, os métodos são preferivelmente realizados por qualquer aparelho de hardware.
[000101] As aplicações descritas acima são meramente ilustrativas para os principios da presente invenção. Entende-se que as modificações e variações das disposições e os detalhes descritos no presente documento serão evidentes a outros especialistas na técnica. É intenção, portanto, ser limitada apenas pelo escopo das reivindicações da patente anexas e não pelos detalhes específicos apresentados em forma de descrição e explicação das aplicações no presente documento.
REFERÊNCIAS
[000102] [MPS]ISO/IEC 23003-1:2007, MPEG-D (MPEG audio technologies), Part 1: MPEG Surround, 2007.
[000103] [BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans, on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003.
[000104] [JSC] C. Faller, "Parametric Joint-Coding of Audio Sources", 120th AES Convention, Paris, 2006.
[000105] [SAOC1] J. Herre, S. Disch, J. Hilpert, 0. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
[000106] [SAOC2] J. Engdegârd, B. Resch, C. Falch, 0. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: "Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.
[000107] [SAOC]ISO/IEC, "MPEG audio technologies - Part 2: Spatial Audi o Object Coding (SAOC),"ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.
[000108] [ISS1] M. Parvaix and L. Girin: "Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding", IEEE ICASSP, 2010.
[000109] [ISS2] M. Parvaix, L. Girin, J.-M. Brossier: "A watermarking-based method for informed source separation of audio signals with a single sensor", IEEE Transactions on Audio, Speech and Language Processing, 2010.
[000110] [ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: "Informed source separation through spectrogram coding and data embedding", Signal Processing Journal, 2011.
[000111] [ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: "Informed source separation: source coding meets source separation", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011.
[000112] [ISS5] Shuhua Zhang and Laurent Girin: "An Informed Source Separation System for Speech Signals", INTERSPEECH, 2011.
[000113] [ISS6] L. Girin and J. Pinel: "Informed Audio Source Separation from Compressed Linear Stereo Mixtures", AES 42nd International Conference: Semantic Audio, 2011.

Claims (10)

1. Um decodificador para gerar um sinal de saída de áudio, compreendendo um ou mais canal(is) de saída de áudio de um sinal de downmix, compreendendo três ou mais canais de downmix, caracterizado pelo sinal de downmix codificar três ou mais sinais de objeto de áudio,sendo que o decodificador compreende: um roteador de canal de entrada (110) para receber três ou mais canais de downmix e para receber informação adicional, e pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) para gerar, pelo menos, dois canais processados para obter um ou mais canal(is) de saída de áudio, em que o roteador de canal de entrada (110) é configurado para inserir cada um de, pelo menos, dois dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126), de modo que cada uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) recebe um ou mais dos três ou mais canais de downmix, e de modo que cada uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) recebe menos do que o número total de três ou mais canais de downmix, em que cada unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) é configurada para gerar um ou mais de, pelo menos, dois canais processados, dependendo de informações adicionais e dependendo do referido um ou mais de, pelo menos, dois de três ou mais dos referidos canais de downmix recebidos pela referida unidade de processamento do canal do roteador de canal de entrada (110), em que pelo menos duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) são configuradas para gerar, pelo menos, dois canais processados em paraleloem que o decodificador compreende ainda um roteador do canal de saída (130) que é configuradopara combinar pelo menos dois canais processados para obter uma estimativa dos sinais de objeto de áudio, e em que o decodificador compreende ainda um renderizador (140) que é configurado para receber informações de renderização e para gerar um ou mais canal(is) de saída de áudio dependendo da estimativa dos sinais de objeto de áudio e dependendo das informações de renderização. em que o roteador de canal de entrada (110) é configurado para não inserir, pelo menos, um dos três ou mais canais de downmix em qualquer uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126), de modo que, pelo menos, um dos três ou mais dos referidos canais de downmixnão seja recebido por qualquer uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126).
2. Um decodificador de acordo com a reivindicação 1, caracterizado por cada uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) ser configurada para gerar um ou mais de, pelo menos, dois referidos canais processados independentes de, pelo menos, um dos três ou mais canais de downmix.
3. Um decodificador de acordo com qualquer uma das reivindicações anteriores 1 ou 2,caracterizado por cada uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) ser tanto uma unidade deprocessamento mono quanto uma unidade de processamento estéreo,em que a referida unidade de processamento mono é configurada para receber exatamente um dos três ou mais canais de downmix e é configurada para gerar exatamente um ou exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de um dos referidos três ou mais canais de downmix e dependendo da informação adicional, eem que a referida unidade de processamento estéreo é configurada para receber exatamente dois dos três ou mais canais de downmix e é configurada para gerar exatamente um ou exatamente dois de, pelo menos, dois canais processados, dependendo exatamente de dois dos três referidos ou mais canais de downmix e dependendo da informação adicional.
4. Um decodificador, de acordo com qualquer uma das reivindicações de 1 a 3 caracterizado por, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) ser configurada parareceber exatamente um dos três ou mais canais de downmix e ser configurada para gerarexatamente dois de, pelo menos, dois canais processados, dependendo exatamente de um dos referidos três ou mais canais de downmix e dependendo da informação adicional.
5. Um decodificador de acordo com qualquer uma das reivindicações anteriores de 1 a 4, caracterizado por, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) ser configurada para receber exatamente dois dos três ou mais canais de downmix e ser configurada para gerar exatamente um de, pelo menos, dois canais processados, dependendo exatamente de dois dos três referidos ou mais canais de downmix e dependendo da informação adicional.
6. Um decodificador de acordo com qualquer uma das reivindicações anteriores de 1 a 5, caracterizado pelo roteador de canal de entrada (110) ser configurado para receber quatro ou mais canais de downmix, eem que, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) é configurada para receber, pelo menos, três dos quatro ou mais canais de downmix e é configurada para gerar, pelo menos, três dos canais processados, dependendo de, pelo menos, três de quatro ou mais referidos canais de downmix e dependendo da informação adicional.
7. Um decodificador de acordo com a reivindicação 6, caracterizado por, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) ser configurada para receber exatamente três dos quatro ou mais canais de downmix e ser configurada para gerar exatamente três dos canais processados, dependendo exatamente de três de quatro ou mais referidos canais de downmix e dependendo da informação adicional.
8. Um decodificador de acordo com a reivindicação 6 ou 7,caracterizado pelo roteador de canal de entrada (110) ser configurado para receber seis ou mais canais de downmix, eem que, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) é configurada para receber exatamente cinco dos seis ou mais canais de downmix e é configurada para gerar exatamente cinco dos canais processados, dependendo exatamente dos seis ou mais referidos canais de downmix e dependendo da informação adicional.
9. Um decodificador de acordo com qualquer uma das reivindicações anteriores de 1 a 8, caracterizado por uma primeira unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) ser configurada para inserir um primeiro canal processado de, pelo menos, dois canais processados em uma segunda unidade de processamento do canal de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126), eem que a referida segunda unidade de processamento é configurada para gerar um segundo canal processado de, pelo menos, dois canais processados, dependendo do primeiro canal processado.
10. Um método para gerar um sinal de saída de áudio, compreendendo um ou mais canal(is) de saída de áudio de um sinal de downmix, compreendendo três ou mais canais de downmix, caracterizado pelo sinal de downmix codificar três ou mais sinais de objeto de áudio, em que o método compreende:receber os três ou mais canais de downmix e receber a informação adicional por um roteador de canal de entrada (110),inserir cada um de, pelo menos, dois dos três ou mais canais de downmix em, pelo menos, uma de, pelo menos, duas unidades de processamento do canal (121, 122, 123, 124, 125, 126) pelo roteador do canal de entrada, egerar, pelo menos, dois canais processados por pelo menos duas unidades de processamento docanal (121, 122, 123, 124, 125, 126) para obter um ou mais canal(is) de saída de áudio,em que, a inserção de cada um de pelo menos dois dos três ou mais canais de downmix em pelo menos uma das pelo menos duas unidades de processamento de canal (121, 122, 123, 124, 125, 126) pelo roteador de canal de entrada (110) é conduzida , de modo que cada uma das pelo menos duas unidades de processamento de canal (121, 122, 123, 124, 125, 126) receba um ou mais dos três ou mais canais de downmix e de modo que cada uma das pelo menos duas unidades de processamento de canal ( 121, 122, 123, 124, 125, 126) recebe menos do que o número total dos três ou mais canais de downmix,em que a geração de pelo menos dois canais processados são conduzidas pela geração de um ou mais de pelo menos dois canais processados por cada unidade de processamento de canal das pelo menos duas unidades de processamento de canal (121, 122, 123, 124, 125, 126)dependendo das informações adicionais e dependendo do referido um ou mais dos pelo menos dois dos três ou mais canais de downmix recebidos pela referida unidade de processamento de canal do roteador de canal de entrada (110);em que a geração de pelo menos dois canais processados por pelo menos duas unidades de processamento de canal são conduzidas em paralelo; em que o método compreende ainda combinar pelo menos dois canais processados por um roteador de canal de saída para obter uma estimativa dos sinais de objeto de áudio, e receber as informações de renderização por um renderizador (140), e gerar um ou mais canal(is) de saída de áudio pelo renderizador (140), dependendo da estimativa dos sinais de objeto de áudio e dependendo das informações de renderização; em que pelo menos um dos três ou mais canais de downmix não é alimentado pelo roteador de canal de entrada (110) em qualquer uma das pelo menos duas unidades de processamento de canal (121, 122, 123, 124, 125, 126), de modo que pelo menos um dos três ou mais canais de downmix não é recebido por qualquer uma das pelo menos duas unidades de processamento de canal (121, 122, 123, 124, 125, 126).
BR112015002367-3A 2012-08-03 2013-08-05 Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix BR112015002367B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261679412P 2012-08-03 2012-08-03
US61/679,412 2012-08-03
PCT/EP2013/066374 WO2014020181A1 (en) 2012-08-03 2013-08-05 Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases

Publications (2)

Publication Number Publication Date
BR112015002367A2 BR112015002367A2 (pt) 2018-09-11
BR112015002367B1 true BR112015002367B1 (pt) 2021-12-14

Family

ID=48916076

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112015002367-3A BR112015002367B1 (pt) 2012-08-03 2013-08-05 Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix

Country Status (12)

Country Link
US (1) US10176812B2 (pt)
EP (1) EP2880653B1 (pt)
JP (1) JP6141978B2 (pt)
KR (1) KR101660004B1 (pt)
CN (1) CN104756186B (pt)
AU (1) AU2013298462B2 (pt)
BR (1) BR112015002367B1 (pt)
CA (1) CA2880891C (pt)
ES (1) ES2654792T3 (pt)
MX (1) MX351687B (pt)
RU (1) RU2604337C2 (pt)
WO (1) WO2014020181A1 (pt)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2013298462B2 (en) * 2012-08-03 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
KR102529121B1 (ko) 2014-03-28 2023-05-04 삼성전자주식회사 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN107211227B (zh) 2015-02-06 2020-07-07 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
US9854375B2 (en) * 2015-12-01 2017-12-26 Qualcomm Incorporated Selection of coded next generation audio data for transport
US11432099B2 (en) 2018-04-11 2022-08-30 Dolby International Ab Methods, apparatus and systems for 6DoF audio rendering and data representations and bitstream structures for 6DoF audio rendering
CN110808054B (zh) * 2019-11-04 2022-05-06 思必驰科技股份有限公司 多路音频的压缩与解压缩方法及系统
GB202002900D0 (en) * 2020-02-28 2020-04-15 Nokia Technologies Oy Audio repersentation and associated rendering

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4610087B2 (ja) * 1999-04-07 2011-01-12 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 損失のない符号化・復号へのマトリックス改良
DE102004043521A1 (de) * 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
CN101361121B (zh) * 2006-01-19 2012-01-11 Lg电子株式会社 处理媒体信号的方法和装置
MX2008012251A (es) * 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
CA2874454C (en) * 2006-10-16 2017-05-02 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
RU2417549C2 (ru) * 2006-12-07 2011-04-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для обработки аудиосигнала
EP2102858A4 (en) * 2006-12-07 2010-01-20 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
CN101542597B (zh) * 2007-02-14 2013-02-27 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
PL2137725T3 (pl) * 2007-04-26 2014-06-30 Dolby Int Ab Urządzenie i sposób do syntetyzowania sygnału wyjściowego
US8527282B2 (en) * 2007-11-21 2013-09-03 Lg Electronics Inc. Method and an apparatus for processing a signal
KR20100131467A (ko) * 2008-03-03 2010-12-15 노키아 코포레이션 복수의 오디오 채널들을 캡쳐하고 렌더링하는 장치
US8060042B2 (en) * 2008-05-23 2011-11-15 Lg Electronics Inc. Method and an apparatus for processing an audio signal
CN102016982B (zh) * 2009-02-04 2014-08-27 松下电器产业株式会社 结合装置、远程通信系统以及结合方法
US8112168B2 (en) 2009-07-29 2012-02-07 Texas Instruments Incorporated Process and method for a decoupled multi-parameter run-to-run controller
KR101615262B1 (ko) * 2009-08-12 2016-04-26 삼성전자주식회사 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN103026406B (zh) * 2010-09-28 2014-10-08 华为技术有限公司 用于对已解码多通道音频信号或已解码立体声信号进行后处理的装置和方法
KR101227932B1 (ko) * 2011-01-14 2013-01-30 전자부품연구원 다채널 멀티트랙 오디오 시스템 및 오디오 처리 방법
EP2477188A1 (en) * 2011-01-18 2012-07-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoding and decoding of slot positions of events in an audio signal frame
RU2014133903A (ru) * 2012-01-19 2016-03-20 Конинклейке Филипс Н.В. Пространственные рендеризация и кодирование аудиосигнала
EP2863657B1 (en) * 2012-07-31 2019-09-18 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
AU2013298462B2 (en) * 2012-08-03 2016-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E. V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
AU2013301831B2 (en) * 2012-08-10 2016-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Encoder, decoder, system and method employing a residual concept for parametric audio object coding
EP2830046A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal to obtain modified output signals

Also Published As

Publication number Publication date
CN104756186B (zh) 2018-01-02
AU2013298462A1 (en) 2015-02-19
RU2604337C2 (ru) 2016-12-10
CN104756186A (zh) 2015-07-01
CA2880891A1 (en) 2014-02-06
US20150149187A1 (en) 2015-05-28
EP2880653A1 (en) 2015-06-10
MX351687B (es) 2017-10-25
EP2880653B1 (en) 2017-11-01
ES2654792T3 (es) 2018-02-15
BR112015002367A2 (pt) 2018-09-11
KR101660004B1 (ko) 2016-09-27
CA2880891C (en) 2017-10-17
JP6141978B2 (ja) 2017-06-07
AU2013298462B2 (en) 2016-10-20
WO2014020181A1 (en) 2014-02-06
MX2015001514A (es) 2015-07-06
RU2015107245A (ru) 2016-09-27
KR20150040997A (ko) 2015-04-15
JP2015527611A (ja) 2015-09-17
US10176812B2 (en) 2019-01-08

Similar Documents

Publication Publication Date Title
EP3093843B1 (en) Mpeg-saoc audio signal decoder, mpeg-saoc audio signal encoder, method for providing an upmix signal representation using mpeg-saoc decoding, method for providing a downmix signal representation using mpeg-saoc decoding, and computer program using a time/frequency-dependent common inter-object-correlation parameter value
BR112015002367B1 (pt) Decodificador e método para codificação de objeto de áudio espacial multi-instância empregando um conceito paramétrico para caixas multicanal de downmix/upmix
AU2016234987B2 (en) Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases
TW200926147A (en) Audio coding using downmix
WO2008100098A1 (en) Methods and apparatuses for encoding and decoding object-based audio signals
BR112015007532B1 (pt) Codificador, decodificador e métodos para codificação de objeto de áudio espacial multirresolução compatível regressivo
US10497375B2 (en) Apparatus and methods for adapting audio information in spatial audio object coding
BR112016000867B1 (pt) Aparelho e método para descodificar um sinal de áudio codificado para obter sinais de saída modificados
BR112016001141B1 (pt) Codificador de áudio, decodificador de áudio e métodos que usam sinais residuais codificados em conjunto

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 05/08/2013, OBSERVADAS AS CONDICOES LEGAIS.