BR112012007138B1 - Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos - Google Patents
Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos Download PDFInfo
- Publication number
- BR112012007138B1 BR112012007138B1 BR112012007138-6A BR112012007138A BR112012007138B1 BR 112012007138 B1 BR112012007138 B1 BR 112012007138B1 BR 112012007138 A BR112012007138 A BR 112012007138A BR 112012007138 B1 BR112012007138 B1 BR 112012007138B1
- Authority
- BR
- Brazil
- Prior art keywords
- audio
- intra
- bitstream
- parameter
- correlation
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000011664 signaling Effects 0.000 claims abstract description 44
- 239000000203 mixture Substances 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000001228 spectrum Methods 0.000 claims 3
- 230000001174 ascending effect Effects 0.000 abstract description 2
- 238000011156 evaluation Methods 0.000 abstract description 2
- 238000002156 mixing Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000003247 decreasing effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000011002 quantification Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal ,programa de comutador e fluxo de bits usando um valor de parâmetro comum de correlação intra-objetos um decodificador de sinal de áudio para prover um sinal de representação de mescla ascendente com base numa representação de mescla descendente de sinal e numa informação paramétrica relativa a objeto e na dependência de uma informação de processamento.compreende um determinador de parâmetro de objeto.o determinador de parâmetro de objeto é configurado para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos. o determinador de parâmetro de objeto é configurado para avaliar um parâmetro de sinalização de fluxo de bits para decidir se fazer avaliação individual de valores de parâmetro de correlação intra-objetos de fluxo de bits para obter valores de correlação de intra-objetos para uma pluralidade de pares de áudio-objetos, ou para obter valores de correlação intra- objetos para uma pluralidade de pares de áudio-objetos relacionados entre si usando um valor comum de parâmetro de correlação intra-objetos.
Description
[0001] Concretizações conforme a invenção são relacionadas com um decodificador de sinal de áudio para prover um sinal de representação de mescla ascendente com base numa representação de sinal de mescla descendente e numa informação paramétrica objeto-relacionada e na dependência de uma informação de processamento.
[0002] Outras concretizações conforme a invenção referem-se a um codificador de sinal de áudio para prover uma representação de fluxo de bits com base numa pluralidade de sinais de áudio-objeto.
[0003] Outras concretizações conforme a invenção referem-se a um método para prover uma representação de mescla ascendente com base em uma representação de sinal de mescla descendente e num informação paramétrica relacionada a objeto e na dependência de uma informação de processamento.
[0004] Outras concretizações conforme a invenção referem-se a um método para prover uma representação de fluxo de bits com base em uma pluralidade de sinais de áudio-objeto.
[0005] Outras concretizações conforme a invenção referem-se a um programa de computador para realizar tais métodos.
[0006] Outras concretizações conforme a invenção referem-se a um fluxo de bits que representa um sinal de áudio multicanal.
[0007] Na técnica do processamento de áudio, transmissão e armazenamento de áudio, há um desejo ascendente de manusear conteúdos multicanal para melhorar a impressão de audição. O uso de conteúdo multicanal de áudio abrange melhorias significativas para o usuário. Por exemplo, pode-se obter uma impressão de audição tridimensional que abrange uma maior satisfação do usuário em aplicações de entretenimento. No entanto, conteúdos multicanal de áudio são também úteis em ambientes profissionais, como por exemplo, em aplicações de conferências por telefone, porque a inteligibilidade do alto-falante pode ser melhorada pelo uso de um playback (reprodução de fundo) multicanal de áudio.
[0008] No entanto, é também desejável ter uma boa permuta entre qualidade de áudio e requisitos de taxa de bits para evitar carga excessiva de recursos causada por aplicações multicanal.
[0009] Recentemente, têm sido propostas técnicas paramétricas para uma transmissão eficiente à taxa de bits e/ou para armazenar cenas de áudio contendo múltiplos objetos de áudio, como por exemplo, Binaural Cue Coding (Codificação de Entrada Binaural) (Tipo I) (vide, por exemplo a referência [BCC]), Joint Source Coding (Codificação de Fontes Unidas) (vide, por exemplo, a referência [JSC]), e MPEG Spatial Áudio Object Coding (Codificação de Objetos Espaciais de Áudio) (SAOC) (vide, por exemplo, as referências [SAOC1], [SAOC2] e referências não pré-publicadas [SAOC]).
[00010] Estas técnicas visam uma porcentagem de reconstrução da emissão desejada de cenas de áudio mais do que uma comparação de formas de onda.
[00011] A Fig. 8 mostra uma vista geral de um sistema MPEG SAOC. Ainda, a Fig. 9a mostra uma vista geral de um sistema MPEG SAOC.
[00012] O sistema MPEG SAOC 800 mostrado na Fig. 8 compreende um codificador SAOC 810 e um decodificador SAOC 820. O codificador SAOC 810 recebe uma pluralidade de sinais-objetos x1 a xN, que podem ser representados, por exemplo, como sinais de domínio de tempo ou como sinais de domínio de frequência de tempo (por exemplo, na forma de um conjunto de coeficientes de transformação de tipo Fourier ou na forma de uma sub-banda de sinais de QMF). O codificador SAOC 810 recebe tipicamente também coeficientes de mescla d1 a dN, que estão associados aos sinais- objeto x1 a xN. Podem ser encontrados conjuntos separados de coeficientes de mescla descendente para cada canal de sinal de mescla descendente. O codificador SAOC 810 está configurado tipicamente para obter um canal de sinal de mescla descendente pela combinação sinais-objeto x1 a xN de acordo com os coeficientes associados de mescla descendente d1 a dN. Tipicamente, há menos canais de mescla descendente que sinais-objeto x1 a xN. Para permitir (pelo menos aproximadamente) uma separação (ou tratamento separado) de sinais-objeto ao lado do decodificador SAOC 820, o codificador SAOC 810 provê tanto um quanto mais de um sinal de mescla descendente (identificados como canais de mescla descendente) 812 quanto uma informação lateral 814. A informação lateral 814 descreve características de sinais-objeto x1 a xN, para permitir um processamento específico de objeto com decodificador de apoio.
[00013] O decodificador SAOC 820 é configurado para receber tanto um quanto mais sinais de mescla decrescente quanto a informação lateral 812 e a informação lateral 814. Também,o decodificador SAOC 820 é configurado tipicamente para receber uma informação de interação do usuário e/ou uma informação de controle do usuário 822, que descreve uma instalação desejada de processamento. Por exemplo, a informação de interação do usuário/informação de controle do usuário 822 pode descrever uma configuração de falante e a disposição espacial desejada para os objetos que provêm o sinal de objeto x1 a xN.
[00014] O decodificador SAOC 820 é configurado para prover, por exemplo, uma pluralidade de sinais de canal de mescla ascendente decodificados y- a yM. Os sinais de canal de mescla ascendente podem, por exemplo, ser associados a falantes individuais de uma disposição de processamento multifalantes. O decodificador SAOC 820 pode, por exemplo, compreender um separador de objeto 820a, que é configurado para reconstruir, pelo menos aproximadamente, os sinais de objeto xi to xN com base em um ou mais sinais de mescla descendente 8i2 e na informação lateral 8i4, desta forma obtendo sinais reconstruídos de objeto 820b. No entanto, os sinais reconstruídos de objeto 820b podem desviar-se um pouco dos sinais originais xi to xN, por exemplo, porque a informação lateral 8i4 não é bastante suficiente para uma reconstrução perfeita devido a limitações da taxa de bits. O decodificador SAOC 820 pode ainda compreender um misturador (mixer) 820c, que pode ser configurado para receber os sinais do objeto reconstruído 820b e a informação de interação do usuário/informação de controle do usuário 822, e para prover, com base nisto, os sinais de canal de mescla ascendente y1 a yM. O misturador 820 pode ser configurado para usar a informação de interação do usuário /informação de controle do usuário 822 para determinar a contribuição dos sinais individuais de objeto reconstruído 820b para os sinais de mescla ascendente y1 a yM. A informação de interação do usuário/informação de controle do usuário 822 pode, por exemplo, compreender parâmetros de processamento (também denominados coeficientes de processamento), que determinam a contribuição dos sinais individuais reconstruídos 822 para os sinais de canal de mescla ascendente yi a fo-
[00015] No entanto, deve-se salientar que em muitas configurações, a separação de objetos, que é indicada pelo separador de objetos 820a na Fig. 8, e a mistura (mixing), que é indicada pelo misturador 820c na Fig. 8, são executados num único passo. Para tanto, podem ser computados parâmetros globais que descrevem um mapeamento direto de um ou mais sinais de mescla descendente 812 nos sinais de canal de mescla ascendente yi a ^. Estes parâmetros podem ser computados com base na informação lateral e na informação de interação do usuário/informação de controle do usuário 820.
[00016] Fazendo referência, agora, às Figs. 9a, 9b e 9c, será descrito um aparelho diferente para obter uma representação de sinal de mescla ascendente com base em representação de sinal de mescla de sinal descendente e numa informação relacionada com objeto. A Fig. 9a mostra um diagramas de blocos esquemático de um sistema MPEG SAOC 900 que compreende um decodificador SAOC 920. O decodificador SAOC 920 compreende, como blocos funcionais separados, um decodificador de objeto 922 e um misturador/processador 926. O decodificador de objeto 922 provê uma pluralidade de sinais de objeto reconstruídos 924 na dependência da uma representação de sinal de mescla descendente (por exemplo, na forma de um ou mais sinais de mescla descendente representados no domínio de tempo ou no domínio de frequência- tempo) e de uma informação lateral relacionada com objeto (por exemplo, na forma de meta-dados de objeto). O misturador/processador 924 recebe os sinais de objetos reconstruídos 924 associados a uma pluralidade de N objetos e provê, com base nisto, um ou mais sinais de canal de mescla ascendente 928. No decodificador SAOC 920, a extração dos sinais de objeto 924 é feita separadamente do misturador/processador, o que permite a separação da funcionalidade de decodificar um objeto da funcionalidade de misturador/processador mas traz consigo uma complexidade computacional relativamente alta.
[00017] Fazendo referência, agora, à Fig. 9b, outro sistema MPEG SAOC 930 será brevemente comentado que compreende um decodificador SAOC 950. O decodificador SAOC 950 provê uma pluralidade de sinais de canal de mescla ascendente 958 na dependência de uma representação de sinal de mescla descendente (por exemplo, na forma de um ou mais sinais de mescla descendente) e de uma informação lateral objeto-relacionada (por exemplo, na forma de meta-dados de objeto). O decodificador SAOC 950 compreende um decodificador de objetos combinado e um misturador/processador, que é configurado para obter sinais de mescla ascendente 958 num processo de mixagem conjunto sem separação da decodificação de objeto e da mixagem/do processamento, em que os parâmetros de referido processo de mixagem conjunta dependem tanto da informação lateral objeto- relacionada quanto da informação de processamento. O processo de mixagem conjunta depende também da informação de mescla descendente que é considerada parte de informação lateral objeto- relacionada.
[00018] Para resumir o acima dito, a provisão de sinais de mescla ascendente 928, 958 pode ser executada num processo de um passo ou de dois passos.
[00019] Fazendo referência, agora, à Fig. 9c, será descrito um sistema MPEG SAOC 960. O sistema SAOC 960 compreende um transcodificador SAOC para transcodificador de ambiente MPEG 980, em lugar um decodificador SAOC.
[00020] dados
[00021] O transcodificador de ambiente SAOC a MPEG compreende um transcodificador de informação lateral 982, que é configurado para receber a informação lateral objeto-relacionada (por exemplo, na forma de meta-dados de objeto) e, opcionalmente, informação sobre um ou mais sinais de mescla descendente e sobre a informação de processamento. O transcodificador de informação lateral é também configurado para prover uma informação lateral de Ambiente MPEG (por exemplo, na forma de um fluxo de bits MPEG Surround) com base em um receptor de dados. Destarte, o transcodificador de informação lateral 982 é configurado para transformar uma informação lateral objeto-relacionada (paramétrica), que é liberada do codificador de objeto, numa informação lateral canal-relacionada (paramétrica), levando em consideração a informação de processamento e, opcionalmente, a informação acerca do conteúdo de um ou mais sinais de mescla descendente.
[00022] Opcionalmente, o transcodificador de ambiente SAOC a MPEG 980 pode ser configurado para manipular um ou mais sinais de mescla descendente, descritos, por exemplo, pela representação de sinal de mescla descendente, para obter uma representação de sinal manipulado de mescla descendente 988m. No entanto, o manipulador de sinal de mescla descendente 986 pode ser omitido, de tal forma que a representação do sinal de saída de mescla descendente 988 do transcodificador de Ambiente SAOC a MPEG 980 é idêntico à representação de sinal de entrada da mescla descendente do transcodificador de Ambiente SAOC a MPEG. O manipulador de sinal de mescla descendente 986 pode, por exemplo, ser usado se a informação lateral de ambiente MPEG 984 não permitir prover a impressão de audição desejada com base na representação de sinal de entrada de mescla descendente do transcodificador de ambiente SAOC a MPEG 980, o que pode ser o caso em algumas constelações de processamento.
[00023] Destarte, o transcodificador de Ambiente SAOC a MPEG 980 provê a representação de sinal de mescla descendente 988 e o fluxo de bits MPEG Surround 984 de tal modo que se pode gerar uma pluralidade de sinais de canal de mescla ascendente, que representam os áudio-objetos em conformidade à entrada da informação de processamento ao transcodificador de Ambiente SAOC a MPEG Surround 980 pelo uso de um decodificador de ambiente MPEG Surround que recebe o fluxo de bits MPEG Surround 984 e a representação do sinal de mescla descendente 988.
[00024] Para resumir a acima escrito, podem-se usar diversos conceitos para decodificar sinais de áudio codificados SAOC. Em alguns casos, usa-se um decodificador SAOC, que provê sinais de canal de mescla ascendente (por exemplo, sinais de canal de mescla ascendente 928, 958) dependendo da representação do sinal de mescla descendente e da informação lateral paramétrica objeto-relacionada. Exemplos deste conceito podem ser vistos nas Figs. 9a e 9b. Alternativamente,a informação de áudio codificada pode ser transcodificada para obter uma representação de sinal de mescla descendente (por exemplo, uma representação de sinal de mescla descendente 988) e uma informação lateral canal-relacionada (por exemplo, o fluxo de bits canal-relacionado MPEG Surround 984), que pode se usado por um decodificador de Ambiente MPEG Surround para prover os sinais desejados de mescla ascendente.
[00025] No sistema MPEG SAOC 800, uma vista geral do sistema é mostrada na Fig. 8, e também no sistema MPEG SAOC 900, uma vista geral do sistema é mostrada na Fig. 9, o processamento geral é levado a cabo em modo seletivo de frequência e pode ser descrito como segue dentro de cada faixa de frequência:
[00026] Sinais de áudio N de entrada x1 a xN são mesclado descendentemente como parte do processo do codificador SAOC. Para uma mescla descendente mono, os coeficientes de mescla descendente são identificados por d1 a dN. Adicionalmente, o codificador 810, 910 extrai a informação lateral 814 que descreve as características dos áudio-objetos de entrada. Uma parte importante desta informação lateral compõe-se de relações de potência de objetos e de correlações mútuas, ou seja., diferenças de nível de objetos (OLDs) nas correlações intra-objetos (IOCs).
[00027] O sinal (ou sinais) de mescla descendente 812, 912 e a informação lateral 814, 914 são transmitidos e/ou armazenados. Para tanto, o sinal de áudio de mescla descendente pode ser comprimido usando codificadores perceptuais renomados tais como MPEG-1 Layer II ou III (também conhecidos como ".mp3"), Codificador de Áudio Avançado MPEG (CAA) [MPEG Advanced Áudio Coding (AAC)], ou qualquer outro codificador de áudio.
[00028] No terminal receptor, o decodificador SAOC 820, 920 tenta conceitualmente restaurar os sinais-objeto originais ("separação de objetos") usando a informação lateral transmitida 814, 914 (e, naturalmente, um ou mais sinais de mescla descendente 812, 912). Estes sinais-objeto aproximados (também denominados sinais-objeto reconstruídos 820b, 924) são então misturados numa cena-alvo representada por canais de saída M áudio (que pode, por exemplo, ser representada pelos sinais de canal de mescla ascendente y1 a yM , 928) usando uma matriz de processamento. Para uma saída mono, os coeficientes da matriz de processamento são dados por r1 a rN
[00029] Com efeito, a separação dos sinais-objeto raramente é feita (ou mesmo nunca é feita), uma vez que tanto o passo de separação (indicado pelo separador de objeto 820a, 922) quanto o passo de mixagem (indicado pelo misturador 820c, 926) são combinados num único passo de transcodificação, que frequentemente resulta numa enorme redução de complexidade computacional.
[00030] Tem sido visto que tal esquema é tremendamente eficiente, tanto em termos de taxa de bits (é apenas necessário transmitir uns poucos canais de mescla decrescente mais algumas informações laterais em vez de N sinais de áudio-objeto) e a complexidade computacional (a complexidade de processamento refere-se principalmente ao número de canais de saída mais do que ao número de áudio-objetos). Outras vantagens para o usuário no terminal receptor incluem a liberdade de escolher a configuração de processamento de sua escolha (mono, estéreo, ambiente, playback virtual de fones de ouvido, e assim por diante) e a peculiaridade da interatividade do usuário: A matriz de processamento e a cena de saída podem ser configuradas e alteradas interativamente à vontade do usuário e por ele mesmo, conforme sua preferência pessoal ou conforme outros critérios. Por exemplo, é possível localizar os falantes de um grupo unido numa área especial para maximizar a discriminação de outros falantes remanescentes. Esta interatividade é atingida pela provisão de uma interface de decodificador do usuário:
[00031] Para cada som-objeto transmitido, seu nível relativo e (para processamentos não-mono) pode-se calibrar a posição espacial de processamento. Isto pode acontecer em tempo real conforme o usuário muda a posição das interfaces gráficas (GUI) botão deslizante (por exemplo: nível de objeto = +5dB, posição do objeto = -30deg).
[00032] A seguir, será feita uma breve referência a técnicas anteriormente aplicadas no campo da codificação baseada em canais.
[00033] A US 11/032,689 descreve um processo para combinar varias series de valores numa ordem de transmissão para economizar informações laterais.
[00034] Esta técnica é também aplicada a "áudio codificação hierárquica multicanal com informação lateral compacta" na US 60/671,544.
[00035] No entanto, tem sido visto que a informação paramétrica objeto-relacionada, que é usada para codificar conteúdo de áudio multicanal, compreende um taxa de bits comparativamente alta em alguns casos.
[00036] Deste modo, é um objetivo desta presente invenção criar um conceito que permita prover, armazenar ou transmitir o conteúdo multicanal de áudio com uma informação lateral compacta.
[00037] Este objetivo é atingido por um decodificador de sinal de áudio, um codificador de sinal de áudio,um método para prover uma representação de mescla ascendente, um método para prover uma representação de fluxo de bits, um programa de computador e um fluxo de bits como definido pelas reivindicações independentes.
[00038] Uma configuração conforme a invenção cria um decodificador de sinal de áudio para prover uma representação de sinal de mescla ascendente com base em uma representação de sinal de mescla descendente e dependente de uma informação de processamento. O aparelho compreende um determinador de parâmetro- objeto configurado para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos. O determinador de parâmetro-objeto é configurado para avaliar um parâmetro de sinalização de fluxo de bits para decidir se se devem avaliar valores individuais de parâmetro de correlação intra-objetos de fluxo de bits para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objeto relacionados, ou para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos relacionados usando um valor comum de parâmetro de correlação intra-objetos de fluxo de bits. O decodificador de sinal de áudio também compreende um processador de sinal configurado para obter a representação de sinal de mescla ascendente com base na representação de sinal de mescla descendente e usando valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos relacionados e para a informação de processamento.
[00039] O decodificador de sinal de áudio é baseado na idéia-chave que uma taxa de bits necessária para codificar valores de correlação intra-objetos pode ser excessivamente alta e alguns casos nos quais as correlações entre muitos pares de áudio-objetos devem ser consideradas para obter uma boa impressão de audição, e que uma taxa de bits necessária para codificar os valores de correlação intra-objetos pode ser significativamente reduzida nestes casos pelo uso de um valor comum de parâmetro de fluxo de bits de correlação intra-objetos mais que de valores individuais de fluxo de bits de correlação intra-objetos sem comprometer significativamente a impressão de audição.
[00040] Tem sido visto que, em situações na quais há correlações notáveis intra-objetos, muitos pares de áudio-objetos que devem ser considerados para obter uma boa impressão de audição, uma consideração das correlações, intra-objeto resulta normalmente num requisito de alta taxa de bits para os valores de parâmetro de fluxo de bits de correlação intra-objetos. No entanto, tem sido visto que em tais situações, nas quais há uma não desprezível correlação intra-objetos entre muitos pares de áudio-objetos, uma boa impressão de audição pode ser atingida meramente por codificar um único valor de parâmetro de correlação intra-objetos de fluxo de bits, e por deduzir os valores de correlação intra-objetos para uma pluralidade de pares de áudio- objetos relacionados de tal valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Deste modo, a correlação entre muitos áudio-objetos pode ser considerada com bastante precisão na maioria dos casos, enquanto é mantido o esforço para a transmissão de um valor de parâmetro de correlação intra-objetos de fluxo de bits bastante pequeno.
[00041] Portanto, o conceito acima comentado resulta numa demanda pequena de taxa de bits para a informação lateral objeto- relacionada em alguns ambientes acústicos nos quais há uma não desprezível correlação intra-objetos entre muitos sinais de áudio- objetos diferentes e, ao mesmo tempo, ainda atingir uma impressão de audição bastante boa.
[00042] Numa configuração proposta, o determinador de parâmetro-objeto é configurado para estabelecer o valor da correlação intra-objetos para todos os pares dos diversos áudio- objetos relacionados para um valor comum definido pelo valor comum do parâmetro de correlação intra-objetos de fluxo de bits.
[00043] Numa configuração proposta,o determinador de parâmetro-objeto é configurado para avaliar uma informação de relacionamento de objeto que descreve se dois objetos estão relacionados mutuamente. O determinador de parâmetro-objeto é ainda configurado para obter seletivamente valores de correlação intra-objetos para pares de áudio-objetos para os quais a informação de relacionamento de objeto indica um relacionamento que usa o valor comum de parâmetro de correlação intra-objetos de fluxo de bits, e para estabelecer valores de correlação intra- objetos para pares de áudio-objetos para os quais a informação de relacionamento de objetos indica não haver relacionamento com um valor pré-definido (por exemplo, zero). Deste modo, pode-se distinguir, com grande eficiência de taxa de bits, entre áudio- objetos relacionados e não relacionados. Portanto, evita-se uma alocação de um valor não nulo de correlação intra-objetos a pares de áudio-objetos, que são (aproximadamente) não relacionados. Deste modo, evita-se a degradação de uma impressão de audição e uma separação entre tais aproximadamente não relacionados áudio- objetos é possível. Mais anda, a sinalização de áudio-objetos relacionados e não relacionados pode ser feita com eficiência muito alta de taxa de bits, porque o relacionamento de áudio- objetos é tipicamente invariável no tempo sobre uma peça de rádio, de tal modo que a taxa de bits necessária para esta sinalização é tipicamente muito baixa. Portanto, o conceito descrito traz consigo uma muito boa troca alternativa entre eficiência de taxa de bits e impressão de audição.
[00044] Numa configuração proposta, o determinador de parâmetro-objeto é configurado para avaliar uma informação de relacionamento-objeto compreendendo uma sinalização de um bit para cada combinação de áudio-objeto diferente, em que a sinalização de um bit associada a uma determinada combinação de diferentes áudio-objetos indica se os áudio-objetos de uma determinada combinação estão relacionados ou não. Uma informação como esta pode ser transmitida muito eficientemente e resulta numa redução significativa da taxa de bits para alcançar uma boa impressão de audição.
[00045] Numa configuração proposta, o determinador parâmetro-objeto é configurado para estabelecer os valores de correlação intra-objetos para todos os pares de áudio-objetos relacionados a um valor comum definido de parâmetro de correlação intra-objetos de fluxo de bits.
[00046] Numa configuração proposta, o determinador de parâmetro-objeto compreende um analisador de fluxo de bits configurado para analisar uma representação de fluxo de bits de um conteúdo de áudio para obter o parâmetro da sinalização do fluxo de bits e o parâmetro individual de correlação intra-objetos de fluxo de bits ou o parâmetro comum de correlação intra-objetos do fluxo de bits. Pelo uso do analisador de fluxo de bits, o parâmetro de sinalização de fluxo de bits e o parâmetro individual de correlação intra-objetos de fluxo de bits ou o parâmetro comum de correlação intra-objetos de fluxo de bits pode ser obtido com boa eficiência de implementação.
[00047] Numa configuração proposta, o decodificador de sinal de áudio é configurado para combinar um valor de correlação intra-objeto associado a um par de áudio-objetos relacionados com um valor de parâmetro de diferença de nível de objeto que descreve um nível de objeto de um primeiro áudio-objeto do par de áudio- objetos relacionados e com um parâmetro de diferença de nível de objeto que descreve um nível de objeto de um segundo áudio objeto do par de áudio-objetos relacionados para obter um valor de covariância associado ao par de áudio-objetos relacionados. Deste modo, é possível deduzir o valor da covariância associado a um par de áudio-objetos relacionados de tal modo que o valor de covariância é adaptado ao par de áudio-objetos apesar de ser usado um parâmetro de correlação intra-objetos comum. Portanto, diferentes valores de covariância podem ser obtidos para diferentes pares de áudio-objetos. Em particular, um grande número de diferentes valores de covariância podem ser obtidos usando o valor comum de parâmetro de correlação intra-objetos de fluxo de bits.
[00048] Numa configuração proposta, o decodificador de sinal de áudio é configurado para manusear três ou mais áudio- objetos. Neste caso, o determinador de parâmetro-objeto é configurado para prover valores de correlação intra-objetos para cada par de áudio-objetos diferentes. Tem sido visto que valores significativos podem ser obtidos usando o conceito criativo mesmo se há relativamente grande número de áudio-objetos, que são todos mutuamente relacionados. Obter valores de correlação intra-objetos de grande combinações de áudio-objetos é particularmente de muita ajuda quando se deve codificar e decodificar sinais de áudio- objetos usando uma informação lateral paramétrica objeto- relacionada.
[00049] Numa configuração proposta, o determinador de parâmetro-objeto é configurado para avaliar o parâmetro de sinalização de fluxo de bits, que é incluído numa porção de configuração de fluxo de bits, para decidir se deve se avaliar os valores individuais de parâmetro de correlação intra-objetos de fluxo de bits para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos relacionados, ou para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos relacionados que usam um valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Nesta configuração, o determinador de parâmetro-objeto é configurado para avaliar uma informação objeto-relacionada, que é incluída na porção de configuração de fluxo de bits, para determinar se os áudio-objetos estão relacionados. Adicionalmente, o determinador de parâmetro-objeto é configurado para avaliar um valor comum de parâmetro de correlação intra-objetos de fluxo de bits, que está incluído numa porção do quadro de dados de fluxo de bits, para cada quadro do conteúdo de áudio se for decidido obter valores de correlação intra-objetos para uma pluralidade de pares de áudio- objetos relacionados usando um valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Deste modo, obtém-se uma taxa de bits de alta eficiência, porque a informação de relacionamento de objeto comparativamente grande é avaliada somente uma vez por áudio-peça (que é definida pela presença de uma porção de uma configuração de fluxo de bits), enquanto o valor comum comparativamente pequeno de parâmetro de correlação intra- objetos de fluxo de bits é avaliado para cada quadro da áudio- peça, isto é,múltiplas vezes por áudio-peça. Isto reflete o achado segundo o qual o relacionamento entre áudio-objetos tipicamente não muda dentro de uma áudio-peça ou somente muda muito raramente. Destarte, uma boa impressão de audição pode ser obtida a um taxa de bits razoavelmente baixa.
[00050] Alternativamente, no entanto, o uso de um valor de correlação intra-objetos comum de fluxo de bits pode ser sinalizado numa porção de um quadro de dados de fluxo de bits, que pode, por exemplo, permitir uma adaptação flexível a conteúdos variáveis de áudio.
[00051] Uma configuração conforme a invenção cria um codificador de sinal de áudio para prover uma representação de fluxo de bits com base numa pluralidade de sinais de áudio-objeto. O codificador de sinal de áudio compreende um misturador decrescente para prover um sinal de mescla decrescente com base nos sinais de áudio-objeto e que dependem de parâmetros de mescla descendente que descrevem contribuições dos sinais de áudio- objetos para ser um ou mais canais do sinal de mescla decrescente. O codificador de sinal de áudio também compreende um provedor de parâmetro configurado para prover um valor comum de parâmetro de correlação intra-objetos de fluxo de bits associado a uma pluralidade de pares de áudio-objetos relacionados e também a prover um parâmetro de sinalização de fluxo de bits indicando que é provido o valor comum de parâmetro de correlação intra-objetos de fluxo de bits em vez de uma pluralidade de parâmetros individuais de correlação intra-objetos de fluxo de bits. O codificador de sinal de áudio também compreende um formatador de fluxo de bits configurado para prover um fluxo de bits compreendendo uma representação do sinal de mescla decrescente, uma representação do valor comum de parâmetro de correlação intra- objetos de fluxo de bits e o parâmetro de sinalização do fluxo de bits.
[00052] Esta configuração, conforme a invenção, permite uma provisão de um fluxo de bits representando um conteúdo multicanal de áudio com informação lateral compacta. Provendo um valor comum de parâmetro de correlação intra-objetos de fluxo de bits, a informação lateral objeto-relacionada é mantida compacta, enquanto ainda provendo uma informação eficiente para uma reprodução do conteúdo multicanal de áudio com uma boa impressão de audição. Adicionalmente, deve-se salientar que o codificador de sinal de áudio aqui descrito provê as mesmas vantagens que têm sido aqui comentadas em relação ao decodificador de sinal de áudio.
[00053] Numa configuração proposta, o provedor de parâmetro é configurado para prover o valor comum de parâmetro de correlação intra-objetos de fluxo de bits na dependência de uma relação entre uma soma de termos de energia cruzada e uma soma de termos de energia média. Tem sido visto que um tal valor de parâmetro de correlação intra-objetos de fluxo de bits pode ser computado com esforço computacional moderado, e, ao mesmo tempo, pode ser provida uma impressão precisa de audição na maioria dos casos.
[00054] Numa outra configuração conforme a invenção, o provedor de parâmetro é configurado para prover um valor constante pré-determinado como o valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Tem sido visto que, em alguns casos, a provisão de um valor constante faz sentido. Por exemplo, para determinadas disposições de microfones normais em determinados salões de conferência, um valor constante pode ser muito bem adaptado para representar a impressão de audição desejada. Destarte, o esforço computacional pode ser minimizado e ao mesmo pode ser provida uma boa impressão de audição em muitas aplicações normais do conceito criativo.
[00055] Em outra configuração proposta, o provedor de parâmetro é configurado para também prover uma informação objeto- relacionada que descreve se dois áudio-objetos estão relacionados mutuamente. Tal informação de relacionamento de objeto pode ser explorada pelo decodificador de áudio, como comentado acima. Destarte, pode-se assegurar que o valor comum de parâmetro de correlação intra-objetos de fluxo de bits é aplicado apenas a tais áudio-objetos, que são,de fato, relacionados mutuamente, mas não é aplicado para des-relacionar inteiramente áudio-objetos.
[00056] Numa configuração proposta, o provedor de parâmetro é configurado para seletivamente avaliar uma correlação intra-objetos de áudio-objetos para a qual a informação do relacionamento de objetos indica um relacionamento para uma computação do valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Isto permite ter-se um valor de correlação intra-objeto de fluxo de bits especialmente significativo.
[00057] Outras configurações conforme a invenção criam um método para prover uma representação de sinal de mescla ascendente e um método para prover uma representação de fluxo de bits. Estes métodos são baseados nas mesmas idéias acima comentadas como as do codificador de áudio.
[00058] Outra configuração conforme a invenção cria um fluxo de bits representando um sinal de áudio multicanal. O fluxo de bits compreende uma representação de um sinal de mescla decrescente combinando sinal de áudio de uma pluralidade de áudio- objetos. O fluxo de bits também compreende uma informação lateral paramétrica objeto-relacionada que descreve características de áudio-objetos. A informação lateral paramétrica objeto-relacionada compreende um parâmetro de sinalização que indica se o fluxo de bits compreende valores individuais de parâmetro de correlação intra-objetos de fluxo de bits ou um valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Destarte, o fluxo de bits permite um uso flexível para a transmissão de tipos diferentes de conteúdos de canais de áudio. Em particular, o fluxo de bits permite tanto a transmissão de valores individuais de parâmetro de correlação intra-objetos de fluxo de bits quanto a transmissão do valor comum de parâmetro de correlação intra- objetos de fluxo de bits, aquele que for mais adequado para a cena auditiva. Destarte, o fluxo de bits é bem adequado para manusear tanto os casos em que há comparativamente pequeno número de áudio- objetos relacionados para os quais informações detalhadas de correlação intra-objetos (objeto-individuais) devem ser transmitidas quanto os casos em que há um número comparativamente grande de áudio-objetos relacionados para os quais a transmissão de valores individuais de parâmetro de correlação intra-objetos de fluxo de bits resultaria numa demanda de taxa de bits excessivamente alta e para a qual o valor comum de parâmetro de correlação intra-objetos de fluxo de bits ainda permite uma reprodução com boa impressão de audição.
[00059] Configurações conforme a invenção serão a seguir descritas fazendo referência às Figuras anexas nas quais: A Fig. 1 mostra um diagrama de blocos esquemático de um decodificador de sinal de áudio conforme uma configuração da invenção; A Fig. 2 mostra um diagrama de blocos esquemático de um codificador de sinal de áudio conforme uma configuração da invenção; A Fig. 3 mostra uma representação esquemática de um fluxo de bits conforme uma configuração da invenção; A Fig. 4 mostra um diagrama de blocos esquemático de um sistema MPEG SAOC que usa um único cálculo de parâmetro de correlação intra-objetos; A Fig. 5 mostra uma representação sintática de uma informação de configuração específica SAOC, que pode ser parte de um fluxo de bits; A Fig. 6 mostra uma representação sintática de uma informação de quadro SAOC, que pode ser parte de um fluxo de bits; A Fig. 7 mostra uma tabela que representa uma quantificação de parâmetro de correlação intra-objetos; A Fig. 8 mostra um diagrama de blocos esquemático de uma referência de sistema MPEG SAOC; A Fig. 9a mostra um diagrama de blocos esquemático de uma referência de sistema SAOC que usa um decodificador e um misturador separados; A Fig. 9b mostra um diagrama de blocos esquemático de uma referência de sistema SAOC que usa um decodificador e um misturador integrados; e A Fig. 9c mostra um diagrama de blocos esquemático de uma referência de sistema SAOC que usa transcodificador SAOC-para-MPEG.
[00060] A seguir, será descrito um decodificador de sinal de áudio 100 fazendo referência à Fig. 1, que mostra um diagrama de bloco esquemático de um decodificador de sinal de áudio 100.
[00061] Primeiramente, serão descritos sinais de entrada e de saída do decodificador de sinal de áudio 100. A seguir, será descrita a estrutura do decodificador de sinal de áudio 100 e, finalmente, será comentada a funcionalidade do decodificador de sinal de áudio 100.
[00062] O decodificador de sinal de áudio 100 é configurado para receber uma representação de sinal de mescla decrescente 110, que representa tipicamente uma pluralidade de sinais de áudio-objetos, por exemplo, na forma de uma representação de sinal de um canal de áudio ou de uma representação de sinal de dois canais de áudio
[00063] O decodificador de sinal de áudio 100 recebe também uma informação paramétrica objeto-relacionada 112, que descreve tipicamente os áudio-objetos, que estão incluídos na representação do sinal de mescla decrescente 110.
[00064] Por exemplo, a informação paramétrica objeto relacionada 112 descreve níveis de objeto dos áudio-objetos, que são representados pela representação do sinal de mescla decrescente 110, usando valores de diferença de nível de objeto (OLD).
[00065] Adicionalmente, a informação paramétrica objeto- relacionada 112 representa tipicamente características de correlação intra-objetos dos áudio-objetos, que são representados pela representação do sinal de mescla decrescente 110. A informação paramétrica objeto-relacionada compreende tipicamente uma sinalização de fluxo de bits (também aqui denominada "bsOnelOC"), que sinaliza se a informação paramétrica compreende vlores individuis de parâmetro de correlação intra-objetos de fluxo de bits associados a pares individuais de áudio-objetos ou a um valor comum de parâmetro de correlação intra-objetos de fluxo de bits associado a uma pluralidade de pares de áudio-objetos. Destarte, a informação paramétrica objeto-relacionada compreende os valores individuais de parâmetro de correlação intra-objetos de fluxo de bits ou o valor comum de parâmetro de correlação intra- objetos de fluxo de bits, de acordo com a sinalização de parâmetro de fluxo de bits "bsOnelOC".
[00066] A informação paramétrica objeto-relacionada 112 pode também compreender informação de mescla decrescente que descreve uma mescla decrescente dos áudio-objetos dentro da representação de sinal de áudio-objetos. Por exemplo, a informação paramétrica objeto-relacionada compreende uma informação de ganho de mescla decrescente DMG que descreve uma contribuição dos sinais de áudio-objeto para a representação do sinal de mescla decrescente 110. Adicionalmente, a informação paramétrica objeto- relacionada pode, opcionalmente, compreender uma informação de diferença de nível de canal de mescla decrescente DCLD que descreve diferenças de ganho de mesclas decrescentes entre diferentes canais de mescla decrescente.
[00067] O decodificador de sinal 100 é também configurado para receber uma informação de processamento 120, por exemplo, de uma interface de usuário para dar entrada a tal informação de processamento. A informação de processamento descreve uma alocação dos sinais de áudio-objetos para mesclar canais ascendentemente. Por exemplo, a informação de processamento 120 pode tomar a forma de uma matriz de processamento (ou de entradas dela). Alternativamente, a informação de processamento 120 pode compreender uma descrição de uma posição desejada de processamento (por exemplo, em termos de coordenadas espaciais) dos áudio- objetos e de desejadas intensidades (ou volumes) de áudio-objetos.
[00068] O decodificador de sinal de áudio 100 provê uma representação de sinal de mescla ascendente 130, que constitui uma representação processada dos sinais de áudio descritos pela representação do sinal de mescla decrescente e pela informação paramétrica objeto-relacionada. Por exemplo, a representação do sinal de mescla ascendente pode tomar a forma de sinais individuais de canal de áudio, ou pode tomara a forma de uma representação de sinal de mescla decrescente em combinação com uma informação lateral paramétrica canal-relacionada (por exemplo, informação lateral MPEG-Surround).
[00069] O decodificador de sinal de áudio 100 é configurado para prover a representação de sinal de mescla crescente 130 com base na representação do sinal de mescla decrescente 110 e na informação paramétrica objeto-relacionada 112 e na dependência da informação de processamento 120. O aparelho 100 compreende um determinador de parâmetro-objeto 140, que é configurado para obter valores de correlação intra-objetos (pelo menos) para uma pluralidade de pares de áudio-objetos relacionados com base na informação paramétrica objeto-relacionada 112. Para tanto, o determinador de parâmetro-objeto 140 é configurado para avaliar a sinalização de fluxo de bits ("bsOnelOC") para decidir se avaliar valores individuais de parâmetro de correlação intra- objetos de fluxo de bits para obter valores de correlação intra- objetos para uma pluralidade de pares de áudio-objeto relacionados, ou para obter valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos relacionados que usam um valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Destarte, o determinador de parâmetro-objeto 140 é configurado para prover os valores de correlação intra-objetos 142 para uma pluralidade de pares de áudio-objetos relacionados com base nos valores individuais de parâmetro de correlação intra- objetos de fluxo de bits se o parâmetro de sinalização de fluxo de bits indicar que um valor comum de parâmetro de correlação intra- objetos de fluxo de bits não está disponível. Semelhantemente, o determinador de parâmetro-objeto determina os valores de correlação intra-objetos 142 para uma pluralidade de pares de áudio-objeto relacionados com base no valor comum de parâmetro de correlação intra-objetos de fluxo de bits se o parâmetro de sinalização indicar que tal valor comum de parâmetro de correlação intra-objetos de fluxo de bits está disponível.
[00070] O determinador de parâmetro-objeto também provê tipicamente outros valores objeto-relacionados, como, por exemplo, valores de diferenças de nível OLD, valores de ganho de mescla decrescente DMG e (opcionalmente) valores de diferenças de nível de canal de mescla decrescente DCLD com base na informação paramétrica relacionada 112.
[00071] O decodificador de sinal de áudio 100 também compreende um processador de sinal 150, que é configurado para obter a representação de sinal de mescla ascendente 130 com base em uma representação de sinal de mescla decrescente 110 e que usa os valores de correlação intra-objetos 142 para uma pluralidade de pares de áudio-objetos relacionados e para a informação de processamento 120. O processador de sinal 150 também usa os outros valores objeto-relacionados, como valores de diferenças de nível de objeto, valores de ganho de mescla decrescente e valores de diferenças de nível de canal de mescla decrescente.
[00072] O processador de sinal 150 pode, por exemplo, estimar características estáticas de uma desejada representação de sinal de mescla ascendente 130 e processar a representação do sinal de mescla decrescente de tal modo que a representação do sinal de mescla ascendente 130 derivado da representação do sinal de mescla decrescente compreende as desejadas características estáticas. Alternativamente, o processador de sinal 150 pode tentar separar os sinais de áudio-objeto da pluralidade de áudio- objetos, que estão combinados na representação do sal de mescla decrescente 110, usando o conhecimento acerca da características do objeto e do processo de mescla decrescente. Destarte, o processador de sinal pode calcular uma regra de processamento (por exemplo, uma regra de escalonamento ou uma regra de combinação linear), que pode permitir a reconstrução dos sinais individuais de áudio-objeto ou, pelo menos, dos sinais de áudio que têm características estáticas semelhantes como os sinais de áudio individuais. O processador de sinal 150 pode então aplicar e processamento desejado para obter a representação de sinal de mescla ascendente. Naturalmente, a computação de sinais de áudio- objetos reconstruídos, que aproximam o áudio-objeto individual original, e o processamento podem ser combinados num único passo de processamento para reduzir a complexidade computacional.
[00073] Para resumir o acima dito, o decodificador de sinal de áudio é configurado para prover a representação de sinal de mescla ascendente 130 com base na representação de mescla decrescente 110 e a informação paramétrica objeto-relacionada 112 usando a informação de processamento 120. A informação paramétrica objeto-relacionada 112 é avaliada para ter um conhecimento acerca das características estáticas dos sinais individuais de áudio- objeto e do relacionamento entre os sinais individuais de áudio- objeto, que é exigido pelo processador de sinal 150. Por exemplo, a informação paramétrica objeto-relacionada 112 é usada para obter uma matrix da variância estimada que descreve valores de covariância dos sinais individuais de áudio-objetos. A matriz estimada da covariância é então aplicada pelo processador de sinal 150 para determinar uma regra de processamento (por exemplo, como comentado acima) para deduzir a representação do sinal de mescla ascendente 130 da representação do sinal de mescla decrescente 110, em que, naturalmente, outras informações objeto-relacionadas podem também ser exploradas.
[00074] O determinador de parâmetro-objeto 140 compreende diversos modos para obter os valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos relacionados, que constituem uma importante informação de entrada para o processador de sinal 150. Numa primeira maneira, os valores de correlação intra-objetos são determinados usando valores paramétricos individuais de correlação intra-objetos de fluxo de bit. Por exemplo, pode haver um valor paramétrico individual de correlação intra-objeto de fluxo de bits para cada par de áudio-objetos relacionados, de tal modo que o determinador de parâmetro-objeto 140 simplesmente mapeia tal valor paramétrico de correlação individual intra-objetos de fluxo de bits em um ou dois valores de correlação intra-objetos associados a um determinado par de áudio- objetos relacionados. Por outro lado, há também uma segunda maneira de trabalhar, na qual o determinador de parâmetro-objeto 140 meramente lê um único valor comum de parâmetro de correlação intra-objetos de fluxo de bits do fluxo de bits e prove uma pluralidade de valores de correlação intra-objetos para uma pluralidade de diferentes pares de áudio-objetos com base neste único valor comum de parâmetro de correlação intra-objetos de fluxo de bits. Destarte, os valores de correlação intra-objetos para uma pluralidade de pares de áudio-objetos pode, por exemplo, ser idêntica ao valor representado pelo único valor comum de parâmetro de correlação intra-objetos de fluxo de bits, ou pode ser deduzido do mesmo valor comum de parâmetro de correlação intra-objetos de fluxo de bits. O determinador de parâmetro-objeto 140 é comutável entre a primeira maneira referida e a segunda maneira referida na dependência do parâmetro de sinalização do fluxo de bits ("bsOnelOC").
[00075] Da mesma maneira, há diversos modelos para a provisão dos valores de correlação intra-objetos, que podem ser aplicados ao determinador de parâmetro-objeto 140. Se há um número de pares de áudio-objetos relativamente pequeno, os valores de correlação intra-objetos para os referidos pares de áudio-objetos são tipicamente (dependendo do parâmetro de sinalização do fluxo de bits) determinados individualmente pelo determinador de parâmetro-objeto, o que permite uma representação particularmente precisa das características de referidos pares de áudio-objetos relacionados e, consequentemente, traz consigo a possibilidade de reconstruir os sinais individuais de áudio-objetos com boa precisão no processador de sinal 150. Portanto, é tipicamente possível prover uma boa impressão de audição em caso tal em que são relevantes apenas correlações entre um número comparativamente pequeno de pares de áudio-objetos relacionados.
[00076] A segunda maneira de trabalhar com o determinador de parâmetros-objeto, na qual um valor comum de parâmetro de correlação intra-objetos de fluxo de bits é usado para obter valores de correlação intra-objetos para uma pluralidade de áudio-objetos relacionados, é tipicamente usado em casos em que há correlações não desprezíveis entre uma pluralidade de pares de áudio-objetos. Tais casos podem ser convencionalmente não manuseados sem aumentar excessivamente a taxa de bits de um fluxo de bits representando tanto a representação de sinal de mescla decrescente 110 quanto a informação paramétrica objeto-relacionada 112. O uso de um valor comum de parâmetro de correlação intra- objetos de fluxo de bits traz consigo vantagens específicas se não há correlações não desprezíveis entre um número de pares de áudio- objetos comparativamente grande, cujas correlações não compreendem variações acústicas significantes. Neste caso, é possível considerar as correlações com moderado esforço de taxa de bits, o que traz consigo um compromisso razoavelmente bom entre requisitos de taxa de bits e qualidade de impressão de adição.
[00077] Deste modo, o decodificador de sinal de áudio 100 é capaz de manusear eficientemente diversas situações, particularmente situações em que há apenas uns poucos pares de áudio-objetos relacionados, cuja correlação intra-objetos deve ser levada em consideração com grande precisão, e situações nas quais há um grande número de pares de áudio-objetos relacionados, cujas correlações não devem ser negligenciadas por inteiro mas têm alguma semelhança. O decodificador de sinal de áudio 100 á capaz de manusear ambas as situações com uma boa qualidade de impressão de audição. 2. Codificador de Sinal de Áudio conforme Fig. 2
[00078] A seguir, será descrito um codificador de sinal de áudio 200 fazendo referência à Fig. 2, que mostra um diagrama de blocos esquemático de tal codificador de sinais de áudio 200.
[00079] O codificador de sinal de áudio 200 é configurado para receber uma pluralidade de sinais de áudio-objeto 210a a 210N. Os sinais de áudio-objeto 210a a 210N podem, por exemplo, ser sinais de um canal ou de dois canais representando áudio- objetos.
[00080] O codificador de sinal de áudio 200 é também configurado para prover uma representação de fluxo de bits 220, que descreve uma cena de audição representada pelos sinais de áudio-objetos 210a a 210N de maneira compacta e eficiente em taxa de bits.
[00081] O codificador de sinal de áudio 200 compreende um misturador decrescente 220, que é configurado para receber os sinais de áudio-objeto 210a a 210N e prover um sinal de mescla decrescente 232 com base nos sinais de áudio-objeto 210a a 210N. O misturador decrescente 230 é configurado para prover o sinal de mescla decrescente 232 dependendo dos parâmetros de mescla decrescente que descrevem contribuições dos sinais de áudio- objetos 210a a 210N para um ou mais canais de sinal de mescla decrescente.
[00082] O codificador de sinal de áudio também compreende um provedor de parâmetro 240, que é configurado para prover um valor comum de parâmetro de correlação intra-objetos de fluxo de bits 242 associado a uma pluralidade de pares de sinais de áudio- objetos relacionados 210a a 210N. O provedor de parâmetro 240 é também configurado para prover um parâmetro de sinalização de fluxo de bits 244 que indica que o valor comum de parâmetro de correlação intra-objetos de fluxo de bits 242 é provido em vez de uma pluralidade de parâmetros individuais de fluxos de bits de correlações intra-objetos (individualmente associados a diferentes pares de áudio-objetos).
[00083] O codificador de sinal de áudio 200 também compreende um formatador de fluxo de bits 250, que é configurado para prover uma representação de fluxo de bits 250 que compreende uma representação de sinal de mescla decrescente 232 (por exemplo, uma representação codificada de sinal de mescla decrescente 232), uma representação do valor comum de parâmetro de correlação intra- objetos de fluxo de bits 242 (por exemplo, uma representação quantificada e codificada disto) e o parâmetro de sinalização de fluxo de bits 44 (por exemplo, na forma de um valor de parâmetro de um bit).
[00084] O decodificador de sinal de áudio 200 consequentemente provê uma representação de fluxo de bits 220, que representa a cena de áudio descrita pelos sinais de áudio-objeto 210a a 210N com boa precisão. Em particular, a representação de fluxo de bits 220 compreende uma informação lateral compacta se muitos dos sinais de áudio-objeto 210a a 210N são relacionados mutuamente, ou seja, compreendem uma correlação não desprezível intra-objetos. Neste caso, o valor comum de parâmetro de correlação intra-objetos de fluxo de bits 242 é provido em vez de valores individuais de parâmetro de correlação intra-objetos de fluxo de bits individualmente associados a pares de áudio-objetos. Destarte, o codificador de sinal de áudio pode prover uma representação compacta de fluxo de bits 220 em qualquer caso, tanto se há muitos áudio-objetos relacionados 210a a 210N como se há apenas uns poucos pares de sinais de áudio-objetos relacionados 210a a 210N. Em particular, a representação de fluxo de bits 220 pode compreender a informação solicitada pelo decodificador de sinal de áudio 100 como uma informação de entrada, especificamente, a representação de sinal de mescla decrescente 110 e a informação paramétrica objeto-relacionada 112. Então, o provedor paramétrico 240 pode ser configurado para prover informações paramétricas objeto relacionadas adicionais que descrevem os sinais de áudio-objetos 210a a 210N assim como o processo de mescla decrescente feito pela mescla decrescente 230. Por exemplo, o provedor de parâmetro 240 pode adicionalmente prover uma informação de diferença de nível de objeto OLD que descreve os níveis de objeto (ou diferenças de nível de objeto)) dos sinais de áudio-objeto 210a a 210N. Ainda mais, o provedor de parâmetro 240 pode prover uma informação de ganho de mescla decrescente DMG que descreve ganhos de mescla decrescente aplicados aos sinais de áudio-objetos individuais 210a a 210N quando um ou mais canais de sinal de mescla decrescente 232 estiverem sendo formados. Valores de diferença de nível de canal de mescla decrescente DCLD, que descrevem diferenças de ganho entre diferentes canais de sinal de mescla decrescente 232, podem também, opcionalmente, ser providos pelo provedor de parâmetro 240 para inclusão na representação de fluxo de bits 220.
[00085] Para resumir o acima dito, o codificador de sinal de áudio provê eficientemente as informações paramétricas objeto- relacionadas necessárias para a reconstrução da cena de áudio descrita pelos sinais de áudio-objeto 210a a 210N com uma boa impressão de audição, em que o valor comum de parâmetro de correlação intra-objetos de fluxo de bits é usado e há um número grande de pares de áudio-objetos. Isto é sinalizado usando o parâmetro sinalizador de fluxo de bits 244. Portanto, uma carga excessiva de fluxo de bits é evitada em tal caso.
[00086] Mais detalhes referentes à provisão de uma representação de fluxo de bits serão dados abaixo. 3. Fluxo de bits conforme Fig. 3
[00087] A Fig. 3 mostra uma representação esquemática de um fluxo de bits 300, conforme uma configuração da invenção.
[00088] O fluxo de bits 300 pode, por exemplo, servir como um fluxo de bits de entrada do decodificador de sinal de áudio 100, carregando a representação do sinal de mescla decrescentes 110 e a informação objeto relacionada 112. O fluxo de bits 300 pode ser provido como um fluxo de bits de saída 220 pelo codificador de sinal de áudio 200.
[00089] O fluxo de bits 300 compõe-se de uma representação de sinal de mescla decrescente 310, que é uma representação de um sinal de um canal ou multicanal de mescla decrescente (por exemplo, o sinal de mescla decrescente 232) combinando sinais de áudio de uma pluralidade de áudio-objetos. O fluxo de bits 300 também compreende informação lateral paramétrica objeto-relacionada 320 que descreve características dos áudio- objetos, cujos sinais de áudio-objeto são representados, de maneira combinada, pela representação do sinal de mescla decrescente 310. A informação lateral paramétrica objeto- relacionada 320 compreende um parâmetro de sinalização de fluxo de bits 322 que indica se o fluxo de bits compreende parâmetros individuais de correlação intra-objetos de fluxo de bits (individualmente associados a diversos pares de áudio-objetos) ou a um valor comum de parâmetro de correlação intra-objetos de fluxo de bits (associado a uma pluralidade de diversos pares de áudio- objetos). A informação lateral paramétrica objeto-relacionada também compreende uma pluralidade de valores individuais de parâmetro de correlação intra-objetos de fluxo de bits 324a, que é indicado por um primeiro estado de parâmetro de sinalização de fluxo de bits 322, ou por um valor comum de parâmetro de correlação intra-objetos de fluxo de bits, que é indicado por um segundo estado do parâmetro de sinalização do fluxo de bits 322.
[00090] Destarte, o fluxo de bits 300 pode ser adaptado 'às características de relacionamento dos sinais de áudio-objeto 210a a 210N pela adaptação do formato do fluxo de bits 300 para conter a representação dos valores individuais de parâmetro de correlação intra-objetos de fluxo de bits ou uma representação do valor comum de parâmetro de correlação intra-objetos de fluxo de bits.
[00091] O fluxo de bits 300 pode, consequentemente, prover a possibilidade de codificar eficientemente diversos tipos de cenas de áudio com uma informação lateral compacta, e ao mesmo tempo manter a mudança de obter uma boa impressão de audição no caso em que há poucos áudio-objetos fortemente correlacionados.
[00092] Mais detalhes referentes ao fluxo de bits serão a seguir comentados. 4. O sistema MPEG SAOC conforme a Fig. 4
[00093] A seguir, será descrito um sistema MPEG SAOC que usa um único parâmetro de cálculo IOC fazendo referência à Fig. 4.
[00094] O sistema MPEG SAOC 400 conforme a Fig. 4 compreende um codificador SAOC 410 e um decodificador SAOC 420.
[00095] O codificador SAOC 410 é configurado para receber uma pluralidade de, por exemplo, L sinais de áudio-objetos 420a a 420N. O codificador SAOC 410 é configurado para prover uma representação de sinal de mescla decrescente 430 e uma informação lateral 432, que são, de preferência, mas não necessariamente, incluídos num fluxo de bits.
[00096] O codificador SAOC 410 compreende um processador SAOC de mescla decrescente 440, que recebe os sinais de áudio- objeto 420a a 420N e provê a representação do sinal da mescla decrescente 430 com base nisto. O codificador SAOC 410 também compreende um extrator de parâmetro 444, que pode receber os sinais de objeto 420a a 420N e que pode opcionalmente, também receber uma informação acerca do processamento de mescla decrescente 440 (por exemplo, um ou mais parâmetros de mescla decrescente). O extrator de parâmetro 444 compreende um calculador único de correlação intra-objetos 448, que é configurado para calcular um único (comum) valor de correlação intra-objetos associado a uma pluralidade de pares de áudio-objetos. Adicionalmente, o calculador único de correlação intra-objetos 448 é configurado para prover uma única sinalização de correlação intra-objetos 452, que indica se um valor único de correlação intra-objetos é usado em vez de valores individuais de pares de objetos de correlação intra-objetos. O calculador único de correlação intra-objetos 448 pode, por exemplo, decidir com base em uma análise dos sinais de áudio-objeto 420a a 420N se um único valor comum de correlação intra-objetos (ou, alternativamente, se uma pluralidade de valores individuais de parâmetros de correlação intra-objetos associados individualmente a pares de sinais de áudio-objetos) são providos. No entanto, o calculador único de correlação intra-objetos 448 pode também receber uma informação de controle externo que determina se um valor comum de correlação intra-objetos (por exemplo, um valor de parâmetro de fluxo de bits) ou valores individuais de correlação intra-objetos (por exemplo, valores de parâmetro de fluxo de bits) devem ser calculados.
[00097] O extrator de parâmetro 444 é também configurado para prover uma pluralidade de parâmetros que descrevem os sinais de áudio-objeto 420a a 420N, como, por exemplo, parâmetros de diferença de nível de objeto. O extrator de parâmetro 444 é também, de preferência, configurado para prover parâmetros que descrevem a mescla decrescente, como, por exemplo, um conjunto de parâmetros de ganho de mescla decrescente DMG e um conjunto de parâmetros de diferenças de nível de canal de mescla decrescente DCLD.
[00098] O codificador SAOC 410 compreende uma quantificação 456, que quantifica os parâmetros providos pelo extrator de parâmetros 444. Por exemplo, o parâmetro comum de correlação intra-objetos pode ser quantificado pela quantificação 456. Adicionalmente, os parâmetros de diferença de nível de objeto, os parâmetros de ganho de mescla decrescente e os parâmetros de diferença de nível de canal de mescla decrescente podem também ser quantificados pela quantificação 456. Desta maneira, os parâmetros quantificados são obtidos pela quantificação 456.
[00099] O codificador SAOC 410 também compreende uma codificação sem ruído 460, que é configurada para codificar os parâmetro quantificados providos pela quantificação 456. Por exemplo, a codificação sem ruído pode codificar silenciosamente o parâmetro quantificado comum de correlação intra-objetos e também os outros parâmetros quantificados (por exemplo, OLD, DMG e DCLD).
[000100] Deste modo, o decodificador SAOC 410 provê a informação lateral 432 de tal maneira que a informação lateral compreende o sinalizador único IOC 452 (que pode ser considerado como um parâmetro de sinalização do fluxo de bits) e o parâmetro codificado sem ruído provido pela codificação sem ruído 480 (que pode ser considerado um valor de parâmetro de fluxo de bits).
[000101] O decodificador SAOC 420 é configurado para receber a informação lateral 432 provida pelo codificador SAOC 410 e pela representação de sinal de mescla decrescente 430 provido pelo codificador SAOC 410.
[000102] O decodificador SAOC 420 compreende uma decodificação sem ruído 464, que é configurada para reverter a codificação sem ruído 460 da informação lateral 432 feita no codificador 410. O decodificador SAOC 420 também compreende uma desquantificação 468, que pode também ser considerada como uma quantificação inversa (embora, a rigor uma quantificação não seja reversível com exatidão perfeita), em que a desquantificação 468 é configurada para receber a informação lateral decodificada 466 da decodificação sem ruído 464. A desquantificação 468 provê os parâmetros desquantificados 470, por exemplo, os valores de correlação intra-objetos comuns decodificados e desquantificados providos pelo calculador único de correlação intra-objetos 448 e os também decodificados e desquantificados valores de diferenças de nível de objeto OLD, decodificados e desquantificados valores de ganho da mescla decrescente DMG e decodificados e desquantificados valores das diferenças de nível de canais de mescla decrescente DCLD. O decodificador SAOC 420 também compreende um expansor único de correlação intra-objetos 474, que é configurado para prover uma pluralidade de valores de correlação intra-objetos associados a uma pluralidade de pares de áudio- objetos relacionados com base no valor comum de correlação intra- objetos. No entanto, deve ser salientado que o expansor único de correlação intra-objetos 474 pode ser disposto antes da codificação sem ruído 464 e da desquantificação 468 em algumas configurações. Por exemplo, o expansor único de correlação intra- objetos 474 pode ser integrado a um analisador de fluxo de bits, que recebe um fluxo de bits que compreende tanto a representação do sinal de mescla decrescente 430 quanto a informação lateral 432.
[000103] O decodificador SAOC 420 também compreende um decodificador SAOC de processamento e mixagem 480, que é configurado para receber a representação do sinal de mescla decrescente 430 e o parâmetro decodificado incluído (de modo codificado) na informação lateral 432. Portanto, o decodificador SAOC de processamento e mixagem 480 pode, por exemplo, receber um ou dois valores de correlação inter-objetos para cada par de (diferentes) áudio-objetos, em que os um ou dois valores de correlação de áudio-objetos podem ser nulos para áudio-objetos não relacionados e não-nulos para áudio-objetos relacionados. Adicionalmente, o decodificador SAOC de processamento e de mixagem 480 pode receber valores de diferença de nível de objeto para cada áudio-objeto. Adicionalmente, o decodificador SAOC de processamento e de mixagem 480 pode receber valores de ganho de mescla decrescente e (opcionalmente) valores de diferença de nível de canal de mescla decrescente que descrevem a mescla decrescente executada no processamento SAOC de mescla decrescente 440. Destarte, o decodificador SAOC de processamento e de mixagem 480 pode prover uma pluralidade de sinais de canal 484a a 484N na dependência da representação de sinal de mescla decrescente 430, com os parâmetros da informação lateral incluídos na informação lateral 432 e numa informação de interação 482, que descreve um processamento desejado dos áudio-objetos. No entanto, deve-se salientar que os canais 484a a 484N podem ser representados ou na forma de sinais individuais de canal de áudio ou na forma de uma representação paramétrica, como, por exemplo, uma representação multicanal conforme a norma MPEG Surround (compreendendo, por exemplo, um sinal de ambiente MPEG Surround de sinal de mescla decrescente e uma informação lateral canal-relacionada MPEG Surround). Em outras palavras, tanto uma representação de sinal individual de canal de áudio quanto uma representação paramétrica multicanal de sinal de áudio serão consideradas como uma representação de sinal de mescla ascendente dentro da presente descrição.
[000104] A seguir, serão descritos alguns detalhes referentes à funcionalidade do codificador SAOC 410 e do decodificador SAOC 420.
[000105] A informação lateral SAOC, que será comentada a seguir, exerce um papel importante na codificação SAOC e na decodificação SAOC. A informação lateral SAOC descreve os objetos de entrada (áudio-objetos) por meio de suas variantes de matriz de covariância de frequência de tempo. Os sinais de N objetos 420a a 420N (também às vezes brevemente denominados "objetos") podem ser escritos como linhas numa matriz:
[000106] Aqui, as entradas si(l) designam valores espectrais de um áudio-objeto que tem índice de áudio-objeto i para uma pluralidade de porções temporais que têm índices de tempo l. Um bloco de sinal de L amostras representa o sinal num intervalo de tempo e numa frequência que é parte da cobertura perceptualmente motivada do plano tempo-frequência que se aplica para a descrição das propriedades do sinal.
[000107] Donde, a matriz da covariância é dada por
onde
[000108] A matriz de covariância é tipicamente usada pelo decodificador SAOC de processamento e de mixagem 480 para obter os sinais de canal 484a a 484N.
[000109] Os elementos diagonais podem ser diretamente reconstruídos ao lado do decodificador SAOC com os dados OLD, e os elementos não diagonais são dados pelas correlações intra-objetos (IOCs) como
[000110] Deve ser salientado que os valores das diferenças de nível de objetos descrevem sm e sn.
[000111] O número de valores de correlações intra-objetos necessários para levar a matriz inteira da covariância é N*N/2- N/2. Como este número pode crescer muito (por exemplo, para um número N grande de sinais de objeto), que resulta numa alta demanda de bits, o codificador SAOC 410 (assim como o codificador de sinal de áudio 200) pode, opcionalmente, transmitir apenas valores selecionados de correlação intra-objetos para pares de objetos, que são sinalizados para serem "relacionados" uns aos outros. Esta informação "relacionados" opcional é, por exemplo, levada estaticamente numa configuração específica SAOC de elemento de sintaxe do fluxo de bits, que pode, por exemplo, ser indentifiçada com "ConfigEspecSAOC" (SAOCSpecfficConfig)".Objetos que não são relacionados mutuamente, são, por exemplo, admitidos ser não-correlacionados, ou seja, suas correlações intra-objetos são nulas.
[000112] No entanto, há cenários de aplicação onde todos os objetos (ou quase todos os objetos) são relacionados uns aos outros. Um exemplo de tal cenário de aplicação é uma conferência por telefone com um arranjo de microfone e acústica de ambiente com um alto grau de conversas cruzadas por microfone. Nestes casos, a transmissão de todos os valores de IOC seria necessária (se o mecanismo convencional acima citado for usado), mas normalmente excederia o orçamento aprovado). Como alternativa, admitir que todos os objetos são não correlatos induziria a um grande erro no modelo e, portanto, acarretaria qualidade de áudio abaixo de ótima na cena processada.
[000113] O pressuposto subjacente da abordagem proposta é que, para certos cenários de aplicação SAOC, fontes de som não- correlatas resultam em entradas de correlatos objetos SAOC devido ao ambiente acústico onde eles estão localizados e devido à técnicas de gravação aplicadas.
[000114] Considerando uma organização de conferência por telefone, por exemplo,o impacto da reverberação da sala e a isolação imperfeita dos falantes individuais leva a correlatos objetos SAOC, apesar dos falantes dos sujeitos individuais serem não-correlatos. Estas circunstâncias acústicas e a correlação resultante podem ser aproximadamente descritas com um único valor de variação de frequência e de tempo.
[000115] Portanto, o método proposto contorna com sucesso a alta demanda de taxa de bits para carregar todas as correlações de objetos desejadas. Isto é feito calculando um único valor de IOC dependente de tempo/frequência num calculador reservado "único calculador de IOC" modulo 448 no codificador SAOC (vide Fig. 4). A característica de usar o "único IOC" é sinalizado na informação SAOC (por exemplo, usando o parâmetro sinalizador de fluxo de bits "bsOnelOC"). 0 único valor IOC por unidade de tempo/frequência é então transmitido em vez de todos os valores separados de IOC (por exemplo, usando o valor comum valor comum de parâmetro de correlação intra-objetos de fluxo de bits).
[000116] Numa aplicação típica, o cabeçalho de fluxo de bits (por exemplo, o elemento "SAOCSpecificConfig()" de acordo com as não pré-publicadas normas SAOC [SAOC]) inclui um bit que indica se a usada a sinalização "único IOC" ou a sinalização IOC "normal". Alguns detalhes relativos a este assunto serão comentados abaixo.
[000117] O qudro de crg dos ddos (por exemplo, o "quadro SAOC()" elemento nas Normas SAOC não-pré-publicadas [SAOC]) então inclui IOCs comuns a todos os objetos ou a vários IOCs dependendo do modo "único IOCs" ou "normal".
[000118] Donde, um analisador de fluxo de bits (que pode ser parte do decodificador SAOC) para os dados de carga no decodificador podem ser concebidos conforme o exemplo abaixo (que é formulado num pseudo-código C):
[000119] Conforme a exemplo acima, o analisador do fluxo de bits verifica se o sinalizador "Modoioc" (também chamado "bsOnelOC" [bsUmIOC] na sequência) indica se há apenas um único valor de parâmetro de correlação intra-objetos de fluxo de bits (que é sinalizado pelo valor do parâmetro "ÚNICO IOC" ("SINGLE IOC"S . Se o analisador do fluxo de bits acha que somente há um único valor de correlação intra-objeto, o analisador de fluxo de bits lê uma unidade de dados de correlação intra-objetos (ou seja, um valor de parâmetro de correlação intra-objeto de fluxo de bits) do fluxo de bits, que é indicado pela operação "LêDadosIocDoFluxoDe Bits (1)". Se, ao contrário, o analisador de fluxo de bits acha que o sinalizador "Modoioc" não indica o uso de um único (comum) valor de correlação intra-objetos, o analisador do fluxo de bits lê um número diferente de unidades de dados de correlação intra-objetos (p.ex., valores de parâmetro de correlação intra-objetos de fluxo de bits) do fluxo de bits, que é indicado pela função "lêDadosIocDoFluxoDeBits (númeroDelocsTransmitidos)") . 0 número ("númeroDelocsTranmitidos") de unidades de dados de correlações-intra-objetos neste caso é tipicamente determinado por um número de pares de áudio-objetos relacionados.
[000120] Alternativamente, a sinalização "único IOC" pode estar presente no quadro de carga (por exemplo, no assim-chamado "QuadroSAOC ()" elemento nas não-pré-publicadas Normas SAOC) para capacitar a comutação dinâmica entre o modo único de IOC e o modo normal IOC com base por-quadro. 5. Implementação—com—Codificador—ao—Lado do Cálculo de Um Parâmetro Comum de Correlação Intra-Objetos de Fluxo de Bits
[000121] Na sequência, serão descritas algumas implementações propostas para o cálculo de IOC único (IOCúnico) (IOCsingle). 5.1. Cálculo usando Temos de Energia Cruzada
[000122] Numa configuração proposta do codificador SAOC 410, o valor do parâmetro comum da correlação intra-objetos do fluxo de bits IOC single (IOCúnico) pode ser computado de acordo com a seguinte equação:
com os termos de energia cruzada
onde n e k são as instâncias de tempo e de frequência (ou índices de tempo e de frequência) para as quais o parâmetro SAOC se aplica.
[000123] Em outras palavras, o valor comum do parâmetro de correlação intra-objetos IOCsingle (IOCunico) pode ser computado na dependência de uma relação entre uma soma de termos de energia cruzada nrgij (em que o objeto índice i é tipicamente diferente do objeto índice j) e a soma de valores médios de energia
(cujos valores médios de energia representam, por exemplo, uma média geométrica entre os valores de energia nrgii e nrgjj).
[000124] A somatória pode ser feita, por exemplo, para todos os pares de diferentes áudio-objetos, ou para pares de áudio-objetos relacionados apenas.
[000125] O termo de energia cruzada nrgij pode, por exemplo, ser formado por uma soma de produtos complexo-conjugados (com um dos fatores sendo complexo-conjugado) dos coeficientes espectrais sin,k, sjn,k associados aos sinais de áudio-objeto dos pares áudio-objetos em pauta para uma pluralidade de instâncias de tempo (com índices de tempo n) e/ou uma pluralidade de instâncias de frequência (com índices de frequência k).
[000126] Uma parte real da referida razão pode ser formada (por exemplo, por uma operação Re{}) para ter um valor corretamente calculado de valor comum de parâmetro de correlação intra-objetos de fluxo de bits IOCsingle,como mostrado na equação acima. 5.2. Uso de um Valor Constante
[000127] Em outra configuração proposta, um valor constante c pode ser escolhido para obter o valor comum de parâmetro de correlação intra-objetos de fluxo de bits IOCsingle de acordo com IOCsingle = c, com c constante.
[000128] Esta constante c pode, por exemplo, descrever um tempo e uma frequência ambos independentes de linhas cruzadas em uma sala com acústica específica (total de reverberação) onde acontece uma conferência por telefone.
[000129] A constante c pode, por exemplo, ser estabelecida de acordo com uma estimativa da acústica da sala, que pode ser feita pelo codificador SAOC. Alternativamente, a constante c pode ser introduzida via uma interface de usuário, ou pode ser pré- determinada no codificador SAOC 410. 6. Lado decodificador - Determinação das correlações entre objetos. Valores para todos os Pares de Objetos
[000130] A seguir, descrever-se-á como a correlação intra- objetos para todos os pares de objetos pode ser obtida.
[000131] Ao lado do decodificador (por exemplo, no decodificador SAOC 420), o parâmetro de correlação intra-objetos único (fluxo de bits) parâmetro (IOCsingle) é usado para determinar os valores de correlação intra-objetos para todos os pares de objetos. Isto é feito, por exemplo, no modulo "Single IOC Expander" (Expansor IOC Unico) 474 (vide Fig. 4).
[000132] O método proposto é uma simples operação de cópia. A cópia pode ser aplicada considerando ou não a informação levada "relativo a", por exemplo, no cabeçalho SAOC do fluxo de bits (por exemplo, na parte "SAOCSpecificConfiguration()" - '' Configura çãoEspecíficaSAOC".
[000133] Numa configuração proposta, uma cópia sem a informação "relativo a" (ou seja, sem transferir ou considerar uma informação "relativo a") pode ser feita da seguinte maneira: IOCmn = IOCslngle, para todos os m, n com m n.
[000134] Portanto, todos os valores de correlação-intra- objetos para pares de objetos de áudio diferentes são definidos para os valores de parâmetro comum de correlação intra-objetos de fluxo de bits.
[000135] Em outra configuração proposta, faz-se uma cópia com a informação "relativo a" (ou seja, levando em consideração a informação "relativo a") , por exemplo, da seguinte maneira:
[000136] Destarte, um ou mesmo dois valores de correlação intra-objetos associados a um par de áudio-objetos (com índices de áudio-objetos m e n) são ajustados ao valor IOCsingle especificado, por exemplo, pelo valor do parâmetro comum de correlação intra-objetos de fluxo de bits, se a informação do relacionamento de objeto "relativo a (m,n)" indica que referidos áudio-objetos estão relacionados mutuamente. De outra forma, ou seja, se a informação de relacionamento de objeto "relativo a (m,n)" indica que os áudio-objetos de um par de áudio-objetos não estão relacionados, um ou mesmo dois valores de correlação intra- objetos associados ao par de áudio-objetos são estabelecidos a um pré-determinado valor, por exemplo, a zero.
[000137] No entanto, métodos diferentes de distribuição são possíveis, por exemplo, levando em consideração a energia do objeto. Por exemplo, valores de correlação intra-objetos relativos a objetos com relativamente baixa energia podem ser ajustados a valores altos, tais como 1 (correlação plena), para minimizar a influência do filtro de dês-correlação no decodificador SAOC. 7. Conceito de Decodificador usando Elementos de Fluxo de Bits conforme Figs. 5 e 6
[000138] A seguir, será descrito um conceito de decodificador de um decodificador de sinal de áudio que usa os elementos de sintaxe de fluxo de bits conforme Figs. 5 e 6. Deve- se salientar aqui que a sintaxe do fluxo de bits e o conceito de avaliação do fluxo de bits, que serão descritos com referência às Figs. 5 e 6, podem ser aplicados, por exemplo, no decodificador de sinal de áudio 100 conforme a Fig. 1 e no decodificador de sinal de áudio 420 conforme a Fig. 4. Adicionalmente, deve-se salientar que o codificador de sinal de áudio 200 conforme a Fig. 2 e o decodificador de sinal de áudio 410 conforme a Fig. 4 podem ser adaptados para prover elementos de sintaxe de fluxo de bits como comentado em relação às Figs. 5 e 6.
[000139] Destarte, o fluxo de bits compreendendo a representação do sinal de mescla decrescente 110 e a informação paramétrica objeto-relacionada 112 e/ou a representação do fluxo de bits 220 e/ou o fluxo de bits 300 e/ou um fluxo de bits compreendendo a informação de mescla decrescente 430 e a informação lateral 432, pode ser provido conforme a seguinte descrição.
[000140] Um fluxo de bits SAOC, que pode ser provido pelos codificadores acima descritos SAOC e que pode ser avaliado pelos decodificadores SAOC acima descritos pode compreender uma porção de configuração específica SAOC, que será descrita a seguir, fazendo referência à Fig. 5, que mostra a representação da sintaxe de tal porção de configuração especifica "SAOCSpecificConfig()" [Config.EspecificaSAOC].
[000141] A informação de configuração específica SAOC compreende, por exemplo, informação de configuração de frequência de amostragem, que descreve uma frequência de amostragem usada por um codificador de sinal de áudio e/ou para ser usada por um decodificador de sinal de áudio. A informação de configuração específica SAOC também compreende uma informação de configuração de modo de baixa demora, que descreve se o modo de baixa demora foi usado por um codificador de sinal de áudio e/ou deve ser usado por um decodificador de sinal de áudio. A informação de configuração específica SAOC também compreende uma informação de configuração de resolução de frequência, que descreve uma resolução de frequência usada por um codificador de sinal de áudio e/ou para ser usada por um decodificador de sinal de áudio. A informação de configuração específica SAOC também compreende uma informação de configuração de comprimento de quadro que descreve um comprimento de quadro de quadros de áudio usados pelo codificador SAOC e/ou para ser usado pelo decodificador SAOC. A informação de configuração específica SAOC também compreende uma informação de configuração de número de objeto que descreve um número de áudio-objetos. Esta informação de configuração de número de objetos, que é também designada com "bsNumObjects" (" NdescoevO, jpOosbs"e , descreve, por exemplo, o valor N, que foi ua aia.
[000142] A informação de configuração específica SAOC também comreende uma informação de configuração de relacionamento de objeto. Por exemplo, pode haver um bit de fluxo de bits para cada par de áudio-objetos diferentes. No entanto, o relacionamento de áudio-objetos pode se representado, por exemplo, por uma matriz quadrada N x N que tem uma entrada de bit para cada combinação de áudio-objeto. Entradas de referida matriz que descrevem o relacionamento de um objeto consigo mesmo, ou seja, elementos diagonais, podem ser estabelecidos para um, o que indica que um objeto está relacionado consigo mesmo. Duas entradas, especificamente uma primeira entrada que tem um primeiro índice i e um segundo índice j, e uma segunda entrada que tem um primeiro índice j e um segundo índice i, podem ser associadas com cada par de áudio-objetos diferentes que têm índices de áudio-objetos i e j. Deste modo, um único fluxo de bits determina os valores das duas entradas de matriz de relacionamento de objetos, que são estabelecidos para valores idênticos.
[000143] Como se pode ver, um primeiro índice i de áudio- objeto vai de i = 0 a i = bsNumObjetos (externo para loop). Uma entrada diagonal "bsRelatedTo[i][i]" ("bsRelacionadaComfi] [j] ") é estabelecida para um por todos os valores de i. Para um primeiro índice i de áudio-objeto, bits que descrevem um relacionamento entre áudio-objeto i e áudio-objetos j (que têm índice i de áudio- objeto) estão incluídos no fluxo de bits para j = i + 1 a j = bsNúmerodeObjeto.(bsNumberObjects). Destarte, entradas da matriz de relacionamento "bsRelatedTo[i][j]" ("bsRelacíonadaCom[í][j]") , que descreve um relacionamento entre os áudio-objetos que têm índices i e j de áudio-objetos, são estabelecidos ao valor dado no fluxo de bits. Adicionalmente, uma entrada de objeto na matriz de relacionamento de objeto "bsRelatedTo[j ] [i]" é feita para o mesmo valor ou seja para o valor da entrada da matriz "bsRelatedTo[i] [j]". Para maiores detalhes, faz-se referência à rprntação d intax da Fig. 5.
[000144] A informação de configuração específica SAOC tambm compreende uma informação absoluta de configuração de transmissão de energia, que descreve se um codificador de áudio inclui uma informação absoluta de energia no fluxo de bits, e/ou se o decodificador de áudio deve avaliar uma informação absoluta de configuração de transmissão de energia incluída no fluxo de bits.
[000145] A informação de configuração específica SAOC também compreende uma informação de configuração de número de canal de mescla decrescente, que descreve um número de canais de mescla decrescente usado pelo codificador de áudio e/ou para ser usados pelo codificador de áudio. A informação de configuração específica SAOC pode também compreender informação adicional de configuração, que não é relevante para a presente aplicação e que é opcionalmente omitida.
[000146] A informação de configuração específica SAOC também compreende uma informação comum de configuração de correlação intra-objetos (também aqui denominada "parâmetro de sinalização de fluxo de bits") que descreve se um valor comum de parâmetro de correlação intra-objetos de fluxo de bits é incluído no fluxo de bits SAOC, ou se os valores individuais de parâmetro de correlação intra-objetos de fluxo de bits de par de objetos estão incluídos no fluxo de bits SAOC. A referida informação de configuração de correlação intra-objetos pode, por exemplo, ser denominada "bsOnelOC" (bsUmIOC), e pode ter valor de um bit.
[000147] A informação de configuração específica SAOC pode também compreender uma informação de configuração de unidade de controle de distorção.
[000148] Adicionalmente, informação de configuração específica SAOC pode compreender um ou mais bits de enchimento, que são denominados "ByteAlign[[" [Alinhamento de Bytes()], e que podem ser usados para ajustar os comprimentos das informações específicas de configuração do SAOC. Adicionalmente, a informação específica de configuração SAOC pode compreender informação adicional opcional de configuração "SAOCExtensionConfig[ [ " [ConfigExtensãoSAOC()] que não é relevante para a pressente aplicação e que, por esta razão, não será comentada aqui.
[000149] Deve-se salientar aqui que a informação de configuração específica SAOC pode compreender mais ou menos que a informação de configuração acima descrita. Em outras palavras, algumas das acima descritas informações de configuração podem ser omitidas em algumas configurações, e informações de configurações adicionais podem também ser incluídas em algumas configurações.
[000150] No entanto, deve ser salientado que informação de configuração específica SAOC pode, por exemplo, ser incluída uma vez por peça de áudio num fluxo de bits SAOC. No entanto, a informação de configuração específica SAOC pode, opcionalmente, ser incluída mais frequentemente no fluxo de bits. Apesar disto, a informação de configuração específica SAOC é tipicamente provida para uma pluralidade de quadros SAOC, porque a informação de configuração específica uma significativa sobrecarga de bits.
[000151] Na sequência, a sintaxe de um quadro SAOC será descrita fazendo referência à Fig. 6, que mostra uma representação de sintaxe de um quadro SAOC como comentado. O quadro SAOC compreende valores de diferenças de nível de objeto OLD, que podem ser incluídas na faixa e por áudio-objeto.
[000152] O quadro SAOC também compreende valores absolutos de energia codificados NRG, que podem ser considerados opcionais, e que podem ser incluídos na faixa.
[000153] O quadro SAOC também compreende valores IOC de correlação intra-objetos codificados, que podem ser providos, quanto à faixa, ou seja, separadamente para uma pluralidade de faixas de frequência, e para uma pluralidade de combinações de áudio-objetos.
[000154] Na sequência,o fluxo de bits será descrito em relação às operações que podem ser feitas por um analisador de fluxo de bits que analisa o fluxo de bits.
[000155] O analisador de fluxo de bits pode, por exemplo, iniciar variáveis k, iocldx1, iocldx2 ao valor nulo de zero num primeiro passo preparatório.
[000156] Subsequentemente, o analisador de fluxo de bits pode fazer uma análise para uma pluralidade de valores do primeiro áudio-objeto índice i entre i = 0 e i = bsNúmeroDeObjetos (Externo para loop). O analisador de fluxo de bits pode, por exemplo, estabelecer um valor índice de correlação intra-objetos idxIoc[i][i] que descreve um relacionamento entre o áudio-objeto que tem índice de áudio-objeto nulo (zero), o que indica uma correlação cheia.
[000157] Subsequentemente, um analisador de fluxo de bits pode avaliar o fluxo de bits para valores j de um segundo índice de áudio-objeto entre i + 1 e bsNumObjects. Se áudio-objetos que têm índices i e j de áudio-objeto são relacionados, o que é indicado por um valor não-nulo de entrada da matriz do relacionamento de objeto "bsRelatedTo[i][j]", o analisador de fluxo de bits executa um algoritmo 610, e ao contrário, o analisador de fluxo de bits estabelece o índice de correlação intra-objetos associado aos áudio-objetos que têm índices de áudio-objeto i e j em cinco (operação "idxIOC[i] [j] = 5"), que descreve uma correlação nula. Então, para pares de áudio-objetos, para os quais a matriz de relacionamento de objetos indica não haver relacionamento, o valor de correlação intra-objeto é estabelecido em zero. Para pares relacionados de áudio-objetos, no entanto, o parâmetro de sinalização de fluxo de bits "bsOnelOC" (bsUmIOC), que está incluído na configuração específica SAOC, é avaliado para decidir como proceder. Se o parâmetro da sinalização do fluxo de bits "bsOnelOC" indica que há valores de parâmetro de pares individuais de objetos de correlação intra-objetos de fluxo de bits, uma pluralidade de índices de relacionamento intra- obbjetos idxIOC[i][j] (que podem ser considerados valores de parâmetro de relacionamento intra-objetos) são extraídos do fluxo de bits para faixas de frequência "númFaixas" "numBands" de faixa de frequência que usa a função "EcDataSaoc", em que a referida função pode ser usada para decodificar os índices de relacionamento índices de relacionamento intra-objetos.
[000158] No entanto, se o parâmetro de sinalização de fluxo de bits "bsOnelOC" indica que um valor comum de parâmetro de correlação intra-objetos de fluxo de bits é usado para uma pluralidade de áudio-objetos, e idem o parâmetro de fluxo de bits "bsRelatedTo[i][j]" indicas que os áudio-objetos que têm índices i e j estão relacionados, um único conjunto de uma pluralidade de índices de correlação intra-objetos "idxIOC[i][j]" é lida do fluxo de bits usando a função "EcDataSaoc" para uma pluralidade de faixas de frequências numBands, em que apenas um único índice de correlação intra-objetos é lido para qualquer banda de frequência dada. No entanto, pela re-execução do algorítmo 610, um índice previamente lido de correlação intra-objetos idxIOC[iocldx1][iocldx2] é copiado sem avaliar o fluxo de bits. Isto é assegurado pelo uso da variável k, que é iniciado em zero e aumentado pela avaliação do primeiro conjunto de índices de correlação intra-objetos idxIOC[i][j].
[000159] Para resumir, para cada combinação de dois áudio- objetos, avalia-se primeiramente se os dois áudio-objetos de tal combinação são sinalizados como sendo relacionados mutuamente (por exemplo, pela verificação se o valor "bsRelatedTo[i] [j] " toma o valor zero ou não). Se os áudio-objetos do par de áudio-objetos são relacionados, o processamento seguinte 610 é feito. De outra forma, o valor "idxIOC[i] [ j]" associado a este par de (substancialmente não relacionados) áudio-objetos é ajustado a um valor pré-determinado, por exemplo, a valor pré-determinado que indica uma correlação intra-objetos nula.
[000160] No processamento 610, um valor de fluxo de bits é lido do fluxo de bits para cada par de áudio-objetos (que é sinalizado para compreender áudio-objetos relacionados) se a sinalização "bsOnelOC" está inativa. De outra forma, ou seja, se a sinalização "bsOnelOC" é áudio-objetos ativa, apenas um valor de fluxo de bits é lido para um par de áudio-objetos, e a referência a referido par único é mantida estabelecendo os valores dos índices iocIdx1 e iocIdx2 para apontar para este valor lido. O valor único lido é usado novamente para outros pares de áudio- objetos (que são sinalizados como sendo relacionados mutuamente) se a sinalização "bsOnelOC" é ativa.
[000161] Finalmente, é também assegurado que um mesmo valor de índice de correlação intra-objetos é associado a ambas as combinações de dois determinados áudio-objetos diferentes, independentemente de qual dos dois determinados áudio-objetos é o primeiro áudio-objeto e qual dos dois determinados áudio-objetos é o segundo áudio-objeto.
[000162] Adicionalmente, deve-se salientar que o quadro SAOC tipicamente compreende os valores de ganho da codificada mescla decrescente (DMG) com base em por-áudio-objeto.
[000163] Adicionalmente, o quadro SAOC tipicamente compreende diferenças codificadas de nível de canal de mescla decrescente (DCLD), que podem opcionalmente incluídas ser com base em por-áudio-objeto.
[000164] O quadro SAOC ainda opcionalmente compreende valores de ganho de pós-processamento de mescla decrescente (PDG), que podem ser incluído no modo de faixa e por canal de mescla decrescente.
[000165] Adicionalmente, o quadro SAOC pode compreender parâmetros codificados de unidades de controle de distorção, que determinam a aplicação de medida de controle de distorção.
[000166] Além disto, o quadro SAOC pode compreender um ou mais bits de enchimento "ByteAlign()".
[000167] Mais ainda, um quadro SAOC pode compreender dados de extensão "SAOCExtensionFrame()" (QuadroEstensãoSAOC) que, no entanto, não são relevantes para a presente aplicação e não serão aqui comentados em detalhe por esta razão.
[000168] Fazendo referência agora à Fig. 7, um exemplo de uma quantificação vantajosa do parâmetro de correlação intra- objetos será descrita.
[000169] Como se pode ver, um primeira linha 710 de uma tabela da Fig. 7 descreve o índice de quantificação idx, que está num intervalo entre zero e sete. Este índice de quantificação pode ser alocado à variável "idxIOC[i] [j]". Uma segunda linha 720 da tabela da Fig. 7 mostra o valor associado à correlação intra- objetos, e está num intervalo entre -0.99 e 1. Deste modo, os valores dos parâmetros "idxIOC[i][j]" podem ser mapeados em valores de correlação intra-objetos inversamente quantificados usando o mapeamento da tabela da Fig. 7.
[000170] Para concluir, uma porção de configuração SAOC "SAOCSpecificConfig() ", de preferência, compreende um parâmetro de fluxo de bits "bsOnelOC" que indica se apenas um único parâmetro IOC é levado comum a todos os objetos que têm relação mútua, sinalizados por "bsRelatedTo[i][j] =1". Os valores de correlação intra-objetos são incluídos no fluxo de bits na forma codificada "EcDataSaoc (I0C,k,numBands)". Uma matriz "idxIOC[i][j]" é montada com base em um ou mais valores de correlação intra-objetos. As entradas da matriz "idxIOC[i][j]" são mapeadas em valores inversamente quantificados usando a tabela de mapeamento da Fig. 7, para obter os valores de correlação intra-objetos inversamente quantificados. Os valores de correlação intra-objetos inversamente quantificados, que são identificados com IOCi,j, são usados para obter entradas da matriz da covariância. Para tanto, parâmetros inversamente quantificados de diferenças de nível de objeto são também aplicados, que são identificados com OLDi.
[000171] A matriz da covariância E de tamanho NxN com elementos ei,j representa uma aproximação da matriz da covariância do sinal original E»SS* e é obtida dos parâmetros OLD e IOC por
7. Alternativas de Implementação
[000172] Apesar de alguns aspectos terem sido descritos no contexto de um aparelho, fica claro que estes aspectos também representam uma descrição do método correspondente, onde um bloco ou dispositivo corresponde a um passo do método ou a uma característica de um passo do método . Analogamente, aspectos descritos no contexto de um passo do método também representam uma descrição de um bloco correspondente ou de um item ou característica de um aparelho correspondente. Algum ou todos os passos dos métodos podem ser executados por (ou usando) um aparelho de hardware, como, por exemplo, ,um microprocessador, um computador programável ou um circuito eletrônico. Em algumas configurações, algum ou mais dos passos de métodos mais importantes podem ser executados por tal aparelho .
[000173] O sinal de áudio criativo codificado pode ser armazenado em meio de armazenamento digital ou pode ser transmitido via meio de transmissão tal como meio sem fio de transmissão ou um meio de transmissão por fio tal como a Internet.
[000174] Dependendo de certos requisitos de implementação, configurações da invenção podem ser implementadas em hardware ou em software. A implementação pode ser feita usando meio digital de armazenamento, por exemplo um floppy disk, um DVD, um Blu-Ray, um CD, um ROM, um PROM, um EPROM, um EEPROM ou uma memória FLASH , controle de sinais eletronicamente legíveis armazenados, que cooperam (ou são capazes de cooperar) com um sistema de computador programável tal que o método respectivo é executado. Portanto, o meio de armazenamento digital pode ser legível em computador.
[000175] Algumas configurações conforme a invenção compreendem um suporte de dados que tem sinais de controle eletronicamente legíveis que são capazes de cooperar com um sistema de computador programável, tal que um dos métodos aqui descritos, é executado.
[000176] Em geral, configurações da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, sendo que o código de programa é operativo para executar um dos métodos quando o produto de programa de computador roda num computador. O código do programa pode, por exemplo, ser armazenado numa máquina portadora legível.
[000177] Outras configurações compreendem um programa de computador para executar um dos métodos aqui descritos, numa máquina portadora legível.
[000178] Em outras palavras, uma configuração do método criativo é, portanto, um programa de computador que tem um código de programa para executar um dos métodos aqui descritos, quando o programa de computador roda num computador.
[000179] Uma outra configuração do método criativo é, portanto, uma portadora de dados (ou um meio de armazenamento digital, ou um meio legível em computador) compreendendo, devidamente gravado, o programa de computador para executar um dos métodos aqui descritos. A portadora de dados, o meio digital de armazenamento, ou o meio gravado são tipicamente tangíveis e não transitórios.
[000180] Outra configuração do método criativo é, portanto, um fluxo de dados ou uma sequência de sinais representando o programa de computador para executar um dos métodos aqui descritos. O fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurada para ser transferida por meio de uma conexão de comunicação de dados, como, por exemplo, a Internet.
[000181] Outra configuração ainda compreende um meio de processamento, por exemplo, um computador,ou um dispositivo lógico programável configurado ou adaptado para executar um dos métodos aqui descritos.
[000182] Mais outra configuração compreende um computador que tem nele instalado o programa de computador para executar um dos métodos aqui descritos.
[000183] Em algumas configurações, um dispositivo lógico programável (por exemplo, um portal de campo de matriz programável) pode ser usado para executar alguma ou todas as funcionalidades dos métodos aqui descritos. Em algumas configurações, um portal de campo de matriz programável pode cooperar com um microprocessador para executar um dos métodos aqui descritos. Em geral, os métodos são, de preferência, executados por qualquer aparelho de hardware.
[000184] As configurações acima descritas são meramente ilustrativas para os princípios da presente invenção. Deve ser entendido que modificações e variações dos arranjos e dos detalhes aqui descritos serão evidentes para outra pessoas experimentadas na técnica. È intenção, portanto, limitarmo-nos apenas ao escopo das reivindicações de patentes pendentes e não aos detalhes específicos apresentados por meio das descrições e explicações das configurações aqui contidas. 8. Referências: [BCC] C. Faller and F. Baumgarte, "Binaural Cue Coding - Part II: Schemes and applications," IEEE Trans, on Speech and Áudio Proc., vol. 11, no. 6, Nov. 2003 [JSC] C. Faller, "Parametric Joint-Coding of Áudio Sources", 120th AES Convention, Paris, 2006, Preprint 6752 [SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Áudio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007 [SAOC2] J. Engdegârd, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Holzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Áudio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Áudio Coding", 124th AES Convention, Amsterdam 2008, Preprint 7377 [SAOC] ISO/IEC, "MPEG áudio technologies - Part 2: Spatial Áudio Object Coding (SAOC)," ISO/IEC JTC1/SC29/WG11 (MPEG) FCD 23003-2.
Claims (16)
1. Um decodificador de sinal de áudio (100; 420) para prover uma representação de sinal de mescla ascendente (130; 484a a 484M) com base numa representação de sinal de mescla descendente (110; 430) e numa informação paramétrica relacionada a objeto (112; 432) e na dependência de uma informação de processamento (120; 482), sendo que o aparelho caracterizado por compreender: um determinador de parâmetro (140; 464, 468, 474) configurado para obter valores de correlação entre objetos (142; IOCij) para uma pluralidade de pares de áudio-objetos, em que o determinador de parâmetro-objeto é configurado para avaliar um parâmetro de sinalização de fluxo de bits (bsOneIOC) para decidir se devem avaliar valores individuais de parâmetro de correlação intraobjetos de fluxo de bits para obter valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos relacionados, ou para obter valores de correlação intraobjetos para uma pluralidade de pares de áudio- objetos relacionados usando um valor comum de parâmetro de correlação intraobjetos de fluxo de bits; e um processador de sinal (150; 480) configurado para obter a representação de sinal de mescla ascendente com base na representação de sinal de mescla descendente e usando valores de correlação intraobjetos para uma pluralidade de áudio-objetos relacionados, assim como informações de processamento; em que a informação paramétrica relacionada com objeto (112; 432) compreende o parâmetro de sinalização de fluxo de bits (bsOneIOC) e os valores individuais de parâmetro de correlação intraobjetos de fluxo de bits ou os valores comuns de parâmetro de correlação intraobjetos de fluxo de bits; em que o determinador de parâmetro-objeto (140; 464, 468, 474) é configurado para avaliar uma informação de relacionamento com objeto (bsRelatedTo), descrevendo se dois áudio-objetos estão relacionados mutuamente; e em que o determinador de parâmetro-objeto é configurado para obter, seletivamente, valores de correlação intraobjetos para pares de áudio-objetos para os quais a informação de relacionamento de objetos indica um relacionamento, usando o valor comum de parâmetro de correlação intraobjetos de fluxo de bits e para estabelecer valores de correlação intraobjetos para pares de áudio-objetos para os quais a informação de relacionamento de objetos indica não haver relacionamento, para um valor pré-definido.
2. O decodificador de áudio de acordo com a reivindicação 1, caracterizado por o determinador de parâmetro- objeto (140; 464, 468, 474) é configurado para avaliar a informação de relacionamento de objeto que compreende uma sinalização de um bit para cada combinação de áudio-objetos diversos, em que a sinalização de um bit associada a uma determinada combinação de áudio-objetos diversos indica se os áudio-objetos da determinada combinação se relacionam ou não.
3. O decodificador de áudio de acordo com a reivindicação 1, caracterizado por o determinador de parâmetro- objeto (140; 464, 468, 474) é configurado para estabelecer o valor de correlação intraobjetos para todos os pares de áudio-objetos diversos relacionados com um valor comum definido pelo valor comum de parâmetro de correlação intraobjetos de fluxo de bits, ou com um valor derivado de um valor comum definido pelo valor comum de parâmetro de fluxo de bits de correlação intraobjetos.
4. O decodificador de áudio de acordo com a reivindicação 1, caracterizado por o determinador de parâmetro- objeto (140; 464, 468, 474) compreender um analisador de fluxo de bits configurado para analisar uma representação de fluxo de bits de um conteúdo de áudio, para obter o parâmetro de sinalização de fluxo de bits (bsOneIOC) e os valores individuais de parâmetro de correlação intraobjetos de fluxo de bits ou os valores comuns de parâmetro de correlação intraobjetos de fluxo de bits.
5. O decodificador de áudio de acordo com a das reivindicação 1, caracterizado por o decodificador de sinal de áudio ser configurado para combinar um valor de correlação intraobjetos IOCi,j associado a um par de áudio-objetos relacionados com um valor de diferença de nível de objeto OLDi que descreve um nível de objeto de um primeiro áudio-objeto do par de áudio-objetos relacionados e com um valor de um valor de diferença de nível de objeto OLDj que descreve um nível de objeto de um segundo objeto de áudio do par de áudio-objetos relacionados, para obter um valor de covariança ei,j associado ao par de áudio-objetos relacionados; em que o decodificador de áudio é configurado para obter um elemento ei,j de uma matriz de covariança de acordo e =. lOLD.OLD.IOC com
6. O decodificador de áudio de acordo com a reivindicação 1, caracterizado por o decodificador de sinal de áudio ser configurado para manusear três ou mais áudio-objetos; e em que o determinador de parâmetro-objeto (140; 464, 468, 474) é configurado para prover um valor de correlação intraobjetos para cada par de áudio-objetos diferentes.
7. O decodificador de sinal de áudio de acordo com a reivindicação 1, caracterizado por o determinador de parâmetro-objeto (140; 464, 468, 474) ser configurado para avaliar o parâmetro de sinalização de fluxo de bits, que está incluído numa porção de configuração de fluxo de bits (SAOCSpecificConfig), para decidir se avaliar os valores individuais de parâmetro de correlação intraobjetos de fluxo de bits para obter valores de correlação intraobjetos para uma pluralidade de pares de áudio- objetos relacionados, ou para obter valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos relacionados que usam um valor comum de parâmetro de correlação intraobjetos de fluxo de bits; e em que o determinador de parâmetro-objeto é configurado para avaliar uma informação de relacionamento de objeto (bsRelatedTo[i][j]), que está incluída na porção de configuração de fluxo de bits, para determinar se dois áudio- objetos estão relacionados; e em que o determinador de parâmetro objeto é configurado para avaliar um valor comum de parâmetro de fluxo de bits de correlação intraobjetos, que está incluído numa parte de um quadro de dados de fluxo de bits (SAOCFrame) para cada quadro de conteúdo de áudio, se for decidido obter valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos relacionados que usam um valor comum de parâmetro de correlação intraobjetos de fluxo de bits.
8. Um codificador de sinal de áudio (200; 410) para prover uma representação de fluxo de bits com base em uma pluralidade de sinais de áudio-objetos (210a a 210N, 420a a 420N), sendo que o codificador de sinal de áudio caracterizado por compreender: um misturador descendente (230; 440) configurado para prover um sinal de mescla descendente (232; 430) com base em sinais do áudio-objeto e em dependência de parâmetros de descida (DMG, DCLD) que descrevem contribuições de sinais do áudio-objeto para um ou mais canais do sinal de mescla descendente; e um provedor de parâmetro (240; 444, 450, 460) configurado para prover um valor comum de parâmetro de fluxo de bits de correlação intraobjetos (242) associado a uma pluralidade de pares de áudio-objetos relacionados e também para prover um parâmetro de sinalização de fluxo de bits (bsOneIOC; 244; 452) que indica que é provido o valor comum de parâmetro de correlação intraobjetos de fluxo de bits em vez de uma pluralidade de valores individuais de parâmetro de correlação intraobjetos de fluxo de bits; em que o provedor de parâmetro é configurado para também prover uma informação de relacionamento de objeto (bsRelatedTo) que descreve se dois áudio-objetos estão relacionados entre si; e um formatador de fluxo de bits (250) configurado para prover um fluxo de bits compreendendo uma representação de sinal de mescla descendente, uma representação do valor comum de parâmetro de fluxo de bits de correlação intraobjetos e o parâmetro de sinalização de fluxo de bits.
9. o codificador de sinal de áudio conforme a reivindicação 8, caracterizado por o provedor de parâmetro ser configurado para prover o valor comum de parâmetro de fluxo de bits de correlação intraobjetos na dependência de uma relação entre uma soma de energia transversal e uma soma de termos de energia média.
10. O codificador de sinal de áudio conforme reivindicação 9, caracterizado por o provedor de parâmetro ser configurado para computar o termo de energia transversal para um determinado par de áudio-objetos pela avaliação da soma de produtos de coeficientes de espectro associados aos áudio-objetos do determinado par de áudio-objetos sobre uma pluralidade de instâncias de tempo ou sobre uma pluralidade de instancias de frequência; e em que o provedor de parâmetro é configurado para computar o termo de energia média para um determinado par de áudio-objetos pela avaliação da média geométrica de um valor de energia representando a energia de um primeiro áudio-objeto sobre uma pluralidade de instâncias de tempo ou sobre uma pluralidade de instâncias de frequência, e de um valor de energia representando a energia de um segundo áudio-objeto sobre uma pluralidade de instâncias de tempo ou sobre uma pluralidade de instâncias de frequência.
11. O codificador de sinal de áudio conforme reivindicações as 9 ou 10, em que o provedor de parâmetro é caracterizado por ser configurado para prover valor comum de parâmetro de fluxo de bits de correlação intraobjetos IOCsingle conforme
em que, 
no qual n e k designam instâncias de tempo e de frequência para as quais um parâmetro SAOC se aplica; e no qual sin,k é um valor de espectro associado a uma instância de tempo n e a uma instância de frequência k do áudio-objeto que tem índice de áudio-objeto i; no qual sjnk é um valor de espectro associado a uma instância de tempo n e a uma instância de frequência k do áudio-objeto que tem índice de áudio-objeto j; no qual N designa um número global de áudio- objetos.
12. O codificador de sinal de áudio conforme reivindicação 8, caracterizado por o provedor de parâmetro ser configurado para prover um valor pré-determinado constante como valor comum de parâmetro de correlação intraobjetos de fluxo de bits.
13. O codificador de sinal de áudio conforme reivindicações 8 a 12, caracterizado por o provedor de parâmetro ser configurado para seletivamente avaliar uma correlação intraobjetos de áudio-objetos, para os quais a informação de relacionamento de objetos indica um relacionamento, para a computação do valor comum de parâmetro de correlação intraobjetos de fluxo de bits.
14. Um método para prover uma representação de sinal de mescla ascendente com base em um sinal de mescla descendente e em uma informação paramétrica de objeto relacionado e na dependência de uma informação de processamento, sendo que o método caracterizado por compreender: obter valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos, em que um parâmetro de sinalização de fluxo de bits é avaliado para decidir se devem avaliar valores individuais de parâmetro de correlação intraobjetos de fluxo de bits, para obter valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos relacionados ou para obter valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos relacionados usando um valor comum de parâmetro de correlação intraobjetos de fluxo de bits; e obter a representação de sinal de mescla ascendente com base na representação do sinal de mescla descendente e usando os valores de correlação intraobjetos para uma pluralidade de pares de áudio-objetos relacionados assim como a informação de processamento; em que uma informação de relacionamento de objetos (bsRelatedTo), que descreve se dois áudio-objetos estão relacionados mutuamente, é avaliada, e em que os valores de correlação intraobjetos são seletivamente obtidos para pares de audio-objetos, para os quais a informação de relacionamento de objetos indica um relacionamento usando o valor comum de parâmetro de correlação intraobjetos de fluxo de bits, e em que os valores de correlação intraobjetos são estabelecidos para valores pré-definidos pares de áudio-objetos, para os quais a informação de relacionamento de objetos indica não haver relacionamento; e em que a informação paramétrica relacionada a objeto compreende o parâmetro de sinalização do fluxo de bits (bsOneIOC) e os valores individuais de parâmetro de correlação intraobjetos de fluxo de bits ou valor comum de parâmetro de correlação intraobjetos de fluxo de bits; em que o método é realizado usando um aparelho de hardware, ou usando um meio de leitura, ou usando uma combinação de um aparelho de hardware e um meio de leitura.
15. Um método para prover uma representação de fluxo de bits com base em uma pluralidade de sinais de áudio- objetos, sendo que o método é caracterizado por compreender: prover um sinal de mescla descendente com base em sinais de áudio-objeto e na dependência de parâmetros de mescla descendente que descrevem contribuições do sinal de áudio-objeto a um ou mais canais de sinal de mescla descendente; e prover um valor comum de parâmetro de correlação intraobjetos de fluxo de bits associado a uma pluralidade de pares de sinais de áudio-objetos relacionados; e prover um parâmetro de sinalização de fluxo de bits que indica que o valor comum de parâmetro de correlação intraobjetos de fluxo de bits é provido em vez de uma pluralidade de valores individuais de parâmetro de correlação intraobjetos de fluxo de bits; e prover uma informação de relacionamento de objeto que descreve se dois áudio-objetos estão relacionados mutuamente, prover um fluxo de bits compreendendo uma representação do sinal de mescla descendente, uma representação do valor comum de parâmetro de correlação intraobjetos de fluxo de bits e do parâmetro de sinalização do fluxo de bits.
16. Um decodificador de sinal de áudio (100; 420) para prover uma representação de sinal de mescla ascendente (130; 484a to 484M) com base em uma representação de sinal de mescla descendente (110; 430) e em uma informação paramétrica relacionada a objeto (112; 432), e dependendo de uma informação de processamento (120; 482), sendo que o aparelho caracterizado por compreender: um determinador de parâmetro-objeto (140; 464, 468, 474) configurado para obter valores de correlação intraobjetos (142; IOCij) para uma pluralidade de pares de áudio- objetos, em que o determinador de parâmetro-objeto é configurado para avaliar um parâmetro de sinalização de fluxo de bits (bsOneIOC) para decidir se devem avaliar valores individuais de parâmetro de correlação intraobjetos de fluxo de bits, para obter valores de correlação intraobjeto para uma pluralidade de pares de áudio-objetos relacionados, ou para obter valores de correlação intraobjetos para uma pluralidade de áudio-objetos relacionados usando um valor comum de parâmetro de correlação intraobjetos de fluxo de bits; e um processador de sinal (150; 480) configurado para obter a representação de sinal de mescla ascendente com base na representação de sinal de mescla descendente e usando os valores de correlação intraobjetos para uma pluralidade de áudio- objetos relacionados assim como a informação de processamento; em que o decodificador de sinal de áudio é configurado para combinar um valor de correlação intraobjetos IOCi,j associado a um par de áudio-objetos relacionados com um valor de diferença de nível de objeto OLDi que descreve um nível de objeto de um primeiro áudio-objeto do par de áudio-objetos relacionados e com um valor de diferença de nível de objeto OLDj que descreve um nível de objeto de um segundo áudio-objeto do par de áudio-objetos relacionados, para obter um valor de covariança ei,j associado ao par de áudio-objetos relacionados; em que o decodificador de áudio é configurado para obter um elemento ei,j de uma matriz de covariança conforme
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US24668109P | 2009-09-29 | 2009-09-29 | |
| US61/246,681 | 2009-09-29 | ||
| US36950510P | 2010-07-30 | 2010-07-30 | |
| EP10171406 | 2010-07-30 | ||
| US61/369,505 | 2010-07-30 | ||
| EP10171406.1 | 2010-07-30 | ||
| PCT/EP2010/064379 WO2011039195A1 (en) | 2009-09-29 | 2010-09-28 | Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| BR112012007138A2 BR112012007138A2 (pt) | 2017-10-31 |
| BR112012007138B1 true BR112012007138B1 (pt) | 2021-11-30 |
Family
ID=43085706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112012007138-6A BR112012007138B1 (pt) | 2009-09-29 | 2010-09-28 | Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos |
Country Status (17)
| Country | Link |
|---|---|
| US (4) | US9460724B2 (pt) |
| EP (2) | EP3093843B1 (pt) |
| JP (1) | JP5576488B2 (pt) |
| KR (1) | KR101391110B1 (pt) |
| CN (1) | CN102667919B (pt) |
| AR (1) | AR078474A1 (pt) |
| AU (1) | AU2010303039B9 (pt) |
| BR (1) | BR112012007138B1 (pt) |
| CA (1) | CA2775828C (pt) |
| ES (1) | ES2644520T3 (pt) |
| MX (1) | MX2012003785A (pt) |
| MY (1) | MY165328A (pt) |
| PL (2) | PL3093843T3 (pt) |
| PT (1) | PT2483887T (pt) |
| RU (1) | RU2576476C2 (pt) |
| TW (1) | TWI463485B (pt) |
| WO (1) | WO2011039195A1 (pt) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2644520T3 (es) * | 2009-09-29 | 2017-11-29 | Dolby International Ab | Decodificador de señal de audio MPEG-SAOC, método para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC y programa informático usando un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia |
| CN116419138A (zh) | 2010-03-23 | 2023-07-11 | 杜比实验室特许公司 | 音频再现方法和声音再现系统 |
| US10158958B2 (en) | 2010-03-23 | 2018-12-18 | Dolby Laboratories Licensing Corporation | Techniques for localized perceptual audio |
| KR20120071072A (ko) * | 2010-12-22 | 2012-07-02 | 한국전자통신연구원 | 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법 |
| US9754595B2 (en) * | 2011-06-09 | 2017-09-05 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding 3-dimensional audio signal |
| US9299355B2 (en) | 2011-08-04 | 2016-03-29 | Dolby International Ab | FM stereo radio receiver by using parametric stereo |
| EP2560161A1 (en) | 2011-08-17 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optimal mixing matrices and usage of decorrelators in spatial audio processing |
| WO2013064957A1 (en) | 2011-11-01 | 2013-05-10 | Koninklijke Philips Electronics N.V. | Audio object encoding and decoding |
| CN103493128B (zh) * | 2012-02-14 | 2015-05-27 | 华为技术有限公司 | 用于执行多信道音频信号的适应性下混和上混的方法及设备 |
| EP3748632A1 (en) * | 2012-07-09 | 2020-12-09 | Koninklijke Philips N.V. | Encoding and decoding of audio signals |
| US9190065B2 (en) * | 2012-07-15 | 2015-11-17 | Qualcomm Incorporated | Systems, methods, apparatus, and computer-readable media for three-dimensional audio coding using basis function coefficients |
| US9489954B2 (en) * | 2012-08-07 | 2016-11-08 | Dolby Laboratories Licensing Corporation | Encoding and rendering of object based audio indicative of game audio content |
| WO2014035864A1 (en) | 2012-08-31 | 2014-03-06 | Dolby Laboratories Licensing Corporation | Processing audio objects in principal and supplementary encoded audio signals |
| WO2014108738A1 (en) * | 2013-01-08 | 2014-07-17 | Nokia Corporation | Audio signal multi-channel parameter encoder |
| US10178489B2 (en) | 2013-02-08 | 2019-01-08 | Qualcomm Incorporated | Signaling audio rendering information in a bitstream |
| KR20190134821A (ko) | 2013-04-05 | 2019-12-04 | 돌비 인터네셔널 에이비 | 스테레오 오디오 인코더 및 디코더 |
| TWI546799B (zh) | 2013-04-05 | 2016-08-21 | 杜比國際公司 | 音頻編碼器及解碼器 |
| EP2804176A1 (en) * | 2013-05-13 | 2014-11-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio object separation from mixture signal using object-specific time/frequency resolutions |
| EP3005352B1 (en) | 2013-05-24 | 2017-03-29 | Dolby International AB | Audio object encoding and decoding |
| CN109887517B (zh) | 2013-05-24 | 2023-05-23 | 杜比国际公司 | 对音频场景进行解码的方法、解码器及计算机可读介质 |
| EP3312835B1 (en) * | 2013-05-24 | 2020-05-13 | Dolby International AB | Efficient coding of audio scenes comprising audio objects |
| CN105229731B (zh) | 2013-05-24 | 2017-03-15 | 杜比国际公司 | 根据下混的音频场景的重构 |
| CN104240711B (zh) * | 2013-06-18 | 2019-10-11 | 杜比实验室特许公司 | 用于生成自适应音频内容的方法、系统和装置 |
| EP2830050A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhanced spatial audio object coding |
| EP2830051A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
| EP2830045A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for audio encoding and decoding for audio channels and audio objects |
| EP2838086A1 (en) | 2013-07-22 | 2015-02-18 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment |
| EP2830047A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for low delay object metadata coding |
| KR102243395B1 (ko) * | 2013-09-05 | 2021-04-22 | 한국전자통신연구원 | 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치 |
| EP3074970B1 (en) * | 2013-10-21 | 2018-02-21 | Dolby International AB | Audio encoder and decoder |
| KR101841380B1 (ko) | 2014-01-13 | 2018-03-22 | 노키아 테크놀로지스 오와이 | 다중-채널 오디오 신호 분류기 |
| EP2928216A1 (en) | 2014-03-26 | 2015-10-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for screen related audio object remapping |
| CN105989845B (zh) | 2015-02-25 | 2020-12-08 | 杜比实验室特许公司 | 视频内容协助的音频对象提取 |
| WO2016173659A1 (en) | 2015-04-30 | 2016-11-03 | Huawei Technologies Co., Ltd. | Audio signal processing apparatuses and methods |
| CN106303897A (zh) * | 2015-06-01 | 2017-01-04 | 杜比实验室特许公司 | 处理基于对象的音频信号 |
| CN105740029B (zh) * | 2016-03-03 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 一种内容呈现的方法、用户设备及系统 |
| EP3488623B1 (en) * | 2016-07-20 | 2020-12-02 | Dolby Laboratories Licensing Corporation | Audio object clustering based on renderer-aware perceptual difference |
| CN107731238B (zh) * | 2016-08-10 | 2021-07-16 | 华为技术有限公司 | 多声道信号的编码方法和编码器 |
| US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
| TWI703557B (zh) * | 2017-10-18 | 2020-09-01 | 宏達國際電子股份有限公司 | 聲音播放裝置、方法及非暫態儲存媒體 |
| WO2020216459A1 (en) * | 2019-04-23 | 2020-10-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for generating an output downmix representation |
| WO2022074201A2 (en) * | 2020-10-09 | 2022-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method, or computer program for processing an encoded audio scene using a bandwidth extension |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3268905A (en) | 1960-06-30 | 1966-08-23 | Atlantic Refining Co | Coordinate adjustment of functions |
| MY149792A (en) | 1999-04-07 | 2013-10-14 | Dolby Lab Licensing Corp | Matrix improvements to lossless encoding and decoding |
| KR20070001139A (ko) * | 2004-02-17 | 2007-01-03 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 분배 시스템, 오디오 인코더, 오디오 디코더 및이들의 동작 방법들 |
| JP2006003580A (ja) * | 2004-06-17 | 2006-01-05 | Matsushita Electric Ind Co Ltd | オーディオ信号符号化装置及びオーディオ信号符号化方法 |
| US8843378B2 (en) | 2004-06-30 | 2014-09-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-channel synthesizer and method for generating a multi-channel output signal |
| TWI393121B (zh) * | 2004-08-25 | 2013-04-11 | Dolby Lab Licensing Corp | 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式 |
| US7903824B2 (en) * | 2005-01-10 | 2011-03-08 | Agere Systems Inc. | Compact side information for parametric coding of spatial audio |
| PL1866911T3 (pl) * | 2005-03-30 | 2010-12-31 | Koninl Philips Electronics Nv | Skalowalne, wielokanałowe kodowanie dźwięku |
| US7983922B2 (en) * | 2005-04-15 | 2011-07-19 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
| US7177804B2 (en) * | 2005-05-31 | 2007-02-13 | Microsoft Corporation | Sub-band voice codec with multi-stage codebooks and redundant coding |
| JP4640020B2 (ja) * | 2005-07-29 | 2011-03-02 | ソニー株式会社 | 音声符号化装置及び方法、並びに音声復号装置及び方法 |
| US20070036228A1 (en) | 2005-08-12 | 2007-02-15 | Via Technologies Inc. | Method and apparatus for audio encoding and decoding |
| CN101390443B (zh) * | 2006-02-21 | 2010-12-01 | 皇家飞利浦电子股份有限公司 | 音频编码和解码 |
| AU2007300810B2 (en) | 2006-09-29 | 2010-06-17 | Lg Electronics Inc. | Methods and apparatuses for encoding and decoding object-based audio signals |
| AU2007312597B2 (en) | 2006-10-16 | 2011-04-14 | Dolby International Ab | Apparatus and method for multi -channel parameter transformation |
| WO2008084427A2 (en) * | 2007-01-10 | 2008-07-17 | Koninklijke Philips Electronics N.V. | Audio decoder |
| JP5541928B2 (ja) * | 2007-03-09 | 2014-07-09 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号の処理方法及び装置 |
| EP2137725B1 (en) * | 2007-04-26 | 2014-01-08 | Dolby International AB | Apparatus and method for synthesizing an output signal |
| CN103299363B (zh) * | 2007-06-08 | 2015-07-08 | Lg电子株式会社 | 用于处理音频信号的方法和装置 |
| RU2443075C2 (ru) * | 2007-10-09 | 2012-02-20 | Конинклейке Филипс Электроникс Н.В. | Способ и устройство для генерации бинаурального аудиосигнала |
| RU2452043C2 (ru) | 2007-10-17 | 2012-05-27 | Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. | Аудиокодирование с использованием понижающего микширования |
| KR101413967B1 (ko) * | 2008-01-29 | 2014-07-01 | 삼성전자주식회사 | 오디오 신호의 부호화 방법 및 복호화 방법, 및 그에 대한 기록 매체, 오디오 신호의 부호화 장치 및 복호화 장치 |
| MX2010012580A (es) * | 2008-05-23 | 2010-12-20 | Koninkl Philips Electronics Nv | Aparato de mezcla ascendente estereo parametrico, decodificador estereo parametrico, aparato de mezcla descendente estereo parametrico, codificador estereo parametrico. |
| EP2249334A1 (en) * | 2009-05-08 | 2010-11-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio format transcoder |
| KR101388901B1 (ko) * | 2009-06-24 | 2014-04-24 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 신호 디코더, 오디오 신호를 디코딩하는 방법 및 캐스케이드된 오디오 객체 처리 단계들을 이용한 컴퓨터 프로그램 |
| ES2644520T3 (es) * | 2009-09-29 | 2017-11-29 | Dolby International Ab | Decodificador de señal de audio MPEG-SAOC, método para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC y programa informático usando un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia |
| US9042559B2 (en) | 2010-01-06 | 2015-05-26 | Lg Electronics Inc. | Apparatus for processing an audio signal and method thereof |
| US8625802B2 (en) | 2010-06-16 | 2014-01-07 | Porticor Ltd. | Methods, devices, and media for secure key management in a non-secured, distributed, virtualized environment with applications to cloud-computing security and management |
-
2010
- 2010-09-28 ES ES10757435.2T patent/ES2644520T3/es active Active
- 2010-09-28 WO PCT/EP2010/064379 patent/WO2011039195A1/en active Application Filing
- 2010-09-28 PL PL16176048T patent/PL3093843T3/pl unknown
- 2010-09-28 EP EP16176048.3A patent/EP3093843B1/en active Active
- 2010-09-28 TW TW099132785A patent/TWI463485B/zh active
- 2010-09-28 RU RU2012116743/08A patent/RU2576476C2/ru active
- 2010-09-28 CN CN201080050553.8A patent/CN102667919B/zh active Active
- 2010-09-28 MX MX2012003785A patent/MX2012003785A/es active IP Right Grant
- 2010-09-28 EP EP10757435.2A patent/EP2483887B1/en active Active
- 2010-09-28 KR KR1020127010610A patent/KR101391110B1/ko active IP Right Grant
- 2010-09-28 JP JP2012531366A patent/JP5576488B2/ja active Active
- 2010-09-28 AU AU2010303039A patent/AU2010303039B9/en active Active
- 2010-09-28 MY MYPI2012001410A patent/MY165328A/en unknown
- 2010-09-28 CA CA2775828A patent/CA2775828C/en active Active
- 2010-09-28 PT PT107574352T patent/PT2483887T/pt unknown
- 2010-09-28 PL PL10757435T patent/PL2483887T3/pl unknown
- 2010-09-28 BR BR112012007138-6A patent/BR112012007138B1/pt active IP Right Grant
- 2010-09-29 AR ARP100103539A patent/AR078474A1/es active IP Right Grant
-
2012
- 2012-03-29 US US13/434,450 patent/US9460724B2/en active Active
-
2015
- 2015-08-14 US US14/826,876 patent/US9805728B2/en active Active
- 2015-08-14 US US14/826,942 patent/US9466303B2/en active Active
-
2017
- 2017-10-11 US US15/730,652 patent/US10504527B2/en active Active
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112012007138B1 (pt) | Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos | |
| JP6687683B2 (ja) | マルチチャネル非相関器、マルチチャネル・オーディオ・デコーダ、マルチチャネル・オーディオ・エンコーダおよび非相関器入力信号のリミックスを使用したコンピュータ・プログラム | |
| US9516446B2 (en) | Scalable downmix design for object-based surround codec with cluster analysis by synthesis | |
| EP2941771B1 (en) | Decoder, encoder and method for informed loudness estimation employing by-pass audio object signals in object-based audio coding systems | |
| CA2918869C (en) | Apparatus and method for enhanced spatial audio object coding | |
| BR112014010062B1 (pt) | Codificador de objeto de áudio, decodificador de objeto de áudio, método para a codificação de objeto de áudio, e método para a decodificação de objeto de áudio | |
| TWI545559B (zh) | 解碼器、編碼器、音訊信號系統、產生未經混合音訊信號之方法、編碼輸入音訊物件信號之方法、以及相關電腦可讀取媒體及電腦程式 | |
| ES2649739T3 (es) | Procedimiento y descodificador para un concepto paramétrico de codificación de objetos de audio espacial generalizado para casos de mezcla descendente/mezcla ascendente de multicanal | |
| BR112016001137B1 (pt) | Decodificador de áudio, codificador de áudio, método para fornecer pelo menos quatro sinais de canal de áudio na base de uma representação codificada, e método para fornecer uma representação codificada na base de pelo menos quatro sinais de canal de áudio que usa uma extensão de largura de banda | |
| BR122021008665B1 (pt) | Mecanismo e método para fornecer um ou mais parâmetros ajustados para a provisão de uma representação de sinal upmix com base em uma representação de sinal downmix e uma informação lateral paramétrica associada com a representação de sinal downmix, usando um valor médio | |
| RU2609097C2 (ru) | Устройство и способы для адаптации аудиоинформации при пространственном кодировании аудиообъектов | |
| BR112015017094B1 (pt) | Aparelho e método para codificação de objeto de áudio espacial empregando objetos ocultos para manipulação da mistura de sinal | |
| ES2856423T3 (es) | Decodificador de señal de audio MPEG-SAOC, codificador de señal de audio MPEG-SAOC, procedimiento para proporcionar una representación de señal de mezcla ascendente usando decodificación MPEG-SAOC, procedimiento para proporcionar una representación de señal de mezcla descendente usando decodificación MPEG-SAOC, y programa informático que usa un valor de parámetro de correlación inter-objeto común dependiente del tiempo/frecuencia | |
| BR112016001141B1 (pt) | Codificador de áudio, decodificador de áudio e métodos que usam sinais residuais codificados em conjunto |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B15K | Others concerning applications: alteration of classification |
Ipc: G10L 19/00 (2013.01) |
|
| B06F | Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette] | ||
| B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
| B07A | Application suspended after technical examination (opinion) [chapter 7.1 patent gazette] | ||
| B06A | Patent application procedure suspended [chapter 6.1 patent gazette] | ||
| B06A | Patent application procedure suspended [chapter 6.1 patent gazette] | ||
| B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
| B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 28/09/2010, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF, QUE DETERMINA A ALTERACAO DO PRAZO DE CONCESSAO. |