BR122020009732B1 - Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais - Google Patents

Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais Download PDF

Info

Publication number
BR122020009732B1
BR122020009732B1 BR122020009732-9A BR122020009732A BR122020009732B1 BR 122020009732 B1 BR122020009732 B1 BR 122020009732B1 BR 122020009732 A BR122020009732 A BR 122020009732A BR 122020009732 B1 BR122020009732 B1 BR 122020009732B1
Authority
BR
Brazil
Prior art keywords
signal
difference
downmix
mono
sign
Prior art date
Application number
BR122020009732-9A
Other languages
English (en)
Inventor
Erik G. P. Schuijers
Original Assignee
Koninklijke Philips N.V.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips N.V. filed Critical Koninklijke Philips N.V.
Publication of BR122020009732B1 publication Critical patent/BR122020009732B1/pt

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

Aparelho de 'upmix' estéreo paramétrico (300, 400) para geração de um sinal esquerdo (206) e de um sinal direito (207) a partir de um sinal de 'downmix' mono (204) com base em parâmetros espaciais (205). O dito 'upmix' estéreo paramétrico é caracterizado por compreender um dispositivo (310) para previsão de um sinal de diferença (311) que compreende uma diferença entre o sinal esquerdo (206) e o sinal direito (207) com base no sinal de 'downmix' mono (204) representado em escala com um coeficiente de previsão (321). O dito coeficiente de previsão é derivado dos parâmetros espaciais (205). O dito aparelho de 'upmix' estéreo paramétrico (300, 400) compreende adicionalmente um dispositivo aritmético (330) para derivação do sinal esquerdo (206) e do sinal direito (207) com base em uma soma e em uma diferença do sinal de 'downmix' mono (204) e do dito sinal de diferença (311).

Description

[001] O presente pedido de patente consiste em pedido dividido do pedido de patente de invenção PI 09086307, de 14/05/2009.
CAMPO TÉCNICO
[002] A invenção refere-se a um aparelho de 'upmix' estéreo paramétrico para geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais. A invenção faz referência, adicionalmente, a um decodificador estéreo paramétrico que compreende um aparelho de 'upmix' estéreo paramétrico, a um método para geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, a um dispositivo de execução de áudio, a um aparelho de 'downmix' estéreo paramétrico, a um codificador estéreo paramétrico, a um método para geração de um sinal residual de previsão para um sinal de diferença e a um produto programa de computador.
ANTECEDENTES TÉCNICOS
[003] O estéreo paramétrico (PS) é um dos maiores avanços na codificação de áudio dos últimos anos. Os princípios do estéreo paramétrico são explicados em J. Breebaart, S. van de Par, A. Kohlrausch e E. Schuijers, "Parametric Coding of Stereo Audio", em EURASIP J. Appl. Signal Process, vol. 9, pp. 1305-1322 (2004). Em comparação com os tradicionais, uma chamada codificação discreta de sinais de áudio, o codificador OS, tal como descrito na Figura 1, transforma um par de sinais estéreo (l, r) 101, 102 em um único sinal de 'downmix' mono 104 mais uma pequena quantidade de parâmetros 103 que descrevem a imagem espacial. Esses parâmetros compreendem Diferenças de Intensidade Intercanais (iids), Diferenças de fases intercanais (ou tempo) (ipds/itds) e Coerência/Correlação de Intercanais (iccs). No codificador PS 100, a imagem espacial do sinal de entrada estéreo (l, r) é analisada tendo por resultado parâmetros iid, ipd e icc. Preferivelmente, os parâmetros dependem do tempo e da frequência. Para cada série de tempo/freqüência, os parâmetros iid, ipd e icc são determinados. Esses parâmetros são quantificados e codificados 140, tendo por resultado o fluxo de bits PS. Além disso, os parâmetros também são normalmente utilizados para controlar como o 'downmix' do sinal de entrada estéreo é gerado. A soma do sinal mono resultante (s) 104 é codificada subsequentemente utilizando um codificador de áudio mono de legado 120. Finalmente, o mono e o fluxo de bits PS resultantes são fundidos para construir o fluxo de bits estéreo total 107.
[004] No decodificador PS 200 o fluxo de bits estéreo é dividido em um fluxo de bits mono 202 e um fluxo de bits PS 203. O sinal de áudio mono é decodificado, tendo por resultado uma reconstrução do sinal de 'downmix' mono 204. O sinal de 'downmix' mono alimenta o 'upmix' PS 230 junto com os parâmetros de imagem espacial decodificados 205. O 'upmix' PS gera então o par de sinal estéreo de saída (l, r) 206, 207. A fim de sintetizar os avisos icc , o 'upmix' PS emprega o assim chamado sinal descorrelacionado (sd), isto é, um sinal é gerado a partir do sinal de áudio mono que tem aproximadamente a mesma abrangência espectral e temporal, e que, no entanto, tem uma correlação substancialmente nula no que diz respeito ao sinal de entrada mono. Então, com base nos parâmetros de imagem espacial, dentro de 'upmix' PS para cada série de tempo/frequência uma matriz 2x2 é determinada e aplicada:
Figure img0001
[005] Onde Hij representa uma entrada H de matriz 'upmix' (i, j). As entradas de matriz H são funções dos parâmetros PS iid, icc e opcionalmente ipd/opd. No sistema PS do estado da técnica, no caso de os parâmetros ipd/opd serem empregados, a matriz 'upmix' H pode ser decomposta como:
Figure img0002
[006] onde a matriz 2x2 à esquerda representa as rotações de fase, uma função dos parâmetros ipd e opd, e a matriz 2x2 à direita representa a parte que restabelece os parâmetros iid e icc.
[007]No documento WO2003090206 A1 é proposta a distribuição igualmente do ipd nos canais esquerdo e direito no decodificador. Além disso, é proposta a geração de um sinal de 'downmix' ao transladar ambos os sinais esquerdo e direito na direção um do outro pela metade do ipd medido para obter o alinhamento. Na prática, no caso de sinais quase defasados, isto resulta para ambos, o 'downmix' gerado no codificador, bem como o 'upmix' gerado no decodificador, que o ipd varia com o tempo ligeiramente em torno de 180 graus, o que, devido a uma envoltória, pode consistir em uma sequência de ângulos tais como 179, 178, -179, 177, -179 Como resultado desses saltos, as séries de tempo/frequência subsequentes no 'downmix' apresentam descontinuidades de fase ou, em outras palavras, instabilidade de fase. Devido a uma estrutura de síntese de sobreposição-adição inerente, isto resulta em artefatos audíveis.
[008] Como exemplo, considerar o 'downmix' onde, em uma série de tempo/frequência, o 'downmix' é gerado como:
Figure img0003
[009] onde ε é algum ângulo pequeno arbitrário, o que significa que o ipd medido estava próximo de 180 graus, visto que para a série de tempo-frequência seguinte, o 'downmix' é gerado como:
Figure img0004
[0010] o que significa que o ipd medido estava próximo de -180 graus. Ao utilizar uma síntese de sobreposição-adição típica, irá ocorrer um cancelamento de fase entre os pontos médios das séries de tempo/frequência subsequentes, que resultam em artefatos.
[0011] Uma desvantagem principal da codificação estéreo paramétrica tal como discutido acima é a instabilidade de uma síntese dos avisos da Diferença de Fase Interaural (ipd) no decodificador PS que são utilizadas na geração do par estéreo de saída. Essa instabilidade tem sua fonte nas modificações de fase realizadas no codificador PS a fim de gerar o 'downmix', e no decodificador PS a fim de gerar o sinal de saída. Em consequência dessa instabilidade, ocorre uma qualidade de áudio inferior do par estéreo de saída.
[0012] A fim de lidar com este problema da instabilidade de fase na prática, a síntese de ipd é frequentemente rejeitada. No entanto, isso resulta em uma qualidade de áudio (espacial) reduzida do sinal estéreo reconstruído.
[0013] Outra alternativa de tratamento desse problema de instabilidade quando os parâmetros ipd são utilizados consiste em incorporar as chamadas Diferenças de Fase Totais (opds) no fluxo de bits a fim de fornecer ao decodificador uma referência de fase. Dessa maneira a continuidade das séries de tempo/frequência podem ser aumentadas, permitindo uma translação de fase comum. Isto acontece, no entanto, à custa de um aumento da taxa de bits, e resulta desse modo na deterioração do desempenho geral do sistema.
DESCRIÇÃO RESUMIDA DA INVENÇÃO
[0014] O objetivo da invenção consiste na apresentação de um aparelho de 'upmix' estéreo paramétrico intensificado para gerar um sinal esquerdo e um sinal direito a partir de um sinal de 'downmix' mono que melhore a qualidade de áudio dos sinais esquerdo e direito gerados sem um aumento adicional da taxa de bits, e que não apresente as instabilidades inferidas pela síntese de diferenças de fase interaural (ipds).
[0015] Este objetivo é atingido por um aparelho de 'upmix' estéreo paramétrico (PS) que compreende um dispositivo para prever um sinal de diferença que compreende uma diferença entre o sinal esquerdo e o sinal direito com base no sinal de 'downmix' mono representado em escala com um coeficiente de previsão. O dito coeficiente de previsão é derivado dos parâmetros espaciais. O dito aparelho de 'upmix' PS compreende, adicionalmente, um dispositivo aritmético para derivar o sinal esquerdo e o sinal direito com base em uma soma e em uma diferença do sinal de 'downmix' mono e do dito sinal de diferença.
[0016] O aparelho de 'upmix' PS proposto oferece uma maneira diferente de derivação do sinal esquerdo e do sinal direito para o decodificador OS conhecido. Em vez de aplicar os parâmetros espaciais para restabelecer a imagem espacial correta em um sentido estatístico, tal como feito no decodificador PS conhecido, o aparelho de 'upmix' PS proposto constrói o sinal de diferença a partir do sinal de 'downmix' mono e dos parâmetros espaciais. Tanto o PS conhecido quanto o proposto visam restabelecer as relações de potência corretas (iids), as correlações cruzadas (iccs) e as relações de fase (ipds). No entanto, o decodificador PS conhecido não se empenha em obter a correspondência de forma de onda mais precisa. Em vez disso, garante que os parâmetros do codificador medidos correspondam estatisticamente aos parâmetros do decodificador restabelecidos. No 'upmix' PS proposto por simples operações aritméticas, tais como adição e subtração, aplicadas ao sinal de 'downmix' mono e ao sinal estimado da diferença, o sinal esquerdo e o sinal direito são obtidos. Tal construção oferece resultados muito melhores para a qualidade e a estabilidade dos sinais esquerdo e direito reconstruídos, visto que fornece uma correspondência de forma de onda próxima que restabelece o comportamento de fase original do sinal.
[0017] Em uma realização, o dito coeficiente de previsão é baseado em uma correspondência de forma de onda do sinal sinal de 'downmix' para o sinal de diferença. A correspondência de forma de onda, dessa maneira, não apresenta as instabilidades da abordagem estatística utilizada no decodificador PS conhecido para a síntese ipd e opd, uma vez que provê uma preservação de fase inerente. Desse modo, ao utilizar o sinal de diferença derivado como um sinal de 'downmix' mono em escala (avaliado como complexo) e derivando o coeficiente de previsão baseado na correspondência de forma de onda, a fonte de instabilidades do decodificador PS conhecido é removida. A dita correspondência de forma de onda compreende, por exemplo, uma correspondência de quadrado mínimo do sinal de 'downmix' mono para o sinal de diferença, calculando o sinal de diferença como:
Figure img0005
[0018] onde s é o sinal de 'downmix' e é o coeficiente de previsão. É bem sabido que a solução de previsão do quadrado mínimo é fornecida por:
Figure img0006
[0019] onde <s,d>* representa o conjugado complexo da correlação cruzada do 'downmix' e do sinal de diferença e <s,s> representa a potência do sinal de 'downmix'.
[0020] Em uma realização adicional, o coeficiente de previsão é fornecido como uma função dos parâmetros espaciais:
Figure img0007
[0021] sendo que iid, ipd e icc são parâmetros espaciais, iid é uma diferença de intensidade de intercanais, ipd é uma diferença de fase de intercanais e icc é uma coerência intercanais. Geralmente é difícil quantificar o coeficiente de previsão d avaliado como complexo em um sentido que pode ser percebido significativamente, uma vez que a exatidão requerida depende das propriedades dos sinais de áudio esquerdo e direito a serem reconstruídos. Desse modo, a vantagem desta realização é que, em contraste com o coeficiente de previsão complexo d, as exatidões de quantificação requeridas para os parâmetros espaciais são bem conhecidas da psicoacústica. Como tal, o uso ideal do conhecimento da psicoacústica pode ser empregado de modo eficiente, isto é, com o menor número de etapas possível quantificam o coeficiente de previsão para diminuir a taxa de bits. Além disso, esta realização permite o 'upmixing' utilizando o conteúdo PS compatível inverso.
[0022] Em uma realização adicional, o dispositivo para prever o sinal de diferença é arranjado de modo a intensificar o sinal de diferença pela adição de um sinal de 'downmix' mono descorrelacionado em escala. Uma vez que em geral não é possível prever completamente o sinal de diferença do codificador original do sinal de 'downmix' mono, ele confere um aumento em um sinal residual. Este sinal residual não tem nenhuma correlação com o sinal de 'downmix', como de outra maneira seria considerado pelo dispositivo do coeficiente de previsão. Em muitos casos o sinal residual compreende um campo sonoro reverberante de uma gravação. O sinal residual pode ser eficazmente sintetizado utilizando um sinal de 'downmix' mono descorrelacionado, derivado do sinal de 'downmix' mono.
[0023] Em uma realização adicional, o dito 'downmix' mono descorrelacionado é obtido por meio da filtragem do sinal de 'downmix' mono. O objetivo dessa filtragem é gerar eficazmente um sinal com uma envoltória espectral e temporal similar ao do sinal de 'downmix' mono, mas com uma correlação substancialmente perto de zero, de tal modo que corresponda a uma variante sintética do componente residual derivado no codificador. Isto pode ser conseguido, por exemplo, por meio de filtragem de passagem total, atrasos, filtro de reverberação reticulado, redes de atrasos de retorno ou uma combinação dos mesmos. Adicionalmente, a normalização de potência pode ser aplicada ao sinal descorrelacionado a fim de garantir que a potência para cada série de tempo/frequência do sinal descorrelacionado corresponda rigorosamente àquela do sinal de 'downmix' mono. Dessa maneira, se garante que o sinal de saída do decodificador irá conter a quantidade correta de potência de sinal descorrelacionado.
[0024] Em uma realização adicional, um fator de escala aplicado ao 'downmix' mono descorrelacionado é ajustado para compensar uma perda de energia de previsão. O fator de escala aplicado ao 'downmix' mono descorrelacionado garante que a potência do sinal total do sinal esquerdo e do sinal direito no lado do decodificador corresponda à potência de sinal da potência de sinal esquerdo e direito no lado do codificador, respectivamente. Dessa maneira, o fator de escala β também pode ser interpretado como um fator de compensação de perda de energia de previsão.
[0025] Em uma realização adicional, o fator de escala aplicado ao 'downmix' mono descorrelacionado é fornecido como uma função dos parâmetros espaciais:
Figure img0008
[0026] sendo que iid, ipd e icc são os parâmetros espaciais, e iid é uma diferença de intensidade intercanais, ipd é uma diferença de fase intercanais, icc é uma coerência intercanais e α é o coeficiente de previsão. Do mesmo modo como no caso do coeficiente de previsão, a expressão do fator de escala descorrelacionado β como uma função dos parâmetros espaciais permite o uso do conhecimento sobre as exatidões de quantização requeridas desses parâmetros espaciais. Desse modo, o uso ideal do conhecimento psicoacústico pode ser empregado para diminuir a taxa de bits.
[0027] Em uma realização adicional, o dito 'upmix' estéreo paramétrico tem um sinal residual de previsão para o sinal de diferença como uma entrada adicional, com o que os dispositivos aritméticos são arranjados para derivar o sinal esquerdo e o sinal direito também com base no dito sinal residual de previsão para o sinal de diferença. Para evitar nomes longos de sinais, um sinal residual de previsão é utilizado para denominar o sinal residual de previsão para o sinal de diferença durante todo o restante do pedido de patente. O sinal residual de previsão opera como uma substituição do sinal de descorrelação sintético por suas contrapartes de codificador originais. Ele permite restabelecer o sinal estéreo original no decodificador. Isso, no entanto, ao custo de uma taxa de bits adicional, uma vez que o sinal de previsão precisa ser codificado e transmitido ao decodificador. Portanto, normalmente a largura de banda do sinal residual de previsão é limitada. O sinal residual de previsão também pode substituir completamente o sinal de 'downmix' mono descorrelacionado de uma dada série de tempo/frequência ou pode trabalhar de forma complementar. Essa última pode ser benéfica no caso de o sinal residual de previsão ser codificado somente de modo esparso, por exemplo, somente alguns dos intervalos de frequência mais significativos são codificados. No caso, comparado à situação do codificador, ainda estará faltando energia. Esta falta de energia será preenchida pelo sinal descorrelacionado. Um novo fator de escala descorrelacionado é então calculado como:
Figure img0009
[0028] sendo que <dres,cod, dres,cod> é a potência de sinal do sinal residual de previsão codificado e <s,s> é a potência do sinal de 'downmix' mono. Essas potências de sinal podem ser medidas no lado do decodificador e desse modo não precisam ser transmitidas como parâmetros de sinal.
[0029] A invenção apresenta, adicionalmente, um decodificador estéreo paramétrico que compreende o dito aparelho de 'upmix' estéreo paramétrico e um dispositivo de execução de áudio que compreende o dito decodificador estéreo paramétrico.
[0030] A invenção também apresenta um aparelho de 'downmix' estéreo paramétrico e um codificador estéreo paramétrico que compreende o dito aparelho de 'downmix' estéreo paramétrico.
[0031] A invenção apresenta adicionalmente as reivindicações, assim como um produto programa de computador que permite que um dispositivo programável execute o método de acordo com a invenção.
BREVE DESCRIÇÃO DOS DESENHOS
[0032] Esses e outros aspectos da invenção ficarão evidentes e serão elucidados com referência às realizações mostradas nos desenhos, nos quais:
[0033] a Figura 1 mostra esquematicamente a arquitetura de um codificador estéreo paramétrico (técnica anterior),
[0034] a Figura 2 mostra esquematicamente a arquitetura de um decodificador estéreo paramétrico (técnica anterior),
[0035] a Figura 3 mostra um aparelho de 'upmix' estéreo paramétrico de acordo com a invenção, e o dito aparelho de 'upmix' estéreo paramétrico gera um sinal esquerdo e um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais,
[0036] a Figura 4 mostra o aparelho de 'upmix' estéreo paramétrico que compreende um dispositivo de previsão arranjado para intensificar o sinal de diferença pela adição de um sinal de 'downmix' mono descorrelacionado em escala,
[0037] a Figura 5 mostra o aparelho de 'upmix' estéreo paramétrico que tem um sinal residual de previsão para o sinal de diferença como uma entrada adicional,
[0038] a Figura 6 mostra o decodificador estéreo paramétrico que compreende o aparelho de 'upmix' estéreo paramétrico de acordo com a invenção,
[0039] a Figura 7 mostra um diagrama para um método de geração do sinal esquerdo e do sinal direito a partir do sinal de 'downmix' mono com base em parâmetros espaciais de acordo com a invenção,
[0040] a Figura 8 mostra um aparelho de 'downmix' estéreo paramétrico de acordo com a invenção, e o dito aparelho de 'downmix' estéreo paramétrico gera um sinal de 'downmix' mono do sinal esquerdo e do sinal direito com base em parâmetros espaciais,
[0041] a Figura 9 mostra o codificador estéreo paramétrico que compreende o aparelho de 'downmix' estéreo paramétrico de acordo com a invenção.
[0042] Em todas as figuras, números de referência idênticos indicam características similares ou correspondentes. Algumas das características indicadas nos desenhos normalmente são implementadas em software e, desse modo, representam entidades de software, tais como módulos ou objetos de software.
DESCRIÇÃO DETALHADA DAS REALIZAÇÕES PREFERIDAS
[0043] A Figura 3 mostra um aparelho de 'upmix' estéreo paramétrico 300 de acordo com a invenção. O dito aparelho de 'upmix' estéreo paramétrico 300 gera um sinal esquerdo 206 e um sinal direito 207 a partir de um sinal de 'downmix' mono 204 com base em parâmetros espaciais 205.
[0044] O dito aparelho de 'upmix' estéreo paramétrico 300 compreende um dispositivo 310 para previsão de um sinal de diferença 311 que compreende uma diferença entre o sinal esquerdo 206 e o sinal direito 207 com base no sinal de 'downmix' mono 204 em escala com um coeficiente de previsão 321, com o que o dito coeficiente de previsão 321 é derivado dos parâmetros espaciais 205 em uma unidade 320 e um dispositivo aritmético 330 para derivar o sinal esquerdo 206 e o sinal direito 207 com base em uma soma e em uma diferença do sinal de 'downmix' mono 204 e do dito sinal de diferença 311.
[0045] O sinal esquerdo 206 e o sinal direito 207 são reconstruídos preferivelmente tal como segue:
Figure img0010
[0046] onde s é o sinal de 'downmix' mono, e d é o sinal de diferença. Isso está sob o pressuposto de que o sinal de soma do codificador é calculado como:
Figure img0011
[0047] Na prática, a normalização de ganho normalmente é aplicada na construção do sinal esquerdo 206 e do sinal direito 207:
Figure img0012
[0048] sendo que c é uma constante de normalização de ganho e é uma função dos parâmetros espaciais. A normalização de ganho garante que uma potência do sinal de 'downmix' mono 204 seja igual à soma das potências do sinal esquerdo 206 e do sinal direito 207. Neste caso, o sinal de soma do codificador foi calculado como:
Figure img0013
[0049] Os parâmetros espaciais são determinados em um codificador de antemão e transmitidos ao decodificador que compreende um 'upmix' estéreo paramétrico 300. Os ditos parâmetros espaciais são determinados em uma base quadro-a- quadro para cada série de tempo/frequência como:
Figure img0014
[0050] sendo que iid é uma diferença de intensidade intercanais, icc é uma coerência intercanais, ipd é uma diferença de fase intercanais e <l,l> e <r,r> são as potências dos sinais esquerdo e direito, respectivamente, e <l,r> representa o coeficiente de covariância avaliado como complexo não normalizado entre os sinais esquerdo e direito.
[0051] Para um domínio de frequência típico avaliado como complexo, tal como a DFT (FFT), essas potências são medidas como:
Figure img0015
[0052] sendo que ksérie representa os intervalos de DFT que correspondem a uma banda do parâmetro. Deve ser notado que também outra representação de domínio complexa pode ser utilizada, como, por exemplo, um banco QMF modulado exponencialmente complexo tal como descrito em P. Ekstrand, "Bandwidth extension of áudio signals by spectral band replication", em Proc. 1° IEEE Benelux Workshop on Model based Processing and Coding of Audio (MPCA-2002), Leuven, Bélgica, Nov. 2002, pp. 73-79.
[0053] Para frequências baixas de até 1,5-2 kHz, as equações acima podem ser empregadas. No entanto, para frequências mais altas, os parâmetros ipd não são relevantes para a percepção e, portanto, são ajustados em um valor zero resultando em:
Figure img0016
[0054] Alternativamente, uma vez em frequências mais altas é a envoltória de banda larga e não as diferenças de fase que são importantes para a percepção, o icc é calculado como:
Figure img0017
[0055] A constante de normalização de ganho é expressa como:
Figure img0018
[0056] Uma vez que c pode se aproximar do aos sinais esquerdo e direito estarem fora de fase, o valor da normalização de ganho constante c normalmente é limitado como:
Figure img0019
[0057] com c sendo o fator de amplificação máximo, por exemplo, cmax = 2.
[0058] Em uma realização, o dito coeficiente de previsão é baseado na estimativa do sinal de diferença 311 a partir do sinal de 'downmix' mono 204 utilizando a correspondência de forma de onda. A dita correspondência de forma de onda compreende, por exemplo, uma correspondência de quadrado mínimo do sinal de 'downmix' mono 204 no sinal de diferença 311, resultando em um sinal de diferença fornecido como:
Figure img0020
[0059] sendo que s é o sinal de 'downmix' mono 204 e d é o coeficiente de previsão 321.
[0060] Além da correspondência de quadrado mínimo, uma correspondência de forma de onda que utiliza uma norma diferente da norma L2 pode ser utilizada. Alternativamente, o erro norma p ||d - d . s||p pode ser, por exemplo, ponderado de modo perceptível. No entanto, a correspondência de quadrado mínimo é vantajosa porque resulta em cálculos relativamente simples para derivar o coeficiente de previsão a partir dos parâmetros de imagem espacial transmitidos.
[0061] É bem sabido que a solução de previsão do quadrado mínimo para o coeficiente de previsão é dada por:
Figure img0021
[0062] sendo que <s,d>* representa o conjugado complexo da correlação cruzada do sinal de 'downmix' mono 204 e do sinal de diferença 311 e <s,s> representa a potência do sinal de 'downmix' mono.
[0063] Em uma realização adicional, o coeficiente de previsão 321 é fornecido como uma função dos parâmetros espaciais:
Figure img0022
[0064] O dito coeficiente de previsão é calculado na unidade 320 de acordo com a fórmula acima.
[0065] A Figura 4 mostra o aparelho de 'upmix' estéreo paramétrico 300 que compreende um dispositivo de previsão 310 que é arranjado para intensificar o sinal de diferença pela adição de um sinal de 'downmix' mono descorrelacionado em escala. O sinal de 'downmix' mono 204 é provido na unidade 340 para descorrelação. Em consequência, o sinal de 'downmix' mono descorrelacionado 341 é provido na saída da unidade 340. No dispositivo de previsão 310 uma primeira parte do sinal de diferença é calculada ao representar em escala o sinal de 'downmix' mono 204 com o coeficiente de previsão 321. Adicionalmente, o sinal de 'downmix' mono descorrelacionado 341 também é representado em escala no dispositivo de previsão 310 com o fator de escala 322. Uma segunda parte resultante do sinal de diferença consequentemente é adicionada à primeira parte do sinal de diferença, tendo por resultado o sinal de diferença intensificado 311. O sinal de 'downmix' mono 204 e o sinal de diferença intensificado 311 são providos no dispositivo aritmético 330, que calcula o sinal esquerdo 206 e o sinal direito 207.
[0066] Em geral não é possível prever exatamente o sinal de diferença a partir do sinal de 'downmix' mono pelo escala simplesmente representando em escala o coeficiente de previsão. Isto aumenta o sinal residual dres = d - d . s. Este sinal residual não tem nenhuma correlação com o sinal de 'downmix', como de outro modo seria considerado pelo dispositivo do coeficiente de previsão. Em muitos casos, o sinal residual compreende um campo sonoro reverberante de uma gravação. O sinal residual é sintetizado eficazmente utilizando um sinal de 'downmix' mono descorrelacionado, derivado do sinal de 'downmix' mono. O dito sinal descorrelacionado é a segunda parte do sinal de diferença que é calculado no dispositivo de previsão 310.
[0067] Em uma realização adicional, o dito 'downmix' mono descorrelacionado 341 é obtido por meio de uma filtragem do sinal de 'downmix' mono 204. A dita filtragem é realizada na unidade 340. A filtragem gera um sinal com uma envoltória espectral e temporal similar ao do sinal de 'downmix' mono 204, mas com uma correlação substancialmente próxima de zero de tal modo que corresponda a uma variante sintética do componente residual derivado no codificador. Esse efeito é obtido através, por exemplo, de filtragem de passagem total, atrasos, filtro de reverberação reticulado, redes de atraso de retorno ou uma combinação dos mesmos.
[0068] Em uma realização adicional, um fator de escala 322 aplicado ao 'downmix' mono descorrelacionado 341 é ajustado para compensar uma perda de energia de previsão. O fator de escala 322 aplicado ao 'downmix' mono descorrelacionado 341 garante que a potência de sinal total do sinal esquerdo 206 e do sinal direito 207 na saída do aparelho de 'upmix' estéreo paramétrico 300 corresponda à potência de sinal da potência do sinal esquerdo e direito no lado do codificador, respectivamente. Desse modo, o fator de escala 322 indicado adiante como β é interpretado como um fator de compensação de perda de energia de previsão. O sinal de diferença d é então expresso como:
Figure img0023
[0069] sendo que Sd é o sinal de 'downmix' mono descorrelacionado.
[0070] Pode ser mostrado que o dito fator de escala 322 pode ser expresso como:
Figure img0024
[0071] em termos de potência de sinal corresponde ao sinal de diferença d e ao sinal de 'downmix' mono s.
[0072] Em uma realização adicional, o fator de escala 322 aplicado ao 'downmix' mono descorrelacionado 341 é fornecido como uma função dos parâmetros espaciais 205:
Figure img0025
[0073] O dito fator de escala 322 é derivado na unidade 320.
[0074] No caso, nenhuma normalização de 'downmix' foi aplicada no codificador, isto é, o sinal de 'downmix' foi calculado como s = %(l + r), o sinal esquerdo 206 e o sinal direito 207 são então expressos como:
Figure img0026
[0075] No caso em que a normalização de 'downmix' foi aplicada, isto é, o sinal de 'downmix' foi calculado como s = c(l + r), o sinal esquerdo 206 e o sinal direito 207 são expressos como:
Figure img0027
[0076] A Figura 5 mostra o aparelho de 'upmix' estéreo paramétrico 500 que tem um sinal residual de previsão para o sinal de diferença 331 como uma entrada adicional. O dispositivo aritmético 330 é arranjado para derivar o sinal esquerdo 206 e o sinal direito 207 com base no sinal de 'downmix' mono 204, no sinal de diferença 311 e no dito sinal residual de previsão 331. O dispositivo 310 prevê um sinal de diferença 311 com base no sinal de 'downmix' mono 204 representado em escala com um coeficiente de previsão 321. O dito coeficiente de previsão 321 é derivado na unidade 320 com base nos parâmetros espaciais 205.
[0077] O sinal esquerdo 206 e o sinal direito 207, respectivamente, são fornecidos como:
Figure img0028
[0078] sendo que dres é o sinal residual de previsão.
[0079] Alternativamente, no caso de a normalização de potência ser aplicada ao 'downmix', mas não ao sinal residual, o sinal esquerdo e o sinal direito podem ser derivados como:
Figure img0029
[0080] O sinal residual de previsão 331 opera como uma substituição do sinal de descorrelação sintético 341 por suas contrapartes do codificador original. Isso permite o restabelecimento do sinal estéreo original pelo aparelho de 'upmix' estéreo paramétrico 300. O sinal residual de previsão 331 pode substituir completamente o sinal de 'downmix' mono descorrelacionado 341 por uma dada série de tempo/frequência ou pode trabalhar de forma complementar. O último é benéfico no caso de o sinal residual de previsão só estar codificado esparsamente, por exemplo, só alguns dentre a maioria dos intervalos de frequência significativos são codificados. Neste caso, a energia ainda irá faltar em comparação com o sinal residual de previsão do codificador. Esta falta de energia é preenchida pelo sinal descorrelacionado 341. Um novo fator de escala descorrelacionado β' é então calculado como:
Figure img0030
[0081] sendo que <dres,cod,dres,cod> é a potência de sinal do sinal residual de previsão codificado e <s,s> é a potência do sinal de 'downmix' mono 204.
[0082] O aparelho de 'upmix' estéreo paramétrico 300 pode ser utilizado na arquitetura do estado da técnica do decodificador estéreo paramétrico sem nenhuma adaptação adicional. O aparelho de 'upmix' estéreo paramétrico 300 substitui então a unidade de 'upmix' 230, tal como descrito na Figura 2. Quando o sinal residual de previsão 331 é utilizado pelo 'upmix' estéreo paramétrico 400, um par de adaptações é necessário, as quais são descritas na Figura 6.
[0083] A Figura 6 mostra o decodificador estéreo paramétrico que compreende o aparelho de 'upmix' estéreo paramétrico 400 de acordo com a invenção. Um decodificador estéreo paramétrico compreende um dispositivo de demultiplexação 210 para dividir o fluxo de bits de entrada em um fluxo de bits mono 202, em um fluxo de bits residual de previsão 332 e em um fluxo de bits de parâmetro 203. O dispositivo de decodificação mono 220 decodifica o dito fluxo de bits mono 202 em um sinal de 'downmix' mono 204. O dispositivo de decodificação mono é configurado adicionalmente para decodificar o fluxo de bits residual de previsão 332 no sinal residual de previsão 331. Um dispositivo de decodificação de parâmetro 240 decodifica o fluxo de bits de parâmetro 203 nos parâmetros espaciais 205. O aparelho de 'upmix' estéreo paramétrico 400 gera um sinal esquerdo 206 e um sinal direito 207 a partir do sinal de 'downmix' mono 204 e o sinal residual de previsão 331 com base nos parâmetros espaciais 205. Embora a decodificação do sinal de 'downmix' mono 204 e do sinal residual de previsão seja realizada pelo dispositivo de decodificação 220, é possível que a dita decodificação seja realizada por um software e/ou hardware de decodificação separado para cada um dos sinais a ser decodificados.
[0084] A Figura 7 mostra o diagrama de um método para geração de um sinal esquerdo 206 e de um sinal direito 207 a partir do sinal de 'downmix' mono 204 com base em parâmetros espaciais de acordo com a invenção. Em uma primeira etapa 710, um sinal de diferença 311 que compreende a diferença entre o sinal esquerdo 206 e o sinal direito 207 é previsto com base no sinal de 'downmix' mono 204 representado em escala com um coeficiente de previsão 321, com o que o dito coeficiente de previsão é derivado dos parâmetros espaciais 205. Em uma segunda etapa 720, o sinal esquerdo 206 e o sinal direito 207 são derivados com base numa soma e numa diferença do sinal mono de 'downmix' 204 e no dito sinal de diferença 311.
[0085] Quando o sinal residual de previsão está disponível em uma segunda etapa 720, o sinal residual de previsão próximo do sinal de 'downmix' mono 204 e do sinal de diferença 311 é utilizado para derivar o sinal esquerdo 206 e o sinal direito 207.
[0086] Quando o 'upmix' estéreo paramétrico 300 é utilizado no decodificador estéreo paramétrico nenhuma modificação no codificador estéreo paramétrico é necessária. O codificador estéreo paramétrico, tal como conhecido na técnica anterior, pode ser utilizado.
[0087] No entanto, quando o 'upmix' estéreo paramétrico 400 é utilizado, o codificador estéreo paramétrico deve ser adaptado para prover o sinal residual de previsão no fluxo de bits.
[0088] A Figura 8 mostra um aparelho de 'downmix' estéreo paramétrico 800 de acordo com a invenção, e o dito aparelho de 'downmix' estéreo paramétrico gera um sinal de 'downmix' mono a partir do sinal esquerdo e do sinal direito com base em parâmetros espaciais. O dito aparelho de 'downmix' estéreo paramétrico 800 produz, próximo do sinal de 'downmix' mono 104, um sinal adicional 801, que é o sinal residual de previsão. O dito aparelho de 'downmix' estéreo paramétrico 800 compreende um dispositivo aritmético adicional 810 para derivar o sinal de 'downmix' mono 104 e um sinal de diferença 811 que compreende uma diferença entre o sinal esquerdo 101 e o sinal direito 102. O dito aparelho de 'downmix' estéreo paramétrico 800 compreende, adicionalmente, um dispositivo de previsão adicional 820 para derivar um sinal residual de previsão (para o sinal de diferença) 801 como uma diferença entre o sinal de diferença 811 e o sinal de 'downmix' mono 104 representado em escala com um coeficiente de previsão predeterminado 831 derivado dos parâmetros espaciais 103. O dito coeficiente de previsão predeterminado é determinado em uma unidade 830. O coeficiente de previsão predeterminado é escolhido para prover o sinal residual de previsão 801 que é ortogonal ao sinal de 'downmix' mono 104. Além disso, a normalização da potência do sinal de 'downmix' pode ser empregada (não mostrada na Figura 8).
[0089] Embora a numeração dos sinais que correspondem ao 'downmix' mono e ao residual de previsão apresente números de referência diferentes no aparelho de 'upmix' estéreo paramétrico e no aparelho de 'downmix' estéreo paramétrico, deve ficar claro que os sinais de 'downmix' mono 204 e 104 correspondem um ao outro e os sinais residuais de previsão 331 e 801 também correspondem um ao outro.
[0090] A Figura 9 mostra o codificador estéreo paramétrico que compreende o aparelho de 'downmix' estéreo paramétrico 800 de acordo com a invenção. O dito codificador estéreo paramétrico compreende: - um dispositivo de estimativa 130 para derivação dos parâmetros espaciais 103 do sinal esquerdo 101 e do sinal direito 102, - um aparelho de 'downmix' estéreo paramétrico 110 de acordo com a invenção para geração de um sinal de 'downmix' mono 104 a partir do sinal esquerdo 101 e do sinal direito 102 com base nos parâmetros espaciais 103, - um dispositivo de codificação mono 120 para codificação do dito sinal de 'downmix' mono 104 em um fluxo de bits mono 105, e o ditos dispositivo de codificação mono 120 é arranjado adicionalmente para codificar o sinal residual de previsão 801 em um fluxo de bits residual de previsão 802, - um dispositivo de codificação de parâmetro 140 para codificar os parâmetros espaciais 103 em um fluxo de bits do parâmetro 106, e - um dispositivo de multiplexação 150 para fundir o fluxo de bits mono 105, o fluxo de bits do parâmetro 106 e o fluxo de bits residual de previsão 802 em um fluxo de bits de saída 107.
[0091] Embora a codificação do sinal de 'downmix' mono 104 e do sinal residual de previsão 801 seja realizada pelo dispositivo de codificação 120, é possível que a dita codificação seja realizada por um software e/ou hardware de decodificação separado para cada um dos sinais a serem codificados.
[0092] Além disso, embora listados individualmente, uma pluralidade de dispositivos, elementos ou etapas do método podem ser implementados, por exemplo, por uma única unidade ou processador. Adicionalmente, embora as características individuais possam ser incluídas em reivindicações diferentes, elas podem, possivelmente, ser combinadas de modo vantajoso, e a inclusão em reivindicações diferentes não implica que uma combinação de características não seja praticável e/ou vantajosa. Igualmente, a inclusão de uma característica em uma categoria de reivindicações não implica uma limitação a esta categoria, mas, em vez disso, indica que a característica é igualmente aplicável a outras categorias da reivindicação, tal como apropriado. Além disso, a ordem das características nas reivindicações não implica nenhuma ordem específica em que as características devem ser trabalhadas e, em particular, a ordem de etapas individuais em uma reivindicação do método não implica que as etapas devem ser executadas nessa ordem. Em vez disso, as etapas podem ser realizadas em qualquer ordem apropriada. Além disso, as referências singulares não excluem uma pluralidade. Desse modo, as referências a "um", "uma", "primeiro", "segundo" etc. não impossibilitam uma pluralidade. Os sinais de referência nas reivindicações só são apresentados como um exemplo esclarecedor e não são construídos para limitar o âmbito das reivindicações de nenhuma maneira.

Claims (11)

1. MÉTODO PARA A GERAÇÃO DE UM SINAL ESQUERDO E DE UM SINAL DIREITO A PARTIR DE UM SINAL DE ‘DOWNMIX’ MONO COM BASE EM PARÂMETROS ESPACIAIS, em que o método é caracterizado por compreender a ação de: previsão de um sinal de diferença compreendendo uma diferença entre o sinal esquerdo e o sinal direito com base no sinal de ‘downmix’ mono representado em escala com um coeficiente de previsão, em que o dito coeficiente de previsão é derivado a partir dos parâmetros espaciais; e derivação do sinal esquerdo e do sinal direito com base em uma soma e em uma diferença do sinal de ‘downmix’ mono e do dito sinal de diferença, em que o coeficiente de previsão é dado como uma função dos parâmetros espaciais:
Figure img0031
em que iid, ipd e icc são os parâmetros espaciais, iid é uma diferença de intensidade intercanal, ipd é uma diferença de fase intercanal, e icc é uma coerência intercanal.
2. MÉTODO, de acordo com a reivindicação 1, caracterizado pelo coeficiente de previsão ter base em uma correspondência de forma de onda do sinal de ‘downmix’ mono com o sinal de diferença.
3. MÉTODO, de acordo com a reivindicação 1, caracterizado pela ação de derivação ter base em um sinal residual de previsão para o sinal de diferença.
4. MÉTODO, de acordo com a reivindicação 1, caracterizado por ainda compreender a ação de intensificação do sinal de diferença ao adicionar um sinal de ‘downmix’ mono descorrelacionado representado em escala, formado ao representar em escala um sinal de ‘downmix’ mono descorrelacionado por um fator de escala.
5. MÉTODO, de acordo com a reivindicação 4, caracterizado por ainda compreender a ação de obtenção do ‘downmix’ mono descorrelacionado ao filtrar o sinal de ‘downmix’ mono.
6. MÉTODO, de acordo com a reivindicação 4, caracterizado por ainda compreender a ação de ajuste do fator de escala aplicado ao ‘downmix’ mono descorrelacionado para compensar uma perda de energia de previsão.
7. MÉTODO PARA A GERAÇÃO DE UM SINAL ESQUERDO E DE UM SINAL DIREITO DE UM SINAL DE ‘DOWNMIX’ MONO COM BASE EM PARÂMETROS ESPACIAIS, em que o método é caracterizado por compreender a ação de: previsão de um sinal de diferença compreendendo uma diferença entre o sinal esquerdo e o sinal direito com base no sinal de ‘downmix’ mono representado em escala com um coeficiente de previsão, em que o dito coeficiente de previsão é derivado dos parâmetros espaciais; e derivação do sinal esquerdo e do sinal direito com base em uma soma e uma diferença do sinal de ‘downmix’ mono e o dito sinal de diferença, em que o fator de escala aplicado ao ‘downmix’ mono descorrelacionado é dado como uma função dos parâmetros espaciais:
Figure img0032
em que α é o coeficiente de previsão, iid é uma diferença de intensidade intercanal, ipd é uma diferença de fase intercanal, e icc é uma coerência intercanal.
8. MEIO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO, caracterizado por compreender instruções de computador que, quando executadas por um processador, configuram o processador a realizar um método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de ‘downmix’ mono com base em parâmetros espaciais, o método compreendendo as ações de: previsão de um sinal de diferença compreendendo uma diferença entre o sinal esquerdo e o sinal direito com base no sinal de ‘downmix’ mono representado em escala com um coeficiente de previsão, em que o dito coeficiente de previsão é derivado a partir dos parâmetros espaciais; e derivação do sinal esquerdo e do sinal direito com base em uma soma e em uma diferença do sinal de ‘downmix’ mono e o dito sinal de diferença, em que o coeficiente de previsão é dado como uma função dos parâmetros espaciais:
Figure img0033
em que iid, ipd, e icc são os parâmetros espaciais, iid é uma diferença de intensidade intercanal, ipd é uma diferença de fase intercanal e icc é uma coerência intercanal.
9. MEIO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO, caracterizado por compreender instruções de computador que, quando executadas por um processador, configuram o processador a realizar um método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de ‘downmix’ mono com base nos parâmetros espaciais, o método compreendendo as ações de: previsão de um sinal de diferença compreendendo uma diferença entre o sinal esquerdo e o sinal direito com base no sinal de ‘downmix’ mono representado em escala com um coeficiente de previsão, em que o dito coeficiente de previsão é derivado a partir dos parâmetros espaciais; e derivação do sinal esquerdo e do sinal direito com base em uma soma e em uma diferença do sinal de ‘downmix’ mono e o dito sinal de diferença, em que o método compreende ainda as ações de intensificação do sinal de diferença ao adicionar um sinal de ‘downmix’ mono descorrelacionado representado em escala formado pela representação em escala de um sinal de ‘downmix’ mono descorrelacionado por um fator de escala, em que o fator de escala aplicado ao ‘downmix’ mono descorrelacionado é dado como uma função dos parâmetros espaciais:
Figure img0034
em que α é o coeficiente de previsão, iid é uma diferença de intensidade intercanal, ipd é uma diferença de fase intercanal, e icc é uma coerência intercanal.
10. APARELHO DE ‘DOWNMIX’ ESTÉREO PARAMÉTRICO PARA A GERAÇÃO DE UM SINAL DE ‘DOWNMIX’ MONO A PARTIR DE UM SINAL ESQUERDO E DE UM SINAL DIREITO COM BASE EM PARÂMETROS ESPACIAIS, em que o dito aparelho de ‘downmix’ estéreo paramétrico tem um sinal residual de previsão para um sinal de diferença como uma saída adicional, em que o dito aparelho de ‘downmix’ estéreo paramétrico é caracterizado por compreender: um circuito configurado para receber o sinal esquerdo e o sinal direito e derivar o sinal de ‘downmix’ mono e um sinal de diferença a partir do sinal esquerdo e o sinal direito, o sinal de diferença compreendendo uma diferença entre o sinal esquerdo e o sinal direito; e um dispositivo de previsão configurado para derivar um sinal residual de previsão para o sinal de diferença como uma diferença entre o sinal de diferença e o sinal de ‘downmix’ mono representado em escala com um coeficiente de previsão predeterminado a partir dos parâmetros espaciais, em que o coeficiente de previsão é dado como uma função dos parâmetros espaciais:
Figure img0035
em que iid, ipd, e icc são os parâmetros espaciais, iid é uma diferença de intensidade intercanal, ipd é uma diferença de fase intercanal e icc é uma coerência intercanal.
11. MÉTODO PARA A GERAÇÃO DE UM SINAL RESIDUAL DE PREVISÃO PARA UM SINAL DE DIFERENÇA A PARTIR DE UM SINAL ESQUERDO E DE UM SINAL DIREITO COM BASE EM PARÂMETROS ESPACIAIS, em que o método é caracterizado por compreender as ações de: derivação do sinal de diferença entre o sinal esquerdo e o sinal direito; e derivação de um sinal residual de previsão para um sinal de diferença como uma diferença entre o sinal de diferença e o sinal de ‘downmix’ mono representado em escala com um coeficiente de previsão derivado a partir dos parâmetros espaciais, em que o coeficiente de previsão é dado como uma função dos parâmetros espaciais:
Figure img0036
em que iid, ipd e icc são os parâmetros espaciais e iid é uma diferença de intensidade intercanal, ipd é uma diferença de fase intercanal e icc é uma coerência intercanal.
BR122020009732-9A 2008-05-23 2009-05-14 Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais BR122020009732B1 (pt)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP08156801.6 2008-05-23
EP08156801 2008-05-23
BRPI0908630-7A BRPI0908630B1 (pt) 2008-05-23 2009-05-14 Aparelho de 'upmix' estéreo paramétrico, decodificador estéreo paramétrico, método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, dispositivo de execução de áudio, aparelho de 'downmix' estéreo paramétrico, codificador estéreo paramétrico, método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base nos parâmetros espaciais, e, produto de programa de computador
PCT/IB2009/052009 WO2009141775A1 (en) 2008-05-23 2009-05-14 A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder

Publications (1)

Publication Number Publication Date
BR122020009732B1 true BR122020009732B1 (pt) 2021-01-19

Family

ID=40943873

Family Applications (3)

Application Number Title Priority Date Filing Date
BR122020009727-2A BR122020009727B1 (pt) 2008-05-23 2009-05-14 Método
BRPI0908630-7A BRPI0908630B1 (pt) 2008-05-23 2009-05-14 Aparelho de 'upmix' estéreo paramétrico, decodificador estéreo paramétrico, método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, dispositivo de execução de áudio, aparelho de 'downmix' estéreo paramétrico, codificador estéreo paramétrico, método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base nos parâmetros espaciais, e, produto de programa de computador
BR122020009732-9A BR122020009732B1 (pt) 2008-05-23 2009-05-14 Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais

Family Applications Before (2)

Application Number Title Priority Date Filing Date
BR122020009727-2A BR122020009727B1 (pt) 2008-05-23 2009-05-14 Método
BRPI0908630-7A BRPI0908630B1 (pt) 2008-05-23 2009-05-14 Aparelho de 'upmix' estéreo paramétrico, decodificador estéreo paramétrico, método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de 'downmix' mono com base em parâmetros espaciais, dispositivo de execução de áudio, aparelho de 'downmix' estéreo paramétrico, codificador estéreo paramétrico, método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base nos parâmetros espaciais, e, produto de programa de computador

Country Status (10)

Country Link
US (6) US8811621B2 (pt)
EP (1) EP2283483B1 (pt)
JP (1) JP5122681B2 (pt)
KR (1) KR101629862B1 (pt)
CN (1) CN102037507B (pt)
BR (3) BR122020009727B1 (pt)
MX (1) MX2010012580A (pt)
RU (1) RU2497204C2 (pt)
TW (1) TWI484477B (pt)
WO (1) WO2009141775A1 (pt)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643453B2 (ja) 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
WO2009141775A1 (en) * 2008-05-23 2009-11-26 Koninklijke Philips Electronics N.V. A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
CN101826326B (zh) * 2009-03-04 2012-04-04 华为技术有限公司 一种立体声编码方法、装置和编码器
KR20110018107A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
CN102667919B (zh) * 2009-09-29 2014-09-10 弗兰霍菲尔运输应用研究公司 音频信号解码器和编码器、提供上混和下混信号表示型态的方法
TWI444989B (zh) * 2010-01-22 2014-07-11 Dolby Lab Licensing Corp 針對改良多通道上混使用多通道解相關之技術
RU2586851C2 (ru) * 2010-02-24 2016-06-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство для формирования улучшенного сигнала микширования с понижением, способ формирования улучшенного сигнала микширования с понижением и компьютерная программа
EP2375410B1 (en) 2010-03-29 2017-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A spatial audio processor and a method for providing spatial parameters based on an acoustic input signal
EP2375409A1 (en) * 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
BR122019013299B1 (pt) * 2010-04-09 2021-01-05 Dolby International Ab aparelho e método para emitir um sinal de áudio esterofônico possuindo um canal esquerdo e um canal direito e meio legível por computador não transitório
AU2016222372B2 (en) * 2010-04-09 2018-06-28 Dolby International Ab Mdct-based complex prediction stereo coding
MY194835A (en) * 2010-04-13 2022-12-19 Fraunhofer Ges Forschung Audio or Video Encoder, Audio or Video Decoder and Related Methods for Processing Multi-Channel Audio of Video Signals Using a Variable Prediction Direction
CN102314882B (zh) * 2010-06-30 2012-10-17 华为技术有限公司 声音信号通道间延时估计的方法及装置
JP2012100241A (ja) 2010-10-05 2012-05-24 Panasonic Corp 画像編集装置、画像編集方法、及び、そのプログラム
FR2966634A1 (fr) * 2010-10-22 2012-04-27 France Telecom Codage/decodage parametrique stereo ameliore pour les canaux en opposition de phase
US8654984B2 (en) * 2011-04-26 2014-02-18 Skype Processing stereophonic audio signals
US9601122B2 (en) 2012-06-14 2017-03-21 Dolby International Ab Smooth configuration switching for multichannel audio
WO2014020182A2 (en) 2012-08-03 2014-02-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for a generalized spatial-audio-object-coding parametric concept for multichannel downmix/upmix cases
SG10201709631PA (en) 2013-01-08 2018-01-30 Dolby Int Ab Model based prediction in a critically sampled filterbank
EP3017446B1 (en) 2013-07-05 2021-08-25 Dolby International AB Enhanced soundfield coding using parametric component generation
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830053A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
KR101461110B1 (ko) * 2013-09-06 2014-11-12 광주과학기술원 스테레오 확장장치 및 스테레오 확장방법
BR112016008817B1 (pt) 2013-10-21 2022-03-22 Dolby International Ab Método para reconstruir um sinal de áudio de n canais, sistema de decodificação de áudio, método para codificar um sinal de áudio de n canais e sistema de codificação de áudio
US9848272B2 (en) 2013-10-21 2017-12-19 Dolby International Ab Decorrelator structure for parametric reconstruction of audio signals
CN103700372B (zh) * 2013-12-30 2016-10-05 北京大学 一种基于正交解相关技术的参数立体声编码、解码方法
BR112017008015B1 (pt) * 2014-10-31 2023-11-14 Dolby International Ab Métodos e sistemas de decodificação e codificação de áudio
EP3284087B1 (en) 2016-01-22 2019-03-06 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatuses and methods for encoding or decoding an audio multi-channel signal using spectral-domain resampling
US9978381B2 (en) * 2016-02-12 2018-05-22 Qualcomm Incorporated Encoding of multiple audio signals
US10224042B2 (en) 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
ES2834083T3 (es) 2016-11-08 2021-06-16 Fraunhofer Ges Forschung Aparato y método para la mezcla descendente o mezcla ascendente de una señal multicanal usando compensación de fase
CA3045847C (en) * 2016-11-08 2021-06-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
US10652689B2 (en) * 2017-01-04 2020-05-12 That Corporation Configurable multi-band compressor architecture with advanced surround processing
US10877192B2 (en) 2017-04-18 2020-12-29 Saudi Arabian Oil Company Method of fabricating smart photonic structures for material monitoring
US10401155B2 (en) 2017-05-12 2019-09-03 Saudi Arabian Oil Company Apparatus and method for smart material analysis
CN110998721B (zh) 2017-07-28 2024-04-26 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
CN117198302A (zh) * 2017-08-10 2023-12-08 华为技术有限公司 时域立体声参数的编码方法和相关产品
CN109389987B (zh) * 2017-08-10 2022-05-10 华为技术有限公司 音频编解码模式确定方法和相关产品
CN109389984B (zh) * 2017-08-10 2021-09-14 华为技术有限公司 时域立体声编解码方法和相关产品
TWI812658B (zh) 2017-12-19 2023-08-21 瑞典商都比國際公司 用於統一語音及音訊之解碼及編碼去關聯濾波器之改良之方法、裝置及系統
WO2019121982A1 (en) 2017-12-19 2019-06-27 Dolby International Ab Methods and apparatus for unified speech and audio decoding qmf based harmonic transposer improvements
US11532316B2 (en) 2017-12-19 2022-12-20 Dolby International Ab Methods and apparatus systems for unified speech and audio decoding improvements
TWI714046B (zh) 2018-04-05 2020-12-21 弗勞恩霍夫爾協會 用於估計聲道間時間差的裝置、方法或計算機程式
EP3776546B1 (en) * 2018-04-05 2022-01-19 Telefonaktiebolaget Lm Ericsson (Publ) Support for generation of comfort noise, and generation of comfort noise
WO2020009082A1 (ja) 2018-07-03 2020-01-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び符号化方法
US10841689B2 (en) * 2018-10-02 2020-11-17 Harman International Industries, Incorporated Loudspeaker and tower configuration
PL3891736T3 (pl) 2018-12-07 2023-06-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie, sposób i program komputerowy do kodowania, dekodowania, przetwarzania sceny i innych procedur związanych z kodowaniem audio przestrzennego w oparciu o DirAC z wykorzystaniem generatorów składowych niskiego, średniego i wysokiego rzędu
KR20220025107A (ko) 2019-06-14 2022-03-03 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 매개변수 인코딩 및 디코딩
WO2021181472A1 (ja) * 2020-03-09 2021-09-16 日本電信電話株式会社 音信号符号化方法、音信号復号方法、音信号符号化装置、音信号復号装置、プログラム及び記録媒体
WO2021181746A1 (ja) * 2020-03-09 2021-09-16 日本電信電話株式会社 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体
EP4120250A4 (en) 2020-03-09 2024-03-27 Nippon Telegraph And Telephone Corporation SOUND SIGNAL REDUCING MIXING METHOD, SOUND SIGNAL CODING METHOD, SOUND SIGNAL REDUCING MIXING DEVICE, SOUND SIGNAL CODING DEVICE, PROGRAM AND RECORDING MEDIUM
US20230086460A1 (en) 2020-03-09 2023-03-23 Nippon Telegraph And Telephone Corporation Sound signal encoding method, sound signal decoding method, sound signal encoding apparatus, sound signal decoding apparatus, program, and recording medium

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5434948A (en) 1989-06-15 1995-07-18 British Telecommunications Public Limited Company Polyphonic coding
GB8913758D0 (en) 1989-06-15 1989-08-02 British Telecomm Polyphonic coding
US5488665A (en) * 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
WO2003085643A1 (en) * 2002-04-10 2003-10-16 Koninklijke Philips Electronics N.V. Coding of stereo signals
KR101021076B1 (ko) 2002-04-22 2011-03-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 신호 합성
SE527670C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US20080260048A1 (en) * 2004-02-16 2008-10-23 Koninklijke Philips Electronics, N.V. Transcoder and Method of Transcoding Therefore
BRPI0509100B1 (pt) * 2004-04-05 2018-11-06 Koninl Philips Electronics Nv Codificador de multicanal operável para processar sinais de entrada, método paracodificar sinais de entrada em um codificador de multicanal
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
WO2006048815A1 (en) 2004-11-04 2006-05-11 Koninklijke Philips Electronics N.V. Encoding and decoding a set of signals
KR101215868B1 (ko) * 2004-11-30 2012-12-31 에이저 시스템즈 엘엘시 오디오 채널들을 인코딩 및 디코딩하는 방법, 및 오디오 채널들을 인코딩 및 디코딩하는 장치
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
WO2007010451A1 (en) 2005-07-19 2007-01-25 Koninklijke Philips Electronics N.V. Generation of multi-channel audio signals
KR100923156B1 (ko) * 2006-05-02 2009-10-23 한국전자통신연구원 멀티채널 오디오 인코딩 및 디코딩 시스템 및 방법
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
CN103400583B (zh) * 2006-10-16 2016-01-20 杜比国际公司 多声道下混对象编码的增强编码和参数表示
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
ES2452348T3 (es) * 2007-04-26 2014-04-01 Dolby International Ab Aparato y procedimiento para sintetizar una señal de salida
EP2023600A1 (en) 2007-07-27 2009-02-11 Thomson Licensing Method of color mapping from non-convex source gamut into non-convex target gamut
WO2009141775A1 (en) * 2008-05-23 2009-11-26 Koninklijke Philips Electronics N.V. A parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder

Also Published As

Publication number Publication date
TW201011736A (en) 2010-03-16
CN102037507A (zh) 2011-04-27
KR20110020846A (ko) 2011-03-03
US20190058960A1 (en) 2019-02-21
KR101629862B1 (ko) 2016-06-24
US10136237B2 (en) 2018-11-20
EP2283483B1 (en) 2013-03-13
CN102037507B (zh) 2013-02-06
US11871205B2 (en) 2024-01-09
BR122020009727B1 (pt) 2021-04-06
US9591425B2 (en) 2017-03-07
JP2011522472A (ja) 2011-07-28
EP2283483A1 (en) 2011-02-16
BRPI0908630B1 (pt) 2020-09-15
US11019445B2 (en) 2021-05-25
US20170134875A1 (en) 2017-05-11
US20240121567A1 (en) 2024-04-11
US20140321652A1 (en) 2014-10-30
MX2010012580A (es) 2010-12-20
JP5122681B2 (ja) 2013-01-16
US8811621B2 (en) 2014-08-19
BRPI0908630A8 (pt) 2017-12-12
US20210274302A1 (en) 2021-09-02
WO2009141775A1 (en) 2009-11-26
TWI484477B (zh) 2015-05-11
US20110096932A1 (en) 2011-04-28
RU2497204C2 (ru) 2013-10-27
BRPI0908630A2 (pt) 2017-10-03
RU2010152580A (ru) 2012-06-27

Similar Documents

Publication Publication Date Title
BR122020009732B1 (pt) Método para a geração de um sinal esquerdo e de um sinal direito a partir de um sinal de downmix mono com base em parâmetros espaciais, meio legível por computador não transitório, aparelho de downmix estéreo paramétrico para a geração de um sinal de downmix mono a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais e método para a geração de um sinal residual de previsão para um sinal de diferença a partir de um sinal esquerdo e de um sinal direito com base em parâmetros espaciais
JP6412292B2 (ja) スペクトルドメイン・リサンプリングを用いて多チャネル信号を符号化又は復号化する装置及び方法
EP2002426B1 (en) Audio signal loudness measurement and modification in the mdct domain
BR112013018362B1 (pt) codificação e decodificação de posições de intervalo de eventos em um quadro de sinal de áudio
BRPI0621499B1 (pt) Método melhorado para formatação de sinal em reconstrução de áudio de canais múltiplos
BR112017018441B1 (pt) Codificador de áudio para codificação de um sinal multicanal e decodificador de áudio para decodificação de um sinal de áudio codificado
BRPI1007050B1 (pt) Sistema para gerar um componente de frequência alta de um sinal de áudio e método para realizar reconstrução de frequência alta de um componente de frequênciaalta
CA2887228C (en) Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
PT2941771T (pt) Descodificador, codificador e método de estimativa informada da percepção sonora empregando sinais de objetos de áudio de bypass em sistemas de codificação de áudio baseada em objetos
BRPI0511362B1 (pt) sintetizador multicanais e método para a geração de um sinal de saída multicanais
BR112012025863B1 (pt) sistema decodificador e método de decodificação para codificação estéreo por predição complexa baseada em mdct
BR112012026324B1 (pt) Codificador de aúdio ou vídeo, decodificador de aúdio ou vídeo e métodos relacionados para o processamento do sinal de aúdio ou vídeo de múltiplos canais usando uma direção de previsão variável
ES2387869T3 (es) Reconstrucción de datos de audio multicanal
BR122019023947B1 (pt) Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
PT2883227T (pt) Aparelho e método para codificar e descodificar um sinal de áudio codificado utilizando modelação de correção/ruído temporal
BRPI1005299B1 (pt) aparelho e método para realizar o upmmix em um sinal de áudio downmix
BR112012011084B1 (pt) decodificador para gerar um sinal de áudio multicanal, codificador para gerar uma representação codificada de um sinal de áudio multicanal, método de gerar um sinal de áudio multicanal e método de gerar uma representação codificada de um sinal de áudio multicanal
BRPI0913460B1 (pt) Aparelho e método para prover um conjunto de indicadores espaciais na base de um sinal de microfone e aparelho para prover um sinal de áudio de dois canais e um conjunto de indicadores espaciais
BR112013004362B1 (pt) aparelho para a geração de um sinal descorrelacionado utilizando informação de fase transmitida
BR112014021054B1 (pt) Controle de coerência de fase para sinais harmônicos nos codecs de áudio perceptuais
BR112015002228A2 (pt) Decodificador e método para um conceito paramétrico de codificação de objeto de áudio espacial generalizada para caixas de downmix/upmix multicanal

Legal Events

Date Code Title Description
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 19/01/2021, OBSERVADAS AS CONDICOES LEGAIS.