BR112015017866B1 - Aparelho e método para gerar um sinal melhorado da frequência utilizando a formação do sinal de melhoria - Google Patents

Aparelho e método para gerar um sinal melhorado da frequência utilizando a formação do sinal de melhoria Download PDF

Info

Publication number
BR112015017866B1
BR112015017866B1 BR112015017866-9A BR112015017866A BR112015017866B1 BR 112015017866 B1 BR112015017866 B1 BR 112015017866B1 BR 112015017866 A BR112015017866 A BR 112015017866A BR 112015017866 B1 BR112015017866 B1 BR 112015017866B1
Authority
BR
Brazil
Prior art keywords
signal
frequency
enhancement
energy
central
Prior art date
Application number
BR112015017866-9A
Other languages
English (en)
Other versions
BR112015017866A2 (pt
Inventor
Disch Sascha
Geiger Ralf
Helmrich Christian
Multrus Markus
Schmidt Konstantin
Original Assignee
Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V filed Critical Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V
Publication of BR112015017866A2 publication Critical patent/BR112015017866A2/pt
Publication of BR112015017866B1 publication Critical patent/BR112015017866B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0012Smoothing of parameters of the decoder interpolation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001Codebooks
    • G10L2019/0016Codebook for LPC parameters
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388Details of processing therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)
  • Superheterodyne Receivers (AREA)
  • Testing Relating To Insulation (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Circuit Arrangements For Discharge Lamps (AREA)
  • Stereophonic System (AREA)
  • Dc-Dc Converters (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Plasma Technology (AREA)
  • Electrotherapy Devices (AREA)
  • Error Detection And Correction (AREA)

Abstract

aparelho e método para gerar um sinal melhorado da frequência utilizando a formação do sinal de melhoria. um aparelho para gerar um sinal de melhoria da frequência (140) compreende: uma calculadora (500) para calcular um valor que descreve uma distribuição de energia com relação à frequência em um sinal central (110, 120); e um gerador de sinal (200) para gerar um sinal de melhoria (130) compreendendo uma faixa de frequência de melhoria não incluída no sinal central, a partir do sinal central (502), em que o gerador de sinal (200) é configurado para formar o sinal de melhoria ou o sinal central de modo que um envelope espectral do sinal de melhoria ou do sinal central depende do valor (501) que descreve a distribuição de energia com relação à frequência no sinal central. figura 5

Description

RELATÓRIO DESCRITIVO
[0001] A presente invenção é baseada na codificação de áudio e, em particular, nos procedimentos de melhoria da frequência como extensão da largura de banda, replicação da banda espectral ou preenchimento de espaço inteligente.
[0002] A presente invenção é particularmente relacionada a procedimentos de melhoria da frequência não guiados, ou seja, onde o lado do decodificador opera sem informação adicional ou apenas com uma quantidade minima de informação adicional.
[0003] Codecs de áudio perceptuais geralmente quantizam e codificam apenas uma parte passa-baixa de toda a faixa de frequência perceptível de um sinal de áudio, especialmente quando operado em taxas de bit (relativamente) baixas. Embora esta abordagem garanta uma qualidade aceitável para o sinal codificado de baixa frequência, a maioria dos ouvintes percebem a ausência da parte passa-alta como uma degradação de qualidade. Para superar esta questão, a parte de frequência mais alta ausente pode ser sintetizar sintetizada pelos esquemas da extensão da largura de banda.
[0004] Codecs do estado da técnica geralmente utilizam tanto um codificador que conserva a forma da onda, como AAC, quanto um codificador paramétrico, como um codificador de fala, para codificar o sinal de baixa frequência. Estes codificadores operam em uma certa frequência de parada. Esta frequência é chamada frequência cruzada. A parte da frequência abaixo da frequência cruzada é chamada banda baixa. 0 sinal acima da frequência cruzada, que é sintetizado por meios de um esquema da extensão da largura de banda, é chamado banda alta.
[0005] Uma extensão da largura de banda tipicamente sintetiza a largura de banda ausente (banda alta) por meios do sinal transmitido (banda baixa) e informação adicional extra. Se aplicado no campo de codificação de áudio de baixa taxa de bit, a informação extra deveria consumir o menos de taxa de bit extra possivel. Assim, geralmente, uma representação paramétrica é escolhida para a informação extra. Esta representação paramétrica é tanto transmitida do codificador na taxa de bit comparavelmente baixa (extensão da largura de banda guiada) ou estimada no decodificador com base nas características especificas do sinal (extensão da largura de banda não guiada)* No último caso, os parâmetros não consomem nenhuma taxa de bit.
[0006] A sintese da banda alta consiste tipicamente em duas partes: 1. Geração do conteúdo de alta frequência. Isso pode ser feito tanto copiando quanto virando (partes) do conteúdo de baixa frequência à banda alta, ou inserir ruido branco ou formado ou outras partes do sinal artificial na banda alta. 2. Ajuste do conteúdo gerado de alta frequência de acordo com a informação paramétrica. Isso inclui manipulação de forma, tonalidade/ruidos e energia de acordo com a representação paramétrica.
[0007] O objetivo do processo de sintese é geralmente atingir um sinal que é perceptualmente próximo ao sinal original. Se este objetivo não pode ser correspondido, a parte sintetizada deveria ser menos perturbadora para o ouvinte.
[0008] Outro que não seja o esquema BWE guiado, uma extensão da largura de banda não guiada não pode depender da informação extra para a sintese da banda alta. Ao invés disso, ela tipicamente utiliza regras empiricas para explorar a correlação entre a banda baixa e a banda alta. Enquanto que a maioria das peças musicais e segmentos de fala com voz exibem uma alta correlação entre a faixa de frequência alta e baixa, este geralmente não é o caso para os segmentos de fala sem voz ou fricatives. Sons fricatives têm muito pouca energia na faixa de frequência mais baixa enquanto tem energia alta acima de uma determinada frequência. Se esta frequência está próxima à frequência cruzada, então ela pode ser problemática para gerar o sinal artificial acima da frequência cruzada desde que neste caso a banda baixa não tenha pequenas partes relevantes do sinal. Para cooperar com este problema, uma boa detecção destes sons é útil.
[0009] HE-AAC é um codec bem conhecido que consiste em um codec que preserva a forma de onda para a banda baixa (AAC) e um codec paramétrico para a banda alta (SBR). No lado do decodificador, o sinal da banda alta é gerado pela transformação do sinal AAC decodificado no domínio de frequência utilizando um banco de filtro de QMF. Subsequentemente, as sub-bandas do sinal de banda baixa são copiadas na banda alta (geração do conteúdo de alta frequência). Este sinal de banda alta é então ajustado no envelope espectral, tonalidade e patamar de ruído com base na informação adicional paramétrica transmitida (ajuste do conteúdo gerado de alta frequência). Visto que este método utiliza uma abordagem BWE guiada, uma fraca correlação entre a banda alte a e banda baixa não é, no geral, problemática e pode ser superada transmitindo os ajustes apropriados do parâmetro. Entretanto, isso exige taxa de bit adicional, que não pode ser aceitável para um dado cenário da aplicação.
[0010] 0 Padrão ITU G.722.2 é um codec de fala que opera no domínio de tempo apenas, ou seja, sem realizar qualquer cálculo no domínio de frequência. Tal decodificador emite um sinal de domínio de tempo sinal com uma taxa de amostragem de 12,8 kHz, que é subsequentemente amostrada até 16 kHz. A geração do conteúdo de alta frequência (6.4 - 7.0 kHz) é com base na inserção do ruído de passa-banda. Na maioria dos modos operacionais a formação espectral do ruído é feita sem utilizar qualquer informação adicional, apenas no modo operacional com informação da taxa de bit mais alta sobre a energia do ruído que é transmitida no fluxo contínuo de dados. Por razões de simplicidade, e visto que nem todos os cenários de aplicação podem suportar a transmissão de ajustes de parâmetros extra, apenas a geração do sinal de banda alta sem utilizar qualquer informação adicional é descrita.
[0011] Para gerar o sinal de banda alta, um sinal de ruído é escalado para ter a mesma energia que o sinal de excitação central. A fim de fornecer mais energia às partes sem voz do sinal, uma inclinação espectral e é calculada:
Figure img0001
[0012] onde s é o sinal central decodificado filtrado por passa-alta com frequência de corte de 400 Hz. n é o índice de amostra. No caso de segmentos com voz onde menos energia está presente em frequências altas, e aproxima 1, enquanto para os segmentos sem voz e está próximo a zero. A fim de ter mais energia no sinal de banda alta, para a fala sem voz a energia do ruído é multiplicada por (1 — e). Finalmente, o sinal de ruído em escala é filtrado por um filtro que é derivado do filtro de Codificação Preditiva Linear central (LPC | Linear Predictive Coding) pela extrapolação no domínio de Frequência Espetral Linear (LSF | Line Spectral Frequency) .
[0013] A extensão da largura de banda não guiada de G.722.2, que opera completamente no domínio de tempo, tem as seguintes desvantagens: 1. O conteúdo HF gerado é com base no ruído. Isso cria perturbações sonoras se o sinal HF for combinado com um sinal de baixa frequência tonal harmônico (por exemplo, música). Para evitar estas perturbações, G.722.2 limita muito a energia do sinal HF gerado, que ainda limita os benefícios potenciais da extensão da largura de banda. Assim, infelizmente a possível melhoria máxima da luminosidade de um som ou o aumento máximo alcançável na inteligibilidade de um sinal de fala é limitado. 2. Visto que esta extensão da largura de banda não guiada opera no dominio de tempo, as operações de filtragem causam atraso algorítmico adicional. Este atraso adicional reduz a qualidade da experiência do usuário em cenários de comunicação bidirecionais ou não podem ser permitidos pelos termos de exigência de um dado padrão de tecnologia de comunicação. 3. Ainda, visto que o processamento do sinal é realizado no dominio de tempo, as operações de filtro estão propensas a instabilidades. Além disso, os filtros de dominio de tempo têm uma complexidade computacional alta. 4. Visto que apenas a soma total da energia do sinal de banda alta é adaptada à energia do sinal central (e ainda ponderada pela inclinação espectral), pode haver uma incompatibilidade local significante de energia na frequência cruzada entre a faixa de frequência superior do sinal central (o sinal logo abaixo da frequência cruzada) e o sinal de banda alta. Por exemplo, este será o caso especialmente para os sinais tonais que exibem uma concentração de energia na faixa de frequência muito baixa, mas contém pouca energia na faixa de frequência superior. 5. Ainda, é computacionalmente complexo estimar um declive espectral de uma representação de dominio de tempo. No dominio de frequência, uma extrapolação de um declive espectral pode ser feita muito eficientemente. Visto que a maioria da energia de, por exemplo, fricativos é concentrada na faixa de alta frequência, estes podem soar de forma opaca se uma energia preservadora e estratégia de estimativa do declive espectral como em G.722.2 for aplicada (veja 1.).
[0014] Para resumir, os esquemas da extensão da largura de banda cega ou não guiada da técnica anterior podem exigir uma complexidade computacional significante no lado do decodificador e independentemente resultar em uma qualidade de áudio limitada especificamente para os sons de fala problemáticos como fricatives. Ainda, esquemas da extensão da largura de banda guiada, embora forneçam uma qualidade de áudio melhor e, às vezes, exijam menos complexidade computacional no lado do decodificador não podem fornecer reduções substanciais da taxa de bit devido ao fato que as informações paramétricas adicionais na banda alta podem exigir uma quantidade significante de taxa de bit adicional com relação ao sinal de áudio central codificado.
[0015] É, então, um objeto da presente invenção fornecer um conceito melhorado para o processamento de áudio no contexto de tecnologias de melhoria da frequência não guiada.
[0016] Este objeto é alcançado por um aparelho para gerar um sinal melhorado da frequência, de acordo com a reivindicação 1, um método para gerar um sinal melhorado da frequência, de acordo com a reivindicação 14, um sistema compreendendo um codificador e um aparelho para gerar um sinal melhorado da frequência, de acordo com a reivindicação 15, um método relacionado, de acordo com a reivindicação 16, ou um programa de computador, de acordo com a reivindicação 17.
[0017] A presente invenção fornece um esquema de melhoria de frequência como um esquema da extensão da largura de banda para codecs de áudio. Este esquema têm o objetivo de estender a largura de banda de frequência de um codec de áudio sem a necessidade de informação adicional extra ou com apenas uma quantidade mínima significantemente reduzida comparada a uma descrição paramétrica completa de bandas ausentes como nos esquemas da extensão da largura de banda guiada.
[0018] Um aparelho para gerar um sinal melhorado da frequência compreende uma calculadora para calcular um valor que descreve uma distribuição de energia com relação à frequência em um sinal central. Um gerador de sinal para gerar um sinal de melhoria compreendendo uma faixa de frequência de melhoria não incluída no sinal central opera utilizando o sinal central e então realiza uma formação do sinal de melhoria ou do sinal central de modo que o envelope espectral do sinal de melhoria depende do valor que descreve a distribuição de energia.
[0019] Assim, o envelope do sinal de melhoria, ou do sinal de melhoria é formado com base neste valor que descreve a distribuição de energia. Este valor pode ser facilmente calculado e este valor então define a forma do envelope total ou a forma total do sinal de melhoria. Assim, o decodificador pode operar com uma baixa complexidade e ao mesmo tempo uma boa qualidade de áudio é obtida. Especificamente, a distribuição de energia no sinal central quando utilizada para a formação espectral do sinal de melhoria da frequência resulta em uma boa qualidade de áudio embora o processamento para calcular o valor na distribuição de energia como um centroide espectral no sinal central e o ajuste do sinal de melhoria com base neste centroide espectral seja um procedimento que é direto e pode ser realizado com recursos computacionais inferiores.
[0020] Ainda, este procedimento permite que a energia absoluta e o declive (roll-off) do sinal de banda alta sejam derivados da energia absoluta e do declive (rolloff) do sinal central, respectivamente. É preferido realizar estas operações no dominio de frequência de modo que elas possam ser feitas na forma computacionalmente eficiente, visto que a formação de um envelope espectral é equivalente à simples multiplicação da representação de frequência com uma curva de ganho, e esta curva de ganho é derivada do valor que descreve a distribuição de energia com relação à frequência no sinal central.
[0021] Ainda, é computacionalmente complexo estimar precisamente e extrapolar uma dada forma espectral no dominio de tempo. Assim, estas operações são preferivelmente realizadas no dominio de frequência. Sons fricatives, por exemplo, têm tipicamente apenas uma baixa quantidade de energia em baixas frequências e uma alta quantidade de energia em altas frequências. 0 aumento na energia é dependente do som fricativo real e pode começar apenas logo abaixo da frequência cruzada. No dominio de tempo, é dificil detectar esta situação e computacionalmente complexar para obter uma extrapolação válida dela. Para sons não fricatives é garantido que a energia do espectro artificial gerado sempre cai com o aumento da frequência.
[0022] Em outro aspecto, um procedimento de nivelamento temporal é aplicado. Um gerador de sinal para gerar um sinal de melhoria a partir de um sinal central é fornecido. Um periodo de tempo do sinal de melhoria ou do sinal central compreende sinais de sub-banda para uma pluralidade de sub-bandas. Um controlador para calcular a mesma informação de nivelamento para a pluralidade de sinais de sub-banda da faixa de frequência de melhoria é fornecido e esta informação de nivelamento é então utilizada pelo gerador de sinal para nivelar a pluralidade de sinais de sub-banda da faixa de frequência de melhoria, particularmente utilizando a mesma informação de nivelamento ou, de modo alternativo, quando o nivelamento é realizado antes da geração de alta frequência, então a pluralidade de sinais de sub-banda do sinal central são niveladas utilizando a mesma informação de nivelamento. Este nivelamento temporal evita a continuação de rápidas flutuações de energia menores, que são herdadas da banda baixa, à banda alta, e assim leva a uma impressão perceptual mais agradável. As flutuações de energia de banda baixa são geralmente causadas pelos erros de quantização do codificador central subjacente que levam a instabilidades. O nivelamento é adaptável pelo sinal visto que seja dependente da fase estacionária (longa duração) do sinal. Ainda, o uso de um e da mesma informação de nivelamento para todas as subbandas individuais certifica que a coerência entre as subbandas não é mudada pelo nivelamento temporal. Ao invés disso, todas as sub-bandas são niveladas em uma mesma forma, e a informação de nivelamento é derivada de todas as sub-bandas ou apenas das sub-bandas na faixa de frequência de melhoria. Assim, uma qualidade de áudio significantemente melhor comparada a um nivelamento individual de cada sinal de sub-banda individualmente é obtida.
[0023] Outro aspecto está relacionado à realização de uma limitação de energia, preferivelmente no final de todo o procedimento para gerar o sinal de melhoria. Um gerador de sinal para gerar um sinal de melhoria a partir de um sinal central é fornecido, onde o sinal de melhoria compreende uma faixa de frequência de melhoria não incluida no sinal central, onde um periodo de tempo do sinal de melhoria compreende sinais de sub-banda para uma ou uma pluralidade de sub-bandas. Um banco de filtro de síntese para gerar o sinal de melhoria da frequência utilizando o sinal de melhoria é fornecido, onde o gerador de sinal é configurado para realizar uma limitação de energia a fim de certificar que o sinal de melhoria da frequência obtido pelo banco de filtro de síntese é de modo que uma energia de uma banda mais alta seja, no máximo, igual a uma energia em uma banda mais baixa ou maior do que, no máximo, por um limite predefinido. Isso pode ser aplicado para uma banda de única extensão. Então, a comparação ou limitação de energia é feita utilizando a energia da banda central mais alta. Isso pode ainda aplicar para uma pluralidade de bandas de extensão. Então, uma banda de extensão inferior é limitada pela energia utilizando a banda central mais alta, e uma banda de extensão mais alta é limitada pela energia com relação da segunda para a banda de extensão mais alta.
[0024] Este procedimento é particularmente útil para esquemas da extensão da largura de banda não guiada, mas pode ainda ajudar nos esquemas da extensão da largura de banda guiada, visto que os esquemas da extensão da largura de banda não guiada estão propensos a perturbações causadas pelos componentes espectrais que ressaltam artificialmente, especialmente em segmentos que têm uma inclinação espectral negativa. Estes componentes podem levar a rupturas de ruído de alta frequência. Para evitar esta situação, a limitação de energia é preferivelmente aplicada no final do processamento, que limita o aumento de energia sobre a frequência. Em uma implementação, a energia em uma sub-banda de QMF (Filtros em Espelho de Quadratura | Quadrature Mirror Filtering) k não deve exceder a energia em uma sub-banda QMF k-1. Este limite de energia pode ser realizado em uma base de tempo ou para salvar uma complexidade, apenas uma vez por estrutura. Assim, é certificado que qualquer situação artificial em esquemas da extensão da largura de banda é evitada, visto que é muito artificial que uma faixa de frequência mais alta tenha mais energia do que a faixa de frequência mais baixa ou que a energia de uma faixa de frequência mais alta seja mais alta por mais do que o limite predefinido, como um limite de 3dB, do que a energia na banda inferior. Tipicamente, todos os sinais de música/fala têm uma característica passa-baixa, ou seja, têm um conteúdo de energia que reduz mais ou menos uniformemente sobre a frequência. Isso pode ser aplicado em uma banda de única extensão. Então, a comparação ou limitação de energia é feita utilizando a energia da banda central mais alta. Isso ainda pode ser aplicado para uma pluralidade de bandas de extensão. Então uma banda de extensão mais baixa é limitada pela energia utilizando a banda central mais alta, e uma banda de extensão mais alta é limitada pela energia com relação da segunda para a banda de extensão mais alta.
[0025] Embora as tecnologias de formação do sinal de melhoria da frequência, nivelamento temporal dos sinais de sub-banda da melhoria da frequência e limitação de energia possam ser realizadas individualmente e separadamente entre si, estes procedimentos podem ainda ser realizados juntos dentro preferivelmente de um esquema de melhoria de frequência não guiado.
[0026] Ainda, a referência é feita às reivindicações dependentes que se referem às aplicações especificas.
[0027] As aplicações preferidas da presente invenção são subsequentemente descritas com relação aos desenhos anexos, em que:
[0028] Figura 1 ilustra uma aplicação compreendendo as tecnologias de formação de um sinal de melhoria da frequência, do nivelamento do sinal de sub-banda e da limitação de energia;
[0029] Figuras 2a-2c ilustram diferentes implementações do gerador de sinal da figura 1;
[0030] Figura 3 ilustra periodos de tempo individuais, onde uma estrutura tem um longo periodo de tempo e um compartimento tem um curto período de tempo e cada estrutura compreende uma pluralidade de compartimentos;
[0031] Figura 4 ilustra um gráfico espectral indicando a posição espectral de um sinal central e um sinal de melhoria em uma implementação de uma aplicação da extensão da largura de banda;
[0032] Figura 5 ilustra um aparelho para gerar o sinal melhorado da frequência utilizando uma formação espectral com base no valor que descreve uma distribuição de energia do sinal central;
[0033] Figura 6 ilustra uma implementação da tecnologia de formação;
[0034] Figura 7 ilustra diferentes roll-offs determinados por um determinado centroide espectral;
[0035] Figura 8 ilustra um aparelho para gerar o sinal melhorado da frequência compreendendo a mesma informação de nivelamento para nivelar os sinais de sub-banda do sinal central ou do sinal de melhoria da frequência;
[0036] Figura 9 ilustra um procedimento preferido aplicado pelo controlador e pelo gerador de sinal da figura 8;
[0037] Figura 10 ilustra outro procedimento aplicado pelo controlador e pelo gerador de sinal da figura 8;
[0038] Figura 11 ilustra um aparelho para gerar um sinal melhorado da frequência, que realiza um procedimento de limitação de energia no sinal de melhoria de modo que uma banda mais alta do sinal de melhoria possa, no máximo, ter a mesma energia da banda mais baixa adjacente ou seja, no máximo, mais alta na energia por um limite predefinido;
[0039] Figura 12a ilustra o espectro do sinal de melhoria antes da limitação;
[0040] Figura 12b ilustra o espectro da figura 12a subsequente à limitação;
[0041] Figura 13 ilustra um processo realizado pelo gerador de sinal em uma implementação;
[0042] Figura 14 ilustra a aplicação simultânea das tecnologias de formação, nivelamento e limitação de energia dentro de um dominio de banco de filtro; e
[0043] Figura 15 ilustra um sistema compreendendo um codificador e um decodificador de melhoria da frequência não guiada.
[0044] A figura 1 ilustra um aparelho para gerar um sinal melhorado da frequência 140 em uma implementação preferida, na qual as tecnologias de formação, nivelamento temporal e limitação de energia são realizados todas juntas. Entretanto, estas tecnologias podem ainda ser aplicadas individualmente conforme discutido no contexto das figuras de 5 a 7 para a tecnologia de formação, figuras de 8 a 10 para a tecnologia de nivelamento e figuras de 11 a 13 para a tecnologia de limitação de energia.
[0045] Preferivelmente, o aparelho para gerar o sinal melhorado da frequência 140 da figura 1 compreende um banco de filtro de análise ou um decodificador central 100 ou qualquer outro dispositivo para fornecer o sinal central no dominio de banco de filtro como em um dominio de QMF, quando o decodificador central emite sinais de sub-banda de QMF. De modo alternativo, o banco de filtro de análise 100 pode ser um banco de filtro de QMF ou outro banco de filtro de análise, quando o sinal central é um sinal do dominio de tempo ou é fornecido em qualquer outro dominio do que um dominio espectral ou de sub-banda.
[0046] Os sinais de sub-banda do sinal central 110 individuais que estão disponíveis em 120 são então inseridos em um qerador de sinal 200 e a saida do gerador de sinal 200 é um sinal de melhoria 130. Este sinal de melhoria 130 compreende uma faixa de frequência de melhoria que não é incluida no sinal central 110 e o gerador de sinal gera este sinal de melhoria não, por exemplo, pela formação ruido (apenas) ou assim, mas utilizando o sinal central 110 ou preferivelmente as sub-bandas do sinal central 120. O banco de filtro de sintese então combina as sub-bandas do sinal central 120 e o sinal de melhoria da frequência 130, e o banco de filtro de sintese 300 então emite o sinal melhorado da frequência.
[0047] Basicamente, o gerador de sinal 200 compreende um bloco de geração de sinal 202 que é indicado como "Geração de HF" onde HF significa alta frequência. Entretanto, a melhoria de frequência na figura 1 não limitada à tecnologia que uma alta frequência é gerada. Ao invés disso, ainda uma baixa frequência ou uma frequência intermediária ser gerada e pode haver ainda uma regeneração de um furo espectral no sinal central, ou seja, quando o sinal central tem uma banda mais alta e uma banda mais baixa e quando há uma banda intermediária ausente, como é, por exemplo, conhecido do preenchimento de espaço inteligente (IGF I Intelligent Gap Filling), A geração do sinal 202 pode compreender procedimentos de cópia como conhecido de HE-AAC ou dos procedimentos de reflexão, ou seja, onde, a fim de gerar a faixa de alta frequência ou faixa de melhoria da frequência, o sinal central é refletido ao invés de copiado.
[0048] Ainda, o gerador de sinal compreende uma funcionalidade de formação 204, que é controlada pelo cálculo para calcular um valor indicando a distribuição de energia com relação à frequência no sinal central 120. Esta formação pode ser uma formação do sinal gerada pelo bloco 202 ou, de modo alternativo, a formação da baixa frequência, quando a ordem entre funcionalidade 202 e 204 é reversa conforme discutido no contexto da figura 2a a figura 2c.
[0049] Outra funcionalidade é a funcionalidade de nivelamento temporal 206, que é controlada por um controlador de nivelamento 800. Uma limitação de energia 208 é preferivelmente realizada no final do procedimento, mas a limitação de energia pode ainda ser colocada em qualquer posição na cadeia de funcionalidades de processamento de 202 a 208 desde que seja certificado que o sinal combinado emitido pelo banco de filtro de sintese 300 realiza o critério de limitação de energia como o de uma faixa de frequência mais alta não deve ter mais energia do que a faixa de frequência mais baixa adjacente ou da faixa de frequência mais alta não deve ter mais energia comparado com a faixa de frequência mais baixa adjacente, onde o aumento é limitado, no máximo, a um limite predefinido como 3dB.
[0050] A figura 2a ilustra uma ordem diferente, na qual a formação 204 é realizada junto com o nivelamento temporal 206 e a limitação de energia 208 antes de realizar a geração de HF 202. Assim, o sinal central é formado/nivelado/limitado e então o sinal já formado/nivelado/limitado completo é copiado ou refletido na faixa de frequência de melhoria. Ainda, é importante entender que a ordem de blocos 204, 206, 208 pode ser realizada de qualquer forma, pois ainda pode ser visto quando a figura 2a é comparada com a ordem dos blocos correspondentes na figura 1.
[0051] A figura 2b ilustra uma situação, na qual o nivelamento temporal e a formação é realizada na baixa frequência ou no sinal central, e a geração de HF 202 é então realizada antes da limitação de energia 208. Ainda, a figura 2c ilustra uma situação onde a formação do sinal é realizado no sinal de baixa frequência e uma geração de HF subsequente como pela cópia ou reflexão é realizada a fim de obter o sinal para a faixa de frequência de melhoria, e este sinal é então nivelado 206 e limitado pela energia 208.
[0052] Ainda, deve ser enfatizado que as funcionalidades de formação, nivelamento temporal e limitação de energia podem ser todas realizadas aplicando os determinados fatores em um sinal de sub-banda como, por exemplo, ilustrado na figura 14. A formação é implementada pelos multiplicadores 1402a, 1401a e 1400a para bandas individuais i, i + 1, i + 2.
[0053] Ainda, o nivelamento temporal é realizado pelos multiplicadores 1402b, 1401b e 1400b. Adicionalmente, a limitação de energia é realizada pelos fatores de limitação 1402c, 1401c e 1400c para as bandas individuais i + 2, i + 1 e i. Devido ao fato que todas estas funcionalidades são implementadas nesta aplicação pelos fatores de multiplicação, deve ser observado que todas estas podem ainda ser aplicadas aos sinais de sub-banda individuais por um único fator de multiplicação 1402, 1401, 1400 para cada banda individual, e este único fator de multiplicação "mestre" então seria um produto dos fatores individuais 1402a, 1402b e 1402c para uma banda i + 2, e a situação seria análoga a outras bandas i + 1 e i. Assim, os valores de amostra de sub-banda real/imaginária para as sub-bandas são então multiplicados por este único fator de multiplicação "mestre" e a saida é obtida como valores multiplicados de amostra da sub-banda imaginária/real na saida do bloco 1402, 1401 ou 1400. que são então introduzidos ao banco de filtro de sintese 300 da figura 1. Assim, a saida dos blocos 1400. 1401, 1402 corresponde ao sinal de melhoria 1300 tipicamente cobrindo a faixa de frequência de melhoria não incluida no sinal central.
[0054] A figura 3 ilustra um gráfico indicando diferentes resoluções de tempo utilizadas no processo de geração do sinal. Basicamente, o sinal é processado por estrutura. Isso significa que o banco de filtro de análise 100 é preferivelmente implementado para gerar as estruturas subsequentes por tempo 320 de sinais de sub-banda, onde cada estrutura 320 dos sinais de sub-banda compreende um ou uma pluralidade de intervalos ou intervalos do banco de filtro 340. Embora a figura 3 ilustra quatro intervalos por estrutura, ainda podem haver 2, 3 ou ainda mais do que quatro intervalos por estrutura. Conforme ilustrado na figura 14, a formação do sinal de melhoria ou do sinal central com base na distribuição de energia do sinal central é realizada uma vez por estrutura. Por outro lado, o nivelamento temporal é realizado com uma alta resolução de tempo, ou seja, preferivelmente uma vez por intervalo 340 e a limitação de energia pode uma vez novamente ser realizada uma vez por estrutura quando uma baixa complexidade é necessária, ou uma vez por intervalo quando uma complexidade mais alta não é problemática para a implementação específica.
[0055] A figura 4 ilustra uma representação de um espectro tendo cinco sub-bandas 1, 2, 3, 4, 5 na faixa de frequência do sinal central. Ainda, o exemplo na figura 4 tem quatro sinais de sub-banda ou sub-bandas 6, 7, 8, 9 na faixa do sinal de melhoria e do sinal central range e na faixa do sinal de melhoria que são separadas por uma frequência cruzada 420. Ainda, uma faixa de frequência inicial 410 é ilustrada, sendo utilizada para calcular o valor que descreve uma distribuição de energia com relação à frequência para a finalidade de formação 204, conforme será discutido posteriormente. Este procedimento certifica que as sub-bandas mais baixas ou uma pluralidade de sub-bandas mais baixas não são utilizadas para o cálculo do valor que descreve a f distribuição de energia com relação à frequência a fim para obter um ajuste melhor do sinal de melhoria.
[0056] Subsequentemente, uma implementação da geração 202 da faixa de frequência de melhoria não incluida no sinal central utilizando o sinal central é ilustrada.
[0057] A fim de gerar o sinal artificial acima da frequência cruzada, tipicamente os valores de QMF da faixa de frequência abaixo da frequência cruzada são copiados ("colocados em patch") na banda alta. Esta operação de cópia pode ser feita apenas mudando as amostras de QMF da faixa de frequência mais baixa até a área acima da frequência cruzada ou, adicionalmente, refletindo estas amostras. A vantagem da reflexão é que o sinal logo abaixo da frequência cruzada e o sinal gerado artificialmente terão uma energia muito semelhante e estrutura harmônica na frequência cruzada. A reflexão ou cópia pode ser aplicada em uma única sub-banda do sinal central ou em uma pluralidade de sub-bandas do sinal central.
[0058] No caso do referido banco de filtro de QMF, o patch refletido preferivelmente consiste no conjugado complexo negativo da banda base a fim de reduzir o aliasing da sub-banda na região de transição:
Figure img0002
[0059] Aqui, Qr(t,f) é o valor real do QMF no indice de tempo t e indice de sub-banda f e é o valor imaginário; xover é a sub-banda de QMF referente à frequência extrapoladas. 0 sinal de menos na parte real denota a operação do complexo conjugado negativo.
[0060] Preferivelmente, a geração de HF 202 ou geralmente a geração da faixa de frequência de melhoria depende de uma representação de sub-banda fornecida pelo bloco 100. Preferivelmente, o aparelho inventivo para gerar um sinal melhorado da frequência deveria ser um decodificador com várias larguras de banda que pode testar novamente o sinal decodificado 110 para variar as frequências de amostragem, para suportar, por exemplo, a banda estreita, banda larga e saida de super banda larga. Assim, o banco de filtro de QMF 100 considera o sinal decodificado do domínio de tempo como entrada. Colocando zeros no dominio de frequência, o banco de filtro de QMF pode ser utilizado para testar novamente o sinal decodificado, e o mesmo banco de filtro de QMF é preferivelmente ainda utilizado para criar o sinal de banda alta.
[0061] Preferivelmente, o aparelho para gerar um sinal melhorado da frequência é operativo para realizar todas as operações no domínio de frequência. Assim, um sistema existente que já tem um domínio de representação de frequência interna em um lado do decodificador é estendido conforme ilustrado na figura 1 indicando o bloco 100 como um "decodificador central" que fornece, por exemplo, um sinal de saída do banco de filtro domínio de QMF.
[0062] Esta representação é simplesmente reutilizada para tarefas adicionais como conversão da taxa de amostragem e outras manipulações do sinal que são preferivelmente feitas no dominio de frequência (por exemplo, inserção do ruido de conforto formado, filtragem passa-alta/passa-baixa). Assim, nenhuma transformação de tempo-frequência adicional precisa ser calculada.
[0063] Ao invés de utilizar o ruido para o Conteúdo de HF, o sinal de banda alta é gerado com base no sinal de banda baixa apenas nesta aplicação. Isso pode ser feito por meios de uma operação de cópia ou dobra (reflexão) no dominio de frequência. Assim, um sinal de banda alta com uma mesma estrutura fina harmônica e temporal como o sinal de banda baixa é garantido. Isso evita uma dobra computacionalmente cara do sinal de dominio de tempo e atraso adicional.
[0064] Subsequentemente, a funcionalidade da tecnologia de formação 204 da figura 1 é discutida no contexto das figuras 5, 6, e 7, onde a formação pode ser realizada no contexto da figura 1, 2a-2c ou separadamente e individualmente junto com outras funcionalidades conhecidas das tecnologias de melhoria da frequência não guiada e guiada.
[0065] A figura 5 ilustra um aparelho para gerar um sinal melhorado da frequência 140 compreendendo uma calculadora 500 para calcular um valor que descreve uma distribuição de energia com relação à frequência em um sinal central 120. Ainda, o gerador de sinal 200 é configurado para gerar um sinal de melhoria compreendendo uma faixa de frequência de melhoria não incluida no sinal central a partir do sinal central conforme ilustrado pela linha 502. Ainda, o gerador de sinal 200 é configurado para formar o sinal de melhoria como emitido pelo bloco 202 na figura 1 ou o sinal central 120 no contexto da figura 2a de modo que um envelope espectral do sinal de melhoria depende do valor que descreve a distribuição de energia.
[0066] Preferivelmente, o aparelho adicionalmente compreende um combinador 300 para combinar o sinal de melhoria 130 emitido pelo bloco 200 e o sinal central 120 para obter o sinal melhorado da frequência 140. Operações adicionais como nivelamento temporal 206 ou limitação de energia 208 são preferidas para ainda processar o sinal formado, mas não estão necessariamente nas determinadas implementações.
[0067] O gerador de sinal 200 é configurado para formar o sinal de melhoria de modo que uma redução do primeiro envelope espectral de uma primeira frequência na faixa de frequência de melhoria para a segunda frequência mais alta na faixa de frequência de melhoria seja obtida para um primeiro valor que descreve a distribuição de energia. Ainda, uma redução do segundo envelope espectral a partir da primeira frequência na faixa de melhoria para a segunda frequência na faixa de melhoria é obtida para um segundo valor que descreve uma segunda distribuição de energia. Se a segunda frequência for maior do que a primeira frequência e a redução do segundo envelope espectral for maior do que a redução do primeiro envelope espectral, então o primeiro valor indica que o sinal central tem uma concentração de energia em uma faixa de frequência mais alta do sinal central comparado com o segundo valor.que descreve uma concentração de energia em uma faixa de frequência mais baixa do sinal central.
[0068] Preferivelmente, a calculadora 500 é configurada para calcular uma medida para um centroide espectral de uma estrutura atual como o valor de informação na distribuição de energia* Então, o gerador de sinal 200 forma de acordo com esta medida para o centroide espectral de modo que um centroide espectral em uma frequência mais alta resulta na inclinação mais superficial do envelope espectral comparado a um centroide espectral em uma frequência mais baixa.
[0069] A informação na distribuição de energia calculada pela calculadora de distribuição de energia 500 é calculada em uma parte da frequência do sinal central começando na primeira frequência e terminando na segunda frequência sendo mais alta do que a primeira frequência. A primeira frequência é menor do que uma frequência mais baixa no sinal central, como, por exemplo, ilustrado em 410 na figura 4. Preferivelmente, a segunda frequência é a frequência cruzada 420, mas ainda pode ser uma frequência menor do que a frequência cruzada 420 como pode ser o caso. Entretanto, estender a segunda frequência utilizada para calcular a medida para a distribuição espectral o máximo possível à frequência cruzada 420 é preferido e resulta na melhor qualidade de áudio*
[0070] Em uma aplicação, o procedimento da figura 6 é aplicado pela calculadora de distribuição de energia 500 e pelo gerador de sinal 200. Na etapa 602, um valor de energia para cada banda do sinal central indicado em E(i) é calculado. Então, um único valor de distribuição de energia como sp utilizado para o ajuste de todas as bandas da faixa de frequência de melhoria é calculado no bloco 604. Então, na etapa 606, os fatores de ponderação são calculados para todas as bandas da faixa de frequência de melhoria utilizando este único valor, onde os fatores de ponderação são preferivelmente attf.
[0071] Então, na etapa 608 realizada pelo gerador de sinal 208, os fatores de ponderação são aplicados nas partes real e imaginária da amostra de sub-bandas.
[0072] Sons fricatives são detectados pelo cálculo do centroide espectral da estrutura atual no dominio de QMF. O centroide espectral é uma medida que tem uma faixa de 0,0 a 1,0. Um alto centroide espectral (um valor próximo a um) significa que o envelope espectral do som tem um declive crescente. Para os sinais de fala isso significa que a estrutura atual provavelmente contém um fricativo. Quanto mais o valor do centroide espectral se aproxima a um, mais ingreme será o declive do envelope espectral ou mais energia será concentrada na faixa de frequência mais alta.
[0073] O centroide espectral é calculado de acordo com:
Figure img0003
[0074] onde F(i) é a energia da sub-banda de QMF i e start é o indice da sub-banda de QMF referente a 1 kHz. As sub-bandas de QMF copiadas são ponderadas com o fator att?:
Figure img0004
[0075] onde att = 0.5 * sp + 0.5. Geralmente, att pode ser calculado utilizando a seguinte equação: att = p (sp),
[0076] em que p é um polinomial. Preferivelmente, o polinomial tem grau 1: att = a * sp + b,
[0077] em que a, b ou geralmente os coeficientes polinomiais estão todos entre 0 e 1.
[0078] Longe da equação acima, outras equações tendo um desempenho comparável podem ser aplicadas. Estas outras equações são como segue:
Figure img0005
[0079] Em particular, o valor a^ deveria ser de modo que o valor seja mais alto para i mais alto e, de forma importante, os valores bi são menores do que os valores ap pelo menos, para o indice i > 1. Assim, um resultado semelhante, mas com uma diferente equação comparado à equação acima, seja obtido. Geralmente, ai, bi são valores uniformemente crescentes e decrescentes com i.
[0080] Ainda, referência é feita à figura 7. A figura 7 ilustra fatores de ponderação individuais att£ para diferentes valores de distribuição de energia sp. Quando sp é igual a 1, então toda a energia do sinal central é concentrada na banda mais alta do sinal central. Então, att é igual a 1 e os fatores de ponderação att£ são constantes sobre a frequência conforme ilustrado em 700. Quando, por outro lado, a energia completa no sinal central é concentrada na banda mais baixa do sinal central, então sp é igual a 0 e att é igual a 0,5 e o curso correspondente dos fatores de ajuste sobre a frequência ilustrada em 706,
[0081] Cursos dos fatores de formação sobre a frequência indicada em 702 e 704 são para valores espectrais de distribuição correspondentemente crescentes. Assim, para o item 704, o valor de distribuição de energia é maior do que 0, mas menor do que o valor de distribuição de energia para o item 702 conforme indicado pela seta paramétrica 708.
[0082] A figura 8 ilustra um aparelho para gerar um sinal melhorado da frequência utilizando a tecnologia do nivelamento temporal. O aparelho compreende um gerador de sinal 200 para gerar um sinal de melhoria a partir de um sinal central 120, 110, onde o sinal de melhoria compreende uma faixa de frequência de melhoria não incluida no sinal central. Um periodo de tempo atual como uma estrutura 320 e preferivelmente um intervalo 340 do sinal de melhoria ou o sinal central compreende sinais de sub-banda para uma pluralidade de sub-bandas.
[0083] Um controlador 800 é para calcular a mesma informação de nivelamento 802 para a pluralidade de sinais de sub-banda da faixa de frequência de melhoria ou do sinal central. Ainda, o gerador de sinal 200 é configurado para nivelar a pluralidade de sinais de sub-banda da faixa de frequência de melhoria utilizando a mesma informação de nivelamento 802 ou para nivelar a pluralidade de sinais de sub-banda do sinal central utilizando a mesma informação de nivelamento 802. A saida do gerador de sinal 200 é, na figura 8, um sinal de melhoria melhorado que pode então ser inserido em um combinador 300. Conforme discutido no contexto das figuras 2a-2c, o nivelamento 206 pode ser realizado em qualquer lugar na cadeia de processamento da figura 1 ou pode ainda ser realizado individualmente no contexto de qualquer outro esquema de melhoria de frequência.
[0084] O controlador 800 é preferivelmente configurado para calcular a informação de nivelamento utilizando uma energia combinada da pluralidade de sinais de sub-banda do sinal central e do sinal de melhoria da frequência ou utilizando apenas o sinal de melhoria da frequência do periodo de tempo. Ainda, uma energia média da pluralidade de sinais de sub-banda do sinal central e do sinal de melhoria da frequência ou do sinal central apenas de um ou mais períodos de tempo anteriores precedentes ao período de tempo atual é utilizada. A informação de nivelamento é um único fator de correção para a pluralidade de sinais de sub-banda da faixa de frequência de melhoria em todas as bandas e, assim, o gerador de sinal 200 é configurado para aplicar o fator de correção na pluralidade de sinais de sub-banda da faixa de frequência de melhoria.
[0085] Conforme discutido no contexto da figura 1, o aparelho ainda compreende um banco de filtro 100 ou um provedor para fornecer a pluralidade de sinais de sub-banda do sinal central para uma pluralidade de intervalos do banco de filtro subsequente ao tempo. Ainda, o gerador de sinal é configurado para derivar a pluralidade de sinais de sub-banda da faixa de frequência de melhoria para a pluralidade de intervalos do banco de filtro subsequente ao tempo utilizando a pluralidade de sinais de sub-banda do sinal central e o controlador 800 é configurado para calcular uma informação de nivelamento individual 802 para cada intervalo do banco de filtro e o nivelamento é então realizado, para cada intervalo do banco de filtro, com uma nova informação de nivelamento individual.
[0086] O controlador 800 é configurado para calcular um valor de controle da intensidade de nivelamento com base no sinal central ou no sinal melhorado da frequência do periodo de tempo atual e com base em um ou mais periodos de tempo precedentes e o controlador 800 é então configurado para calcular a informação de nivelamento utilizando o valor de controle de nivelamento de modo que a intensidade de nivelamento varia dependendo de uma diferença entre uma energia do sinal central ou do sinal de melhoria da frequência do período de tempo atual e a energia média do sinal central ou do sinal de melhoria da frequência de um ou mais periodos de tempo precedentes.
[0087] A referência é feita à figura 9 que ilustra um procedimento realizado pelo controlador 800 e pelo gerador de sinal 200. A etapa 900, que é realizada pelo controlador 800, compreende encontrar uma decisão sobre intensidade de nivelamento que pode, por exemplo, ser encontrada com base em uma diferença entre a energia no período de tempo atual e uma energia média em um ou mais períodos de tempo precedentes, mas qualquer outro procedimento para decidir sobre a intensidade de nivelamento pode ser utilizado também. Uma alternativa deve ser utilizada, ao invés ou além dos futuros intervalos de tempo. Outra alternativa é que um tem apenas uma única transformada por estrutura e um então nivelaria sobre as estruturas temporalmente subsequentes. Ambas alternativas, entretanto, podem introduzir um atraso. Isso pode ser não problemático nas aplicações, onde o atraso não é um problema, como a aplicação de transmissão. Para as aplicações, onde um atraso é problemático como para uma comunicação bidimensional, por exemplo, utilizando celulares, as estruturas passadas ou precedentes são preferidas sobre as futuras estruturas, visto que a utilização das estruturas passadas não introduz um atraso.
[0088] Então, na etapa 902, uma informação de nivelamento é calculada com base na decisão da intensidade de nivelamento da etapa 900. Esta etapa 902 é ainda realizada pelo controlador 800. Então, o gerador de sinal 200 realiza 904 compreendendo a aplicação da informação de nivelamento em várias bandas, onde um e a mesma informação de nivelamento 802 é aplicada nestas várias bandas tanto no sinal central quanto na faixa de frequência de melhoria.
[0089] A figura 10 ilustra um procedimento preferido da implementação da sequência da figura 9 de etapas. Na etapa 1000, uma energia de um intervalo atual é calculada. Então, na etapa 1020, uma energia média de um ou mais intervalos prévios é calculada. Então, na etapa 1040, um coeficiente de nivelamento para o intervalo atual é determinado com base na diferença entre os valores obtidos pelo bloco 1000 e 1020. Então, a etapa 1060 compreende o cálculo de um fator de correção para o intervalo atual e as etapas de 1000 a 1060 I são todas realizadas pelo controlador 800. Então, na etapa 1080, que é realizada pelo gerador de sinal 200, a operação de nivelamento atual é realizada, ou seja, o fator de correção correspondente é aplicada em todos os sinais de subbanda dentro de um intervalo.
[0090] Em uma aplicação, o nivelamento temporal é realizado em duas etapas:
[0091] Decisão sobre intensidade de nivelamento. Para a decisão sobre a intensidade de nivelamento, a fase estacionária do sinal ao longo do tempo é avaliada. Uma possivel forma de realizar esta avaliação é comparar a energia da janela de curta duração atual ou intervalo de tempo de QMF com valores médios de energia das janelas de curta duração anteriores ou intervalos de tempo de QMF. Para salvar a complexidade, isso pode ser avaliado para a parte da banda alta apenas. Quanto mais próximo ser os valores de energia, o mais baixo deveria ser a intensidade de nivelamento. Isso é refletido no coeficiente de nivelamento a, onde 0<a<l. Quando maior a, mais alta será a intensidade de nivelamento.
[0092] Aplicação de nivelamento na banda alta. O nivelamento é aplicado para a parte da banda alta em uma base de tempo de QMF. Assim, a energia de banda alta do intervalo de tempo atual Ecurrt é adaptado a uma energia média de banda alta Eavgt de um ou mais intervalos de tempo de QMF anteriores:
Figure img0006
[0093] Ecurr é calculado como a soma das energias da banda alta de QMF em um intervalo de tempo:
Figure img0007
[0094] Eavg é a média móvel ao longo do tempo das energias:
Figure img0008
[0095] onde start e stop são os limites do intervalo utilizado para calcular a média móvel.
[0096] Os valores de QMF real e imaginário utilizados para a sintese são multiplicados com um fator de correção currFac:
Figure img0009
[0097] que é derivado de Ecurr e Eavg:
Figure img0010
[0098] 0 fator a pode ser fixado ou dependente da diferença da energia de Ecurr e Eavg.
[0099] Conforme já discutido na figura 14, a resolução de tempo para o nivelamento temporal é definida para ser mais alta do que a resolução de tempo da formação ou da resolução de tempo da tecnologia de limitação de energia. Isso certifica que um curso temporalmente nivelado dos sinais de sub-banda seja obtido enquanto, ao mesmo tempo, a formação computacionalmente mais intensiva deve ser realizada apenas uma vez por estrutura. Entretanto, qualquer nivelamento de uma sub-banda a outra sub-banda, ou seja, na direção de frequência, não é realizado, visto que, como foi observado, isso reduz substancialmente a qualidade subjetiva do ouvinte.
[0100] É preferido utilizar a mesma informação de nivelamento como o fator de correção para todas as sub-bandas na faixa de melhoria. Entretanto, ainda pode ser uma implementação, na qual a mesma informação de nivelamento não é aplicada para todas as bandas, mas para um grupo de bandas em que este grupo tem, pelo menos, duas sub-bandas.
[0101] A figura 11 ilustra outro aspecto direcionado à tecnologia de limitação de energia 208 ilustrada na figura 1. Especificamente, a figura 11 ilustra um aparelho para gerar um sinal melhorado da frequência compreendendo o gerador de sinal 200 para gerar um sinal de melhoria, o sinal de melhoria compreendendo uma faixa de frequência de melhoria não incluida no sinal central. Ainda, um periodo de tempo do sinal de melhoria compreende sinais de sub-banda para uma pluralidade de sub-bandas. Adicionalmente, o aparelho compreende um banco de filtro de sintese 300 para gerar o sinal melhorado da frequência 140 utilizando o sinal de melhoria 130.
[0102] A fim de implementar o procedimento de limitação de energia, o gerador de sinal 200 é configurado para realizar uma limitação de energia a fim de certificar que o sinal melhorado da frequência 140 obtido pelo banco de filtro de sintese 300 é de modo que uma energia de uma banda mais alta é, no máximo, igual a uma energia na banda mais baixa ou maior do que a energia na banda inferior, no máximo, por um limite predefinido.
[0103] O gerador de sinal é preferível implementado para certificar que uma sub-banda de QMF mais alta k não deve exceder a energia em uma sub-banda de QMF k - 1. Independentemente, o gerador de sinal 200 pode ainda ser implementado para permitir um determinado aumento incremental que pode preferivelmente ser um limite de 3dB e um limite pode preferivelmente ser 2dB e ainda mais preferivelmente IdB ou ainda menor. 0 limite predeterminado pode ser uma constante para cada banda ou dependente do centroide espectral calculada previamente. Uma dependência preferida é que o limite fica mais baixo, quando o centroide se aproxima de frequências mais baixas, ou seja, se torna menor, enquanto o limite pode ficar maior ao centroide mais próximo às frequências mais altas ou sp aproxima a 1.
[0104] Em outra implementação, o gerador de sinal 200 é configurado para examinar um primeiro sinal de subbanda na primeira sub-banda e para examinar um sinal de subbanda na segunda sub-banda sendo adjacente na frequência à primeira sub-banda e tendo uma frequência central sendo mais alta do que uma frequência central da primeira sub-banda e o gerador de sinal não limitará a segundo sinal de sub-banda, quando uma energia do segundo sinal de sub-banda é igual a uma energia do primeiro sinal de sub-banda ou quando a energia do segundo sinal de sub-banda é maior do que a energia do primeiro sinal de sub-banda por menos do que o limite predefinido.
[0105] Ainda, o gerador de sinal é configurado para formar uma pluralidade de operações de processamento na sequência conforme ilustrado, por exemplo, na figura 1 ou nas figuras 2a-2c. Então, o gerador de sinal preferivelmente realiza a limitação de energia em um final da sequência para obter o sinal de melhoria 130 inserido ao banco de filtro de sintese 300. Assim, o banco de filtro de sintese 300 é configurado para receber, como uma entrada, o sinal de melhoria 130 gerado no final da sequência pelo processo final da limitação de energia.
[0106] Ainda, o gerador de sinal é configurado para realizar a formação espectral 204 ou nivelamento temporal 206 antes da limitação de energia*
[0107] Na aplicação preferida, o gerador de sinal 200 é configurado para gerar a pluralidade de sinais de subbanda do sinal de melhoria pela reflexão de uma pluralidade de sub-bandas do sinal central.
[0108] Para a reflexão, preferivelmente o procedimento de negar tanto a parte real quanto a parte imaginária é realizado conforme discutido anteriormente.
[0109] Em outra aplicação, o gerador de sinal é configurado para calcular um fator de correção limFac e este fator de limitação limFac é então aplicado aos sinais de subbanda do núcleo ou da faixa de frequência de melhoria como segue:
[0110] Deixamos Ef ser a energia de uma banda média ao longo do tempo stop — start:
Figure img0011
[0111] Se esta energia exceder a energia média da banda prévia em algum nivel, a energia desta banda é multiplicada por um fator de correçâo/limitação UmFac.
Figure img0012
[0112] e os valores reais e imaginários de QMF são corrigidos por:
Figure img0013
[0113] O fator ou limite predefinido fac pode ser uma constante para cada banda ou dependente do centroide espectral calculado previamente.
[0114] Qrtf é a parte real limitada pela energia do sinal de sub-banda na sub-banda indicada por f. Qitj é a parte imaginária correspondente de um sinal de sub-banda subsequente à limitação de energia na sub-banda f. Qrtf e Qitf são partes real e imaginária correspondentes dos sinais de sub-banda antes da limitação de energia como os sinais de sub-banda diretamente quando qualquer formação ou nivelamento temporal não for realizado ou os sinais de sub-banda temporalmente formados e nivelados.
[0115] Em outra implementação, o fator de limitação UmFac é calculado utilizando a seguinte equação:
Figure img0014
[0116] Nesta equação, Eijn, é a energia de limitação, que é tipicamente a energia da banda mais baixa ou a energia da banda mais baixa aumentada pelo determinado limite fac. Ef(i) é a energia da banda atual f ou i.
[0117] A referência é feita às figuras 12a e 12b que ilustram um determinado exemplo onde há sete bandas na faixa de frequência de melhoria. A banda 1202 é maior do que a banda 1201 com relação à energia. Assim, conforme fica claro da figura 12b, a banda 1202 é limitada pela energia conforme indicado em 1250 na figura 12b para esta banda. Ainda, as bandas 1205, 1204 e 1206 são todas maiores do que a banda 1203. Assim, todas as três bandas são limitadas pela energia conforme ilustrado como 1250 na figura 12b. As únicas bandas não limitadas que permanecem são bandas 1201 (esta é a primeira banda na faixa de reconstrução) e bandas 1203 e 1207.
[0118] Conforme descrito, a figura 12a/12b ilustra a situação onde a limitação é de modo que uma banda mais alta não deve ter mais energia do que uma banda inferior. Entretanto, a situação pareceria um diferente se um determinado aumento fosse permitido.
[0119] A limitação de energia pode aplicar uma banda de única extensão. Então, a comparação ou limitação de energia é feita utilizando a energia da banda central mais alta. Isso ainda pode aplicar para uma pluralidade de bandas de extensão. Então, uma banda de extensão mais baixa é limitada pela energia utilizando a banda central mais alta, e uma banda de extensão mais alta é limitada pela energia com relação à segunda banda de extensão mais alta.
[0120] A figura 15 ilustra um sistema de transmissão ou, geralmente, um sistema compreendendo um codificador 1500 e um decodificador 1510. 0 codificador é preferivelmente um codificador para gerar o sinal central codificado que realiza uma redução da largura de banda, ou geralmente que exclui várias faixas de frequência no sinal de áudio original 1501, que não necessariamente deve ser uma faixa de frequência superior completa ou faixa superior, mas que pode ainda ser qualquer faixa de frequência entre as faixas de frequência central. Então, o sinal central codificado é transmitido do codificador 1500 ao decodificador 1510 sem qualquer informação adicional e o decodificador 1510 então realiza uma melhoria de frequência não guiada para obter o sinal de melhoria da frequência 140. Assim, o decodificador pode ser implementado conforme discutido em qualquer uma das figuras de 1 a 14.
[0121] Embora a presente invenção foi descrita no contexto de diagramas em blocos onde os blocos representam componentes lógicos ou reais de hardware, a presente invenção pode ainda ser implementada por um método implementado por computador. No último caso, os blocos representam as etapas do método correspondente onde estas etapas suportam as funcionalidades realizadas pelos blocos de hardware lógico e fisico correspondentes.
[0122] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é evidente que esses aspectos representam também uma descrição do método correspondente, no qual um bloco ou dispositivo corresponde a uma etapa do método ou a uma característica de uma etapa do método. De maneira análoga, os aspectos descritos no contexto de uma etapa do método também representam, uma descrição de um bloco correspondente ou item ou característica de um aparelho correspondente. Alguns ou todos os passos do método podem ser executados por um (ou com um) aparelho de hardware, como um microprocessador, um computador programável ou um circuito eletrônico. Em algumas aplicações, alguns ou mais os métodos mais importantes podem ser executados por tal aparelho.
[0123] O sinal de áudio codificado inventivo pode ser armazenado em uma mídia de armazenamento digital ou pode ser transmitido por meio de uma mídia de transmissão, tal como uma mídia de transmissão sem fios ou de uma mídia de transmissão com fios, tal como a Internet.
[0124] Dependendo de certos requisitos das implementações, aplicações da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada utilizando uma mídia de armazenamento digital, por exemplo, um disquete, um DVD, um Blu-Ray, um CD, uma ROM, uma PROM, uma EPROM, uma EEPROM ou uma memória FLASH, tendo sinais de controle eletronicamente legíveis armazenados nela, os quais cooperam (ou são capazes de cooperar) com um sistema de computador programável, de modo que o respectivo método seja realizado. Portanto, a mídia de armazenamento digital pode ser legível por computador.
[0125] Algumas aplicações, de acordo com a invenção, compreendem um suporte de dados com sinais de controle eletronicamente legíveis, que são capazes de cooperar com um sistema de computador programável, de modo que um dos métodos descritos aqui seja realizado.
[0126] Geralmente, as aplicações da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, o código de programa sendo operativo para executar um dos métodos quando o produto de programa de computador rodar em um computador, O código de programa pode, por exemplo, ser armazenado em uma máquina legivel transportadora.
[0127] Outras aplicações compreendem o programa de computador para executar os métodos descritos aqui, armazenados em uma transportadora legivel por máquina.
[0128] Em outras palavras, uma aplicação do método inventivo é, portanto, um programa de computador com um código de programa para executar um dos métodos aqui descritos, quando o programa de computador rodar em um computador.
[0129] Outra aplicação dos métodos inventivos é, portanto, um suporte de dados (ou uma midia de armazenamento digital, ou uma midia legivel por computador) que compreende, nele gravado, o programa de computador para executar um dos métodos aqui descritos. 0 suporte de dados, a midia de armazenamento digital ou a midia gravada são normalmente tangiveis e/ou não transitórios.
[0130] Outra aplicação do método inventivo da invenção é, portanto, uma corrente de dados ou uma sequência de sinais, que representam o programa de computador para executar um dos métodos aqui descritos. 0 fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurada para ser transferida por meio de uma conexão de comunicação de dados, por exemplo, via Internet.
[0131] Outra aplicação compreende um meio de processamento, por exemplo, um computador, ou dispositivo lógico programável, configurado ou adaptado para executar um dos métodos aqui descritos.
[0132] Outra aplicação compreende um computador tendo nele instalado o programa de computador para executar um dos métodos aqui descritos.
[0133] Outra aplicação, de acordo com a invenção, compreende um aparelho ou um sistema configurado para transferir (por exemplo, eletronicamente ou opticamente) um programa de computador para executar de um dos métodos descritos aqui para um receptor. 0 receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória, ou similar. O aparelho ou sistema pode, por exemplo, compreender um servidor de arquivos para transferir o programa de computador para o receptor.
[0134] Em algumas aplicações, um dispositivo lógico programável (por exemplo, um arranjo de portas programável em campo) pode ser utilizado para executar algumas ou todas as funcionalidades dos métodos aqui descritos. Em algumas aplicações, um arranjo de portas programável em campo pode cooperar com um microprocessador para executar um dos métodos aqui descritos. Geralmente, os métodos são executados preferencialmente por qualquer aparelho de hardware.
[0135] As aplicações descritas acima são meramente ilustrativas para princípios da presente invenção. Entende-se que modificações e variações dos acordos e que os detalhes aqui descritos serão evidentes para outros especialistas na técnica. É a intenção, portanto, serem limitados apenas pelo escopo das reivindicações da patente iminentes e não pelos detalhes específicos apresentados a titulo de descrição e explicação das aplicações contidas aqui.

Claims (15)

1. Aparelho para gerar um sinal de melhoria da frequência (140), compreendendo: uma calculadora (500) para calcular um valor que descreve uma distribuição de energia com relação à frequência in um sinal central (110, 120); um gerador de sinal (200) para gerar um sinal de melhoria (130) compreendendo uma faixa de frequência de melhoria não incluída no sinal central, a partir do sinal central (502), e caracterizado pelo gerador de sinal (200) ser configurado para formar o sinal de melhoria ou o sinal central de modo que um envelope espectral do sinal de melhoria ou do sinal central depende do valor (501) que descreve a distribuição de energia com relação à frequência no sinal central, em que o gerador de sinal (200) é configurado para formar o sinal de melhoria ou o sinal central de modo que uma redução do primeiro envelope espectral de uma primeira frequência na faixa de frequência de melhoria em uma segunda frequência mais alta na faixa de frequência de melhoria seja obtida para um primeiro valor que descreve uma primeira distribuição de energia, e de modo que uma redução do segundo envelope espectral a partir da primeira frequência na faixa de melhoria à segunda frequência na faixa de melhoria seja obtida para um segundo valor que descreve uma segunda distribuição de energia, em que a segunda frequência é maior do que a primeira frequência, em que a redução do segundo envelope espectral é maior do que a redução do primeiro envelope espectral, e em que o primeiro valor indica que o sinal central tem uma concentração de energia em uma frequência mais alta do sinal central comparado ao segundo valor.
2. Aparelho, de acordo com a reivindicação 1, ainda compreendendo um combinador (300) para combinar o sinal de melhoria (130) e o sinal central (120) para obter o sinal de melhoria da frequência (300, 140).
3. Aparelho, de acordo com a reivindicação 1, caracterizado pela calculadora (500) ser configurada para calcular uma medida para um centroide espectral de uma estrutura atual como o valor na distribuição de energia, em que o gerador de sinal (200) é configurado para formar, de acordo com o valor para o centroide espectral, de modo que o centroide espectral em uma frequência mais alta resulta em uma inclinação mais superficial do envelope espectral do que um centroide espectral em uma frequência mais baixa.
4. Aparelho, de acordo com a reivindicação 1, caracterizado pela calculadora (500) ser configurada para calcular a informação na distribuição de energia utilizando apenas uma parte da frequência do sinal central, a parte da frequência do sinal central começando em uma primeira frequência (410) e finalizando em uma segunda frequência mais alta do que a primeira frequência (410), em que a primeira frequência é mais alta do que a frequência mais baixa do sinal central ou a segunda frequência é a frequência mais alta do sinal central.
5. Aparelho, de acordo com a reivindicação 1, caracterizado pelo valor que descreve uma distribuição de energia ser calculado utilizando a seguinte equação: ∑XOVβr ~ cf-tS . i-start1
Figure img0015
em que sp é o valor que descreve a distribuição de energia, em que xover é uma frequência cruzada (420), em que E(i) é uma energia de uma sub-banda i e em que o início é o índice da sub-banda referente a uma frequência (410) sendo mais alta do que a frequência mais baixa do sinal central, e em que i é um índice de número inteiro da sub-banda.
6. Aparelho, de acordo com a reivindicação 1, caracterizado pelo gerador de sinal ser configurado para aplicar um fator de formação em um sinal de entrada, em que o fator de formação é calculado com base na seguinte equação: att = p (sp); em que att é um valor que influencia um fator de formação, e p é um polinomial, e sp é o valor na distribuição de frequência calculado pela calculadora (500).
7. Aparelho, de acordo com a reivindicação 1, caracterizado pelo gerador de sinal (200) ser configurado para realizar a formação utilizando a seguinte equação:
Figure img0016
em que Çr e uma parte real de uma amostra da sub-banda formada, t é um índice de tempo, xover é uma frequência cruzada (420), f e um índice de frequência e att e uma constante derivada do valor na distribuição espectral, Qr e uma parte real de uma amostra de sub-banda antes da formação, e Qi e uma parte imaginária de uma amostra de subbanda antes da formação.
8. Aparelho, de acordo com a reivindicação 1, caracterizado pelo sinal central compreender uma pluralidade de sub-bandas do sinal central, em que a calculadora (500) e configurada para calcular energias individuais de bandas do sinal central e para calcular a informação na distribuição de energia utilizando as energias individuais (604).
9. Aparelho, de acordo com a reivindicação 1, caracterizado pelo sinal central compreender uma pluralidade de bandas do sinal central, em que o gerador de sinal (200) é configurado para copiar ou para refletir (202) uma ou uma pluralidade de bandas do sinal central para obter uma pluralidade de bandas do sinal de melhoria que forma a faixa de frequência de melhoria.
10. Aparelho de acordo com reivindicação 1, caracterizado pela calculadora (500) ser configurada para calcular o valor com base na seguinte equação:
Figure img0017
em que ai é um parâmetro constante para uma banda i do sinal central, em que E(i) é uma energia na banda i, em que bi é um parâmetro constante para uma banda i do sinal central e valores de bi são mais baixos do que os valores ai, e em que os parâmetros constantes são de modo que um parâmetro para uma banda tendo um índice mais alto i é maior do que um parâmetro para uma banda tendo um índice mais baixo i.
11. Aparelho, de acordo com a reivindicação 1, caracterizado pelo gerador de sinal (200) ser configurado para realizar, subsequente ou simultâneo à formação (204) do sinal de melhoria ou do sinal central, uma operação de nivelamento temporal (206), a operação de nivelamento temporal compreendendo encontrar uma decisão sobre uma intensidade de nivelamento e aplicando a operação de nivelamento à faixa de frequência de melhoria ou o sinal central com base na decisão.
12. Aparelho, de acordo com a reivindicação 1, caracterizado pelo gerador de sinal (200) ser configurado para aplicar uma limitação de energia por bandas (208) subsequente à formação (204) ou ao nivelamento temporal (206) ou simultâneo à formação (204) ou ao nivelamento temporal (206).
13. Método para gerar um sinal de melhoria da frequência (140), compreendendo: calcular (500) um valor que descreve uma distribuição de energia com relação à frequência em um sinal central (110, 120); gerar (200) um sinal de melhoria (130) compreendendo uma faixa de frequência de melhoria não incluída no sinal central, a partir do sinal central (502), e caracterizado pela geração (200) compreender a formação do sinal de melhoria ou do sinal central de modo que um envelope espectral do sinal de melhoria ou do sinal central depende do valor (501) que descreve a distribuição de energia com relação à frequência no sinal central, em que a geração (200) compreende formação do sinal de melhoria ou do sinal central de modo que uma redução do primeiro envelope espectral de uma primeira frequência na faixa de frequência de melhoria em uma segunda frequência mais alta na faixa de frequência de melhoria seja obtida para um primeiro valor que descreve uma primeira distribuição de energia, e de modo que uma redução do segundo envelope espectral a partir da primeira frequência na faixa de melhoria à segunda frequência na faixa de melhoria seja obtida para um segundo valor que descreve uma segunda distribuição de energia, em que a segunda frequência é maior do que a primeira frequência, em que a redução do segundo envelope espectral é maior do que a redução do primeiro envelope espectral, e em que o primeiro valor indica que o sinal central tem uma concentração de energia em uma frequência mais alta do sinal central comparado ao segundo valor.
14. Sistema para processar sinais de áudio, caracterizado por compreender: um codificador (1500) para gerar um sinal central codificado (110); e um aparelho para gerar um sinal de melhoria da frequência compreendendo: uma calculadora para calcular (500) um valor que descreve uma distribuição de energia com relação à frequência em um sinal central (110, 120); um gerador de sinal para gerar (200) um sinal de melhoria (130) compreendendo uma faixa de frequência de melhoria não incluída no sinal central, a partir do sinal central (502); em que o gerador de sinal está configurado para moldar o sinal de aprimoramento ou o sinal principal, de modo que um envelope espectral do sinal de aprimoramento ou do sinal principal dependa do valor que descreve a distribuição de energia em relação à frequência no sinal principal; em que o gerador de sinal é configurado para moldar o sinal de aprimoramento ou o sinal principal, de modo que um primeiro envelope espectral diminua de uma primeira frequência na faixa de frequência de aprimoramento para uma segunda frequência mais alta na faixa de frequência de aprimoramento seja adquirida para um primeiro valor que descreve uma primeira distribuição de energia e de modo que um segundo envelope espectral diminua da primeira frequência na faixa de aprimoramento para a segunda frequência na faixa de aprimoramento seja adquirida por um segundo valor que descreve uma segunda distribuição de energia; em que a segunda frequência é maior do que a primeira frequência, em que a redução do segundo envelope espectral é maior do que a redução do primeiro envelope espectral, e em que o primeiro valor indica que o sinal central tem uma concentração de energia em uma frequência mais alta do sinal central comparado ao segundo valor.
15. Método para processar sinais de áudio, caracterizado por compreender: gerar (1500) um sinal central codificado (110); e gerar um sinal de melhoria da frequência de acordo com o método, compreendendo: calcular (500) um valor que descreve uma distribuição de energia com relação à frequência em um sinal central (110, 120); gerar (200) um sinal de melhoria (130) compreendendo uma faixa de frequência de melhoria não incluída no sinal central, a partir do sinal central (502), e caracterizado pela geração (200) compreender a formação do sinal de melhoria ou do sinal central de modo que um envelope espectral do sinal de melhoria ou do sinal central depende do valor (501) que descreve a distribuição de energia com relação à frequência no sinal central, em que a geração (200) compreende formação do sinal de melhoria ou do sinal central de modo que uma redução do primeiro envelope espectral de uma primeira frequência na faixa de frequência de melhoria em uma segunda frequência mais alta na faixa de frequência de melhoria seja obtida para um primeiro valor que descreve uma primeira distribuição de energia, e de modo que uma redução do segundo envelope espectral a partir da primeira frequência na faixa de melhoria à segunda frequência na faixa de melhoria seja obtida para um segundo valor que descreve uma segunda distribuição de energia, em que a segunda frequência é maior do que a primeira frequência, em que a redução do segundo envelope espectral é maior do que a redução do primeiro envelope espectral, e em que o primeiro valor indica que o sinal central tem uma concentração de energia em uma frequência mais alta do sinal central comparado ao segundo valor.
BR112015017866-9A 2013-01-29 2014-01-28 Aparelho e método para gerar um sinal melhorado da frequência utilizando a formação do sinal de melhoria BR112015017866B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361758090P 2013-01-29 2013-01-29
US61/758,090 2013-01-29
PCT/EP2014/051599 WO2014118159A1 (en) 2013-01-29 2014-01-28 Apparatus and method for generating a frequency enhanced signal using shaping of the enhancement signal

Publications (2)

Publication Number Publication Date
BR112015017866A2 BR112015017866A2 (pt) 2018-05-08
BR112015017866B1 true BR112015017866B1 (pt) 2021-12-21

Family

ID=50029033

Family Applications (3)

Application Number Title Priority Date Filing Date
BR112015017632-1A BR112015017632B1 (pt) 2013-01-29 2014-01-28 Aparelho e método para gerar um sinal melhorado da frequência utilizando nivelamento temporal de sub-bandas
BR112015017866-9A BR112015017866B1 (pt) 2013-01-29 2014-01-28 Aparelho e método para gerar um sinal melhorado da frequência utilizando a formação do sinal de melhoria
BR112015017868-5A BR112015017868B1 (pt) 2013-01-29 2014-01-28 Aparelho e método para gerar um sinal de melhoria de frequência utilizando uma operação de limitação de energia

Family Applications Before (1)

Application Number Title Priority Date Filing Date
BR112015017632-1A BR112015017632B1 (pt) 2013-01-29 2014-01-28 Aparelho e método para gerar um sinal melhorado da frequência utilizando nivelamento temporal de sub-bandas

Family Applications After (1)

Application Number Title Priority Date Filing Date
BR112015017868-5A BR112015017868B1 (pt) 2013-01-29 2014-01-28 Aparelho e método para gerar um sinal de melhoria de frequência utilizando uma operação de limitação de energia

Country Status (20)

Country Link
US (4) US9640189B2 (pt)
EP (4) EP2951825B1 (pt)
JP (3) JP6289507B2 (pt)
KR (3) KR101757349B1 (pt)
CN (3) CN105103228B (pt)
AR (3) AR094672A1 (pt)
AU (3) AU2014211527B2 (pt)
BR (3) BR112015017632B1 (pt)
CA (3) CA2899078C (pt)
ES (3) ES2914614T3 (pt)
HK (2) HK1218019A1 (pt)
MX (3) MX346944B (pt)
MY (3) MY172161A (pt)
PL (1) PL2951825T3 (pt)
PT (1) PT2951825T (pt)
RU (3) RU2625945C2 (pt)
SG (3) SG11201505883WA (pt)
TW (2) TWI529701B (pt)
WO (3) WO2014118159A1 (pt)
ZA (2) ZA201506265B (pt)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2951825B1 (en) 2013-01-29 2021-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands
TWI557727B (zh) 2013-04-05 2016-11-11 杜比國際公司 音訊處理系統、多媒體處理系統、處理音訊位元流的方法以及電腦程式產品
US9418671B2 (en) * 2013-08-15 2016-08-16 Huawei Technologies Co., Ltd. Adaptive high-pass post-filter
US10146500B2 (en) * 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
US10825467B2 (en) * 2017-04-21 2020-11-03 Qualcomm Incorporated Non-harmonic speech detection and bandwidth extension in a multi-source environment
EP3671741A1 (en) * 2018-12-21 2020-06-24 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Audio processor and method for generating a frequency-enhanced audio signal using pulse processing
CN109841223B (zh) * 2019-03-06 2020-11-24 深圳大学 一种音频信号处理方法、智能终端及存储介质

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2009A (en) * 1841-03-18 Improvement in machines for boring war-rockets
US5765127A (en) 1992-03-18 1998-06-09 Sony Corp High efficiency encoding method
US5581653A (en) 1993-08-31 1996-12-03 Dolby Laboratories Licensing Corporation Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder
US20020002455A1 (en) 1998-01-09 2002-01-03 At&T Corporation Core estimator and adaptive gains from signal to noise ratio in a hybrid speech enhancement system
SE0004163D0 (sv) * 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
WO2002091388A1 (en) * 2001-05-10 2002-11-14 Warner Music Group, Inc. Method and system for verifying derivative digital files automatically
EP2019391B1 (en) * 2002-07-19 2013-01-16 NEC Corporation Audio decoding apparatus and decoding method and program
US7318035B2 (en) 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
CN1950883A (zh) 2004-04-30 2007-04-18 松下电器产业株式会社 可伸缩性解码装置及增强层丢失的隐藏方法
JP4168976B2 (ja) 2004-05-28 2008-10-22 ソニー株式会社 オーディオ信号符号化装置及び方法
JP4771674B2 (ja) 2004-09-02 2011-09-14 パナソニック株式会社 音声符号化装置、音声復号化装置及びこれらの方法
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US8249861B2 (en) * 2005-04-20 2012-08-21 Qnx Software Systems Limited High frequency compression integration
US8260609B2 (en) 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US8285555B2 (en) 2006-11-21 2012-10-09 Samsung Electronics Co., Ltd. Method, medium, and system scalably encoding/decoding audio/speech
KR101355376B1 (ko) 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
US20110022924A1 (en) * 2007-06-14 2011-01-27 Vladimir Malenovsky Device and Method for Frame Erasure Concealment in a PCM Codec Interoperable with the ITU-T Recommendation G. 711
US8209190B2 (en) 2007-10-25 2012-06-26 Motorola Mobility, Inc. Method and apparatus for generating an enhancement layer within an audio coding system
RU2010125221A (ru) * 2007-11-21 2011-12-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. (KR) Способ и устройство для обработки сигнала
US8554551B2 (en) 2008-01-28 2013-10-08 Qualcomm Incorporated Systems, methods, and apparatus for context replacement by audio level
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
US20090201983A1 (en) * 2008-02-07 2009-08-13 Motorola, Inc. Method and apparatus for estimating high-band energy in a bandwidth extension system
CN101335000B (zh) * 2008-03-26 2010-04-21 华为技术有限公司 编码的方法及装置
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
EP2176862B1 (en) * 2008-07-11 2011-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for calculating bandwidth extension data using a spectral tilt controlling framing
EP2301028B1 (en) * 2008-07-11 2012-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and a method for calculating a number of spectral envelopes
MX2011000375A (es) * 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Codificador y decodificador de audio para codificar y decodificar tramas de una señal de audio muestreada.
EP2144230A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
JP2010079275A (ja) 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
US8352279B2 (en) 2008-09-06 2013-01-08 Huawei Technologies Co., Ltd. Efficient temporal envelope coding approach by prediction between low band signal and high band signal
TWI413109B (zh) 2008-10-01 2013-10-21 Dolby Lab Licensing Corp 用於上混系統之解相關器
KR20130069833A (ko) 2008-10-08 2013-06-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중 분해능 스위치드 오디오 부호화/복호화 방법
FR2938688A1 (fr) * 2008-11-18 2010-05-21 France Telecom Codage avec mise en forme du bruit dans un codeur hierarchique
RU2523035C2 (ru) * 2008-12-15 2014-07-20 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Аудио кодер и декодер, увеличивающий полосу частот
HUE064767T2 (hu) * 2008-12-15 2024-04-28 Fraunhofer Ges Forschung Audió sávszélesség kiterjesztés dekódoló, megfelelõ eljárás és számítógépi program
US8153010B2 (en) 2009-01-12 2012-04-10 American Air Liquide, Inc. Method to inhibit scale formation in cooling circuits using carbon dioxide
EP2214161A1 (en) * 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method and computer program for upmixing a downmix audio signal
EP2953131B1 (en) 2009-01-28 2017-07-26 Dolby International AB Improved harmonic transposition
JP4945586B2 (ja) * 2009-02-02 2012-06-06 株式会社東芝 信号帯域拡張装置
JP4892021B2 (ja) * 2009-02-26 2012-03-07 株式会社東芝 信号帯域拡張装置
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
MX2011006248A (es) * 2009-04-08 2011-07-20 Fraunhofer Ges Forschung Aparato, metodo y programa de computacion para mezclar en forma ascendente una señal de audio con mezcla descendente utilizando una suavizacion de valor de fase.
US8392200B2 (en) 2009-04-14 2013-03-05 Qualcomm Incorporated Low complexity spectral band replication (SBR) filterbanks
EP2273493B1 (en) * 2009-06-29 2012-12-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bandwidth extension encoding and decoding
EP2704143B1 (en) * 2009-10-21 2015-01-07 Panasonic Intellectual Property Corporation of America Apparatus, method and computer program for audio signal processing
RU2568278C2 (ru) * 2009-11-19 2015-11-20 Телефонактиеболагет Лм Эрикссон (Пабл) Расширение полосы пропускания звукового сигнала нижней полосы
EP2561508A1 (en) 2010-04-22 2013-02-27 Qualcomm Incorporated Voice activity detection
KR101461774B1 (ko) * 2010-05-25 2014-12-02 노키아 코포레이션 대역폭 확장기
US9047875B2 (en) * 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
JP6075743B2 (ja) * 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN102436820B (zh) * 2010-09-29 2013-08-28 华为技术有限公司 高频带信号编码方法及装置、高频带信号解码方法及装置
EP2674942B1 (en) 2011-02-08 2017-10-25 LG Electronics Inc. Method and device for audio bandwidth extension
US8908377B2 (en) * 2011-07-25 2014-12-09 Ibiden Co., Ltd. Wiring board and method for manufacturing the same
US20130259254A1 (en) 2012-03-28 2013-10-03 Qualcomm Incorporated Systems, methods, and apparatus for producing a directional sound field
EP2951825B1 (en) 2013-01-29 2021-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands

Also Published As

Publication number Publication date
EP3136386B1 (en) 2021-10-20
SG11201505883WA (en) 2015-08-28
WO2014118161A1 (en) 2014-08-07
EP3136386A1 (en) 2017-03-01
AR094670A1 (es) 2015-08-19
US20150332706A1 (en) 2015-11-19
JP6301368B2 (ja) 2018-03-28
US9640189B2 (en) 2017-05-02
JP2016510428A (ja) 2016-04-07
KR20150109416A (ko) 2015-10-01
AU2014211529A1 (en) 2015-09-17
CA2899072C (en) 2017-12-19
ES2899781T3 (es) 2022-03-14
WO2014118160A1 (en) 2014-08-07
RU2624104C2 (ru) 2017-06-30
CN105103228B (zh) 2019-04-09
BR112015017632A2 (pt) 2018-05-02
CA2899072A1 (en) 2014-08-07
AU2014211528B2 (en) 2016-10-20
JP6321684B2 (ja) 2018-05-09
TWI524332B (zh) 2016-03-01
KR20150108395A (ko) 2015-09-25
ES2914614T3 (es) 2022-06-14
ES2905846T3 (es) 2022-04-12
US20170323651A1 (en) 2017-11-09
EP2951826A1 (en) 2015-12-09
EP2951827A1 (en) 2015-12-09
EP2951826B1 (en) 2022-04-20
CN105264601B (zh) 2019-05-31
TW201443887A (zh) 2014-11-16
KR20150114483A (ko) 2015-10-12
AU2014211527A1 (en) 2015-08-06
BR112015017868B1 (pt) 2022-02-15
HK1218019A1 (zh) 2017-01-27
CA2899080A1 (en) 2014-08-07
US10354665B2 (en) 2019-07-16
MX2015009597A (es) 2015-11-25
CN105264601A (zh) 2016-01-20
JP2016507080A (ja) 2016-03-07
MX351191B (es) 2017-10-04
CN105103228A (zh) 2015-11-25
RU2625945C2 (ru) 2017-07-19
ZA201506268B (en) 2016-11-30
EP2951825A1 (en) 2015-12-09
CN105229738A (zh) 2016-01-06
US9552823B2 (en) 2017-01-24
AU2014211529B2 (en) 2016-12-22
US20150332697A1 (en) 2015-11-19
BR112015017632B1 (pt) 2022-06-07
BR112015017868A2 (pt) 2017-08-22
KR101757349B1 (ko) 2017-07-14
MX2015009536A (es) 2015-10-30
HK1218020A1 (zh) 2017-01-27
AR094671A1 (es) 2015-08-19
SG11201505908QA (en) 2015-09-29
KR101787497B1 (ko) 2017-10-18
CN105229738B (zh) 2019-07-26
JP2016510429A (ja) 2016-04-07
RU2608447C1 (ru) 2017-01-18
WO2014118159A1 (en) 2014-08-07
KR101762225B1 (ko) 2017-07-28
US9741353B2 (en) 2017-08-22
MX346944B (es) 2017-04-06
MX346945B (es) 2017-04-06
MY172710A (en) 2019-12-11
SG11201505906RA (en) 2015-08-28
PL2951825T3 (pl) 2022-03-14
MY185159A (en) 2021-04-30
ZA201506265B (en) 2016-07-27
CA2899078C (en) 2018-09-25
MY172161A (en) 2019-11-15
US20150332707A1 (en) 2015-11-19
CA2899078A1 (en) 2014-08-07
MX2015009598A (es) 2015-11-25
PT2951825T (pt) 2022-02-02
TW201435860A (zh) 2014-09-16
RU2015136799A (ru) 2017-03-13
TWI529701B (zh) 2016-04-11
CA2899080C (en) 2018-10-02
BR112015017866A2 (pt) 2018-05-08
EP2951825B1 (en) 2021-11-24
JP6289507B2 (ja) 2018-03-07
AU2014211528A1 (en) 2015-09-03
RU2015136768A (ru) 2017-03-10
AU2014211527B2 (en) 2017-03-30
AR094672A1 (es) 2015-08-19

Similar Documents

Publication Publication Date Title
US10354665B2 (en) Apparatus and method for generating a frequency enhanced signal using temporal smoothing of subbands
TWI544482B (zh) 用於使用能量限制操作產生頻率增強信號之裝置及方法

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B350 Update of information on the portal [chapter 15.35 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 28/01/2014, OBSERVADAS AS CONDICOES LEGAIS.