BR122021019078B1 - Apparatus and method for processing an input audio signal using cascading filter banks - Google Patents
Apparatus and method for processing an input audio signal using cascading filter banks Download PDFInfo
- Publication number
- BR122021019078B1 BR122021019078B1 BR122021019078-0A BR122021019078A BR122021019078B1 BR 122021019078 B1 BR122021019078 B1 BR 122021019078B1 BR 122021019078 A BR122021019078 A BR 122021019078A BR 122021019078 B1 BR122021019078 B1 BR 122021019078B1
- Authority
- BR
- Brazil
- Prior art keywords
- filter bank
- signals
- synthesis
- audio signal
- sub
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 93
- 230000005236 sound signal Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims description 77
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 134
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 134
- 238000005070 sampling Methods 0.000 claims abstract description 57
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 230000017105 transposition Effects 0.000 claims description 148
- 238000001914 filtration Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 239000004606 Fillers/Extenders Substances 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 239000000523 sample Substances 0.000 description 75
- 230000008439 repair process Effects 0.000 description 57
- 230000003595 spectral effect Effects 0.000 description 42
- 230000006870 function Effects 0.000 description 16
- 239000003638 chemical reducing agent Substances 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 10
- 230000009467 reduction Effects 0.000 description 9
- 238000012952 Resampling Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- RVRCFVVLDHTFFA-UHFFFAOYSA-N heptasodium;tungsten;nonatriacontahydrate Chemical compound O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.O.[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[Na+].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W].[W] RVRCFVVLDHTFFA-UHFFFAOYSA-N 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 102000001690 Factor VIII Human genes 0.000 description 1
- 108010054218 Factor VIII Proteins 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Um aparelho para processar um sinal de áudio de entrada (2300) depende de uma cascata de bancos de filtro, a cascata compreendendo um banco de filtro de síntese (2304) para sintetizar um sinal de áudio intermediário (2306) do sinal de áudio de entrada (2300), o sinal de áudio de entrada sendo representado por uma pluralidade de primeiros sinais de subfaixa (2303) gerados por um banco de filtro de análise (2302), em que um número de canais de banco de filtro do banco de filtro de síntese (2304) é menor do que um número de canais do banco de filtro de análise (2302). O aparelho ainda compreende outro banco de filtro de análise (2307) para gerar uma pluralidade de segundos sinais de subfaixa (2308) do sinal de áudio intermediário (2306), em que o outro banco de filtro de análise tem um número de canais sendo diferente do número de canais do banco de filtro de síntese (2304), de forma que uma taxa de amostragem de um sinal de subfaixa da pluralidade de segundos sinais de subfaixa (2308) seja diferente de uma taxa de amostragem de um primeiro sinal de subfaixa da pluralidade de primeiros sinais de subfaixa (2303).An apparatus for processing an input audio signal (2300) depends on a cascade of filter banks, the cascade comprising a synthesis filter bank (2304) for synthesizing an intermediate audio signal (2306) from the input audio signal. (2300), the input audio signal being represented by a plurality of first sub-track signals (2303) generated by an analysis filter bank (2302), wherein a number of filter bank channels of the filter bank of synthesis (2304) is less than a number of channels in the analysis filter bank (2302). The apparatus further comprises another analysis filter bank (2307) for generating a plurality of second sub-track signals (2308) of the intermediate audio signal (2306), wherein the other analysis filter bank has a number of channels being different. of the number of channels of the synthesis filter bank (2304), such that a sampling rate of a sub-band signal of the plurality of second sub-band signals (2308) is different from a sampling rate of a first sub-band signal of the plurality of first subrange signals (2303).
Description
[0001] A presente invenção se refere aos sistemas de codificação da fonte de áudio que fazem uso de um método de transposição harmônica para reconstrução de alta frequência (HFR), e para os processadores de efeito digital, por exemplo, os chamados excitadores, onde a geração de distorção harmônica soma luminosidade ao sinal processado, e aos extensores de tempo, onde a duração de um sinal é estendida enquanto mantém o conteúdo espectral do original.[0001] The present invention relates to audio source encoding systems that make use of a harmonic transposition method for high frequency reconstruction (HFR), and to digital effect processors, for example, the so-called exciters, where harmonic distortion generation adds luminosity to the processed signal, and to time extenders, where the duration of a signal is extended while maintaining the spectral content of the original.
[0002] Em PCT WO 98/57436 o conceito de transposição foi estabelecido como um método para recriar uma faixa de alta frequência de uma faixa de frequência inferior de um sinal de áudio. Uma economia substancial na taxa de bits pode ser obtida utilizando este conceito na codificação de áudio. Em um sistema de codificação de áudio com base em HFR, um sinal de largura de banda baixa é processado por um codificador de forma de onda central e as frequências mais altas são regeneradas utilizando transposição e informações laterais adicionais da taxa de bits muito baixa que descrevem a forma espectral alvo no lado do codificador. Para taxas de bits baixas, onde a largura de banda do sinal central codificado é estreita, esta se torna cada vez mais importante para recriar uma banda alta com características perceptualmente agradáveis. A transposição harmônica definida em PCT WO 98/57436 realiza muito bem para o material musical complexo em uma situação com baixa frequência cruzada. O princípio de uma transposição harmônica é que um sinusóide com frequência m é mapeado a um sinusóide com frequência Tm onde T > 1 é um número inteiro que define a ordem da transposição. Em contraste, um método de HFR com base na modulação de única faixa lateral (SSB) mapeia um sinusóide com frequência m em um sinusóide com frequência m+Δm onde Δm é uma mudança de frequência fixa. Dado um sinal central com baixa largura de banda, um artefato de toque dissonante pode resultar da transposição SSB.[0002] In PCT WO 98/57436 the concept of transposition was established as a method for recreating a high frequency range from a lower frequency range of an audio signal. Substantial bitrate savings can be achieved using this concept in audio coding. In an HFR-based audio coding system, a low-bandwidth signal is processed by a center waveform encoder and higher frequencies are regenerated using transposition and additional very low bitrate side information that describe the target spectral shape on the encoder side. For low bit rates, where the bandwidth of the encoded central signal is narrow, it becomes increasingly important to recreate a high bandwidth with perceptually pleasing characteristics. Harmonic transposition defined in PCT WO 98/57436 performs very well for complex musical material in a situation with low cross frequency. The principle of harmonic transposition is that a sinusoid with frequency m is mapped to a sinusoid with frequency Tm where T > 1 is an integer that defines the order of transposition. In contrast, an HFR method based on single sideband (SSB) modulation maps a sinusoid with frequency m to a sinusoid with frequency m+Δm where Δm is a fixed frequency shift. Given a low bandwidth center signal, a jarring ring artifact can result from SSB transposition.
[0003] Para atingir a melhor qualidade de áudio possível, os métodos HFR harmônica de alta qualidade do estado técnico empregam os bancos de filtro modulados complexos, por exemplo, uma Transformação de Fourier de Curta Duração (STFT), com resolução de alta frequência e um alto grau de sobreamostragem para atingir a qualidade de áudio necessária. A fina resolução é necessária para evitar distorção da intermodulação indesejada que surge do processamento não linear das somas de sinusóides. Com resolução de frequência suficientemente alta, ou seja, subfaixas estreitas, os métodos de alta qualidade têm o objetivo de ter um máximo de um sinusóide em cada subfaixa. Um alto grau de sobreamostragem em tempo é necessário para evitar o tipo alternativo de distorção, e certo grau de sobreamostragem na frequência é necessário para evitar pré-ecos para sinais transitórios. A desvantagem óbvia é que a complexidade computacional pode se tornar alta.[0003] To achieve the best possible audio quality, state-of-the-art high-quality harmonic HFR methods employ complex modulated filter banks, e.g. a Short Duration Fourier Transform (STFT), with high frequency resolution and a high degree of oversampling to achieve the required audio quality. Fine resolution is required to avoid unwanted intermodulation distortion that arises from nonlinear processing of sinusoid sums. With sufficiently high frequency resolution, i.e. narrow subranges, high quality methods aim to have a maximum of one sinusoid in each subrange. A high degree of time oversampling is necessary to avoid the alternate type of distortion, and a certain degree of frequency oversampling is necessary to avoid pre-echoes for transient signals. The obvious disadvantage is that the computational complexity can become high.
[0004] A transposição harmônica da subfaixa com base no bloco é outro método de HFR para suprimir os produtos de intermodulação, cujo caso um banco de filtro com resolução de frequência grossa e um grau inferior de sobreamostragem é empregado, por exemplo, um banco de QMF multicanal. Neste método, um bloco de tempo das amostras de subfaixa complexa é processado por um modificador de fase comum enquanto a superposição das várias amostras modificadas forma uma amostra de subfaixa de saída. Isto tem o efeito líquido de suprimir os produtos de intermodulação que, por outro lado, ocorreriam quando o sinal de entrada de subfaixa consiste em vários sinusoides. A transposição com base no processamento de subfaixa com base no bloco tem a complexidade computacional muito inferior às transposições de alta qualidade e atinge quase a mesma qualidade para muitos sinais. Entretanto, a complexidade é ainda muito mais alta que para os métodos de HFR com base na SSB trivial, visto que uma pluralidade de bancos de filtro de análise, cada sinal de processamento de diferentes ordens de transposição T, é necessária em uma aplicação típica de HFR para sintetizar a largura de banda necessária. Adicionalmente, uma abordagem comum é adaptar a taxa de amostragem dos sinais de entrada para encaixar os bancos de filtro de análise de um tamanho constante, embora os bancos de filtro processem sinais de diferentes ordens de transposição. Também é comum aplicar os filtros passa-baixo aos sinais de entrada para obter os sinais de saída, processados de diferentes ordens de transposição, com densidades espectrais de energia sem sobreposição.[0004] Block-based subband harmonic transposition is another HFR method to suppress intermodulation products, in which case a filter bank with coarse frequency resolution and a lower degree of oversampling is employed, for example, a bank of Multichannel QMF. In this method, a time block of complex subrange samples is processed by a common phase modifier while the superposition of several modified samples forms an output subrange sample. This has the net effect of suppressing intermodulation products that would otherwise occur when the subband input signal consists of multiple sinusoids. Transposition based on block-based subband processing has much lower computational complexity than high-quality transpositions and achieves nearly the same quality for many signals. However, the complexity is still much higher than for HFR methods based on trivial SSB, since a plurality of analysis filter banks, each processing signal of different orders of transposition T, is required in a typical application of HFR to synthesize the required bandwidth. Additionally, a common approach is to adapt the sampling rate of the input signals to fit the analysis filterbanks of a constant size, although the filterbanks process signals of different transposition orders. It is also common to apply low-pass filters to input signals to obtain output signals, processed in different transposition orders, with non-overlapping spectral energy densities.
[0005] O armazenamento ou transmissão dos sinais de áudio geralmente está sujeito às restrições da estrita taxa de bits. No passado, os codificadores eram forçados a reduzir drasticamente a largura de banda de áudio transmitido apenas quando uma taxa de bits muito baixa estava disponível. Atualmente, os codecs de áudio modernos podem codificar sinais de banda ultralarga utilizando os métodos de extensão da largura de banda (BWE) [1-12]. Estes algoritmos dependem de uma representação paramétrica do conteúdo de alta frequência (HF) que é gerado da parte de baixa frequência (LF) do sinal decodificado por meios de transposição à região espectral de HF (“reparação”) e aplicação de um parâmetro acionado pós-processamento. A parte de LF é codificada com qualquer áudio ou codificador de discurso. Por exemplo, os métodos de extensão da largura de banda métodos descritos em [1-4] dependem de uma modulação de banda lateral única (SSB), geralmente também chamada de método de “cópia”, para gerar vários pedaços de HF.[0005] The storage or transmission of audio signals is generally subject to strict bit rate restrictions. In the past, encoders were forced to drastically reduce the bandwidth of transmitted audio only when a very low bit rate was available. Currently, modern audio codecs can encode ultra-wideband signals using Bandwidth Extension (BWE) methods [1-12]. These algorithms rely on a parametric representation of the high frequency (HF) content that is generated from the low frequency (LF) part of the decoded signal by means of transposition to the HF spectral region ("repair") and application of a post-triggered parameter. -processing. The LF part is encoded with any audio or speech encoder. For example, the bandwidth extension methods described in [1-4] rely on a single sideband modulation (SSB), often also called a “copy” method, to generate multiple HF chunks.
[0006] Recentemente, um novo algoritmo, que emprega um banco de vocoders de fase [15-17] para a geração dos diferentes pedaços, foi apresentado [13] (ver figura 20). Este método foi desenvolvido para evitar a rugosidade auditiva que é geralmente observada em sinais sujeitos à extensão da largura de banda da SSB. Entretanto, visto que o algoritmo de BWE é executado no lado do decodificador de uma corrente de codec, a complexidade computacional é um problema sério. Os métodos da técnica anterior, especialmente HBE com base no vocoder de fase, valorizam uma complexidade computacional muito elevada comparada aos métodos com base em SSB.[0006] Recently, a new algorithm, which employs a bank of phase vocoders [15-17] to generate the different chunks, was presented [13] (see figure 20). This method was developed to avoid the auditory roughness that is commonly seen in signals subject to the SSB bandwidth extension. However, since the BWE algorithm runs on the decoder side of a codec stream, computational complexity is a serious problem. Prior art methods, especially HBE based on phase vocoder, value a very high computational complexity compared to SSB based methods.
[0007] Conforme descrito acima, os esquemas da extensão da largura de banda existentes aplicam apenas um método de reparação em um dado bloco do sinal por vez, seja ele reparação com base na SSB [1-4] ou reparação com base no vocoder de HBE [15- 17]. Adicionalmente, os codificadores modernos de áudio [19-20] oferecem a possibilidade de comutar o método de reparação globalmente em uma base do bloco de tempo entre os esquemas de reparação alternativa.[0007] As described above, existing bandwidth extension schemes apply only one repair method to a given signal block at a time, be it SSB-based repair [1-4] or vocoder-based repair of HBE [15-17]. Additionally, modern audio encoders [19-20] offer the possibility to switch the repair method globally on a time block basis between alternative repair schemes.
[0008] A reparação da cópia da SSB introduz aspereza indesejada ao sinal de áudio, mas é computacionalmente simples e preserva o tempo envolvente de transitórios. Além disso, a complexidade computacional é significativamente elevada sobre o método de cópia de SSB muito simples.[0008] SSB copy repair introduces unwanted harshness to the audio signal, but is computationally simple and preserves the transient envelope time. Furthermore, the computational complexity is significantly high over the very simple SSB copy method.
[0009] Quando chega a uma redução de complexidade, as taxas de amostragem são de importância particular. Isto é devido ao fato de que uma alta taxa de amostragem significa uma alta complexidade e uma baixa taxa de amostragem geralmente significa baixa complexidade devido ao número reduzido de operações necessárias. Por outro lado, entretanto, a situação nas aplicações de extensão da largura de banda é particularmente de forma que a taxa de amostragem do sinal de saída do codificador central tipicamente será tão baixa que esta taxa de amostragem é muito baixa para um sinal da largura de banda total. Indicado de forma diferente, quando a taxa de amostragem do sinal de saída do decodificador é, por exemplo, 2 ou 2,5 vezes a frequência máxima do sinal de saída do codificador central, então uma extensão da largura de banda, por exemplo, por um fator de 2 significa que uma operação de elevação da taxa de amostragem é necessária de forma que a taxa de amostragem do sinal estendido da largura de banda seja muito alta que a amostragem possa “cobrir” os componentes de alta frequência gerados adicionalmente.[0009] When it comes to a reduction in complexity, sampling rates are of particular importance. This is due to the fact that a high sample rate means high complexity and a low sample rate usually means low complexity due to the reduced number of operations required. On the other hand, however, the situation in bandwidth-extending applications is particularly such that the sample rate of the central encoder output signal will typically be so low that this sample rate is too low for a signal of bandwidth. full band. Indicated differently, when the sampling rate of the decoder output signal is, for example, 2 or 2.5 times the maximum frequency of the central encoder output signal, then an extension of the bandwidth, for example, by a factor of 2 means that a sample rate up operation is required so that the sample rate of the extended bandwidth signal is too high that the sample can “cover” the additionally generated high frequency components.
[0010] Adicionalmente, os bancos de filtro como bancos de filtro de análise e bancos de filtro de síntese são responsáveis por uma quantidade considerável de operações de processamento. Assim, o tamanho dos bancos de filtro, ou seja, se o banco de filtro for um banco de filtro com 32 canais, um banco de filtro com 64 canais ou mesmo um banco de filtro com um número de canais mais alto influenciará significativamente na complexidade do algoritmo de processamento de áudio. Geralmente, pode-se dizer que um alto número de canais de banco de filtro requer mais operações de processamento e, desta forma, complexidade mais alta que um pequeno número de canais de banco de filtro. Tendo em conta esta situação, nas aplicações de extensão da largura de banda e também em outras aplicações de processamento de áudio, onde diferentes taxas de amostragem são um problema, como em aplicações como vocoder ou quaisquer outras aplicações de efeito de áudio, há uma independência específica entre complexidade e taxa de amostragem ou largura de banda de áudio, que significa que as operações para elevação da taxa de amostragem ou filtragem de subfaixa podem melhorar drasticamente a complexidade sem especificamente influenciar a qualidade do áudio em um bom sentido quando as ferramentas erradas ou algoritmos são escolhidos para as operações específicas.[0010] Additionally, filter banks such as analysis filter banks and synthesis filter banks are responsible for a considerable amount of processing operations. Thus, the size of the filter banks, i.e. if the filter bank is a filter bank with 32 channels, a filter bank with 64 channels or even a filter bank with a higher number of channels will significantly influence the complexity. of the audio processing algorithm. Generally, it can be said that a high number of filter bank channels requires more processing operations and thus higher complexity than a small number of filter bank channels. Given this situation, in bandwidth extension applications and also in other audio processing applications where different sample rates are an issue, such as in applications like vocoder or any other audio effect applications, there is an independence difference between complexity and audio sample rate or bandwidth, which means that operations for upsampling or subband filtering can dramatically improve complexity without specifically influencing audio quality in a good way when the wrong tools or algorithms are chosen for specific operations.
[0011] A presente invenção tem como objetivo prover um conceito melhorado de processamento de áudio, que permite uma baixa complexidade no processamento por um lado e uma boa qualidade de áudio por outro lado.[0011] The present invention aims to provide an improved concept of audio processing, which allows low processing complexity on the one hand and good audio quality on the other.
[0012] Este objetivo é obtido por um aparelho para processar um sinal de áudio de entrada, de acordo com a reivindicação 1 ou 18, um método para processar um sinal de áudio de entrada, de acordo com a reivindicação 20 ou 21, ou um programa de computador, de acordo com a reivindicação 22.[0012] This object is achieved by an apparatus for processing an input audio signal according to
[0013] As realizações da presente invenção dependem de uma colocação específica em cascata dos bancos de filtro de análise e/o dos bancos de filtro de síntese para obter uma baixa complexidade de reamostragem sem sacrificar a qualidade do áudio. Em uma realização, um aparelho para processar um sinal de áudio de entrada compreende um banco de filtro de síntese para sintetizar um sinal de áudio intermediário a partir do sinal de áudio de entrada, onde o sinal de áudio de entrada é representado por uma pluralidade de primeiros sinais de subfaixa gerados por um banco de filtro de análise colocado na direção do processamento antes do banco de filtro de síntese, em que um número de canais de banco de filtro do banco de filtro de síntese é menor que um número de canais do banco de filtro de análise. O sinal intermediário é ainda processado por outro banco de filtro de análise para gerar uma pluralidade de segundos sinais de subfaixa do sinal de áudio intermediário, em que o outro banco de filtro de análise tem um número de canais sendo diferentes do número de canais do banco de filtro de síntese de forma que uma taxa de amostragem de um sinal de subfaixa da pluralidade de sinais de subfaixa seja diferente de uma taxa de amostragem de um primeiro sinal de subfaixa da pluralidade de primeiros sinais de subfaixa gerados pelo banco de filtro de análise.[0013] Embodiments of the present invention rely on a specific cascading of analysis filter banks and/or synthesis filter banks to achieve low resampling complexity without sacrificing audio quality. In one embodiment, an apparatus for processing an input audio signal comprises a synthesis filter bank for synthesizing an intermediate audio signal from the input audio signal, wherein the input audio signal is represented by a plurality of first subrange signals generated by an analysis filter bank placed in the processing direction before the synthesis filter bank, where a number of filter bank channels of the synthesis filter bank is less than a number of channels of the bank analysis filter. The intermediate signal is further processed by another analysis filter bank to generate a plurality of second sub-band signals of the intermediate audio signal, wherein the other analysis filter bank has a number of channels being different from the number of channels in the bank. of synthesis filter such that a sampling rate of a subrange signal of the plurality of subrange signals is different from a sampling rate of a first subrange signal of the plurality of first subrange signals generated by the analysis filter bank.
[0014] A cascata de um banco de filtro de síntese e outro banco de filtro de análise subsequentemente conectado provê uma conversão da taxa de amostragem e adicionalmente uma modulação da parte da largura de banda do sinal de áudio de entrada original que foi inserido ao banco de filtro de síntese em uma banda base. Este sinal intermediário de tempo, que agora foi extraído do sinal de áudio de entrada original que pode, por exemplo, ser um sinal de saída de um decodificador central de um esquema da extensão da largura de banda, é agora representado preferivelmente como um sinal amostrado criticamente modulado à banda base, e foi visto que esta representação, ou seja, o sinal de saída amostrado novamente, quando processado por outro banco de filtro de análise para obter uma representação da subfaixa permite um processamento de baixa complexidade de outras operações de processamento que podem ou não ocorrer e que podem, por exemplo, ser operações de processamento relacionadas à extensão da largura de banda como operações de subfaixa não lineares seguidas pelo processamento de reconstrução de alta frequência e por uma mistura das subfaixas no banco de filtro de síntese final.[0014] Cascading a synthesis filter bank and another subsequently connected analysis filter bank provides a sample rate conversion and additionally a modulation of the portion of the bandwidth of the original input audio signal that was input to the bank. of synthesis filter on a baseband. This time-intermediate signal, which has now been extracted from the original input audio signal which may, for example, be an output signal from a central decoder of a bandwidth extension scheme, is now preferably represented as a sampled signal. critically modulated to the baseband, and it has been seen that this representation, i.e. the output signal resampled, when processed by another analysis filter bank to obtain a representation of the subband allows for low-complexity processing of other processing operations that may or may not occur and which may, for example, be bandwidth-extending processing operations such as non-linear subband operations followed by high frequency reconstruction processing and a blending of the subbands in the final synthesis filter bank.
[0015] A presente aplicação provê diferentes aspectos de aparelhos, métodos ou programas de computador para processar os sinais de áudio no contexto da extensão da largura de banda e no contexto de outras aplicações de áudio, que não estão relacionadas à extensão da largura de banda. As características dos aspectos individuais subsequentemente descritos e reivindicados podem ser parcialmente ou completamente combinadas, mas podem também ser utilizadas separadamente uma da outra, visto que os aspectos individuais já provêm vantagens com relação à qualidade perceptual, complexidade computacional e recursos de processador/memória quando implementados em um sistema de computador ou microprocessador.[0015] The present application provides different aspects of apparatus, methods or computer programs to process audio signals in the context of bandwidth extension and in the context of other audio applications, which are not related to bandwidth extension. . The characteristics of the individual aspects subsequently described and claimed can be partially or completely combined, but they can also be used separately from one another, as the individual aspects already provide advantages with respect to perceptual quality, computational complexity and processor/memory resources when implemented. in a computer system or microprocessor.
[0016] As realizações provêm um método para reduzir a complexidade computacional de um método de HFR harmônica com base no bloco de subfaixa por meios de filtragem eficiente e conversão da taxa de amostragem dos sinais de entrada aos estágios de análise do banco de filtro de HFR. Ainda, os filtros passa-baixo aplicados aos sinais de entrada podem ser mostrados como obsoletos em um transposição com base no bloco de subfaixa.[0016] The realizations provide a method to reduce the computational complexity of a subband block based harmonic HFR method by means of efficient filtering and conversion of the sample rate of the input signals to the analysis stages of the HFR filter bank . Also, the low pass filters applied to the input signals can be shown as obsolete in a transpose based on the subband block.
[0017] As presentes realizações ajudam a reduzir a complexidade computacional da transposição harmônica da subfaixa com base no bloco implementando eficientemente várias ordens da transposição com base no bloco de subfaixa na estrutura de um único par de bancos de filtro de análise e de síntese. Dependendo da qualidade perceptual versus o compromisso da complexidade computacional, apenas um subconjunto adequado de ordens ou todas as ordens de transposição podem ser realizados coletivamente dentro de um par do banco de filtro. Além disso, um esquema de transposição combinada onde apenas certas ordens de transposição são calculadas diretamente em que a largura de banda restante é preenchida pela reprodução de ordens de transposição disponíveis, ou seja, previamente calculadas, (por exemplo, 2a ordem) e/ou a largura de banda codificada central. Neste caso, a reparação pode ser realizada utilizando cada combinação concebível de faixas de fonte disponíveis para reprodução.[0017] The present realizations help to reduce the computational complexity of block-based subband harmonic transposition by efficiently implementing multiple orders of subband block-based transposition in the structure of a single pair of analysis and synthesis filter banks. Depending on perceptual quality versus computational complexity compromise, only a suitable subset of orders or all transposition orders can be performed collectively within a filter bank pair. Furthermore, a combined transposition scheme where only certain transpose orders are calculated directly where the remaining bandwidth is filled by playing available transposition orders, i.e. previously calculated, (e.g. 2nd order) and/or the central coded bandwidth. In this case, repair can be performed using every conceivable combination of source tracks available for playback.
[0018] Adicionalmente, as realizações provêm um método para melhorar os métodos de HFR harmônica de alta qualidade bem como os métodos de HFR harmônica com base no bloco de subfaixa por meios do alinhamento espectral das ferramentas de HFR. Em particular, o desempenho elevado é obtido pelo alinhamento das bordas espectrais dos sinais gerados pela HFR às bordas espectrais da tabela de frequência do ajuste envolvente. Ainda, as bordas espectrais da ferramenta limitadora são, pelo mesmo princípio, alinhadas às bordas espectrais dos sinais gerados pela HFR.[0018] Additionally, the realizations provide a method to improve high quality harmonic HFR methods as well as subband block-based harmonic HFR methods by means of spectral alignment of HFR tools. In particular, high performance is achieved by aligning the spectral edges of the signals generated by the HFR to the spectral edges of the envelope fit frequency table. Furthermore, the spectral edges of the limiting tool are, by the same principle, aligned to the spectral edges of the signals generated by the HFR.
[0019] Outras realizações são configuradas para melhorar a qualidade perceptual de transitórios e ao mesmo tempo reduzindo a complexidade computacional, por exemplo, pela aplicação de um esquema de reparação que aplica uma reparação misturada que consiste na reparação harmônica e reparação de cópia.[0019] Other realizations are configured to improve the perceptual quality of transients while reducing computational complexity, for example by applying a repair scheme that applies a mixed repair consisting of harmonic repair and copy repair.
[0020] Em realizações específicas, os bancos de filtro individuais da estrutura do banco de filtro em cascata são bancos de filtro de espelho em quadratura (QMF), que depende de um filtro passa-baixo protótipo ou janela modulada utilizando um conjunto de frequências de modulação que definem as frequências centrais dos canais de banco de filtro. Preferivelmente, todas as funções da janela e filtros protótipos dependem uma da outra de forma que os filtros dos bancos de filtro com diferentes tamanhos (canais do banco de filtro) dependem um do outro também. Preferivelmente, o maior banco de filtro em uma estrutura em cascata de bancos de filtro compreendendo, em realizações, um primeiro banco de filtro de análise, um banco de filtro subsequentemente conectado, outro banco de filtro de análise, e em algum estado posterior de processamento um banco de filtro de síntese final, tem uma resposta da função de janela ou filtro de protótipo tendo um determinado número de coeficientes de função de janela ou filtro de protótipo. Os bancos de filtro com tamanho menor são versões subamostradas desta função de janela, que significa que as funções de janela para os outros bancos de filtro são versões subamostradas da “grande” função de janela. Por exemplo, se um banco de filtro tem a metade do tamanho do grande banco de filtro, então a função de janela tem metade do número de coeficientes, e os coeficientes dos bancos de filtro com tamanho menor são derivados pela subamostragem. Nesta situação, a subamostragem significa que, por exemplo, a cada segundo o coeficiente do filtro é considerado para o menor banco de filtro tendo metade do tamanho. Entretanto, quando há outras relações entre os tamanhos do banco de filtro que não são valores de números inteiros, um determinado tipo de interpolação dos coeficientes da janela é realizado de forma que no final da janela do menor banco de filtro seja novamente uma versão subamostrada da janela do maior.[0020] In specific embodiments, the individual filter banks of the cascading filter bank structure are quadrature mirror (QMF) filter banks, which rely on a prototype low-pass filter or modulated window using a set of frequencies of modulation that define the center frequencies of the filter bank channels. Preferably, all window functions and prototype filters depend on each other in such a way that filters from filter banks of different sizes (filter bank channels) depend on each other as well. Preferably, the largest filter bank in a cascading structure of filter banks comprising, in embodiments, a first analysis filter bank, a subsequently connected filter bank, another analysis filter bank, and at some later stage of processing a final synthesis filter bank, has a response from the window function or prototype filter having a certain number of coefficients from the window function or prototype filter. The smaller sized filter banks are subsampled versions of this window function, which means that the window functions for the other filter banks are subsampled versions of the “large” window function. For example, if a filter bank is half the size of the large filter bank, then the window function has half the number of coefficients, and the coefficients of the smaller filter banks are derived by subsampling. In this situation, subsampling means that, for example, every second the filter coefficient is considered for the smallest filter bank having half the size. However, when there are other relationships between the filter bank sizes that are not integer values, a certain type of interpolation of the window coefficients is performed so that at the end of the window of the smallest filter bank is again a subsampled version of the window. biggest window.
[0021] As realizações da presente invenção são particularmente úteis em situações onde apenas uma parte do sinal de áudio de entrada é necessária para mais processamento, e esta situação particularmente ocorre no contexto da extensão da largura de banda harmônica. Neste contexto, as operações de processamento do tipo vocoder são particularmente preferidas.[0021] Embodiments of the present invention are particularly useful in situations where only a part of the input audio signal is needed for further processing, and this situation particularly occurs in the context of extending the harmonic bandwidth. In this context, vocoder-like processing operations are particularly preferred.
[0022] É uma vantagem das realizações que as realizações provêm uma complexidade inferior para uma transposição de QMF pelas operações eficientes de domínio de tempo e frequência e uma qualidade do áudio melhorada para reprodução da banda espectral harmônica com base em QMF e DFT utilizando o alinhamento espectral.[0022] It is an advantage of the realizations that the realizations provide lower complexity for a QMF transposition by efficient time and frequency domain operations and an improved audio quality for QMF and DFT based harmonic spectral band reproduction using alignment spectral.
[0023] As realizações se referem aos sistemas de codificação da fonte de áudio que empregam, por exemplo, um método de transposição harmônica da subfaixa com base no bloco para reconstrução de alta frequência (HFR), e para processadores de efeito digital, por exemplo, os chamados excitadores, onde a geração de distorção harmônica soma luminosidade ao sinal processado, e aos extensores de tempo, onde a duração de um sinal é estendida enquanto mantém o conteúdo espectral do original. As realizações provêm um método para reduzir a complexidade computacional de um método de HFR harmônica com base no bloco de subfaixa por meios da filtragem eficiente e da conversão da taxa de amostragem dos sinais de entrada antes dos estágios de análise do banco de filtro de HFR. Ainda, as realizações mostram que os filtros passa-baixo convencionais aplicados aos sinais de entrada são obsoletos em um sistema de HFR do bloco de subfaixa. Adicionalmente, as realizações provêm um método para melhorar os métodos de HFR harmônica de alta qualidade bem como os métodos de HFR harmônica com base no bloco de subfaixa por meios do alinhamento espectral das ferramentas de HFR. Em particular, as realizações ensinam como o desempenho elevado é obtido pelo alinhamento das bordas espectrais dos sinais gerados pela HFR às bordas espectrais da tabela de frequência do ajuste envolvente. Ainda, as bordas espectrais da ferramenta limitadora são pelo mesmo princípio alinhado às bordas espectrais dos sinais gerados pela HFR.[0023] The realizations refer to audio source encoding systems that employ, for example, a block-based subband harmonic transposition method for high frequency reconstruction (HFR), and for digital effects processors, for example , the so-called exciters, where the generation of harmonic distortion adds luminosity to the processed signal, and the time extenders, where the duration of a signal is extended while maintaining the spectral content of the original. The embodiments provide a method for reducing the computational complexity of a subband block-based harmonic HFR method by means of efficient filtering and sample rate conversion of input signals prior to the HFR filter bank analysis stages. Further, the findings show that conventional low-pass filters applied to input signals are obsolete in a subband block HFR system. Additionally, the findings provide a method for improving high quality harmonic HFR methods as well as subband block-based harmonic HFR methods by means of spectral alignment of HFR tools. In particular, the embodiments teach how high performance is achieved by aligning the spectral edges of the signals generated by the HFR to the spectral edges of the frequency table of the enveloping fit. Furthermore, the spectral edges of the limiting tool are by the same principle aligned with the spectral edges of the signals generated by the HFR.
[0024] A presente invenção agora será descrita em forma de exemplos ilustrativos, não limitando o escopo ou espírito da invenção, com referência aos desenhos anexos, nos quais:[0024] The present invention will now be described in the form of illustrative examples, not limiting the scope or spirit of the invention, with reference to the accompanying drawings, in which:
[0025] A figura 1 ilustra a operação de uma transposição com base no bloco utilizando ordens de transposição de 2, 3 e 4 em uma estrutura do decodificador melhorada de HFR;[0025] Figure 1 illustrates the operation of a block-based transposition using transposition orders of 2, 3 and 4 in an improved HFR decoder structure;
[0026] A figura 2 ilustra a operação das unidades de extensão da subfaixa não linear na figura 1;[0026] Figure 2 illustrates the operation of the non-linear sub-range extension units in figure 1;
[0027] A figura 3 ilustra uma implementação eficiente da transposição com base no bloco da figura 1, onde os reamostradores e filtros passa-baixo precedentes do banco de filtros de análise de HFR são implementados utilizando reamostradores de domínio de tempo multitaxa e filtros passa-baixo com base em QMF;[0027] Figure 3 illustrates an efficient implementation of transposition based on the block of figure 1, where the previous resamplers and low-pass filters from the HFR analysis filter bank are implemented using multirate time domain resamplers and high-pass filters. low based on QMF;
[0028] A figura 4 ilustra um exemplo de blocos em construção para uma implementação eficiente de um reamostrador de domínio de tempo multitaxa da figura 3;[0028] Figure 4 illustrates an example of building blocks for an efficient implementation of a multirate time domain resampler of figure 3;
[0029] A figura 5 ilustra o efeito em um sinal processado exemplar pelos diferentes blocos da figura 4 para uma ordem de transposição de 2;[0029] Figure 5 illustrates the effect on an exemplary processed signal by the different blocks of figure 4 for a transposition order of 2;
[0030] A figura 6 ilustra uma implementação eficiente da transposição com base no bloco da figura 1, onde os reamostradores e filtros passa-baixo precedentes do banco de filtros de análise de HFR são recolocados pelo pequeno banco de filtros de síntese subamostrado operando em subfaixas selecionadas de um banco de filtro de análise de 32-faixas;[0030] Figure 6 illustrates an efficient implementation of transposition based on the block of figure 1, where the resamplers and preceding low-pass filters from the HFR analysis filterbank are replaced by the small subsampled synthesis filterbank operating in subranges selected from a 32-track analysis filter bank;
[0031] A figura 7 ilustra o efeito em um sinal processado exemplar por um banco de filtro de síntese subamostrado da figura 6 para uma ordem de transposição de 2;[0031] Figure 7 illustrates the effect on an exemplary processed signal by a subsampled synthesis filter bank of figure 6 for a transposition order of 2;
[0032] A figura 8 ilustra os blocos em implementação de um eficiente redutor da taxa de amostragem de domínio de tempo multitaxa de um fator 2;[0032] Figure 8 illustrates the blocks in implementation of an efficient one
[0033] A figura 9 ilustra os blocos em implementação de um eficiente redutor da taxa de amostragem de domínio de tempo multitaxa de um fator 3/2;[0033] Figure 9 illustrates the blocks in implementation of an efficient 3/2 factor multirate time domain sampling rate reducer;
[0034] A figura 10 ilustra o alinhamento das bordas espectrais dos sinais de transposição de HFR às bordas das faixas de frequência de ajuste envolvente em um codificador melhorado de HFR;[0034] Figure 10 illustrates the alignment of the spectral edges of the HFR transposition signals to the edges of the envelope adjustment frequency bands in an improved HFR encoder;
[0035] A figura 11 ilustra um cenário onde os artefatos emergem devido às bordas espectrais desalinhadas dos sinais de transposição de HFR;[0035] Figure 11 illustrates a scenario where artifacts emerge due to misaligned spectral edges of the HFR transposition signals;
[0036] A figura 12 ilustra um cenário onde os artefatos da figura 11 são evitados como um resultado de bordas espectrais alinhadas dos sinais de transposição de HFR;[0036] Figure 12 illustrates a scenario where the artifacts of Figure 11 are avoided as a result of aligned spectral edges of the HFR transposition signals;
[0037] A figura 13 ilustra a adaptação das bordas espectrais na ferramenta limitadora às bordas espectrais dos sinais de transposição de HFR;[0037] Figure 13 illustrates the adaptation of the spectral edges in the limiting tool to the spectral edges of the HFR transposition signals;
[0038] A figura 14 ilustra o princípio de transposição harmônica da subfaixa com base no bloco;[0038] Figure 14 illustrates the principle of harmonic transposition of the subband based on the block;
[0039] A figura 15 ilustra um exemplo cenário para a aplicação de transposição com base no bloco de subfaixa utilizando várias ordens de transposição em um codec de áudio melhorado de HFR;[0039] Figure 15 illustrates an example scenario for applying subband block based transposition using various transposition orders in an HFR enhanced audio codec;
[0040] A figura 16 ilustra um cenário exemplar da técnica anterior para a operação de uma transposição de ordem múltipla com base no bloco de subfaixa que aplica um banco de filtro de análise separado por ordem de transposição;[0040] Fig. 16 illustrates an exemplary prior art scenario for operating a multi-order transposition based on the subrange block that applies a separate analysis filter bank by transposition order;
[0041] A figura 17 ilustra um cenário do exemplo inventivo para a eficiente operação de uma transposição de ordem múltipla com base no bloco de subfaixa aplicando um único banco de filtro de análise de QMF de 64 faixas;[0041] Figure 17 illustrates an inventive example scenario for efficient operation of a subrange block-based multi-order transposition by applying a single 64-range QMF analysis filter bank;
[0042] A figura 18 ilustra outro exemplo para formar um amplo processamento com o sinal de subfaixa;[0042] Figure 18 illustrates another example to form a broad processing with the subband signal;
[0043] A figura 19 ilustra uma reparação da modulação da banda lateral única (SSB);[0043] Figure 19 illustrates a repair of single sideband (SSB) modulation;
[0044] A figura 20 ilustra uma reparação da extensão da largura de banda harmônica (HBE);[0044] Figure 20 illustrates a repair of the harmonic bandwidth extension (HBE);
[0045] A figura 21 ilustra uma reparação misturada, onde a primeira reparação é gerada pela propagação de frequência e a segunda recuperação é gerada por uma cópia de SSB de uma parte de baixa frequência;[0045] Figure 21 illustrates a mixed repair, where the first repair is generated by frequency propagation and the second recovery is generated by an SSB copy of a low frequency part;
[0046] A figura 22 ilustra uma reparação alternativa misturada utilizando a primeira reparação de HBE para uma operação de cópia de SSB para gerar uma segunda recuperação;[0046] Fig. 22 illustrates a mixed alternative repair using the first HBE repair for an SSB copy operation to generate a second recovery;
[0047] A figura 23 ilustra uma estrutura em cascata preferida dos bancos de filtro de análise e de síntese;[0047] Figure 23 illustrates a preferred cascade structure of analysis and synthesis filter banks;
[0048] A figura 24a ilustra uma implementação preferida do pequeno banco de filtro de síntese da figura 23;[0048] Fig. 24a illustrates a preferred implementation of the small synthesis filterbank of Fig. 23;
[0049] A figura 24b ilustra uma implementação preferida do outro banco de filtro de análise da figura 23;[0049] Fig. 24b illustrates a preferred implementation of the other analysis filter bank of Fig. 23;
[0050] A figura 25a ilustra visões gerais de certos bancos de filtro de análise e de síntese de ISO/IEC 14496-3: 2005(E), e particularmente uma implementação de um banco de filtro de análise que pode ser utilizado para o banco de filtro de análise da figura 23 e uma implementação de um banco de filtro de síntese que pode ser utilizado para o banco de filtro de síntese final da figura 23;[0050] Figure 25a illustrates overviews of certain analysis and synthesis filter banks of ISO/IEC 14496-3: 2005(E), and particularly an implementation of an analysis filter bank that can be used for the bank analysis filter bank of Fig. 23 and an implementation of a synthesis filter bank that can be used for the final synthesis filter bank of Fig. 23;
[0051] A figura 25b ilustra uma implementação como um fluxograma do banco de filtro de análise da figura 25a;[0051] Figure 25b illustrates an implementation as a flowchart of the analysis filter bank of figure 25a;
[0052] A figura 25c ilustra uma implementação preferida do banco de filtro de síntese da figura 25a;[0052] Fig. 25c illustrates a preferred implementation of the synthesis filter bank of Fig. 25a;
[0053] A figura 26 ilustra uma visão geral da estrutura no contexto do processamento de extensão da largura de banda; e[0053] Figure 26 illustrates an overview of the structure in the context of bandwidth extension processing; and
[0054] A figura 27 ilustra uma implementação preferida de um processamento da saída dos sinais de subfaixa pelo outro banco de filtro de análise da figura 23.[0054] Figure 27 illustrates a preferred implementation of processing the output of the subband signals by the other analysis filter bank of figure 23.
[0055] As realizações descritas abaixo são meramente ilustrativas e podem prover uma complexidade inferior de uma transposição de QMF por operações eficientes de domínio de tempo e frequência, e qualidade de áudio melhorada de SBR harmônica com base em QMF e DFT pelo alinhamento espectral. É entendido que as modificações e variações das disposições e os detalhes descritos aqui serão aparentes aos técnicos no assunto. É intenção, desta forma, estar limitado apenas pelo escopo das próximas reivindicações da patente e não pelos detalhes específicos apresentados em forma de descrição e explicação das realizações aqui.[0055] The realizations described below are merely illustrative and can provide a lower complexity of a QMF transposition by efficient time and frequency domain operations, and improved audio quality of harmonic SBR based on QMF and DFT by spectral alignment. It is understood that modifications and variations of the provisions and details described herein will be apparent to those skilled in the art. It is intended, therefore, to be limited only by the scope of the forthcoming patent claims and not by the specific details presented in the form of description and explanation of the embodiments herein.
[0056] A figura 23 ilustra a implementação preferida do aparelho para processar um sinal de áudio de entrada, onde o sinal de áudio de entrada pode ser um sinal de entrada de domínio de tempo em linha 2300 emitido por, por exemplo, um decodificador de áudio central 2301. O sinal de áudio de entrada é inserido em um primeiro banco de filtro de análise 2302 que é, por exemplo, um banco de filtro de análise tendo M canais. Particularmente, o banco de filtro de análise 2302 desta forma emite M sinais de subfaixa 2303, que têm uma taxa de amostragem fS = fS/M. Isto significa que o banco de filtro de análise é um banco de filtro de análise criticamente amostrado. Isto significa que o banco de filtro de análise 2302 provê, para cada bloco de M amostras de entrada em linha 2300 uma única amostra para cada canal de subfaixa. Preferivelmente, o banco de filtro de análise 2302 é um banco de filtro modulado complexo que significa que cada amostra de subfaixa tem uma magnitude e uma fase ou equivalentemente uma parte real e uma parte imaginária. Assim, o sinal de áudio de entrada em linha 2300 é representado por uma pluralidade de primeiros sinais de subfaixa 2303 que são gerados pelo banco de filtro de análise 2302.[0056] Fig. 23 illustrates the preferred implementation of the apparatus for processing an input audio signal, where the input audio signal may be a time domain input signal on
[0057] Um subconjunto de todos os primeiros sinais de subfaixa é inserido em um banco de filtro de síntese 2304. O banco de filtro de síntese 2304 tem canais Ms, onde Ms é menor que M. Assim, nem todos os sinais de subfaixa gerados pelo banco de filtro 2302 são inseridos ao banco de filtro de síntese 2304, mas apenas um subconjunto, ou seja, uma determinada quantidade menor de canais conforme indicado por 2305. Na figura 23 da realização, o subconjunto 2305 protege uma determinada largura de banda intermediária, mas de modo alternativo, o subconjunto também pode proteger uma largura de banda começando com o canal do banco de filtro 1 do banco de filtro 2302 até um canal tendo um número de canal menor que M, ou de modo alternativo, o subconjunto 2305 também pode proteger um grupo de sinais de subfaixa alinhados com o canal M mais alto e estendido a um canal inferior tendo um número de canal mais alto que o número de canal 1. De modo alternativo, a indexação do canal pode ser iniciada com zero dependendo da notificação utilizada atualmente. Preferivelmente, entretanto, para as operações de extensão da largura de banda uma determinada largura de banda intermediária representada pelo grupo de sinais de subfaixa indicados em 2305 é inserida ao banco de filtro de síntese 2304.[0057] A subset of all first subrange signals is input into a
[0058] Os outros canais que não pertencem ao grupo 2305 não são inseridos ao banco de filtro de síntese 2304. O banco de filtro de síntese 2304 gera um sinal de áudio intermediário 2306, que tem uma taxa de amostragem igual a fS • MS/M. Visto que MS é menor que M, a taxa de amostragem do sinal intermediário 2306 será menor que a taxa de amostragem do sinal de áudio de entrada em linha 2300. Desta forma, o sinal intermediário 2306 representa um sinal subamostrado e demodulado correspondente ao sinal da largura de banda representado pelas subfaixas 2305, onde o sinal é demodulado à banda base, visto que o canal mais baixo do grupo 2305 é inserido ao canal 1 do banco de filtro de síntese Ms e o canal mais alto do bloco 2305 é inserido à entrada mais alta do bloco 2304, longe de algumas operações de preenchimento zero para o canal mais baixo ou o mais alto para evitar problemas de aliasing nas bordas do subconjunto 2305. O aparelho para processar um sinal de áudio de entrada ainda compreende outro banco de filtro de análise 2307 para analisar o sinal intermediário 2306, e o outro banco de filtro de análise tem canais MA, onde MA é diferente de MS e preferivelmente é maior que MS. Quando MA é maior que Ms, então a taxa de amostragem dos sinais de subfaixa emitidos pelo outro banco de filtro de análise 2307 e indicados em 2308 será mais baixa que a taxa de amostragem de um sinal de subfaixa 2303. Entretanto, quando MA for menor que MS, então a taxa de amostragem de um sinal de subfaixa 2308 será mais alta que uma taxa de amostragem de um sinal de subfaixa da pluralidade de primeiros sinais de subfaixa 2303.[0058] The other channels that do not belong to
[0059] Desta forma, a cascata dos bancos de filtro 2304 e 2307 (e preferivelmente 2302) proveem a elevação da taxa de amostragem muito eficiente e operações de redução ou elevação da taxa de amostragem de alta qualidade ou geralmente uma ferramenta de processamento de reamostragem muito eficiente. A pluralidade de segundos sinais de subfaixa 2308 é preferivelmente ainda processada em um processador 2309 que realiza o processamento com os dados reamostrados pela cascata de bancos de filtro 2304, 2307 (e preferivelmente 2302). Adicionalmente, é preferido que o bloco 2309 também realize uma operação de elevação da taxa de amostragem para as operações de processamento da extensão da largura de banda de forma que no final as subfaixas emitidas pelo bloco 2309 estejam na mesma taxa de amostragem que as subfaixas emitidas pelo bloco 2302. Então, em uma aplicação do processamento de extensão da largura de banda, estas subfaixas são inseridas juntas com as subfaixas adicionais indicadas em 2310, que são preferivelmente as subfaixas da faixa baixa como, por exemplo, geradas pelo banco de filtro de análise 2302 em um banco de filtro de síntese 2311, que finalmente provê um sinal de domínio de tempo processado, por exemplo, um sinal estendido da largura de banda tendo uma taxa de amostragem 2fS. Esta taxa de amostragem emitida pelo bloco 2311 é nesta realização 2 vezes a taxa de amostragem do sinal em linha 2300, e esta taxa de amostragem emitida pelo bloco 2311 é grande o suficiente de forma que a largura de banda adicional gerada pelo processamento no bloco 2309 possa ser representada no sinal de domínio de tempo processado com alta qualidade do áudio.[0059] In this way, the cascade of
[0060] Dependendo da determinada aplicação da presente invenção dos bancos de filtro em cascata, o banco de filtro 2302 pode estar em um dispositivo separado e um aparelho para processar um sinal de áudio de entrada pode apenas compreender o banco de filtro de síntese 2304 e o outro banco de filtro de análise 2307. Indicado de forma diferente, o banco de filtro de análise 2302 pode ser distribuído separadamente de um “pós”-processador compreendendo blocos 2304, 2307 e, dependendo da implementação, os blocos 2309 e 2311, também.[0060] Depending on the particular application of the present invention of cascading filter banks, the
[0061] Em outras realizações, a aplicação da presente invenção que implementa ao bancos de filtro em cascata pode ser diferente em que um determinado dispositivo compreende o banco de filtro de análise 2302 e o menor banco de filtro de síntese 2304, e o sinal intermediário é provido a um diferente processador distribuído por um diferente distribuidor ou através de um diferente canal de distribuição. Então, a combinação do banco de filtro de análise 2302 e o menor banco de filtro de síntese 2304 representa uma forma muito eficiente de redução da taxa de amostragem e ao mesmo tempo a demodulação do sinal da largura de banda representada pelo subconjunto 2305 à banda base. Esta redução da taxa de amostragem e a demodulação à banda base foi realizada sem qualquer perda na qualidade do áudio, e particularmente sem qualquer perda na informação do áudio e desta forma é um processamento de alta qualidade.[0061] In other embodiments, the application of the present invention which implements to the cascading filter banks may be different in that a given device comprises the
[0062] A tabela na figura 23 ilustra determinados números exemplares para diferentes dispositivos. Preferivelmente, o banco de filtro de análise 2302 tem 32 canais, o banco de filtro de síntese tem 12 canais, o outro banco de filtro de análise tem 2 vezes os canais do banco de filtro de síntese, como 24 canais, e o banco de filtro de síntese final 2311 tem 64 canais. Geralmente indicado, o número de canais no banco de filtro de análise 2302 é grande, o número de canais no banco de filtro de síntese 2304 é pequeno, o número de canais no outro banco de filtro de análise 2307 é médio e o número de canais no banco de filtro de síntese 2311 é muito grande. As taxas de amostragem dos sinais de subfaixa emitidos pelo banco de filtro de análise 2302 é fS/M. O sinal intermediário tem uma taxa de amostragem fS • MS/M. Os canais de subfaixa do outro banco de filtro de análise indicados em 2308 têm uma taxa de amostragem de fS • MS/(M • MA) , e o banco de filtro de síntese 2311 provê um sinal de saída tendo uma taxa de amostragem de 2fS, quando o processamento no bloco 2309 dobra a taxa de amostragem. Entretanto, quando o processamento no bloco 2309 não dobra a taxa de amostragem, então a saída taxa de amostragem emitida pelo banco de filtro de síntese será correspondentemente menor. Subsequentemente, outras realizações preferidas relacionadas a presente invenção são discutidas.[0062] The table in Figure 23 illustrates certain exemplar numbers for different devices. Preferably, the
[0063] A figura 14 ilustra o princípio da transposição com base no bloco de subfaixa. O sinal do domínio de tempo de entrada é inserido a um banco de filtro de análise 1401 que provê uma grande variedade de sinais de subfaixa com valor complexo. Estes são inseridos à unidade de processamento da subfaixa 1402. A grande variedade de subfaixas de saída com valor complexo é inserido ao banco de filtro de síntese 1403, que por sua vez emite o sinal de domínio de tempo modificado. A unidade de processamento da subfaixa 1402 realiza operações de processamento não linear da subfaixa com base no bloco de forma que o sinal de domínio de tempo modificado seja uma versão transposta do sinal de entrada correspondente a uma ordem de transposição T > 1 . O conceito de um processamento da subfaixa com base no bloco é definido compreendendo operações não lineares nos blocos de mais que uma amostra de subfaixa por vez, onde os blocos subsequentes estão em janelas e sobrepostos adicionados para gerar os sinais de saída de subfaixa.[0063] Figure 14 illustrates the principle of transposition based on the subtrack block. The input time domain signal is fed to an
[0064] Os bancos de filtro 1401 e 1403 podem ser de qualquer tipo modulado exponencial complexo como QMF ou DFT em janela. Eles podem ser igual ou diferentemente empilhados na modulação e podem ser definidos de uma ampla faixa de filtros de protótipos ou janelas. É importante conhecer o quociente Δfs / ΔfA dos dois parâmetros do banco de filtro, medido em unidades físicas.[0064]
[0065] ΔfA : o espaçamento da frequência da subfaixa do banco de filtro de análise 1401;[0065] ΔfA : the frequency spacing of the sub-band of
[0066] Δfs : o espaçamento da frequência da subfaixa do banco de filtro de síntese 1403.[0066] Δfs : The subband frequency spacing of the
[0067] Para a configuração do processamento da subfaixa 1402 é necessário localizar a correspondência entre os índices da subfaixa fonte e alvo. É observado que uma sinusoide de entrada da frequência física Q resultará em uma contribuição principal ocorrendo nas subfaixas de entrada com índice n ~Q/ΔfA . Uma sinusoide de saída da frequência física desejada transposta T-Q resultará da inserção da subfaixa da síntese com índice m =T-Q/Δfs . Assim, os valores do índice de subfaixa fonte apropriados do processamento da subfaixa para um determinado índice de subfaixa alvo m devem obedecer [0067] In order to configure the processing of the 1402 subrange, it is necessary to find the correspondence between the source and target subrange indices. It is observed that an input sinusoid of physical frequency Q will result in a main contribution occurring in the input subbands with index n ~Q/ΔfA . An output sinusoid of the desired physical frequency transposed TQ will result from the insertion of the synthesis subband with index m =TQ/Δfs . Thus, the appropriate source subrange index values from subrange processing for a given target subrange index m must conform to
[0068] A figura 15 ilustra um cenário exemplar para a aplicação de transposição com base no bloco de subfaixa utilizando várias ordens da transposição em um codec de áudio melhorado de HFR. Um fluxo de dados transmitido é recebido no decodificador central 1501, que provê um sinal central decodificado da baixa largura de banda em uma frequência de amostragem fs. A baixa frequência é reamostrada à frequência de amostragem de saída 2fs por meios de um banco de análise de QMF de 32 faixas complexo modulado 1502 seguido por um banco de síntese de QMF de 64 faixas (QMF inverso) 1505. Os dois bancos de filtro 1502 e 1505 têm os mesmos parâmetros de resolução física ΔfS = ΔfA e a unidade de processamento de HFR 1504 simplesmente deixa através das subfaixas inferiores não modificadas correspondentes ao baixo sinal da largura de banda central. O conteúdo de alta frequência do sinal de saída é obtido pela inserção das subfaixas mais altas do banco de síntese de QMF de 64 faixas 1505 com as faixas de saída da múltipla unidade de transposição 1503, sujeito à forma espectral e modificação realizada pela unidade de processamento de HFR 1504. A múltipla transposição 1503 considera como entrada o sinal central decodificado e emite uma grande variedade de sinais de subfaixa que representa a análise de 64 faixas de QMF de uma superposição ou combinação de vários componentes transpostos. O objetivo é que se o processamento de HFR é desviado, cada componente corresponde a uma transposição física do número inteiro do sinal central, ( T = 2,3,K).[0068] Figure 15 illustrates an exemplary scenario for applying subband block-based transposition using various transposition orders in an HFR enhanced audio codec. A transmitted data stream is received at the
[0069] A figura 16 ilustra um cenário exemplar da técnica anterior para a operação de uma transposição de ordem múltipla com base no bloco de subfaixa 1603 aplicando um banco de filtro de análise separado por ordem de transposição. Aqui três ordens de transposição T = 2,3,4 serão produzidas e administradas no domínio de uma QMF de 64 faixas operando na taxa de amostragem de saída 2fs. A unidade de união 1604 simplesmente seleciona e combina as subfaixas relevantes de cada ramificação do fator de transposição em uma única grande variedade de subfaixas de QMF a ser inseridas na unidade de processamento de HFR.[0069] Fig. 16 illustrates an exemplary prior art scenario for operating a multi-order transposition based on subrange block 1603 by applying a separate analysis filter bank by transposition order. Here three transposition orders T = 2,3,4 will be produced and administered in the domain of a 64-band QMF operating at the output sample rate 2fs. The 1604 splice unit simply selects and combines the relevant subranges from each branch of the transpose factor into a single wide variety of QMF subranges to be fed into the HFR processing unit.
[0070] Considere primeiro o caso T = 2 . O objetivo é especificamente que a corrente de processamento de uma análise de QMF de 64 faixas 1602-2, uma unidade de processamento da subfaixa 1603-2, e uma síntese de QMF de 64 faixas 1505 resulta em uma transposição física de T =2 . A identificação destes três blocos com 1401, 1402 e 1403 da figura 14, um considera que e ΔfS IΔfA = 2 de forma que (1) resulta na especificação para 1603-2 que a correspondência entre as subfaixas fonte n e alvo m é determinada por n=m .[0070] Consider first the case T = 2 . The objective is specifically that the processing stream of a 64-lane QMF parse 1602-2, a sub-band processing unit 1603-2, and a 64-lane QMF parse 1505 results in a physical transposition of T=2. The identification of these three blocks with 1401, 1402 and 1403 of figure 14, one considers that e ΔfS IΔfA = 2 so that (1) results in the specification for 1603-2 that the correspondence between the source n and target subranges m is determined by n =m.
[0071] Para o caso T = 3 , o sistema exemplar inclui um conversor da taxa de amostragem 1601-3 que converte a taxa de amostragem baixa de entrada por um fator 3/2 de fs a 2fs/3. O objetivo é especificamente que a corrente do processamento da análise de QMF de 64 faixas 1602-3, a unidade de processamento da subfaixa 1603-3, e a síntese de QMF de 64 faixas 1505 resulta em uma transposição física de T = 3 . A identificação destes três blocos com 1401, 1402 e 1403 da figura 14, um considera devido à reamostragem que ΔfS IΔfA = 3 de forma que (1) provê a especificação para 1603-3 que a correspondência entre as subfaixas fonte n e subfaixas alvo m é novamente determinada por n = m .[0071] For the T = 3 case, the exemplary system includes a 1601-3 sample rate converter that converts the low input sample rate by a factor of 3/2 from fs to 2fs/3. The objective is specifically that the processing stream of the 64-lane QMF parsing 1602-3, the sub-band processing unit 1603-3, and the 64-lane QMF parsing 1505 results in a physical transposition of T = 3 . The identification of these three blocks with 1401, 1402 and 1403 of figure 14, one considers due to resampling that ΔfS IΔfA = 3 so that (1) provides the specification for 1603-3 that the correspondence between source subranges n and target subranges m is again determined by n = m .
[0072] Para o caso T = 4 , o sistema exemplar inclui um conversor da taxa de amostragem 1601-4 que converte a taxa de amostragem baixa de entrada por um fator dois de fs a fs/2. O objetivo é especificamente que a corrente do processamento da análise de QMF de 64 faixas 1602-4, a unidade de processamento da subfaixa 1603-4, e a síntese de QMF de 64 faixas 1505 resulta em uma transposição física de T = 4 . A identificação destes três blocos com 1401, 1402 e 1403 da figura 14, um considera devido à reamostragem que ΔfS IΔfA = 4 de forma que (1) provê a especificação para 1603-4 que a correspondência entre as subfaixas fonte n e subfaixas alvo m também é dada por n = m .[0072] For the T = 4 case, the exemplary system includes a 1601-4 sample rate converter that converts the low input sample rate by a factor of two from fs to fs/2. The objective is specifically that the processing stream of the 64-lane QMF parsing 1602-4, the sub-band processing unit 1603-4, and the 64-lane QMF parsing 1505 results in a physical transposition of T = 4 . Identifying these three blocks with 1401, 1402 and 1403 of figure 14, one considers due to resampling that ΔfS IΔfA = 4 so that (1) provides the specification for 1603-4 that the correspondence between source subranges n and target subranges m also is given by n = m .
[0073] A figura 17 ilustra um cenário do exemplo inventivo para a eficiente operação de uma transposição de ordem múltipla com base no bloco de subfaixa aplicando um único banco de filtro de análise QMF de 64 faixas. De fato, o uso de três bancos de análise de QMF separados e dois conversores da taxa de amostragem na figura 16 resulta em uma complexidade computacional relativamente elevada, bem como algumas desvantagens de implementação para o processamento com base na estrutura devido à conversão da taxa de amostragem 1601-3. As realizações atuais ensinam substituir as duas ramificações 1601-3 ^ 1602-3 ^ 1603-3 e 1601-4 ^ 1602-4 ^ 1603-4 pelo processamento da subfaixa 1703-3 e 1703-4, respectivamente, em que a ramificação 1602-2 ^ 1603-2 é mantida inalterada comparada à figura 16. Todas as três ordens de transposição agora terão que ser realizadas em um domínio do banco de filtro com referência à figura 14, onde ΔfS IΔfA = 2 . Para o caso T =3 , a especificação para 1703-3 dada por (1) é que a correspondência entre as subfaixas fonte n e as subfaixas alvo m é dada por n ~ 2 m I3 . Para o caso T = 4, a especificação para 1703-4 dada por (1) é que a correspondência entre as subfaixas fonte n e as subfaixas alvo m é dada por n ~ 2m . Para reduzir mais a complexidade, algumas ordens de transposição podem ser geradas pela cópia das ordens de transposição já calculadas ou a saída decodificador central.[0073] Figure 17 illustrates an inventive example scenario for efficient operation of a subrange block-based multi-order transposition by applying a single 64-range QMF analysis filter bank. In fact, the use of three separate QMF parse banks and two sample rate converters in Figure 16 results in relatively high computational complexity as well as some implementation disadvantages for frame-based processing due to rate conversion. sampling 1601-3. Current embodiments teach to replace the two branches 1601-3 ^ 1602-3 ^ 1603-3 and 1601-4 ^ 1602-4 ^ 1603-4 by processing the subtrack 1703-3 and 1703-4, respectively, in which branch 1602 -2 ^ 1603-2 is kept unchanged compared to figure 16. All three transposition orders will now have to be performed in a domain of the filter bank with reference to figure 14, where ΔfS IΔfA = 2 . For the case T =3 , the specification for 1703-3 given by (1) is that the correspondence between the source subranges n and the target subranges m is given by n ~ 2 m I3 . For the case T = 4, the specification for 1703-4 given by (1) is that the correspondence between the source subranges n and the target subranges m is given by n ~ 2m . To further reduce the complexity, some transposition orders can be generated by copying the already calculated transposition orders or the central decoder output.
[0074] A figura 1 ilustra a operação de uma transposição com base no bloco de subfaixa utilizando ordens de transposição de 2, 3 e 4 em uma estrutura do decodificador melhorada de HFR, como SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audio-visual objects - Parte 3: Audio]”. O fluxo de dados é decodificado ao domínio de tempo pelo decodificador central 101 e passado ao módulo de HFR 103, que gera um sinal de alta frequência do sinal central da banda base. Após a geração, o sinal gerado por HFR é dinamicamente ajustado para corresponder ao sinal original o mais próximo possível por meios das informações transmitidas adicionais. Este ajuste é realizado pelo processador de HFR 105 nos sinais de subfaixa, obtidos a partir de um ou vários bancos de análise de QMF. Um cenário típico é onde o decodificador central opera em um sinal de domínio de tempo amostrado em metade da frequência dos sinais de entrada e saída, ou seja, o módulo do decodificador de HFR reamostrará efetivamente o sinal central a duas vezes a frequência de amostragem. Esta conversão da taxa de amostra é geralmente obtida pela primeira etapa de filtragem do sinal do codificador central por meios de um banco de análise de QMF de 32 faixas 102. As subfaixas abaixo chamadas de frequência cruzada, ou seja, o subconjunto mais baixo das 32 subfaixas que contém toda a energia do sinal do codificador central é combinado com o conjunto de subfaixas que carregam o sinal gerado por HFR. Geralmente, o número das subfaixas combinadas é 64, que, após filtrar através do banco de síntese de QMF 106, resulta em um sinal convertido da taxa de amostra do codificador central combinado com a saída do módulo de HFR.[0074] Figure 1 illustrates the operation of a subband block-based transposition using transposition orders of 2, 3, and 4 in an HFR-enhanced decoder structure such as SBR [ISO/IEC 14496-3:2009, “ Information technology - Coding of audio-visual objects - Part 3: Audio]”. The data stream is decoded to the time domain by the
[0075] Na transposição com base no bloco de subfaixa do módulo de HFR 103, três ordens de transposição T = 2, 3 e 4, devem ser produzidas e administradas no domínio de uma QMF de 64 faixas operando na taxa de amostragem de saída 2fs. O sinal do domínio de tempo de entrada é filtrado com o filtro passa-baixo nos blocos 103-12, 103-13 e 103-14. Isto é feito para que os sinais de saída, processados pelas diferentes ordens de transposição, para tenham os conteúdos espectrais não sobrepostos. Os sinais ainda têm sua taxa de amostragem reduzida (103-23, 103-24) para adaptar a taxa de amostragem dos sinais de entrada ao banco de filtros de análise de um tamanho constante (neste caso 64). Pode ser observado que o aumento da taxa de amostragem, de fs para 2fs, pode ser explicado pelo fato de que os conversores da taxa de amostragem utilizam fatores de redução da taxa de amostragem de T/2 em vez de T, nos quais o último resultaria nos sinais de subfaixa transpostos tendo taxa de amostragem igual ao sinal de entrada. Os sinais com a taxa de amostragem reduzida são inseridos aos bancos de filtros de análise de HFR separados (103-32, 103-33 e 103-34), um para cada ordem de transposição, que provêm uma grande variedade de sinais de subfaixa com valor complexo. Estes são inseridos às unidades de extensão da subfaixa não linear (103-42, 103-43 e 103-44). A grande variedade de subfaixas de saída com valor complexo é inserida ao Módulo Unir/Combinar 104 com a saída do banco de análise subamostrado 102. A unidade Unir/Combinar simplesmente une as subfaixas do banco de filtro de análise central 102 e cada fator de extensão se subdivide em uma única grande variedade de subfaixas de QMF a ser inserida à unidade de processamento de HFR 105.[0075] In the transposition based on the subrange block of the
[0076] Quando o sinal espectral de diferentes ordens de transposição é definido para não sobrepor, ou seja, o espectro da Ta ordem do sinal de transposição deveria iniciar onde o espectro dos finais do sinal de ordem T-1, os sinais transpostos precisam ser de caráter passa-baixo. Assim, os filtros passa-baixo tradicionais 103-12-103-14 na figura 1. Entretanto, através de uma simples seleção exclusiva entre as subfaixas disponíveis pela unidade Unir/Combinar 104, os filtros passa-baixo separados são redundantes e podem ser evitados. Ainda, o a característica passa- baixo inerente fornecida pelo banco de QMF é explicada pela inserção de diferentes contribuições das ramificações de transposição independentemente dos diferentes canais de subfaixa em 104. É também suficiente para aplicar a extensão de tempo apenas às faixas que são combinadas em 104.[0076] When the spectral signal of different transposition orders is set to not overlap, i.e., the T-order spectrum of the transposition signal should start where the spectrum of the ends of the T-1-order signal, the transposed signals need to be low-pass character. Thus, the traditional low-pass filters 103-12-103-14 in figure 1. However, through a simple exclusive selection among the sub-ranges available by the Join/
[0077] A figura 2 ilustra a operação de uma unidade de extensão da subfaixa não linear. O extrator de bloco 201 testa uma estrutura finita de amostras do sinal de entrada com valor complexo. A estrutura é definida por uma posição indicadora da entrada. Esta estrutura passa pelo processamento não linear em 202 e é subsequentemente colocado em janela por uma finita janela de comprimento em 203. As amostras resultantes são adicionadas às amostras previamente emitidas na unidade de sobreposição e adição 204 onde a posição da estrutura de saída é definida por uma posição indicadora da saída. O indicador de entrada é aumentado por uma quantidade fixa e o indicador de saída é aumentado pelo fator de extensão da subfaixa vezes a mesma quantidade. Uma iteração desta corrente de operações produzirá um sinal de saída com duração sendo o fator de extensão da subfaixa vezes a duração do sinal de subfaixa de entrada, até o comprimento da janela de síntese.[0077] Figure 2 illustrates the operation of a non-linear sub-range extension unit.
[0078] Enquanto a transposição de SSB empregada por SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audiovisual objects - Parte 3: Audio]” tipicamente explica toda a banda base, excluindo a primeira subfaixa, para gerar o sinal de banda alta, uma transposição harmônica geralmente utiliza uma parte menor do espectro do codificador central. A quantidade utilizada, a chamada faixa fonte, depende da ordem de transposição, o fator de extensão da largura de banda, e as regras aplicadas para o resultado combinado, por exemplo, se os sinais gerados de diferentes ordens de transposição são permitidos sobrepor de forma espectral ou não. Como uma consequência, apenas uma parte limitada do espectro de saída da transposição harmônica para uma determinada ordem de transposição será atualmente utilizada pelo processamento de módulo de HFR 105.[0078] While the SSB transposition employed by SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audiovisual objects - Part 3: Audio]” typically explains the entire baseband, excluding the first subband, to generate For the high-band signal, a harmonic transposition generally uses a smaller part of the center encoder's spectrum. The amount used, the so-called source range, depends on the transposition order, the bandwidth extension factor, and the rules applied to the combined result, e.g. whether signals generated from different transposition orders are allowed to overlap in a way spectral or not. As a consequence, only a limited part of the harmonic transposition output spectrum for a given transposition order will currently be used by the
[0079] A figura 18 ilustra outra realização de uma implementação do processamento exemplar para processar um único sinal de subfaixa. O único sinal de subfaixa esteve sujeito a qualquer tipo de dizimação antes ou depois de ser filtrado por um banco de filtro de análise não mostrado na figura 18. Desta forma, a duração do tempo do único sinal de subfaixa é mais curta que a duração do tempo antes de formar a dizimação. O único sinal de subfaixa é inserido a um extrator de bloco 1800, que pode ser idêntico ao extrator de bloco 201, mas que também pode ser implementado de forma diferente. O extrator de bloco 1800 na figura 18 opera utilizando uma amostra/valor de avanço do bloco de forma exemplar chamado e. A amostra/valor de avanço do bloco pode ser variável o pode ser fixadamente definida e é ilustrada na figura 18 como uma seta na caixa do extrator de bloco 1800. Na saída do extrator de bloco 1800, existe uma pluralidade de blocos extraídos. Estes blocos são altamente sobrepostos, visto que a amostra/valor de avanço do bloco e é significativamente menor que o comprimento do bloco do extrator de bloco. Um exemplo é que o extrator de bloco extrai blocos de 12 amostras. O primeiro bloco compreende amostras 0 a 11, o segundo bloco compreende amostras 1 a 12, o terceiro bloco compreende amostras 2 a 13, e assim por diante. Nesta realização, a amostra/valor de avanço do bloco e é igual a 1, e há uma sobreposição de 11 dobras.[0079] Fig. 18 illustrates another embodiment of an exemplary processing implementation for processing a single subband signal. The single subband signal was subjected to any kind of decimation before or after being filtered by an analysis filter bank not shown in figure 18. In this way, the time duration of the single subband signal is shorter than the duration of the time before forming the decimation. The single subrange signal is fed to a
[0080] Os blocos individuais são inseridos a um windower 1802 para janelamento dos blocos utilizando uma função de janela para cada bloco. Adicionalmente, uma calculadora de fase 1804 é provida, e calcula uma fase para cada bloco. A calculadora de fase 1804 pode utilizar tanto o bloco individual antes do janelamento ou após o janelamento. Então, um valor de ajuste de fase p x k é calculado e inserido a um regulador de fase 1806. O regulador de fase aplica o valor de ajuste em cada amostra no bloco. Além disso, o fator k é igual ao fator de extensão da largura de banda. Quando, por exemplo, a extensão da largura de banda por um fator 2 for obtido, então a fase p calculada para um bloco extraído pelo extrator de bloco 1800 é multiplicado pelo fator 2 e o valor de ajuste aplicado em cada amostra do bloco no regulador de fase 1806 é p multiplicado por 2. Isto é um valor/regra exemplar. De modo alternativo, a fase corrigida para a síntese é k * p, p + (k-1)*p. Então, neste exemplo o fator de correção é 2, se multiplicado ou 1*p se somado. Outros valores/regras podem ser aplicados para calcular o valor de correção de fase.[0080] The individual blocks are inserted into a
[0081] Em uma realização, o único sinal de subfaixa é um sinal de subfaixa complexo, e a fase de um bloco pode ser calculada por uma pluralidade de diferentes formas. Uma forma é considerar a amostra no meio ou ao redor do meio do bloco e calcular a fase desta amostra complexa. Também é possível calcular a fase para cada amostra.[0081] In one embodiment, the single subrange signal is a complex subrange signal, and the phase of a block can be calculated in a plurality of different ways. One way is to consider the sample in the middle or around the middle of the block and calculate the phase of this complex sample. It is also possible to calculate the phase for each sample.
[0082] Embora seja ilustrado na figura 18 na forma em que um regulador de fase opera após o windower estes dois blocos também podem ser trocados, de forma que o ajuste da fase seja realizado aos blocos extraídos pelo extrator de bloco e uma operação de janelamento subsequente é realizada. Visto que ambas as operações, ou seja, o janelamento e o ajuste da fase são multiplicações com valor real ou valor complexo, estas duas operações podem ser resumidas em uma única operação utilizando um fator de multiplicação complexo, que, é o próprio produto de um fator de multiplicação do ajuste de fase e um fator de janelamento.[0082] Although it is illustrated in figure 18 in the way that a phase regulator operates after the windower these two blocks can also be exchanged, so that the phase adjustment is performed to the blocks extracted by the block extractor and a windowing operation subsequent is performed. Since both operations, i.e., windowing and phase adjustment, are real-valued or complex-valued multiplications, these two operations can be summarized in a single operation using a complex multiplication factor, which is the product of a phase adjustment multiplication factor and a windowing factor.
[0083] Os blocos ajustados por fase são inseridos a uma sobreposição/soma e bloco de correção de amplitude 1808, onde os blocos ajustados por fase ou em janela são sobrepostos-somados. De forma importante, entretanto, a amostra/valor de avanço do bloco no bloco 1808 é diferente do valor utilizado no extrator de bloco 1800. Particularmente, a amostra/valor de avanço do bloco no bloco 1808 é maior que o valor e utilizado no bloco 1800, de forma que um extensão de tempo do sinal emitido pelo bloco 1808 seja obtido. Assim, o sinal de subfaixa processado emitido pelo bloco 1808 tem uma extensão que é mais longa que o sinal de subfaixa inserido ao bloco 1800. Quando a extensão da largura de banda de dois for obtida, então a amostra/valor de avanço do bloco é utilizada, que é duas vezes o valor no bloco correspondente 1800. Isto resulta em uma extensão de tempo por um fator de dois. Quando, entretanto, outros fatores de extensão de tempo são necessário, então outra amostra/valor de avanço dos blocos pode ser utilizada de forma que a saída do bloco 1808 tenha uma duração do tempo necessária.[0083] Phase-adjusted blocks are inserted into an overlap/sum and
[0084] Para direcionar a questão da sobreposição, uma correção de amplitude é preferivelmente realizada para direcionar a questão de diferentes sobreposições no bloco 1800 e 1808. Esta correção de amplitude poderia, entretanto, ser também introduzida ao fato de multiplicação do windower/regulador de fase, mas a correção de amplitude também pode ser realizada após a sobreposição/processamento.[0084] To address the overlap issue, an amplitude correction is preferably performed to address the issue of different overlaps in
[0085] No exemplo acima com um comprimento do bloco de 12 e uma amostra/valor de avanço do bloco no extrator de bloco de um, a amostra/valor de avanço do bloco para o bloco de sobreposição/soma 1808 seria igual a dois, quando uma extensão da largura de banda por um fator de dois for realizada. Isto ainda resultaria em uma sobreposição de cinco blocos. Quando uma extensão da largura de banda por um fator de três deve ser realizada, então a amostra/valor de avanço do bloco utilizada pelo bloco 1808 seria igual a três, e a sobreposição cairia em uma sobreposição de três. Quando uma extensão da largura de banda de quatro dobras tiver que ser realizada, então o bloco de sobreposição/soma 1808 teria que utilizar uma amostra/valor de avanço do bloco de quatro, que ainda resultaria em uma sobreposição de mais que dois blocos.[0085] In the example above with a block length of 12 and a sample/block advance value in the block extractor of one, the sample/block advance value for the overlap block/
[0086] Grandes economias computacionais podem ser obtidas restringindo os sinais de entrada às ramificações de transposição para conter apenas a faixa fonte, e isto em uma taxa de amostragem adaptada para cada ordem de transposição. O esquema de blocos básico de tal sistema para um gerador de HFR com base no bloco de subfaixa é ilustrado na figura 3. O sinal de entrada do codificador central é processado pelos redutores da taxa de amostragem dedicados antes do banco de filtros de análise de HFR.[0086] Great computational savings can be obtained by restricting the input signals to the transposition branches to contain only the source track, and this at a sampling rate adapted to each transposition order. The basic block scheme of such a system for an HFR generator based on the subband block is illustrated in figure 3. The input signal from the central encoder is processed by the dedicated sample rate reducers before the HFR analysis filter bank. .
[0087] O efeito essencial de cada redutor da taxa de amostragem é filtrar o sinal da faixa fonte e levá-la ao banco de filtro de análise na taxa de amostragem mais baixa possível. Aqui, o mais baixo possível se refere à taxa de amostragem mais baixa que é ainda adequada para o processamento a jusante, não necessariamente a taxa de amostragem mais baixa que evita o aliasing após a dizimação. A conversão da taxa de amostragem pode ser obtida de várias formas. Sem limitar o escopo da invenção, dois exemplos serão dados: o primeiro mostra a reamostragem realizada pelo processamento de domínio de tempo multitaxa, e o segundo ilustra a reamostragem atingida por meios do processamento da subfaixa de QMF.[0087] The essential effect of each sample rate reducer is to filter the signal from the source track and take it to the analysis filter bank at the lowest possible sample rate. Here, lowest possible refers to the lowest sampling rate that is still suitable for downstream processing, not necessarily the lowest sampling rate that avoids aliasing after decimation. Sample rate conversion can be achieved in several ways. Without limiting the scope of the invention, two examples will be given: the first shows the resampling performed by multirate time domain processing, and the second illustrates the resampling achieved by means of QMF subband processing.
[0088] A figura 4 mostra um exemplo dos blocos em um redutor da taxa de amostragem de domínio de tempo multitaxa para uma ordem de transposição de 2. O sinal de entrada, tendo uma largura de banda B Hz, e uma frequência de amostragem fs, é modulado por um exponencial complexo (401) para alternação de frequência para iniciar a faixa fonte para a frequência DC como [0088] Figure 4 shows an example of the blocks in a multirate time domain sample rate reducer for a transposition order of 2. The input signal, having a bandwidth B Hz, and a sampling frequency fs , is modulated by a complex exponential (401) for frequency switching to start the source track to the DC frequency as
[0089] Exemplos de um sinal de entrada e o espectro após a modulação é descrito nas figuras 5(a) e (b). O sinal modulado é interpolado (402) e filtrado por um filtro passa-baixo com valor complexo com limites de banda passante 0 e B/2 Hz (403). Os espectros após as respectivas etapas são mostrados nas figuras 5(c) e (d). O sinal filtrado é subsequentemente decimado (404) e a parte real do sinal é calculada (405). Os resultados após estas etapas são mostrados nas figuras 5(e) e (f). Neste exemplo particular, quando T=2, B=0,6 (em uma escala normalizada, ou seja, fs=2), P2 é escolhido como 24, para seguramente abranger a faixa fonte. O fator de redução da taxa de amostragem obtém [0089] Examples of an input signal and the spectrum after modulation is described in figures 5(a) and (b). The modulated signal is interpolated (402) and filtered by a complex value low-pass filter with 0 and B/2 Hz passband limits (403). The spectra after the respective steps are shown in figures 5(c) and (d). The filtered signal is subsequently decimated (404) and the real part of the signal is calculated (405). The results after these steps are shown in figures 5(e) and (f). In this particular example, when T=2, B=0.6 (on a normalized scale, ie fs=2), P2 is chosen as 24, to safely encompass the source range. The sampling rate reduction factor obtains
[0090] onde a fração foi reduzida pelo fator comum 8. Assim, o fator de interpolação é 3 (como visto da figura 5(c)) e o fator de dizimação é 8. Pela utilização de Identidades Nobres [“Multirate Systems And Filter Banks,” P.P. Vaidyanathan, 1993, Prentice Hall, Englewood Cliffs], o decimador pode ser movido por todo o caminho para a esquerda, e o interpolador todo o caminho para a direita na figura 4. Desta forma, a modulação e a filtragem são feitas sobre a taxa de amostragem mais baixa possível e a complexidade computacional é ainda reduzida.[0090] where the fraction was reduced by the common factor 8. Thus, the interpolation factor is 3 (as seen from figure 5(c)) and the decimation factor is 8. By using Noble Identities [“Multirate Systems And Filter Banks,” P.P. Vaidyanathan, 1993, Prentice Hall, Englewood Cliffs], the decimator can be moved all the way to the left, and the interpolator all the way to the right in figure 4. In this way, the modulation and filtering are done over the rate sample rate as possible and the computational complexity is further reduced.
[0091] Outra abordagem é utilizar as saídas da subfaixa do banco de análise de QMF de 32 faixas subamostrado 102 já presente no método de HRF SBR. As subfaixas que abrangem as faixas fontes para as diferentes ramificações de transposição são sintetizadas ao domínio de tempo pelos pequenos bancos de QMF subamostrados antes do banco de filtros de análise de HFR. Este tipo de sistema de HFR é ilustrado na figura 6. Os pequenos bancos de QMF são obtidos pela subamostragem do banco de QMF de 64 faixas original, onde os coeficientes do filtro de protótipo são encontrados pela interpolação linear do filtro de protótipo original. Seguindo a notação na figura 6, o banco de síntese de QMF antes da ramificação da transposição de 2a ordem tem Q2=12 faixas (as subfaixas com índices com base em zero de 8 a 19 na QMF de 32 faixas). Para impedir o aliasing no processo de síntese, a primeira (índice 8) e a última (índice 19) faixas são definidas a zero. A saída espectral resultante é mostrada na figura 7. Observe que a transposição com base no banco de filtro de análise do bloco tem 2Q2=24 faixas, ou seja, o mesmo número de faixas que no exemplo com base no redutor da taxa de amostragem de domínio de tempo multitaxa (figura 3).[0091] Another approach is to use the subrange outputs of the subsampled 32-range
[0092] Quando a figura 6 e a figura 23 são comparadas, é claro que o elemento 601 da figura 6 corresponde ao banco de filtro de análise 2302 da figura 23. Além disso, o banco de filtro de síntese 2304 da figura 23 corresponde ao elemento 602-2, e o outro banco de filtro de análise 2307 da figura 23 corresponde ao elemento 603-2. O bloco 604-2 corresponde ao bloco 2309 e o combinador 605 pode corresponde ao banco de filtro de síntese 2311, mas em outras realizações, o combinador pode ser configurado para emitir sinais de subfaixa e, então, o outro banco de filtro de síntese conectado ao combinador pode ser utilizado. Entretanto, dependendo da implementação, uma determinada reconstrução de alta frequência conforme discutido no contexto da figura 26 posteriormente pode ser realizada antes da filtragem de síntese pelo banco de filtro de síntese 2311 ou combinador 205, ou pode ser realizada após a filtragem de síntese no banco de filtro de síntese 2311 da figura 23 ou após o combinador no bloco 605 da figura 6.[0092] When figure 6 and figure 23 are compared, it is clear that
[0093] As outras ramificações que se estendem de 602-3 a 604-3 ou que se estendem de 602-T a 604-T não são ilustradas na figura 23, mas podem ser implementadas de forma semelhante, mas com diferentes tamanhos dos bancos de filtro onde T na figura 6 corresponde a um fator de transposição. Entretanto, conforme discutido no contexto da figura 27, a transposição por um fator de transposição de 3 e a transposição por um fator de transposição de 4 podem ser introduzidas à ramificação de processamento que consiste no elemento 602-2 a 604-2 de forma que o bloco 604-2 não proveja apenas uma transposição por um fator de 2, mas também uma transposição por um fator de 3 e um fator de 4, com um determinado banco de filtro de síntese é utilizada conforme discutido no contexto das figuras 26 e 27.[0093] The other branches that span from 602-3 to 604-3 or that span from 602-T to 604-T are not illustrated in Figure 23 but can be implemented similarly but with different bank sizes of filter where T in figure 6 corresponds to a transposition factor. However, as discussed in the context of Figure 27, transposition by a transposition factor of 3 and transposition by a transposition factor of 4 can be introduced to the processing branch consisting of element 602-2 to 604-2 so that block 604-2 not only provides a transposition by a factor of 2, but also a transposition by a factor of 3 and a factor of 4, with a given synthesis filter bank is used as discussed in the context of figures 26 and 27 .
[0094] Na figura 6 da realização, Q2 corresponde a MS e MS é igual a, por exemplo, 12. Além disso, o tamanho do outro banco de filtro de análise 603-2 correspondente ao elemento 2307 é igual a 2MS como 24 na realização.[0094] In figure 6 of the realization, Q2 corresponds to MS and MS is equal to, for example, 12. Furthermore, the size of the other analysis filter bank 603-2 corresponding to
[0095] Além disso, conforme descrito antes, o canal mais baixo de subfaixa e o canal mais alto de subfaixa do banco de filtro de síntese 2304 pode ser inserido com zeros para evitar problemas de aliasing.[0095] Also, as described before, the lowest subrange channel and highest subrange channel of the
[0096] O sistema descrito na figura 1 pode ser visualizado como um caso especial simplificado da reamostragem descrito nas figuras 3 e 4. Para simplificar a disposição, os moduladores são omitidos. Ainda, toda a filtragem de análise de HFR é obtida utilizando banco de filtros de análise de 64 faixas. Assim, P2 = P3 = P4 = 64 da figura 3, e os fatores de redução da taxa de amostragem são 1, 1,5 e 2 para as ramificações de 2a, 3a e 4a ordem de transposição respectivamente.[0096] The system described in Figure 1 can be viewed as a simplified special case of the resampling described in Figures 3 and 4. To simplify the arrangement, the modulators are omitted. Furthermore, all HFR analysis filtering is achieved using a 64-band analysis filter bank. Thus, P2 = P3 = P4 = 64 of figure 3, and the sampling rate reduction factors are 1, 1.5, and 2 for the 2nd, 3rd, and 4th transposition order branches respectively.
[0097] É uma vantagem da presente invenção que no contexto do processamento de amostragem crítica inventiva, os sinais de subfaixa do banco de análise de QMF de 32 faixas correspondente ao bloco 2302 da figura 23 ou 601 da figura 6 conforme definido em MPEG4 (ISO/IEC 14496-3) possam ser utilizados. A definição deste banco de filtro de análise no Padrão MPEG-4 seja ilustrada na parte superior da figura 25a e seja ilustrada como um fluxograma na figura 25b, que também é considerado do Padrão MPEG-4. A SBR (reprodução da largura de banda espectral) deste padrão é incorporada aqui por referência. Particularmente, o banco de filtro de análise 2302 da figura 23 ou a QMF de 32 faixas 601 da figura 6 pode ser implementada conforme ilustrado na figura 25a, a parte superior e o fluxograma na figura 25b.[0097] It is an advantage of the present invention that in the context of inventive critical sampling processing, the subband signals of the 32-track QMF analysis bank corresponding to block 2302 of Fig. 23 or 601 of Fig. 6 as defined in MPEG4 (ISO /IEC 14496-3) can be used. The definition of this analysis filter bank in the MPEG-4 Standard is illustrated at the top of figure 25a and is illustrated as a flowchart in figure 25b, which is also considered from the MPEG-4 Standard. The SBR (spectral bandwidth reproduction) of this standard is incorporated herein by reference. Particularly, the parsing
[0098] Além disso, o banco de filtro de síntese ilustrado no bloco 2311 da figura 23 também pode ser implementado conforme indicado na parte inferior da figura 25a e conforme ilustrado no fluxograma da figura 25c. Entretanto, quaisquer outras definições do banco de filtro podem ser aplicadas, mas pelo menos para o banco de filtro de análise 2302, a implementação ilustrada nas figuras 25a e 25b é preferida devido à robustez, estabilidade e alta qualidade provida por este banco de filtro de análise tendo 32 canais do MPEG-4 pelo menos no contexto de aplicações de extensão da largura de banda como reprodução da largura de banda espectral, ou indicada geralmente, as aplicações do processamento de reconstrução de alta frequência.[0098] In addition, the synthesis filter bank illustrated in
[0099] O banco de filtro de síntese 2304 é configurado para sintetizar um subconjunto das subfaixas que abrangem a faixa fonte para uma transposição. Esta síntese é feita para sintetizar o sinal intermediário 2306 no domínio de tempo. Preferivelmente, o banco de filtro de síntese 2304 é um pequeno banco de QMF com valor real subamostrado.[0099]
[0100] A saída do domínio de tempo 2306 deste banco de filtro é então inserida a um banco de QMF de análise com valor complexo de duas vezes o tamanho do banco de filtro. Este banco de QMF é ilustrado pelo bloco 2307 da figura 23. Este procedimento permite uma economia substancial na complexidade computacional, pois apenas a faixa fonte relevante é transformada no domínio da subfaixa de QMF tendo a resolução da frequência dobrada. Os pequenos bancos de QMF são obtidos pela subamostragem do banco de QMF de 64 faixas original, onde os coeficientes do filtro de protótipo são obtidos pela interpolação linear do filtro de protótipo original. Preferivelmente, o filtro de protótipo associado com o banco de filtro de síntese de MPEG-4 tendo 640 amostras é utilizado, onde o banco de filtro de análise MPEG-4 tem uma janela de 320 amostras de janela.[0100] The
[0101] O processamento dos bancos de filtro subamostrados é descrito nas figuras 24a e 24b, que ilustram os fluxogramas. As variáveis a seguir são determinadas primeiramente: [0101] The processing of the subsampled filter banks is described in figures 24a and 24b, which illustrate the flowcharts. The following variables are determined first:
[0102] onde MS é o tamanho do banco de filtro de síntese subamostrado e kL representa o índice da subfaixa do primeiro canal do banco de QMF de 32 faixas para inserir o banco de filtro de síntese subamostrado. A matriz startSubband2kL é listada na tabela 1. A função floor{x} circula o argumento x ao número inteiro mais próximo em direção a infinidade negativa. Tabela 1 - y = startSubband2kL(x) [0102] where MS is the size of the subsampled synthesis filterbank and kL represents the subband index of the first channel of the 32-lane QMF bank to enter the subsampled synthesis filterbank. The startSubband2kL array is listed in Table 1. The floor{x} function loops the argument x to the nearest integer towards negative infinity. Table 1 - y = startSubband2kL(x)
[0104] Assim, o valor MS define o tamanho do banco de filtro de síntese 2304 da figura 23 e KL é o primeiro canal do subconjunto 2305 indicado na figura 23. Especificamente, o valor na equação ftableLow é definido no ISO/IEC 14496-3, seção 4.6.18.3.2 que é também incorporado aqui por referência. Deve ser observado que o valor MS passa por aumentos de 4, que significa que o tamanho do banco de filtro de síntese 2304 pode ser 4, 8, 12, 16, 20, 24, 28 ou 32.[0104] Thus, the MS value defines the size of the
[0105] Preferivelmente, o banco de filtro de síntese 2304 é um banco de filtro de síntese com valor real. Para esta finalidade, um conjunto de amostras de subfaixa com valor real MS é calculado das amostras de subfaixa com novo valor complexo MS de acordo com a primeira etapa da figura 24a. Para esta finalidade, a equação a seguir é utilizada
[0105] Preferably, the
[0106] Na equação, exp() denota a função complexa exponencial, i é a unidade imaginária e kL foi definido antes.[0106] In the equation, exp() denotes the exponential complex function, i is the imaginary unit and kL was defined before.
[0107] Alternar as amostras na matriz v pelas posições 2MS. As amostras mais antigas 2MS são descartadas.[0107] Toggle samples in matrix v through 2MS positions. Older 2MS samples are discarded.
[0108] As amostras de subfaixa com valor em real MS multiplicado pela matriz N, ou seja, o produto matriz-vetor N’V é calculado, onde [0108] The subrange samples with value in real MS multiplied by the matrix N, that is, the matrix-vector product N'V is calculated, where
[0109] A saída desta operação é armazenada nas posições 0 a 2MS-1 da matriz v.[0109] The output of this operation is stored in
[0110] Extrair as amostras de v, de acordo com o fluxograma na figura 24a, para criar a matriz g do elemento 10MS.[0110] Extract the samples of v, according to the flowchart in figure 24a, to create the matrix g of the 10MS element.
[0111] Multiplicar as amostras da matriz g por janela ci para produzir a matriz w. Os coeficientes da janela ci são obtidos pela interpolação linear dos coeficientes c, ou seja, através da equação [0111] Multiply the samples of matrix g by window ci to produce matrix w. The coefficients of the window ci are obtained by the linear interpolation of the coefficients c, that is, through the equation
[0112] onde µ( ) n e ρ( ) n são definidos como o número inteiro e as partes fracionais de 64 / ⋅n M S , respectivamente. Os coeficientes da janela de c podem ser encontrados na tabela 4.A.87 do ISO/IEC 14496-3:2009.[0112] where µ( ) n and ρ( ) n are defined as the integer and fractional parts of 64 / ⋅n M S , respectively. The c window coefficients can be found in Table 4.A.87 of ISO/IEC 14496-3:2009.
[0113] Assim, o banco de filtro de síntese tem uma calculadora funcional da janela de protótipo para calcular uma função da janela de protótipo pela subamostragem ou interpolação utilizando uma função da janela armazenada para um banco de filtro tendo um tamanho diferente.[0113] Thus, the synthesis filter bank has a working prototype window calculator to calculate a prototype window function by subsampling or interpolation using a stored window function for a filter bank having a different size.
[0114] Calcular as novas amostras de saída MS pela soma de amostras da matriz w de acordo com a última etapa no fluxograma da figura 24a.[0114] Calculate the new output samples MS by the sum of samples from matrix w according to the last step in the flowchart of figure 24a.
[0115] Subsequentemente, a implementação preferida do outro banco de filtro de análise 2307 na figura 23 é ilustrada com o fluxograma na figura 24b.[0115] Subsequently, the preferred implementation of the other
[0116] Alternar as amostras na matriz x pelas posições 2MS de acordo com a primeira etapa da figura 24b. As amostras mais antigas 2MS são descartadas e as novas 2MS amostras são armazenadas nas posições 0 a 2MS-1.[0116] Alternate the samples in the matrix x by the 2MS positions according to the first step of figure 24b. Older 2MS samples are discarded and new 2MS samples are stored in
[0117] Multiplicar as amostras da matriz x pelos coeficientes da janela c2i. Os coeficientes da janela c2i são obtidos pela interpolação linear dos coeficientes c, ou seja, através da equação [0117] Multiply the x matrix samples by the c2i window coefficients. The c2i window coefficients are obtained by the linear interpolation of the c coefficients, that is, through the equation
[0118] onde µ( ) n e ρ( ) n são definidos como o número inteiro e partes fracionais de 32 / ⋅n M S, respectivamente. Os coeficientes da janela de c podem ser encontrados na tabela 4.A.87 da ISO/IEC 14496-3:2009.[0118] where µ( ) n and ρ( ) n are defined as the integer and fractional parts of 32 / ⋅n M S, respectively. The c window coefficients can be found in table 4.A.87 of ISO/IEC 14496-3:2009.
[0119] Assim, o outro banco de filtro de análise 2307 tem uma calculadora funcional da janela de protótipo para calcular uma função da janela de protótipo pela subamostragem ou interpolação utilizando uma função da janela armazenada para um banco de filtro tendo um tamanho diferente.[0119] Thus, the other
[0120] Somar as amostras de acordo com a fórmula no fluxograma na figura 24b para criar a matriz u do elemento 4MS.[0120] Add the samples according to the formula in the flowchart in figure 24b to create the matrix u of the 4MS element.
[0121] Calcular as novas amostras de subfaixa com novo [0121] Calculate new subrange samples with new
[0122] Na equação, exp() denota a função complexa exponencial, e i é a unidade imaginária.[0122] In the equation, exp() denotes the exponential complex function, and i is the imaginary unit.
[0123] Um diagrama em blocos de um redutor da taxa de amostragem com fator 2 é mostrado na figura 8(a). O filtro passabaixo com valor real pode ser escrito H z B z A z ( ) ( ) / ( ) = , onde B z ( ) é a parte não recursiva (FIR) e A z ( ) é a parte recursiva (IIR). Entretanto, para uma implementação eficiente, utilizando as Identidades Nobres para reduzir a complexidade computacional, é útil desenhar um filtro onde todos os polos têm multiplicidade 2 (polos duplos) como A (z2). Assim, o filtro pode ser fatorado conforme mostrado na figura 8(b). Utilizando a Identidade Nobre 1, a parte recursiva pode ser movida depois do decimador como na figura 8(c). O filtro não recursivo B z ( ) pode ser implementado utilizando decomposição de polifase de 2 componentes padrão como
[0123] A block diagram of a
[0124] Assim, o redutor da taxa de amostragem pode ser estruturado como na figura 8(d). Após utilizar a Identidade Nobre 1, a parte FIR é calculada na taxa de amostragem mais baixa possível conforme mostrado na figura 8(e). A partir da figura 8(e) é fácil ver que a operação FIR (atraso, decimadores e componentes polifase) pode ser vista como uma operação de soma pela janela utilizando um avanço de entrada de duas amostras. Para duas amostras de entrada, uma nova amostra de saída será produzida, efetivamente resultante em uma redução da taxa de amostragem de um fator 2.[0124] Thus, the sample rate reducer can be structured as in figure 8(d). After using
[0125] Um diagrama em blocos do redutor da taxa de amostragem com o fator 1,5=3/2 é mostrado na figura 9(a). O filtro passa-baixo com valor real pode novamente ser escrito H(z) = B(z) / A(z) , onde B(z) é a parte não recursiva (FIR) e A(z) é a parte recursiva (IIR). Como antes, para uma implementação eficiente, utilizando a Identidade Nobre para reduzir a complexidade computacional, é útil desenhar um filtro onde todos os polos têm multiplicidade 2 (polos duplos) ou multiplicidade 3 (polos triplos) como A(z ) ou A(z ) respectivamente. Aqui, os polos duplos são escolhidos como o algoritmo do desenho para o filtro passa-baixo é mais eficiente, embora a parte recursiva atualmente seja 1,5 vezes mais complexa para implementar comparado à abordagem do polo triplo. Assim, o filtro pode ser fatorado conforme mostrado na figura 9(b). Utilizando a Identidade Nobre 2, a parte recursiva pode ser movida na frente do interpolador como utilizando a decomposição polifase do componente padrão 2'3 6 como
[0125] A block diagram of the sample rate reducer with the factor 1.5=3/2 is shown in figure 9(a). The real-valued low-pass filter can again be written H(z) = B(z) / A(z) , where B(z) is the non-recursive part (FIR) and A(z) is the recursive part ( IIR). As before, for an efficient implementation, using Noble Identity to reduce computational complexity, it is useful to design a filter where all poles have multiplicity 2 (double poles) or multiplicity 3 (triple poles) like A(z ) or A(z ) ) respectively. Here, dual poles are chosen as the design algorithm for the low pass filter is more efficient, although the recursive part is actually 1.5 times more complex to implement compared to the triple pole approach. Thus, the filter can be factored as shown in figure 9(b). Using
[0126] Assim, o redutor da taxa de amostragem pode ser estruturado como na figura 9(d). Após utilizar a Identidade Nobre 1 e 2, a parte FIR é calculada na taxa de amostragem mais baixa possível conforme mostrado na figura 9(e). A partir da figura 9(e) é fácil ver que as amostras de saída com índice par são calculadas utilizando o grupo inferior de três filtros polifase ( enquanto as amostras com índice ímpar são calculadas do grupo mais alto . A operação de cada grupo (corrente de atraso, decimadores e componentes polifase) pode ser vista como a operação de soma pela janela utilizando um avanço de entrada de três amostras. Os coeficientes da janela utilizados no grupo superior são coeficientes com índice ímpar, enquanto o grupo inferior utiliza os coeficientes com índice par Assim, para um grupo de três amostras de entrada, duas novas amostras de saída serão produzidas, efetivamente resultando em uma redução da taxa de amostragem de um fator 1,5.[0126] Thus, the sample rate reducer can be structured as in figure 9(d). After using
[0127] O sinal de domínio de tempo do decodificador central (101 na figura 1) também pode ser subamostrado utilizando uma transformação de síntese subamostrada menor no decodificador central. O uso de uma menor transformação de síntese oferece ainda complexidade computacional reduzida. Dependendo da frequência cruzada, ou seja, a largura de banda do sinal do codificador central, o índice do tamanho da transformação de síntese e o tamanho nominal Q (Q < 1), resulta em um sinal de saída do codificador central tendo uma taxa de amostragem Qfs. Para processar o sinal do codificador central subamostrado nos exemplos descritos na aplicação atual, todos os bancos de filtro de análise da figura1 (102, 103-32, 103-33 e 103-34) precisam ser escalados pelo fator Q, bem como os redutores da taxa de amostragem (301-2, 301-3 e 301-T) da figura 3, o decimador 404 da figura 4 e o banco de filtro de análise 601 da figura 6. Aparentemente, Q tem que ser escolhido de forma que todos os tamanhos dos bancos de filtro sejam números inteiros.[0127] The central decoder time domain signal (101 in Figure 1) can also be subsampled using a smaller subsampled synthesis transformation at the central decoder. The use of a smaller synthesis transformation also offers reduced computational complexity. Depending on the cross frequency, i.e. the bandwidth of the central encoder signal, the synthesis transform size index and the nominal size Q (Q < 1), results in a central encoder output signal having a rate of sampling Qfs. To process the subsampled central encoder signal in the examples described in the current application, all analysis filter banks in figure 1 (102, 103-32, 103-33 and 103-34) need to be scaled by the Q factor, as well as the reducers. of the sample rate (301-2, 301-3 and 301-T) of figure 3, the
[0128] A figura 10 ilustra o alinhamento das bordas espectrais dos sinais de transposição de HFR às bordas espectrais da tabela de frequência do ajuste envolvente em um codificador melhorado de HFR, como SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audio-visual objects - Parte 3: Audio]”. A figura 10(a) mostra um gráfico estilístico das baixas frequências compreendendo a tabela de ajuste envolvente, as chamadas faixas do fator em escala, que abrangem a faixa de frequência da frequência cruzada kx à frequência parada ks. As faixas do fator em escala constituem a grade de frequência utilizada em um codificador melhorado de HFR ao ajustar o nível de energia da frequência de alta faixa regenerada, ou seja, o envelope da frequência. Para ajustar o envelope, a energia do sinal é calculada em média um bloco de tempo/frequência restrito pelas bordas da faixa do fator em escala e das bordas do tempo selecionado. Se os sinais gerados pelas diferentes ordens de transposição estiverem desalinhados às faixas do fator em escala, conforme ilustrado na figura 10(b), artefatos podem surgir se a energia espectral mudar drasticamente na proximidade de uma borda da faixa de transposição, visto que o processo de ajuste envolvente manterá a estrutura espectral dentro de uma faixa do fator em escala. Assim, a solução proposta é adaptar as bordas de frequência dos sinais transpostos às bordas das faixas do fator em escala conforme mostrado na figura 10(c). Na figura, a borda superior dos sinais gerados pelas ordens de transposição de 2 e 3 (T=2, 3) é reduzida a uma pequena quantidade, comparada à figura 10(b), para alinhar as bordas de frequência das faixas de transposição às bordas da faixa do fator em escala existente.[0128] Figure 10 illustrates the alignment of the spectral edges of the HFR transposition signals to the spectral edges of the envelope fit frequency table in an improved HFR encoder such as SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audio-visual objects - Part 3: Audio]”. Figure 10(a) shows a stylistic graph of the low frequencies comprising the enveloping fit table, the so-called scaled factor ranges, which span the frequency range from the crossover frequency kx to the stop frequency ks. The scaled factor bands constitute the frequency grid used in an improved HFR encoder when adjusting the power level of the regenerated high-band frequency, ie the frequency envelope. To adjust the envelope, the signal energy is averaged over a block of time/frequency constrained by the edges of the scaled factor range and the edges of the selected time. If the signals generated by the different transposition orders are misaligned to the scale factor bands, as illustrated in Figure 10(b), artifacts can arise if the spectral energy changes drastically near an edge of the transposition band, as the process wraparound adjustment will keep the spectral structure within a range of the scaled factor. Thus, the proposed solution is to adapt the frequency edges of the transposed signals to the edges of the scaled factor bands as shown in figure 10(c). In the figure, the upper edge of the signals generated by the transposition orders of 2 and 3 (T=2, 3) is reduced by a small amount, compared to figure 10(b), to align the frequency edges of the transposition bands with the edges of the existing scale factor range.
[0129] Um cenário realístico que mostra os artefatos potenciais ao utilizar as bordas desalinhadas é descrito na figura 11. A figura 11(a) mostra novamente as bordas da faixa do fator em escala. A figura 11(b) mostra os sinais gerados não ajustados pela HFR das ordens de transposição T=2, 3 e 4 com o sinal da banda base decodificado central. A figura 11(c) mostra o sinal ajustado por envelope quando um plano alvo do envelope é assumido. Os blocos com áreas quadriculadas representam as faixas do fator em escala com variações de alta energia de intrafaixa, que podem causar anomalias no sinal de saída.[0129] A realistic scenario that shows the potential artifacts when using the misaligned edges is described in Figure 11. Figure 11(a) again shows the edges of the scaled factor range. Fig. 11(b) shows the generated non-HFR-adjusted signals of transposition orders T=2, 3 and 4 with the center decoded baseband signal. Figure 11(c) shows the envelope-adjusted signal when an envelope target plane is assumed. Blocks with checkered areas represent scaled factor ranges with high intra-band energy variations, which can cause output signal anomalies.
[0130] A figura 12 ilustra o cenário da figura 11, mas desta vez utilizando as bordas alinhadas. A figura 12(a) mostra as bordas da faixa do fator em escala, a figura 12(b) descreve os sinais gerados não ajustados pela HFR de ordens de transposição T=2, 3 e 4 com o sinal da banda base decodificados centrais e, em linha com a figura 11(c), a figura 12(c) mostra o sinal ajustado por envelope quando um plano alvo do envelope é assumido. Como é visto da figura, não há faixas do fator em escala com variações de alta energia de intrafaixa devido ao desalinhamento das faixas do sinal transposto e as faixas do fator em escala, e assim os artefatos potenciais são reduzidos.[0130] Figure 12 illustrates the scenario of Figure 11, but this time using aligned edges. Figure 12(a) shows the edges of the scaled factor range, Figure 12(b) depicts the generated unadjusted signals generated by the HFR of transposition orders T=2, 3 and 4 with the baseband signal decoded center and , in line with figure 11(c), figure 12(c) shows the envelope-adjusted signal when an envelope target plane is assumed. As seen from the figure, there are no scaled factor bands with high-energy intraband variations due to misalignment of the transposed signal bands and the scaled factor bands, and thus potential artifacts are reduced.
[0131] A figura 13 ilustra a adaptação das bordas da faixa limitadora de HFR, conforme descrito em, por exemplo, SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audiovisual objects - Parte 3: Audio]” aos reparos harmônicos em um codificador melhorado de HFR. O limitador opera nas faixas de frequência tendo uma resolução mais grossa que as faixas do fator em escala, mas o princípio da operação é o mesmo. No limitador, um valor de ganho médio para cada uma das faixas limitadoras é calculado. Os valores de ganho individuais, ou seja, os valores de ganho envolvente calculados para cada uma das faixas do fator em escala, não são permitidos exceder o valor do ganho médio limitador por mais que um determinado fator multiplicativo. O objetivo do limitador é para suprir grandes variações dos ganhos da faixa do fator em escala dentro de cada uma das faixas limitadoras. Enquanto a adaptação das faixas geradas por transposição às faixas do fator em escala garante pequenas variações da energia intrafaixa dentro de uma faixa do fator em escala, a adaptação das bordas da faixa limitadora às bordas da faixa de transposição, de acordo com a presente invenção, lida com as maiores diferenças da energia em escala entre as faixas processadas por transposição. A figura 13(a) mostra os limites de frequência dos sinais gerados pela HFR das ordens de transposição T=2, 3 e 4. Os níveis de energia dos diferentes sinais transpostos podem ser substancialmente diferentes. A figura 13(b) mostra as faixas de frequência do limitador que tipicamente são de largura constante em uma escala de frequência logarítmica. As bordas da faixa de frequência de transposição são somadas como bordas limitadoras constantes e as bordas limitadoras restantes são recalculadas para manter as relações logarítmicas o mais próximo possível, como, por exemplo, ilustrado na figura 13(c). Embora alguns aspectos foram descritos no contexto de um aparelho, é claro que estes aspectos também representam uma descrição do método correspondente, onde um bloco ou dispositivo corresponde a uma etapa do método ou uma característica de uma etapa do método. Analogicamente, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco ou item ou característica correspondente de um aparelho correspondente.[0131] Figure 13 illustrates the adaptation of the edges of the HFR limiting range, as described in, for example, SBR [ISO/IEC 14496-3:2009, “Information technology - Coding of audiovisual objects - Part 3: Audio]” to harmonic repairs in an improved HFR encoder. The limiter operates in the frequency bands having a coarser resolution than the scale factor bands, but the principle of operation is the same. In the limiter, an average gain value for each of the limiting bands is calculated. The individual gain values, ie the calculated envelope gain values for each of the scaled factor ranges, are not allowed to exceed the limiting average gain value by more than a certain multiplicative factor. The purpose of the limiter is to supply large variations of the scale factor range gains within each of the limiting ranges. While adapting the ranges generated by transposition to the ranges of the scale factor ensures small variations of intraband energy within a range of the scale factor, the adaptation of the edges of the limiting range to the edges of the transposition range, in accordance with the present invention, handles the largest differences in scale energy between tracks processed by transposition. Figure 13(a) shows the frequency limits of the signals generated by the HFR of transposition orders T=2, 3 and 4. The energy levels of the different transposed signals can be substantially different. Figure 13(b) shows the frequency bands of the limiter which are typically of constant width on a logarithmic frequency scale. The edges of the transposition frequency range are summed as constant bounding edges and the remaining bounding edges are recalculated to keep the logarithmic relationships as close as possible, as, for example, illustrated in Figure 13(c). Although some aspects have been described in the context of an apparatus, it is clear that these aspects also represent a description of the corresponding method, where a block or device corresponds to a method step or a characteristic of a method step. Analogously, the aspects described in the context of a method step also represent a description of a corresponding block or item or feature of a corresponding apparatus.
[0132] Outras realizações empregam um esquema de reparação misturada que é mostrado na figura 21, onde o método de reparação misturada dentro de um bloco de tempo é realizado. Para total cobertura das diferentes regiões do espectro de HF, BWE compreende várias reparações. Em HBE, as reparações mais altas exigem altos fatores de transposição dentro dos vocoders de fase, que particularmente deterioram a qualidade perceptual de transitórios.[0132] Other embodiments employ a mixed repair scheme which is shown in Figure 21, where the mixed repair method within a time block is performed. For full coverage of the different regions of the HF spectrum, BWE comprises several fixes. In HBE, higher repairs require high transposition factors within the phase vocoders, which particularly deteriorate the perceptual quality of transients.
[0133] Assim, as realizações geram as reparações de ordem mais alta que ocupam as regiões espectrais superiores preferivelmente pelo cálculo da eficiente reparação da cópia de SSB e as reparações de ordem inferior que abrangem as regiões espectrais médias, para as quais a preservação da estrutura harmônica é desejada, preferivelmente pela reparação de HBE. A mistura individual dos métodos de reparação pode ser estática ao longo do tempo ou, preferivelmente, ser sinalizada no fluxo de dados.[0133] Thus, the realizations generate the higher order repairs that occupy the upper spectral regions preferably by calculating the efficient repair of the SSB copy and the lower order repairs that cover the middle spectral regions, for which the structure preservation harmonics is desired, preferably by HBE repair. The individual mix of repair methods can be static over time or, preferably, be signaled in the data stream.
[0134] Para a operação de cópia, a informação de baixa frequência pode ser utilizada conforme mostrado na figura 21. De modo alternativo, os dados das reparações que foram gerados utilizando os métodos de HBE podem ser utilizados conforme ilustrado na figura 21. O último leva a uma estrutura tonal menos densa para as reparações mais elevadas. Além destes dois exemplos, cada combinação da cópia e HBE é concebível.[0134] For copy operation, low frequency information can be used as shown in figure 21. Alternatively, repair data that was generated using HBE methods can be used as illustrated in figure 21. The last leads to a less dense tonal structure for higher repairs. In addition to these two examples, every combination of copy and HBE is conceivable.
[0135] As vantagens dos conceitos propostos são[0135] The advantages of the proposed concepts are
[0136] Qualidade perceptual melhorada de transitórios[0136] Improved perceptual quality of transients
[0137] Complexidade computacional reduzida[0137] Reduced computational complexity
[0138] A figura 26 ilustra uma corrente do processamento preferida para a finalidade de extensão da largura de banda, onde diferentes operações de processamento podem se realizadas dentro do processamento não linear da subfaixa indicada em blocos 1020a, 1020b. A cascata de bancos de filtro 2302, 2304, 2307 é representada na figura 26 pelo bloco 1010. Além disso, o bloco 2309 pode corresponder aos elementos 1020a, 1020b e o regulador envolvente 1030 podem ser colocados entre o bloco 2309 e o bloco 2311 da figura 23 ou pode ser colocado após o processamento no bloco 2311. Nesta implementação, o processamento seletivo por faixa do sinal de domínio de tempo processado como o sinal estendido da largura de banda é realizado no domínio de tempo em vez de no domínio da subfaixa, que existe antes do banco de filtro de síntese 2311.[0138] Fig. 26 illustrates a preferred processing stream for the purpose of bandwidth extension, where different processing operations can be performed within the non-linear processing of the sub-range indicated in
[0139] A figura 26 ilustra um aparelho para gerar um sinal estendido da largura de banda de áudio de um sinal de entrada de banda baixa 1000 de acordo com outra realização. O aparelho compreende um banco de filtro de análise 1010, um processador de subfaixa não linear ampla da subfaixa 1020a, 1020b, um regulador envolvente subsequentemente conectado 1030 ou, geralmente indicado, um processador de reconstrução de alta frequência operando na reconstrução dos parâmetros de alta frequência como, por exemplo, entrada na linha do parâmetro 1040. O regulador envolvente, ou como geralmente indicado, o processador de reconstrução de alta frequência processa sinais de subfaixa individuais para cada canal de subfaixa e insere os sinais de subfaixa processados para cada canal de subfaixa em um banco de filtro de síntese 1050. O banco de filtro de síntese 1050 recebe, em seus sinais de entrada do canal inferior, uma representação da subfaixa do sinal central do decodificador de banda baixa. Dependendo da implementação, a banda baixa também pode ser derivada das saídas do banco de filtro de análise 1010 na figura 26. Os sinais de subfaixa transpostos são inseridos aos canais de banco de filtro mais altos do banco de filtro de síntese para realizar a reconstrução de alta frequência.[0139] Fig. 26 illustrates an apparatus for generating an extended audio bandwidth signal from a low
[0140] O banco de filtro 1050 finalmente emite um sinal de saída da transposição que compreende as extensões da largura de banda pelos fatores de transposição 2, 3 e 4, e o sinal emitido pelo bloco 1050 não é a largura de banda-limitada à frequência cruzada, ou seja, à frequência mais alta do sinal do codificador central correspondente à frequência mais baixa de SBR ou do sinal gerado por componentes de HFR.[0140]
[0141] Na realização da figura 26, o banco de filtro de análise realiza duas vezes a sobreamostragem e tem um determinado espaçamento da subfaixa de análise 1060. O banco de filtro de síntese 1050 tem um espaçamento da subfaixa de síntese 1070 que é, nesta realização, o dobro do tamanho do espaçamento da subfaixa de análise que resulta em uma contribuição de transposição conforme será discutido posteriormente no contexto da figura 27.[0141] In the realization of Fig. 26, the analysis filterbank performs the oversampling twice and has a certain analysis subrange spacing 1060. The
[0142] A figura 27 ilustra uma implementação detalhada de uma realização preferida de um processador não linear de subfaixa 1020a na figura 26. O circuito ilustrado na figura 27 recebe como uma entrada um único sinal de subfaixa 108, que é processado em três “ramificações”: A ramificação superior 110a é para uma transposição por um fator de transposição de 2. A ramificação no meio da figura 27 indicada em 110b é para uma transposição por um fator de transposição de 3, e a ramificação inferior na figura 27 é para uma transposição por um fator de transposição de 4 e é indicada pelo numeral de referência 110c. Entretanto, a transposição atual obtida por cada elemento de processamento na figura 27 é apenas 1 (ou seja, nenhuma transposição) para ramificação 110a. A transposição atual obtida pelo elemento de processamento ilustrado na figura 27 para a ramificação média 110b é igual a 1,5 e a transposição atual para a ramificação inferior 110c é igual a 2. Isto é indicado pelos números em parênteses à esquerda da figura 27, onde os fatores de transposição T são indicados. As transposições de 1,5 e 2 representam uma contribuição da primeira transposição obtida tendo uma operação de dizimação nas ramificações 110b, 110c e uma extensão de tempo pelo processador sobreposição-adição. A segunda contribuição, ou seja, o dobro da transposição é obtido pelo banco de filtro de síntese 105, que tem um espaçamento da subfaixa de síntese 107 que é duas vezes o banco de filtro de espaçamento da subfaixa de análise. Desta forma, visto que o banco de filtro de síntese tem duas vezes o espaçamento da subfaixa de análise, qualquer funcionalidade de dizimação não ocorre em ramificação 110a.[0142] Fig. 27 illustrates a detailed implementation of a preferred embodiment of a non-linear
[0143] A ramificação 110b, entretanto, tem uma funcionalidade de dizimação para obter uma transposição por 1,5. Devido ao fato de que o banco de filtro de síntese tem duas vezes o espaçamento de subfaixa físico do banco de filtro de análise, um fator de transposição de 3 é obtido conforme indicado na figura 27 à esquerda do extrator de bloco para a segunda ramificação 110b.[0143]
[0144] Analogicamente, a terceira ramificação tem uma funcionalidade de dizimação correspondente a um fator de transposição de 2, e a contribuição final do diferente espaçamento da subfaixa no banco de filtro de análise e o banco de filtro de síntese finalmente corresponde a um fator de transposição de 4 da terceira ramificação 110c.[0144] Analogously, the third branch has a decimation functionality corresponding to a transposition factor of 2, and the final contribution of different subrange spacing in the analysis filter bank and the synthesis filter bank finally corresponds to a factor of transposition of 4 of the
[0145] Particularmente, cada ramificação tem um extrator de bloco 120a, 120b, 120c e cada um destes extratores de bloco podem ser semelhantes ao extrator de bloco 1800 da figura 18. Além disso, cada ramificação tem uma calculadora de fase 122a, 122b e 122c, e a calculadora de fase pode ser semelhante à calculadora de fase 1804 da figura 18. Além disso, cada ramificação tem um regulador de fase 124a, 124b, 124c e o regulador de fase pode ser semelhante ao regulador de fase 1806 da figura 18. Além disso, cada ramificação tem um windower 126a, 126b, 126c, onde cada um destes windowers pode ser semelhante ao windower 1802 da figura 18. Todavia, os windowers 126a, 126b, 126c também podem ser configurados para aplicar uma janela retangular com certo “preenchimento zero”. Os sinais de transposição ou de reparo de cada ramificação 110a, 110b, 110c, na realização da figura 27, são inseridos ao adicionador 128, que soma a contribuição de cada ramificação ao sinal de subfaixa da corrente para finalmente obter os chamados blocos de transposição na saída do adicionador 128. Então, um procedimento de sobreposição-adição no adicionador de sobreposição 130 é realizado, e o adicionador de sobreposição 130 pode ser semelhante ao bloco de sobreposição/soma 1808 da figura 18. O adicionador de sobreposição aplica um valor de avanço de sobreposição-adição de 2*e, onde e é o valor de avanço por sobreposição ou “valor de avanço” dos extratores de bloco 120a, 120b, 120c, e o adicionador de sobreposição 130 emite o sinal transposto que é, na realização da figura 27, uma única saída da subfaixa para o canal k, ou seja, para o canal de subfaixa atualmente observado. O processamento ilustrado na figura 27 é realizado para cada subfaixa de análise ou para um determinado grupo de subfaixas de análise e, conforme ilustrado na figura 26, sinais de subfaixa transpostos são inseridos ao banco de filtro de síntese 1050 após ser processado pelo bloco 1030 para finalmente obter o sinal de saída da transposição ilustrado na figura 26 na saída do bloco 1050.[0145] Particularly, each branch has a
[0146] Em uma realização, o extrator de bloco 120a da ramificação da primeira transposição 110a extrai 10 amostras de subfaixa e subsequentemente uma conversão destas 10 amostras de QMF às coordenadas polares é realizada. Esta saída, gerada pelo regulador de fase 124a, é então direcionado ao windower 126a, que estende a saída pelos zeros para o primeiro e o último valor do bloco, onde esta operação é equivalente a um janelamento (de síntese) com uma janela retangular de extensão 10. O extrator de bloco 120a na ramificação 110a não realiza uma dizimação. Desta forma, as amostras extraídas pelo extrator de bloco são mapeadas em um bloco extraído no mesmo espaçamento de amostra conforme eles foram extraídos.[0146] In one embodiment, the
[0147] Entretanto, isto é diferente para as ramificações 110b e 110c. O extrator de bloco 120b preferivelmente extrai um bloco de 8 amostras de subfaixa e distribui estas 8 amostras de subfaixa no bloco extraído em um diferente espaçamento da amostra de subfaixa. As entradas da amostra de subfaixa sem número inteiro para o bloco extraído são obtidas por uma interpolação, e as amostras QMF obtidas com as amostras interpoladas são convertidas às coordenadas polares e são processados pelo regulador de fase. Então, novamente, o janelamento no windower 126b é realizado para estender o bloco emitido pelo regulador de fase 124b por zeros para as primeiras duas amostras e as últimas duas amostras, cuja operação é equivalente a um janelamento (de síntese) com a janela retangular de extensão 8.[0147] However, this is different for
[0148] O extrator de bloco 120c é configurado para extrair um bloco com uma extensão de tempo de 6 amostras de subfaixa e realiza uma dizimação de um fator de dizimação 2, realiza uma conversão das amostras de QMF em coordenadas polares e novamente realiza uma operação no regulador de fase 124b, e a saída é novamente estendida por zeros, entretanto agora para as primeiras três amostras de subfaixa e para as últimas três amostras de subfaixa. Esta operação é equivalente a um janelamento (de síntese) com uma janela retangular de extensão 6.[0148]
[0149] As saídas de transposição de cada ramificação são então somadas para formar a saída de QMF combinada pelo adicionador 128, e as saídas de QMF combinadas são finalmente superimpostas utilizando sobreposição-adição no bloco 130, onde o valor de avanço de sobreposição-adição ou valor de avanço é duas vezes o valor de avanço dos extratores de bloco 120a, 120b, 120c conforme discutido antes.[0149] The transposition outputs of each branch are then summed to form the combined QMF output by
[0150] Uma realização compreende um método para decodificar um sinal de áudio utilizando a transposição harmônica da subfaixa com base no bloco, compreendendo a filtragem de um sinal decodificado central através de um banco de filtro de análise de faixa M para obter um conjunto de sinais de subfaixa; sintetizando um subconjunto dos ditos sinais de subfaixa por meios de bancos de filtro de síntese subamostrados tendo um número de subfaixas reduzido, para obter os sinais da faixa fonte subamostrados.[0150] One embodiment comprises a method for decoding an audio signal using block-based sub-band harmonic transposition, comprising filtering a central decoded signal through an M-band analysis filter bank to obtain a set of signals. subrange; synthesizing a subset of said subtrack signals by means of subsampled synthesis filterbanks having a reduced number of subtracks, to obtain the subsampled source track signals.
[0151] Uma realização se refere a um método para alinhar as bordas espectrais da faixa dos sinais gerados pela HFR às bordas espectrais utilizadas em um processo paramétrico.[0151] One realization refers to a method for aligning the spectral edges of the range of signals generated by the HFR to the spectral edges used in a parametric process.
[0152] Uma realização se refere a um método para alinhar as bordas espectrais dos sinais gerados pela HFR às bordas espectrais da tabela de frequência do ajuste envolvente compreendendo: a pesquisa para a borda mais alta na tabela de frequência do ajuste envolvente que não excede os limites fundamentais da largura de banda do sinal gerado por HFR do fator de transposição T; e utilizando a borda mais alta encontrada como o limite de frequência do sinal gerado por HFR do fator de transposição T.[0152] One embodiment relates to a method for aligning the spectral edges of the HFR generated signals to the spectral edges of the envelope fit frequency table comprising: searching for the highest edge in the envelope fit frequency table that does not exceed the fundamental limits of the bandwidth of the signal generated by HFR of the transposition factor T; and using the highest edge found as the frequency limit of the signal generated by HFR of the transposition factor T.
[0153] Uma realização se refere a um método para alinhar as bordas espectrais da ferramenta limitadora às bordas espectrais dos sinais gerados pela HFR compreendendo: adicionar as bordas de frequência dos sinais gerados pela HFR à tabela de bordas utilizada ao criar as bordas da faixa de frequência utilizadas pela ferramenta limitadora; e forçar o limitador para utilizar as bordas de frequência adicionadas como bordas constantes e ajustar as bordas restantes corretamente.[0153] One realization refers to a method for aligning the spectral edges of the limiting tool to the spectral edges of the signals generated by the HFR comprising: adding the frequency edges of the signals generated by the HFR to the edge table used when creating the edges of the range of frequency used by the limiting tool; and force the limiter to use the added frequency edges as constant edges and adjust the remaining edges correctly.
[0154] Uma realização se refere á transposição combinada de um sinal de áudio compreendendo várias ordens de transposição de número inteiro em um domínio do banco de filtro de baixa resolução onde a operação de transposição é realizada nos blocos de tempo dos sinais de subfaixa.[0154] One embodiment relates to the combined transposition of an audio signal comprising several integer transposition orders into a low resolution filter bank domain where the transposition operation is performed on the time blocks of the subband signals.
[0155] Outra realização se refere à transposição combinada, onde as ordens de transposição maiores que 2 são embutidas em um ambiente de transposição de ordem 2.[0155] Another realization refers to combined transposition, where transposition orders greater than 2 are embedded in an
[0156] Outra realização se refere á transposição combinada, onde ordens de transposição maiores que 3 são embutidas em um ambiente de transposição de ordem 3, em que as ordens de transposição menores de 4 são realizadas separadamente.[0156] Another realization refers to combined transposition, where transposition orders greater than 3 are embedded in an
[0157] Outra realização se refere à transposição combinada, onde ordens de transposição (por exemplo, ordens de transposição maiores que 2) são criadas pela reprodução de ordens de transposição previamente calculadas (ou seja, ordens especialmente menores) incluindo a largura de banda codificada central. Cada combinação concebível das ordens de transposição disponíveis e a largura de banda são possíveis sem restrições.[0157] Another realization refers to combined transposition, where transposition orders (e.g. transposition orders greater than 2) are created by reproducing previously calculated transposition orders (i.e. especially smaller orders) including encoded bandwidth central. Every conceivable combination of available transposition orders and bandwidth is possible without restrictions.
[0158] Uma realização se refere à redução de complexidade computacional devido ao número reduzido de bancos de filtro de análise que são necessários para a transposição.[0158] One realization refers to the reduction of computational complexity due to the reduced number of analysis filter banks that are needed for the transposition.
[0159] Uma realização se refere a um aparelho para gerar um sinal estendido da largura de banda a partir de um sinal de áudio de entrada, compreendendo: um reparador para reparação de um sinal de áudio de entrada para obter um primeiro sinal reparado e um segundo sinal recuperado, o segundo sinal recuperado tendo uma diferente frequência de reparo comparada ao primeiro sinal reparado, em que o primeiro sinal reparado é gerado utilizando um algoritmo da primeira reparação, e o segundo sinal recuperado é gerado utilizando um algoritmo da segunda reparação; e um combinador para combinar o primeiro sinal reparado e o segundo sinal recuperado para obter o sinal estendido da largura de banda.[0159] One embodiment relates to an apparatus for generating an extended bandwidth signal from an incoming audio signal, comprising: a repairman for repairing an incoming audio signal to obtain a first repaired signal and a second recovered signal, the second recovered signal having a different repair frequency compared to the first repaired signal, wherein the first repaired signal is generated using a first repair algorithm, and the second recovered signal is generated using a second repair algorithm; and a combiner for combining the first repaired signal and the second recovered signal to obtain the extended bandwidth signal.
[0160] Outra realização se refere a este aparelho certamente, no qual o algoritmo da primeira reparação é um algoritmo de reparação harmônica, e o algoritmo de segunda reparação é um algoritmo de reparação não harmônica.[0160] Another realization refers to this apparatus certainly, in which the first repair algorithm is a harmonic repair algorithm, and the second repair algorithm is a non-harmonic repair algorithm.
[0161] Outra realização se refere a um aparelho anterior, no qual a frequência da primeira reparação é inferior à frequência da segunda reparação ou vice versa.[0161] Another embodiment refers to an earlier apparatus, in which the frequency of the first repair is lower than the frequency of the second repair or vice versa.
[0162] Outra realização se refere a um aparelho anterior, no qual o sinal de entrada compreende uma informação de reparação; e no qual o reparador é configurado para ser controlado pela informação de reparação extraída do sinal de entrada para variar o algoritmo da primeira reparação ou o algoritmo da segunda reparação de acordo com a informação de reparação.[0162] Another embodiment relates to an earlier apparatus, in which the input signal comprises repair information; and wherein the repairman is configured to be controlled by the repair information extracted from the input signal to vary the first repair algorithm or the second repair algorithm in accordance with the repair information.
[0163] Outra realização se refere a um aparelho anterior, no qual o reparador é operativo para reparar blocos subsequentes das amostras do sinal de áudio, e no qual o reparador é configurado para aplicar o algoritmo da primeira reparação e o algoritmo da segunda reparação ao mesmo bloco de amostras de áudio.[0163] Another embodiment relates to an earlier apparatus, in which the repairman is operative to repair subsequent blocks of audio signal samples, and in which the repairman is configured to apply the first repair algorithm and the second repair algorithm to the same block of audio samples.
[0164] Outra realização se refere a um aparelho anterior, no qual um reparador compreende, em ordens arbitrárias, um decimador controlado por um fator de extensão da largura de banda, um banco de filtro, e um extensor para um sinal de subfaixa do banco de filtro.[0164] Another embodiment relates to an earlier apparatus, in which a repairman comprises, in arbitrary orders, a decimator controlled by a bandwidth extension factor, a filter bank, and an extender for a subband signal from the bank. of filter.
[0165] Outra realização se refere a um aparelho anterior, no qual o extensor compreende um extrator de bloco para extrair um número de blocos sobrepostos de acordo com um valor de avanço de extração; um regulador de fase ou windower para ajustar valores de amostra da subfaixa em cada bloco com base em uma função de janela ou uma correção de fase; e uma sobreposição/adicionador para realizar um processo de adição/sobreposição dos blocos ajustados por fase ou janela utilizando um valor de avanço de sobreposição maior que o valor de avanço de extração.[0165] Another embodiment refers to a prior apparatus, in which the extender comprises a block extractor for extracting a number of overlapping blocks according to an extraction advance value; a phase regulator or windower to adjust subrange sample values in each block based on a window function or a phase correction; and an overlay/adder for performing an addition/overlay process of the phase- or window-fitted blocks using an overlay advance value greater than the extraction advance value.
[0166] Outra realização se refere a um aparelho para largura de banda que estende um sinal de áudio compreendendo: um banco de filtro para filtrar o sinal de áudio para obter sinais com a taxa de amostragem reduzida de subfaixa; uma pluralidade de diferentes processadores de subfaixa para processar diferentes sinais de subfaixa de formas diferentes, os processadores de subfaixa que realizam diferentes operações de extensão de tempo do sinal de subfaixa utilizando diferentes fatores de extensão; e uma união para unir as subfaixas processadas emitidas pela pluralidade de diferentes processadores de subfaixa para obter um sinal estendido da largura de banda de áudio.[0166] Another embodiment relates to an apparatus for bandwidth spanning an audio signal comprising: a filter bank for filtering the audio signal to obtain signals with the sub-band reduced sampling rate; a plurality of different subband processors for processing different subband signals in different ways, the subband processors performing different time extension operations of the subband signal using different extension factors; and a union for joining the processed sub-tracks output from the plurality of different sub-track processors to obtain an extended audio bandwidth signal.
[0167] Outra realização se refere a um aparelho para redução da taxa de amostragem de um sinal de áudio, compreendendo: um modulador; um interpolador utilizando um fator de interpolação; um filtro passa baixo complexo; e um decimador utilizando um fator de dizimação, em que o fator de dizimação é mais alto que o fator de interpolação.[0167] Another embodiment relates to an apparatus for reducing the sampling rate of an audio signal, comprising: a modulator; an interpolator using an interpolation factor; a complex low pass filter; and a decimator using a decimation factor, where the decimation factor is higher than the interpolation factor.
[0168] Uma realização se refere a um aparelho para redução da taxa de amostragem de um sinal de áudio, compreendendo: um primeiro banco de filtro para gerar uma pluralidade de sinais de subfaixa do sinal de áudio, em que uma taxa de amostragem do sinal de subfaixa é menor que uma taxa de amostragem do sinal de áudio; pelo menos um banco de filtro de síntese seguido por um banco de filtro de análise para realizar uma conversão da taxa de amostra, o banco de filtro de síntese tendo um número de canais diferente de um número de canais do banco de filtro de análise; um processador de extensão de tempo para processar o sinal convertido da taxa de amostra; e um combinador para combinar o sinal com tempo estendido e um sinal de banda baixa ou um diferente sinal com tempo estendido.[0168] One embodiment relates to an apparatus for reducing the sampling rate of an audio signal, comprising: a first filter bank for generating a plurality of sub-range signals of the audio signal, wherein a sampling rate of the signal subband is less than a sampling rate of the audio signal; at least one synthesis filterbank followed by an analysis filterbank to perform a sample rate conversion, the synthesis filterbank having a number of channels other than a number of channels of the analysis filterbank; a time extension processor for processing the sample rate converted signal; and a combiner for combining the time-extended signal and a low-band signal or a different time-extended signal.
[0169] Outra realização se refere a um aparelho para redução da taxa de amostragem de um sinal de áudio por um fator de redução da taxa de amostragem de número não inteiro, compreendendo: um filtro digital; um interpolador tendo um fator de interpolação; um elemento polifase tendo desvios ímpares e pares; e um decimador tendo um fator de dizimação sendo maior que o fator de interpolação, o fator de dizimação e o fator de interpolação sendo selecionado de forma que um índice do fator de interpolação e do fator de dizimação não seja número inteiro.[0169] Another embodiment relates to an apparatus for reducing the sampling rate of an audio signal by a non-integer sampling rate reduction factor, comprising: a digital filter; an interpolator having an interpolation factor; a polyphase element having odd and even offsets; and a decimator having a decimation factor being greater than the interpolation factor, the decimation factor and the interpolation factor being selected so that an index of the interpolation factor and the decimation factor is not an integer.
[0170] Uma realização se refere a um aparelho para processar um sinal de áudio, compreendendo: um decodificador central tendo um tamanho da transformação de síntese sendo menor que um tamanho de transformação nominal por um fator, de forma que um sinal de saída seja gerado pelo decodificador central tendo uma taxa de amostragem menor que uma taxa de amostragem nominal correspondente ao tamanho de transformação nominal; e um pós- processador tendo um ou mais bancos de filtro, um ou mais extensores de tempo e uma união, em que um número de canais do banco de filtro de um ou mais bancos de filtro é reduzido comparado a um número conforme determinado pelo tamanho de transformação nominal.[0170] One embodiment relates to an apparatus for processing an audio signal, comprising: a central decoder having a synthesis transform size being smaller than a nominal transform size by a factor, so that an output signal is generated by the central decoder having a sampling rate less than a nominal sampling rate corresponding to the nominal transformation size; and a postprocessor having one or more filter banks, one or more time extenders, and a join, wherein a number of channels in the filter bank of one or more filter banks is reduced compared to a number as determined by the size. of nominal transformation.
[0171] Outra realização se refere a um aparelho para processar um sinal de banda baixa, compreendendo: um gerador de reparo para gerar várias reparações utilizando o sinal de banda baixa de áudio; um regulador envolvente para ajustar um sinal envolvente utilizando fatores de escala dados para faixas do fator em escala adjacente tendo bordas da faixa do fator em escala, em que o gerador de reparo é configurado para realizar as várias reparações, de forma que uma borda entre as reparações adjacentes coincide com uma borda entre as faixas do fator em escala adjacente na escala de frequência.[0171] Another embodiment relates to an apparatus for processing a lowband signal, comprising: a repair generator for generating various repairs using the lowband audio signal; an envelope regulator for adjusting an envelope signal using given scale factors for adjacent scaled factor ranges having edges of the scaled factor range, wherein the repair generator is configured to perform the various repairs such that an edge between the adjacent repairs coincides with an edge between the bands of the adjacent scaled factor on the frequency scale.
[0172] Uma realização se refere a um aparelho para processar um sinal de banda baixa de áudio, compreendendo: um gerador de reparo para gerar várias reparações utilizando o sinal de áudio de banda baixa; e um limitador de ajuste envolvente para limitar os valores de ajuste envolventes para um sinal limitando as faixas limitadoras adjacentes tendo bordas da faixa limitadora, em que o gerador de reparo é configurado para realizar as várias reparações de forma que uma borda entre reparações adjacentes coincide com uma borda entre as faixas limitadoras adjacentes em uma escala de frequência.[0172] One embodiment relates to an apparatus for processing a lowband audio signal, comprising: a repair generator for generating various repairs using the lowband audio signal; and a wraparound trim limiter for limiting the wraparound trim values for a signal by limiting adjacent limiting ranges having edges of the limiting range, wherein the repair generator is configured to perform the various repairs such that an edge between adjacent repairs coincides with an edge between adjacent limiting bands on a frequency scale.
[0173] O processamento inventivo é útil para melhorar os codecs de áudio que dependem de um esquema da extensão da largura de banda. Especialmente, se uma qualidade perceptual ideal a uma dada taxa de bits for altamente importante e, ao mesmo tempo, a energia do processamento for um recurso limitado.[0173] Inventive processing is useful for improving audio codecs that rely on a bandwidth extension scheme. Especially if optimal perceptual quality at a given bitrate is highly important and at the same time processing power is a limited resource.
[0174] Aplicações mais proeminentes são decodificadores de áudio, que são geralmente implementados em dispositivos portáteis e assim operam em uma fonte de alimentação por bateria.[0174] Most prominent applications are audio decoders, which are generally implemented in portable devices and thus operate on a battery power supply.
[0175] O sinal de áudio codificado inventivo pode ser armazenado em um meio de armazenamento digital ou pode ser transmitido em um meio de transmissão como um meio de transmissão sem fio ou um meio de transmissão com fio como a Internet.[0175] The inventive encoded audio signal can be stored on a digital storage medium or it can be transmitted on a transmission medium such as a wireless transmission medium or a wired transmission medium such as the Internet.
[0176] Dependendo de determinadas exigências da implementação, as realizações da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada utilizando um meio de armazenamento digital, por exemplo, um disquete, um DVD, um CD, uma ROM, uma PROM, uma EPROM, uma EEPROM ou uma memória FLASH, tendo sinais de controle legíveis eletronicamente armazenados nele, que cooperaram (ou podem cooperar) com um sistema de computador programável de forma que o respectivo método seja realizado.[0176] Depending on certain implementation requirements, the embodiments of the invention can be implemented in hardware or in software. The implementation can be carried out using a digital storage medium, for example a floppy disk, a DVD, a CD, a ROM, a PROM, an EPROM, an EEPROM or a FLASH memory, having electronically readable control signals stored on it, which cooperated (or may cooperate) with a programmable computer system so that the respective method is carried out.
[0177] Algumas realizações de acordo com a invenção compreendem um transportador de dados tendo sinais de controle legíveis eletronicamente, que podem cooperar com um sistema de computador programável, de forma que um dos métodos descritos aqui seja realizado.[0177] Some embodiments according to the invention comprise a data carrier having electronically readable control signals, which can cooperate with a programmable computer system, so that one of the methods described herein is carried out.
[0178] Geralmente, as realizações da presente invenção podem ser implementadas como um produto do programa de computador com um código de programa, o código de programa sendo operativo para realizar um dos métodos quando o produto do programa de computador operar em um computador. O código de programa pode, por exemplo, ser armazenado em um transportador legível pela máquina.[0178] Generally, embodiments of the present invention may be implemented as a computer program product with a program code, the program code being operative to perform one of the methods when the computer program product operates on a computer. Program code can, for example, be stored on a machine-readable conveyor.
[0179] Outras realizações compreendem o programa de computador para realizar um dos métodos descritos aqui, armazenados em um transportador legível pela máquina.[0179] Other embodiments comprise the computer program to perform one of the methods described here, stored on a machine readable conveyor.
[0180] Em outras palavras, uma realização do método inventivo é, desta forma, um programa de computador tendo um código de programa para realizar um dos métodos descritos aqui, quando o programa de computador opera em um computador.[0180] In other words, an embodiment of the inventive method is, in this way, a computer program having a program code to perform one of the methods described here, when the computer program operates on a computer.
[0181] Outra realização dos métodos inventivos é, desta forma, um transportador de dados (ou um meio de armazenamento digital, ou um meio legível por computador) compreendendo, registrado nele, o programa de computador para realizar um dos métodos descritos aqui.[0181] Another embodiment of the inventive methods is, in this way, a data carrier (or a digital storage medium, or a computer readable medium) comprising, registered therein, the computer program for carrying out one of the methods described herein.
[0182] Outra realização do método inventivo é, desta forma, um fluxo de dados ou uma sequência de sinais que representam o programa de computador para realizar um dos métodos descritos aqui. O fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurado para ser transferido através de uma conexão de comunicação de dados, por exemplo, através da Internet.[0182] Another embodiment of the inventive method is, in this way, a data stream or a sequence of signals representing the computer program to carry out one of the methods described here. The data stream or signal sequence can, for example, be configured to be transferred over a data communication connection, for example via the Internet.
[0183] Outra realização compreende um meio de processamento, por exemplo, um computador, ou um dispositivo lógico programável, configurado ou adaptado para realizar um dos métodos descritos aqui.[0183] Another embodiment comprises a processing means, for example a computer, or a programmable logic device, configured or adapted to perform one of the methods described herein.
[0184] Outra realização compreende um computador tendo instalado nele o programa de computador para realizar um dos métodos descritos aqui.[0184] Another embodiment comprises a computer having installed on it the computer program to perform one of the methods described herein.
[0185] Em algumas realizações, um dispositivo lógico programável (por exemplo, uma matriz de portas programáveis em campo) pode ser utilizado para realizar algumas ou todas as funcionalidades dos métodos descritos aqui. Em algumas realizações, uma matriz de portas programáveis em campo pode cooperar com um microprocessador para realizar um dos métodos descritos aqui. Geralmente, os métodos são preferivelmente realizados por um hardware.[0185] In some embodiments, a programmable logic device (eg, an array of field programmable gates) may be used to perform some or all of the functionality of the methods described here. In some embodiments, an array of field programmable gates may cooperate with a microprocessor to perform one of the methods described herein. Generally, the methods are preferably performed by hardware.
[0186] As realizações descritas acima são meramente ilustrativas para os princípios da presente invenção. É entendido que as modificações e variações das disposições e os detalhes descritos aqui serão aparentes aos outros técnicos no assunto. É intenção, desta forma, ser limitado apenas pelo escopo das próximas reivindicações da patente e não pelos detalhes específicos apresentados em forma de descrição e explicação das realizações aqui.[0186] The embodiments described above are merely illustrative for the principles of the present invention. It is understood that modifications and variations of the provisions and details described herein will be apparent to those skilled in the art. It is intended, therefore, to be limited only by the scope of the forthcoming patent claims and not by the specific details presented in the form of description and explanation of the embodiments herein.
[0187] LITERATURA[0187] LITERATURE
[0188] M. Dietz, L. Liljeryd, K. Kjorling e O. Kunz, “Spectral Band Replication, a novel approach in audio coding,” na 112a Convenção AES, Munique, maio de 2002.[0188] M. Dietz, L. Liljeryd, K. Kjorling and O. Kunz, “Spectral Band Replication, a novel approach in audio coding,” at the 112th AES Convention, Munich, May 2002.
[0189] S. Meltzer, R. Bohm e F. Henn, “SBR enhanced audio codecs for digital broadcasting such as “Digital Radio Mondiale” (DRM),” na 112a Convenção AES, Munique, maio de 2002.[0189] S. Meltzer, R. Bohm and F. Henn, “SBR enhanced audio codecs for digital broadcasting such as “Digital Radio Mondiale” (DRM),” at the 112th AES Convention, Munich, May 2002.
[0190] T. Ziegler, A. Ehret, P. Ekstrand e M. Lutzky, “Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm,” na 112a Convenção AES, Munique, maio de 2002.[0190] T. Ziegler, A. Ehret, P. Ekstrand and M. Lutzky, “Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO Algorithm,” at the 112th AES Convention, Munich, May 2002.
[0191] Norma Internacional ISO/IEC 14496-3:2001/FPDAM 1, “Bandwidth Extension,” ISO/IEC, 2002. Speech bandwidth extension method and apparatus Vasu Iyengar et al.[0191] International Standard ISO/IEC 14496-3:2001/
[0192] E. Larsen, R. M. Aarts, e M. Danessis. Efficient high-frequency bandwidth extension of music and speech. Na 112a Convenção AES, Munique, Alemanha, maio de 2002.[0192] E. Larsen, R.M. Aarts, and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. At the 112th AES Convention, Munich, Germany, May 2002.
[0193] R. M. Aarts, E. Larsen, e O. Ouweltjes. A unified approach to low- and high frequency bandwidth extension. Na AES 115a Convenção AES, Nova York, EUA, outubro de 2003.[0193] R.M. Aarts, E. Larsen, and O. Ouweltjes. A unified approach to low- and high-frequency bandwidth extension. At AES 115th AES Convention, New York, USA, October 2003.
[0194] K. Kãyhko. A Robust Wideband Enhancement for Narrowband Speech Signal. Relatório de Pesquisa, Helsinki Universidade de Tecnologia, Laboratório de Processamento de Acústica e Sinal de Áudio, 2001.[0194] K. Kayhko. A Robust Wideband Enhancement for Narrowband Speech Signal. Research Report, Helsinki University of Technology, Acoustics and Audio Signal Processing Laboratory, 2001.
[0195] E. Larsen e R. M. Aarts. Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004.[0195] E. Larsen and R.M. Aarts. Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design. John Wiley & Sons, Ltd, 2004.
[0196] E. Larsen, R. M. Aarts, e M. Danessis. Efficient high-frequency bandwidth extension of music and speech. Na 112a Convenção AES, Munique, Alemanha, maio de 2002.[0196] E. Larsen, R.M. Aarts, and M. Danessis. Efficient high-frequency bandwidth extension of music and speech. At the 112th AES Convention, Munich, Germany, May 2002.
[0197] J. Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU- 21(3), junho de 1973.[0197] J. Makhoul. Spectral Analysis of Speech by Linear Prediction. IEEE Transactions on Audio and Electroacoustics, AU-21(3), June 1973.
[0198] Pedido de Patente Norte-Americano 08/951.029, Ohmori , et al. Audio band width extending system and method.[0198] US Patent Application 08/951,029, Ohmori, et al. Audio band width extending system and method.
[0199] Pedido de Patente Norte-Americano 6895375, Malah, D & Cox, R. V.: System for bandwidth extension of Narrow-band speech.[0199] US Patent Application 6895375, Malah, D & Cox, R.V.: System for bandwidth extension of Narrow-band speech.
[0200] Frederik Nagel, Sascha Disch, “A harmonic bandwidth extension method for audio codecs,” ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, abril de 2009.[0200] Frederik Nagel, Sascha Disch, “A harmonic bandwidth extension method for audio codecs,” ICASP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009.
[0201] Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, “A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs,” Na 126a Convenção AES, Munique, Alemanha, maio de 2009.[0201] Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, “A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs,” At the 126th AES Convention, Munich, Germany, May 2009.
[0202] M. Puckette. Phase-locked Vocoder. “IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.”, Robel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html.[0202] M. Puckette. Phase-locked Vocoder. “IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995.”, Robel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html.
[0203] Laroche L., Dolson M.: “Improved phase vocoder timescale modification of audio”, IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323--332,.[0203] Laroche L., Dolson M.: “Improved phase vocoder timescale modification of audio”, IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323--332,.
[0204] Pedido de Patente Norte-Americano 6549884 Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting.[0204] US Patent Application 6549884 Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting.
[0205] Herre, J.; Faller, C.; Ertel, C.; Hilpert, J.; Holzer, A.; Spenger, C, “MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio,” 116a Convenção Aud. Eng. Soc., maio de 2004.[0205] Herre, J.; Faller, C.; Ertel, C.; Hilpert, J.; Holzer, A.; Spenger, C, “MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio,” 116th Aud Convention. Eng. Soc., May 2004.
[0206] Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jérémie; Bessette, Bruno; Geiger, Ralf; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard: Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates, ICASSP 2009, 19-24 de abril de 2009, Taipei, Taiwan. [0207] Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralf; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jérémie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederik; Neuendorf, Max; Rettelbach, Nikolaus; Robilliard, Julien; Salami, Redwan; Schuller, Gerald: A Novel Scheme for Low Bitrate Unified Speech and Audio Coding, 126a Convenção AES, 7 de maio de 2009, München.[0206] Neuendorf, Max; Gournay, Philippe; Multrus, Markus; Lecomte, Jérémie; Bessette, Bruno; Geiger, Ralph; Bayer, Stefan; Fuchs, Guillaume; Hilpert, Johannes; Rettelbach, Nikolaus; Salami, Redwan; Schuller, Gerald; Lefebvre, Roch; Grill, Bernhard: Unified Speech and Audio Coding Scheme for High Quality at Lowbitrates, ICASSP 2009, April 19-24, 2009, Taipei, Taiwan. [0207] Bayer, Stefan; Bessette, Bruno; Fuchs, Guillaume; Geiger, Ralph; Gournay, Philippe; Grill, Bernhard; Hilpert, Johannes; Lecomte, Jérémie; Lefebvre, Roch; Multrus, Markus; Nagel, Frederick; Neuendorf, Max; Rettelbach, Nikolaus; Robliard, Julien; Salami, Redwan; Schuller, Gerald: A Novel Scheme for Low Bitrate Unified Speech and Audio Coding, 126th AES Convention, May 7, 2009, München.
Claims (17)
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US31212710P | 2010-03-09 | 2010-03-09 | |
US61/312,127 | 2010-03-09 | ||
PCT/EP2011/053315 WO2011110500A1 (en) | 2010-03-09 | 2011-03-04 | Apparatus and method for processing an input audio signal using cascaded filterbanks |
BR112012022574-0A BR112012022574B1 (en) | 2010-03-09 | 2011-03-04 | APPARATUS AND METHOD FOR PROCESSING AN INPUT AUDIO SIGNAL USING CASCADED FILTER BANKS |
Publications (1)
Publication Number | Publication Date |
---|---|
BR122021019078B1 true BR122021019078B1 (en) | 2022-05-03 |
Family
ID=81581648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR122021019078-0A BR122021019078B1 (en) | 2010-03-09 | 2011-03-04 | Apparatus and method for processing an input audio signal using cascading filter banks |
Country Status (1)
Country | Link |
---|---|
BR (1) | BR122021019078B1 (en) |
-
2011
- 2011-03-04 BR BR122021019078-0A patent/BR122021019078B1/en active IP Right Grant
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240135939A1 (en) | Apparatus and method for processing an input audio signal using cascaded filterbanks | |
BR122021019078B1 (en) | Apparatus and method for processing an input audio signal using cascading filter banks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 04/03/2011, OBSERVADAS AS CONDICOES LEGAIS. PATENTE CONCEDIDA CONFORME ADI 5.529/DF, QUE DETERMINA A ALTERACAO DO PRAZO DE CONCESSAO. |
|
B25G | Requested change of headquarter approved |
Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWANDTEN FORSCHUNG E.V. (DE) ; DOLBY INTERNATIONAL AB (IE) |