BR112020009117A2 - decodificador de áudio que suporta um conjunto de diferentes ferramentas de ocultação de perda - Google Patents
decodificador de áudio que suporta um conjunto de diferentes ferramentas de ocultação de perda Download PDFInfo
- Publication number
- BR112020009117A2 BR112020009117A2 BR112020009117-0A BR112020009117A BR112020009117A2 BR 112020009117 A2 BR112020009117 A2 BR 112020009117A2 BR 112020009117 A BR112020009117 A BR 112020009117A BR 112020009117 A2 BR112020009117 A2 BR 112020009117A2
- Authority
- BR
- Brazil
- Prior art keywords
- audio signal
- loss
- audio
- plc
- tools
- Prior art date
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 108
- 230000003595 spectral effect Effects 0.000 claims abstract description 93
- 238000005259 measurement Methods 0.000 claims abstract description 72
- 238000001228 spectrum Methods 0.000 claims abstract description 43
- 230000002123 temporal effect Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 59
- 238000001514 detection method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000000737 periodic effect Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000000873 masking effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 101100408464 Caenorhabditis elegans plc-1 gene Proteins 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 238000003066 decision tree Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 101100520231 Caenorhabditis elegans plc-3 gene Proteins 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/028—Noise substitution, i.e. substituting non-tonal spectral components by noisy source
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/90—Pitch determination of speech signals
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/60—General implementation details not specific to a particular type of compression
- H03M7/6005—Decoder aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/756—Media network packet handling adapting media to device capabilities
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Stereo-Broadcasting Methods (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
A presente invenção se refere a uma atribuição de uma do conjunto de fases de diferentes ferramentas de ocultação de perda de um decodificador de áudio a uma parte do sinal de áudio a ser decodificada a partir de um fluxo de dados, parte esta que é afetada pela perda, isto é, a seleção dentre o conjunto de diferentes ferramentas de ocultação de perda, pode ser feita de uma maneira que leva a uma ocultação de perda mais agradável se a atribuição/seleção for feita com base em duas medições: uma primeira medição, que compreende medições determinadas de uma posição espectral de um centroide espectral de um espectro do sinal de áudio e uma segunda medição que compreende medições determinadas de uma previsibilidade temporal do sinal de áudio. A ferramenta de ocultação de perda atribuída ou selecionada pode, então, ser usada para recuperar a parte do sinal de áudio.
Description
Relatório Descritivo da Patente de Invenção para “DECODIFICADOR DE ÁUDIO
[001] O presente pedido se relaciona a um decodificador de áudio que suporta um conjunto de diferentes ferramentas de ocultação de perda.
[002] A ocultação de perda de pacote (PLC) é usada em codecs de áudio para ocultar pacotes perdidos ou corrompidos durante a transmissão do codificador para o decodificador. A PLC é realizada no lado do decodificador e funciona extrapolando o sinal decodificado tanto no domínio da transformação quanto no domínio do tempo. De forma ideal, o sinal oculto deve ser livre de artefatos e deve ter as mesmas características espectrais do sinal ausente.
[003] Codecs de áudio robustos contra erro, da forma descrita em [2] e [4], no geral, têm múltiplos métodos de ocultação para os vários tipos de sinal, como fala, como um exemplo para um sinal monofônico, música, como um exemplo para sinal polifônico, ou sinal de ruído. A seleção é com base em um conjunto de recursos de sinal, que são transmitidos e decodificados a partir do fluxo de bits ou estimados no decodificador.
[004] As técnicas de PLC com base em timbre geralmente produzem bons resultados para sinais de fala e monofônicos. Essas abordagens assumem que o sinal está localmente estacionário e recuperam o sinal perdido sintetizando um sinal periódico usando um período de timbre extrapolado. Estas técnicas são amplamente utilizadas na codificação de fala com base em CELP, como no ITU-T G.718 [2]. A mesmas também podem ser usadas para codificação PCM, como em ITU-T G.711 [3] e, mais recentemente, as mesmas foram aplicadas à codificação de áudio com base em DECT, o melhor exemplo sendo ocultação de domínio de tempo TCX, TCX TD- PLC, no padrão 3GPP EVS [4].
[005] O retardo de timbre é o principal parâmetro usado na PLC com base em timbre. Este parâmetro pode ser estimado no lado do codificador e codificado no fluxo de bits. Neste caso, o retardo de timbre do último quadro bom é usado para ocultar o quadro perdido atual, como em [2] e [4]. Se não houver um retardo de timbre no fluxo contínuo de bits, o mesmo pode ser estimado no lado do decodificador pela execução de um algoritmo de detecção de timbre no sinal decodificado, como em [3].
[006] Para sinais não periódicos, não tonais, semelhantes a ruídos, uma técnica de baixa complexidade chamada de repetição de quadros com embaralhamento de sinais foi descoberta como efetiva. A mesma é com base na repetição do último quadro e na multiplicação dos coeficientes espectrais com um sinal gerado aleatoriamente para ocultar o quadro perdido. Um exemplo de repetição de quadros MDCT com embaralhamento de sinais pode ser encontrado no padrão 3GPP EVS [4].
[007] Para sinais polifônicos tonais ou sinais de música complexos, é usado um método que é com base na previsão da fase dos coeficientes espectrais de qualquer componente tonal detectado. Este método mostra uma melhoria consistente para sinais tonais estacionários. Um componente tonal consiste em um pico que também existia no(s) quadro(s) recebido(s) anterior(es). A fase dos coeficientes espectrais que pertencem aos componentes tonais é determinada a partir do espectro de potência do(s) último(s) quadro(s) recebido(s). Um exemplo de ocultação MDCT tonal pode ser encontrado no padrão 3GPP EVS [4].
[008] Resumindo o exposto, diferentes métodos PLC são conhecidos, mas os mesmos são específicos para certas situações, isto é, para certas características de áudio. Isto é, um codificador de áudio que suporta vários desses métodos PLC deve ter um mecanismo para escolher o método PLC mais adequado no momento em que se encontra a perda de quadros ou pacotes. O método PLC mais adequado é aquele que leva ao substituto menos perceptível para o sinal perdido.
[009] O objetivo do presente pedido é prover um conceito de decodificação de áudio que permite que um decodificador de áudio que compreende um conjunto de diferentes ferramentas de ocultação de perda alcance uma melhor ocultação de perda.
[010] Este objeto é alcançado pelo assunto em questão das reivindicações independentes do presente pedido.
[011] A ideia da presente invenção é com base na descoberta de que uma atribuição de um do conjunto de fases de diferentes ferramentas de ocultação de perda de um decodificador de áudio a uma parte do sinal de áudio a ser decodificado a partir de um fluxo de dados, parte esta que é afetada pela perda, isto é, a seleção a partir do conjunto de diferentes ferramentas de ocultação perda, pode ser feita de uma maneira que leva a uma ocultação de perdas mais agradável se a atribuição/seleção for feita com base em duas medições: uma primeira medição, que compreende medições determinadas de uma posição espectral de um centroide espectral de um espectro do sinal de áudio e uma segunda medição que compreende medições determinadas de uma previsibilidade temporal do sinal de áudio. A ferramenta de ocultação de perdas atribuída ou selecionada pode, então, ser usada para recuperar a parte do sinal de áudio.
[012] Por exemplo, com base nas primeira e segunda medições supramencionadas, uma das primeira e segunda ferramentas de ocultação de perda pode ser atribuída à parte perdida, com uma primeira sendo configurada para recuperar o sinal de áudio pela síntese do sinal de áudio usando um sinal periódico de uma periodicidade que depende de um valor de timbre derivado a partir do fluxo de dados, e a segunda ferramenta de ocultação de perda pode ser configurada para recuperar o sinal de áudio pela detecção dos componentes espectrais tonais do sinal de áudio, pela realização da detecção de fase nos componentes espectrais tonais e síntese do sinal de áudio pela combinação dos sinais de periodicidades que dependem dos componentes espectrais tonais no ajuste de uma mudança de fase mútua entre os sinais, dependendo da detecção de fase. Em outras palavras, com base na primeira e na segunda medições, uma de uma ferramenta PLC de domínio de frequência tonal e uma ferramenta de PLC de domínio de tempo tonal pode ser atribuída à parte perdida.
[013] De acordo com uma modalidade, a atribuição/seleção para uma porção perdida é realizada em estágios: uma terceira medição que mede uma tonalidade do espectro do sinal de áudio é determinada e um de um primeiro e um segundo subconjuntos de uma ou mais ferramentas de ocultação de perda dentre o conjunto de diferentes ferramentas de ocultação de perda é atribuído à parte perdida, e meramente se o primeiro subconjunto de uma ou mais ferramentas de ocultação de perda for atribuído à parte perdida, a atribuição de uma ferramenta PLC para a parte perdida é realizada com base na primeira e na segunda medições dentre este primeiro subconjunto. Caso contrário, a atribuição/seleção é realizada a partir do segundo subconjunto.
[014] Os aspectos vantajosos do presente pedido são o objeto das reivindicações dependentes. As modalidades preferidas do presente pedido são apresentadas a seguir em relação às figuras, dentre as quais: a figura 1 mostra de uma maneira esquemática um diagrama de blocos de um decodificador de áudio de acordo com uma modalidade do presente pedido; a figura 2 mostra um fluxograma de um modo de operação do atribuidor 32 do decodificador de áudio da figura 1 de acordo com uma modalidade; a figura 3 mostra um diagrama esquemático que ilustra uma detecção de centroide espectral para determinar a primeira medição para atribuição de PLC na figura 2 de acordo com uma modalidade; a figura 4 mostra um diagrama esquemático que ilustra a detecção de previsibilidade temporal para determinar a segunda medição para atribuição de PLC da figura 2 de acordo com uma modalidade; a figura 5 ilustra um diagrama esquemático para ilustrar o modo de operação da PLC 1 da figura 2; a figura 6 mostra um diagrama esquemático que ilustra um modo de operação do PLC 2 de acordo com uma modalidade; a figura 7 mostra um fluxograma de uma versão modificada da operação de atribuição da figura 2, estendida para realizar uma atribuição a partir de um conjunto de ferramentas PLC para ocultação de perda de pacotes PLC 1 a PLC 3 de acordo com uma modalidade; e a figura 8 mostra uma árvore de decisão para decidir entre três ferramentas PLC, árvore de decisão à qual a modalidade da figura 7 corresponde.
[015] A figura 1 mostra um decodificador de áudio de acordo com uma modalidade do presente pedido. Da forma aqui mostrada, o decodificador de áudio 10 é configurado para decodificar um sinal de áudio 12 a partir de um fluxo contínuo de dados 14. O sinal de áudio 12 pode ser codificado em um fluxo de dados 14 de acordo com qualquer codec de áudio adequado, tais como um codec de áudio com base no domínio de tempo ou um codec de áudio de domínio de frequência. O sinal de áudio 12 pode ser codificado em um fluxo de dados 14 em unidades de partes temporais 16 de quadros 18, respectivamente. Para ser mais preciso, o sinal de áudio 12 pode ser temporalmente subdividido em partes ou intervalos temporais sobrepostos ou não sobrepostos 16, cada um dos quais correspondendo a um certo quadro dentre os quadros 18 no qual o fluxo contínuo de dados 14 é subdividido. Cada quadro 18 codifica uma parte temporal correspondente 16. Por exemplo, uma parte 18 pode conter informações sobre coeficientes de predição linear que descrevem um envelope espectral do sinal de áudio na parte correspondente 16. Adicionalmente, o quadro 18 pode ter codificado nos mesmos coeficientes espectrais que descrevem um espectro do sinal de áudio 12 na parte 16 que deve ser modelada, por exemplo, pelo decodificador de áudio 10 de acordo com os coeficientes de predição linear contidos nesse quadro. Um processo de adição de sobreposição também pode ser aplicado pelo decodificador de áudio 10 na reconstrução do sinal de áudio 12 a partir do fluxo contínuo de dados 14. Naturalmente, as possibilidades também se aplicam com os exemplos aqui apresentados meramente servindo para facilidade de compreensão.
[016] O fluxo contínuo de dados 14 pode ser recebido pelo decodificador de áudio 10 em uma forma empacotada, isto é, em unidades de pacotes. A subdivisão do fluxo contínuo de dados 14 no próprio quadro 18 representa um tipo de empacotamento, isto é, os quadros 18 representam os pacotes. Adicionalmente, o fluxo contínuo de dados 14 pode ser empacotado em pacotes de um fluxo contínuo de transporte ou formato de arquivo de mídia, mas essa circunstância não é aqui inspecionada com mais detalhes. Em vez disso, deve ser suficiente declarar que a recepção do fluxo contínuo de dados 14 pelo decodificador de áudio 10 é responsável pela perda de dados ou sinal, chamada de perda de pacotes a seguir. Isto é, alguma parte contínua 20 do fluxo contínuo de dados 14 pode ter se perdido durante a transmissão, assim, não recebida pelo decodificador de áudio 10, de forma que a parte correspondente esteja ausente e não está disponível para o decodificador de áudio 10. Como uma consequência, o decodificador de áudio 10 perde informações no fluxo contínuo de dados 14 para reconstruir uma parte 22 correspondente à parte 20. Em outras palavras, o decodificador de áudio 10 não é capaz de reconstruir a parte 22 a partir do fluxo contínuo de dados 14 de acordo com um processo normal de decodificação de áudio implementado, por exemplo, em um núcleo de decodificação de áudio 24 do decodificador de áudio, já que a parte 20 do fluxo contínuo de dados 14 está ausente. Em vez disso, a fim de lidar com tais partes ausentes 20, o decodificador de áudio 10 compreende um conjunto 26 de ferramentas PLC 28 para recuperar ou sintetizar o sinal de áudio 12 na parte 22 por um sinal substituto 30. As ferramentas PLC 28 compreendidas pelo conjunto 26 diferem em sua adequabilidade para diferentes características de sinal de áudio. Isto é, o grau de incômodo durante o uso de uma certa ferramenta PLC para a recuperação de um sinal substituto 30 em uma certa parte 22 do sinal de áudio 12 depende da característica do sinal de áudio nessa parte 22 e as ferramentas PLC 28 no conjunto 26 mostram graus mutuamente diferentes de incômodo para um certo conjunto de características do sinal de áudio. Assim, o decodificador de áudio 10 compreende um atribuidor 32 que atribui um do conjunto 26 de ferramentas de ocultação de perda de pacote 28 à parte 22 do sinal de áudio 12 que é afetada por uma perda de pacote, tal como a parte perdida 22 do fluxo contínuo de dados 14. O atribuidor 32 tenta atribuir a melhor ferramenta PLC 28 à parte 22, a saber, aquela que leva ao menor incômodo.
[017] Uma vez que o atribuidor 32 atribuiu uma certa ferramenta PLC 28 a uma parte perdida 22 do sinal de áudio 12, o decodificador de áudio 10 recupera essa parte 22 do sinal de áudio usando a ferramenta PLC 28 atribuída, desse modo, substituindo o sinal de áudio 12 nesta parte 22, já que o mesmo teria sido reconstruído a partir do áudio fluxo de dados 14 se a parte do fluxo contínuo de dados correspondente 22 não tivesse se perdido, por um sinal substituto 30 obtido usando a ferramenta PLC 28 atribuída para a parte 22 pelo atribuidor 32.
[018] Da forma já indicada anteriormente, a atribuição de uma ferramenta PLC em particular 28 a uma certa parte perdida 22 deve ser feita dependente do sinal, a fim de tornar a ocultação perdida o menos incômoda possível. A dependência do sinal, no entanto, é restrita a partes do fluxo contínuo de dados 14 que precedem a parte do fluxo de dados perdida 20 e, de acordo com a modalidade aqui descrita, o atribuidor 32 age como segue.
[019] A fim de explicar isso com mais detalhes, é feita referência à figura 2. A figura 2 mostra que a íntegra do processo de atribuição para uma certa parte ausente 22 pode, possivelmente, ser disparada por um detector de perda 34 possivelmente presente no decodificador de áudio 10. Em particular, se a detecção perdida 36 realizada pelo detector de perda 34 revelar que alguma parte 20 do fluxo contínuo de dados 14 está ausente ou foi perdida, da forma verificada em 38, o seguinte processo de atribuição é disparado. Uma determinação 40 é realizada a fim de determinar uma primeira medição 42 que mede uma posição espectral de um centroide espectral de um espectro do sinal de áudio. Isto é, o atribuidor 32 determina uma posição espectral de um centro de massa de um espectro do sinal de áudio, veja a figura 3. O decodificador de áudio recupera, a partir de uma parte 44 precedente à parte perdida 20 do fluxo de dados 14, que precede na ordem de fluxo contínuo de dados, um espectro 46 do sinal de áudio. Da forma descrita anteriormente em relação à figura 1, pode ser que o fluxo contínuo de dados 14 tenha um sinal de áudio 12 codificado no mesmo no domínio espectral de alguma maneira, de forma que nenhuma decomposição espectral seja necessária para que atribuidor 32 obtenha o espectro
46. Por exemplo, os coeficientes espectrais de um quadro mais recentemente recebido 18 ou mais de um quadro mais recentemente recuperado 18 do fluxo de dados 14, antes da parte perdida 20, são usados para obter o espectro 46. Se mais do que um quadro 18 for usado, pode ser que o espectro 46 usado pelo atribuidor 32 seja obtido por ponderação. A fim de realizar a determinação 40, o centro de massa deste espectro 46 é determinado, isto é, uma medição 42 que mede uma posição espectral 48 do espectro 46. Posteriormente, um exemplo específico é apresentado.
[020] Adicionalmente, o processo de atribuição disparado pela detecção de perda compreende uma determinação 50 de uma previsibilidade temporal do sinal de áudio para obter uma medição 52 dessa previsibilidade temporal, veja a figura 4 para mais detalhes. Da forma aqui mostrada, de acordo com uma modalidade, a detecção de previsibilidade temporal 50 pode se basear no sinal decodificado ou no sinal de áudio 12 derivado a partir do fluxo contínuo de dados 14 até a parte de sinal 22 que está ausente devido à perda da parte 20 do fluxo contínuo de dados 14. Em outras palavras, a detecção de previsibilidade temporal 50 pode ser com base no sinal de áudio 12 na porção 50 que precede imediatamente a parte perdida 22, cuja perda deve ser ocultada, e que é decodificada a partir da parte 44 do fluxo contínuo de dados
14. A detecção da previsibilidade temporal 50 pode ser feita de uma maneira para que a medição 52 seja uma medição para uma autossimilaridade ou autocorrelação da parte do sinal 50, da forma ilustrada em 54 na figura 4. As mudanças mútuas para as quais a autossimilaridade do sinal 50 é medida pela medição 52 podem ser determinadas pelo atribuidor 32 de maneiras diferentes. Por exemplo, o atribuidor 32 pode inspecionar um parâmetro de timbre correspondente conduzido em um ou mais dos quadros 18 na porção 44 que precede a parte perdida 20 do fluxo contínuo de dados 14. Isto é, as mudanças mútuas nas quais a autossimilaridade pode ser medida podem corresponder a um período de timbre com um timbre sendo determinado com base em um parâmetro no fluxo contínuo de dados 14, a saber, a parte 44. A autossimilaridade ou a correlação 56 nessa mudança de período de timbre pode ser usada como a segunda medida 52.
[021] É óbvio que a ordem de realização das determinações 40 e 50, respectivamente, pode ser comutada ou que ambas as detecções podem ser realizadas concorrentemente. Com base nas medições 42 e 52, uma atribuição 60 é realizada. Esta atribuição 60 seleciona uma das duas ferramentas PLC 28 para ocultação da perda da parte 22. Esta ferramenta PLC, isto é, aquela atribuída 62, é,
então, usada para a ocultação da perda da porção 22.
[022] Como uma breve nota, deve-se notar que o número de ferramentas PLC 28, entre as quais a seleção por atribuição 60 é realizada, pode ser maior do que duas.
[023] De acordo com uma modalidade adicional esboçada a seguir, no entanto, a ferramenta PLC (PLC 1) da figura 2 pode ser descrita como 1, cujo uso do sinal substituto 30, isto é, a estimativa do sinal de áudio na parte 22, é obtido ou recuperado usando ocultação de perda de pacotes de domínio temporal tonal. Em outras palavras, o PLC 1 pode ser uma ocultação de perda de pacotes dedicada para recuperação do sinal de áudio de partes monofônicas. A PLC 1 pode recuperar um sinal de áudio em uma parte ausente 22 de um sinal de áudio 12 usando um sinal periódico de uma periodicidade que depende de um parâmetro de timbre ou valor de timbre derivado a partir do fluxo contínuo de dados, a saber, a partir da parte 44 do fluxo contínuo de dados 14, isto é, a parte 44 que precede a parte perdida 20 do fluxo contínuo de dados
14.
[024] A segunda ferramenta PLC (PLC 2) pode ser dedicada para a recuperação de sinais de áudio de tipo polifônico. A ocultação desta segunda ferramenta PLC (PLC 2) pode ser com base na ocultação de perda de pacotes de domínio de frequência tonal.
[025] Em relação às figuras 5 e 6, uma possível implementação da PLC 1 e da PLC 2 será explicada em resumo.
[026] A figura 5 ilustra a PLC 1. Um parâmetro de timbre ou um valor de timbre 66 conduzidos em um quadro 18 na parte 44 que precede a parte perdida 20 do fluxo contínuo de dados 14 são usados para definir uma periodicidade ou um comprimento de período 68 de um sinal periódico 70 que é, então, usado para formar um substituto ou usado para ocultar a perda na parte 22 do sinal de áudio 12. O parâmetro de timbre ou o valor de timbre 66 podem estar presentes no fluxo contínuo de dados 14 para serem usados pelo decodificador de áudio 10 no caso de decodificação de áudio normal, isto é, sem perda de sinal, para controlar, por exemplo, uma ferramenta de filtro harmônico ou congêneres. Isto é, o parâmetro 66 pode estar presente no fluxo de dados 14 de qualquer maneira. Caso contrário, a ferramenta PLC 28 que realiza a PLC 1 de acordo com a figura 5 pode determinar o período de timbre passo 68 pela análise, tal como pela análise do sinal decodificado 50 na frente da parte perdida 22 ou pela análise da versão acessível mais recente do espectro, tal como o espectro 46 representado na figura 3.
[027] A figura 6 ilustra a PLC 2 de acordo com uma modalidade. Aqui, a ferramenta PLC 28, responsável pela realização da PLC 2, usa, por exemplo, um ou dois ou mais espectros mais recentemente obtidos, obtidos a partir da parte 44 do fluxo contínuo de dados 14, para detectar ou determinar os componentes espectrais tonais nos mesmos, isto é, picos 72 no espectro 46 ou picos 72 no espectro 46 que ocorrem nessa posição ou em uma posição suficientemente similar no espectro de um certo número de espectros ou quadros consecutivos 18, respectivamente. As posições suficientemente similares podem ser aquelas cuja distância espectral está abaixo de um certo limiar. As posições espectrais dos picos 72 representam os componentes espectrais tonais e, aqui, nesses locais espectrais, a detecção de fase é realizada pelo uso de, por exemplo, ou pela avaliação de, por exemplo, um espectro de potência do sinal de áudio. Então, na parte temporal 22 na qual a perda de sinal deve ser ocultada, uma combinação de sinais, cuja periodicidade depende dos componentes espectrais tonais, é formada para produzir o sinal complementar 30, em que uma mudança de fase mútua entre os sinais combinados é ajustada dependendo da detecção de fase. Por exemplo, uma fase é determinada para cada componente tonal 72 ou meramente diferenças de fase entre esses componentes tonais são determinadas, e um sinal é formado como o substituto 30 na parte 22 que é sintetizada por esses componentes tonais 72 com obediência às diferenças de fase ou fases. A combinação pode ser formada no domínio espectral com a derivação do sinal substituto 30 por transformação inversa, ou no domínio do tempo diretamente pela adição, por exemplo, de sinais mutuamente mudados, a mudança mútua refletindo a mudança de fase mútua determinada.
[028] Da forma descrita com mais detalhes a seguir, a atribuição 60 pode ser feita de uma maneira para que a PLC 1 seja escolhida ou atribuída à parte 22 quanto mais provável que a posição espectral seja mais baixa 48 e quanto mais alta for a previsibilidade temporal e, vice-versa, a PLC 2 seja atribuída ou selecionada quanto mais provável que a espectral posição seja mais alta 48 e quanto mais baixa for a previsibilidade temporal. Uma posição espectral mais alta corresponde a uma frequência mais alta e uma posição espectral mais baixa a uma frequência mais baixa. Fazendo isso dessa maneira, é mais provável que a PLC 1 seja escolhida no caso da parte 22 correspondente à fala perdida e é mais provável que a PLC 2 seja selecionada no caso da parte 22 em relação aos sinais de polifônicos ou música.
[029] A título de completude, a figura 7 mostra o fato de que o processo de atribuição da figura 2 pode ser estendido. Em particular, da forma mostrada na figura 2, a atribuição 60 foi feita pela restrição da atribuição ou pela seleção da atribuição 60 em um subconjunto 80 de ferramentas PLC 28. O conjunto 26 de ferramentas PLC 28 pode conter um subconjunto adicional de uma ou mais ferramentas PLC 28, tal como o subconjunto 82 e, quando disparada pela detecção de perdas 36, uma detecção de tonalidade 84 pode ser usada pelo atribuidor 32 primeiro, a fim de determinar se a parte 22 se relaciona a uma parte tonal ou não. A determinação da tonalidade 84 produz uma medição ou indicador de tonalidade 86 e este indicador de medição de tonalidade 86 pode ser obtido em 84 pelo uso de um ou mais parâmetros na parte 44 do fluxo contínuo de dados 14, por exemplo, tal como pela inspeção se um quadro 18 mais recente na parte 44 compreende ou não um certo parâmetro de timbre, tal como um valor de timbre 66, da forma descrita na figura 5. No caso de ausência, isso pode ser interpretado como uma indicação de que o sinal de áudio é atualmente não tonal e, no caso da presença do parâmetro de timbre 66, isso pode ser interpretado como indicando que o sinal de áudio é atualmente tonal. Esta indicação é, então, a medição de tonalidade 86. Usando a medição 86, é discriminado em 88 se o sinal de áudio é tonal ou não e, se o mesmo não for tonal, a PLC 62 atribuída à parte 22 é atribuída fora do subconjunto 82. A figura 7 ilustra o caso em que uma ferramenta PLC 28 é composta pelo subconjunto 82 e este é escolhido. No entanto, mesmo aqui, uma seleção adicional fora do subconjunto 82 pode seguir. Se a tonalidade for confirmada em 88, a atribuição 60 com base nas determinações 40 e 50 é realizada em relação ao subconjunto 80, da forma descrita anteriormente em relação à figura 2.
[030] A PLC 3 pode ser uma PLC não tonal, tal como uma PLC que recupera um sinal de áudio para uma parte 22 pelo uso da repetição de quadros com ou sem modificação réplica, quando a modificação de réplica puder, da forma indicada anteriormente, envolver embaralhamento de sinais, isto é, uma viragem de sinal aleatória dos coeficientes espectrais de um espectro recebido mais recentemente, tal como o espectro 46, que é, então, inversamente transformado e usado para derivar o sinal substituto 30.
[031] A figura 8 visualiza uma árvore de decisão para selecionar entre as ferramentas PLC 28 de acordo com uma maneira que corresponde, por exemplo, à figura 7. As decisões A e B são tomadas para decidir quais dos três métodos PLC 1 a PLC 3, que são desenhados para diferentes tipos de sinal, devem ser usados para uma certa parte de sinal ausente 22, a fim de obter o melhor desempenho de ocultação. A primeira decisão, decisão A, é com base na tonalidade. Se o sinal se revelar como não tonal, a PLC 3 é usada para a ocultação. Se tonal, a decisão B é tomada. A decisão B verifica as características do sinal tonal com base nas medições 42 e 52, da maneira descrita anteriormente em relação às figuras 2 e 7 e, dependendo das características, escolhe uma das PLC 1 ou PLC 2. Da forma explicada anteriormente, a PLC 1 pode ser uma PLC de domínio de tempo tonal para sinais monofônicos e/ou de fala, ao mesmo tempo em que a PLC 2 pode ser uma PLC de domínio de frequência tonal para sinais polifônicos e/ou de música.
[032] A árvore de decisão da figura 8, assim, visualiza as decisões, que podem ser tomadas entre três métodos de PLC para diferentes tipos de sinal para obter o melhor desempenho de ocultação. A decisão A, que pode corresponder à verificação 88 da figura 7, pode ser feita pela inspeção de uma classificação do tipo de sinal, isto é, usando o mesmo como uma indicação, ou pela derivação a partir do mesmo, de um indicador de tonalidade. A classificação do tipo de sinal está, possivelmente, presente em cada quadro 18 e indica uma classe de quadro de cada quadro. A mesma pode ser calculada no lado do codificador e transmitida no fluxo contínuo de bits 14 para o decodificador de áudio. Ainda alternativamente, a mesma pode ser calculada no lado do decodificador. No entanto, o cálculo da classe de quadro é muito complexo e pode exigir que todos os recursos sejam calculados em cada quadro devido a uma dependência de quadros da classe de quadros. Portanto, para aplicações de baixa complexidade, pode ser preferido se uma abordagem mais simples for usada. Da forma indicada anteriormente, a presença ou a ausência de algum parâmetro de timbre 66 podem ser usadas como indicador 86.
[033] A decisão B, que corresponde à atribuição 60 com base nas determinações 40 e 52, produz uma boa escolha entre PLC nº 1 e PLC nº 2. Em [6], uma escolha como esta foi feita com base em uma medição de estabilidade do envelope espectral, que se correlaciona com a estacionariedade de curto prazo do sinal. No entanto, quanto mais estacionário for um sinal, melhor será o desempenho dos métodos PLC tonal tanto PLC nº 1 quanto PLC nº 2. Isso significa que a estacionariedade não é, portanto, um critério adequado para selecionar o método de ocultação tonal ideal. A característica de estacionariedade indica a tonalidade muito bem, no entanto, a mesma não pode diferenciar entre fala/monofônica e polifônica/música.
[034] Da forma discutida anteriormente, é possível realizar a árvore de decisão da figura 8 usando um classificador de PLC representado pelo atribuidor 32, que pode operar em uma base quadro a quadro sem quaisquer dependências interquadro e, assim, necessita meramente de uma baixa complexidade. O mesmo pode calcular suas características de classificação 42 e 52 somente no caso de uma perda de quadros, conforme detectado ou verificado em 38, e, portanto, não adiciona um deslocamento de complexidade imanente nos quadros livres de erros entre os quadros 18.
[035] A decisão A pode ser feita com base em um indicador de tonalidade 86, que pode ser a presença de um valor de timbre no último bom quadro de áudio recebido. A decisão B pode ser feita pelo uso do centroide espectral 48 e um ganho de previsão de longo prazo 56 calculado no último bom quadro de áudio recebido.
[036] A decisão B pode comutar entre um método de ocultação de domínio de tempo com base em timbre PLC nº 1, melhor adequado para sinais monofônicos e tipo fala, e métodos de domínio de frequência PLC nº 2, melhor adequados para complexos sinais polifônicos ou de música. Uma vantagem da classificação da decisão B resulta do fato de que: * o centroide espectral fica espectralmente localizado muito baixo para sinais de fala e mais alto para sinais de música; * o ganho de previsão de longo prazo é alto para sinais monofônicos e estacionários, como sinais de fala, e baixo para sinais polifônicos ou menos estacionários, como sinais tonais ou de música complexos.
[037] Portanto, uma combinação ponderada de ambas as características 42 e 52 pode ser usada para a decisão B e o processo de atribuição 60 e resulta em uma discriminação confiável dos sinais de fala/monofônicos e de música polifônicos/complexos. Ao mesmo tempo, a complexidade pode ser mantida baixa.
[038] Se o decodificador de áudio receber um quadro corrompido ou se o quadro for perdido, isto é, encontrar uma parte perdida 20, da forma detectada em 38, o seguinte pode ser feito, em que a referência também é feita à figura 2: a. a decisão A é tomada, em 88, se usa-se um método de ocultação tonal, como PLC nº 2 ou PLC nº 1 para ocultar o quadro perdido/corrompido que representa a parte 20, ou ocultar a perda da parte 22 correspondente. Esta decisão A é com base em um indicador de tonalidade 68 para o qual a presença de um valor de timbre 66 no último quadro bom no fluxo contínuo de bits pode ser usada; b. para uma decisão negativa A, nenhum PLC tonal é usado. Em vez disso, um outro método PLC é usado nesse caso, isto é, PLC nº 3. O mesmo pode usar repetição de quadro com embaralhamento de sinal; c. para uma decisão A positiva, um dos dois métodos PLC tonal PLC nº 1 e PLC nº 2 é usado para ocultar o quadro perdido/corrompido. Os dois métodos PLC podem ser tanto o PLC com base em timbre no domínio do tempo, tal como o TCX
TD-PLC de [4], quanto a ocultação tonal no domínio de frequência, tal como a ocultação MDCT tonal em [4], em que a descrição correspondente é aqui incorporada pela referência.
[039] Para uma decisão A positiva, as características 42 e 52 podem ser calculadas com base no último quadro bom da seguinte maneira: * como recurso ou medição 52, um ganho de previsão de longo prazo 𝑥𝑐𝑜𝑟𝑟: ∑𝑁−1 𝑘=0 𝑥(𝑘) ∙ 𝑥(𝑘 − 𝑇𝑐 ) 𝑥𝑐𝑜𝑟𝑟 = √(∑𝑁−1 𝑁−1 𝑘=0 𝑥(𝑘) ∙ 𝑥(𝑘)) ∙ (∑𝑘=0 𝑥(𝑘 − 𝑇𝑐 ) ∙ 𝑥(𝑘 − 𝑇𝑐 )) pode ser computado em 50, em que 𝑇𝑐 é o valor de timbre do último quadro bom e 𝑥(𝑘), 𝑘 = 0 … 𝑁 − 1, são as últimas amostras de tempo decodificadas do último quadro bom e 𝑇, 𝑇𝑐 < 𝑁𝐹 𝑁={ 𝑐 𝑁𝐹 , 𝑠𝑒𝑛ã𝑜 em que 𝑁𝐹 pode ser um valor limitado, como o máximo valor de timbre ou um comprimento de quadro (por exemplo, 10 ms); * como característica ou medição 42, um centroide espectral 𝑠𝑐: 𝑘+1 ∑𝑁−1 𝑘=0 |𝑋𝑠_𝑙𝑎𝑠𝑡𝐺𝑜𝑜𝑑 (𝑘)| ∙ 𝑁 𝑠𝑐 = ∑𝑁−1 𝑘=0 |𝑋𝑠_𝑙𝑎𝑠𝑡𝐺𝑜𝑜𝑑 (𝑘)| pode ser computado em 40, em que 𝑁 é o comprimento do último espectro recebido 𝑋𝑠_𝑙𝑎𝑠𝑡𝐺𝑜𝑜𝑑 (𝑘) e |𝑋𝑠_𝑙𝑎𝑠𝑡𝐺𝑜𝑜𝑑 (𝑘)| significa o espectro de magnitude.
[040] As duas características calculadas são combinadas com a seguinte fórmula: 𝑐𝑙𝑎𝑠𝑠 = 𝑤1 ∙ 𝑥𝑐𝑜𝑟𝑟 + 𝑤2 ∙ 𝑠𝑐 + 𝛽 em que 𝑤1, 𝑤2 e 𝛽 são pesos. Em uma modalidade, os mesmos são 𝑤1 = 520 287 1 , 𝑤2 = −1 e 𝛽 = − 1185. Alternativas são definir 𝑤1, 𝑤2 e 𝛽 de forma que 4 < 𝑤1 < 1185 3 1 1 1 , −2 < 𝑤2 < − 2, e − 2 < 𝛽 < − 16. Os pesos podem ser aqui normalizados para ficar 4 no intervalo [-1:1].
[041] Então, a PLC nº 1, por exemplo, o método PLC com base em timbre no domínio de tempo, pode ser escolhida se 𝑐𝑙𝑎𝑠𝑠 > 0 em 60 e PLC nº 2, tal como uma ocultação tonal no domínio de frequência, em outras circunstâncias.
[042] Devem ser feitas algumas observações em relação à descrição exposta.
Por exemplo, o espectro, cujo centroide espectral é medido para obter a primeira medição 42, pode ser uma assim denominada versão ponderada, tal como uma versão pré-enfatizada.
Tal ponderação é usada, por exemplo, para adaptar o ruído de quantização ao limiar de mascaramento psicoacústico.
Em outras palavras, pode ser que a primeira medição 42 meça uma posição espectral 48 de um centroide espectral de um espectro escalado psicoacústico do sinal de áudio.
Isso pode ser especialmente vantajoso nos casos em que a decodificação de áudio normal do núcleo de decodificação de áudio subjacente codificado 24 envolve que o fluxo contínuo de dados 14 tenha sinal de áudio 12 codificado no mesmo no domínio espectral de qualquer maneira, a saber, no domínio ponderado.
Adicionalmente ou alternativamente, o espectro, cujo centroide espectral é medido para obter a primeira medição 42, não é necessariamente aquele representado em uma resolução espectral tão alta quanto a resolução espectral usada no núcleo de decodificação de áudio 24 para transição para o domínio do tempo.
Em vez disso, o mesmo pode ser mais alto ou mais baixo.
Ainda adicionalmente ou alternativamente, deve-se notar que o espectro do sinal de áudio também se manifesta em fatores de escala.
Tais fatores de escala podem ser transmitidos no fluxo contínuo de dados 14, juntamente com coeficientes espectrais, a fim de, juntos, formarem uma representação codificada do espectro do sinal de áudio.
Para uma certa parte 22, os coeficientes espectrais são escalados de acordo com os fatores de escala.
Há mais coeficientes espectrais do que fatores escaladores.
Cada fator de escala, por exemplo, é atribuído a uma das diversas bandas espectrais, assim denominadas bandas de fator de escala, nas quais a largura de banda do sinal de áudio é particionada.
Os fatores de escala, assim, definem o espectro do sinal de áudio para uma certa parte em termos de envelope em alguma resolução espectral reduzida, se comparada com aquela na qual os coeficientes espectrais quantizados são codificados no fluxo contínuo de dados 14. Pode até mesmo ser que a resolução espectral na qual os fatores de escala são codificados no fluxo contínuo de dados 14 seja ainda mais baixa do que uma resolução espectral na qual o núcleo de decodificação 24 realiza a dequantização dos coeficientes espectrais. Por exemplo, o núcleo de decodificação 24 pode sujeitar os fatores de escala codificados no fluxo contínuo de dados 14 à interpolação espectral para obter fatores de escala interpolados de resolução espectral mais alta como aqueles codificados no fluxo contínuo de dados, e usar os fatores de escala interpolados para dequantização. Qualquer um dos fatores de escala codificados no fluxo contínuo de dados e dos fatores de escala interpolados podem ser usados como o espectro do sinal de áudio cujo centroide espectral é medido pela primeira medição
42. Isso significa que a medição do centroide se torna bastante eficiente do ponto de vista computacional, o que é determinado, já que o número de operações computacionais que serão realizadas para determinar a primeira medição é baixo, se comparado com a realização da medição do centroide em qualquer resolução mais alta, tal como aquela na qual o coeficiente espectral é codificado ou alguma outra resolução no caso da obtenção do espectro para a medição do centroide pela sujeição do sinal de áudio decodificado a uma decomposição espectral extra que aumentaria ainda adicionalmente os esforços. Assim, como um exemplo concreto, a primeira e a segunda medições podem ser computadas como segue, com base em fatores de escala codificados por amostragem descendente SNS (modelagem de ruído espectral): em primeiro lugar, um valor de timbre 𝑇𝑐 pode ser computado como uma base: 0, pitch_present = 0 𝑇𝑐 = { (1) pitch_int, pitch_present = 1 em que pitch_present e pitch_int são parâmetros do fluxo contínuo de bits derivados pelo decodificador a partir do último quadro bom. pitch_present pode ser interpretado como um indicador de tonalidade.
[043] Como a segunda medição, um ganho de previsão de longo prazo 𝑥𝑐𝑜𝑟𝑟 pode ser computado de acordo com: ∑𝑁−1 𝑘=0 𝑥(𝑘) ∙ 𝑥(𝑘 − 𝑇𝑐 ) 𝑥𝑐𝑜𝑟𝑟 = (2) √(∑𝑁−1 𝑁−1 𝑘=0 𝑥(𝑘) ∙ 𝑥(𝑘)) ∙ (∑𝑘=0 𝑥(𝑘 − 𝑇𝑐 ) ∙ 𝑥(𝑘 − 𝑇𝑐 ))
em que 𝑥(𝑘), 𝑘 = 0 … 𝑁 − 1 são as últimas amostras de tempo decodificadas e 𝑁 pode ser um valor de comprimento predeterminado, tal como um valor limitado, como o máximo valor de timbre ou um comprimento de quadro 𝑁𝐹 (por exemplo, 10 ms), por exemplo 2 ∙ pitmin, 𝑇𝑐 < 2 ∙ pitmin 𝑁={ 𝑇𝑐 , 2 ∙ pitmin ≤ 𝑇𝑐 ≤ 𝑁𝐹 (3) 𝑁𝐹 , 𝑇𝑐 > 𝑁𝐹 em que pitmin é o mínimo valor de timbre. Assim, a segunda medição será computada como a autossimilaridade do sinal de tempo de áudio decodificado na parte mais recentemente recebida com o mesmo, mutuamente mudado no timbre.
[044] Como a segunda medição, um centroide espectral 𝑠𝑐 pode ser computado como: 𝑏𝑎𝑛𝑑𝑠(𝑘) 𝑓𝑠 ∑15𝑘=0 𝑔𝑑 (𝑘) ∙ 𝑁𝐹 (4) 𝑠𝑐 = ∙ 15 48000 ∑𝑘=0 𝑔𝑑 (𝑘) ∙ (𝐼𝑓𝑠 (4𝑘 + 4) − 𝐼𝑓𝑠 (4𝑘)) em que 𝑓𝑠 é a taxa de amostragem e 𝐼𝑓𝑠 (4𝑘+4) 𝑏𝑎𝑛𝑑𝑠(𝑘) = ∑ 𝑏 𝑓𝑜𝑟 𝑘 = 0. . 15 (5) 𝑏=𝐼𝑓𝑠 (4𝑘)+1 e 𝐼𝑓𝑠 são índices de banda não uniformes, isto é, índices de banda que definem, para cada banda, a borda de frequência inferior e superior de uma maneira para que as larguras de banda definidas pela diferença entre as bordas inferior e superior associadas difiram umas das outras, tal como o aumento com a frequência crescente, embora a diferença seja opcional. Os índices de banda podem ser definidos na dependência da taxa/frequência de amostragem do sinal de áudio. Adicionalmente, 2𝑠𝑐𝑓𝑄−1(𝑘) 𝑔𝑑 (𝑘) = 𝑔𝑡𝑖𝑙𝑡 𝑝𝑎𝑟𝑎 𝑘 = 0. . 15 (6) 10𝑘∙ 150 em que 𝑠𝑐𝑓𝑄−1 (𝑘) é o vetor de fator de escala armazenado no fluxo contínuo de bits do último quadro bom e 𝑔𝑡𝑖𝑙𝑡 é um fator de inclinação predeterminado que pode ser definido por padrão e, possivelmente, dependendo da frequência de amostra do sinal de áudio. O termo 2𝑠𝑐𝑓𝑄−1(𝑘) é aplicado para voltar os fatores de 1 escala codificados no domínio logarítmico para o domínio linear. O termo 𝑔𝑡𝑖𝑙𝑡 é 𝑘∙ 10 150 aplicado para inverter o filtro de pré-ênfase no lado do codificador, que é chamado de filtro de desênfase.
[045] O vetor do fator de escala é calculado no lado do codificador e transmitido no fluxo contínuo de bits. O mesmo determinado nas energias por banda dos coeficientes de MDCT, em que as bandas são não uniformes e seguem a escala de Bark perceptivamente relevante (menor em baixas frequências, maior em altas frequências). Depois de uniformizar, pré-enfatizar e transformar as energias no domínio logarítmico, as mesmas são, no lado do codificador, descendentemente amostradas de 64 parâmetros para 16 parâmetros para formar o vetor do fator de escala, que, posteriormente, é codificado e transmitido no fluxo contínuo de bits. Assim, 𝑠𝑐 é uma medição para uma posição espectral 48 de um centroide espectral de um espectro 46 do sinal de áudio, aqui determinado com base na versão amostrada espectralmente grosseira do mesmo, a saber, os parâmetros SNS.
[046] A decisão ou a seleção entre os vários métodos PLC pode, então, ser feita com os critérios 𝑥𝑐𝑜𝑟𝑟 e 𝑠𝑐. A repetição de quadros com embaralhamento de sinal pode ser selecionada se 𝑇𝑐 = 0 (o que significa que o indicador de tonalidade pitch_present = 0). Caso contrário, o valor 𝑐𝑙𝑎𝑠𝑠 é calculado como segue: 7640 5112 𝑐𝑙𝑎𝑠𝑠 = 𝑥𝑐𝑜𝑟𝑟 − 𝑠𝑐 − (7) 32768 32768 o método PLC com base em timbre no domínio de tempo pode ser escolhido se 𝑐𝑙𝑎𝑠𝑠 > 0; ocultação tonal do domínio de frequência, caso contrário.
[047] Assim, um decodificador de áudio para decodificar um sinal de áudio 12 a partir de um fluxo contínuo de dados 14, que compreende um conjunto 26 de diferentes ferramentas de ocultação de perda 28 pode ser configurado para determinar 40 uma primeira medição 42 que mede uma posição espectral 48 de um centroide espectral de um espectro 46 do sinal de áudio pela derivação do espectro a partir de fatores de escala em uma parte não perdida mais recente do fluxo contínuo de dados, determinar 50 uma segunda medição 52 que mede uma previsibilidade temporal do sinal de áudio, atribuir 32 uma 62 do conjunto 26 de diferentes ferramentas de ocultação de perda 28 a uma parte 22 do sinal de áudio 12 afetada pela perda com base nas primeira e segunda medições, e recuperar a parte 22 do sinal de áudio usando aquela ferramenta de ocultação de perda 62 atribuída à parte
22. A derivação do espectro pode envolver, da forma descrita, sujeitar os fatores escaladores codificados no fluxo contínuo de dados à interpolação espectral. Adicionalmente ou alternativamente, os mesmos podem ser sujeitos a filtragem de desênfase, isto é, os mesmos podem ser multiplicados pela função de transferência de um filtro de desênfase. Os fatores de escala resultantes podem, então, ser sujeitos à medição do centroide espectral. Todos os outros detalhes supradescritos também podem, então, ser aplicados. Isto é, mencionam-se exemplos que não pretende-se que sejam exclusivos: o conjunto 26 de diferentes ferramentas de ocultação de perda pode compreender uma primeira ferramenta de ocultação de perda para recuperação de sinal de áudio de partes monofônicas, e uma segunda ferramenta de ocultação de perda para recuperação do sinal de áudio de partes polifônicas, e o decodificador de áudio pode ser configurado para, na atribuição de um do conjunto de diferentes ferramentas de ocultação de perda à parte do sinal de áudio com base nas primeira e segunda medições, atribuir a primeira ferramenta de ocultação de perda à parte quanto mais provável for a posição espectral inferior do centroide espectral e mais alta a previsibilidade temporal, e atribuir a segunda ferramenta de ocultação de perda à parte quanto mais provável for a posição espectral superior do centroide espectral e mais baixa for a previsibilidade temporal. Adicionalmente ou alternativamente, o decodificador de áudio pode ser configurado para, na atribuição de um do conjunto de diferentes ferramentas de ocultação de perda a uma parte 22 do sinal de áudio afetada pela perda com base nas primeira e segunda medições, realizar uma somatória nas primeira e segunda medições 42, 52, para obter um valor de soma escalar e sujeitar o valor de soma escalar ao limiar.
[048] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, fica claro que estes aspectos também representam uma descrição do método correspondente, em que um bloco ou um dispositivo correspondem a uma etapa do método ou a uma característica de uma etapa do método. Analogamente, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco ou um item ou uma característica correspondentes de um aparelho correspondente. Algumas ou todas as etapas do método podem ser executadas por (ou utilizando) um aparelho de hardware, como, por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas modalidades, uma ou mais das etapas do método mais importantes podem ser executadas por um aparelho como este.
[049] Dependendo de certas exigências de implementação, as modalidades da invenção podem ser implementadas em hardware ou em software. A implementação pode ser realizada utilizando uma mídia de armazenamento digital, por exemplo, um disquete, um DVD, um Blu-Ray, um CD, uma ROM, uma PROM, uma EPROM, uma EEPROM ou uma memória FLASH, com sinais de controle eletronicamente legíveis armazenados na mesma, que cooperem (ou são capazes de cooperar) com um sistema de computador programável, de maneira tal que o respectivo método seja realizado. Portanto, a mídia de armazenamento digital pode ser legível por computador.
[050] Algumas modalidades de acordo com a invenção compreendem uma portadora de dados com sinais de controle eletronicamente legíveis, que são capazes de cooperar com um sistema de computador programável, de maneira tal que um dos métodos aqui descritos seja realizado.
[051] No geral, as modalidades da presente invenção podem ser implementadas como um produto de programa de computador com um código de programa, o código de programa sendo operativo para realizar um dos métodos quando o produto de programa de computador executar em um computador. O código do programa pode, por exemplo, ser armazenado em uma portadora legível por máquina.
[052] Outras modalidades compreendem o programa de computador para realizar um dos métodos aqui descritos, armazenado em uma portadora legível por máquina.
[053] Em outras palavras, uma modalidade do método inventivo é, portanto, um programa de computador que tem um código de programa para realizar um dos métodos aqui descritos, quando o programa de computador executar em um computador.
[054] Uma outra modalidade dos métodos inventivos é, portanto, uma portadora de dados (ou uma mídia de armazenamento digital, ou uma mídia legível por computador) que compreende, gravado na mesma, o programa de computador para realizar um dos métodos aqui descritos. A portadora de dados, a mídia de armazenamento digital ou a mídia gravada são tipicamente tangíveis e/ou não transitórias.
[055] Uma outra modalidade do método inventivo é, portanto, um fluxo contínuo de dados ou uma sequência de sinais que representam o programa de computador para realizar um dos métodos aqui descritos. O fluxo contínuo de dados ou a sequência de sinais podem, por exemplo, ser configurados para serem transferidos por meio de uma conexão de comunicação de dados, por exemplo, por meio da Internet.
[056] Uma outra modalidade compreende um meio de processamento, por exemplo, um computador ou um dispositivo lógico programável, configurado ou adaptado para realizar um dos métodos aqui descritos.
[057] Uma outra modalidade compreende um computador que tem, instalado no mesmo, o programa de computador para realizar um dos métodos aqui descritos.
[058] Uma modalidade adicional de acordo com a invenção compreende um aparelho ou um sistema configurados para transferir (por exemplo, eletronicamente ou opticamente) um programa de computador para realizar um dos métodos aqui descritos para um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou congêneres. O aparelho ou o sistema podem, por exemplo, compreender um servidor de arquivos para transferir o programa de computador para o receptor.
[059] Em algumas modalidades, um dispositivo lógico programável (por exemplo, um arranjo de porta programável de campo) pode ser usado para realizar algumas ou todas as funcionalidades dos métodos aqui descritos. Em algumas modalidades, um arranjo de porta programável de campo pode cooperar com um microprocessador, a fim de realizar um dos métodos aqui descritos. No geral, os métodos são preferivelmente realizados por qualquer aparelho de hardware.
[060] O aparelho aqui descrito pode ser implementado usando um aparelho de hardware, ou usando um computador, ou usando uma combinação de um aparelho de hardware e um computador.
[061] O aparelho aqui descrito, ou quaisquer componentes do aparelho aqui descrito, podem ser implementados, pelo menos parcialmente, em hardware e/ou em software.
[062] Os métodos aqui descritos podem ser realizados usando um aparelho de hardware, ou usando um computador ou usando uma combinação de um aparelho de hardware e um computador.
[063] Os métodos aqui descritos, ou quaisquer componentes do aparelho aqui descrito, podem ser realizados, pelo menos parcialmente, por hardware e/ou por software.
[064] As modalidades supradescritas são meramente ilustrativas para os princípios da presente invenção. Entende-se que modificações e variações dos arranjos e dos detalhes aqui descritos ficarão aparentes para os versados na técnica. Pretende-se, portanto, que seja limitada apenas pelo escopo das iminentes reivindicações de patente e não pelos detalhes específicos apresentados a título de descrição e explanação das modalidades aqui expostas.
[065] [1] 3GPP TS 26.445; Codec for Enhanced Voice Services (EVS); Detailed algorithmic description.
[066] [2] ITU-T G.718: Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s.
[067] [3] ITU-T G.711 Appendix I: A high quality low-complexity algorithm for packet loss concealment with G.711.
[068] [4] 3GPP TS 26.447; Codec for Enhanced Voice Services (EVS); Error concealment of lost packets.
[069] [5] Method and device for efficient frame erasure concealment in speech codecs; WO2007073604 (A1) ― 2007-07-05.
[070] [6] Selecting a Packet Loss Concealment Procedure; EP3111624 A1 – 2017-01-04.
Claims (23)
1. Decodificador de áudio para decodificar um sinal de áudio (12) a partir de um fluxo contínuo de dados (14), caracterizado por o decodificador de áudio compreender um conjunto (26) de diferentes ferramentas de ocultação de perdas (28) e configurado para determinar (40) uma primeira medição (42) que mede uma posição espectral (48) de um centroide espectral de um espectro (46) do sinal de áudio, determinar (50) uma segunda medição (52) que mede uma previsibilidade temporal do sinal de áudio, atribuir (32) uma (62) do conjunto (26) de diferentes ferramentas de ocultação de perda (28) a uma parte (22) do sinal de áudio (12) afetada pela perda com base nas primeira e segunda medições, e recuperar a parte (22) do sinal de áudio usando aquela ferramenta de ocultação de perda (62) atribuída à parte (22).
2. Decodificador de áudio, de acordo com a reivindicação 1, caracterizado por o conjunto (26) de diferentes ferramentas de ocultação de perdas (28) compreender um ou mais de uma primeira ferramenta de ocultação de perda (PLC nº 1) para recuperação de sinal de áudio pela síntese do sinal de áudio usando um sinal periódico (70) de uma periodicidade (68) que depende de um valor de timbre (66) derivado a partir do fluxo de dados, e uma segunda ferramenta de ocultação de perda (PLC nº 2) para recuperação de sinal de áudio pela detecção de componentes espectrais tonais (72) do sinal de áudio, realizando a detecção de fase nos componentes espectrais tonais (72) e a síntese do sinal de áudio pela combinação dos sinais de periodicidades que dependem dos componentes espectrais tonais (72) com o ajuste de uma mudança de fase mútua entre os sinais, dependendo da detecção de fase, e uma terceira ferramenta de ocultação de perda (PLC nº 3) para recuperação do sinal de áudio pelo uso de repetição de quadros, com ou sem modificação de réplica.
3. Decodificador de áudio, de acordo com a reivindicação 1 ou 2, caracterizado por o conjunto (26) de diferentes ferramentas de ocultação de perda compreender uma ferramenta de ocultação de primeira perda (PLC nº 1) para recuperação do sinal de áudio de partes monofônicas e uma segunda ferramenta de ocultação de perda (PLC nº 2) para recuperação do sinal de áudio de partes polifônicas.
4. Decodificador de áudio, de acordo com a reivindicação 1 ou 2, caracterizado por o conjunto (26) de diferentes ferramentas de ocultação de perda compreender uma primeira ferramenta de ocultação de perda (PLC nº 1) para recuperação de sinal de áudio usando ocultação de perda de pacotes no domínio do tempo tonal, e uma segunda ferramenta de ocultação de perda (PLC nº 2) para recuperação de sinal de áudio usando ocultação de perda de pacotes no domínio da frequência tonal.
5. Decodificador de áudio, de acordo com a reivindicação 1 ou 2, caracterizado por o conjunto de diferentes ferramentas de ocultação de perda compreender uma primeira ferramenta de ocultação de perda (PLC nº 1) para recuperação de sinal de áudio pela síntese de sinal de áudio usando um sinal periódico de periodicidade que depende de um valor de timbre derivado a partir do fluxo contínuo de dados, e uma segunda ferramenta de ocultação de perda (PLC nº 2) para recuperação de sinal de áudio pela detecção dos componentes espectrais tonais do sinal de áudio, realizando a detecção de fase nos componentes espectrais tonais e a síntese do sinal de áudio pela combinação dos sinais de periodicidades que dependem dos componentes espectrais tonais com ajuste de uma mudança de fase mútua entre os sinais, dependendo da detecção de fase.
6. Decodificador de áudio, de acordo com a reivindicação 5, caracterizado por o decodificador de áudio ser configurado para derivar o valor de timbre (66) a partir do fluxo contínuo de dados pelo uso de um parâmetro de timbre mais recente conduzido no fluxo contínuo de dados como o valor do timbre.
7. Decodificador de áudio, de acordo com a reivindicação 5 ou 6, caracterizado por o decodificador de áudio ser configurado para realizar a detecção dos componentes espectrais tonais (72) pela identificação dos picos colocalizados em um ou mais espectros consecutivos (46) derivados a partir de uma parte não perdida mais recente do fluxo contínuo de dados.
8. Decodificador de áudio, de acordo com a reivindicação 7, caracterizado por o fluxo contínuo de dados (14) ter a parte não perdida mais recente do fluxo contínuo de dados codificada no mesmo no domínio espectral.
9. Decodificador de áudio, de acordo com qualquer uma das reivindicações 3 a 8, caracterizado por o decodificador de áudio ser configurado para, na atribuição a um do conjunto de diferentes ferramentas de ocultação de perdas à parte do sinal de áudio com base nas primeira e segunda medições, atribuir a primeira ferramenta de ocultação de perdas à parte quanto mais provável for a posição espectral mais baixa do centroide espectral e quanto mais alta for a previsibilidade temporal, e atribuir a segunda ferramenta de ocultação de perda à parte quanto mais provável for a posição espectral mais alta do centroide espectral e mais baixa for a previsibilidade temporal.
10. Decodificador de áudio de qualquer uma das reivindicações anteriores, caracterizado por ser configurado para realizar detecção de perda (36) para detectar as partes (22) afetadas pela perda, realizar a determinação das primeira e segunda medições (42; 52) para a parte (22) responsivo à detecção de perda que detecta a parte (22) afetada pela perda, e abster-se de realizar a determinação para as partes não afetadas pela perda.
11. Decodificador de áudio de qualquer uma das reivindicações 1 a 10, caracterizado por ser adicionalmente configurado para determinar (84) um indicador de tonalidade (86) indicativo de uma tonalidade do sinal de áudio, atribuir uma dos primeiro e segundo subconjuntos (80, 82) de uma ou mais ferramentas de ocultação de perdas dentre o conjunto (26) de diferentes ferramentas de ocultação de perdas, que são mutuamente disjuntas, à parte (22) do sinal de áudio com base no indicador de tonalidade (86), e realizar a atribuição de uma do conjunto de diferentes ferramentas de ocultação de perdas à parte do sinal de áudio com base nas primeira e segunda medições pela atribuição (60) daquela do conjunto de diferentes ferramentas de ocultação de perdas à parte do sinal de áudio com base nas primeira e segunda medições dente o primeiro subconjunto (80) de uma ou mais ferramentas de ocultação de perdas se o primeiro subconjunto (80) for atribuído à parte (22) com a realização da recuperação da parte (22) do sinal de áudio usando aquela ferramenta de ocultação de perda (62) atribuída à parte (22), e realizar a recuperação da parte (22) do sinal de áudio usando uma dentre o segundo subconjunto (82) das ferramentas de ocultação de perda se o segundo subconjunto (82) das ferramentas de ocultação de perdas for atribuído à parte.
12. Decodificador de áudio, de acordo com a reivindicação 11, caracterizado por o decodificador de áudio ser configurado para usar um parâmetro conduzido no fluxo contínuo de dados como a terceira medição.
13. Decodificador de áudio, de acordo com a reivindicação 11 ou 12, caracterizado por o decodificador de áudio ser configurado para usar uma presença ou não presença de um parâmetro de timbre (66) em um quadro não perdido mais recente do fluxo contínuo de dados como a terceira medição (86).
14. Decodificador de áudio, de acordo com qualquer uma das reivindicações 11 a 13, caracterizado por o conjunto (26) de diferentes ferramentas de ocultação de perda compreender uma primeira ferramenta de ocultação de perda (PLC nº 1) para recuperação de sinal de áudio pela síntese do sinal de áudio usando um sinal periódico de uma periodicidade que depende de um valor de timbre derivado a partir do fluxo contínuo de dados, e uma segunda ferramenta de ocultação de perda (PLC nº 2) para recuperação do sinal de áudio pela detecção dos componentes espectrais tonais do sinal de áudio, realizando a detecção de fase nos componentes espectrais tonais e a síntese dos sinais de áudio pela combinação dos sinais de periodicidades que dependem dos componentes espectrais tonais com ajuste de uma mudança de fase mútua entre os sinais, dependendo da detecção de fase, e uma terceira ferramenta de ocultação de perda (PLC nº 3) para recuperação do sinal de áudio pelo uso da repetição de quadros, com ou sem modificação de réplica, em que a terceira ferramenta de ocultação de perda é incluída no segundo subconjunto (82) e a segunda e a primeira e segunda ferramentas de ocultação de perda são incluídas no primeiro subconjunto (80).
15. Decodificador de áudio de qualquer uma das reivindicações anteriores, caracterizado por ser configurado para determinar (40) a primeira medição (42) por uma soma ponderada dos valores de localização do componente espectral, cada um dos quais ponderado usando o espectro do sinal de áudio no respectivo valor de localização do componente espectral.
16. Decodificador de áudio de qualquer uma das reivindicações anteriores, caracterizado por ser configurado para determinar (50) a segunda medição (52) por uma medida de correlação que mede uma autossimilaridade do sinal de áudio.
17. Decodificador de áudio de qualquer uma das reivindicações anteriores,
caracterizado por ser configurado para determinar (50) a segunda medição (52) pela derivação de um timbre a partir do sinal de áudio e pela determinação da segunda medição como uma medição de correlação que mede uma autocorrelação do sinal de áudio em uma(s) mudança(s) temporal(is) que depende do timbre.
18. Decodificador de áudio de qualquer uma das reivindicações anteriores, caracterizado por ser configurado para, na atribuição de uma do conjunto de diferentes ferramentas de ocultação de perda a uma parte (22) do sinal de áudio afetada pela perda com base nas primeira e segunda medições, realizar uma somatória nas primeira e segunda medições (42, 52) para obter um valor da soma escalar e sujeitar o valor da soma escalar ao limiar.
19. Decodificador de áudio de qualquer uma das reivindicações anteriores, caracterizado por ser configurado para determinar (40) a primeira medição (42) pela derivação do espectro a partir dos fatores de escala em uma parte não perdida mais recente do fluxo de dados.
20. Decodificador de áudio de qualquer uma das reivindicações anteriores, caracterizado por ser configurado para determinar (40) a primeira medição (42) pela derivação do espectro a partir dos fatores de escala em uma parte não perdida mais recente do fluxo contínuo de dados e pela sujeição dos fatores de escala codificados no fluxo contínuo de dados à interpolação espectral.
21. Decodificador de áudio, de acordo com a reivindicação 19 ou 20, caracterizado por ser configurado para sujeitar os fatores de escala a uma filtragem de desênfase pela multiplicação com a função de transferência de um filtro de desênfase.
22. Método para realizar ocultação de perda na decodificação de áudio de um sinal de áudio (12) proveniente de um fluxo contínuo de dados (14), caracterizado por o método ser configurado para determinar (40) uma primeira medição (42) que mede uma posição espectral (48) de um centroide espectral de um espectro (46) do sinal de áudio, determinar (50) uma segunda medição (52) que mede uma previsibilidade temporal do sinal de áudio, atribuir (32) uma (62) de um conjunto (26) de diferentes ferramentas de ocultação de perda (28) a uma parte (22) do sinal de áudio (12) afetada pela perda com base nas primeira e segunda medições, e recuperar a parte (22) do sinal de áudio usando aquela ferramenta de ocultação de perda (62) atribuída à parte (22).
23. Programa de computador, caracterizado por ter um código de programa para executar, durante a execução em um processador, um método da reivindicação 22.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP17201142.1A EP3483878A1 (en) | 2017-11-10 | 2017-11-10 | Audio decoder supporting a set of different loss concealment tools |
| EP17201142.1 | 2017-11-10 | ||
| PCT/EP2018/080198 WO2019091924A1 (en) | 2017-11-10 | 2018-11-05 | Audio decoder supporting a set of different loss concealment tools |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112020009117A2 true BR112020009117A2 (pt) | 2020-10-13 |
Family
ID=60301924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112020009117-0A BR112020009117A2 (pt) | 2017-11-10 | 2018-11-05 | decodificador de áudio que suporta um conjunto de diferentes ferramentas de ocultação de perda |
Country Status (19)
| Country | Link |
|---|---|
| US (1) | US11315580B2 (pt) |
| EP (3) | EP3483878A1 (pt) |
| JP (1) | JP7073492B2 (pt) |
| KR (1) | KR102424897B1 (pt) |
| CN (1) | CN111630591B (pt) |
| AR (1) | AR113571A1 (pt) |
| AU (1) | AU2018363136B2 (pt) |
| BR (1) | BR112020009117A2 (pt) |
| CA (1) | CA3082268C (pt) |
| ES (1) | ES2933273T3 (pt) |
| FI (1) | FI3707705T3 (pt) |
| MX (1) | MX2020004791A (pt) |
| PL (1) | PL3707705T3 (pt) |
| PT (1) | PT3707705T (pt) |
| RU (1) | RU2759092C1 (pt) |
| SG (1) | SG11202004223RA (pt) |
| TW (2) | TWI704554B (pt) |
| WO (1) | WO2019091924A1 (pt) |
| ZA (1) | ZA202002522B (pt) |
Family Cites Families (170)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3639753A1 (de) | 1986-11-21 | 1988-06-01 | Inst Rundfunktechnik Gmbh | Verfahren zum uebertragen digitalisierter tonsignale |
| US5012517A (en) | 1989-04-18 | 1991-04-30 | Pacific Communication Science, Inc. | Adaptive transform coder having long term predictor |
| US5233660A (en) | 1991-09-10 | 1993-08-03 | At&T Bell Laboratories | Method and apparatus for low-delay celp speech coding and decoding |
| JPH05281996A (ja) | 1992-03-31 | 1993-10-29 | Sony Corp | ピッチ抽出装置 |
| IT1270438B (it) | 1993-06-10 | 1997-05-05 | Sip | Procedimento e dispositivo per la determinazione del periodo del tono fondamentale e la classificazione del segnale vocale in codificatori numerici della voce |
| US5581653A (en) | 1993-08-31 | 1996-12-03 | Dolby Laboratories Licensing Corporation | Low bit-rate high-resolution spectral envelope coding for audio encoder and decoder |
| JP3402748B2 (ja) | 1994-05-23 | 2003-05-06 | 三洋電機株式会社 | 音声信号のピッチ周期抽出装置 |
| JPH0811644A (ja) | 1994-06-27 | 1996-01-16 | Nissan Motor Co Ltd | ルーフモール取付構造 |
| US6167093A (en) | 1994-08-16 | 2000-12-26 | Sony Corporation | Method and apparatus for encoding the information, method and apparatus for decoding the information and method for information transmission |
| EP0732687B2 (en) | 1995-03-13 | 2005-10-12 | Matsushita Electric Industrial Co., Ltd. | Apparatus for expanding speech bandwidth |
| US5781888A (en) | 1996-01-16 | 1998-07-14 | Lucent Technologies Inc. | Perceptual noise shaping in the time domain via LPC prediction in the frequency domain |
| WO1997027578A1 (en) | 1996-01-26 | 1997-07-31 | Motorola Inc. | Very low bit rate time domain speech analyzer for voice messaging |
| US5812971A (en) | 1996-03-22 | 1998-09-22 | Lucent Technologies Inc. | Enhanced joint stereo coding method using temporal envelope shaping |
| JPH1091194A (ja) | 1996-09-18 | 1998-04-10 | Sony Corp | 音声復号化方法及び装置 |
| US6570991B1 (en) * | 1996-12-18 | 2003-05-27 | Interval Research Corporation | Multi-feature speech/music discrimination system |
| KR100261253B1 (ko) | 1997-04-02 | 2000-07-01 | 윤종용 | 비트율 조절이 가능한 오디오 부호화/복호화 방법및 장치 |
| GB2326572A (en) | 1997-06-19 | 1998-12-23 | Softsound Limited | Low bit rate audio coder and decoder |
| WO1999016050A1 (en) | 1997-09-23 | 1999-04-01 | Voxware, Inc. | Scalable and embedded codec for speech and audio signals |
| JP3344962B2 (ja) | 1998-03-11 | 2002-11-18 | 松下電器産業株式会社 | オーディオ信号符号化装置、及びオーディオ信号復号化装置 |
| US6507814B1 (en) | 1998-08-24 | 2003-01-14 | Conexant Systems, Inc. | Pitch determination using speech classification and prior pitch estimation |
| US7272556B1 (en) | 1998-09-23 | 2007-09-18 | Lucent Technologies Inc. | Scalable and embedded codec for speech and audio signals |
| US6735561B1 (en) | 2000-03-29 | 2004-05-11 | At&T Corp. | Effective deployment of temporal noise shaping (TNS) filters |
| EP1139665A1 (en) | 2000-03-29 | 2001-10-04 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for changing the output delay of audio or video data encoding |
| US6665638B1 (en) | 2000-04-17 | 2003-12-16 | At&T Corp. | Adaptive short-term post-filters for speech coders |
| US7395209B1 (en) | 2000-05-12 | 2008-07-01 | Cirrus Logic, Inc. | Fixed point audio decoding system and method |
| US7512535B2 (en) | 2001-10-03 | 2009-03-31 | Broadcom Corporation | Adaptive postfiltering methods and systems for decoding speech |
| US6785645B2 (en) * | 2001-11-29 | 2004-08-31 | Microsoft Corporation | Real-time speech and music classifier |
| US20030187663A1 (en) | 2002-03-28 | 2003-10-02 | Truman Michael Mead | Broadband frequency translation for high frequency regeneration |
| US7447631B2 (en) | 2002-06-17 | 2008-11-04 | Dolby Laboratories Licensing Corporation | Audio coding system using spectral hole filling |
| US7502743B2 (en) | 2002-09-04 | 2009-03-10 | Microsoft Corporation | Multi-channel audio encoding and decoding with multi-channel transform selection |
| US7433824B2 (en) | 2002-09-04 | 2008-10-07 | Microsoft Corporation | Entropy coding by adapting coding between level and run-length/level modes |
| JP4287637B2 (ja) | 2002-10-17 | 2009-07-01 | パナソニック株式会社 | 音声符号化装置、音声符号化方法及びプログラム |
| KR101049751B1 (ko) | 2003-02-11 | 2011-07-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 오디오 코딩 |
| KR20030031936A (ko) | 2003-02-13 | 2003-04-23 | 배명진 | 피치변경법을 이용한 단일 음성 다중 목소리 합성기 |
| WO2004112021A2 (en) | 2003-06-17 | 2004-12-23 | Matsushita Electric Industrial Co., Ltd. | Receiving apparatus, sending apparatus and transmission system |
| WO2004114134A1 (en) * | 2003-06-23 | 2004-12-29 | Agency For Science, Technology And Research | Systems and methods for concealing percussive transient errors in audio data |
| US7620545B2 (en) | 2003-07-08 | 2009-11-17 | Industrial Technology Research Institute | Scale factor based bit shifting in fine granularity scalability audio coding |
| WO2005027096A1 (en) | 2003-09-15 | 2005-03-24 | Zakrytoe Aktsionernoe Obschestvo Intel | Method and apparatus for encoding audio |
| US7009533B1 (en) | 2004-02-13 | 2006-03-07 | Samplify Systems Llc | Adaptive compression and decompression of bandlimited signals |
| KR20050087956A (ko) | 2004-02-27 | 2005-09-01 | 삼성전자주식회사 | 무손실 오디오 부호화/복호화 방법 및 장치 |
| DE102004009949B4 (de) | 2004-03-01 | 2006-03-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes |
| ATE527654T1 (de) | 2004-03-01 | 2011-10-15 | Dolby Lab Licensing Corp | Mehrkanal-audiodecodierung |
| DE102004009954B4 (de) | 2004-03-01 | 2005-12-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals |
| CN1930607B (zh) | 2004-03-05 | 2010-11-10 | 松下电器产业株式会社 | 差错隐藏装置以及差错隐藏方法 |
| US7272567B2 (en) | 2004-03-25 | 2007-09-18 | Zoran Fejzo | Scalable lossless audio codec and authoring tool |
| JP5129117B2 (ja) | 2005-04-01 | 2013-01-23 | クゥアルコム・インコーポレイテッド | 音声信号の高帯域部分を符号化及び復号する方法及び装置 |
| US7539612B2 (en) | 2005-07-15 | 2009-05-26 | Microsoft Corporation | Coding and decoding scale factor information |
| US7546240B2 (en) | 2005-07-15 | 2009-06-09 | Microsoft Corporation | Coding with improved time resolution for selected segments via adaptive block transformation of a group of samples from a subband decomposition |
| KR20070037945A (ko) | 2005-10-04 | 2007-04-09 | 삼성전자주식회사 | 오디오 신호의 부호화/복호화 방법 및 장치 |
| KR100888474B1 (ko) | 2005-11-21 | 2009-03-12 | 삼성전자주식회사 | 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법 |
| US7805297B2 (en) * | 2005-11-23 | 2010-09-28 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
| US9123350B2 (en) * | 2005-12-14 | 2015-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Method and system for extracting audio features from an encoded bitstream for audio classification |
| US8255207B2 (en) | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
| CN101395661B (zh) | 2006-03-07 | 2013-02-06 | 艾利森电话股份有限公司 | 音频编码和解码的方法和设备 |
| US8150065B2 (en) | 2006-05-25 | 2012-04-03 | Audience, Inc. | System and method for processing an audio signal |
| JP2009539132A (ja) | 2006-05-30 | 2009-11-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | オーディオ信号の線形予測符号化 |
| CN1983909B (zh) | 2006-06-08 | 2010-07-28 | 华为技术有限公司 | 一种丢帧隐藏装置和方法 |
| US8015000B2 (en) * | 2006-08-03 | 2011-09-06 | Broadcom Corporation | Classification-based frame loss concealment for audio signals |
| US8706507B2 (en) | 2006-08-15 | 2014-04-22 | Dolby Laboratories Licensing Corporation | Arbitrary shaping of temporal noise envelope without side-information utilizing unchanged quantization |
| FR2905510B1 (fr) | 2006-09-01 | 2009-04-10 | Voxler Soc Par Actions Simplif | Procede d'analyse en temps reel de la voix pour le controle en temps reel d'un organe numerique et dispositif associe |
| CN101140759B (zh) | 2006-09-08 | 2010-05-12 | 华为技术有限公司 | 语音或音频信号的带宽扩展方法及系统 |
| DE102006049154B4 (de) | 2006-10-18 | 2009-07-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Kodierung eines Informationssignals |
| KR101292771B1 (ko) * | 2006-11-24 | 2013-08-16 | 삼성전자주식회사 | 오디오 신호의 오류은폐방법 및 장치 |
| WO2008072701A1 (ja) | 2006-12-13 | 2008-06-19 | Panasonic Corporation | ポストフィルタおよびフィルタリング方法 |
| FR2912249A1 (fr) | 2007-02-02 | 2008-08-08 | France Telecom | Codage/decodage perfectionnes de signaux audionumeriques. |
| JP4871894B2 (ja) | 2007-03-02 | 2012-02-08 | パナソニック株式会社 | 符号化装置、復号装置、符号化方法および復号方法 |
| JP5618826B2 (ja) | 2007-06-14 | 2014-11-05 | ヴォイスエイジ・コーポレーション | Ｉｔｕ．ｔ勧告ｇ．７１１と相互運用可能なｐｃｍコーデックにおいてフレーム消失を補償する装置および方法 |
| EP2015293A1 (en) | 2007-06-14 | 2009-01-14 | Deutsche Thomson OHG | Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain |
| JP4928366B2 (ja) | 2007-06-25 | 2012-05-09 | 日本電信電話株式会社 | ピッチ探索装置、パケット消失補償装置、それらの方法、プログラム及びその記録媒体 |
| JP4572218B2 (ja) | 2007-06-27 | 2010-11-04 | 日本電信電話株式会社 | 音楽区間検出方法、音楽区間検出装置、音楽区間検出プログラム及び記録媒体 |
| EP2183851A1 (fr) | 2007-08-24 | 2010-05-12 | France Telecom | Codage/decodage par plans de symboles, avec calcul dynamique de tables de probabilites |
| WO2009029035A1 (en) | 2007-08-27 | 2009-03-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Improved transform coding of speech and audio signals |
| CN100524462C (zh) | 2007-09-15 | 2009-08-05 | 华为技术有限公司 | 对高带信号进行帧错误隐藏的方法及装置 |
| BRPI0818927A2 (pt) | 2007-11-02 | 2015-06-16 | Huawei Tech Co Ltd | Método e aparelho para a decodificação de áudio |
| WO2009066869A1 (en) | 2007-11-21 | 2009-05-28 | Electronics And Telecommunications Research Institute | Frequency band determining method for quantization noise shaping and transient noise shaping method using the same |
| KR101162275B1 (ko) | 2007-12-31 | 2012-07-04 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| KR101228165B1 (ko) * | 2008-06-13 | 2013-01-30 | 노키아 코포레이션 | 프레임 에러 은폐 방법, 장치 및 컴퓨터 판독가능한 저장 매체 |
| EP2144231A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme with common preprocessing |
| EP2144230A1 (en) | 2008-07-11 | 2010-01-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Low bitrate audio encoding/decoding scheme having cascaded switches |
| EP2311034B1 (en) | 2008-07-11 | 2015-11-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder for encoding frames of sampled audio signals |
| CA2871268C (en) | 2008-07-11 | 2015-11-03 | Nikolaus Rettelbach | Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program |
| US8577673B2 (en) | 2008-09-15 | 2013-11-05 | Huawei Technologies Co., Ltd. | CELP post-processing for music signals |
| CN102177426B (zh) | 2008-10-08 | 2014-11-05 | 弗兰霍菲尔运输应用研究公司 | 多分辨率切换音频编码/解码方案 |
| GB2466673B (en) | 2009-01-06 | 2012-11-07 | Skype | Quantization |
| AR075199A1 (es) | 2009-01-28 | 2011-03-16 | Fraunhofer Ges Forschung | Codificador de audio decodificador de audio informacion de audio codificada metodos para la codificacion y decodificacion de una senal de audio y programa de computadora |
| JP5204904B2 (ja) * | 2009-01-30 | 2013-06-05 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | オーディオ信号品質予測 |
| JP4945586B2 (ja) * | 2009-02-02 | 2012-06-06 | 株式会社東芝 | 信号帯域拡張装置 |
| US20100223061A1 (en) | 2009-02-27 | 2010-09-02 | Nokia Corporation | Method and Apparatus for Audio Coding |
| EP2239732A1 (en) * | 2009-04-09 | 2010-10-13 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for generating a synthesis audio signal and for encoding an audio signal |
| JP4932917B2 (ja) | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
| FR2944664A1 (fr) | 2009-04-21 | 2010-10-22 | Thomson Licensing | Dispositif et procede de traitement d'images |
| US8352252B2 (en) * | 2009-06-04 | 2013-01-08 | Qualcomm Incorporated | Systems and methods for preventing the loss of information within a speech frame |
| US8428938B2 (en) * | 2009-06-04 | 2013-04-23 | Qualcomm Incorporated | Systems and methods for reconstructing an erased speech frame |
| KR20100136890A (ko) | 2009-06-19 | 2010-12-29 | 삼성전자주식회사 | 컨텍스트 기반의 산술 부호화 장치 및 방법과 산술 복호화 장치 및 방법 |
| CN101958119B (zh) | 2009-07-16 | 2012-02-29 | 中兴通讯股份有限公司 | 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法 |
| CA2777073C (en) | 2009-10-08 | 2015-11-24 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Multi-mode audio signal decoder, multi-mode audio signal encoder, methods and computer program using a linear-prediction-coding based noise shaping |
| ES2797525T3 (es) | 2009-10-15 | 2020-12-02 | Voiceage Corp | Conformación simultánea de ruido en el dominio del tiempo y el dominio de la frecuencia para transformaciones TDAC |
| BR122020024236B1 (pt) | 2009-10-20 | 2021-09-14 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E. V. | Codificador de sinal de áudio, decodificador de sinal de áudio, método para prover uma representação codificada de um conteúdo de áudio, método para prover uma representação decodificada de um conteúdo de áudio e programa de computador para uso em aplicações de baixo retardamento |
| PL2491553T3 (pl) | 2009-10-20 | 2017-05-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Koder audio, dekoder audio, sposób kodowania informacji audio, sposób dekodowania informacji audio i program komputerowy wykorzystujący iteracyjne zmniejszania rozmiaru przedziału |
| US8207875B2 (en) | 2009-10-28 | 2012-06-26 | Motorola Mobility, Inc. | Encoder that optimizes bit allocation for information sub-parts |
| US7978101B2 (en) | 2009-10-28 | 2011-07-12 | Motorola Mobility, Inc. | Encoder and decoder using arithmetic stage to compress code space that is not fully utilized |
| WO2011065741A2 (ko) | 2009-11-24 | 2011-06-03 | 엘지전자 주식회사 | 오디오 신호 처리 방법 및 장치 |
| JP5624159B2 (ja) | 2010-01-12 | 2014-11-12 | フラウンホーファーゲゼルシャフトツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | オーディオ符号化器、オーディオ復号器、オーディオ情報を符号化および復号するための方法、ならびに以前に復号されたスペクトル値のノルムに基づいてコンテキストサブ領域値を取得するコンピュータプログラム |
| US20110196673A1 (en) | 2010-02-11 | 2011-08-11 | Qualcomm Incorporated | Concealing lost packets in a sub-band coding decoder |
| EP2375409A1 (en) | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
| FR2961980A1 (fr) | 2010-06-24 | 2011-12-30 | France Telecom | Controle d'une boucle de retroaction de mise en forme de bruit dans un codeur de signal audionumerique |
| WO2012000882A1 (en) | 2010-07-02 | 2012-01-05 | Dolby International Ab | Selective bass post filter |
| EP4131258A1 (en) | 2010-07-20 | 2023-02-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio decoder, audio decoding method, audio encoder, audio encoding method and computer program |
| US9082416B2 (en) | 2010-09-16 | 2015-07-14 | Qualcomm Incorporated | Estimating a pitch lag |
| US8738385B2 (en) | 2010-10-20 | 2014-05-27 | Broadcom Corporation | Pitch-based pre-filtering and post-filtering for compression of audio signals |
| CN103477387B (zh) | 2011-02-14 | 2015-11-25 | 弗兰霍菲尔运输应用研究公司 | 使用频谱域噪声整形的基于线性预测的编码方案 |
| US9270807B2 (en) | 2011-02-23 | 2016-02-23 | Digimarc Corporation | Audio localization using audio signal encoding and recognition |
| KR101742136B1 (ko) | 2011-03-18 | 2017-05-31 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치 |
| CN105244034B (zh) | 2011-04-21 | 2019-08-13 | 三星电子株式会社 | 针对语音信号或音频信号的量化方法以及解码方法和设备 |
| EP2707873B1 (en) | 2011-05-09 | 2015-04-08 | Dolby International AB | Method and encoder for processing a digital stereo audio signal |
| FR2977439A1 (fr) | 2011-06-28 | 2013-01-04 | France Telecom | Fenetres de ponderation en codage/decodage par transformee avec recouvrement, optimisees en retard. |
| FR2977969A1 (fr) | 2011-07-12 | 2013-01-18 | France Telecom | Adaptation de fenetres de ponderation d'analyse ou de synthese pour un codage ou decodage par transformee |
| US9363339B2 (en) | 2011-07-12 | 2016-06-07 | Hughes Network Systems, Llc | Staged data compression, including block level long range compression, for data streams in a communications system |
| BR112013026452B1 (pt) * | 2012-01-20 | 2021-02-17 | Fraunhofer-Gellschaft Zur Förderung Der Angewandten Forschung E.V. | aparelho e método para codificação e decodificação de áudio empregando substituição sinusoidal |
| EP2834814B1 (en) | 2012-04-05 | 2016-03-02 | Huawei Technologies Co., Ltd. | Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder |
| US20130282372A1 (en) | 2012-04-23 | 2013-10-24 | Qualcomm Incorporated | Systems and methods for audio signal processing |
| US9026451B1 (en) | 2012-05-09 | 2015-05-05 | Google Inc. | Pitch post-filter |
| CN104718571B (zh) | 2012-06-08 | 2018-09-18 | 三星电子株式会社 | 用于隐藏帧错误的方法和设备以及用于音频解码的方法和设备 |
| GB201210373D0 (en) | 2012-06-12 | 2012-07-25 | Meridian Audio Ltd | Doubly compatible lossless audio sandwidth extension |
| FR2992766A1 (fr) | 2012-06-29 | 2014-01-03 | France Telecom | Attenuation efficace de pre-echos dans un signal audionumerique |
| CN102779526B (zh) | 2012-08-07 | 2014-04-16 | 无锡成电科大科技发展有限公司 | 语音信号中基音提取及修正方法 |
| US9406307B2 (en) | 2012-08-19 | 2016-08-02 | The Regents Of The University Of California | Method and apparatus for polyphonic audio signal prediction in coding and networking systems |
| US9293146B2 (en) | 2012-09-04 | 2016-03-22 | Apple Inc. | Intensity stereo coding in advanced audio coding |
| TWI606440B (zh) | 2012-09-24 | 2017-11-21 | 三星電子股份有限公司 | 訊框錯誤隱藏裝置 |
| CN103714821A (zh) * | 2012-09-28 | 2014-04-09 | 杜比实验室特许公司 | 基于位置的混合域数据包丢失隐藏 |
| US9401153B2 (en) | 2012-10-15 | 2016-07-26 | Digimarc Corporation | Multi-mode audio recognition and auxiliary data encoding and decoding |
| EP2757558A1 (en) | 2013-01-18 | 2014-07-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Time domain level adjustment for audio signal decoding or encoding |
| FR3001593A1 (fr) | 2013-01-31 | 2014-08-01 | France Telecom | Correction perfectionnee de perte de trame au decodage d'un signal. |
| MX2021000353A (es) * | 2013-02-05 | 2023-02-24 | Ericsson Telefon Ab L M | Método y aparato para controlar ocultación de pérdida de trama de audio. |
| TWI530941B (zh) | 2013-04-03 | 2016-04-21 | 杜比實驗室特許公司 | 用於基於物件音頻之互動成像的方法與系統 |
| JP6153661B2 (ja) | 2013-06-21 | 2017-06-28 | フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー．フアー． | 改善されたパルス再同期化を採用するａｃｅｌｐ型封じ込めにおける適応型コードブックの改善された封じ込めのための装置および方法 |
| EP2830055A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Context-based entropy coding of sample values of a spectral envelope |
| EP2830061A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
| MY181965A (en) * | 2013-10-18 | 2021-01-15 | Fraunhofer Ges Forschung | Coding of spectral coefficients of a spectrum of an audio signal |
| US9906858B2 (en) | 2013-10-22 | 2018-02-27 | Bongiovi Acoustics Llc | System and method for digital signal processing |
| CN105706166B (zh) | 2013-10-31 | 2020-07-14 | 弗劳恩霍夫应用研究促进协会 | 对比特流进行解码的音频解码器设备和方法 |
| BR122022008603B1 (pt) * | 2013-10-31 | 2023-01-10 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Decodificador de áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro que modifica um sinal de excitação no domínio de tempo |
| PL3069338T3 (pl) | 2013-11-13 | 2019-06-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Koder do kodowania sygnału audio, system przesyłania audio i sposób określania wartości korekcji |
| GB2524333A (en) | 2014-03-21 | 2015-09-23 | Nokia Technologies Oy | Audio signal payload |
| HRP20240674T1 (hr) * | 2014-04-17 | 2024-08-16 | Voiceage Evs Llc | Postupci, koder i dekoder za linearno prediktivno kodiranje i dekodiranje zvučnih signala pri prijelazu između okvira koji imaju različitu brzinu uzorkovanja |
| US9396733B2 (en) | 2014-05-06 | 2016-07-19 | University Of Macau | Reversible audio data hiding |
| NO2780522T3 (pt) * | 2014-05-15 | 2018-06-09 | ||
| EP2963646A1 (en) | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal |
| US9685166B2 (en) | 2014-07-26 | 2017-06-20 | Huawei Technologies Co., Ltd. | Classification between time-domain coding and frequency domain coding |
| EP2980799A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an audio signal using a harmonic post-filter |
| EP2980798A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Harmonicity-dependent controlling of a harmonic filter tool |
| CN110444219B (zh) | 2014-07-28 | 2023-06-13 | 弗劳恩霍夫应用研究促进协会 | 选择第一编码演算法或第二编码演算法的装置与方法 |
| CN112216289B (zh) | 2014-07-28 | 2023-10-27 | 三星电子株式会社 | 用于音频信号的时域数据包丢失隐藏的方法 |
| EP2980796A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for processing an audio signal, audio decoder, and audio encoder |
| EP2988300A1 (en) | 2014-08-18 | 2016-02-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Switching of sampling rates at audio processing devices |
| WO2016142002A1 (en) | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal |
| EP3067886A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal |
| US10049684B2 (en) | 2015-04-05 | 2018-08-14 | Qualcomm Incorporated | Audio bandwidth selection |
| US9886963B2 (en) | 2015-04-05 | 2018-02-06 | Qualcomm Incorporated | Encoder selection |
| JP6422813B2 (ja) | 2015-04-13 | 2018-11-14 | 日本電信電話株式会社 | 符号化装置、復号装置、これらの方法及びプログラム |
| US9978400B2 (en) * | 2015-06-11 | 2018-05-22 | Zte Corporation | Method and apparatus for frame loss concealment in transform domain |
| US9837089B2 (en) | 2015-06-18 | 2017-12-05 | Qualcomm Incorporated | High-band signal generation |
| US10847170B2 (en) | 2015-06-18 | 2020-11-24 | Qualcomm Incorporated | Device and method for generating a high-band signal from non-linearly processed sub-ranges |
| KR20170000933A (ko) | 2015-06-25 | 2017-01-04 | 한국전기연구원 | 시간 지연 추정을 이용한 풍력 터빈의 피치 제어 시스템 |
| US9830921B2 (en) | 2015-08-17 | 2017-11-28 | Qualcomm Incorporated | High-band target signal control |
| US10803877B2 (en) | 2015-09-04 | 2020-10-13 | Samsung Electronics Co., Ltd. | Signal processing methods and apparatuses for enhancing sound quality |
| US9978381B2 (en) | 2016-02-12 | 2018-05-22 | Qualcomm Incorporated | Encoding of multiple audio signals |
| US10219147B2 (en) | 2016-04-07 | 2019-02-26 | Mediatek Inc. | Enhanced codec control |
| US10283143B2 (en) | 2016-04-08 | 2019-05-07 | Friday Harbor Llc | Estimating pitch of harmonic signals |
| CN107103908B (zh) | 2017-05-02 | 2019-12-24 | 大连民族大学 | 复调音乐多音高估计方法及伪双谱在多音高估计中的应用 |
-
2017
- 2017-11-10 EP EP17201142.1A patent/EP3483878A1/en not_active Withdrawn
-
2018
- 2018-11-05 EP EP18796670.0A patent/EP3707705B1/en active Active
- 2018-11-05 WO PCT/EP2018/080198 patent/WO2019091924A1/en active Search and Examination
- 2018-11-05 JP JP2020526135A patent/JP7073492B2/ja active Active
- 2018-11-05 BR BR112020009117-0A patent/BR112020009117A2/pt unknown
- 2018-11-05 ES ES18796670T patent/ES2933273T3/es active Active
- 2018-11-05 PT PT187966700T patent/PT3707705T/pt unknown
- 2018-11-05 CN CN201880086169.XA patent/CN111630591B/zh active Active
- 2018-11-05 EP EP22202282.4A patent/EP4152316A1/en active Pending
- 2018-11-05 KR KR1020207015512A patent/KR102424897B1/ko active IP Right Grant
- 2018-11-05 PL PL18796670.0T patent/PL3707705T3/pl unknown
- 2018-11-05 RU RU2020118968A patent/RU2759092C1/ru active
- 2018-11-05 SG SG11202004223RA patent/SG11202004223RA/en unknown
- 2018-11-05 CA CA3082268A patent/CA3082268C/en active Active
- 2018-11-05 MX MX2020004791A patent/MX2020004791A/es unknown
- 2018-11-05 AU AU2018363136A patent/AU2018363136B2/en active Active
- 2018-11-05 FI FIEP18796670.0T patent/FI3707705T3/fi active
- 2018-11-09 TW TW107139910A patent/TWI704554B/zh active
- 2018-11-09 TW TW109131872A patent/TWI776236B/zh active
- 2018-11-12 AR ARP180103302A patent/AR113571A1/es active IP Right Grant
-
2020
- 2020-05-06 US US16/867,834 patent/US11315580B2/en active Active
- 2020-05-07 ZA ZA2020/02522A patent/ZA202002522B/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4152316A1 (en) | 2023-03-22 |
| CN111630591A (zh) | 2020-09-04 |
| KR102424897B1 (ko) | 2022-07-25 |
| AU2018363136B2 (en) | 2021-10-07 |
| EP3707705A1 (en) | 2020-09-16 |
| ES2933273T3 (es) | 2023-02-03 |
| TWI704554B (zh) | 2020-09-11 |
| FI3707705T3 (fi) | 2023-01-31 |
| MX2020004791A (es) | 2020-10-05 |
| KR20200077575A (ko) | 2020-06-30 |
| PT3707705T (pt) | 2022-12-19 |
| TWI776236B (zh) | 2022-09-01 |
| JP7073492B2 (ja) | 2022-05-23 |
| RU2759092C1 (ru) | 2021-11-09 |
| AR113571A1 (es) | 2020-05-20 |
| SG11202004223RA (en) | 2020-06-29 |
| WO2019091924A1 (en) | 2019-05-16 |
| PL3707705T3 (pl) | 2023-02-20 |
| US20200265846A1 (en) | 2020-08-20 |
| EP3483878A1 (en) | 2019-05-15 |
| AU2018363136A1 (en) | 2020-05-28 |
| TW201923749A (zh) | 2019-06-16 |
| JP2021502608A (ja) | 2021-01-28 |
| ZA202002522B (en) | 2021-05-26 |
| EP3707705B1 (en) | 2022-10-19 |
| CA3082268A1 (en) | 2019-05-16 |
| CA3082268C (en) | 2022-11-22 |
| US11315580B2 (en) | 2022-04-26 |
| CN111630591B (zh) | 2023-08-08 |
| TW202125502A (zh) | 2021-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2659177T3 (es) | Codificador de audio, descodificador de audio, método para proveer una información de audio codificada, método para proveer una información de audio descodificada, programa informático y representación codificada utilizando una ampliación de ancho de banda adaptable a la señal | |
| US9837095B2 (en) | Audio signal classification and coding | |
| BR112016009819B1 (pt) | Decodificador áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro baseada em um sinal de excitação de domínio de tempo | |
| BR112016009805B1 (pt) | Decodificador áudio e método para fornecer uma informação de áudio decodificada utilizando uma dissimulação de erro que modifica um sinal de excitação de domínio de tempo | |
| BR112015017748B1 (pt) | Preenchimento de ruído na codificação de áudio de transformada perceptual | |
| PT2888737T (pt) | Aparelho e método para reproduzir um sinal de áudio, aparelho e método para gerar um sinal de áudio codificado, programa de computador e sinal de áudio codificado | |
| BR112020009117A2 (pt) | decodificador de áudio que suporta um conjunto de diferentes ferramentas de ocultação de perda | |
| JP2006510938A (ja) | 音声符号化における正弦波の選択 | |
| Disse | el Est Spec dio C | |
| BR122020018272B1 (pt) | Descodificador para a geração de um sinal áudio de frequência melhorada, método de descodificação, codificador para a geração de um sinal codificado e método de codificação com informação lateral de seleção compacta |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] |