BRPI0417523B1 - método e arranjo de dissimulação de erro de domínio de freqüência, decodificador, e, receptor - Google Patents
método e arranjo de dissimulação de erro de domínio de freqüência, decodificador, e, receptor Download PDFInfo
- Publication number
- BRPI0417523B1 BRPI0417523B1 BRPI0417523A BRPI0417523A BRPI0417523B1 BR PI0417523 B1 BRPI0417523 B1 BR PI0417523B1 BR PI0417523 A BRPI0417523 A BR PI0417523A BR PI0417523 A BRPI0417523 A BR PI0417523A BR PI0417523 B1 BRPI0417523 B1 BR PI0417523B1
- Authority
- BR
- Brazil
- Prior art keywords
- frame
- coding coefficient
- spectral
- frequency domain
- domain error
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000000873 masking effect Effects 0.000 claims abstract description 49
- 230000003595 spectral effect Effects 0.000 claims description 99
- 230000009466 transformation Effects 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 abstract description 19
- 230000002411 adverse Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 11
- 238000006467 substitution reaction Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
- H04B1/667—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a division in frequency subbands
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Error Detection And Correction (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
- Stabilization Of Oscillater, Synchronisation, Frequency Synthesizers (AREA)
Abstract
"método e arranjo de dissimulação de erro de domínio de freqüência, decodificador, e, receptor". a invenção se refere a uma técnica de dissimulação de erro de domínio de freqüência para informação que é representada, numa base de quadro-a-quadro, por coeficientes de codificação. a idéia básica consiste em dissimular um coeficiente de codificação errôneo aproveitando a correlação de coeficiente de codificação tanto no tempo como na freqüência. a técnica pode ser aplicada a qualquer informação, tal como dados de áudio, vídeo ou imagem, que é comprimida em coeficientes de codificação e transmitida sob condições de canal adversas. a técnica de dissimulação de erro proposta pela invenção apresenta a vantagem clara de aproveitar a redundância do sinal de informação original no tempo, assim como na freqüência. por exemplo, isto oferece a possibilidade de aproveitar a redundância entre quadros (interquadros), assim como dentro de quadros (intraquadros). o uso de coeficientes de codificação do mesmo quadro como o coeficiente de codificação errôneo é, às vezes, referido como correlação de coeficiente intraquadros, e é um caso especial da correlação de freqüência mais geral.
Description
“MÉTODO E ARRANJO DE DISSIMULAÇÃO DE ERRO DE DOMÍNIO DE FREQUÊNCIA, DECODIFICADOR, E, RECEPTOR”
CAMPO TÉCNICO DA INVENÇÃO [0001] Trata a presente invenção, de um modo geral, de dissimulação ou dissimulação de erro, e mais particularmente de uma técnica de dissimulação de erro de domínio de frequência para uso no lado decodificador de um codec (codificador-decodificador) tal como um codec de sub-banda ou codec de transformação.
FUNDAMENTOS DA INVENÇÃO [0002] Um codificador de mídia é um meio, conjunto de circuitos ou programa de computador capaz de analisar um fluxo de informações, tal como um fluxo de dados de áudio, vídeo ou imagem, e emitir um fluxo de informações que representa a mídia numa forma codificada. A informação resultante é frequentemente usada para fins de transmissão, armazenamento e/ou de criptografia. Por outro lado, um decodificador é um meio, conjunto de circuitos ou programa de computador capaz de inverter a operação de codificação, pelo fato de que recebe o fluxo de informações codificadas e emite um fluxo de mídia decodificado.
[0003] Na maioria dos codificadores de áudio e vídeo do estado da técnica, cada quadro do sinal de entrada é analisado no domínio de frequência. O resultado desta análise é quantificado e codificado e depois transmitido ou armazenado, dependendo da aplicação. No lado receptor, ou quando é usado o sinal codificado armazenado, um procedimento de decodificação seguido por um procedimento de síntese permite restaurar o sinal no domínio de tempo.
[0004] Frequentemente, são empregados codecs para compressão/descompressão de informações, tais como dados de áudio e vídeo, para transmissão eficiente por canais de comunicação de largura de banda limitada.
[0005] Os codecs de áudio e vídeo mais comuns são codecs de sub-banda e codecs de transformação. Um codec de sub-banda é baseado em torno de um banco de filtro, e um codec de transformação normalmente é baseado em torno de uma transformação de domínio de tempo-a-frequência como, por exemplo, a DCT
Petição 870180060571, de 13/07/2018, pág. 7/39
2/24 (Transformada de Cosseno Discreta (“Discrete Cosine Transform”)). No entanto, estes dois tipos de codecs podem ser considerados matematicamente equivalentes. De uma certa maneira, baseiam-se no mesmo princípio, em que um codec de transformação pode ser visto como um codec de sub-banda com um grande número de sub-bandas.
[0006] Uma característica comum destes codecs é que eles operam em blocos de amostras: quadros. Os coeficientes de codificação resultantes de uma análise de transformação ou de uma análise de sub-banda de cada quadro são quantificados de acordo com uma alocação de bits dinâmica, e podem variar de um quadro a outro. O decodificador, ao receber o fluxo de bits, calcula as alocações de bits e decodifica os coeficientes codificados.
[0007] Em comunicações baseadas em pacote, os coeficientes e/ou parâmetros de codificação quantificados podem ser agrupados em pacotes. Um pacote pode conter dados referentes a diversos quadros, um quadro, ou conter apenas dados de quadro parciais.
[0008] Sob condições de canal adversas, as informações codificadas/comprimidas de um codificador podem ser perdidas ou chegar no lado decodificador com erros. Em geral, a transmissão de áudio, vídeo ou de outros dados relevantes sob condições de canal adversas se tornou um dos problemas mais desafiantes no momento. A fim de aliviar o efeito de erros introduzidos por perdas de pacote ou dados corrompidos durante a transmissão, a assim chamada dissimulação de erro é frequentemente empregada para reduzir a degradação da qualidade de áudio, vídeo ou de outros dados representados pelos coeficientes de codificação.
[0009] Os esquemas de dissimulação de erro tipicamente dependem da produção de uma substituição para o(s) coeficiente(s) de codificação quantificado(s) de um pacote perdido, ou, em termos mais gerais, contendo erros, que é semelhante ao original. Isto é possível uma vez que informações, tais como de áudio, e em particular fala, apresentam grandes quantidades de auto-similaridade de período curto. Sendo assim, estas técnicas funcionam de forma ótima para taxas de perda
Petição 870180060571, de 13/07/2018, pág. 8/39
3/24 relativamente pequenas (10%) e para pacotes pequenos (4-40 ms).
[0010] Uma técnica conhecida no campo de transmissão de informações por canais não confiáveis é a codificação de múltiplas descrições. O codificador gera diferentes descrições do mesmo sinal de áudio, e o decodificador está apto a produzir uma reconstrução utilizável do sinal de áudio original com qualquer subconjunto das descrições codificadas. Esta técnica supõe a ocorrência de um erro ou uma perda independentemente de cada descrição. Isto significaria que cada descrição seria transmitida no seu próprio canal, ou que as descrições compartilham do mesmo canal, mas estão deslocadas no tempo uma em relação a outra. Neste caso, é alta a probabilidade de o decodificador receber dados válidos a cada momento. A perda de uma descrição, portanto, pode ser coberta pela disponibilidade de uma outra descrição do mesmo sinal. O método, obviamente, aumenta o retardo global entre o transmissor e o receptor. Além disto, ou a taxa de dados precisa ser aumentada ou é preciso sacrificar uma parte da qualidade a fim de permitir um aumento de redundância.
[0011] No caso de bloco ou codecs de transformada orientados por quadro, a estimativa de intervalos de sinal que faltam pode ser feita em domínio de tempo, isto é, na saída do decodificador, ou no domínio de frequência, isto é, internamente ao decodificador.
[0012] No domínio de tempo, diversas técnicas de dissimulação de erro já são conhecidas na técnica anterior. Tecnologia rudimentar, tal como os métodos baseados em emudecimento, repara as suas perdas emudecendo o sinal de saída enquanto os dados estiverem errôneos. Embora muito simples, este método conduz a efeitos muito desagradáveis, devido às descontinuidades percebidas que introduz com súbitas quedas da energia de sinal.
[0013] O método de repetição é muito semelhante à técnica de emudecimento, porém, em vez de substituir o dado por um sinal zero quando ocorre um dado errôneo, repete uma parte do dado que foi recebido por último. Este método funciona melhor que o emudecimento, às custas de um aumento do consumo de memória. O desempenho deste método, todavia, é limitado, e ocorrem alguns
Petição 870180060571, de 13/07/2018, pág. 9/39
4/24 artefatos bastante irritantes. Por exemplo, se o último quadro recebido for uma batida de tambor, então este último é repetido, o que pode levar a uma batida de tambor dupla, onde apenas uma batida de tambor era esperada. Outros artefatos podem ocorrer se, por exemplo, a frequência de repetição for curta, o que introduz um zumbido devido a um efeito de filtragem por pente.
[0014] Outras técnicas mais sofisticadas objetivam interpolar o sinal de áudio utilizando, por exemplo, ou substituição de forma de onda, repetição de forma de onda baseada na altura de som ou modificação da escala de tempo. Estas técnicas apresentam um desempenho melhor do que as técnicas rudimentares descritas anteriormente. Entretanto, exigem uma complexidade muito maior. Além disto, a quantidade de retardo exigido para efetuar a interpolação, em muitos casos, é inaceitável.
[0015] Técnicas bem conhecidas na literatura de restauração de áudio, por exemplo, [1], [2], [3] oferecem percepções úteis, e, na realidade, lidam com problemas semelhantes.
[0016] A dissimulação de erro no domínio de frequência foi levada em consideração em [4], [5]. No caso da transformada DCT (Transformada de Cosseno Discreta), descobriu-se que uma técnica de dissimulação simples consiste em aparar coeficientes de DCT grandes.
[0017] Em [6], é empregada uma abordagem de substituição de dados com uma escolha, ajustada para audição, da energia espectral. Mais particularmente, encontra-se um padrão nos dados de áudio intactos antes da ocorrência de dados errôneos. Quando este padrão é encontrado, determina-se dados de substituição baseados neste padrão.
[0018] Em [7], é descrita uma técnica de dissimulação de erro de domínio de frequência. A técnica descrita é bem geral e se aplica a codificadores de transformação. Utiliza predição a fim de restaurar os coeficientes perdidos ou errôneos. A predição de um coeficiente de bin/canal de frequência errôneo se baseia nos coeficientes antigos do mesmo bin/canal, e pode, portanto, considerar como a fase em um bin/canal de frequência evolui com o tempo numa tentativa de preservar
Petição 870180060571, de 13/07/2018, pág. 10/39
5/24 a assim chamada coerência de fase horizontal. Em alguns casos, esta técnica pode proporcionar resultados bem satisfatórios.
[0019] Entretanto, a técnica de dissimulação de erro proposta em [7] geralmente resulta numa perda da assim chamada coerência de fase vertical, que pode conduzir a descontinuidades de quadro e artefatos percebidos.
[0020] Em [8], Wiese et al descrevem uma técnica para dissimulação de erro que se baseia em comutação entre diversas estratégias de mascaramento, que incluem pelo menos emudecer uma sub-banda e repetir ou estimar a sub-banda.
SUMÁRIO DA INVENÇÃO [0021] A presente invenção supera estas e outras desvantagens das disposições da técnica anterior.
[0022] É um objeto geral da presente invenção prover uma técnica aperfeiçoada de dissimulação de erro.
[0023] É um outro objeto da presente invenção prover uma técnica de dissimulação de erro de domínio de frequência que aproveita melhor a redundância do sinal de informação original.
[0024] Ainda um outro objeto da presente invenção consiste em prover uma técnica de dissimulação de erro de domínio de frequência geral e eficiente que pode ser aplicada tanto a codecs de sub-banda como a codecs de transformação.
[0025] É também um objeto da presente invenção prover uma técnica de dissimulação de erro de domínio de frequência aperfeiçoado, assim como um decodificador e um receptor que compreendem uma tal disposição de dissimulação de erro.
[0026] Estes e outros objetos são alcançados pela invenção conforme definida nas reivindicações de patente apensas.
[0027] A invenção diz respeito a uma técnica de dissimulação de erro de domínio de frequência para informação que é representada, numa base de quadroa-quadro, por coeficientes de codificação. A idéia básica consiste em dissimular um coeficiente de codificação errôneo aproveitando a correlação de coeficiente de codificação tanto no tempo como na frequência. A técnica pode ser aplicada a
Petição 870180060571, de 13/07/2018, pág. 11/39
6/24 qualquer informação, tal como dados de áudio, vídeo ou imagem, que é comprimida em coeficientes de codificação e transmitida sob condições de canal adversas. A técnica de dissimulação de erro proposta pela invenção apresenta a vantagem clara de aproveitar a redundância do sinal de informação original no tempo, assim como na frequência. Por exemplo, isto oferece a oportunidade de aproveitar a redundância entre quadros, assim como dentro de quadros.
[0028] Existem muitas possibilidades de aproveitar a correlação de tempo e frequência, inclusive usando coeficientes de codificação do mesmo quadro no qual o coeficiente de codificação errôneo estava junto com coeficientes de um ou mais quadros anteriores e/ou subseqüentes, usando diversos coeficientes diferentes, ou até mesmo usando padrões diagonais de coeficientes de codificação. Entretanto, deve ficar entendido que o uso de coeficientes de codificação de um ou mais quadros subseqüentes geralmente introduz um retardo, que pode ou não ser aceitável, dependendo da aplicação.
[0029] O uso de coeficientes de codificação do mesmo quadro como o coeficiente de codificação errôneo é, às vezes, referido como correlação de coeficiente intraquadros, e é um caso especial da correlação de frequência mais geral. Similarmente, o uso de coeficientes de um ou mais quadros anteriores e/ou subseqüentes é, às vezes, referido como correlação intraquadros, ou simplesmente correlação de tempo.
[0030] Conforme é normal em codecs de sub-banda e de transformação, a informação pode ser representada por coeficientes de codificação de diversos bins de frequência, sejam bandas de frequência ou componentes de frequência de transformação. Numa implementação particularmente vantajosa e prática, quando um coeficiente de codificação errôneo é detectado para um determinado bin de frequência em um determinado quadro, o novo coeficiente de codificação deste bin de frequência pode ser estimado, pelo menos parcialmente, baseado em pelo menos um coeficiente de codificação de pelo menos um outro bin de frequência no mesmo quadro, e, de preferência, baseado também em pelo menos um coeficiente de codificação do mesmo bin de frequência em um ou mais outros quadros. Pode
Petição 870180060571, de 13/07/2018, pág. 12/39
7/24 ser vantajoso considerar também pelo menos um coeficiente de codificação de pelo menos um outro bin de frequência em um ou mais outros quadros.
[0031] Uma outra implementação particularmente vantajosa, que não introduz retardo extra algum, baseia-se na estimativa de um coeficiente errôneo, não apenas de dados anteriores do bin errôneo ou faltando, mas também em dados correntes e/ou anteriores de outros bins. Isto significa que redundância tanto de tempo como de frequência é aproveitada. Isto é especialmente verdadeiro para o caso de um sinal de áudio que consiste na soma de harmônicos cuja frequência varia lentamente com o tempo. Para este caso de áudio muito comum, a localização dos picos do espectro varia com o tempo. Por exemplo, um pico que está situado no quadro m-1 estaria situado em outro lugar no quadro m. O uso de um estimador ou previsor que utiliza este tipo de redundância dupla, portanto, é bastante vantajoso.
[0032] Em particular, a presente invenção sugere também uma técnica especial para estimar um novo coeficiente de codificação prevendo um componente de fase espectral baseado na equiparação aproximada de retardo de grupo entre quadros, usando um critério de aproximação predeterminado. Isto, de preferência, é executado primeiro estimando o retardo de grupo de pelo menos um outro quadro, em seguida calculando a fase espectral equiparando, pelo menos aproximadamente, o retardo de grupo do componente espectral errôneo com o retardo de grupo estimado.
[0033] Um componente de amplitude espectral pode ser previsto baseado na equiparação da energia de coeficientes espectrais do quadro considerado com a energia de coeficientes espectrais correspondentes de pelo menos um outro quadro. [0034] No caso de codificação de transformação, quando os coeficientes de codificação são coeficientes de transformação espectrais complexos, um novo coeficiente de codificação espectral complexo de um determinado bin de frequência, de preferência, é estimado prevendo a amplitude espectral e a fase separadamente e em seguida combinando a amplitude espectral e a fase previstas em um novo coeficiente de codificação espectral complexo. A equiparação de energia espectral e a equiparação de retardo de grupo podem então ser usadas para prever
Petição 870180060571, de 13/07/2018, pág. 13/39
8/24 individualmente o componente de amplitude espectral e o componente de fase espectral, respectivamente, do coeficiente de codificação complexo.
[0035] Deve ficar entendido que um coeficiente de codificação errôneo pode ser um coeficiente parcialmente errôneo ou um coeficiente de codificação totalmente perdido. Em protocolos de detecção de erro mais avançados, pode ser possível distinguir erros nos bits menos significativos dos erros nos bits mais significativos de um coeficiente de codificação, e, desta maneira, reutilizar pelo menos partes da informação.
[0036] A invenção oferece as seguintes vantagens:
- Dissimulação de erro aperfeiçoada;
- Aproveitamento ótimo da redundância do sinal de informação original;
- Pode ser utilizado em geral em qualquer aplicação de codec de subbanda ou de transformação.
[0037] Outras vantagens proporcionadas pela presente invenção serão reconhecidas pela leitura da descrição abaixo das realizações da invenção.
BREVE DESCRIÇÃO DOS DESENHOS [0038] A invenção juntamente com outros objetos e vantagens da mesma serão melhor entendidos por referência à descrição que se segue considerada em conjunto com os desenhos anexos, nos quais:
A fig. 1 é uma visão geral esquemática de uma aplicação de codificação de fonte convencional;
As figs. 2A-H são diagramas esquemáticos que ilustram diversos casos exemplificativos de aproveitamento de correlação tanto de tempo como de frequência de coeficientes de codificação;
A fig. 3 é um diagrama esquemático de uma divisão de quadro possivelmente superposta das amostras de entrada de domínio de tempo;
A fig. 4 é um diagrama de blocos esquemático de um exemplo de um codificador baseado em transformação básico;
A fig. 5 é um diagrama de blocos esquemático de um exemplo de um decodificador baseado em transformação básico com dissimulação de erro;
Petição 870180060571, de 13/07/2018, pág. 14/39
9/24
A fig. 6 é um diagrama de blocos esquemático de uma unidade de dissimulação de erro de acordo com uma realização preferida da invenção;
A fig. 7 é um diagrama de blocos esquemático de um exemplo de um codificador de sub-banda básico;
As figs. 9A-B são diagramas esquemáticos que ilustram extrapolação de fase baseada em equiparação de retardo de grupo; e
A fig. 10 é um diagrama de blocos esquemático de um estimador para coeficientes complexos de acordo com uma realização preferida da invenção. DESCRIÇÃO DETALHADA DE REALIZAÇÕES DA INVENÇÃO [0039] Por todos os desenhos, os mesmos caracteres de referência serão usados para designar elementos correspondentes ou semelhantes.
[0040] Para uma melhor compreensão da invenção, pode ser útil começar com uma vista geral breve de uma aplicação de codificação de mesma fonte, que envolve transmissão, por um canal de comunicação, de informações codificadas. Conforme mencionado anteriormente, um codec é um meio composto, conjunto de circuitos ou programa de computador capaz de processar um fluxo de informações, e geralmente compreende uma parte codificadora e uma parte decodificadora. Os codecs são frequentemente empregados na compressão/descompressão de informações, tais como dados de áudio e vídeo, para transmissão eficiente por canais de comunicação de largura de banda limitada.
[0041] Na maioria dos codecs de áudio e vídeo do estado da técnica, cada quadro do sinal de entrada é analisado no domínio de frequência. O resultado desta análise é codificado e em seguida transmitido. No lado receptor, um procedimento de síntese permite restaurar o sinal no domínio de tempo.
[0042] O conceito básico em codificação de domínio de frequência consiste em dividir o espectro em bandas ou componentes de frequência, designados comumente por bins, usando ou um banco de filtro ou uma análise de transformação de bloco. Após a codificação e decodificação, estes bins de frequência podem ser usados para sintetizar de novo uma réplica do sinal de entrada seja por soma de banco de filtro ou por uma transformação inversa.
Petição 870180060571, de 13/07/2018, pág. 15/39
10/24 [0043] Dois tipos bastante conhecidos de codecs que pertencem à classe de codecs de domínio de frequência são os codecs de sub-banda e os codecs de transformação. O princípio básico em ambos os tipos de codecs é a divisão do espectro em bins de frequência. Em codificação de sub-banda, um banco de filtro é empregado para dividir o sinal de entrada em diversas bandas de frequência relativamente grandes. Em codificação de transformação, por outro lado, é empregado um método de transformação de bloco para prover uma resolução de frequência muito mais fina.
[0044] Uma característica comum destes codecs é o fato de operarem em blocos de amostras: quadros. Os coeficientes de codificação que resultam de uma análise de transformação ou de uma análise de sub-banda de cada quadro são quantificados, codificados e transmitidos. No lado receptor, os coeficientes de codificação codificados e quantificados são decodificados para restaurar a informação original.
[0045] Com referência à figura 1, o codificador 10 executa um processo de codificação para transformar o fluxo de informações em forma codificada, tipicamente como coeficientes de codificação quantificados e codificados. As informações codificadas são em seguida encaminhadas para um bloco de processamento de canal 20 para colocar as informações codificadas numa forma aceitável para transmissão pelo canal de comunicação. No lado receptor, o fluxo de bits que chega normalmente é processado pelo bloco de processamento de canal 30, que pode executar demultiplexação e detecção de erro. Em comunicação baseada em pacote, por exemplo, os pacotes podem ser checados quanto a erros de bits executando verificações CRC (Verificação de Redundância Cíclica (“Cyclic Redundancy Check”)) ou detecção de erro equivalente. Frequentemente, os pacotes com somas de verificação incorretas são simplesmente descartados. A fim de reduzir o efeito de erros introduzidos nos pacotes durante a transmissão, muitas vezes é empregado um bloco de dissimulação de erro no processo de decodificação de bloco 40 para dissimular coeficientes de codificação errôneos ou que estão faltando, estimando novos coeficientes de substituição. O bloco de decodificação 40
Petição 870180060571, de 13/07/2018, pág. 16/39
11/24 então executa um processo de síntese nos coeficientes não errôneos e nos coeficientes de substituição estimados para restaurar a informação original.
[0046] A invenção diz respeito a uma técnica especialmente projetada para dissimulação de erro de domínio de frequência que se baseia na idéia de dissimular um coeficiente de codificação errôneo explorando a correlação de coeficiente de codificação tanto no tempo como na frequência. A técnica pode ser aplicada a qualquer informação, tal como dados de áudio, vídeo ou imagem, que é comprimida em coeficientes de codificação e transmitida sob condições de canal adversas. A técnica de dissimulação de erro proposta pela invenção aproveita a redundância do sinal de informação no tempo e na frequência e oferece a oportunidade de explorar a redundância entre quadros, assim como dentro de quadros.
[0047] Há muitas possibilidades de aproveitar a correlação/dependência, no tempo e na frequência, dos coeficientes de codificação. A fim de estimar um novo coeficiente de codificação a ser usado em substituição a um coeficiente errôneo ou perdido, é vantajoso analisar e determinar como a fase e/ou amplitude evolui com o tempo (entre quadros) e também como a fase e/ou amplitude evolui com relação a frequência. Isto é, às vezes, referido como correlação/dependência horizontal e correlação/dependência vertical, respectivamente.
[0048] Por exemplo, para um dado coeficiente errôneo, é possível estimar um novo coeficiente de codificação baseado em coeficientes de codificação do mesmo quadro que o coeficiente de codificação errôneo junto com coeficientes de um ou mais quadros anteriores e/ou subseqüentes. Uma outra possibilidade consiste em usar múltiplos coeficientes de cada um de diversos quadros anteriores e/ou subseqüentes. Padrões diagonais de dependência de coeficiente em tempo e frequência também pode ser aproveitados.
[0049] Entretanto, deve ficar entendido que o uso de coeficientes de codificação de um ou mais quadros subseqüentes geralmente introduz um retardo, que pode ou não ser aceitável, dependendo da aplicação. Em geral, naturalmente é possível usar não apenas coeficientes de codificação não errôneos, mas também coeficientes de substituição estimados previamente.
Petição 870180060571, de 13/07/2018, pág. 17/39
12/24 [0050] As figs. 2A-2H são diagramas esquemáticos que ilustram diversos casos exemplificativos de aproveitamento de correlação tanto de tempo como de frequência de coeficientes de codificação. Deve ficar claro que muitas outras variações são possíveis, dependendo da escolha de projeto, complexidade de computação e assim por diante.
[0051] No esquema simplificado da fig. 2A, supõe-se que um coeficiente de codificação errôneo (indicado por uma cruz) tenha sido detectado para um dado bin de frequência kem um dado bloco ou quadro m. A fig. 2A ilustra um exemplo básico no qual o coeficiente errôneo é substituído com base no coeficiente anterior do mesmo bin de frequência junto com os coeficientes de dois bins adjacentes dentro do mesmo quadro que o coeficiente errôneo considerado. Trata-se de um exemplo básico de aproveitamento de dependência de coeficiente tanto no tempo como na frequência. O uso de coeficientes de codificação do mesmo quadro que o coeficiente de codificação errôneo é, às vezes, referido como uma correlação de coeficiente intraquadros, e é um caso especial da correlação de frequência mais geral. Similarmente, o uso de coeficientes de um ou mais quadros anteriores e/ou subseqüentes é referido como correlação intraquadros ou correlação de tempo. O princípio de dissimular um coeficiente de codificação errôneo baseado em correlação entre quadros, assim como intraquadros, é particularmente vantajoso.
[0052] A fig. 2B ilustra um exemplo de coeficientes errôneos sucessivos no mesmo bin. Supõe-se, neste caso, que um coeficiente errôneo de quadro m tenha sido substituído por um novo coeficiente de codificação estimado, por exemplo, conforme mostra a figura 2A. No quadro seguinte m+1, o coeficiente errôneo é substituído baseado no coeficiente de substituição (indicado por uma cruz dentro de um círculo tracejado) do mesmo bin de frequência no quadro m anterior juntamente com, por exemplo, os coeficientes de dois bins adjacentes dentro do mesmo quadro que o coeficiente errôneo considerado. Pode ser vantajoso poder ajustar a influência de coeficientes de substituição em comparação com coeficientes não errôneos. Isto pode ser realizado provendo fatores de ponderação que podem variar dependendo de os coeficientes serem coeficientes transmitidos sem erro ou coeficientes de
Petição 870180060571, de 13/07/2018, pág. 18/39
13/24 substituição estimados, e também dependendo da distância no tempo (ou seja, o número de quadros) e/ou frequência (ou seja, o número de bins) em relação ao coeficiente errôneo considerado.
[0053] A figura 2C ilustra um exemplo no qual diversos dos coeficientes de codificação no quadro corrente são errôneos. Neste caso, o coeficiente de codificação sem erro no quadro corrente é usado junto com o coeficiente anterior do mesmo bin de frequência, assim como coeficientes de outros bins de frequência no quadro anterior. Este processo normalmente é repetido para cada um dos coeficientes errôneos do quadro corrente até que todos sejam substituídos por novos coeficientes.
[0054] A figura 2D ilustra um exemplo no qual diversos coeficientes de codificação de mais de um quadro anterior são considerados junto com coeficientes dentro do quadro corrente.
[0055] A figura 2E ilustra um outro exemplo no qual os coeficientes do mesmo bin de frequência de diversos quadros anteriores são usados junto com os coeficientes de diversos bins de frequência dentro do quadro corrente.
[0056] A figura 2F ilustra um exemplo com um padrão de correlação diagonal.
[0057] A figura 2G ilustra um exemplo básico no qual um coeficiente do mesmo bin em um quadro subseqüente é usado junto com os coeficientes de dois bins adjacentes dentro do mesmo quadro que o coeficiente errôneo considerado. Isto significa que, quando um coeficiente errôneo é detectado dentro de um dado quadro, o algoritmo de dissimulação de erro precisa aguardar o quadro seguinte a fim de acessar o(s) o coeficiente(s) do quadro subseqüente. Aparentemente, isto introduz um retardo de um quadro, e também supõe que o coeficiente do mesmo bin no quadro subsequente seja um coeficiente não-errôneo/recuperado.
[0058] A figura 2H ilustra um outro exemplo com um retardo de dois quadros, no qual diversos coeficientes dentro do mesmo quadro que o coeficiente errôneo considerado são usados junto com quantos coeficientes não-errôneos/recuperados forem possíveis nos dois quadros diretamente depois.
[0059] A invenção será descrita agora em maiores detalhes, principalmente com
Petição 870180060571, de 13/07/2018, pág. 19/39
14/24 referência a codecs de transformação e codecs de sub-banda. Para informações mais detalhadas sobre codecs de transformação e de sub-banda, incluindo informações de alocação de bits, tamanhos de etapa e decimação, faz-se referência a [9].
[0060] Conforme mostra a figura 3, cada quadro de análise m pode ser composto por blocos possivelmente superpostos das amostras de entrada de domínio de tempo x(n). A fig. 4 é um diagrama de blocos esquemático de um exemplo de um codec de transformação simples. Pode-se ver que cada bloco x(m,n) do sinal de entrada é multiplicado por uma função de ponderação h(n) e em seguida transformado no domínio de frequência pelo uso de uma unidade de FFT (Transformada Rápida de Fourier (“Fast Fourier Transform”)) 12. Obviamente, deve ser entendido que um codificador baseado em FFT é apenas um exemplo, e que outros tipos de transformações podem ser usados, por exemplo, a MDCT (Transformada de Cosseno Discreta Modificada (“Modified Discrete Cosine Transform”)). Os coeficientes complexos de domínio de frequência obtidos y(m,k), indexados pelo número de bin k, são quantificados pelo quantificador 14 em coeficientes complexos quantificados yq(m, k). Os coeficientes quantificados são em seguida codificados e multiplexados pelo bloco 16 em um fluxo de informações multiplexado. O fluxo de bits enquadrados resultante é em seguida empacotado pelo bloco 18 e finalmente transmitido para o decodificador no lado receptor.
[0061] Conforme mostra a figura 5, no lado receptor, o fluxo de bits que chega é retirado da disposição em pacote pelo bloco 32, que produz um fluxo de bits enquadrado, assim como um indicador de quadro ruim bfi(m) para cada quadro m. O indicador de quadro ruim pode ser o resultado de uma verificação ou detecção de CRC de um pacote perdido. O fluxo de bits enquadrado e o indicador de quadro ruim correspondente avançam para o bloco 42, que executa demultiplexação e decodificação para extrair coeficientes de codificação complexos quantificados. Se nenhum erro for detectado, os coeficientes quantificados são simplesmente transformados ao inverso numa unidade de IFFT (FTT Inversa) 46 para obter um sinal de domínio de tempo, que é multiplicado por uma função de janela w(n) e
Petição 870180060571, de 13/07/2018, pág. 20/39
15/24 superposição é adicionada na unidade de adicionar superposição 48 para recuperar o sinal decodificado de domínio de tempo xq(n).
[0062] Dependendo da maneira como os dados codificados são multiplexados e dispostos em pacote, os dados relativos a um quadro podem ser perdidos, total ou parcialmente. Isto causa o efeito de pelo menos partes dos coeficientes espectrais poderem estar com erro. A demultiplexação do indicador de quadro ruim bfi(m) determinará quais os coeficientes de codificação que estão com erro, deste modo produzindo um indicador de coeficiente ruim bci(m,k). Numa realização preferida da invenção, a unidade de dissimulação de erro (ECU (“Error Concealment Unit”)) 44 consequentemente recebe uma indicação bci(m,k) de quais coeficientes espectrais estão errôneos ou perdidos, além dos coeficientes espectrais não-errôneos extraídos yq(m,k). Com base no indicador de coeficiente ruim bci(m,k), a unidade de dissimulação de erro 44 substitui por novos coeficientes espectrais os coeficientes errôneos que estão indicados como errôneos ou perdidos.
[0063] A fig. 6 é um diagrama de blocos esquemático de uma unidade de dissimulação de erro 44 de acordo com uma realização preferida da invenção. Com base no indicador de coeficiente ruim de todos os bins de frequência k no quadro m, as unidades lógicas 52 e 54 operam para distinguir coeficientes errôneos de coeficientes não-errôneos. De preferência, o indicador de coeficiente ruim bci(m,k) é booleano. Quando não há erros de canal, o indicador é sempre fixado em FALSE (falso), o que significa que a unidade de dissimulação de erro 44 simplesmente emite a sua entrada, ou seja yq(m,k) = yq(m,k). Por outro lado, quando um coeficiente ruim ou que está faltando é detectado, o indicador é fixado em TRUE (verdadeiro), o que significa que o coeficiente é substituído pela saída do estimador 56. Às vezes, o estimador precisa estar operando sempre a fim de manter atualizado o seu estado de memória interno, de modo que é apenas a sua saída que faz ligação como uma substituição. O bci(m,k), portanto, serve para selecionar quais os coeficientes espectrais que precisam ser substituídos pelo coeficiente espectral estimado pelo estimador 56. A seguir, o conjunto de índices k dos coeficientes espectrais errôneos no quadro m é indicado por S = [k, de modo que bci(m,k) =
Petição 870180060571, de 13/07/2018, pág. 21/39
16/24
TRUE}. Uma unidade de recombinação 58 recebe e dispõe os coeficientes de substituição estimados e os coeficientes não-errôneos do quadro m para emissão.
[0064] Para generalizar, o caso de codec de sub-banda também será ilustrado com referência às figuras 7 e 8.
[0065] A fig. 7 é um diagrama de blocos esquemático de um exemplo de um codificador de sub-banda básico. Em um codificador de sub-banda, um banco de filtros 12-1 a 12-N é empregado para dividir o sinal de entrada em um número N de bandas de frequência, cada uma das quais é normalmente passa baixa traduzida para frequência zero para gerar um coeficiente de codificação correspondente yq(m, k). Os coeficientes y(m, k) obtidos, indexados pelo número de bin k, são em seguida quantificados separadamente por um conjunto de quantificadores 14-1 a 14-N em coeficientes complexos quantificados yq(m, k). Os coeficientes quantificados são em seguida codificados e multiplexados pelo bloco 16, e em seguida empacotados pelo bloco 18 antes da transmissão para o decodificador no lado receptor.
[0066] Conforme mostra a figura 8, no lado receptor, o fluxo de bits que chega é retirado da disposição em pacote pelo bloco 32, que produz um fluxo de bits enquadrado, assim como um indicador de quadro ruim bfi(m) para cada quadro m. O fluxo de bits enquadrado e o indicador de quadro ruim avançam para o bloco 42, que executa demultiplexação e decodificação para extrair coeficientes de transformação complexos quantificados e um indicador de coeficiente ruim bci(m,k). Caso não sejam detectados erros, os coeficientes quantificados são simplesmente traduzidos de volta para as suas posições de frequência originais por um banco de filtros 46-1 a 46-N e somados em conjunto para fornecer uma aproximação xq(n) do sinal original. Sob condições de canal adversas, quando ocorrem erros durante a transmissão, a unidade de dissimulação de erro 44 recebe uma indicação bci(m,k). Com base no indicador de coeficiente ruim, a unidade de dissimulação de erro 44 substitui os coeficientes indicados como ruins ou perdidos por novos coeficientes espectrais, de forma semelhante ao que foi descrito antes.
[0067] Sem perda de generalidade, serão descritos agora alguns exemplos de utilização de correlação combinada de tempo e frequência para o caso de
Petição 870180060571, de 13/07/2018, pág. 22/39
17/24 coeficientes de codificação complexos. Entretanto, deve estar claro que alguns dos princípios subjacentes básicos para aproveitar a correlação de coeficientes no tempo, assim como em frequência, descritos abaixo, podem também ser aplicados a coeficientes de codificação de um único valor. Além disto, foca-se principalmente nas implementações para aplicações em tempo real que exigem que não haja retardos, ou que sejam muito pequenos. Consequentemente, apenas os quadros anteriores são considerados para estimativa de novos coeficientes de codificação nos exemplos que se seguem.
Amplitude e previsão de fase [0068] Nesta realização, amplitude e fase, de preferência, são previstas separadamente e depois combinadas. A amplitude e a fase do espectro estão relacionadas aos coeficientes espectrais pelas seguintes relações:
= arctan(ImCy¥(í?i,A;))/Rer ^M))
Λ [0069] O previsor então prevê a amplitude Yq(m,k) e a fase <Pq(m>k) e em seguida combina as mesmas para obter o coeficiente espectral previsto:
(m, i) “ (m,£) (pt, fc))
Previsão de amplitude [0070] Convencionalmente, a previsão de amplitude frequentemente é baseada na simples repetição da amplitude de bin anterior:
[0071] Isto tem a desvantagem de que se, por exemplo, um sinal de áudio possuir uma magnitude decrescente, a predição dará origem a uma estimativa em excesso, que mal pode ser percebida.
[0072] Um esquema mais elaborado, proposto pela presente invenção, aproveita a redundância tanto no tempo como na frequência, o que permite uma predição melhor da magnitude espectral. Por exemplo, a magnitude espectral prevista pode
Petição 870180060571, de 13/07/2018, pág. 23/39
18/24 ser escrita como:
ξ fc) =: · r, (m-1, fc) onde G(m) é um ganho adaptativo obtido equiparando a energia de coeficientes espectrais não-errôneos/recuperados do quadro corrente com os coeficientes espectrais correspondentes do quadro anterior, o fator yé um fator de atenuação, 0 < γ< 1, por exemplo γ= 0,9. Um exemplo de equiparação de energia pode ser calcular o ganho adaptativo como:
[0073] Outros tipos de medidas de equiparação de energia espectral podem ser usados sem se afastar da ideia básica da invenção.
[0074] Numa outra realização, o ganho G(m) pode ser estimado em diversas bandas espectrais agrupando os coeficientes espectrais em sub-bandas e estimando o ganho em cada sub-banda. O agrupamento em sub-bandas pode ser numa escala uniforme ou numa escala irregular, que é motivada por psico-acústica. O ganho adaptativo na sub-banda I, portanto, é estimado por:
kesub-baitdaíl)
kesub-baltdaíl) teS [0075] A amplitude prevista dos coeficientes espectrais na sub-banda de frequência /é dada por:
(w, £) - G(m, Z) (m <= jufr- bcmdü (0 [0076] O ganho espectral em cada banda espectral se beneficia enormemente do nivelamento tanto no domínio de tempo (nivelamento em m) como no domínio de frequência (nivelamento em /) com emprego, por exemplo, de filtragem passa baixa
Petição 870180060571, de 13/07/2018, pág. 24/39
19/24 no domínio de tempo e de frequência ou de um encaixe de polinômio no domínio de frequência, e de filtragem passa baixa no domínio de tempo.
[0077] A realização de sub-banda é particularmente utilizável se os coeficientes espectrais que sumiram forem distribuídos uniformemente sobre o eixo de frequências. Em determinadas situações, os coeficientes espectrais do agrupamento em sub-bandas previamente designado podem ser perdidos. Neste caso, é possível fundir os agrupamentos em sub-bandas vizinhos ou determinar o ganho associado à sub-banda como a média do ganho estimado nas sub-bandas vizinhas. Uma outra estratégia envolve reaproveitar o ganho anterior, ou seja, G(m,l)=G(m-1,l), ou uma versão filtrada de domínio de frequência, ou seja ϋ = Σ ~lsZ ~ p
[0078] Outras estratégias, naturalmente, podem ser usadas sem se afastar da ideia básica.
[0079] No caso em que todos os coeficientes espectrais se perdem, então a equiparação de ganho adaptativo pode ser estimada, seja usando os dois quadros anteriores, ou usando a equiparação de ganho adaptativo anterior, ou seja, G(m,l)=G(m-1,1).
[0080] Recursos mais sofisticados, porém mais complexos, podem ser usados para a predição de ganho. Por exemplo, um previsor de ganho adaptativo linear pode ser usado. A predição pode então ser formada por:
f,(«,*) = onde os coeficientes de previsor Api(m,k) são ajustados adaptativamente, por exemplo, alguns no sentido de erro mínimo, tal como o quadrado médio mínimo. Predição de fase [0081] A predição de fase é mais crítica, já que, se a fase dos coeficientes espectrais previstos estiver longe de ser a verdadeira, uma falta de equiparação nas seções superpostas produz artefatos audíveis severos. No artigo “Improved Phase Vocoder Time-Scale Modification of Audio” (Modificação de áudio aperfeiçoada em
Petição 870180060571, de 13/07/2018, pág. 25/39
20/24 escala de tempo de codificador de voz de fase), de Laroche e Dolson [10], menciona-se que, no contexto de codificadores de voz de fase de extensão de tempo, uma das razões principais para o aparecimento de artefatos é a falta de coerência de fase.
[0082] De preferência, a técnica de predição de fase proposta pela presente invenção utiliza redundâncias do sinal de informação tanto em tempo como em frequência. Um modelo particularmente vantajoso se baseia em equiparação aproximada de retardo de grupo. Isto resulta da observação nas aplicações de áudio de que, para um único tom estacionário, a derivada da fase em relação à frequência, ou seja, o retardo de grupo, é aproximadamente constante no tempo. Isto se justifica em teoria para um tom complexo de amplitude constante:
x(m + U)= A onde L é a quantidade de superposição.
[0083] A DFT (Transformada Discreta de Fourier (“Discrete Fourier Transform”)) disposta em janela de ambas as seções de sinal é dada por:
= ÃH(á> - oje-”'
X («i + 1,0)) = e é fácil ver que o retardo de grupo de ambas as seções de sinal é o mesmo dargJr(m,üj) _ dargXpH+ !,<») = garg-új0) õtv que mostra que o retardo de grupo é constante e não depende de m. Este resultado pode mostrar ser válido aproximadamente para múltiplos tons, dependendo de quão boa é a banda de rejeição de janela.
[0084] Conseqüentemente, estimar a derivada da fase a partir do(s) quadro(s) anterior(es) permite estimar por extrapolação a fase de componentes espectrais que estão faltando.
Petição 870180060571, de 13/07/2018, pág. 26/39
21/24 [0085] Uma maneira simples de executar a predição de fase com base em equiparação de retardo de grupo consiste em primeiro estimar a derivada da fase no quadro anterior. Isto pode ser realizado usando simples diferenças finitas:
Δφ(ιη - 1Λ) = 1Λ) - -1, Λ -1).
[0086] Naturalmente, outras maneiras de obter uma estimativa do retardo de grupo podem ser usadas. A idéia então é restaurar aproximadamente o mesmo retardo de grupo para cada componente espectral que está faltando. Isto pode ser obtido computando as fases previstas de modo que minimizem uma função de erro, por exemplo
V jy (A). , /c) - k -1) - ~ 1J))2, k
onde os parâmetros desconhecidos são ^(m,/ç) de modo que ke S, ou seja, a fase dos componentes espectrais que estão faltando, e l/l/(7ç) são coeficientes negativos de ponderação.
[0087] É vantajoso fixar os coeficientes negativos de ponderação proporcionalmente à magnitude do espectro do quadro anterior, ou à magnitude prevista do quadro corrente, ou a um invólucro espectral nivelado. Isto permite enfatizar a importância dos picos espectrais e excluir por filtragem as estimativas ruins da derivada de fase introduzida por ruído nos vales espectrais.
[0088] Em outras palavras, a predição de fase, de preferência, baseia-se em estimar o retardo de grupo de pelo menos um outro quadro (anterior), e determinar a fase espectral do coeficiente errôneo de tal modo que o retardo de grupo associado ao coeficiente errôneo chegue o mais próximo possível do retardo de grupo estimado, de acordo com algum critério de aproximação.
[0089] É apresentado um exemplo de uma solução no caso de l/l/(7ç) = 1. Conforme mostram as figuras 9A-B, os coeficientes perdidos estão entre o bin K e o bin K+N.
[0090] A minimização do critério de erro conduz à seguinte solução recursiva para a fase prevista-extrapolada:
Petição 870180060571, de 13/07/2018, pág. 27/39
22/24 = p(m,£“l) + ΔρΟ-1Λ) + ώ^, k = + 1,...,^ + Μ -1, onde = (1//V)·(^(m, Κ + iV)-p(m- 1Λ + JV)“+ φΟ* ~ [0091] Nesta solução, é bastante óbvio que $q(m, K) = <pq(m, K) θ usado para iniciar a recursão.
[0092] Para o caso em que todos os coeficientes espectrais são perdidos, então um previsor de fase secundário é usado para permitir a inicialização da recursão acima.
[0093] Recursos mais sofisticados, porém mais complexos, podem ser usados para a predição de fase sem se afastar da ideia básica de equiparação/conservação de retardo de grupo. Por exemplo, por exploração adicional de redundâncias de domínio de tempo com a conservação de retardo de grupo.
[0094] A fig. 10 é um diagrama de blocos esquemático de um estimador para coeficientes complexos de acordo com uma realização preferida da invenção. O estimador 56 compreende basicamente uma unidade de armazenamento 60 para armazenar coeficientes de codificação pertencentes a um número selecionável de quadros, e uma unidade 70 para executar os cálculos necessários para estimar novos coeficientes de substituição. A unidade de armazenamento 60 recebe os coeficientes extraídos do quadro corrente e os armazena junto com coeficientes de codificação não-errôneos/recuperados pertencentes a um ou mais dos quadros anteriores. A unidade de cálculo 70 recebe informação S sobre quais os coeficientes que devem ser estimados, e calcula coeficientes de substituição correspondentes com base nos coeficientes acessados armazenados a partir da unidade de armazenamento 60. Numa realização preferida da invenção, adaptada a coeficientes de transformação complexos, a unidade de cálculo 70 compreende uma unidade de estimação de amplitude 72, que opera com base nos princípios de equiparação de energia descritos anteriormente, uma unidade de estimação de fase 74, que opera com base nos princípios de equiparação de retardo de grupo descritos
Petição 870180060571, de 13/07/2018, pág. 28/39
23/24 anteriormente, assim como uma unidade de combinação 76 para combinar os componentes de fase e de amplitude estimados para formar coeficientes complexos. [0095] Entretanto, deve ficar entendido que as técnicas avançadas de estimação de fase e de amplitude propostas pela invenção podem ser usadas independentemente. Por exemplo, a fase poderia ser estimada baseada em equiparação de retardo de grupo conforme indicado acima, com uma estimativa de fase mais simples.
Predição de coeficiente direta [0096] Nesta realização, os coeficientes espectrais complexos são previstos diretamente. A saída de previsor yq(m,k), de preferência, depende pelo menos do(s) coeficiente(s) espectral(ais) anterior(es) do mesmo bin, assim como de coeficientes espectrais anteriores e/ou correntes de outros bins.
[0097] Em geral, isto pode ser representado por uma função de previsor adaptativo dependente do tempo fm,k, de modo que:
f (m,k) = (rg (m -1),..., y * (m -), k,).....)) na qual kh k2, ...kp indicam os índices dos coeficientes espectrais nãoerrôneos. A função de previsor pode, por exemplo, ter a forma de um previsor linear. [0098] As realizações descritas acima são apresentadas apenas como exemplos, e deve ficar claro que a presente invenção não está limitada às mesmas. Outras modificações, trocas e aperfeiçoamentos que retenham os princípios básicos subjacentes aqui apresentados e reivindicados incidem no escopo da invenção.
Petição 870180060571, de 13/07/2018, pág. 29/39
24/24
REFERÊNCIAS [1] S. J. Godsill, P. J. W. Rayner, Digital Audio Restoration, Springer, 1998.
[2] J. J. K. D Ruanaidh, W. J. Fitzgerald, Numerical Bayesian Methods Applied to Signal Processing, Springer 1998.
[3] R. Veldhuis Restauration of lost samples in digital signals, Prentice Hall, 1990.
[4] J. Herre, E. Eberlein, Error Concealment in the spectral domain, 93rd AES Convention, Outubro de 1992,1-4, preprint 3364.
[5] J. Herre, E. Eberlein, Evaluation of concealment techniques for compressed digital audio, 94th AES Convention, Outubro de 1993, 1-4, preprint 3364.
[6] US 6,421,802-B1 [7] EP 0 574 288-B1 [8] US 6,351,728-B1 [9] A. M. Kondoz, Digital Speech: Coding For Low Bit Rate Communication, Wiley (1994), páginas 123-128.
[10] Laroche, M. Dolson, Improved Phase Vocoder Time-Scale Modification of Audio, IEEE transactions on speech and audio processing, 323-332, Vol. 7, N° 3, Maio de 1999.
Claims (8)
1. Método de dissimulação de erro de domínio de frequência para informações representadas, numa base de quadro-a-quadro, por coeficientes de codificação, caracterizado pelo fato de dissimular um coeficiente de codificação errôneo em um quadro pelas etapas de calcular um novo coeficiente de codificação com base na correlação de coeficiente de codificação tanto no tempo como na frequência e substituir dito coeficiente de codificação errôneo pelo dito novo coeficiente de codificação.
2/8 coeficiente de codificação de pelo menos um outro bin de frequência no quadro.
2. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 1, caracterizado pelo fato de que o coeficiente de codificação errôneo é pelo menos um dentre um coeficiente de codificação parcialmente errôneo e um coeficiente de codificação totalmente perdido.
3/8
- calcular um fator de ponderação equiparando a energia de coeficientes espectrais do mesmo quadro que o coeficiente de codificação errôneo com a energia de coeficientes espectrais correspondentes de pelo menos um outro quadro; e
- calcular a amplitude espectral com base na amplitude espectral do mesmo bin de frequência do pelo menos um outro quadro e do fator de ponderação.
12. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 4, caracterizado pelo fato de que o pelo menos um outro quadro inclui pelo menos um quadro anterior.
13. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 4, caracterizado pelo fato de que o pelo menos um outro quadro inclui pelo menos um quadro subseqüente.
14. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 1, caracterizado pelo fato de que os coeficientes de codificação são coeficientes de transformação espectrais complexos.
15. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 14, caracterizado pelo fato de que um novo coeficiente de codificação espectral complexo de um determinado bin de frequência é calculado prevendo a amplitude e a fase espectrais separadamente e em seguida combinando a amplitude e a fase espectrais previstas em um novo coeficiente de codificação espectral complexo.
16. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 15, caracterizado pelo fato de que a amplitude espectral é prevista com base na amplitude espectral do mesmo bin de frequência de pelo menos um outro quadro e um fator de ponderação, o fator de ponderação sendo calculado equiparando a energia de coeficientes espectrais do referido quadro com a energia de coeficientes espectrais correspondentes do referido pelo menos um outro quadro.
17. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 15 ou 16, caracterizado pelo fato de que a fase espectral é prevista calculando retardo de grupo de pelo menos dois componentes de fase
Petição 870180060571, de 13/07/2018, pág. 33/39
3. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que os coeficientes de codificação são coeficientes de codificação quantificados.
4/8 espectral de pelo menos um outro quadro, e calculando a fase espectral equiparando o retardo de grupo associado com o novo coeficiente espectral ao retardo de grupo calculado.
18. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 14, caracterizado pelo fato de que um novo coeficiente de codificação espectral complexo é previsto diretamente.
19. Método de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 1 a 18, caracterizado pelo fato de que as referidas informações incluem pelo menos um dentre dados de áudio, vídeo e imagem.
20. Arranjo de dissimulação de erro de domínio de frequência para informações representadas, numa base de quadro-a-quadro, por coeficientes de codificação, caracterizado pelo fato de compreender um meio (44) para dissimular um coeficiente de codificação errôneo em um quadro compreendendo um meio (56) para calcular um novo coeficiente de codificação com base na correlação do coeficiente de codificação tanto em tempo como em frequência e um meio (56, 58) para substituir o referido coeficiente de codificação errôneo pelo dito novo coeficiente de codificação.
21. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 20 ou 21, caracterizado pelo fato de que o coeficiente de codificação errôneo é pelo menos um dentre um coeficiente de codificação parcialmente errôneo e um coeficiente de codificação totalmente perdido.
22. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 20 ou 21, caracterizado pelo fato de que o meio para dissimular um coeficiente de codificação errôneo compreende:
- um meio (56) para calcular um novo coeficiente de codificação com base em pelo menos um outro coeficiente de codificação dentro do mesmo quadro que o coeficiente de codificação errôneo e pelo menos um coeficiente de codificação de pelo menos um outro quadro; e
- um meio (56, 58) para substituir o coeficiente de codificação errôneo
Petição 870180060571, de 13/07/2018, pág. 34/39
4. Método de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que a etapa de dissimular um coeficiente de codificação errôneo compreende as etapas de:
- calcular um novo coeficiente de codificação com base em pelo menos um outro coeficiente de codificação dentro do mesmo quadro que o coeficiente de codificação errôneo e pelo menos um coeficiente de codificação de pelo menos um outro quadro;
- substituir o coeficiente de codificação errôneo pelo novo coeficiente de codificação.
5/8 pelo novo coeficiente de codificação.
23. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 22, caracterizado pelo fato de que a referida informação é representada por coeficientes de codificação de diversos bins de frequência, e o coeficiente de codificação errôneo é detectado para um determinado bin de frequência no referido quadro, e o meio para calcular (56) é operável para calcular um novo coeficiente de codificação do bin de frequência com base pelo menos parcialmente em pelo menos um coeficiente de codificação de pelo menos um outro bin de frequência no referido quadro.
24. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 23, caracterizado pelo fato de que o meio para calcular (56) é operável para calcular o novo coeficiente de codificação do bin de frequência também com base em pelo menos um coeficiente de codificação do mesmo bin de frequência em pelo menos um outro quadro.
25. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 24, caracterizado pelo fato de que o meio para calcular (56) é operável para calcular o novo coeficiente de codificação do bin de frequência também com base em pelo menos um coeficiente de codificação de pelo menos um outro bin de frequência em pelo menos um outro quadro.
26. Arranjo de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 20 a 25, caracterizado pelo fato de que o meio (56) para calcular um novo coeficiente de codificação compreende um meio (74) para prever um componente de fase espectral com base na equiparação de retardo de grupo aproximada entre quadros, usando um critério de aproximação predeterminado.
27. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 26, caracterizado pelo fato de que o meio (74) para prever um componente de fase espectral compreende:
- um meio para calcular o retardo de grupo a partir de pelo menos um outro quadro; e
Petição 870180060571, de 13/07/2018, pág. 35/39
5. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 4, caracterizado pelo fato de que as informações são representadas por coeficientes de codificação de diversos bins de frequência, e o coeficiente de codificação errôneo é detectado para um determinado bin de frequência em um quadro, e um novo coeficiente de codificação do referido bin de frequência é calculado pelo menos parcialmente com base em pelo menos um
Petição 870180060571, de 13/07/2018, pág. 31/39
6/8
- um meio para calcular a fase espectral equiparando o retardo de grupo associado com o novo coeficiente espectral ao retardo de grupo calculado.
28. Arranjo de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 20 a 27, caracterizado pelo fato de que o meio para dissimular um coeficiente de codificação errôneo compreende um meio (56) para calcular um novo coeficiente de codificação que compreende um meio para prever um componente de amplitude espectral com base na equiparação de energia espectral entre quadros.
29. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 28, caracterizado pelo fato de que o meio para prever um componente de amplitude compreende:
- um meio (72) para calcular um fator de ponderação equiparando a energia de coeficientes espectrais do mesmo quadro que o coeficiente de codificação errôneo com a energia de coeficientes espectrais correspondentes de pelo menos um outro quadro; e
- um meio (72) para calcular o fator de ponderação com base na amplitude espectral do mesmo bin de frequência do referido pelo menos um outro quadro e do fator de ponderação.
30. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 22, caracterizado pelo fato de que o pelo menos um outro quadro inclui pelo menos um quadro anterior.
31. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 22, caracterizado pelo fato de que o pelo menos um outro quadro inclui pelo menos um quadro subseqüente.
32. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 20, caracterizado pelo fato de que os coeficientes de codificação são coeficientes de transformação espectrais complexos.
33. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 32, caracterizado pelo fato de que o meio de cálculo (56) é operável para calcular um novo coeficiente de codificação espectral complexo de um
Petição 870180060571, de 13/07/2018, pág. 36/39
6. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 5, caracterizado pelo fato de que o novo coeficiente de codificação do referido bin de frequência é também calculado com base em pelo menos um coeficiente de codificação do mesmo bin de frequência em pelo menos um outro quadro.
7/8 dado bin de frequência prevendo a amplitude e a fase espectrais separadamente e em seguida combinando a amplitude e a fase espectrais previstas em um novo coeficiente de codificação espectral complexo.
34. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 33, caracterizado pelo fato de que o meio de cálculo (56) é operável para prever a amplitude espectral com base na amplitude espectral do mesmo bin de frequência de pelo menos um outro quadro e um fator de ponderação, em que o meio de cálculo (56) é operável para calcular o fator de ponderação equiparando a energia de coeficientes espectrais do mesmo quadro com a energia de coeficientes espectrais correspondentes do pelo menos um outro quadro.
35. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 33 ou 34, caracterizado pelo fato de que o meio de cálculo (56) é operável para prever a fase espectral calculando o retardo de grupo de pelo menos dois componentes de fase espectral de pelo menos um outro quadro e calculando a fase espectral equiparando o retardo de grupo associado com o novo componente ao retardo de grupo calculado.
36. Arranjo de dissimulação de erro de domínio de frequência de acordo com a reivindicação 32, caracterizado pelo fato de que um novo coeficiente de codificação espectral complexo é previsto diretamente.
37. Arranjo de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 20 a 36, caracterizado pelo fato de que as referidas informações incluem pelo menos um dentre dados de áudio, vídeo e imagem.
38. Decodificador (40) compreendendo um meio para decodificar um fluxo de informações para emitir um fluxo decodificado, caracterizado pelo fato de compreender um arranjo de dissimulação de erro de domínio de frequência como definido em qualquer uma das reivindicações 20 a 37.
39. Receptor compreendendo um bloco de processamento de canal (30) para receber e processar um fluxo de informações de entrada e um decodificador (40) para decodificar o fluxo de informações e emitir um fluxo decodificado,
Petição 870180060571, de 13/07/2018, pág. 37/39
7. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 6, caracterizado pelo fato de que o novo coeficiente de codificação do referido bin de frequência é também calculado com base em pelo menos um coeficiente de codificação de pelo menos um outro bin de frequência em pelo menos um outro quadro.
8. Método de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que a etapa de calcular um novo coeficiente de codificação compreende a etapa de prever um componente de fase espectral com base na equiparação de retardo de grupo aproximada entre quadros, usando um critério de aproximação predeterminado.
9. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 8, caracterizado pelo fato de que a etapa de prever um componente de fase espectral compreende as etapas de:
- calcular o retardo de grupo a partir de pelo menos um outro quadro; e
- calcular a fase espectral equiparando o retardo de grupo associado ao novo componente espectral com o retardo de grupo calculado.
10. Método de dissimulação de erro de domínio de frequência de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que a etapa de calcular um novo coeficiente de codificação compreende a etapa de prever um componente de amplitude espectral com base na equiparação de energia espectral entre quadros.
11. Método de dissimulação de erro de domínio de frequência de acordo com a reivindicação 10, caracterizado pelo fato de que a etapa de prever um componente de amplitude espectral compreende as etapas de:
Petição 870180060571, de 13/07/2018, pág. 32/39
8/8 caracterizado pelo fato de que compreende um arranjo de dissimulação de erro de domínio de frequência como definido em qualquer uma das reivindicações 20 a 37.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE0303498A SE0303498D0 (sv) | 2003-12-19 | 2003-12-19 | Spectral loss conccalment in transform codecs |
SE0400418A SE527669C2 (sv) | 2003-12-19 | 2004-02-20 | Förbättrad felmaskering i frekvensdomänen |
PCT/SE2004/001868 WO2005059900A1 (en) | 2003-12-19 | 2004-12-15 | Improved frequency-domain error concealment |
Publications (3)
Publication Number | Publication Date |
---|---|
BRPI0417523A BRPI0417523A (pt) | 2007-03-20 |
BRPI0417523A8 BRPI0417523A8 (pt) | 2018-04-03 |
BRPI0417523B1 true BRPI0417523B1 (pt) | 2019-01-15 |
Family
ID=31996351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BRPI0417523A BRPI0417523B1 (pt) | 2003-12-19 | 2004-12-15 | método e arranjo de dissimulação de erro de domínio de freqüência, decodificador, e, receptor |
Country Status (13)
Country | Link |
---|---|
EP (1) | EP1697927B1 (pt) |
JP (1) | JP3999807B2 (pt) |
AT (1) | ATE366979T1 (pt) |
AU (1) | AU2004298709B2 (pt) |
BR (1) | BRPI0417523B1 (pt) |
CA (1) | CA2544880C (pt) |
DE (1) | DE602004007550T2 (pt) |
HK (1) | HK1098569A1 (pt) |
MX (1) | MXPA06006497A (pt) |
PL (1) | PL1697927T3 (pt) |
RU (1) | RU2328775C2 (pt) |
SE (1) | SE527669C2 (pt) |
WO (1) | WO2005059900A1 (pt) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4539180B2 (ja) * | 2004-06-07 | 2010-09-08 | ソニー株式会社 | 音響復号装置及び音響復号方法 |
JP4536621B2 (ja) * | 2005-08-10 | 2010-09-01 | 株式会社エヌ・ティ・ティ・ドコモ | 復号装置、および復号方法 |
WO2007043642A1 (ja) * | 2005-10-14 | 2007-04-19 | Matsushita Electric Industrial Co., Ltd. | スケーラブル符号化装置、スケーラブル復号装置、およびこれらの方法 |
US8620644B2 (en) | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
US7533073B2 (en) | 2005-12-05 | 2009-05-12 | Raytheon Company | Methods and apparatus for heuristic search to optimize metrics in generating a plan having a series of actions |
EP2112653A4 (en) | 2007-05-24 | 2013-09-11 | Panasonic Corp | AUDIO DEODICATION DEVICE, AUDIO CODING METHOD, PROGRAM AND INTEGRATED CIRCUIT |
JP2009116245A (ja) * | 2007-11-09 | 2009-05-28 | Yamaha Corp | 音声強調装置 |
CN101437009B (zh) * | 2007-11-15 | 2011-02-02 | 华为技术有限公司 | 丢包隐藏的方法及其系统 |
FR2929466A1 (fr) * | 2008-03-28 | 2009-10-02 | France Telecom | Dissimulation d'erreur de transmission dans un signal numerique dans une structure de decodage hierarchique |
CA2871268C (en) * | 2008-07-11 | 2015-11-03 | Nikolaus Rettelbach | Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program |
US9031834B2 (en) | 2009-09-04 | 2015-05-12 | Nuance Communications, Inc. | Speech enhancement techniques on the power spectrum |
JP5694745B2 (ja) * | 2010-11-26 | 2015-04-01 | 株式会社Nttドコモ | 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム |
KR101551046B1 (ko) * | 2011-02-14 | 2015-09-07 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 저-지연 통합 스피치 및 오디오 코딩에서 에러 은닉을 위한 장치 및 방법 |
CN107068156B (zh) * | 2011-10-21 | 2021-03-30 | 三星电子株式会社 | 帧错误隐藏方法和设备以及音频解码方法和设备 |
EP2631906A1 (en) | 2012-02-27 | 2013-08-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Phase coherence control for harmonic signals in perceptual audio codecs |
NO2780522T3 (pt) | 2014-05-15 | 2018-06-09 | ||
EP3427257B1 (en) * | 2016-03-07 | 2021-05-05 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Error concealment unit, audio decoder, and related method and computer program fading out a concealed audio frame out according to different damping factors for different frequency bands |
BR112018067944B1 (pt) | 2016-03-07 | 2024-03-05 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V | Unidade de ocultação de erro, método de ocultação de erro,decodificador de áudio, codificador de áudio, método para fornecer uma representação de áudio codificada e sistema |
WO2017153300A1 (en) | 2016-03-07 | 2017-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Error concealment unit, audio decoder, and related method and computer program using characteristics of a decoded representation of a properly decoded audio frame |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4111131C2 (de) * | 1991-04-06 | 2001-08-23 | Inst Rundfunktechnik Gmbh | Verfahren zum Übertragen digitalisierter Tonsignale |
KR970011728B1 (ko) * | 1994-12-21 | 1997-07-14 | 김광호 | 음향신호의 에러은닉방법 및 그 장치 |
ATE196960T1 (de) * | 1997-04-23 | 2000-10-15 | Fraunhofer Ges Forschung | Verfahren zum verschleiern von fehlern in einem audiodatenstrom |
US6597961B1 (en) * | 1999-04-27 | 2003-07-22 | Realnetworks, Inc. | System and method for concealing errors in an audio transmission |
DE19921122C1 (de) * | 1999-05-07 | 2001-01-25 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Verschleiern eines Fehlers in einem codierten Audiosignal und Verfahren und Vorrichtung zum Decodieren eines codierten Audiosignals |
US6517203B1 (en) | 1999-07-02 | 2003-02-11 | E-Vision, Llc | System, apparatus, and method for correcting vision using electro-active spectacles |
US7656509B2 (en) | 2006-05-24 | 2010-02-02 | Pixeloptics, Inc. | Optical rangefinder for an electro-active lens |
FR2974722B1 (fr) | 2011-05-06 | 2014-10-10 | Essilor Int | Procede de determination de la distance de lecture |
US8754831B2 (en) | 2011-08-02 | 2014-06-17 | Microsoft Corporation | Changing between display device viewing modes |
US8690321B2 (en) | 2012-04-21 | 2014-04-08 | Paul Lapstun | Fixation-based control of electroactive spectacles |
EP2706396A1 (en) | 2012-09-06 | 2014-03-12 | ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) | Method for adapting the optical function of an adaptive ophtalmic lenses system |
-
2004
- 2004-02-20 SE SE0400418A patent/SE527669C2/sv not_active IP Right Cessation
- 2004-12-15 WO PCT/SE2004/001868 patent/WO2005059900A1/en active IP Right Grant
- 2004-12-15 AT AT04820554T patent/ATE366979T1/de not_active IP Right Cessation
- 2004-12-15 CA CA2544880A patent/CA2544880C/en not_active Expired - Fee Related
- 2004-12-15 JP JP2006545285A patent/JP3999807B2/ja not_active Expired - Fee Related
- 2004-12-15 PL PL04820554T patent/PL1697927T3/pl unknown
- 2004-12-15 EP EP04820554A patent/EP1697927B1/en not_active Not-in-force
- 2004-12-15 MX MXPA06006497A patent/MXPA06006497A/es active IP Right Grant
- 2004-12-15 BR BRPI0417523A patent/BRPI0417523B1/pt not_active IP Right Cessation
- 2004-12-15 DE DE602004007550T patent/DE602004007550T2/de active Active
- 2004-12-15 RU RU2006126073/09A patent/RU2328775C2/ru active
- 2004-12-15 AU AU2004298709A patent/AU2004298709B2/en not_active Ceased
-
2007
- 2007-05-14 HK HK07105059.0A patent/HK1098569A1/xx not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
HK1098569A1 (en) | 2007-07-20 |
EP1697927A1 (en) | 2006-09-06 |
MXPA06006497A (es) | 2006-08-23 |
WO2005059900A1 (en) | 2005-06-30 |
RU2328775C2 (ru) | 2008-07-10 |
BRPI0417523A8 (pt) | 2018-04-03 |
EP1697927B1 (en) | 2007-07-11 |
CA2544880C (en) | 2014-01-28 |
RU2006126073A (ru) | 2008-01-27 |
AU2004298709A1 (en) | 2005-06-30 |
AU2004298709B2 (en) | 2009-08-27 |
JP3999807B2 (ja) | 2007-10-31 |
SE0400418D0 (sv) | 2004-02-20 |
PL1697927T3 (pl) | 2007-12-31 |
SE0400418L (sv) | 2005-06-20 |
BRPI0417523A (pt) | 2007-03-20 |
JP2007514977A (ja) | 2007-06-07 |
CA2544880A1 (en) | 2005-06-30 |
SE527669C2 (sv) | 2006-05-09 |
DE602004007550T2 (de) | 2008-03-13 |
ATE366979T1 (de) | 2007-08-15 |
DE602004007550D1 (de) | 2007-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7356748B2 (en) | Partial spectral loss concealment in transform codecs | |
BRPI0417523B1 (pt) | método e arranjo de dissimulação de erro de domínio de freqüência, decodificador, e, receptor | |
KR100193353B1 (ko) | 적응블록길이, 적응변환, 적응윈도우 변환코더, 디코더 및 고품질 오디오용 인코더/디코더 | |
US5754974A (en) | Spectral magnitude representation for multi-band excitation speech coders | |
US8359197B2 (en) | Half-rate vocoder | |
KR100388388B1 (ko) | 재생위상정보를사용하는음성합성방법및장치 | |
EP0893791B1 (en) | Method for encoding speech | |
EP1157377B1 (en) | Speech enhancement with gain limitations based on speech activity | |
US20040196913A1 (en) | Computationally efficient audio coder | |
JP6076247B2 (ja) | ディジタルオーディオ信号エンコーダでのノイズシェーピングフィードバックループの制御 | |
EP0927988A2 (en) | Encoding speech | |
BRPI0808428A2 (pt) | Dispostivo de codificação e método de codificação | |
BRPI0311523B1 (pt) | “Método e dispositivo de ocultação de apagamento de quadro causado por quadros de um sinal de som codificado apagados durante transmissão” | |
KR20070070174A (ko) | 스케일러블 부호화 장치, 스케일러블 복호 장치 및스케일러블 부호화 방법 | |
RU2628197C2 (ru) | Маскирование ошибок в кадрах | |
WO2009068087A1 (en) | Multichannel audio coding | |
BR112019020491A2 (pt) | aparelho e método para pós-processamento de um sinal de áudio usando formato com base em previsão | |
JP2004519741A (ja) | 音声の符号化 | |
KR20230129581A (ko) | 음성 정보를 갖는 개선된 프레임 손실 보정 | |
EP3928312A1 (en) | Methods for phase ecu f0 interpolation split and related controller | |
CN111292755A (zh) | 突发帧错误处理 | |
JP2008129250A (ja) | Aacのためのウィンドウ切り替え方法およびm/s符号化の帯域決定方法 | |
CN1898722B (zh) | 经改善的频域误码掩蔽 | |
TWI776236B (zh) | 支援一組不同丟失消隱工具之音訊解碼器 | |
Hamdy et al. | Audio coding using steady state harmonics and residuals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B15K | Others concerning applications: alteration of classification |
Ipc: G10L 19/005 (2013.01) |
|
B06A | Patent application procedure suspended [chapter 6.1 patent gazette] | ||
B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 15/01/2019, OBSERVADAS AS CONDICOES LEGAIS. |
|
B21F | Lapse acc. art. 78, item iv - on non-payment of the annual fees in time |
Free format text: REFERENTE A 18A ANUIDADE. |
|
B24J | Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12) |
Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2701 DE 11-10-2022 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013. |