BRPI0707498A2

BRPI0707498A2 - aparelho e mÉtodo de codificaÇço/decodificaÇço de um sinal

Info

Publication number: BRPI0707498A2
Application number: BRPI0707498-0A
Authority: BR
Inventors: Yang Won Jung; Hee Suk Pang; Hyun O Oh; Dong Soo Kim; Jae Hyun Lim
Original assignee: Lg Electronics Inc
Priority date: 2006-02-07
Filing date: 2007-02-07
Publication date: 2011-05-10
Also published as: KR20080093417A; TW200740266A; JP2009526262A; EP1984913A1; KR100863480B1; KR101014729B1; KR100878815B1; KR100902899B1; EP1984914A4; KR100878816B1; JP5199129B2; KR20070080592A; WO2007091843A1; US8160258B2; EP1984914A1; JP5054034B2; WO2007091849A1; AU2007212845A1; JP5173840B2; KR100991795B1

Abstract

APARELHO E MÉTODO DE CODIFICAÇçO / DECODIFICAÇçO DE UM SINAL. São fornecidos um método e aparelho de codificação e um método e aparelho de decodificação. O método de decodificação inclui extrair um sinal de conversão descendente tridimensional (3D) e informação espacial de um fluxo contínuo de bits de entrada, remover efeitos 3D do sinal de conversão descendente 3D pela realização de uma operação de renderização 3D no sinal de conversão descendente 3D, e gerar um sinal multicanais usando a informação espacial e o sinal de conversão descendente obtidos pela remoção. Dessa maneira, é possível codificar eficientemente sinal multicanais com efeitos 3D e restaurar e reproduzir adaptativamente sinais de áudio com qualidade de som ideal de acordo com as características de um ambiente de reprodução.

Description

"APARELHO E MÉTODO PARA CODIFICAR / DECODIFICAR UM SINAL"

CAMPO TÉCNICO

A presente invenção diz respeito a um método de codificação / decodificação e aum aparelho de codificação / decodificação e, mais particularmente, a um aparelho de codi-ficação / decodificação que pode processar um sinal de áudio para que efeitos sonoros tri-dimensionais (3D) possam ser criados, e a um método de codificação / decodificação queusa o aparelho de codificação / decodificação.

ANTECEDENTES DA INVENÇÃO

Um aparelho para codificação faz conversão descendente de um sinal multicanaisem um sinal com menos canais e transmite o sinal de conversão descendente para um apa-relho de decodificação. Então, o aparelho de decodificação restaura um sinal multicanais dosinal de conversão descendente e reproduz o sinal multicanais restaurado usando três oumais alto-falantes, por exemplo, alto-falantes de 5.1 canais.

Sinais multicanais podem ser reproduzidos por alto-falantes de 2 canais, tais comofones de ouvido. Neste caso, a fim de fazer com que um usuário perceba como se sons emi-tidos por alto-falantes de 2 canais fossem reproduzidos a partir de três ou mais fontes desom, é necessário desenvolver técnicas de processamento tridimensional (3D) que podemcodificar ou decodificar sinais multicanais para que os efeitos 3D possam ser criados.

DIVULGAÇÃO DA INVENÇÃO

PROBLEMA TÉCNICO

A presente invenção fornece um aparelho de codificação / decodificação e um mé-todo de codificação / decodificação que pode reproduzir sinais multicanais em vários ambi-entes de reprodução pelo eficiente processamento de sinais com efeitos 3D.

SOLUÇÃO TÉCNICA

De acordo com um aspecto da presente invenção, é fornecido um método de deco-dificação de restauração de um sinal multicanais, o método de decodificação incluindo extra-ir um sinal de conversão descendente tridimensional (3D) e informação espacial de um fluxocontínuo de bits de entrada, remover efeitos 3D do sinal de conversão descendente pelarealização de uma operação de renderização 3D no sinal de conversão descendente, e ge-rar um sinal multicanais usando a informação espacial e um sinal de conversão descendenteobtido pela remoção.

De acordo com um outro aspecto da presente invenção, é fornecido um método dedecodificação da restauração de um sinal multicanais, o método de decodificação incluindoextrair um sinal de conversão descendente 3D e informação espacial de um fluxo contínuode bits de entrada, gerar um sinal multicanais usando um sinal de conversão descendente3D e a informação espacial, e remover efeitos 3D do sinal multicanais pela realização deuma operação de renderização 3D no sinal multicanais.De acordo com um outro aspecto da presente invenção, é fornecido um método decodificação da codificação de um sinal multicanais com uma pluralidade de canais, o métodode codificação incluindo codificar o sinal multicanais em um sinal de conversão descendentecom menos canais, gerar informação espacial considerando a pluralidade de canais, gerarum sinal de conversão descendente 3D pela realização de uma operação de renderização3D no sinal de conversão descendente, e gerar um fluxo contínuo de bits que inclui o sinalde conversão descendente 3D e a informação espacial.

De acordo com um outro aspecto da presente invenção, é fornecido um método decodificação da codificação de um sinal multicanais com uma pluralidade de canais, o métodode codificação incluindo realizar uma operação de renderização 3D no sinal multicanais,codificar um sinal multicanais obtido pela operação de renderização 3D em um sinal de con-versão descendente 3D com menos canais, gerar informação espacial considerando a plura-lidade de canais, e gerar um fluxo contínuo de bits que inclui o sinal de conversão descen-dente 3D e a informação espacial.

De acordo com um outro aspecto da presente invenção, é fornecido um aparelho dedecodificação para restaurar o sinal multicanais, o aparelho de decodificação incluindo umaunidade de desempacotamento de bits que extrai um sinal de conversão descendente 3Dcodificado e informação espacial de um fluxo contínuo de bits de entrada, um decodificadorde conversão descendente que decodifica o sinal de conversão descendente 3D codificado,uma unidade de renderização 3D que remove efeitos 3D do sinal de conversão descendente3D decodificado obtido pela decodificação realizada pelo decodificador de conversão des-cendente pela realização de uma operação de renderização 3D no sinal de conversão des-cendente 3D decodificado, e um decodificador multicanais que gera um sinal multicanaisusando a informação espacial e um sinal de conversão descendente obtido pela remoçãorealizada pela unidade de renderização 3D.

De acordo com um outro aspecto da presente invenção, é fornecido um aparelho dedecodificação para restaurar um sinal multicanais, o aparelho de decodificação incluindouma unidade de desempacotamento de bits que extrai um sinal de conversão descendente3D codificado e informação espacial de um fluxo contínuo de bits de entrada, um decodifica-dor de conversão descendente que decodifica o sinal de conversão descendente 3D codifi-cado, um decodificador multicanais que gera um sinal multicanais usando a informação es-pacial e um sinal de conversão descendente 3D obtido pela decodificação realizada pelodecodificador de conversão descendente, e uma unidade de renderização 3D que removeefeitos 3D do sinal multicanais pela realização de uma operação de renderização 3D no si-nal multicanais.

De acordo com um outro aspecto da presente invenção, é fornecido um aparelho decodificação para codificar um sinal multicanais com uma pluralidade de canais, o aparelhode codificação incluindo um codificador multicanais que codifica o sinal multicanais em umsinal de conversão descendente com menos canais e gera informação espacial consideran-do a pluralidade de canais, uma unidade de renderização 3D que gera um sinal de conver-são descendente 3D pela realização de uma operação de renderização 3D no sinal de con-versão descendente, um codificador de conversão descendente que codifica o sinal de con-versão descendente 3D, e uma unidade de empacotamento de bits que gera um fluxo contí-nuo de bits que inclui o sinal de conversão descendente 3D codificado e a informação espacial.

De acordo com um outro aspecto da presente invenção, é fornecido um aparelho decodificação para codificar um sinal multicanais com uma pluralidade de canais, o aparelhode codificação incluindo uma unidade de renderização 3D que realiza uma operação de ren-derização 3D no sinal multicanais, um codificador multicanais que codifica um sinal multica-nais obtido pela operação de renderização 3D em um sinal de conversão descendente 3Dcom menos canais e gera informação espacial considerando a pluralidade de canais, umcodificador de conversão descendente que codifica o sinal de conversão descendente 3D, euma unidade de empacotamento de bits que gera um fluxo contínuo de bits que inclui o sinalde conversão descendente 3D codificado e a informação espacial.

De acordo com um outro aspecto da presente invenção, é fornecido um fluxo contí-nuo de bits que inclui um campo de dados que inclui informação considerando um sinal deconversão descendente 3D, um campo de informação de filtro que inclui informação de filtroque identifica um filtro usado para gerar o sinal de conversão descendente 3D, um primeirocampo de cabeçalho que inclui informação que indica se o campo de informação de filtroinclui a informação de filtro, um segundo campo de cabeçalho que inclui informação queindica se o campo de informação de filtro inclui coeficientes do filtro ou coeficientes de umfiltro invertido do filtro, e um campo de informação espacial que inclui informação espacialconsiderando uma pluralidade de canais.

De acordo com um outro aspecto da presente invenção, é fornecida uma mídia degravação legível por computador com um programa de computador para executar qualquerum dos métodos de decodificação supradescritos e dos métodos de codificação suprades-critos.

EFEITOS VANTAJOSOS

De acordo com a presente invenção, é possível codificar eficientemente sinais mul-ticanais com efeitos 3D e restaurar e reproduzir de forma adaptável sinais de áudio comqualidade de som ideal, de acordo com as características de um ambiente de reprodução.

DESCRIÇÃO RESUMIDA DOS DESENHOS

A Figura 1 é um diagrama de blocos de um aparelho de codificação / decodificaçãode acordo com uma modalidade da presente invenção;a Figura 2 é um diagrama de blocos de um aparelho de codificação de acordo comuma modalidade da presente invenção;

a Figura 3 é um diagrama de blocos de um aparelho de decodificação de acordocom uma modalidade da presente invenção;

a Figura 4 é um diagrama de blocos de um aparelho de codificação de acordo comuma outra modalidade da presente invenção;

a Figura 5 é um diagrama de blocos de um aparelho de decodificação de acordocom uma outra modalidade da presente invenção;

a Figura 6 é um diagrama de blocos de um aparelho de decodificação de acordocom uma outra modalidade da presente invenção;

a Figura 7 é um diagrama de blocos de um aparelho de renderização tridimensional(3D) de acordo com uma modalidade da presente invenção;

as Figuras 8 até 11 ilustram fluxos contínuos de bits de acordo com modalidades dapresente invenção;

a Figura 12 é um diagrama de blocos de um aparelho de codificação / decodifica-ção para processar um sinal de conversão descendente arbitrário de acordo com uma mo-dalidade da presente invenção;

a Figura 13 é um diagrama de blocos de uma unidade de compensação / renderi-zação 3D de sinal de conversão descendente arbitrário de acordo com uma modalidade dapresente invenção;

a Figura 14 é um diagrama de blocos de um aparelho de decodificação para pro-cessar um sinal de conversão descendente compatível de acordo com uma modalidade dapresente invenção;

a Figura 15 é um diagrama de blocos de uma unidade de processamento de com-patibilidade / renderização 3D de conversão descendente de acordo com uma modalidadeda presente invenção; e

a Figura 16 é um diagrama de blocos de um aparelho de decodificação para cance-lar diafonia de acordo com uma modalidade da presente invenção.

MELHOR MODO PARA REALIZAR A INVENÇÃO

A seguir, a presente invenção será descrita com mais detalhes em relação aos de-senhos anexos, nos quais modalidades exemplares da invenção são mostradas.

A Figura 1 é um diagrama de blocos de um aparelho de codificação / decodificaçãode acordo com uma modalidade da presente invenção. Em relação à figura 1, uma unidadede controle 100 inclui um codificador multicanais 110, uma unidade de renderização tridi-mensional (3D) 120, um codificador de conversão descendente 130 e uma unidade de em-pacotamento de bits 140.

O módulo de codificação 110 faz conversão descendente de um sinal multicanaiscom uma pluralidade de canais em um sinal de conversão descendente, tal como um sinalestéreo ou um sinal mono, e gera informação espacial considerando os canais do sinal mul-ticanais. A informação espacial é necessária para restaurar um sinal multicanais do sinal deconversão descendente.

Exemplos da informação espacial incluem uma diferença de nível de canal (CLD),que indica a diferença entre os níveis de energia de um par de canais, um coeficiente deprognóstico de canal (CPC), que é um coeficiente de prognóstico usado para gerar um sinalde 3 canais com base em um sinal de 2 canais, correlação intercanais (ICC), que indica acorrelação entre um par de canais, e uma diferença de tempo de canal (CTD), que é o inter-valo de tempo entre um par de canais.

A unidade de renderização 3D 120 gera um sinal de conversão descendente 3Dcom base no sinal de conversão descendente. O sinal de conversão descendente 3D podeser um sinal de canal 2 com três ou mais diretividades e, pode assim ser reproduzido pelosalto-falantes de 2 canais, tais como fones de ouvido com efeitos 3D. Em outras palavras, osinal de conversão descendente 3D pode ser reproduzido por alto-falantes de 2 canais paraque um usuário possa perceber como se o sinal de conversão descendente 3D fosse repro-duzido a partir de uma fonte de som com três ou mais canais. A direção de uma fonte desom pode ser determinada com base em pelo menos uma da diferença entre as intensida-des dos dois sons que entram, respectivamente, em ambos os ouvidos, do intervalo de tem-po entre os dois sons, e da diferença entre as fases dos dois sons. Portanto, a unidade derenderização 3D 120 pode converter o sinal de conversão descendente no sinal de conver-são descendente 3D com base em como os humanos podem determinar o local 3D de umafonte de som com seus sentidos de audição.

A unidade de renderização 3D 120 pode gerar o sinal de conversão descendente fil-trando o sinal de conversão descendente usando um filtro. Neste caso, informação relacio-nada ao filtro, por exemplo, um coeficiente do filtro, pode ser inserido na unidade de renderi-zação 3D 120 por uma fonte externa. A unidade de renderização 3D 120 pode usar a infor-mação espacial fornecida por um codificador multicanais 110 para gerar o sinal de conver-são descendente 3D com base no sinal de conversão descendente. Mais especificamente, aunidade de renderização 3D 120 pode converter o sinal de conversão descendente no sinalde conversão descendente 3D pela conversão do sinal de conversão descendente em umsinal multicanais imaginário usando a informação espacial e filtrando o sinal multicanais i-maginário.

A unidade de renderização 3D 120 pode gerar o sinal de conversão descendente3D filtrando o sinal de conversão descendente usando um filtro de função de transferênciarelacionada a cabeçalho (HRTF).

Um HRTF é uma função de transferência que descreve a transmissão de ondas so-noras entre uma fonte de som em um local arbitrário e a membrana do tímpano, e retornaum valor que varia de acordo com a direção e a altitude de uma fonte de som. Se um sinalsem diretividade for filtrado usando o HRTF, o sinal pode ser ouvido como se ele fosse re-produzido a partir de uma certa direção.

A unidade de renderização 3D 120 pode realizar uma operação de renderização 3Dem um domínio d estado funcional, por exemplo, um domínio da transformada de Fourierdiscreta (DFT) ou em um domínio de transformada de Fourier rápida (FFT). Neste caso, aunidade de renderização 3D 120 pode realizar DFT ou FFT antes da operação de renderiza-ção 3D ou pode realizar DFT invertida (IDTF) ou FFT invertida (IFFT) depois da operação derenderização 3D.

A unidade de renderização 3D 120 pode realizar a operação de renderização 3Dem um filtro especular de quadratura (QMF) / domínio híbrido. Neste caso, a unidade derenderização 3D 120 pode realizar operações de análise e síntese QMF / híbrido antes oudepois da operação de renderização 3D.

Uma unidade de renderização 3D 120 pode realizar a operação de renderização 3Dem um domínio temporal. A unidade de renderização 3D 120 pode determinar em qual do-mínio a operação de renderização 3D deve ser realizada de acordo com a qualidade de somexigida e com a capacidade operacional do aparelho de codificação / decodificação.

O codificador de conversão descendente 130 codifica o sinal de conversãodescendente emitido pelo codificador multicanais 110 ou o sinal de conversão descendente3D emitido pela unidade de renderização 3D 120. O codificador de conversão descendente130 pode codificar o sinal de conversão descendente emitido pelo codificador multicanais110 ou o sinal de conversão descendente 3D emitido pela unidade de renderização 3D 120usando um método de codificação de áudio, tal como um método de codificação avançadade áudio (AAC), um método de MPEG camada 3 (MP3), ou um método de codificação arit-mética de bit fatiado (BSAC).

O codificador de conversão descendente 130 pode codificar um sinal de conversãodescendente não 3D ou um sinal de conversão descendente 3D. Neste caso, tanto o sinalde conversão descendente não 3D codificado quanto o sinal de conversão descendente 3Dcodificado podem ser incluídos em um fluxo contínuo de bits a ser transmitido.

A unidade de empacotamento de bits 140 gera um fluxo contínuo de bits com basena informação espacial e tanto no sinal de conversão descendente 3D quanto no sinal deconversão descendente 3D codificado.

O fluxo contínuo de bits gerado pela unidade de empacotamento de bits 140 podeincluir informação espacial, informação de identificação de conversão descendente que indi-ca se um sinal de conversão descendente incluído no fluxo contínuo de bits é um sinal deconversão descendente não 3D ou um sinal de conversão descendente 3D, e informaçãoque identifica um filtro usado pela unidade de renderização 3D 120 (por exemplo, informa-ção de coeficiente HRTF).

Em outras palavras, o fluxo contínuo de bits gerado pela unidade de empacotamen-to de bits 140 pode incluir pelo menos um de um sinal de conversão descendente não 3Dque ainda não foi processado em 3D e um sinal de conversão descendente 3D de codifica-dor que é obtido por uma operação de processamento 3D realizada por um aparelho de co-dificação, e uma informação de identificação de conversão descendente que identifica o tipode sinal de conversão descendente incluído no fluxo contínuo de bits.

Pode ser determinado qual do sinal de conversão descendente 3D e do sinal deconversão descendente 3D do codificador deve ser incluído no fluxo contínuo de bits geradopela unidade de empacotamento de bits 140 na escolha do usuário ou de acordo com ascapacidades do aparelho de codificação / decodificação ilustrado na figura 1, e as caracte-rísticas de um ambiente de reprodução.

A informação do coeficiente HRTF pode incluir coeficientes de uma função invertidade um URTF usado pela unidade de renderização 3D 120. A informação de coeficienteHRTF pode incluir somente informação resumida dos coeficientes do HRTF usado pela uni-dade de renderização 3D 120, por exemplo, informação de envelope dos coeficientes HRTF.Se um fluxo contínuo de bits que inclui os coeficientes da função invertida do HRTF fortransmitido a um aparelho de decodificação, o aparelho de decodificação não precisa reali-zar uma operação de conversão de coeficiente HRTF e, assim, a quantidade de computaçãodo aparelho de decodificação pode ser reduzida.

O fluxo contínuo de bits gerado pela unidade de empacotamento de bits 140 tam-bém pode incluir informação considerando uma variação de energia em um sinal ocasionadapela filtragem baseada em HRTF, isto é, informação considerando a diferença entre a ener-gia de um sinal a ser filtrado e a energia de um sinal que foi filtrado ou a taxa da energia dosinal a ser filtrado pela energia do sinal que foi filtrado.

O fluxo contínuo de bits gerado pela unidade de empacotamento de bits 140 tam-bém pode incluir informação que indica se ele inclui coeficientes HRTF. Se os coeficientesHRTF forem incluídos no fluxo contínuo de bits gerado pela unidade de empacotamento debits 140, o fluxo contínuo de bits também pode incluir informação que indica se ele incluitanto os coeficientes do HRTF usado pela unidade de renderização 3D 120 ou os coeficien-tes da função invertida do HRTF.

Em relação à figura 1, uma primeira unidade de decodificação 200 inclui uma uni-dade de desempacotamento de bits 210, um decodificador de conversão descendente 220,uma unidade de renderização 3D 230 e um decodificador multicanais 240.

A unidade de desempacotamento de bits 210 recebe um fluxo contínuo de bits deentrada a partir da unidade de codificação 100 e extrai um sinal de conversão descendentecodificado e informação espacial do fluxo contínuo de bits de entrada. O decodificador deconversão descendente 220 decodifica o sinal de conversão descendente codificado. O de-codificador de conversão descendente 220 pode decodificar o sinal de conversão descen-dente codificado usando um método de decodificação de sinal de áudio, tal como um méto-do AAC, um método MP3, ou um método BSAC.

Como exposto, o sinal de conversão descendente codificado extraído do fluxo con-tínuo de bits de entrada pode ser um sinal de conversão descendente não 3D codificado ouum sinal de conversão descendente 3D de codificador codificado. Informação que indica seo sinal de conversão descendente codificado extraído do fluxo contínuo de bits de entrada éum sinal de conversão descendente não 3D codificado ou um sinal de conversão descen-dente 3D de codificador codificado pode ser incluída no fluxo contínuo de bits entrada.

Se o sinal de dados modulado codificado extraído do fluxo contínuo de bits de en-trada for um sinal de dados modulado 3D do codificador, o sinal de dados modulado codifi-cado pode ser prontamente reproduzido depois de ser decodificado pelo decodificador deconversão descendente 220.

Por outro lado, se o sinal de conversão descendente codificado extraído do fluxocontínuo de bits de entrada for um sinal de conversão descendente não 3D, o sinal de con-versão descendente codificado pode ser decodificado pelo decodificador de conversão des-cendente 220, e um sinal de conversão descendente obtido pela decodificação pode serconvertido em um sinal de conversão descendente 3D do decodificador por uma operaçãode renderização 3D realizada pela terceira unidade de renderização 233. O sinal de conver-são descendente 3D do decodificador pode ser prontamente reproduzido.

A unidade de renderização 3D 230 inclui um primeiro renderizador 231, um segun-do renderizador 232 e um terceiro renderizador 233. O primeiro renderizador 231 gera umsinal de conversão descendente pela realização de uma operação de renderização 3D emum sinal de conversão descendente 3D do codificador fornecido pelo decodificador de con-versão descendente 220. Por exemplo, o primeiro renderizador 231 pode gerar um sinal deconversão descendente não 3D pela remoção dos efeitos 3D do sinal de conversão descen-dente 3D do codificador. Os efeitos 3D do sinal de conversão descendente 3D do codifica-dor podem não ser completamente removidos pelo primeiro renderizador 231. Neste caso,um sinal de conversão descendente emitido pelo primeiro renderizador 231 pode ter algunsefeitos 3D.

O primeiro renderizador 231 pode converter o sinal de conversão descendente 3Dfornecido pelo decodificador de conversão descendente 220 em um sinal de conversão des-cendente com efeitos 3D dele removidos usando um filtro invertido do filtro usado pela uni-dade de renderização 3D 120 da unidade de codificação 100. Informação considerando ofiltro usado pela unidade de renderização 3D 120 ou o filtro invertido do filtro usado pela uni-dade de renderização 3D 120 pode ser incluída no fluxo contínuo de bits de entrada.

O filtro usado pela unidade de renderização 3D 120 pode ser um filtro HRTF. Nestecaso, os coeficientes do HRTF usados pela unidade de codificação 100 ou os coeficientesda função invertida do HRTF também podem ser incluídos no fluxo contínuo de bits de en-trada. Se os coeficientes do HRTF usados pela unidade de codificação 100 forem incluídosno fluxo contínuo de bits de entrada, os coeficientes do HRTF podem ser inversamente con-vertidos, e os resultados da conversão invertida podem ser usados durante a operação derenderização 3D realizada pelo primeiro renderizador 231. Se os coeficientes da função in-vertida do HRTF usados pela unidade de codificação 100 forem incluídos no fluxo contínuode bits de entrada, eles podem ser prontamente usados durante a operação de renderização3D realizada pelo primeiro renderizador 231 sem ser sujeito a nenhuma operação de con-versão invertida. Neste caso, a quantidade de computação do primeiro aparelho de decodifi-cação 100 pode ser reduzida.

O fluxo contínuo de bits de entrada também pode incluir informação de filtro (porexemplo, informação que indica se os coeficientes do HRTF usados pela unidade de codifi-cação 100 estão incluídos no fluxo contínuo de bits de entrada) e informação que indica se ainformação de filtro foi inversamente convertida.

O decodificador multicanais 240 gera um sinal multicanais 3D com três ou mais ca-nais com base no sinal de conversão descendente com efeitos 3D dele removidos e na in-formação espacial extraída do fluxo contínuo de bits de entrada.

O segundo renderizador 232 pode gerar um sinal de conversão descendente 3Dcom efeitos 3D pela realização de uma operação de renderização 3D no sinal de conversãodescendente com efeitos 3d dele removidos. Em outras palavras, o primeiro renderizador231 remove efeitos 3D do sinal de conversão descendente 3D do codificador fornecido peladecodificador de conversão descendente 220. Posteriormente, o segundo renderizador 232pode gerar um sinal de conversão descendente 3D combinado com efeitos 3D desejadospelo primeiro aparelho de decodificação 200 pela realização de uma operação de renderiza-ção 3D em um sinal de conversão descendente obtido pela remoção realizada pelo primeirorenderizador 231, usando um filtro do primeiro aparelho de decodificação 200.

O primeiro aparelho de decodificação 200 pode incluir um renderizador no qual doisou mais dos primeiro, segundo e terceiro renderizadores 231, 232 e 233, que realizar asmesmas operações, são integrados.

Um fluxo contínuo de bits gerado pela unidade de codificação 100 pode ser inseridoem um segundo aparelho de decodificação 300 que tem uma estrutura diferente do primeiroaparelho de decodificação 200. O segundo aparelho de decodificação 300 pode gerar umsinal de conversão descendente 3D com base em um sinal de conversão descendente inclu-ído no fluxo contínuo de bits nele inserido.Mais especificamente, o segundo aparelho de decodificação 300 inclui uma unidadede desempacotamento de bits 310, um decodificador de conversão descendente 320 e umaunidade de renderização 3D 330. A unidade de desempacotamento de bits 310 recebe umfluxo contínuo de bits de entrada da unidade de codificação 100 e extrai um sinal de conver-são descendente codificado e informação espacial do fluxo contínuo de bits de entrada. Odecodificador de conversão descendente 320 decodifica o sinal de conversão descendentecodificado. A unidade de renderização 3D 330 realiza uma operação de renderização 3D nosinal de conversão descendente decodificado para que o sinal de conversão descendentedecodificado possa ser convertido em um sinal de conversão descendente 3D.

A Figura 2 é um diagrama de blocos de um aparelho de codificação de acordo comuma modalidade da presente invenção. Em relação à figura 2, um aparelho de codificaçãoinclui unidades de renderização 400 e 420 e um codificador multicanais 410. Descriçõesdetalhadas dos mesmos de codificação da modalidade da figura 1 serão omitidas.

Em relação à figura 2, as unidades de renderização 400 e 420 podem ser respecti-vãmente dispostas em frente e atrás do codificador multicanais 410. Assim, um sinal multi-canais pode ser renderizado em 3D pela unidade de renderização 3D 400 e, então, o sinalmulticanais renderizado em 3D pode ser codificado pelo codificador multicanais 410, geran-do assim um sinal de conversão descendente 3D de codificador pré-processado. Alternati-vamente, o sinal multicanais pode ser convertido de forma descendente pelo codificadormulticanais 410 e, então, o sinal de conversão descendente pode ser renderizado em 3Dpela unidade de renderização 3D 420, gerando assim um sinal de conversão descendentedo codificador pré-processado.

Informação que indica se o sinal multicanais foi renderizado em 3D antes ou depoisde ser convertido de forma descendente pode ser incluída em um fluxo contínuo de bits aser transmitido.

Ambas as unidades de renderização 3D 400 e 420 podem ser dispostas em frenteou atrás do codificador multicanais 410.

A Figura 3 é um diagrama de blocos de um aparelho de decodificação de acordocom uma modalidade da presente invenção. Em relação à figura 3, o aparelho de decodifi-cação inclui unidades de renderização 3D 430 e 450 e um decodificador multicanais 440.Descrições detalhadas dos mesmos processos de decodificação da modalidade da figura 1serão omitidas.

Em relação à figura 3, as unidades de renderização 3D 430 e 450 podem ser res-pectivamente dispostas na frente ou atrás do decodificador multicanais 440. A unidade derenderização 3D 430 pode remover efeitos 3D de um sinal de conversão descendente 3D decodificador e inserir um sinal de conversão descendente obtido pela remoção em relação aodecodificador multicanais 430. Então, o decodificador multicanais 430 pode decodificar osinal de conversão descendente nele inserido, gerando assim um sinal multicanais 3D pré-processado. Alternativamente, o decodificador multicanais 430 pode restaurar um sinal mul-ticanais de um sinal de conversão descendente 3D codificado e a unidade de renderização3D 450 pode remover efeitos 3D do sinal multicanais restaurado, gerando assim um sinalmulticanais 3D pós-processados.

Se um sinal de conversão descendente 3D do codificador fornecido por um apare-lho de codificação foi gerado pela realização de uma operação de renderização 3D e, então,de uma operação de conversão descendente, o sinal de conversão descendente 3D do codi-ficador pode ser decodificado pela realização de uma operação de decodificação multicanaise, então, de uma operação de renderização 3D. Por outro lado, se o sinal de conversãodescendente 3D do codificador foi gerado pela realização de uma operação de conversãodescendente e, então, de uma operação de renderização 3D, o sinal de conversão descen-dente 3D do codificador pode ser decodificado pela realização de uma operação de renderi-zação 3D e, então, de uma operação de decodificação multicanais.

Informação que indica se um sinal de conversão descendente 3D codificado foi ob-tido pela realização de uma operação de renderização 3D antes ou depois de uma operaçãode conversão descendente pode ser extraída de um fluxo contínuo de bits transmitido porum aparelho de codificação.

Ambas as unidades de renderização 3D 430 e 450 podem ser dispostas na frenteou atrás do decodificador multicanais 440.

A Figura 4 é um diagrama de blocos de um aparelho de codificação de acordo comuma outra modalidade da presente invenção. Em relação à figura 4, o aparelho de codifica-ção inclui um codificador multicanais 500, uma unidade de renderização 3D 510, um codifi-cador de conversão descendente 520 e uma unidade de empacotamento de bits 530. Des-crições detalhadas dos mesmos processos de codificação da modalidade da figura 1 serãoomitidas.

Em relação à figura 4, o codificador multicanais 500 gera um sinal de conversãodescendente e informação espacial com base em um sinal multicanais de entrada. A unida-de de renderização 3D 510 gera um sinal de conversão descendente 3D pela realização deuma operação de renderização 3D no sinal de conversão descendente.

Pode-se determinar se realiza uma operação de renderização 3D no sinal de con-versão descendente pela escolha de um usuário ou de acordo com as capacidades do apa-relho de codificação, as características de um ambiente de reprodução ou a qualidade desom exigidas.

O codificador de conversão descendente 520 codifica o sinal de conversão descen-dente gerado pelo codificador multicanais 500 ou pelo sinal de conversão descendente 3Dgerado pela unidade de renderização 3D 510.A unidade de empacotamento de bits 530 gera um fluxo contínuo de bits com basena informação espacial e tanto no sinal de conversão descendente codificado quanto em umsinal de conversão descendente 3D do codificador codificado. O fluxo contínuo de bits gera-do pela unidade de empacotamento de bits 530 pode incluir informação de identificação deconversão descendente que indica se um sinal de conversão descendente codificado incluí-do no fluxo contínuo de bits é um sinal de conversão descendente não 3D sem efeitos 3D ouum sinal de conversão descendente 3D do codificador com efeitos 3D. Mais especificamen-te, a informação de identificação de conversão descendente pode indicar se o fluxo contínuode bits gerado pela unidade de empacotamento de bits 530 inclui um sinal de conversãodescendente não 3D, um sinal de conversão descendente 3D do codificador ou ambos.

A Figura 5 é um diagrama de blocos de um aparelho de decodificação de acordocom uma outra modalidade da presente invenção. Em relação à figura 5, o aparelho de de-codificação inclui uma unidade de desempacotamento de bits 540, um decodificador de con-versão descendente 550 e uma unidade de renderização 3D 560. Descrições detalhadasdos mesmos processos de decodificação da modalidade da figura 1 serão omitidas.

Em relação à figura 5, a unidade de desempacotamento de bits 540 extrai um sinalde conversão descendente codificado, informação espacial e uma informação de identifica-ção de conversão descendente de um fluxo contínuo de bits de entrada. A informação deidentificação de conversão descendente indica se o sinal de conversão descendente codifi-cado é um sinal de conversão descendente não 3D codificado sem efeitos 3D ou um sinalde conversão descendente 3D codificado com efeitos 3D.

Se o fluxo contínuo de bits de entrada inclui tanto um sinal de conversão descen-dente não 3D quanto um sinal de conversão descendente 3D, somente um do sinal de con-versão descendente não 3D e do sinal de conversão descendente 3D pode ser extraído dofluxo contínuo de bits de entrada pela escolha de um usuário ou de acordo com as capaci-dades do aparelho de decodificação, das características de um ambiente de reprodução ouda qualidade de som exigidas.

O codificador de conversão descendente 550 decodifica o sinal de conversão des-cendente codificado. Se um sinal de conversão descendente obtido pela decodificação reali-zada pelo decodificador de conversão descendente 550 for um sinal de conversão descen-dente 3D do codificador obtido pela realização de uma operação de renderização 3D, o sinalde conversão descendente pode ser prontamente reproduzido.

Por outro lado, se o sinal de conversão descendente obtido pela decodificação rea-lizada pelo decodificador de conversão descendente 550 for um sinal de conversão descen-dente sem efeitos 3D, a unidade de renderização 3D 560 pode gerar um sinal de conversãodescendente 3D do decodificador pela realização de uma operação de renderização 3D nosinal de conversão descendente obtido pela decodificação realizada pelo decodificador deconversão descendente 550.

A Figura 6 é um diagrama de blocos de um aparelho de decodificação de acordocom uma outra modalidade da presente invenção. Em relação à figura 6, o aparelho de de-codificação inclui uma unidade de desempacotamento de bits 600, um decodificador de con-versão descendente 610 e uma primeira unidade de renderização 3D 620, uma segundaunidade de renderização 3D 630 e uma unidade de armazenamento de informação de filtro640. Descrições detalhares dos mesmos processos de decodificação da modalidade da figu-ra 1 serão omitidas.

A unidade de desempacotamento de bits 600 extrai um sinal de conversão descen-dente 3D do codificador e informação espacial codificados da um fluxo contínuo de bits deentrada. O decodificador de conversão descendente 610 decodifica o sinal de conversãodescendente 3D do codificador codificado.

A primeira unidade de renderização 3D 620 remove efeitos 3D de um sinal de con-versão descendente 3D do codificador obtido pela decodificação realizada pelo decodifica-dor de conversão descendente 610 usando um filtro invertido de um filtro de um aparelho decodificação usado para realizar uma operação de renderização 3D. A segunda unidade derenderização 630 gera um sinal de conversão descendente 3D combinado com efeitos 3Dpela realização de uma operação de renderização 3D em um sinal de conversão descen-dente obtido pela remoção realizada pela primeira unidade de renderização 3D 620 usandoum filtro armazenado no aparelho de decodificação.

A segunda unidade de renderização 3D 630 pode realizar uma operação de rende-rização 3D usando um filtro com diferentes características do filtro da unidade de codificaçãousado para realizar uma operação de renderização 3D. Por exemplo, a segunda unidade derenderização 3D 630 pode realizar uma operação de renderização 3D usando um HRTFcom diferentes coeficientes daqueles de um HRTF usado por um aparelho de codificação.

A unidade de armazenamento de informação de filtro 640 armazena informação defiltro considerando um filtro usado para realizar uma renderização 3D, por exemplo, informa-ção de coeficiente de HRTF. A segunda unidade de renderização 3D 630 pode gerar umaconversão descendente 3D combinada usando a informação de filtro armazenada na unida-de de armazenamento de informação de filtro 640.

A unidade de armazenamento de informação de filtro 640 pode armazenar uma plu-ralidade de partes de informação de filtro que corresponde, respectivamente, a uma plurali-dade de filtros. Neste caso, uma da pluralidade de partes de informação de filtro pode serselecionada pela escolha de um usuário ou de acordo com as capacidades do aparelho dedecodificação ou com a qualidade de som exigidas.

Pessoas de diferentes raças podem ter diferentes estruturas de ouvido. Assim, coe-ficientes HRTF otimizados para diferentes indivíduos podem diferir um do outro. O aparelhode decodificação ilustrado na figura 6 pode gerar um sinal de conversão descendente 3Dotimizado para o usuário. Além do mais, o aparelho de decodificação ilustrado na figura 6pode gerar um sinal de conversão descendente 3D com efeitos 3D correspondente a umfiltro HRTF desejado pelo usuário, independente do tipo de HRTF fornecido por um fornece-dor de sinal de conversão descendente 3D.

A Figura 7 é um diagrama de blocos de um aparelho de renderização 3D de acordocom uma modalidade da presente invenção. Em relação à figura 7, o aparelho de renderiza-ção 3D inclui primeira e segunda unidades de conversão de domínio 700 e 720 e uma uni-dade de renderização 3D 710. A fim de realizar uma operação de renderização 3D em umdomínio pré-determinado, as primeira e segunda unidades de conversão de domínio 700 e720 podem ser dispostas, respectivamente, na frente e atrás da unidade de renderização 3D710.

Em relação à figura 7, um sinal de conversão descendente de entrada é convertidoem um sinal de conversão descendente de domínio de freqüência pela primeira unidade deconversão de domínio 700. Mais especificamente, a primeira unidade de conversão de do-mínio 700 pode converter o sinal de conversão descendente de entrada em um sinal deconversão descendente de domínio DFT ou em um sinal de conversão descendente de do-mínio FFT pela realização de DFT ou de FFT.

A unidade de renderização 3D 710 gera um sinal multicanais pela aplicação de in-formação espacial no sinal de conversão descendente de domínio de freqüência fornecidopela primeira unidade de conversão de domínio 700. Posteriormente, a unidade de renderi-zação 3D 710 gera um sinal de conversão descendente 3D pela filtragem do sinal multica-nais.

O sinal de conversão descendente 3D gerado pela unidade de renderização 3D 710é convertido em um sinal de conversão descendente 3D de domínio temporal pela segundaunidade de conversão de domínio 720. Mais especificamente, a segunda unidade de con-versão de domínio 720 pode realizar IDFT ou IFFT no sinal de conversão descendente 3Dgerado pela unidade de renderização 3D 710.

Durante a conversão de um sinal de conversão descendente 3D de domínio de fre-qüência em um sinal de conversão descendente 3D de domínio temporal, perda de dadosou distorção de dados, tal como serrilhado, podem ocorrer.

A fim de gerar um sinal multicanais e um sinal de conversão descendente 3D emum domínio de freqüência, informação espacial para cada banda de parâmetro pode sermapeada ao domínio de freqüência, e inúmeros coeficientes de filtro podem ser convertidosao domínio de freqüência.

A unidade de renderização 3D 710 pode gerar um sinal de conversão descendente3D pela multiplicação do sinal de conversão descendente do domínio de freqüência forneci-do pela primeira unidade de conversão de domínio 700, da informação espacial e dos coefi-cientes de filtro.

Um sinal de domínio temporal obtido pela multiplicação de um sinal de conversãodescendente, de informação espacial e da pluralidade de coeficientes de filtro que são todosrepresentados em um domínio de freqüência de ponto M tem M sinais válidos. A fim de re-presentar o sinal de conversão descendente, a informação espacial e o filtro no domínio defreqüência de ponto M, DFT de ponto M ou FFT de ponto M podem ser realizadas.

Sinais válidos são sinais que, necessariamente, não têm um valor de 0. Por exem-plo, um total de χ sinais válidos pode ser gerado pela obtenção de χ sinais de um sinal deáudio por meio de amostragem. Dos χ sinais válidos, y sinais válidos podem ser enchidoscom zero. Então, o número de sinais válidos é reduzido a (x-y). Posteriormente, um sinalcom a sinais válidos e um sinal com b sinais válidos são intricados, desse modo, obtendoum total de (a+b-1) sinais válidos.

A multiplicação do sinal de conversão descendente, da informação espacial e doscoeficientes de filtro no domínio de freqüência de ponto M pode fornecer o mesmo efeito deintricar o sinal de conversão descendente, a informação espacial e os coeficientes de filtrono domínio temporal. Um sinal com (3*M-2) sinais válidos pode ser gerado pela conversãodo sinal de conversão descendente, da informação espacial e dos coeficientes de filtro nodomínio de freqüência do ponto M em um domínio temporal e pelo intricamento dos resulta-dos da conversão.

Portanto, o número de sinais válidos de um sinal obtido pela multiplicação de umsinal de conversão descendente, da informação espacial e dos coeficientes de filtro em umdomínio de freqüência e pela conversão do resultado da multiplicação em um domínio tem-poral pode diferir do número de sinais válidos de um sinal obtido pelo intricamento do sinalde conversão descendente, da informação espacial e dos coeficientes de filtro no domíniotemporal. Em decorrência disto, pode ocorrer serrilhado durante a conversão de um sinal deconversão descendente 3D em um domínio de freqüência em um sinal de domínio temporal.

A fim de impedir serrilhado, a soma do número de sinais válidos de um sinal deconversão descendente em um domínio temporal, do número de sinais válidos da informa-ção espacial mapeada para um domínio de freqüência e do número de coeficientes de filtronão deve ser maior do que Μ. O número de sinais válidos da informação espacial mapeadapara um domínio de freqüência pode ser determinado pelo número de pontos do domínio defreqüência. Em outras palavras, se a informação espacial representada para cada bandaparâmetro for mapeada para um domínio de freqüência de ponto Ν, o número de sinais váli-dos da informação espacial pode ser N.

Em relação à figura 7, a primeira unidade de conversão de domínio 700 inclui umaprimeira unidade de enchimento de zeros 701 e uma primeira unidade de conversão de do-mínio de freqüência 702. A terceira unidade de renderização 710 inclui uma unidade de ma-peamento 711, uma unidade de conversão de domínio temporal 712, uma unidade de en-chimento de zeros 713, uma segunda unidade de conversão de domínio de freqüência 714,uma unidade de geração de sinal multicanais 715, uma terceira unidade de enchimento dezeros 716, uma terceira unidade de conversão de domínio de freqüência 717 e uma unidadede geração de sinal de conversão descendente 3D 718.

A primeira unidade de enchimento de zeros 701 realiza uma operação de enchi-mento de zeros em um sinal de conversão descendente com X amostras em um domíniotemporal para que o número de amostras do sinal de conversão descendente possa aumen-tar de X para Μ. A primeira unidade de conversão de domínio de freqüência 702 converte osinal de conversão descendente cheio de zeros em um sinal de domínio de freqüência deponto Μ. O sinal de conversão descendente cheio de zeros tem M amostras. Das M amos-tras do sinal de conversão descendente cheio de zeros, somente X amostras são sinais vá-lidos.

A unidade de mapeamento 711 mapeia informação espacial para cada banda deparâmetro a um domínio de freqüência de ponto Ν. A unidade de conversão de domíniotemporal 712 converte informação espacial obtida pelo mapeamento realizado pela unidadede mapeamento 711 a um domínio temporal. Informação espacial obtida pela conversãorealizada pela unidade de conversão de domínio temporal 712 tem N amostras.

A segunda unidade de enchimento de zeros 713 realiza uma operação de enchi-mento de zeros na informação espacial com N amostras no domínio temporal para que onúmero de amostras da informação espacial possa aumentar de N para Μ. A segunda uni-dade de conversão de domínio de freqüência 714 converte a informação espacial cheia dezeros em um sinal de domínio de freqüência de ponto Μ. A informação espacial cheia dezeros tem N amostras. Das N amostras da informação espacial cheia de zeros, somente Namostras são válidas.

A unidade de geração de sinal multicanais 715 gera um sinal multicanais pela mul-tiplicação do sinal de conversão descendente fornecido pela primeira unidade de conversãode domínio de freqüência 712 e informação espacial fornecida pela segunda unidade deconversão de domínio de freqüência 714. O sinal multicanais gerado pela unidade de gera-ção de sinal multicanais 715 tem M sinais válidos. Por outro lado, um sinal multicanais obti-do pelo intricamento, no domínio, do sinal de conversão descendente fornecido pela primei-ra unidade de conversão de domínio de freqüência 712 e da informação espacial fornecidapela segunda unidade de conversão de domínio de freqüência 714 tem (X+N-1) sinais váli-dos.

A terceira unidade de enchimento de zeros 716 pode realizar uma operação de en-chimento de zeros em Y coeficientes de filtro que são representados no domínio temporalpara que o número de amostras possa aumentar para Μ. A terceira unidade de conversãode domínio de freqüência 717 converte os coeficientes de filtro cheio de zeros para o domí-nio de freqüência de ponto M. Os coeficientes de filtro cheios de zeros têm M amostras. DasM amostras, somente Y amostras são sinais válidos.

A unidade de geração de sinal de conversão descendente 3D 718 gera um sinal deconversão descendente 3D pela multiplicação do sinal multicanais gerado pela unidade degeração de sinal multicanais 715 e de uma pluralidade de coeficientes de filtro fornecidapela terceira unidade de conversão de domínio de freqüência 717. O sinal de conversãodescendente 3D gerado pela unidade de geração de sinal de conversão descendente 3D718 tem M sinais válidos. Por outro lado, o sinal de conversão descendente 3D obtido pelointricamento, no domínio temporal, do sinal multicanais gerado pela unidade de geração desinal multicanais 715 e dos coeficientes de filtro fornecidos pela terceira unidade de conver-são de domínio de freqüência 717 tem (X+N+Y-2) sinais válidos.

É possível impedir serrilhado pelo ajuste do domínio de freqüência de ponto M usa-do pelas primeira, segunda e terceira unidades de conversão de domínio de freqüência 702,714 e 717 para satisfazer a seguinte equação: M >(X+N+Y-2). Em outras palavras, é possí-vel impedir serrilhado habilitando as primeira, segunda e terceira unidades de conversão dedomínio de freqüência 701, 714 e 717 a realizar DFT de ponto M ou FFT de ponto M quesatisfaz a seguinte equação: M >(X+N+Y-2).

A conversão para um domínio de freqüência pode ser realizada usando um bancode filtro diferente de um banco de filtro DFT, de um banco de filtro FFT e de um banco QMF.A geração de um sinal de conversão descendente 3D pode ser realizada usando um filtroHRTF.

O número de sinais válidos da informação espacial pode ser ajustado usando ummétodo diferente dos métodos supramencionados ou pode ser ajustado usando um dos mé-todos supramencionados que é mais eficiente e exige a menor quantidade de computação.

Serrilhado pode ocorrer não somente durante a conversão de um sinal, de um coe-ficiente ou informação espacial de um domínio de freqüência para um domínio temporal ομvice-versa, mas também durante a conversão de um sinal, de um coeficiente ou de informa-ção espacial de um domínio QMF para um domínio híbrido ou vice-versa. Os métodos su-pramencionados para impedir serrilhado também podem ser usados para impedir que serri-lhado ocorra durante a conversão de um sinal, de um coeficiente ou de informação espacialde um domínio QMF para a um domínio híbrido ou vice-versa.

Informação espacial usada para gerar um sinal multicanais ou um sinal de conver-são descendente 3D pode variar. Em decorrência da variação da informação espacial, po-dem ocorrer descontinuidades de sinal, como ruído em um sinal de saída.

Ruído em um sinal de saída pode ser reduzido usando um método de amaciamentopelo qual informação espacial pode ser impedida de variar rapidamente.

Por exemplo, quando primeira informação espacial aplicada em um primeiro quadrodiferir da segunda informação espacial aplicada em um segundo quadro quando o primeiroquadro e o segundo quadro forem adjacentes um em relação ao outro, é altamente provávelque uma descontinuidade ocorra entre os primeiro e segundo quadros.

Neste caso, a segunda informação espacial pode ser compensada para usar a pri-meira informação espacial ou a primeira informação espacial pode ser compensada parausar a segunda informação espacial para que a diferença entre a primeira informação espa-cial e a segunda informação espacial possa ser reduzida, e que o ruído ocasionado peladescontinuidade entre os primeiro e segundo quadros possa ser reduzido. Mais especifica-mente, pelo menos uma da primeira informação espacial e da segunda informação espacialpode ser substituída com a média da primeira informação espacial e da segunda informaçãoespacial, desse modo, reduzindo o ruído.

Também é altamente provável que o ruído seja gerado em função de uma descon-tinuidade entre um par de bandas de parâmetro adjacentes. Por exemplo, quando terceirainformação espacial correspondente a uma primeira banda de parâmetro diferir da quartainformação espacial correspondente a uma segunda banda de parâmetro quando as primei-ra e segunda bandas de parâmetro forem adjacente uma em relação à outra, é provável queuma descontinuidade ocorra entre as primeira e segunda bandas de parâmetro.

Neste caso, a terceira informação espacial pode ser compensada para usar a quar-ta informação espacial ou a quarta informação espacial pode ser compensada para usar aterceira informação espacial para que a diferença entre a terceira informação espacial e aquarta informação espacial possa ser reduzida, e que o ruído ocasionado pela descontinui-dade entre as primeira e segunda bandas de parâmetro possa ser reduzido. Mais especifi-camente, pelo menos uma da terceira informação espacial e da quarta informação espacialpode ser substituída com a média da terceira informação espacial e da quarta informaçãoespacial, desse modo, reduzindo o ruído.

Ruído ocasionado por uma descontinuidade entre um par de quadros adjacentes ouum par de bandas de parâmetro adjacentes pode ser reduzido usando métodos diferentesdos métodos supramencionados.

Mais especificamente, cada quadro pode ser multiplicado por uma janela, tal comouma janela Hanning, e um esquema "sobrepor e adicionar" pode ser aplicado aos resultadosda multiplicação para que as variações entre os quadros possam ser reduzidas. Alternati-vamente, um sinal emitido no qual uma pluralidade de partes de informação espacial sãoaplicadas pode ser amaciado para que variações entre uma pluralidade de quadros do sinalemitido possam ser impedidas.

A decorrelação entre canais em um domínio DFT que usa informação espacial, porexemplo, ICC, pode ser ajustada como segue.

O grau de decorrelação pode ser ajustado pela multiplicação de um coeficiente deuma entrada de sinal a uma caixa um por dois (OTT) ou dois por três (TTT) por um valorpré-determinado. O valor pré-determinado pode ser definido pela seguinte equação: (A+(1-A*A)^0,5*i), em que A indica um valor ICC aplicado a uma banda pré-determinada da caixaOTT ou TTT e i indica uma parte imaginária. A parte imaginária pode ser positiva ou negati-va.

O valor pré-determinado pode acompanhar um fator de ponderação de acordo comas características do sinal, por exemplo, o nível de energia do sinal, as características deenergia de cada freqüência do sinal ou o tipo de caixa na qual o valor ICC A é aplicado. Emdecorrência da introdução do fator de ponderação, o grau de decorrelação pode ser adicio-nalmente ajustado, e amaciamento e interpolação interquadros podem ser aplicados.

Da forma descrita anteriormente em relação à figura 7, um sinal de conversão des-cendente 3D pode ser gerado em um domínio de freqüência pelo uso de um HRTF ou deuma resposta de impulso relacionada ao cabeçalho (HRIR)1 que é convertida em um domí-nio de freqüência.

Alternativamente, um sinal de conversão descendente 3D pode ser gerado pelo in-tricamento de um HRIR e de um sinal de conversão descendente em um domínio temporal.Um sinal de conversão descendente 3D gerado em um domínio de freqüência pode ser dei-xado no domínio de freqüência sem ser sujeito à transformada de domínio invertida.

A fim de intricar um HRIR e um sinal de conversão descendente em um domíniotemporal, um filtro de resposta de impulso finito (FIR) ou um filtro de resposta de impulsoinfinito (IIR) podem ser usados.

Como descrito anteriormente, um aparelho de codificação ou um aparelho de deco-dificação de acordo com uma modalidade da presente invenção podem gerar um sinal deconversão descendente 3D usando um primeiro método que envolve o uso de um HRTF emum domínio de freqüência ou de um HRIR em um domínio temporal, ou a combinação dosprimeiro e segundo métodos.

As Figuras 8 até 11 ilustram fluxos contínuos de bits de acordo com modalidadesda presente invenção.

Em relação à figura 8, um fluxo contínuo de bits inclui um campo de informação dedecodificador multicanais que inclui informação necessária para gerar um sinal multicanais,um campo de informação de renderização 3D que inclui informação necessária para gerarum sinal de conversão descendente 3D e um campo de cabeçalho que inclui informação decabeçalho necessária para usar a informação incluída no campo de informação de decodifi-cação multicanais e a informação incluída no campo de informação de renderização 3D. Ofluxo contínuo de bits pode incluir somente um ou dois dos campos de informação de deco-dificação multicanais, do campo de informação de renderização 3D e do campo de cabeçaIho.

Em relação à figura 9, um fluxo contínuo de bits, que contém informação de ladonecessária para uma operação de decodificação, pode incluir um campo de cabeçalho deconfiguração específica, que inclui informação de cabeçalho de um sinal codificado comple-to e de uma pluralidade de campos de dados de quadro que inclui informação de lado con-siderando uma pluralidade de quadros. Mais especificamente, cada um dos campos de da-dos de quadro pode incluir um campo de cabeçalho de quadro que inclui informação de ca-beçalho de um quadro correspondente e um campo de dados de parâmetro de quadro queinclui informação espacial do quadro correspondente. Alternativamente, cada um dos cam-pos de dados de quadro pode incluir somente um campo de dados de parâmetro de quadro.

Cada um dos campos de dados de parâmetro de quadro pode incluir uma pluralida-de de módulos, cada módulo incluindo um identificador e dados de parâmetro. Os módulossão conjuntos de dados que incluem dados de parâmetro, tal como informação espacial eoutros dados, tais como ganho de conversão descendente e dados de amaciamento quesão necessários para melhorar a qualidade do som de um sinal.

Se os dados do módulo que consideram informação especificada pelos campos decabeçalho de quando forem recebidos sem nenhum identificador adicional, se a informaçãoespecificada pelos campos de cabeçalho de quadro for adicionalmente classificada, ou seum identificador e dados adicionais forem recebidos em conjunto com informação não espe-cificada pelo cabeçalho de quadro, dados do módulo podem não incluir nenhum identificador.

Informação de lado considerando um sinal de conversão descendente 3D, por e-xemplo, informação de coeficiente HRTF, pode ser incluída em pelo menos um dos campode cabeçalho de configuração específica, dos campos de cabeçalho de quadro e dos cam-pos de dados de parâmetro de quadro.

Em relação à figura 10, um fluxo contínuo de bits pode incluir uma pluralidade decampos de informação de decodificação multicanais que inclui informação necessário paragerar sinais multicanais e uma pluralidade de campos de informação de renderização 3Dque inclui informação necessária para gerar sinais convertidos de forma descendente 3D.

Durante a recepção do fluxo contínuo de bits, um aparelho de decodificação podeusar tanto os campos de informação de decodificação multicanais quanto o campo de infor-mação de renderização 3D para realizar uma operação de decodificação e ignorar todos oscampos de informação de decodificação multicanais e campos de informação de renderiza-ção 3D que não são usados na operação de decodificação. Neste caso, pode ser determi-nado qual dos campos de informação de decodificação multicanais e dos campos de infor-mação de renderização 3D devem ser usados para realizar uma operação de decodificaçãode acordo com os tipos de sinais a ser reproduzidos.

Em outras palavras, a fim de gerar sinais multicanais, um aparelho de decodificaçãopode ignorar os campos de informação de renderização 3D, e ler informação incluída noscampos de informação de decodificação multicanais. Por outro lado, a fim de gerar sinaisconvertidos de forma descendente 3D, um aparelho de decodificação pode ignorar os cam-pos de informação de decodificação multicanais, e ler informação incluída nos campos deinformação de renderização 3D.

Métodos para ignorar alguns da pluralidade de campos em um fluxo contínuo debits são como segue.

Primeiro, informação de comprimento de campo, que considera o tamanho em bitsde um campo, pode ser incluída em um fluxo contínuo de bits. Neste caso, o campo podeser ignorado ignorando inúmeros bis correspondentes ao tamanho em bits do campo. A in-formação de comprimento de campo pode ser disposta no início do campo.

Segundo, um termo de sincronia pode ser disposto no fim ou no início de um cam-po. Neste caso, o campo pode ser ignorado localizando o campo com base no local do ter-mo de sincronia.

Terceiro, se o comprimento de um campo for determinado em antecipação e for fi-xo, o campo pode ser ignorado ignorando uma quantidade de dados correspondente aocomprimento do campo. Informação de comprimento de campo fixo que considera o com-primento do campo pode ser incluída em um fluxo contínuo de bits ou pode ser armazenadaem um aparelho de decodificação.

Quarto, um de uma pluralidade de campos pode ser ignorado usando a combinaçãode dois ou mais dos métodos para ignorar campo supramencionados.

Informação de ignoração de campo, que é informação necessária para ignorar umcampo, tais como a informação de comprimento de campo, termos de sincronia, ou informa-ção de comprimento de campo fixa pode ser incluída em um do campo de cabeçalho deconfiguração específica, dos campos de cabeçalho de quadro e dos campos de dados deparâmetro de quadro ilustrados na figura 9, ou pode ser incluída em um campo diferentedaquele ilustrado na figura 9.

Por exemplo, a fim de gerar sinais multicanais, um aparelho de decodificação podeignorar os campos de informação de renderização em relação à informação de comprimentode campo, a um termo de sincronia, ou a uma informação de comprimento de campo fixadisposta no início de cada um dos campos de informação de renderização 3D, e ler informa-ção incluída nos campos de informação de decodificação multicanais.

Por outro lado, a fim de gerar sinais convertidos de forma descendente 3D, um apa-relho de decodificação pode ignorar os campos de informação de decodificação multicanaisem relação à informação de comprimento de campo, a um termo de sincronia ou à informa-ção de comprimento de campo fixa disposta no início de cada um dos campos de informa-ção de decodificação multicanais, e ler informação incluída nos campos de informação derenderização 3D.

Um fluxo contínuo de bits pode incluir informação que indica se dados incluídos nofluxo contínuo de bits são necessários para gerar sinais multicanais ou para gerar sinaisconvertidos de forma descendente 3D.

Entretanto, mesmo se um fluxo contínuo de bits não incluir nenhuma informaçãoespacial, tal como CLD1 mas incluir somente dados (por exemplo, coeficientes de filtroHRTF) necessários para gerar um sinal de conversão descendente 3D, um sinal multicanaispode ser reproduzido por meio da decodificação usando os dados necessários para gerarum sinal de conversão descendente 3D sem uma exigência de informação espacial.

Por exemplo, um parâmetro estéreo, que é informação espacial que considera doiscanais, é obtido de um sinal de conversão descendente. Então, o parâmetro estéreo é con-vertido em informação espacial que considera uma pluralidade de canais a ser reproduzidos,e um sinal multicanais é gerado pela aplicação da informação espacial obtida pela conver-são em sinal de conversão descendente.

Por outro lado, mesmo se um fluxo contínuo de bits incluir somente dados necessá-rios para gerar um sinal multicanais, um sinal de conversão descendente pode ser reprodu-zido sem uma exigência de uma operação de decodificação adicional ou um sinal de con-versão descendente 3D pode ser reproduzido pela realização de um processamento 3D nosinal de conversão descendente usando um filtro HRTF adicional.

Se um fluxo contínuo de bits incluir tanto dados necessários para gerar um sinalmulticanais quanto dados necessários para gerar um sinal de conversão descendente 3D,pode-se permitir que um usuário decida se reproduz um sinal multicanais ou um sinal deconversão descendente 3D.

A seguir, métodos para ignorar dados serão descritos com detalhes em relação àsrespectivas sintaxes correspondentes.

A sintaxe 1 indica um método para decodificar um sinal de áudio em unidades dequadro.

<table>table see original document page 23</column></row><table><table>table see original document page 24</column></row><table>

Na sintaxe 1, Ottdata() e TttData() são módulos que representam parâmetros (talcomo informação espacial que inclui um CLD1 ICC e CPC) necessários para restaurar umsinal multicanais de um sinal de conversão descendente, e SmgData(), TempShapeData(),ArbitraryDownmixDataO e ResiduaIDataO são módulos que representam informação neces-sária para melhorar a qualidade do som pela correção de distorções de sinal que podem terocorrido durante uma operação de codificação.

Por exemplo, se um parâmetro tais como CLD1 ICC ou CPC e informação incluídano módulo ArbitraryDownmixDataO forem usados somente durante uma operação de deco-dificação, os módulos SmgDataO e TempShapeDataO, que são dispostos entre os módulosTttData() e ArbitraryDownmixDataO, podem ser desnecessários. Assim, é eficiente ignoraros módulos SmgDataO e TempShapeDataO.

A seguir, um método para ignorar módulos de acordo com uma modalidade da pre-sente invenção será descrito com detalhes em relação à seguinte Sintaxe 2.

[Sintaxe 2]

<table>table see original document page 24</column></row><table>

Em relação à Sintaxe 2, um módulo SkipDataO pode ser disposto na frente de ummódulo a ser ignorado, e o tamanho em bits do módulo a ser ignorado é especificado nomódulo SkipData() como bsSkipBits.

Em outras palavras, considerando que os módulos SmgData() e TempShapeData()devem ser ignorados, e que o tamanho em bits dos módulos SmgData () e TempShapeDa-ta() combinados é 150, os módulos SmgData() e TempShapeData() podem ser ignoradospelo ajuste de bsSkipBits em 150.

A seguir, um método para ignorar módulos de acordo com uma outra modalidadeda presente invenção será descrito com detalhes em relação à Sintaxe 3.

<table>table see original document page 25</column></row><table>

Mais especificamente, se o indicador bsSkipSyncFlag for ajustado de maneira talque um termo de sincronia possa ser usado, um ou mais módulos entre o indicador bsS-kipSyncflag e o termo de sincronia bsSkipSyncword, isto é, módulos SmgData() e Temp-ShapeData() podem ser ignorados.

Em relação à figura 11, um fluxo contínuo de bits pode incluir um campo de cabeça-Iho multicanais que inclui informação de cabeçalho necessária para reproduzir um sinal mul-ticanais, um campo de cabeçalho de renderização que inclui informação de cabeçalho ne-cessária para reproduzir um sinal de conversão descendente 3D, e uma pluralidade decampos de informação de decodificação multicanais, que inclui dados necessários para re-produzir um sinal multicanais.

A fim de reproduzir um sinal multicanais, um aparelho de decodificação pode igno-rar o campo de cabeçalho de renderização 3D, e ler dados do campo de cabeçalho multica-nais e dos campos de informação de decodificação multicanais.

Um método para ignorar um campo de cabeçalho de renderização 3D é o mesmodos métodos para ignorar campos supradescritos em relação à figura 10 e, assim, uma des-crição detalhada deste será ignorada.

A fim de reproduzir um sinal de conversão descendente 3D, um aparelho de decodi-ficação pode ler dados dos campos de informação de decodificação multicanais e do campode cabeçalho de renderização 3D. Por exemplo, um aparelho de decodificação pode gerarum sinal de conversão descendente 3D usando um sinal de conversão descendente incluídono campo de informação de decodificação multicanais e informação de coeficiente HRTFincluída no sinal de conversão descendente 3D.

A Figura 12 é um diagrama de blocos de um aparelho de codificação / decodifica-ção para processar um sinal de conversão descendente arbitrário de acordo com uma mo-dalidade da presente invenção. Em relação à figura 12, um sinal de conversão descendentearbitrário é um sinal de conversão descendente diferente do sinal de conversão descenden-te gerado por um codificador multicanais 801 incluído em um aparelho de codificação 800.Descrições detalhadas dos mesmos processos da modalidade da figura 1 serão omitidas.

Em relação à figura 12, o aparelho de codificação 800 inclui o codificador multica-nais 801, uma unidade de sintetização de informação espacial 802 e uma unidade de com-paração 803.

O codificador multicanais 801 faz conversão descendente de um sinal multicanaisde entrada em um sinal de conversão descendente estéreo ou mono, e gera informaçãoespacial básica necessária para restaurar um sinal multicanais do sinal de conversão des-cendente.

A unidade de comparação 803 compara o sinal de conversão descendente com umsinal de conversão descendente arbitrário e gera informação de compensação com base noresultado da comparação. A informação de compensação é necessária para compensar osinal de dados modulado arbitrário para que o sinal de conversão descendente arbitráriopossa ser convertido para ser aproximado do sinal de conversão descendente. Um aparelhode decodificação pode compensar o sinal de conversão descendente arbitrário usando ainformação de compensação e restaurar um sinal multicanais usando o sinal de conversãodescendente arbitrário compensado. O sinal multicanais restaurado é mais similar do queum sinal multicanais restaurado do sinal de conversão descendente arbitrário gerado pelocodificador multicanais 801 em relação ao sinal de conversão descendente de entrada origi-nal.

A informação de compensação pode ser uma diferença entre o sinal de conversãodescendente e o sinal de conversão descendente arbitrário. Um aparelho de decodificaçãopode compensar o sinal de conversão descendente arbitrário pela adição, no sinal de con-versão descendente arbitrário, da diferença entre o sinal de conversão descendente e o si-nal de conversão descendente arbitrário.A diferença entre o sinal de conversão descendente e o sinal de conversão des-cendente arbitrário pode ser ganho de conversão descendente que indica a diferença entreos níveis de energia do sinal de conversão descendente e do sinal de conversão descen-dente arbitrário.

O ganho de conversão descendente pode ser determinado para cada banda de fre-qüência, para cada tempo / intervalo de tempo e/ou para cada canal. Por exemplo, uma par-te do ganho de conversão descendente pode ser determinada para cada banda de freqüên-cia, e uma outra parte do ganho de conversão descendente pode ser determinada para cadaintervalo de tempo.

O ganho de conversão descendente pode ser determinado para cada banda de pa-râmetro ou para cada banda de freqüência otimizada para o sinal de conversão descenden-te arbitrário. Bandas de parâmetro são intervalos de freqüência nos quais informação espa-cial tipo parâmetro é aplicada.

A diferença entre os níveis de energia do sinal de conversão descendente e do si-nal de conversão descendente arbitrário pode ser quantizada. A resolução dos níveis dequantização para quantizar a diferença entre os níveis de energia do sinal de conversãodescendente e do sinal de conversão descendente arbitrário pode ser a mesma resoluçãodos níveis de quantização para quantizar um CLD entre o sinal de conversão descendente eo sinal de conversão descendente arbitrário ou diferente dela. Além do mais, a quantizaçãoda diferença entre os níveis de energia do sinal de conversão descendente e do sinal deconversão descendente arbitrário pode envolver o uso de todos ou de parte dos níveis dequantização para quantizar o CLD entre o sinal de conversão descendente e o sinal de con-versão descendente arbitrário.

Uma vez que a resolução da diferença entre os níveis de energia do sinal de con-versão descendente e do sinal de conversão descendente arbitrário é, no geral, menor doque a resolução do CLD entre o sinal de conversão descendente e o sinal de conversãodescendente arbitrário, a resolução dos níveis de quantização para quantizar a diferençaentre os níveis de energia do sinal de conversão descendente e do sinal de conversão des-cendente arbitrário pode ter um valor diminuto comparado com a resolução dos níveis dequantização para quantizar o CLD entre o sinal de conversão descendente e o sinal de con-versão descendente arbitrário.

A informação de compensação para compensar o sinal de conversão descendentearbitrário pode ser informação de extensão que inclui informação residual que especificacomponentes do sinal multicanais de entrada que não podem ser restaurados usando o si-nal de conversão descendente arbitrário ou o ganho de conversão descendente. Um apare-lho de decodificação pode restaurar componentes do sinal multicanais de entrada que nãopodem ser restaurados usando o sinal de conversão descendente arbitrário ou o ganho deconversão descendente usando informação de extensão, desse modo, restaurando um sinalquase indistinguível do sinal multicanais de entrada original.

Métodos para gerar a informação de extensão são como segue.

O codificador multicanais 801 pode gerar informação que considera os componen-tes do sinal multicanais de entrada que são desprovidos pelo sinal de conversão descenden-te como primeira informação de extensão. Um aparelho de codificação pode restaurar umsinal quase indistinguível do sinal multicanais de entrada original pela aplicação da informa-ção de extensão na geração de um sinal multicanais usando o sinal de conversão descen-dente e a informação espacial básica.

Alternativamente, o codificador multicanais 801 pode restaurar um sinal multicanaisusando o sinal de conversão descendente e a informação espacial básica, e pode gerar adiferença entre o sinal multicanais restaurado e o sinal multicanais de entrada original comoa primeira informação de extensão.

A unidade de comparação 803 pode gerar, como segunda informação de extensão,informação que considera componentes do sinal de conversão descendente que são des-providos pelo sinal de conversão descendente arbitrário, isto é, componentes do sinal deconversão descendente que não podem ser compensados usando o ganho de conversãodescendente. Um aparelho de decodificação pode restaurar um sinal quase indistinguível dosinal de conversão descendente usando o sinal de conversão descendente arbitrário e asegunda informação de extensão.

A informação de extensão pode ser gerada usando vários métodos de codificaçãoresidual diferentes do método supradescrito.

Tanto o ganho de conversão descendente quanto a informação de extensão podemser usados como informação de compensação. Mais especificamente tanto o ganho de con-versão descendente quanto a informação de extensão podem ser obtidos para a íntegra deuma banda de freqüência do sinal de conversão descendente e podem ser usadas junta-mente como informação de compensação. Alternativamente, o ganho de conversão descen-dente pode ser usado como informação de compensação para uma parte da banda de fre-qüência do sinal de conversão descendente, e a informação de extensão pode ser usadacomo informação de compensação para uma outra parte da banda de freqüência do sinal deconversão descendente. Por exemplo, a informação de extensão pode ser usada como in-formação de compensação para uma banda de baixa freqüência do sinal de conversão des-cendente, e o ganho de conversão descendente pode ser usado como informação de com-pensação para uma banda de alta freqüência do sinal de conversão descendente.

Informação de extensão que considera partes do sinal de conversão descendentediferentes da banda de baixa freqüência do sinal de conversão descendente, tal como picosou fendas que podem afetar consideravelmente a qualidade do som, também pode ser usa-da como informação de compensação.

A unidade de sintetização de informação espacial 802 sintetiza a informação espa-cial básica (por exemplo, um CLD1 CPC, ICC e CTD) e a informação de compensação, ge-rando assim informação espacial. Em outras palavras, a informação espacial, que é transmi-tida para um aparelho de decodificação, pode incluir a informação espacial básica, o ganhode conversão descendente e as primeira e segunda informações de extensão.

A informação espacial pode ser incluída em um fluxo contínuo de bits juntamentecom o sinal de conversão descendente arbitrário, e o fluxo contínuo de bits pode ser trans-mitido a um aparelho de decodificação.

A informação de extensão e o sinal de conversão descendente arbitrário podem sercodificados usando um método de codificação de áudio, tais como um método AAC, um mé-todo MP3 ou um método BSAC. A informação de extensão e o sinal de conversão descen-dente arbitrário podem ser codificados usando o mesmo método de codificação de áudio oudiferentes métodos de codificação de áudio.

Se a informação de extensão e o sinal de conversão descendente arbitrário foremcodificados usando o mesmo método de codificação de áudio, um aparelho de decodifica-ção pode decodificar tanto a informação de extensão quanto o sinal de conversão descen-dente arbitrário usando um único método de decodificação de áudio. Neste caso, uma vezque o sinal de conversão descendente arbitrário sempre pode ser decodificado, a informa-ção de extensão também sempre pode ser codificada. Entretanto, uma vez que, no geral, osinal de conversão descendente arbitrário é inserido em um aparelho de decodificação comoum sinal de modulação por código de pulsos (PCM), o tipo de codec de áudio usado paracodificar o sinal de conversão descendente arbitrário pode não ser prontamente identificadoe, assim, o tipo de codec de áudio usado para codificar a informação de extensão tambémpode não ser prontamente identificada.

Portanto, a informação do codec de áudio que considera o tipo de codec de áudiousado para codificar o sinal de conversão descendente arbitrário e a informação de exten-são pode ser inserida em um fluxo contínuo de bits.

Mais especificamente, a informação do codec de áudio pode ser inserida em umcampo de cabeçalho de configuração específica de um fluxo contínuo de bits. Neste caso,um aparelho de decodificação pode extrair a informação do codec de áudio do campo decabeçalho de configuração específica do fluxo contínuo de bits e usar a informação do co-dec de áudio extraída para decodificar o sinal de conversão descendente arbitrário e a in-formação de extensão.

Por outro lado, se o sinal de conversão descendente arbitrário e a informação deextensão forem codificados usando diferentes métodos de codificação de áudio, a informa-ção de extensão pode não ser capaz de ser decodificada. Neste caso, uma vez que o fim dainformação de extensão não pode ser identificado, nenhuma operação de decodificaçãoadicional pode ser realizada.

A fim de abordar este problema, informação de codec de áudio que considera os ti-pos de codecs de áudio respectivamente usados para codificar o sinal de conversão des-cendente arbitrário e a informação de extensão pode ser inserida em um campo de cabeça-Iho de configuração específica de um fluxo contínuo de bits. Então, um aparelho de decodifi-cação pode ler a informação do codec de áudio do campo de cabeçalho de configuraçãoespecífica do fluxo contínuo de bits e usar a informação lida para decodificar a informaçãode extensão. Se o aparelho de decodificação não incluir nenhuma unidade de decodificaçãoque pode decodificar a informação de extensão, a decodificação da informação de extensãopode não prosseguir adicionalmente, e informação próxima da informação de extensão podeser lida.

Informação de codec de áudio considerando o tipo de codec de áudio usado paracodificar a informação de extensão pode ser representada por um elemento de sintaxe inclu-ido em um campo de cabeçalho de configuração específica de um fluxo contínuo de bits.Por exemplo, a informação do codec de áudio pode ser representada por bsResidualCo-decType, que é um elemento de sintaxe de 4 bits, como indicado na Tabela 1, a seguir.

Tabela 1

<table>table see original document page 30</column></row><table>

A informação de extensão pode incluir não somente a informação residual, mastambém informação de expansão de canal. A informação de expansão de canal é informa-ção necessária para expandir um sinal multicanais obtido por meio da decodificação que usaa informação espacial em um sinal multicanais com mais canais. Por exemplo, a informaçãode expansão de cala pode ser informação necessária para expandir um sinal de canal 5.1ou um sinal de canal 7.1 em um sinal de canal 9.1.

A informação de extensão pode ser incluída em um fluxo contínuo de bits, e o fluxocontínuo de bits pode ser transmitido a um aparelho de decodificação. Então, o aparelho dedecodificação pode compensar o sinal de conversão descendente ou expandir um sinal mul-ticanais usando a informação de extensão. Entretanto, o aparelho de decodificação podeignorar a informação de extensão, em vez de extrair a informação de extensão do fluxo con-tínuo de bits. Por exemplo, no caso da geração de um sinal multicanais usando um sinal deconversão descendente 3D incluído no fluxo contínuo de bits ou da geração de um sinal deconversão descendente 3D usando um sinal de conversão descendente incluído no fluxocontínuo de bits, o aparelho de decodificação pode ignorar a informação de extensão.

Um método para ignorar a informação de extensão incluída em um fluxo contínuode bits pode ser a mesmo de um dos métodos para ignorar campo supradescrítos em rela-ção à figura 10.

Por exemplo, a informação de extensão pode ser ignorada usando pelo menos umada informação de tamanho de bit, que é anexada no início de um fluxo contínuo de bits queinclui a informação de extensão e indica o tamanho em bits da informação de extensão, deum termo de sincronia, que é anexado no início ou no fim do campo que inclui a informaçãode extensão, e de informação de tamanho de bit fixo, que indica um tamanho fixo em bits dainformação de extensão. A informação de tamanho de bit, o termo de sincronia e a informa-ção de tamanho de bit fixo podem todas ser incluídas em um fluxo contínuo de bits. A infor-mação de tamanho de bit fixo também pode ser armazenada em um aparelho de decodificação.

Em relação à figura 12, uma unidade de decodificação 810 inclui uma unidade decompensação de conversão descendente 811, uma unidade de renderização 3D 815 e umdecodificador multicanais 816.

A unidade de compensação de conversão descendente 811 compensa um sinal deconversão descendente arbitrário usando informação de compensação incluída na informa-ção espacial, por exemplo, usando ganho de conversão descendente ou informação de ex-tensão.

A unidade de renderização 3D 815 gera um sinal de conversão descendente 3D dodecodificador pela realização de uma operação de renderização 3D no sinal de conversãodescendente compensado. O decodificador multicanais 816 gera um sinal multicanais 3Dusando o sinal de conversão descendente compensado e informação espacial básica, que éincluída na informação espacial.

A unidade de compensação de conversão descendente 811 pode compensar o si-nal de conversão descendente arbitrário da seguinte maneira.

Se a informação de compensação for ganho de conversão descendente, a unidadede compensação de conversão descendente 811 compensa o nível de energia do sinal deconversão descendente arbitrário usando o sinal de conversão descendente para que o si-nal de conversão descendente arbitrário possa ser convertido em um sinal similar a um sinalde conversão descendente.

Se a informação de compensação for segunda informação de extensão, a unidadede compensação de conversão descendente 811 pode compensar componentes que sãodesprovidos pelo sinal de conversão descendente arbitrário usando a segunda informaçãode extensão.

O decodificador multicanais 816 pode gerar um sinal multicanais pela aplicação se-qüencial da pré-matriz M1, da mix-matriz M2 e da pós-matriz M3 em um sinal de conversãodescendente. Neste caso, a segunda informação de extensão pode ser usada para com-pensar o sinal de conversão descendente arbitrário durante a aplicação da mix-matriz M2 nosinal de conversão descendente. Em outras palavras, a segunda informação de extensãopode ser usada pra compensar um sinal de conversão descendente no qual a pré-matriz M1já foi aplicada.

Como exposto, cada um de uma pluralidade de canais pode ser seletivamentecompensado pela aplicação da informação de extensão na geração de um sinal multicanais.Por exemplo, se a informação de extensão for aplicada em um canal central da mix-matrizM2, componentes de canal esquerdo e direito do sinal de conversão descendente podemser compensados pela informação de extensão. Se a informação de extensão for aplicadaem um canal esquerdo da mix-matriz M2, o componente de canal esquerdo do sinal de con-versão descendente pode ser compensado pela informação de extensão.

Tanto o ganho de conversão descendente quanto a informação de extensão podemser usados como a informação de compensação. Por exemplo, uma banda de baixa fre-qüência do sinal de conversão descendente arbitrário pode ser compensada usando a in-formação de extensão, e uma banda de alta freqüência do sinal de conversão descendentearbitrário pode ser compensada usando o ganho de conversão descendente. Além do mais,partes do sinal de conversão descendente arbitrário diferentes da banda de baixa freqüênciado sinal de conversão descendente arbitrário, por exemplo, picos ou fendas que podem afe-tar consideravelmente a qualidade do som, também podem ser compensados usando a in-formação de extensão. Informação que considera parte a ser compensada pela informaçãode extensão pode ser incluída em um fluxo contínuo de bits. Informação que indica se umsinal de conversão descendente incluído em um fluxo contínuo de bits é um sinal de conver-são descendente arbitrário ou não e informação que indica se o fluxo contínuo de bits incluiinformação de compensação pode ser incluída no fluxo contínuo de bits.

A fim de impedir corte de um sinal de conversão descendente gerado pela unidadede codificação 800, o sinal de conversão descendente pode ser dividido pelo ganho pre-determinado. O ganho pré-determinado pode ter um valor estático ou um valor dinâmico.

A unidade de compensação de conversão descendente 811 pode restaurar o sinalde conversão descendente original pela compensação do sinal de conversão descendente,que é enfraquecido a fim de impedir corte, usando o ganho pré-determinado.

Um sinal de conversão descendente arbitrário compensado pela unidade de com-pensação de conversão descendente 811 pode ser prontamente reproduzido. Alternativa-mente, um sinal de conversão descendente arbitrário ainda a ser compensado pode ser in-serido na unidade de renderização 3D 815 e pode ser convertido em um sinal de conversãodescendente 3D do decodificador pela unidade de renderização 3D 815.Em relação à figura 12, a unidade de compensação de conversão descendente 811inclui um primeiro conversor de domínio 812, um processador de compensação 813 e umsegundo conversor de domínio 814.

O primeiro conversor de domínio 812 converte o domínio de um sinal de conversãodescendente arbitrário em um domínio pré-determinado. O processador de compensação813 compensa o sinal de conversão descendente arbitrário no domínio pré-determinadousando informação de compensação, por exemplo, ganho de conversão descendente ouinformação de extensão.

A compensação do sinal de conversão descendente arbitrário pode ser realizadaem um domínio QMF / híbrido. Para isto, o primeiro conversor de domínio 812 pode realizaranálise QMF / híbrida no sinal de conversão descendente arbitrário. O primeiro conversor dedomínio 812 pode converter o domínio do sinal de conversão descendente arbitrário em umdomínio diferente de um domínio QMF / híbrido, por exemplo, um domínio de freqüência taiscomo um domínio DFT ou FFT. A compensação do sinal de conversão descendente arbitrá-rio também pode ser realizada em um domínio diferente de um domínio QMF / híbrido, porexemplo, um domínio de freqüência ou um domínio temporal.

O segundo conversor de domínio 814 converte o domínio do sinal de conversãodescendente arbitrário compensado no mesmo domínio do sinal de conversão descendentearbitrário original. Mais especificamente, o segundo conversor de domínio 814 converte odomínio do sinal de conversão descendente arbitrário compensado no mesmo domínio dosinal de conversão descendente arbitrário original pela realização inversa de uma operaçãode conversão de domínio realizada pelo primeiro conversor de domínio 812.

Por exemplo, o segundo conversor de domínio 814 pode converter o sinal de con-versão descendente arbitrário compensado em um sinal de domínio temporal pela realiza-ção de síntese QMF / híbrida no sinal de conversão descendente arbitrário compensado.Também, o segundo conversor de domínio 814 pode realizar IDFT ou IFFT no sinal de con-versão descendente arbitrário compensado.

A unidade de renderização 3D 815, como a unidade de renderização 3D 710 ilus-trada na figura 7, pode realizar uma operação de renderização 3D no sinal de conversãodescendente arbitrário compensado em um domínio de freqüência, em um domínio QMF /híbrido ou em um domínio temporal. Para isto, a unidade de renderização 3D 815 pode in-cluir um conversor de domínio (não mostrado). O conversor de domínio converte o domíniodo sinal de conversão descendente arbitrário compensado em um domínio no qual uma ope-ração de renderização 3D deve ser realizada, ou converte o domínio de um sinal obtido pelaoperação de renderização 3D.

O domínio no qual o processador de compensação 813 compensa o sinal de con-versão descendente arbitrário pode ser o mesmo ou diferente do domínio no qual a unidadede renderização 3D 815 realiza uma operação de renderização 3D no sinal de conversãodescendente arbitrário.

A Figura 13 é um diagrama de blocos de uma unidade de compensação de conver-são descendente / renderização 3D 820 de acordo com uma modalidade da presente inven-ção. Em relação à figura 13, a unidade de compensação de conversão descendente / rende-rização 3D 820 inclui um primeiro conversor de domínio 821, um segundo conversor de do-mínio 822, um processador de compensação / renderização 3D 823 e um terceiro conversorde domínio 824.

A unidade de compensação de conversão descendente / renderização 3D 820 poderealizar tanto uma operação de compensação quanto uma operação de renderização 3D emum sinal de conversão descendente arbitrário em um único domínio, desse modo, reduzindoa quantidade de computação de um aparelho de decodificação.

Mais especificamente, o primeiro conversor de domínio 821 converte o domínio dosinal de conversão descendente arbitrário em um primeiro domínio no qual uma operaçãode compensação e uma operação de renderização 3D devem ser realizadas. O segundoconversor de domínio 822 converte informação espacial, incluindo informação espacial bási-ca necessária para gerar um sinal multicanais e informação de compensação necessáriapara compensar o sinal de conversão descendente arbitrário para que a informação espacialpossa se tornar aplicável no primeiro domínio. A informação de compensação pode incluirpelo menos um do ganho de conversão descendente e da informação de extensão.

Por exemplo, o segundo conversor de domínio 822 pode mapear informação decompensação correspondente a uma banda de parâmetro em um domínio QMF / híbrido atéuma banda de freqüência para que a informação de compensação possa ficar prontamenteaplicável em um domínio de freqüência.

O primeiro domínio pode ser um domínio de freqüência, tais como um domínio DFTou FFT, um domínio QMF / híbrido ou um domínio temporal. Alternativamente, o primeirodomínio pode ser um domínio diferente daqueles aqui apresentados.

Durante a conversão da informação de compensação, pode ocorrer um atraso detempo. A fim de abordar este problema, o segundo conversor de domínio 822 pode realizaruma operação de compensação de atraso de tempo para que um atraso de tempo entre odomínio da informação de compensação e o primeiro domínio possa ser compensado.

O processador de compensação / renderização 3D 823 realiza uma operação decompensação no sinal de conversão descendente arbitrário no primeiro domínio usando ainformação espacial invertida e, então, realiza uma operação de renderização 3D em umsinal obtido pela operação de compensação. O processador de compensação / renderização3D 823 pode realizar uma operação de compensação e uma operação de renderização 3Dem uma ordem diferente daquela aqui apresentada.O processador de compensação / renderização 3D 823 pode realizar uma operaçãode compensação e uma operação de renderização 3D no sinal de conversão descendentearbitrário ao mesmo tempo. Por exemplo, o processador de compensação / renderização 3D823 pode gerar um sinal de conversão descendente 3D compensado pela realização deuma operação de renderização 3D no sinal de conversão descendente arbitrário no primeirodomínio usando um coeficiente de filtro inédito, que é a combinação da informação de com-pensação e de um coeficiente de filtro existente usado, tipicamente, em uma operação derenderização 3D.

O terceiro conversor de domínio 824 converte o domínio do sinal de conversãodescendente 3D gerado pelo processador de compensação / renderização 3D 823 em umdomínio de freqüência.

A Figura 14 é um diagrama de blocos de um aparelho de decodificação 900 paraprocessar um sinal de conversão descendente compatível de acordo com uma modalidadeda presente invenção. Em relação à figura 14, o aparelho de decodificação 900 inclui umprimeiro decodificador multicanais 910, uma unidade de processamento de compatibilidadede conversão descendente 920, um segundo decodificador multicanais 930 e uma unidadede renderização 3D 940. Descrições detalhadas dos mesmos processos de decodificaçãoda modalidade da figura 1 serão omitidas.

Um sinal de conversão descendente compatível é um sinal de conversão descen-dente que pode ser codificado por dois ou mais decodificadores multicanais. Em outras pa-lavras, um sinal de conversão descendente compatível é um sinal de conversão descenden-te que é inicialmente otimizado para um decodificador multicanais pré-determinado e quepode ser convertido posteriormente em um sinal otimizado para um decodificador multica-nais diferente do decodificador multicanais pré-determinado por meio de uma operação deprocessamento de compatibilidade.

Em relação à figura 14, considere que um sinal de conversão descendente compa-tível de entrada é otimizado para o primeiro decodificador multicanais 910. A fim de que osegundo decodificador multicanais 930 decodifique o sinal de conversão descendente com-patível de entrada, a unidade de processamento de compatibilidade de conversão descen-dente 920 pode realizar uma operação de processamento de compatibilidade no sinal deconversão descendente compatível de entrada para que o sinal de conversão descendentecompatível de entrada possa ser convertido em um sinal otimizado para o segundo decodifi-cador multicanais 930. O primeiro decodificador multicanais 910 gera um primeiro sinal mul-ticanais pela decodificação do sinal de conversão descendente compatível de entrada. Oprimeiro decodificador multicanais 910 pode gerar um sinal multicanais por meio da decodi-ficação usando simplesmente o sinal de conversão descendente compatível de entrada semuma exigência de informação espacial.O segundo decodificador multicanais 930 gera um segundo sinal multicanais usan-do um sinal de conversão descendente obtido pela operação de processamento de compa-tibilidade realizada pela unidade de processamento de compatibilidade de conversão des-cendente 920. A unidade de renderização 3D 940 pode gerar um sinal de conversão des-cendente 3D do decodificador pela realização de uma operação de renderização 3D no sinalde conversão descendente obtido pela operação de processamento de compatibilidade rea-lizada pela unidade de processamento de compatibilidade de conversão descendente 920.

Um sinal de conversão descendente compatível otimizado para um decodificadormulticanais pré-determinado pode ser convertido em um sinal de conversão descendenteotimizado para um decodificador multicanais diferente do decodificador multicanais pré-determinado usando informação de compatibilidade, tal como uma matriz de inversão. Porexemplo, quando há primeiro e segundo decodificadores multicanais usando diferentes mé-todos de codificação / decodificação, um aparelho de codificação pode aplicar uma matrizem um sinal de conversão descendente gerado pelo primeiro codificador multicanais, geran-do assim um sinal de conversão descendente compatível que é otimizado para o segundodecodificador multicanais. Então, um aparelho de decodificação pode aplicar uma matriz deinversão no sinal de conversão descendente compatível gerado pelo aparelho de codifica-ção, gerando assim um sinal de conversão descendente compatível que é otimizado para oprimeiro decodificador multicanais.

Em relação à figura 14, a unidade de processamento de compatibilidade de conver-são descendente 920 pode realizar uma operação de processamento de compatibilidade nosinal de conversão descendente compatível de entrada usando uma matriz de inversão, ge-rando assim um sinal de conversão descendente que é otimizado para o segundo decodifi-cador multicanais 930.

Informação considerando a matriz de inversão usada pela unidade de processa-mento de compatibilidade de conversão descendente 920 pode ser armazenada no aparelhode decodificação 900 em antecipação ou pode ser incluída em um fluxo contínuo de bits deentrada transmitido por um aparelho de codificação. Além do mais, informação que indica seum sinal de conversão descendente incluído no fluxo contínuo de bits de entrada é um sinalde conversão descendente arbitrário ou um sinal de conversão descendente compatível po-de ser incluída no fluxo contínuo de bits de entrada.

Em relação à figura 14, a unidade de processamento de compatibilidade de conver-são descendente 920 inclui um primeiro conversor de domínio 921, um processador decompatibilidade 922 e um segundo conversor de domínio 923.

O primeiro conversor de domínio 921 converte o domínio do sinal de conversãodescendente compatível de entrada em um domínio pré-determinado, e o processador decompatibilidade 922 realiza uma operação de processamento de compatibilidade usandoinformação de compatibilidade, tal como uma matriz de inversão para que o sinal de conver-são descendente compatível de entrada no domínio pré-determinado possa ser convertidoem um sinal otimizado para o segundo decodificador multicanais 930.

O processador de compatibilidade 922 pode realizar uma operação de processa-mento de compatibilidade em um domínio QMF / híbrido. Para isto, o primeiro conversor dedomínio 921 pode realizar análise QMF / híbrida no sinal de conversão descendente compa-tível de entrada. Também, o primeiro conversor de domínio 921 pode converter o domíniodo sinal de conversão descendente compatível de entrada em um domínio diferente do do-mínio QMF / híbrido, por exemplo, um domínio de freqüência tais como um domínio DFT ouFFT, e o processador de compatibilidade 922 pode realizar a operação de processamentode compatibilidade em um domínio diferente de um domínio QMF / híbrido, por exemplo, umdomínio de freqüência ou um domínio temporal.

O segundo conversor de domínio 923 converte o domínio de um sinal de conversãodescendente compatível obtido pela operação de processamento de compatibilidade. Maisespecificamente, o segundo conversor de domínio 923 pode converter o domínio do sinal deconversão descendente compatível obtido pela operação de processamento de compatibili-dade no mesmo domínio do sinal de conversão descendente compatível de entrada originalpela realização de uma operação de conversão de domínio invertida realizada pelo primeiroconversor de domínio 921.

Por exemplo, o segundo conversor de domínio 923 pode converter o sinal de con-versão descendente compatível obtido pela operação de processamento de compatibilidadeem um sinal de domínio temporal pela realização de síntese QMF / híbrida no sinal de con-versão descendente compatível obtido pela operação de processamento de compatibilidade.Alternativamente, o segundo conversor de domínio 923 pode realizar IDFT ou IFFT no sinalde conversão descendente compatível obtido pela operação de processamento de compati-bilidade.

A unidade de renderização 3D 940 pode realizar uma operação de renderização 3Dno sinal de conversão descendente compatível obtido pela operação de processamento decompatibilidade em um domínio de freqüência, em um domínio QMF / híbrido ou em umdomínio temporal. Para isto, a unidade de renderização 3D 940 pode incluir um conversorde domínio (não mostrado). O conversor de domínio converte o domínio do sinal de conver-são descendente compatível de entrada em um domínio no qual uma operação de renderi-zação 3D deve ser realizada, ou converte o domínio de um sinal obtido pela operação derenderização 3D.

O domínio no qual o processador de compatibilidade 922 realiza uma operação deprocessamento de compatibilidade pode ser o mesmo ou diferente do domínio no qual aunidade de renderização 3D 940 realiza uma operação de renderização 3D.A Figura 15 é um diagrama de blocos de uma unidade de processamento de com-patibilidade de conversão descendente / renderização 3D 950 de acordo com uma modali-dade da presente invenção. Em relação à figura 15, a unidade de processamento de compa-tibilidade de conversão descendente / renderização 3D 950 inclui um primeiro conversor dedomínio 951, um segundo conversor de domínio 952, um processador de compatibilidade /renderização 3D 953 e um terceiro conversor de domínio 954.

A unidade de processamento de compatibilidade de conversão descendente / ren-derização 3D 950 realiza uma operação de processamento de compatibilidade e uma ope-ração de renderização 3D em um único domínio, desse modo, reduzindo a quantidade decomputação de um aparelho de decodificação.

O primeiro conversor de domínio 951 converte um sinal de conversão descendentecompatível em um primeiro domínio no qual uma operação de processamento de compatibi-lidade e uma operação de renderização 3D devem ser realizadas. O segundo conversor dedomínio 952 converte informação espacial e informação de compatibilidade, por exemplo,uma matriz de inversão para que a informação espacial e a informação de compatibilidadepossam se tornar aplicáveis no primeiro domínio.

Por exemplo, o segundo conversor de domínio 952 mapeia uma matriz de inversãocorrespondente a uma banda de parâmetro em um domínio QMF / híbrido até um domíniode freqüência para que a matriz de inversão possa ficar prontamente aplicável em um domí-nio de freqüência.

Durante a conversão da informação espacial e da informação de compatibilidade,pode ocorrer um atraso de tempo. A fim de abordar este problema, o segundo conversor dedomínio 952 pode realizar uma operação de compensação de atraso de tempo para que umatraso de tempo entre o domínio da informação espacial e da informação de compensação eo primeiro domínio possa ser compensado.

O processador de compatibilidade / renderização 3D 953 realiza uma operação deprocessamento de compatibilidade no sinal de conversão descendente compatível de entra-da no primeiro domínio usando a informação de compensação convertida e, então, realizauma operação de renderização 3D em um sinal de conversão descendente compatível obti-do pela operação de processamento de compatibilidade. O processador de compatibilidade /renderização 3D 953 pode realizar uma operação de processamento de compatibilidade euma operação de renderização 3D em uma ordem diferente daquela aqui apresentada.

O processador de compatibilidade / renderização 3D 953 pode realizar uma opera-ção de processamento de compatibilidade e uma operação de renderização 3D no sinal deconversão descendente compatível de entrada ao mesmo tempo. Por exemplo, o processa-dor de compatibilidade / renderização 3D 953 pode gerar um sinal de conversão descenden-te 3D pela realização de uma operação de renderização 3D no sinal de conversão descen-dente compatível de entrada no primeiro domínio usando um novo coeficiente de filtro, que é5 a combinação da informação de compensação e de um composição de filtro existente usa-do, tipicamente, em uma operação de renderização 3D.

O terceiro conversor de domínio 954 converte o domínio do sinal de conversãodescendente 3D gerado pelo processador de compatibilidade / renderização 3D 953 em umdomínio de freqüência.

A Figura 16 é um diagrama de blocos de um aparelho de decodificação para cance-lar diafonia de acordo com uma modalidade da presente invenção. Em relação à figura 16, oaparelho de decodificação inclui uma unidade de desempacotamento de bits 960, um deco-dificador de conversão descendente 970, uma unidade de renderização 3D 980 e um unida-de de cancelamento de diafonia 990. Descrições detalhadas dos mesmos processos de de-codificação da modalidade da figura 1 serão omitidas.

Um sinal de conversão descendente 3D emitido pela unidade de renderização 3D980 pode ser reproduzido por um fone de ouvido. Entretanto, quando o sinal de conversãodescendente 3D for reproduzido por alto-falantes que estão distantes de um usuário, é pro-vável que ocorra diafonia intercanais.

Portanto, o aparelho de decodificação pode incluir a unidade de cancelamento dediafonia 990 que realiza uma operação de cancelamento de diafonia no sinal de conversãodescendente 3D.

O aparelho de decodificação pode realizar uma operação de processamento decampo de som.

Informação de campo de som usada na operação de processamento de campo desom, isto é, informação que identifica um espaço no qual o sinal de conversão descendente3D deve ser reproduzido pode ser incluída em um fluxo contínuo de bits de entrada transmi-tido por um aparelho de codificação ou pode ser selecionada pelo aparelho de decodifica-ção.

O fluxo contínuo de bits de entrada pode incluir informação de tempo de reverbera-ção. Um filtro usado na operação de processamento de campo de som pode ser controladode acordo com a informação de tempo de reverberação.

Uma operação de processamento de campo de som pode ser realizada diferente-mente para uma parte anterior e para uma parte de reverberação posterior. Por exemplo, aparte anterior pode ser processada usando um filtro FIR, e a parte de reverberação posteriorpode ser processada usando um filtro IIR.

Mais especificamente, uma operação de processamento de campo de som podeser realizada na parte anterior pela realização de uma operação de intricamento em um do-mínio temporal usando um filtro FIR ou pela realização de uma operação de multiplicaçãoem um domínio de freqüência e da conversão do resultado da operação de multiplicação emum domínio temporal. Uma operação de processamento de campo de som pode ser realiza-da na parte de reverberação posterior em um domínio temporal.

A presente invenção pode ser realizada como código legível por computador escritoem um meio de gravação legível por computador. O meio de gravação legível por computa-dor pode ser qualquer tipo de dispositivo de gravação no qual dados são armazenados deuma maneira legível por computador. Exemplos de meio de gravação legível por computa-dor incluem uma ROM, uma RAM um CD-ROM, uma fita magnética um disco flexível umarmazenamento ótico de dados e uma onda portadora (por exemplo, transmissão de dadospor meio da Internet). O meio de gravação legível por computador pode ser distribuído emuma pluralidade de sistemas de computador conectados em uma rede para que o códigolegível por computador seja nela escrito e executado a partir dela de uma maneira descen-tralizada. Programas funcionais, código e segmentos de código necessários para realizar apresente invenção podem ser facilmente interpretados pelos versados na técnica.

Como exposto, de acordo com a presente invenção, é possível codificar eficiente-mente sinais multicanais com efeitos 3D e restaurar e reproduzir adaptativamente sinais deáudio com qualidade ideal de acordo com as características do ambiente de reprodução.

APLICABILIDADE INDUSTRIAL

Outras implementações estão no escopo das seguintes reivindicações. Por exem-plo, agrupamento, codificação de dados e codificação de entropia de acordo com a presenteinvenção podem ser aplicados a vários campos da aplicação e a vários produtos. Meio deque armazena dados nos quais um aspecto da presente invenção é aplica-do está no escopo da presente invenção.

Claims

1. Método de codificação de restauração de um sinal multicanais,CARACTERIZADO pelo fato de que o método de codificação compreende:extrair um sinal de conversão descendente tridimensional (3D) e informação espa-ciai de um fluxo contínuo de bits de entrada;remover efeitos 3D do sinal de conversão descendente 3D pela realização de umaoperação de renderização 3D no sinal de conversão descendente 3D; egerar um sinal multicanais usando a informação espacial e um sinal de conversãodescendente obtido pela remoção.

2. Método de decodificação, de acordo com a reivindicação 1, CARACTERIZADOpelo fato de que a remoção compreende usar um filtro invertido de um filtro usado para ge-rar o sinal de conversão descendente 3D.

3. Método de decodificação, de acordo com a reivindicação 2, CARACTERIZADOpelo fato de que a informação que considera o filtro é extraída do fluxo contínuo de bits deentrada.

4. Método de decodificação, de acordo com a reivindicação 1, CARACTERIZADOpelo fato de que a remoção compreende usar uma função inversa de uma função de transfe-rência relacionada ao cabeçalho (HRTF) usada para gerar o sinal de conversão descendente 3D.

5. Método de decodificação, de acordo com a reivindicação 4, CARACTERIZADOpelo fato de que a informação que considera coeficientes do HRTF ou coeficientes da fun-ção invertida do HRTF é extraída do fluxo contínuo de bits de entrada.

6. Método de decodificação, de acordo com a reivindicação 1, CARACTERIZADOpelo fato de que o fluxo contínuo de bits de entrada inclui pelo menos uma da informaçãoque indica se o fluxo contínuo de bits de entrada inclui informação de filtro que identifica umfiltro usado para realizar a operação de renderização 3D e da informação que indica se ainformação de filtro especifica um filtro invertido de um filtro usado para gerar o sinal de con-versão descendente 3D.

7. Método de decodificação, de acordo com a reivindicação 1, CARACTERIZADOpelo fato de que a remoção compreende realizar a operação de renderização 3D em um deum domínio de transformada de Fourier discreta (DFT), de um domínio de transformada deFourier rápida (FFT), de um domínio de filtro especular de quadratura (QMF) / híbrido e deum domínio temporal.

8. Método de decodificação, de acordo com a reivindicação 1, CARACTERIZADOpelo fato de que compreende adicionalmente decodificar o sinal de conversão descendente 3D.

9. Método de decodificação de restauração de um sinal multicanais,CARACTERIZADO pelo fato de que o método compreende:extrair um sinal de conversão descendente 3D e informação espacial de um fluxocontínuo de bits de entrada;gerar um sinal multicanais usando o sinal de conversão descendente 3D e a infor-mação espacial; eremover efeitos 3D do sinal multicanais pela realização de uma operação de rende-rização 3D no sinal multicanais.

10. Método de codificação da codificação de um sinal multicanais com uma plurali-dade de canais, CARACTERIZADO pelo fato de que o método de codificação compreende:codificar o sinal multicanais em um sinal de conversão descendente com menoscanais;gerar informação espacial considerando a pluralidade de canais;gerar um sinal de conversão descendente 3D pela realização de uma operação derenderização 3D no sinal de conversão descendente; egerar um fluxo contínuo de bits que inclui o sinal de conversão descendente 3D e ainformação espacial.

11. Método de codificação, de acordo com a reivindicação 10, CARACTERIZADOpelo fato de que a geração do sinal de conversão descendente 3D compreende realizar aoperação de renderização 3D usando um HRTF.

12. Método de codificação, de acordo com a reivindicação 11, CARACTERIZADOpelo fato de que o fluxo contínuo de bits inclui pelo menos uma da informação que consideracoeficientes do HRTF e da informação que considera coeficientes de uma função invertidado HRTF.

13. Método de codificação, de acordo com a reivindicação 10, CARACTERIZADOpelo fato de que a geração do sinal de conversão descendente 3D compreende realizar aoperação de renderização 3D em um de um domínio DFT, de um domínio FFT, de um do-mínio QMF / híbrido e de um domínio temporal.

14. Método de codificação da codificação de um sinal multicanais com uma plurali-dade de canais, CARACTERIZADO pelo fato de que o método de codificação compreende:realizar uma operação de renderização 3D no sinal multicanais;codificar um sinal multicanais obtido pela operação de renderização 3D em um sinalde conversão descendente 3D com menos canais;gerar informação espacial considerando a pluralidade de canais; egerar um fluxo contínuo de bits que inclui o sinal de conversão descendente 3D e ainformação espacial.

15. Aparelho de decodificação pra restaurar um sinal multicanais,CARACTERIZADO pelo fato de que o aparelho de codificação compreende:uma unidade de desempacotamento de bits que extrai um sinal de conversão des-cendente 3D codificado e informação espacial de um fluxo contínuo de bits de entrada;um decodificador de conversão descendente que decodifica o sinal de conversãodescendente 3D codificado;uma unidade de renderização 3D que remove efeitos 3D do sinal de conversãodescendente 3D decodificado obtido pela decodificação realizada pelo decodificador deconversão descendente pela realização de uma operação de renderização 3D no sinal deconversão descendente 3D decodificado; eum decodificador multicanais que gera um sinal multicanais usando a informaçãoespacial e um sinal de conversão descendente obtido pela remoção realizada pela unidadede renderização 3D.

16. Aparelho de decodificação para restaurar um sinal multicanais,CARACTERIZADO pelo fato de que o aparelho de decodificação compreende:uma unidade de desempacotamento de bits que extrai um sinal de conversão des-cendente 3D codificado e informação espacial de um fluxo contínuo de bits de entrada;um decodificador de conversão descendente que decodifica o sinal de conversãodescendente 3D codificado;um decodificador multicanais que gera um sinal multicanais usando a informaçãoespacial e um sinal de conversão descendente 3D obtido pela decodificação realizada pelodecodificador de conversão descendente; euma unidade de renderização 3D que remove efeitos 3D do sinal multicanais pelarealização de uma operação de renderização 3D no sinal multicanais.

17. Aparelho de codificação para codificar um sinal multicanais com uma pluralida-de de canais, CARACTERIZADO pelo fato de que o aparelho de codificação compreende:um codificador multicanais que codifica o sinal multicanais em um sinal de conver-são descendente com menos canais e gera informação espacial que considera a pluralidadede canais;uma unidade de renderização 3D que gera um sinal de conversão descendente 3Dpela realização de uma operação de renderização 3D no sinal de conversão descendente;um codificador de conversão descendente que codifica o sinal de conversão des-cendente 3D; euma unidade de empacotamento de bits que gera um fluxo contínuo de bits que in-clui o sinal de conversão descendente 3D e a informação espacial.

18. Aparelho de codificação para codificar um sinal multicanais com uma pluralida-de de canais, CARACTERIZADO pelo fato de que o aparelho de codificação compreende:uma unidade de renderização 3D que realiza uma operação de renderização 3D nosinal multicanais;um codificador multicanais que codifica um sinal multicanais obtido pela operaçãode renderização 3D em um sinal multicanais 3D com menos canais e que gera informaçãoespacial considerando a pluralidade de canais;um codificador de conversão descendente que codifica o sinal de conversão des-cendente 3D; euma unidade de empacotamento de bits que gera um fluxo contínuo de bits que in-clui o sinal de conversão descendente 3D codificado e a informação espacial.

19. Meio de gravação legível por computador, CARACTERIZADO pelo fato de quetem um programa de computador para executar o método de codificação de qualquer umadas reivindicações 1 até 9 ou o método de codificação de qualquer uma das reivindicações 10 até 14.

20. Fluxo contínuo de bits, CARACTERIZADO pelo fato de que compreende:um campo de dados que inclui informação considerando um sinal de conversãodescendente 3D;um campo de informação de filtro que inclui informação de filtro que identifica um fil-tro usado para gerar o sinal de conversão descendente 3D;um primeiro campo de cabeçalho que inclui informação que indica se o campo deinformação de filtro inclui a informação de filtro;um segundo campo de cabeçalho que inclui informação que indica se o campo deinformação de filtro inclui coeficientes do filtro ou coeficientes de um filtro invertido do filtro; eum campo de informação espacial que inclui informação espacial considerandouma pluralidade de canais.