BRPI0711102A2

BRPI0711102A2 - métodos e aparelhos para codificar e decodificar sinais de áudio com base em objeto

Info

Publication number: BRPI0711102A2
Application number: BRPI0711102-9A
Authority: BR
Inventors: Sung Yong Yoon; Hee Suk Pang; Hyun Kook Lee; Dong Soo Kim; Jae Hyun Lim
Original assignee: Lg Eletronics Inc
Priority date: 2006-09-29
Filing date: 2007-10-01
Publication date: 2011-08-23
Also published as: MX2008012315A; US20090164222A1; WO2008039043A1; KR20090013178A; KR101065704B1; CA2645908A1; WO2008039039A1; US8762157B2; CA2645910A1; BRPI0711104A2; US9792918B2; AU2007300812B2; CA2645909A1; AU2007300814B2; EP2070080A4; AU2007300812A1; CA2646045A1; US20080140426A1; KR20090013177A; US8625808B2

Abstract

MéTODOS E APARELHOS PARA CODIFICAR E DECODIFICAR SINAIS DE áUDIO COM BASE EM OBJETO São fornecidos um método e aparelho de codificação de áudio e um método e aparelho de decodificação de áudio nos quais sinais de áudio podem ser codificados ou decodificados para que imagens de som possam ser localizadas em qualquer posição desejada para cada sinal de áudio de objeto. O método de decodificação de áudio compreende: gerar um terceiro sinal convertido para menos canais pela combinação de um primeiro sinal convertido para menos canais extraído de um primeiro sinal de áudio e de um segundo sinal convertido para menos canais extraido de um segundo sinal de áudio; gerar terceira informação complementar com base em objeto pela combinação da primeira informação complementar com base em objeto extraída do primeiro sinal de áudio e da segunda informação complementar com base em objeto extraída do segundo sinal de áudio; converter a terceira informação complementar com base em objeto em informação complementar com base em canal; e gerar um sinal de áudio multicanais usando o terceiro sinal convertido para menos canais e a informação complementar com base em canal.

Description

"MÉTODOS E APARELHOS PARA CODIFICAR E DECODIFICAR SINAIS DEÁUDIO COM BASE EM OBJETO"

CAMPO TÉCNICO

A presente invenção diz respeito a um método e aparelho de codificação de áudio ea um método e aparelho de decodificação de áudio, nos quais imagens podem ser localiza-das em qualquer posição desejada para cada sinal de áudio de objeto.

ANTECEDENTES DA INVENÇÃO

No geral, em técnicas de codificação e de decodificação de áudio muiticanais, é re-alizada conversão para menos canais de inúmeros sinais de canal de um sinal muiticanaisem menos sinais de canal, informação complementar considerando os sinais de canal origi-nais é transmitida, e um sinal muiticanais com tantos canais quanto o sinal muiticanais origi-nal é restaurado.

Basicamente, técnicas de codificação e de decodificação de áudio com base emobjeto são similares às técnicas de codificação e de decodificação de áudio muiticanais emtermos de fazer conversão para menos canais de diversas fontes de som em menos sinaisde fonte de som e de transmitir informação complementar considerando as fontes de somoriginais. Entretanto, em técnicas de codificação e de decodificação de áudio com base emobjeto, sinais de objetos, que são elementos básicos (por exemplo, o som de um instrumen-to musical ou de uma voz humana) de um sinal de canal, são tratados da mesma forma queos sinais de canal em técnicas de codificação e de decodificação de áudio muiticanais e,assim, podem ser codificados.

Em outras palavras, em técnicas de codificação e de decodificação de áudio combase em objeto, cada sinal de objeto é considerado a entidade a ser codificada. Neste as-pecto, técnicas de codificação e de decodificação de áudio com base em objeto são diferen-tes das técnicas de codificação e de decodificação de áudio muiticanais nas quais uma ope-ração de codificação de áudio muiticanais é realizada simplesmente com base em informa-ção intercanais, independente do número de elementos de um sinal de canal a ser codifica-do.

DIVULGAÇÃO DA INVENÇÃOPROBLEMA TÉCNICO

A presente invenção fornece um método e um aparelho de codificação de áudio eum método e um aparelho de decodificação de áudio nos quais sinais de áudio podem sercodificados ou decodificados para que imagens de som possam ser localizadas em qualquerposição desejada para cada sinal de áudio de objeto.

SOLUÇÃO TÉCNICA

De acordo com um aspecto da presente invenção, é fornecido um método de deco-dificação de áudio que inclui gerar um terceiro sinal convertido para menos canais pelacombinação de um primeiro sinal convertido para menos canais extraído de um primeirosinal de áudio e de um segundo sinal convertido para menos canais extraído de um segundosinal de áudio; gerar terceira informação complementar com base em objeto pela combina-ção da primeira informação complementar com base em objeto extraída do primeiro sinal deáudio e da segunda informação complementar com base em objeto extraída do segundosinal de áudio; converter a terceira informação complementar com base em objeto em infor-mação complementar com base em canal; e gerar um sinal de áudio multicanais usando oterceiro sinal convertido para menos canais e a informação complementar com base emcanal.

De acordo com um outro aspecto da presente invenção, é fornecido um aparelho dedecodificação de áudio que inclui um combinador de unidade de controle multipontos quegera um terceiro sinal convertido para menos canais pela combinação de um primeiro sinalconvertido para menos canais extraído de um primeiro sinal de áudio e de um segundo sinalconvertido para menos canais extraído de um segundo sinal de áudio, e gera terceira infor-mação complementar com base em objeto pela combinação da primeira informação com-plementar com base em objeto extraída do primeiro sinal de áudio e da segunda informaçãocomplementar com base em objeto extraída do segundo sinal de áudio; um transcodificadorque converte a terceira informação complementar com base em objeto em informação com-plementar com base em canal; e um decodificador multicanais que gera um sinal de áudiomulticanais usando o terceiro sinal convertido para menos canais e a informação comple-mentar com base em canal.

De acordo com um outro aspecto da presente invenção, é fornecida uma mídia degravação legível por computador com um método de decodificação de áudio nela gravadoque inclui gerar um terceiro sinal convertido para menos canais pela combinação de um pri-meiro sinal convertido para menos canais extraído de um primeiro sinal de áudio e de umsegundo sinal convertido para menos canais extraído de um segundo sinal de áudio; gerarterceira informação complementar com base em objeto pela combinação da primeira infor-mação complementar com base em objeto extraída do primeiro sinal de áudio e da segundainformação complementar com base em objeto extraída do segundo sinal de áudio; conver-ter a terceira informação complementar com base em objeto em informação complementarcom base em canal; e gerar um sinal de áudio multicanais usando o terceiro sinal convertidopara menos canais e a informação complementar com base em canal.

EFEITOS VANTAJOSOS

São fornecidos um método e aparelho de codificação de áudio e um método e apa-relho de decodificação de áudio nos quais sinais de áudio podem ser codificados ou decodi-ficados para que imagens de som possam ser localizadas em qualquer posição desejadapara cada sinal de áudio de objeto.DESCRIÇÃO RESUMIDA DOS DESENHOS

A presente invenção será mais completamente entendida a partir da descrição de-talhada dada aqui a seguir e dos desenhos anexos, que são dados para ilustração somente,e, assim, não são Iimitantes da presente invenção, e em que:

a figura 1 é um diagrama de blocos de um sistema típico de codificação / decodifi-cação de áudio com base em objeto;

a figura 2 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma primeira modalidade da presente invenção;

a figura 3 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma segunda modalidade da presente invenção;

a figura 4 é um gráfico para explicar a influência de uma diferença de amplitude ede uma diferença de tempo, que são independentes entre si, na localização das imagens dosom;

a figura 5 é um gráfico de funções que considera a correspondência entre diferen-ças de amplitude e diferenças de tempo que são exigidas para localizar imagens de som emuma posição pré-determinada;

a figura 6 ilustra o formato de informação de controle que incluem informação har-mônica;

a figura 7 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma terceira modalidade da presente invenção;

a figura 8 é um diagrama de blocos de um módulo de ganhos de conversão paramenos canais artística (ADG) que pode ser usado no aparelho de decodificação de áudioilustrado na figura 7;

a figura 9 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma quarta modalidade da presente invenção;

a figura 10 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma quinta modalidade da presente invenção;

a figura 11 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma sexta modalidade da presente invenção;

a figura 12 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma sétima modalidade da presente invenção;

a figura 13 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma oitava modalidade da presente invenção;

a figura 14 é um diagrama para explicar a aplicação de informação tridimensional(3D) em um quadro pelo aparelho de decodificação de áudio ilustrado na figura 13;

a figura 15 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma nona modalidade da presente invenção;a figura 16 é um diagrama de blocos de um aparelho de decodificação de áudio deacordo com uma décima modalidade da presente invenção;

as figuras 17 até 19 são diagramas para explicar um método de decodificação deáudio de acordo com uma modalidade da presente invenção; ea figura 20 é um diagrama de blocos de um aparelho de codificação de áudio deacordo com uma modalidade da presente invenção.

MELHOR MODO PARA REALIZAR A INVENÇÃO

A presente invenção será descrita com detalhes a seguir em relação aos desenhosanexos nos quais modalidades exemplares da invenção são mostradas.

Um método e um aparelho de codificação de áudio e um método e um aparelho dedecodificação de áudio de acordo com a presente invenção podem ser aplicados em opera-ções de processamento de áudio com base em objeto, mas a presente invenção não é res-trita a isto. Em outras palavras, o método e aparelho de codificação de áudio e o método eaparelho de decodificação de áudio podem ser aplicados a várias operações de processa-mento de sinal diferentes das operações de processamento de áudio com base em objeto.

A figura 1 é um diagrama de blocos de um sistema típico de codificação / decodifi-cação de áudio com base em objeto. No geral, sinais de áudio inseridos em um aparelho decodificação de áudio com base em objeto não correspondem a canais de um sinal multica-nais, mas são sinais de objetos independentes. Neste aspecto, um aparelho de codificação de áudio com base em objeto é diferenciado de um aparelho de codificação de áudio multi-canais no qual sinais de canal de um sinal multicanais são inseridos.

Por exemplo, sinais de canal, tais como sinal de canal frontal esquerdo e sinal decanal frontal direito de um sinal de 5.1 canais podem ser inseridos em um sinal de áudiomulticanais, enquanto que sinal de áudio de objeto, tais como uma voz humana ou o som de um instrumento musical (por exemplo, o som de um violino ou de um piano), que são enti-dades menores do que sinais de canal, pode ser inserido em um aparelho de codificação deáudio com base em objeto.

Em relação à figura 1, o sistema de codificação / decodificação de áudio com baseem objeto inclui um aparelho de codificação de áudio com base em objeto e um aparelho dedecodificação de áudio com base em objeto. O aparelho de codificação de áudio com baseem objeto inclui um codificador de objeto 100, e o aparelho de decodificação de áudio combase em objeto inclui um decodificador de objeto 111 e um renderizador 113.

O codificador de objeto 100 recebe N sinais de áudio de objeto e gera um sinalconvertido para menos canais com base em objeto com um ou mais canais e informaçãocomplementar incluindo inúmeras partes de informação extraídas dos N sinais de áudio deobjeto, tais como diferença de energia, diferença de fase e valor de correlação. A informa-ção complementar e o sinal convertido para menos canais com base em objeto são incorpo-rados em um único fluxo contínuo de bits, e o fluxo contínuo de bits é transmitido ao apare-lho de decodificação com base em objeto.

A informação complementar pode incluir um indicador que indica se deve-se reali-zar codificação de áudio com base em canal ou codificação de áudio com base em objeto e,assim, pode-se determinar se deve ser realizada codificação de áudio com base em canalou codificação de áudio com base em objeto com base no indicador da informação comple-mentar. A informação complementar também pode incluir informação de envelope, informa-ção de agrupamento, informação de período em silêncio, e informação de atraso conside-rando sinais de objetos. A informação complementar também pode incluir informação dediferenças de nível de objeto, informação de correlação cruzada interobjetos, informação deganho de conversão para menos canais, informação de diferença de nível de canal de con-versão para menos canais e informação de energia de objeto absoluta.

O decodificador de objeto 111 recebe o sinal convertido para menos canais combase em objeto e a informação complementar do aparelho de codificação de áudio com ba-se em objeto e restaura sinais de objetos com propriedades similares daquelas dos N sinaisde áudio de objeto com base no sinal convertido para menos canais com base em objeto ena informação complementar. Os sinais de objetos gerados pelo decodificador de objeto 111ainda não foram alocados em nenhuma posição em um espaço multicanais. Assim, o rende-rizador 113 aloca cada um dos sinais de objetos gerados pelo decodificador de objeto 111em uma posição pré-determinada em um espaço multicanais e determina os níveis dos si-nais de objetos para que os sinais de objetos possam ser reproduzidos a partir de respecti-vas posições correspondentes designadas pelo renderizador 113 com respectivos níveiscorrespondentes determinados pelo renderizador 113. Informação de controle considerandocada um dos sinais de objetos gerados pelo decodificador de objeto 111 pode variar duranteo tempo e, assim, posições espaciais e os níveis dos sinais de objetos gerados pelo decodi-ficador de objeto 111 podem variar de acordo com a informação de controle.

A figura 2 é um diagrama de blocos de um aparelho de decodificação de áudio 120de acordo com uma primeira modalidade da presente invenção. Em relação à figura 2, oaparelho de decodificação de áudio 120 inclui um decodificador de objeto 121, um renderi-zador 123 e um conversor de parâmetro 125. O aparelho de decodificação de áudio 120também pode incluir um demultiplexador (não mostrado) que extrai um sinal convertido paramenos canais e informação complementar de um fluxo contínuo de bits nele inserido, e istose aplicará a todos os aparelhos de decodificação de áudio de acordo com outras modalida-des da presente invenção.

O decodificador de objeto 121 gera inúmeros sinais de objetos com base em um si-nal convertido para menos canais e em informação complementar modificada fornecida peloconversor de parâmetro 125. O renderizador 123 aloca cada um dos sinais de objetos gera-dos pelo decodificador de objeto 121 em uma posição pré-determinada em um espaço mul-ticanais e determina os níveis dos sinais de objetos gerados pelo decodificador de objeto121 de acordo com a informação de controle. O conversor de parâmetro 125 gera a infor-mação complementar modificada pela combinação da informação complementar e da infor-mação de controle. Então, o conversor de parâmetro 125 transmite a informação comple-mentar modificada ao decodificador de objeto 121.

O decodificador de objeto 121 pode ser capaz de realizar decodificação adaptativapela análise da informação de controle na informação complementar modificada.

Por exemplo, se a informação de controle indicar que um primeiro sinal de objeto eum segundo sinal de objeto estão alocados na mesma posição em um espaço multicanais etêm o mesmo nível, um aparelho de decodificação de áudio típico pode decodificar os pri-meiro e segundo sinais de objetos separadamente e, então, arranjá-los em um espaço mul-ticanais por meio de uma operação de conversão de canais / renderização.

Por outro lado, o decodificador de objeto 121 do aparelho de decodificação de áu-dio 120 aprende a partir da informação de controle na informação complementar modificadaque os primeiro e segundo sinais de objetos estão alocados na mesma posição em um es-paço multicanais e têm o mesmo nível se eles eram uma única fonte de som. Dessa manei-ra, o decodificador de objeto 121 decodifica os primeiro e segundo sinais de objetos tratan-do-os como uma única fonte de som sem decodificá-los separadamente. Em decorrênciadisto, a complexidade da decodificação diminui. Além do mais, em função de uma diminui-ção no número de fontes de som que precisam ser processadas, a complexidade da con-versão de canais / renderização também diminui.

O aparelho de decodificação de áudio 120 pode ser efetivamente usado na situaçãoem que o número de sinais de objetos é maior do que o número de canais de saída em vir-tude de ser altamente provável que uma pluralidade de sinais de objetos esteja alocada namesma posição espacial.

Alternativamente, o aparelho de decodificação de áudio 120 pode ser usado na si-tuação em que o primeiro sinal de objeto e o segundo sinal de objeto são alocados na mes-ma posição em um espaço multicanais, mas têm diferentes níveis. Neste caso, o aparelhode decodificação de áudio 120 decodifica os primeiro e segundo sinais de objetos pelo tra-tamento dos primeiro e segundo sinais de objetos com um único sinal, em vez de decodificaros primeiro e segundo sinais de objetos separadamente e transmitir os primeiro e segundosinais de objetos decodificados ao renderizador 133. Mais especificamente, o decodificadorde objeto 121 pode obter informação considerando a diferença entre os níveis dos primeiroe segundo sinais de objetos da informação de controle na informação complementar modifi-cada, e pode decodificar os primeiro e segundo sinais de objetos com base na informaçãoobtida. Em decorrência disto, mesmo se os primeiro e segundo sinais de objetos tiveremníveis diferentes, os primeiro e segundo sinais de objetos podem ser decodificados como seeles fossem uma única fonte de som.

Ainda alternativamente, o decodificador de objeto 121 pode ajustar os níveis dos si-nais de objetos gerados pelo decodificador de objeto 121 de acordo com a informação decontrole. Então, o decodificador de objeto 121 pode decodificar os sinais de objetos cujosníveis são ajustados. Dessa maneira, o renderizador 123 não precisa ajustar os níveis dossinais de objetos decodificados fornecidos pelo decodificador de objeto 121, mas simples-mente arranja os sinais de objetos decodificados fornecidos pelo decodificador de objeto121 em um espaço multicanais. Em resumo, já que o decodificador de objeto 121 ajusta osníveis dos sinais de objetos gerados pelo decodificador de objeto 121 de acordo com a in-formação de controle, o renderizador 123 pode arranjar prontamente os sinais de objetosgerados pelo decodificador de objeto 121 em um espaço multicanais sem a necessidade deajustar adicionalmente os níveis dos sinais de objetos gerados pelo decodificador de objeto121. Portanto, é possível reduzir a complexidade de conversão de canais / renderização.

De acordo com a modalidade da figura 2, o decodificador de objeto do aparelho dedecodificação de áudio 120 pode realizar adaptativamente uma operação de decodificaçãopor meio da análise da informação de controle, desse modo, reduzindo a complexidade dadecodificação e a complexidade da conversão de canais / renderização. Uma combinaçãodos métodos supradescritos realizados pelo aparelho de decodificação de áudio 120 podeser usada.

A figura 3 é um diagrama de blocos de um aparelho de decodificação de áudio 130de acordo com uma segunda modalidade da presente invenção. Em relação à figura 3, oaparelho de decodificação de áudio 130 inclui um decodificador de objeto 131 e um renderi-zador 133. O aparelho de decodificação de áudio 130 é caracterizado por fornecer informa-ção complementar não somente ao decodificador de objeto 131, mas também ao renderiza-dor 133.

O aparelho de decodificação de áudio 130 pode realizar efetivamente uma opera-ção de decodificação mesmo quando há um sinal de objeto correspondente a um períodoem silêncio. Por exemplo, os segundo até quarto sinais de objetos podem corresponder aum período de reprodução de música durante o qual um instrumento musical é tocado, e umprimeiro sinal de objeto pode corresponder a um período em silêncio durante o qual um a-companhamento é tocado. Neste caso, informação que indica qual de uma pluralidade desinais de objetos corresponde a um período em silêncio pode ser incluída na informaçãocomplementar, e a informação complementar pode ser fornecida ao renderizador 133, bemcomo ao decodificador de objeto 131.

O decodificador de objeto 131 pode minimizar a complexidade da decodificação pe-la não decodificação de um sinal de objeto correspondente a um período em silêncio. O de-codificador de objeto 131 ajusta um sinal de objeto correspondente a um valor de 0 e trans-mite o nível do sinal de objeto ao renderizador 133. No geral, sinais de objetos com um valorde O são tratados da mesma forma que os sinais de objetos com um valor diferente de O e,assim, são sujeitos a uma operação de conversão de canais / renderização.

Por outro lado, o aparelho de decodificação de áudio 130 transmite informaçãocomplementar que inclui informação que indica qual de uma pluralidade de sinais de objetoscorresponde a um período em silêncio ao renderizador 133 e, assim, pode impedir que umsinal de objeto correspondente a um período em silêncio seja sujeito a uma operação deconversão de canais / renderização realizada pelo renderizador 133. Portanto, o aparelho dedecodificação de áudio 130 pode impedir um aumento desnecessário na complexidade daconversão de canais / renderização.

O renderizador 133 pode usar informação de parâmetro de conversão de canaisque está incluída na informação de controle para localizar uma imagem de som de cadasinal de objeto em uma cena estéreo. A informação de parâmetro de conversão de canaispode incluir informação de amplitude somente ou tanto informação de amplitude quanto in-formação de tempo. A informação de parâmetro de conversão de canais afeta não somentea localização das imagens de som estéreo, mas também a percepção psicoacústica de umaqualidade espacial de som por um usuário.

Por exemplo, mediante comparação de duas imagens de som que são geradas u-sando um método de variação de tempo e um método de variação de amplitude, respecti-vamente, e reproduzidas no mesmo local usando um alto-falante estéreo de 2 canais, per-cebe-se que o método de variação de amplitude pode contribuir para uma precisa localiza-ção das imagens de som, e que o método de variação de tempo pode fornecer sons naturaiscom uma profunda sensação de espaço. Assim, se o renderizador 133 usar somente o mé-todo de variação de amplitude para arranjar sinais de objetos em um espaço multicanais, orenderizador 133 pode ser capaz de localizar precisamente cada imagem de som, mas podenão ser capaz de fornecer uma sensação de som tão profunda quanto durante o uso do mé-todo de variação de tempo. Algumas vezes, usuários podem preferir uma precisa localiza-ção das imagens de som em relação a uma profunda sensação do som ou vice-versa, deacordo com o tipo das fontes de som.

As figuras 4(a) e 4(b) explicam a influência da intensidade (diferença de amplitude)e de uma diferença de tempo na localização das imagens de som realizada na reproduçãodos sinais com um alto-falante estéreo de 2 canais. Em relação às figuras 4(a) e 4(b), umaimagem de som pode ser localizada em um ângulo pré-determinado de acordo com umadiferença de amplitude e uma diferença de tempo que são independentes entre si. Por e-xemplo, uma diferença de amplitude de cerca de 8 dB ou uma diferença de tempo de cercade 0,5 ms, que é equivalente à diferença de amplitude de 8 dB, podem ser usadas a fim delocalizar uma imagem de som em um ângulo de 20 Portanto, mesmo se somente umadiferença de amplitude for fornecida como informação de parâmetro de conversão de ca-nais, é possível obter vários sons com diferentes propriedades pela conversão da diferençade amplitude em uma diferença de tempo, que é equivalente à diferença de amplitude, du-rante a localização das imagens de som.

A figura 5 ilustra funções que consideram a correspondência entre as diferenças deamplitude e as diferenças de tempo que são exigidas para localizar imagens de som emângulos de 10 20 ° e 30 A função ilustrada na figura 5 pode ser obtida com base nasfiguras 4(a) e 4(b). Em relação à figura 5, várias combinações de diferença de amplitude -diferença de tempo podem ser fornecidas para localização de uma imagem de som em umaposição pré-determinada. Por exemplo, considere que uma diferença de amplitude de 8 dBé fornecida como informação de parâmetro de conversão de canais a fim de localizar umaimagem de som em um ângulo de 20 De acordo com a função ilustrada na figura 5, umaimagem de som também pode ser localizada no ângulo de 20 0 usando a combinação deuma diferença de amplitude de 3 dB e de uma diferença de tempo de 0,3 ms. Neste caso,não somente a informação de diferença de amplitude, mas também a informação de dife-rença de tempo pode ser fornecida como informação de parâmetro de conversão de canais,desse modo, melhorando a sensação de espaço.

Portanto, a fim de gerar sons com propriedades desejadas por um usuário duranteuma operação de conversão de canais / renderização, informação de parâmetro de conver-são de canais pode ser apropriadamente convertida para que qualquer que seja a variaçãode amplitude e variação de tempo que é adequada ao usuário possa ser realizada. Isto é, sea informação de parâmetro de conversão de canais incluir somente informação de diferençade amplitude e o usuário desejar sons com uma profunda sensação de espaço, a informa-ção de diferença de amplitude pode ser convertida em informação de diferença de tempoequivalente à informação de diferença de amplitude em relação aos dados psicoacústicos.Alternativamente, se o usuário desejar ambos os sons com uma profunda sensação de es-paço e uma precisa localização de imagens de som, a informação de diferença de amplitudepode ser convertida na combinação de informação de diferença de amplitude e de informa-ção de diferença de tempo equivalente à informação de amplitude original. Alternativamente,se a informação de parâmetro de conversão de canais incluir somente informação de dife-rença de tempo e um usuário preferir uma precisa localização de imagens de som, a infor-mação de diferença de tempo pode ser convertida em informação de diferença de amplitudeequivalente à informação de diferença de tempo, ou pode ser convertida na combinação deinformação de diferença de amplitude e de informação de diferença de tempo que pode sa-tisfazer a preferência do usuário pela melhoria tanto da precisão da localização de imagensde som quanto da sensação de espaço.Ainda alternativamente, se a informação de parâmetro de conversão de canais in-cluir tanto informação de diferença de amplitude quanto informação de diferença de tempo,e um usuário preferir uma precisa localização das imagens de som, a combinação da infor-mação de diferença de amplitude e da informação de diferença de tempo pode ser converti- da em informação de diferença de amplitude equivalente à combinação da informação dediferença de amplitude original e da informação de diferença de tempo. Por outro lado, se ainformação de parâmetro de conversão de canais incluir tanto informação de diferença deamplitude quanto informação de diferença de tempo e um usuário preferir a meinoria dasensação de espaço, a combinação da informação de diferença de amplitude e da informa- ção de diferença de tempo pode ser convertida em informação de diferença de tempo equi-valente à combinação da informação de diferença de amplitude e à informação de diferençade tempo original. Em relação à figura 6, a informação de controle pode incluir informaçãode conversão de canais / renderização e informação harmônica considerando um ou maissinais de objetos. A informação harmônica pode incluir pelo menos uma informação de altu- ra, informação de freqüência fundamental e informação de banda de freqüência dominanteconsiderando um ou mais sinais de objetos, e descrições da energia e do espectro de cadasub-banda de cada um dos sinais de objetos.

A informação harmônica pode ser usada para processar um sinal de objeto duranteuma operação de renderização em virtude de a resolução de um renderizador que realiza sua operação em unidades de sub-bandas ser insuficiente.

Se a informação harmônica incluir informação de altura considerando um ou maissinais de objetos, o ganho de cada um dos sinais de objetos pode ser ajustado pela atenua-ção ou intensificação de um domínio de freqüência pré-determinado usando um filtro comboou um filtro combo invertido. Por exemplo, se um de uma pluralidade de sinais de objetos for um sinal vocal, os sinais de objetos podem ser usados como um karaokê pela atenuaçãosomente do sinal vocal. Alternativamente, se a informação harmônica incluir informação dedomínio de freqüência dominante considerando um ou mais sinais de objetos, um processopara atenuar ou intensificar um domínio de freqüência dominante pode ser realizado. Aindaalternativamente, se a informação harmônica incluir informação de espectro considerando um ou mais sinais de objetos, o ganho de cada um dos sinais de objetos pode ser controla-do pela realização de atenuação ou de reforço sem ser restrito por nenhum dos limites desub-banda.

A figura 7 é um diagrama de blocos de um aparelho de decodificação de áudio 140de acordo com uma outra modalidade da presente invenção. Em relação à figura 7, o apare- lho de decodificação de áudio 140 usa um decodificador multicanais 141, em vez de um de-codificador de objeto e um renderizador, e decodifica inúmeros sinais de objetos depois queos sinais de objetos forem apropriadamente arranjados em um espaço multicanais.Mais especificamente, o aparelho de decodificação de áudio 140 inclui o decodifi-cador multicanais 141 e um conversor de parâmetro 145. O decodificador multicanais 141gera um sinal multicanais cujos sinais de objetos já foram arranjados em um espaço multi-canais com base em um sinal convertido para menos canais e em informação de parâmetroespacial, que é informação complementar com base em canal fornecida pelo conversor deparâmetro 145. O conversor de parâmetro 145 analisa informação complementar e informa-ção de controle transmitidas por um aparelho de codificação de áudio (não mostrado) e geraa informação de parâmetro espacial com base no resultado da análise. Mais especificamen-te, o conversor de parâmetro 145 gera a informação de parâmetro espacial pela combinaçãoda informação complementar e da informação de controle que inclui informação de ajuste dereprodução e informação de conversão de canais. Isto é, o conversor de parâmetro 145 rea-liza a conversão da combinação da informação complementar e da informação de controleem dados espaciais correspondentes a uma caixa Um-Para-Um (OTT) ou a uma caixa Dois-Para-Três (TTT).

O aparelho de decodificação de áudio 140 pode realizar uma operação de decodifi-cação multicanais na qual uma operação de decodificação com base em objeto e uma ope-ração de conversão de canais / renderização são incorporadas e, assim, pode pular a deco-dificação de cada sinal de objeto. Portanto, é possível reduzir a complexidade da decodifica-ção e/ou da conversão de canais / renderização.

Por exemplo, quando há 10 sinais de objetos e um sinal multicanais obtido com ba-se nos 10 sinais de objetos dever ser reproduzido por um sistema de reprodução de alto-falante de 5.1 canais, um aparelho típico de decodificação de áudio com base em objetogera sinais decodificados respectivamente correspondentes aos 10 sinais de objetos combase em um sinal convertido para menos canais e em informação complementar e, então,gera um sinal de 5.1 canais arranjando apropriadamente os 10 sinais de objetos em um es-paço multicanais para que os sinais de objetos possam ficar adequados para um ambientede alto-falante de 5.1 canais. Entretanto, ele é ineficiente para gerar 10 sinais de objetosdurante a geração de um sinal de 5.1 canais, e este problema fica mais severo à medidaque a diferença entre o número de sinais de objetos e o número de canais de um sinal mul-ticanais a ser gerado aumenta.

Por outro lado, de acordo com a modalidade da figura 7, o aparelho de decodifica-ção de áudio 140 gera informação de parâmetro espacial adequada para um sinal de 5.1canais com base na informação complementar e na informação de controle, e fornece a in-formação de parâmetro espacial e um sinal convertido para menos canais ao decodificadormulticanais 141. Então, o decodificador multicanais 141 gera um sinal de 5.1 canais combase na informação de parâmetro espacial e no sinal convertido para menos canais. Emoutras palavras, quando o número de canais a ser transmitido é 5.1 canais, o aparelho dedecodificação de áudio 140 pode gerar prontamente um sinal de 5.1 canais com base emum sinal convertido para menos canais sem a necessidade de gerar 10 sinais de objetos e,assim, é mais eficiente do que um aparelho de decodificação de áudio convencional emtermos de complexidade.

O aparelho de decodificação de áudio 140 é considerado eficiente quando a quanti-dade de computação exigida para calcular informação de parâmetro espacial corresponden-te a cada uma de uma caixa OTT e de uma caixa TTT por meio da análise da informaçãocomplementar e da informação de controle transmitidas por um aparelho de codificação deáudio for menor do que a quantidade de computação exigida para realizar uma operação deconversão de canais / renderização depois da decodificação de cada sinal de objeto.

O aparelho de decodificação de áudio 140 pode ser obtido simplesmente pela adi-ção de um módulo para gerar informação de parâmetro espacial por meio da análise da in-formação complementar e da informação de controle em um aparelho típico de decodifica-ção de áudio multicanais e, assim, pode manter a compatibilidade com um aparelho típicode decodificação de áudio multicanais. Também, o aparelho de decodificação de áudio 140pode melhorar a qualidade de som usando ferramentas existentes de um aparelho típico dedecodificação de áudio multicanais, tais como um formador de envelope, uma ferramenta deprocessamento temporal de sub-banda (STP) e um decorrelator. Dado tudo isto, conclui-seque todas as vantagens de um método típico de decodificação de áudio multicanais podemser prontamente aplicadas a um método de decodificação de áudio objeto.

Informação de parâmetro espacial transmitida ao decodificador multicanais 141 peloconversor de parâmetro 145 pode ter sido comprimida para ser adequada para ser transmi-tida. Alternativamente, a informação de parâmetro espacial pode ter o mesmo formato da-quela dos dados transmitidos por um aparelho típico de codificação multicanais. Isto é, ainformação de parâmetro espacial pode ter sido sujeita a uma operação de decodificaçãoHuffman ou a uma operação de decodificação piloto e, assim, pode ser transmitida a cadamódulo como dados espaciais marcados não comprimidos. O anterior é adequado paratransmitir a informação de parâmetro espacial a um aparelho de decodificação de áudio mul-ticanais em um local remoto, e este último é conveniente em virtude de não haver necessi-dade de um aparelho de decodificação de áudio multicanais para converter dados espaciaismarcados comprimidos em dados espaciais marcados não comprimidos que podem serprontamente usados em uma operação de decodificação.

A configuração da informação de parâmetro espacial com base na análise da infor-mação complementar e na informação de controle pode ocasionar um atraso entre um sinalconvertido para menos canais e a informação de parâmetro espacial. A fim de abordar esteproblema, um armazenamento temporário adicional pode ser fornecido tanto para um sinalconvertido para menos canais quanto para a informação de parâmetro espacial para que osinal convertido para menos canais e a informação de parâmetro espacial possam ser sin-cronizados entre si. Entretanto, estes métodos são inconvenientes em virtude da exigênciade fornecer um armazenamento temporário adicional. Alternativamente, a informação com-plementar pode ser transmitida à frente de um sinal convertido para menos canais em con-sideração da possibilidade de ocorrência de um atraso entre um sinal convertido para me-nos canais e a informação de parâmetro espacial. Neste caso, a informação de parâmetroespacial obtida pela combinação da informação complementar e da informação de controlenão precisa ser ajustada, mas pode ser prontamente usada.

Se uma pluralidade de sinais de objetos de um sinal convertido para menos canaistiver diferentes níveis, um módulo de ganhos de conversão para menos canais artística(ADG), que pode compensar diretamente o sinal convertido para menos canais, pode de-terminar os níveis relativos dos sinais de objetos, e cada um dos sinais de objetos pode seralocado em uma posição pré-determinada em um espaço multicanais usando dados espaci-ais marcados, tais como informação de diferença de nível de canal, informação de correla-ção intercanais (ICC), e informação de coeficiente de prognóstico de canal (CPC).

Por exemplo, se informação de controle indicar que um sinal de objeto pre-determinado deve ser alocado em uma posição pré-determinada em um espaço multicanaise tiver um nível superior ao dos outros sinais de objetos, um decodificador multicanais típicopode calcular a diferença entre as energias dos canais de um sinal convertido para menoscanais e dividir o sinal convertido para menos canais em inúmeros canais de saída com ba-se nos resultados do cálculo. Entretanto, um decodificador multicanais típico não pode au-mentar ou reduzir o volume de certo som em um sinal convertido para menos canais. Emoutras palavras, um decodificador multicanais típico simplesmente distribui um sinal conver-tido para menos canais a inúmeros canais de saída e, assim, não pode aumentar ou reduziro volume de um som no sinal convertido para menos canais.

É relativamente fácil alocar cada um dos inúmeros sinais de objetos de um sinalconvertido para menos canais gerado por um codificador de objeto em uma posição pré-determinada em um espaço multicanais de acordo com a informação de controle. Entretan-to, técnicas espaciais são exigidas para aumentar ou reduzir a amplitude de um sinal deobjeto pré-determinado. Em outras palavras, se um sinal convertido para menos canais ge-rado por um codificador de objeto for usado como ele é, é difícil reduzir a amplitude de cadasinal de objeto do sinal convertido para menos canais.

Portanto, de acordo com uma modalidade da presente invenção, as amplitudes re-lativas dos sinais de objetos podem variar de acordo com a informação de controle usandoum módulo ADG 147 ilustrado na figura 8. Mais especificamente, a amplitude de qualquerum de uma pluralidade de sinais de objetos de um sinal convertido para menos canaistransmitido por um codificador de objeto pode ser aumentada ou reduzida usando o móduloADG 147. Um sinal convertido para menos canais obtido pela compensação realizada pelomódulo ADG 147 pode ser sujeita à decodificação multicanais.

Se as amplitudes relativas dos sinais de objetos de um sinal convertido para menoscanais forem apropriadamente ajustadas usando o módulo ADG 147, é possível realizardecodificação de objeto usando um decodificador multicanais típico. Se um sinal convertidopara menos canais gerado por um codificador de objeto for um sinal mono ou estéreo ou umsinal multicanais com três ou mais canais, o sinal convertido para menos canais pode serprocessado pelo módulo ADG 147. Se um sinal convertido para menos canais gerado porum codificador de objeto tiver dois ou mais canais, e um sinal de objeto pré-determinado queprecisa ser ajustado pelo módulo ADG 147 existir somente em um dos canais do sinal con-vertido para menos canais, o módulo ADG 147 pode ser aplicado somente no canal queinclui o sinal de objeto pré-determinado em vez de ser aplicado em todos os canais do sinalconvertido para menos canais. Um sinal convertido para menos canais processado pelomódulo ADG 147 da maneira supradescrita pode ser prontamente processado usando umdecodificador multicanais típico sem a necessidade de modificar a estrutura do decodificadormulticanais.

Mesmo quando um sinal de saída final não for um sinal multicanais que pode serreproduzido por um alto-falante multicanais, mas for um sinal binaural, o módulo ADG 147pode ser usado para ajustar as amplitudes relativas dos sinais de objetos do sinal de saída20 final.

Alternativamente ao uso do módulo ADG 147, informação de ganho que especificaum valor de ganho a ser aplicado em cada sinal de objeto pode ser incluído na informaçãode controle durante a geração de inúmeros sinais de objetos. Para isto, a estrutura de umdecodificador multicanais típico pode ser modificada. Mesmo embora exija a modificação25 para a estrutura de um decodificador multicanais existente, este método é conveniente emtermos de redução da complexidade da decodificação pela aplicação de um valor de ganhopara cada sinal de objeto durante a operação de decodificação sem a necessidade de calcu-lar ADG e para compensar cada sinal de objeto.

A figura 9 é um diagrama de blocos de um aparelho de decodificação de áudio 15030 de acordo com uma quarta modalidade da presente invenção. Em relação à figura 9, o apa-relho de decodificação de áudio 150 é caracterizado pela geração de um sinal binaural.

Mais especificamente, o aparelho de decodificação de áudio 150 inclui um decodifi-cador binaural multicanais 151, um primeiro conversor de parâmetro 157 e um segundoconversor de parâmetro 159.35 O segundo conversor de parâmetro 159 analisa a informação complementar e a in-

formação de controle que são fornecidas por um aparelho de codificação de áudio e configu-ra informação de parâmetro espacial com base no resultado da análise. O primeiro conver-sor de parâmetro 157 configura informação de parâmetro binaural que pode ser usada pelodecodificador binaural multicanais 151 pela adição de informação tridimensional (3D), taiscomo parâmetros de função de transferência relacionada a cabeçalho (HRTF), na informa-ção de parâmetro espacial. O decodificador binaural multicanais 151 gera um sinal tridimen-sional (3D) virtual pela aplicação da informação de parâmetro 3D virtual em um sinal conver-tido para menos canais.

O primeiro conversor de parâmetro 157 e o segundo conversor de parâmetro 159podem ser substituídos por um único módulo, isto é, um módulo de conversão de parâmetro155 que recebe a informação complementar, a informação de controle e os parâmetrosHRTF, e configura a informação de parâmetro binaural com base na informação comple-mentar, na informação de controle e nos parâmetros HRTF.

Convencionalmente, a fim de gerar um sinal binaural para a reprodução de um sinalconvertido para menos canais que inclui 10 sinais de objetos com um fone de ouvido, umsinal de objeto deve gerar 10 sinais decodificados respectivamente correspondentes aos 10sinais de objetos com base no sinal convertido para menos canais e na informação comple-mentar. Posteriormente, um renderizador aloca cada um dos 10 sinais de objetos em umaposição pré-determinada em um espaço multicanais em relação à informação de controlepara se adequar a um ambiente de alto-falante de 5 canais. Posteriormente, o renderizadorgera um sinal de 5 canais que pode ser reproduzido usando um alto-falante de 5 canais.Posteriormente, o renderizador aplica parâmetros HRTF em um sinal de 5 canais, dessemodo, gerando um sinal de 2 canais. Em resumo, o método convencional de decodificaçãode áudio supramencionado inclui reproduzir 10 sinais de objetos, converter os 10 sinais deobjetos em um sinal de 5 canais, e gerar um sinal de 2 canais com base no sinal de 5 canaise, assim, é ineficiente.

Por outro lado, o aparelho de decodificação de áudio 150 pode gerar prontamenteum sinal binaural que pode ser reproduzido usando um fone de ouvido com base em sinaisde áudio de objeto. Além do mais, o aparelho de decodificação de áudio 150 configura in-formação de parâmetro espacial por meio da análise de informação complementar e de in-formação de controle e, assim, pode gerar um sinal binaural usando um decodificador binau-ral multicanais típico. Além do mais, o aparelho de decodificação de áudio 150 ainda podeusar um decodificador binaural multicanais típico mesmo quando é equipado com um con-versor de parâmetro incorporado que recebe informação complementar, informação de con-trole e parâmetros HRTF, e configura informação de parâmetro binaural com base na infor-mação complementar, na informação de controle e nos parâmetros HRTF.

A figura 10 é um diagrama de blocos de um aparelho de decodificação de áudio160 de acordo com uma quinta modalidade da presente invenção. Em relação à figura 10, oaparelho de decodificação de áudio 160 inclui um processador de conversão para menoscanais 161, um decodificador multicanais 163 e um conversor de parâmetro 165. O proces-sador de conversão para menos canais 161 e o conversor de parâmetro 163 podem sersubstituídos por um único módulo 167.

O conversor de parâmetro 165 gera informação de parâmetro espacial, que pode ser usada pelo decodificador multicanais 163, e informação de parâmetro, que pode ser u-sada pelo processador de conversão para menos canais 161. O processador de conversãopara menos canais 161 realiza uma operação de pré-processamento em um sinal convertidopara menos canais e transmite um sinal convertido para menos canais resultante da opera-ção de pré-processamento ao decodificador multicanais 163. O decodificador multicanais 163 realiza uma operação de decodificação no sinal convertido para menos canais transmi-tido pelo processador de conversão para menos canais 161, desse modo, transmitindo umsinal estéreo, um sinal estéreo binaural ou um sinal multicanais. Exemplos da operação depré-processamento realizada pelo processador de conversão para menos canais 161 inclu-em a modificação ou conversão de um sinal convertido para menos canais em um domínio temporal ou em um domínio de freqüência usando filtragem.

Se um sinal convertido para menos canais inserido no aparelho de decodificação deáudio 160 for um sinal estéreo, o sinal convertido para menos canais pode ter que ser sujei-to ao pré-processamento de conversão para menos canais realizado pelo processador deconversão para menos canais 161 antes de ser inserido no decodificador multicanais 163 em virtude de o decodificador multicanais 163 não poder mapear um componente do sinalconvertido para menos canais correspondente a um canal esquerdo, que é um dos múltiploscanais, até um canal direito, que é um outro dos múltiplos canais. Posteriormente, a fim dedeslocar a posição de um sinal de objeto classificado no canal esquerdo na direção do canaldireito, o sinal convertido para menos canais inserido no aparelho de decodificação de áudio 160 pode ser pré-processado pelo processador de conversão para menos canais 161, e osinal convertido para menos canais pré-processado pode ser inserido no decodificador mul-ticanais 163.

O pré-processamento de um sinal convertido para menos canais estéreo pode serrealizado com base na informação de pré-processamento obtida da informação complemen- tar e da informação de controle.

A figura 11 é um diagrama de blocos de um aparelho de decodificação de áudio170 de acordo com uma sexta modalidade da presente invenção. Em relação à figura 11, oaparelho de decodificação de áudio 170 inclui um decodificador multicanais 171, um proces-sador de canal 173 e um conversor de parâmetro 175.

O conversor de parâmetro 175 gera informação de parâmetro espacial, que podeser usada pelo decodificador multicanais 173, e informação de parâmetro, que pode ser u-sada pelo processador de canal 173. O processador de canal 173 realiza uma operação depós-processamento em um sinal transmitido pelo decodificador multicanais 173. Exemplosdo sinal transmitido pelo decodificador multicanais 173 incluem um sinal estéreo, um sinalestéreo binaural e um sinal multicanais.

Exemplos da operação de pós-processamento realizada pelo pós-processador 173incluem a modificação e conversão de cada canal ou de todos os canais de um sinal de saí-da. Por exemplo, se a informação complementar incluir informação de freqüência fundamen-tal considerando um sinal de objeto pré-determinado, o processador de canal 173 pode re-mover componentes harmônicos do sinal de objeto pré-determinado em relação à informa-ção de freqüência fundamental. Um método de decodificação de áudio multicanais pode nãoser eficiente o suficiente para ser usado em um sistema de karaokê. Entretanto, se informa-ção de freqüência fundamental considerando sinais de objetos vocais for incluída na infor-mação complementar e componentes harmônicos dos sinais de objetos vocais forem remo-vidos durante uma operação de pós-processamento, é possível realizar um sistema de ka-raokê de alto desempenho usando a modalidade da figura 11. A modalidade da figura 11também pode ser aplicada a sinais de objetos diferentes dos sinais de objetos vocais. Porexemplo, é possível remover o som de um instrumento musical pré-determinado usando amodalidade da figura 11. Também, é possível amplificar componentes harmônicos pre-determinados usando informação de freqüência fundamental considerando sinais de objetosusando a modalidade da figura 11.

O processador de canal 173 pode realizar processamento de efeito adicional emum sinal convertido para menos canais. Alternativamente, o processador de canal 173 podeadicionar um sinal obtido pelo processamento de efeito adicional em um sinal transmitidopelo decodificador multicanais 171. O processador de canal 173 pode mudar o espectro deum objeto ou modificar um sinal convertido para menos canais sempre que necessário. Senão for apropriado realizar diretamente uma operação de processamento de efeito, tal comoreverberação em um sinal convertido para menos canais, e transmitir um sinal obtido pelaoperação de processamento de efeito ao decodificador multicanais 171, o processador deconversão para menos canais 173 pode adicionar o sinal obtido pela operação de proces-samento de efeito na saída do decodificador multicanais 171, em vez de realizar processa-mento de efeito no sinal convertido para menos canais.

O aparelho de decodificação de áudio 170 pode ser projetado para incluir não so-mente o processador de canal 173, mas também um processador de conversão para menoscanais. Neste caso, o processador de conversão para menos canais pode ficar disposto nafrente do decodificador multicanais 173, e o processador de canal 173 pode ficar dispostoatrás do decodificador multicanais 173.

A figura 12 é um diagrama de blocos de um aparelho de decodificação de áudio210 de acordo com uma sétima modalidade da presente invenção. Em relação à figura 12, oaparelho de decodificação de áudio 210 usa um decodificador multicanais 213, em vez deum decodificador de objeto.

Mais especificamente, o aparelho de decodificação de áudio 210 inclui o decodifi-cador multicanais 213, um transcodificador 215, um renderizador 217 e uma base de dadosde informação 3D 217.

O renderizador 217 determina as posições 3D de uma pluralidade de sinais de obje-tos com base na informação 3D correspondente aos dados de índice incluídos na informa-ção de controle. O transcodificador 215 gera informação complementar com base em canalsintetizando informação de posição considerando inúmeros sinais de áudio de objeto nosquais a informação 3D é aplicada pelo renderizador 217. O decodificador multicanais 213transmite um sinal 3D pela aplicação de informação complementar com base em canal emum sinal convertido para menos canais.

Uma função de transferência relacionada a cabeçalho (HRTF) pode ser usada co-mo a informação 3D. Uma HRTF é uma função de transferência que descreve a transmissãode ondas sonoras entre uma fonte de som em uma posição arbitrária e o tímpano, e retornaum valor que varia de acordo com a direção e a altitude da fonte de som. Se um sinal semdiretividade for filtrado usando a HRTF, o sinal pode ser ouvido como se ele fosse reprodu-zido a partir de uma certa direção.

Quando um fluxo contínuo de bits de entrada for recebido, o aparelho de decodifi-cação de áudio 210 extrai um sinal convertido para menos canais com base em objeto einformação de parâmetro com base em objeto a partir do fluxo contínuo de bits de entradausando um demultiplexador (não mostrado). Então, o renderizador 217 extrai dados de índi-ce da informação de controle, que são usados para determinar as posições de uma plurali-dade de sinais de áudio de objeto, e retira informação 3D correspondente aos dados de ín-dice extraídos da base de dados de informação 3D 219.

Mais especificamente, informação de parâmetro de conversão de canais, que é in-cluída na informação de controle que é usada pelo aparelho de decodificação de áudio 210,pode incluir não somente informação de nível, mas também dados de índice necessáriospara buscar informação 3D. A informação de parâmetro de conversão de canais tambémpode incluir informação de tempo considerando a diferença de tempo entre canais, informa-ção de posição e um ou mais parâmetros obtidos pela apropriada combinação da informa-ção de nível e da informação de tempo.

A posição de um sinal de áudio de objeto pode ser determinada inicialmente de a-cordo com informação de parâmetro de conversão de canais padrão, e pode ser mudadaposteriormente pela aplicação de informação 3D correspondente a uma posição desejadapor um usuário no sinal de áudio de objeto. Alternativamente, se o usuário desejar aplicarum efeito 3D somente em alguns sinais de áudio de objeto, informação de nível e informa-ção de tempo considerando outros sinais de áudio de objeto nos quais o usuário deseja nãoaplicar um efeito 3D podem ser usadas como informação de parâmetro de conversão decanais.

O transcodificador 217 gera informação complementar com base em canal conside-rando M canais sintetizando informação de parâmetro com base em objeto considerando Nsinais de objetos transmitidos por um aparelho de codificação de áudio e informação de po-sição de inúmeros sinais de objetos nos quais informação 3D, tal como uma HRTF1 é apli-cada pelo renderizador 217.

O decodificador multicanais 213 gera um sinal de áudio com base em um sinal con-vertido para menos canais e na informação complementar com base em canal fornecidapelo transcodificador 217, e gera um sinal multicanais 3D pela realização de uma operaçãode renderização 3D usando informação 3D incluída na informação complementar com baseem canal.

A figura 13 é um diagrama de blocos de um aparelho de decodificação de áudio220 de acordo com uma oitava modalidade da presente invenção. Em relação à figura 13, oaparelho de decodificação de áudio 220 é diferente do aparelho de decodificação de áudio210 ilustrado na figura 12 em que o transcodificador 225 transmite informação complemen-tar com base em canal e informação 3D separadamente a um decodificador multicanais 223.Em outras palavras, o transcodificador 225 do aparelho de decodificação de áudio 220 ob-tém informação complementar com base em canal considerando M canais da informação deparâmetro com base em objeto considerando N sinais de objetos, e transmite a informaçãocomplementar com base em canal e informação 3D, que é aplicada em cada um dos N si-nais de objetos, ao decodificador multicanais 223, enquanto que o transcodificador 217 doaparelho de decodificação de áudio 210 transmite informação complementar com base emcanal, incluindo informação 3D, ao decodificador multicanais 213.

Em relação à figura 14, informação complementar com base em canal e informação3D podem incluir uma pluralidade de índices de quadro. Assim, o decodificador multicanais223 pode sincronizar a informação complementar com base em canal e a informação 3D emrelação aos índices de quadro de cada uma da informação complementar com base em ca-nal e da informação 3D e, assim, pode aplicar informação 3D em um quadro de um fluxocontínuo de bits correspondente à informação 3D. Por exemplo, informação 3D com índice 2pode ser aplicada no início do quadro 2 com o índice 2.

Já que tanto informação complementar com base em canal quanto informação 3Dincluem índices de quadro, é possível determinar efetivamente uma posição temporal dainformação complementar com base em canal na qual a informação 3D deve ser aplicada,mesmo se a informação 3D for atualizada durante o tempo. Em outras palavras, o transcodi-ficador 225 inclui informação 3D e inúmeros índices de quadro na informação complementarcom base em canal e, assim, o decodificador multicanais 223 pode sincronizar facilmente ainformação complementar com base em canal e a informação 3D.

O processador de conversão para menos canais 231, o transcodificador 235, o ren-derizador 237 e a base de dados de informação 3D podem ser substituídos por um únicomódulo 239.

A figura 15 é um diagrama de blocos de um aparelho de decodificação de áudio230 de acordo com uma nona modalidade da presente invenção. Em relação à figura 15, oaparelho de decodificação de áudio 230 é diferenciado do aparelho de decodificação de áu-dio 220 ilustrado na figura 14 pela inclusão adicional de um processador de conversão paramenos canais 231.

Mais especificamente, o aparelho de decodificação de áudio 230 inclui um transco-dificador 235, um renderizador 237, uma base de dados de informação 3D 239, um decodifi-cador multicanais 233 e o processador de conversão para menos canais 231. O transcodifi-cador 235, o renderizador 237, a base de dados de informação 3D 239 e o decodificadormulticanais 233 são os mesmos das suas respectivas contrapartes ilustradas na figura 14. Oprocessador de conversão para menos canais 231 realiza uma operação de pré-processamento em um sinal convertido para menos canais estéreo para ajuste de posição.A base de dados de informação 3D 239 pode ser incorporada no renderizador 237. Um mó-dulo para aplicar um efeito pré-determinado em um sinal convertido para menos canais tam-bém pode ser fornecido no aparelho de decodificação de áudio 230.

A figura 16 ilustra um diagrama de blocos de um aparelho de decodificação de áu-dio 240 de acordo com uma décima modalidade da presente invenção. Em relação à figura16, o aparelho de decodificação de áudio 240 é diferenciado do aparelho de decodificaçãode áudio 230 ilustrado na figura 15 pela inclusão de um combinador de unidade de controlemultipontos 241.

Isto é, o aparelho de decodificação de áudio 240, como o aparelho de decodificaçãode áudio 230, inclui um processador de conversão para menos canais 243, um decodificadormulticanais 244, um transcodificador 245, um renderizador 247 e uma base de dados deinformação 3D 249. O combinador de unidade de controle multipontos 241 combina umapluralidade de fluxos contínuos de bits obtida pela codificação com base em objeto, dessemodo, obtendo um único fluxo contínuo de bits. Por exemplo, quando um primeiro fluxo con-tínuo de bits para um primeiro sinal de áudio e um segundo fluxo contínuo de bits para umsegundo sinal de áudio forem inseridos, o combinador de unidade de controle multipontos241 extrai um primeiro sinal convertido para menos canais do primeiro fluxo contínuo de bits,extrai um segundo sinal convertido para menos canais do segundo fluxo contínuo de bits egera um terceiro sinal convertido para menos canais pela combinação dos primeiro e se-gundo sinais convertidos para menos canais. Além do mais, o combinador de unidade decontrole multipontos 241 extrai a primeira informação complementar com base em objeto doprimeiro fluxo contínuo de bits, extrai a segunda informação complementar com base emobjeto do segundo fluxo contínuo de bits, e gera a terceira informação complementar combase em objeto pela combinação da primeira informação complementar com base em objetoe da segunda informação complementar com base em objeto. Posteriormente, o combinadorde unidade de controle multipontos 241 gera um fluxo contínuo de bits pela combinação doterceiro sinal convertido para menos canais e da terceira informação complementar combase em objeto, e transmite o fluxo contínuo de bits gerado.

Portanto, de acordo com a décima modalidade da presente invenção, é possívelprocessar eficientemente sinais uniformes transmitidos por dois ou mais parceiros de comu-nicação, se comparado com o caso da codificação e decodificação de cada sinal de objeto.

A fim de que o combinador de unidade de controle multipontos 241 incorpore umapluralidade de sinais convertidos para menos canais, que são respectivamente extraídos deuma pluralidade de fluxos contínuos de bits e são associados com diferentes codecs decompressão, em um único sinal convertido para menos canais, os sinais convertidos paramenos canais podem precisar ser convertidos em sinais de modulação por código de pulso(PCM) ou sinais em um domínio de freqüência pré-determinado de acordo com os tipos decodecs de compressão dos sinais convertidos para menos canais, os sinais PCM ou os si-nais obtidos pela conversão podem precisar ser juntamente combinados, e um sinal obtidopela combinação pode precisar ser convertido usando um codec de compressão pré-determinado. Neste caso, pode ocorrer um atraso de acordo com se os sinais convertidospara menos canais estão incorporados em um sinal PCM ou em um sinal no domínio defreqüência pré-determinado. Entretanto, o atraso pode não ser capaz de ser apropriadamen-te estimado por um decodificador. Portanto, o atraso pode precisar ser incluído em um fluxocontínuo de bits e transmitido juntamente com o fluxo contínuo de bits. O atraso pode indicaro número de amostras de atraso em um sinal PCM ou o número de amostras de atraso nodomínio de freqüência pré-determinado.

Durante a operação de codificação de áudio com base em objeto, algumas vezes,um número considerável de sinais de entrada pode precisar ser processado, se comparadocom o número de sinais de entrada, no geral, processados durante uma operação típica decodificação multicanais (por exemplo, uma operação de codificação de 5.1 canais ou de 7.1canais). Portanto, um método de codificação de áudio com base em objeto exige taxas debit muito maiores do que as de um método típico de codificação de áudio multicanais combase em canal. Entretanto, já que um método de codificação de áudio com base em objetoenvolve o processamento de sinais de objetos que são menores do que os sinais de canal, épossível gerar sinais de saída dinâmicos usando um método de codificação de áudio combase em objeto.Um método de codificação de áudio de acordo com uma modalidade da presenteinvenção será descrito com detalhes a seguir em relação às figuras 17 até 20.

Em um método de codificação de áudio com base em objeto, sinais de objetos po-dem ser definidos para representar sons individuais, tais como a voz de um ser humano ouo som de um instrumento musical. Alternativamente, sons com características similares, taiscomo os sons de instrumentos musicais de cordas (por exemplo, um violino, uma viola e umvioloncelo), sons que pertencem à mesma faixa de freqüência ou sons classificados namesma categoria de acordo com as direções e ângulos das suas fontes de som, podem serjuntamente agrupados e definidos pelos mesmos sinais de objetos. Ainda alternativamente,sinais de objetos podem ser definidos usando a combinação dos métodos supradescritos.

Inúmeros sinais de objetos podem ser transmitidos como um sinal convertido paramenos canais e informação complementar. Durante a criação da informação a ser transmiti-da, a energia ou potência de um sinal convertido para menos canais ou de cada um de umapluralidade de sinais de objetos do sinal convertido para menos canais são originalmentecalculadas com o propósito de detectar o envelope do sinal convertido para menos canais.Os resultados do cálculo podem ser usados para transmitir os sinais de objetos ou o sinalconvertido para menos canais ou para calcular a taxa dos níveis dos sinais de objetos.

Um algoritmo de codificação preditiva linear (LPC) pode ser usado em taxas de bitmais baixas. Mais especificamente, inúmeros coeficientes LPC, que representam o envelopede um sinal, são gerados por meio da análise do sinal, e os coeficientes LPC são transmiti-dos, em vez de transmitir informação de envelope relacionada ao sinal. Este método é efici-ente em termos de taxas de bit. Entretanto, já que é muito provável que os coeficientes LPCsejam discrepantes do envelope atual do sinal, este método exige um processo adicional, talcomo correção de erro. Em resumo, um método que envolve transmitir informação de enve-lope de um sinal pode garantir uma alta qualidade de som, mas resulta em um considerávelaumento na quantidade de informação que precisa ser transmitida. Por outro lado, um mé-todo que envolve o uso dos coeficientes LPC pode reduzir a quantidade de informação queprecisa ser transmitida, mas exige um processo adicional, tal como correção de erro, e re-sulta em uma diminuição na qualidade do som.

De acordo com uma modalidade da presente invenção, uma combinação destesmétodos pode ser usada. Em outras palavras, o envelope de um sinal pode ser representa-do pela energia ou pela potência do sinal ou por um valor de índice ou por um outro valor, talcomo um coeficiente LPC correspondente à energia ou à potência do sinal.

Informação de envelope relacionada a um sinal pode ser obtida em unidades deseções temporais ou de seções de freqüência. Mais especificamente, em relação à figura17, informação de envelope relacionada a um sinal pode ser obtida em unidades de quadro.Alternativamente, se um sinal for representado por uma estrutura de faixa de freqüência u-sando um banco de filtro, tal como um banco de filtro em espelho de quadratura (QMF), in-formação de envelope relacionada a um sinal pode ser obtida em unidades de sub-bandasde freqüência, de partições de sub-banda de freqüência, que são entidades menores do quesub-bandas de freqüência, de grupos de sub-bandas de freqüência ou de grupos de parti-ções de sub-banda de freqüência. Ainda alternativamente, uma combinação do método combase em quadro, do método com base em sub-banda de freqüência, e do método com baseem partição de sub-banda de freqüência pode ser usada no escopo da presente invenção.

Ainda alternativamente, dado que, no geral, os componentes de baixa freqüênciade um sinal têm mais informação do que os componentes de alta freqüência do sinal, infor-mação de envelope relacionada aos componentes de baixa freqüência de um sinal pode sertransmitida como ela está, enquanto que informação de envelope relacionada aos compo-nentes de alta freqüência do sinal pode ser representada pelos coeficientes LPC ou por ou-tros valores, e os coeficientes LPC ou outros valores podem ser transmitidos em vez da in-formação de envelope relacionada aos componentes de alta freqüência do sinal. Entretanto,componentes de baixa freqüência de um sinal podem, não necessariamente, ter mais infor-mação do que componentes de alta freqüência do sinal. Portanto, o método supradescritodeve ser flexivelmente aplicado de acordo com as circunstâncias.

De acordo com uma modalidade da presente invenção, informação de envelope oudados de índice correspondentes a uma parte (doravante referida como a parte dominante)de um sinal que aparece dominante em um eixo geométrico de tempo / freqüência podemser transmitidos, e nenhum da informação de envelope e dos dados de índice corresponden-tes a uma parte não dominante do sinal pode ser transmitido. Alternativamente, valores (porexemplo, coeficientes LPC) que representam a energia e a potência da parte dominante dosinal podem ser transmitidos, e nenhum de tais valores correspondentes à parte não domi-nante do sinal pode ser transmitido. Ainda alternativamente, informação de envelope ou da-dos de índice correspondentes à parte dominante do sinal podem ser transmitidos, e valoresque representam a energia ou a potência da parte não dominante do sinal podem ser trans-mitidos. Ainda alternativamente, informação relacionada somente à parte dominante do sinalpode ser transmitida para que a parte não dominante do sinal possa ser estimada com basena informação relacionada à parte dominante do sinal. Ainda alternativamente, uma combi-nação dos métodos supradescritos pode ser usada.

Por exemplo, em relação à figura 18, se um sinal for dividido em um período domi-nante e em um período não dominante, informação relacionada ao sinal pode ser transmiti-da de quatro maneiras diferentes, indicadas por (a) até (d).

A fim de transmitir inúmeros sinais de objetos como a combinação de um sinal con-vertido para menos canais e de informação complementar, o sinal convertido para menoscanais precisa ser dividido em uma pluralidade de elementos como parte de uma operaçãode decodificação, por exemplo, em consideração à taxa dos níveis dos sinais de objetos. Afim de garantir independência entre os elementos do sinal convertido para menos canais,uma operação de decorrelação precisa ser adicionalmente realizada.

Outros sinais, que são as unidades de codificação em um método de codificaçãocom base em objeto, têm mais independência do que sinais de canal, que são as unidadesde codificação em um método de corpo de medição. Em outras palavras, um sinal de canalinclui inúmeros sinais de objetos e, assim, precisa ser decorrelacionado. Por outro lado, si-nais de objetos são independentes entre si e, assim, a separação de canal pode ser facil-mente realizada simplesmente pelo uso das características dos sinais de objetos sem umaexigência de uma operação de decorrelação.

Mais especificamente, em relação à figura 19, sinais de objetos A, B e C alternamentre si para aparecer dominantes em um eixo geométrico de freqüência. Neste caso, nãohá necessidade de dividir um sinal convertido para menos canais em inúmeros sinais deacordo com a taxa de níveis dos sinais de objetos A, B e C e de realizar decorrelação. Emvez disto, informação relacionada aos períodos dominantes dos sinais de objetos A, B e Cpode ser transmitida, ou um valor de ganho pode ser aplicado em cada componente de fre-qüência de cada um dos sinais de objetos A, B e C1 desse modo, pulando a decorrelação.Portanto, é possível reduzir a quantidade de computação e reduzir a taxa de bit pela quanti-dade que, em outras circunstâncias, teriam sido exigidas pela informação complementarnecessária para decorrelação.

Em resumo, a fim de pular a decorrelação, que é realizada para garantir indepen-dência entre inúmeros sinais obtidos pela divisão de um sinal convertido para menos canaisde acordo com a taxa das taxas dos sinais de objetos do sinal convertido para menos ca-nais, informação relacionada a um domínio de freqüência que inclui cada sinal de objetopode ser transmitida como informação complementar. Alternativamente, diferentes valoresde ganho podem ser aplicados a um período dominante, durante o qual cada sinal de objetoaparece dominante, e um período não dominante, durante o qual cada sinal de objeto apa-rece menos dominante, e, assim, informação relacionada ao período dominante pode serfornecida principalmente como informação complementar. Ainda alternativamente, a infor-mação relacionada ao período dominante pode ser transmitida como informação comple-mentar, e nenhuma informação relacionada ao período não dominante pode ser transmitida.Ainda alternativamente, uma combinação dos métodos supradescritos, que são alternativasa um método de decorrelação, pode ser usada.

Os métodos supradescritos, que são alternativas a um método de decorrelação,podem ser aplicados a todos os sinais de objetos ou somente a alguns sinais de objetoscom períodos dominantes facilmente distinguíveis. Também, os métodos supradescritos,que são alternativas a um método de decorrelação, podem ser variavelmente aplicados emunidades de quadros.

A codificação dos sinais de áudio de objeto usando um sinal residual será descritacom detalhes a seguir.

No geral, em um método de codificação de áudio com base em objeto, inúmeros si-nais de objetos são codificados, e os resultados da codificação são transmitidos como acombinação de um sinal convertido para menos canais e de informação complementar. En-tão, inúmeros sinais de objetos são restaurados a partir do sinal convertido para menos ca-nais por meio de decodificação de acordo com a informação complementar, e os sinais deobjetos restaurados são apropriadamente convertidos, por exemplo, na solicitação de umusuário de acordo com a informação de controle, desse modo, gerando um primeiro sinal decanal. No geral, um método de codificação de áudio com base em objeto alveja variar livre-mente um sinal de canal de saída de acordo com a informação de controle com o auxílio deum conversor de canais. Entretanto, um método de codificação de áudio com base em obje-to também pode ser usado para gerar uma saída de canal de uma maneira pré-definida,independente da informação de controle.

Para isto, informação complementar pode incluir não somente informação necessá-ria para obter inúmeros sinais de objetos de um sinal convertido para menos canais, mastambém informação de parâmetro de conversão de canais necessária para gerar um sinalde canal. Assim, é possível gerar um sinal de saída de canal final sem o auxílio de um con-versor de canais. Neste caso, um algoritmo, tal como codificação residual, pode ser usadopara melhorar a qualidade do som.

Um método típico de codificação residual inclui codificar um sinal e codificar o erroentre o sinal codificado e o sinal original, isto é, um sinal residual. Durante uma operação dedecodificação, o sinal codificado é decodificado durante a compensação do erro entre o si-nal codificado e o sinal original, desse modo, restaurando um sinal que é tão similar ao sinaloriginal quanto possível. Já que, no geral, o erro entre o sinal codificado e o sinal original éinsignificante, é possível reduzir a quantidade de informação adicionalmente necessária pa-ra realizar codificação residual.

Se uma saída de canal final de um decodificador for fixa, não somente a informaçãode parâmetro de conversão de canais necessária para gerar um sinal de canal final, mastambém informação de codificação residual, pode ser fornecida como informação comple-mentar. Neste caso, é possível melhorar a qualidade do som.

A figura 20 é um diagrama de blocos de um aparelho de codificação de áudio 310de acordo com uma modalidade da presente invenção. Em relação à figura 20, o aparelhode codificação de áudio 310 é caracterizado pelo uso de um sinal residual.

Mais especificamente, o aparelho de codificação de áudio 310 inclui um codificador311, um decodificador 313, um primeiro conversor de canais 315, um segundo conversor decanais 319, um somador 317 e um gerador de fluxo contínuo de bits 321.

O primeiro conversor de canais 315 realiza uma operação de conversão de canaisem um sinal original, e o segundo conversor de canais 319 realiza uma operação de conver-são de canais em um sinal obtido pela realização de uma operação de codificação e, então,uma operação de decodificação no sinal original. O somador 317 calcula um sinal residualentre uma saída de sinal pelo primeiro conversor de canais 315 e uma saída de sinal pelosegundo conversor de canais 319. O gerador de fluxo contínuo de bits 321 adiciona o sinalresidual à informação complementar e transmite o resultado da adição. Desta maneira, épossível melhorar a qualidade do som.

O cálculo de um sinal residual pode ser aplicado a todas as partes de um sinal ousomente às partes de baixa freqüência de um sinal. Alternativamente, o cálculo de um sinalresidual pode ser variavelmente aplicado somente em domínios de freqüência que incluemsinais dominantes em uma base quadro a quadro. Ainda alternativamente, uma combinaçãodos métodos supradescritos pode ser usada.

Já que a quantidade de informação complementar que inclui informação de sinalresidual é muito maior do que a quantidade de informação complementar que não inclui ne-nhuma informação de sinal residual, o cálculo de um sinal residual pode ser aplicado so-mente a algumas partes de um sinal que afeta diretamente a qualidade do som, desse mo-do, impedindo um aumento excessivo na taxa de bit. A presente invenção pode ser realiza-da como um código legível por computador escrito em uma mídia de gravação legível porcomputador. A mídia de gravação legível por computador pode ser qualquer tipo de disposi-tivo de gravação no qual dados são armazenados de uma maneira legível por computador.Exemplos da mídia de gravação legível por computador incluem uma ROM, uma RAM, umCD-ROM, uma fita magnética, um disco flexível, um armazenamento ótico de dados e umaonda portadora (por exemplo, transmissão de dados por meio da Internet). A mídia de gra-vação legível por computador pode ser distribuída por uma pluralidade de sistemas de com-putador conectada em uma rede para que o código legível por computador seja ali escrito eexecutado a partir dali de uma maneira descentralizada. Programas, código e segmentos decódigo funcionais necessários para realizar a presente invenção podem ser facilmente inter-pretados pelos versados na técnica.

APLICABILIDADE INDUSTRIAL

Da forma descrita anteriormente, de acordo com a presente invenção, imagens desom são localizadas para cada sinal de áudio de objeto pelo benefício proveniente das van-tagens dos métodos de codificação e de decodificação de áudio com base em objeto. As-sim, é possível oferecer sons mais realísticos por meio da reprodução dos sinais de áudiode objetos. Além do mais, a presente invenção pode ser aplicada a jogos interativos e, as-sim, pode fornecer a um usuário experiência de realidade virtual mais realística.Embora a presente invenção tenha sido particularmente mostrada e descrita em re-lação às suas modalidades exemplares, versados na técnica entendem que várias mudan-ças na forma e nos detalhes podem ser feitas sem fugir do espírito e do escopo da presenteinvenção, definidos pelas seguintes reivindicações.

Claims

1. Método de decodificação de áudio, CARACTERIZADO pelo fato de que compre-ende:gerar um terceiro sinal convertido para menos canais pela combinação de um pri-meiro sinal convertido para menos canais extraído de um primeiro sinal de áudio e de umsegundo sinal convertido para menos canais extraído de um segundo sinal de áudio;gerar terceira informação complementar com base em objeto pela combinação daprimeira informação complementar com base em objeto extraída do primeiro sinal de áudio eda segunda informação complementar com base em objeto extraída do segundo sinal deáudio;converter a terceira informação complementar com base em objeto em informaçãocomplementar com base em canal; egerar um sinal de áudio multicanais usando o terceiro sinal convertido para menoscanais e a informação complementar com base em canal.

2. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que compreende adicionalmente gerar um sinal de áudiomulticanais com um efeito tridimensional (3D) virtual nele aplicado pela aplicação de infor-mação 3D no sinal de áudio multicanais.

3. Método de decodificação de áudio, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que a informação complementar com base em canal com-preende a informação 3D.

4. Método de decodificação de áudio, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que a informação 3D compreende informação para sincro-nia com a informação complementar com base em canal.

5. Método de decodificação de áudio, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que a informação 3D é selecionada de uma base de dadosde informação 3D com base na informação de controle, a base de dados de informação 3Darmazenando uma pluralidade de partes de informação 3D.

6. Método de decodificação de áudio, de acordo com a reivindicação 2,CARACTERIZADO pelo fato de que a informação 3D compreende uma função de transfe-rência relacionada a cabeçalho (HRTF).

7. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que compreende adicionalmente, se o terceiro sinal conver-tido para menos canais for um sinal convertido para menos canais estéreo, modificar os si-nais de canal do terceiro sinal convertido para menos canais.

8. Método de decodificação de áudio, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de que compreende adicionalmente aplicar um efeito pré-determinado no sinal de áudio multicanais.

9. Aparelho de decodificação de áudio, CARACTERIZADO pelo fato de que com-preende:um combinador de unidade de controle multipontos que gera um terceiro sinal con-vertido para menos canais pela combinação de um primeiro sinal convertido para menoscanais extraído de um primeiro sinal de áudio e de um segundo sinal convertido para menoscanais extraído de um segundo sinal de áudio, e gera terceira informação complementarcom base em objeto pela combinação da primeira informação complementar com base emobjeto extraída do primeiro sinal de áudio e da segunda informação complementar com baseem objeto extraída do segundo sinal de áudio;um transcodificador que converte a terceira informação complementar com base emobjeto em informação complementar com base em canal; eum decodificador multicanais que gera um sinal de áudio multicanais usando o ter-ceiro sinal convertido para menos canais e a informação complementar com base em canal.

10. Aparelho de decodificação de áudio, de acordo com a reivindicação 9,CARACTERIZADO pelo fato de que o decodificador multicanais gera um sinal de áudio mul-ticanais no qual um efeito 3D virtual é aplicado pela aplicação de informação 3D no sinal deáudio multicanais.

11. Aparelho de decodificação de áudio, de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que o transcodificador gera informação complementar combase em canal, a informação complementar com base em canal compreendendo a informa-ção 3D.

12. Aparelho de decodificação de áudio, de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que o transcodificador gera informação para sincronia coma informação complementar com base em canal, a informação compreendendo a informa-ção 3D.

13. Aparelho de decodificação de áudio, de acordo com a reivindicação 12,CARACTERIZADO pelo fato de que compreende adicionalmente um renderizador que sele-ciona a informação 3D de uma base de dados de informação 3D com base em informaçãode controle, e fornece a informação 3D ao transcodificador.

14. Aparelho de decodificação de áudio, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que a base de dados de informação 3D armazena uma plu-ralidade de partes de informação 3D.

15. Aparelho de decodificação de áudio, de acordo com a reivindicação 14,CARACTERIZADO pelo fato de que o renderizador compreende a base de dados de infor-mação 3D.

16. Aparelho de decodificação de áudio, de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que a informação 3D compreende uma HRTF.

17. Aparelho de decodificação de áudio, de acordo com a reivindicação 9,CARACTERIZADO pelo fato de que compreende adicionalmente, se o terceiro sinal conver-tido para menos canais for um sinal convertido para menos canais estéreo, um processadorde conversão para menos canais que modifica sinais de canal do terceiro sinal convertidopara menos canais pelos sinais decorrelacionados.

18. Aparelho de decodificação de áudio, de acordo com a reivindicação 9,CARACTERIZADO pelo fato de que compreende adicionalmente um processador de canalque aplica um efeito pré-determinado no sinal de áudio multicanais.

19. Mídia de gravação legível por computador com um método de decodificação deáudio nela gravado, CARACTERIZADA pelo fato de que compreende:gerar um terceiro sinal convertido para menos canais pela combinação de um pri-meiro sinal convertido para menos canais extraído de um primeiro sinal de áudio e de umsegundo sinal convertido para menos canais extraído de um segundo sinal de áudio;gerar terceira informação complementar com base em objeto pela combinação daprimeira informação complementar com base em objeto extraída do primeiro sinal de áudio eda segunda informação complementar com base em objeto extraída do segundo sinal deáudio;converter a terceira informação complementar com base em objeto em informaçãocomplementar com base em canal; egerar um sinal de áudio multicanais usando o terceiro sinal convertido para menoscanais e a informação complementar com base em canal.

20. Mídia de gravação legível por computador, de acordo com a reivindicação 19,CARACTERIZADA pelo fato de que o método de decodificação de áudio compreende adi-cionalmente gerar um sinal de áudio multicanais no qual um efeito 3D virtual é aplicado pelaaplicação de informação 3D no sinal de áudio multicanais.