BRPI0707136A2

BRPI0707136A2 - método e aparelho para processamento de um sinal de mìdia

Info

Publication number: BRPI0707136A2
Application number: BRPI0707136-1A
Authority: BR
Inventors: Hyen O Oh; Hee Suck Pang; Dong Soo Kim; Jae Hyun Lim; Yang Won Jung
Original assignee: Lg Electronics Inc
Priority date: 2006-01-19
Filing date: 2007-01-19
Publication date: 2011-04-19
Also published as: JP4801174B2; WO2007083959A1; US8351611B2; ES2446245T3; JP2009524341A; EP1974347A4; KR20080086548A; TWI333386B; EP1974345A1; WO2007083956A1; AU2007206195A1; KR100953640B1; US8411869B2; KR20080044866A; EP1979898B1; KR20080044865A; JP4814343B2; KR100953645B1; EP1974345A4; CA2636494C

Abstract

MéTODO E APARELHO PARA PROCESSAMENTO DE UM SINAL E MìDIA. Um aparelho para o processamento de um sinal de mídia e método do mesmo são descritos, pelos quais o sinal e mídia pode ser convertido em um sinal circundante pela utilização da informação espacial do sinal de mídia. A presente invenção fornece um método de processamento de um sinal, o método compreendendo a geração de informação de mapeamento de fonte correspondente a cada fonte dentre as múltiplas fontes pela utilização da informação espacial indicando as características entre as múltiplas fontes; a geração da informação de sub-renderização pela aplicação da informação e filtro fornecendo um efeito circundante à informação de mapeamento de fonte por fonte; a geração da informação de renderização para a geração de um sinal circundante pela integração de pelo menos uma dentre a informação de sub-renderização; e geração do sinal circundante pela aplicação a informação de renderização a um sinal de mistura descendente gerado pelo mistura descendente de múltiplas fontes.

Description

"MÉTODO E APARELHO PARA PROCESSAMENTO DE UM SINALDE MÍDIA"

Campo Técnico

A presente invenção refere-se a um aparelho para oprocessamento de um sinal de midia e método do mesmo, e maisparticularmente a um aparelho para a geração de um sinalcircundante pela utilização de informação espacial do sinalde mídia e método.

Técnica Fundamental

Geralmente, vários tipos de aparelhos e métodostêm sido amplamente utilizados para gerar um sinal de mídiade múltiplos canais pela utilização de informação espacialpara o sinal de mídia de múltiplos canais e um sinal de mis-tura descendente, no qual o sinal de mistura descendente égerado pela mistura descendente do sinal de mídia de múlti-plos canais em um sinal mono ou estéreo.

No entanto, os métodos e aparelhos acima não sãoutilizados em ambientes que não são adequados para a geraçãode um sinal de múltiplos canais. Por exemplo, não são utili-zados para um dispositivo capaz de gerar apenas um sinal es-téreo. Em outras palavras, não existem métodos ou aparelhospara a geração de um sinal circundante, no qual o sinal cir-cundante tenha características de multicanal no ambiente in-capaz de gerar sinal de múltiplos canais pela utilização dainformação espacial do sinal de múltiplos canais.

Logo, visto que não existe qualquer método ou apa-relho para a geração de um sinal circundante em um disposi-tivo capaz de gerar apenas um sinal mono ou estéreo, é difí-cil se processar o sinal de mídia de forma eficiente.

Descrição da Invenção

Problema Técnico

De acordo, a presente invenção é direcionada a umaparelho para o processamento de um sinal de mídia e métododo mesmo que substancialmente elimina um ou mais dos proble-mas devido às limitações e desvantagens da técnica relacionada.

Um objetivo da presente invenção é se fornecer umaparelho para o processamento de um sinal de mídia e método,por meio do qual o sinal de mídia pode ser convertido em umsinal circundante pela utilização da informação espacial pa-ra o sinal de mídia.

Características e vantagens adicionais da invençãoserão apresentadas em uma descrição que se segue, e em parteserão aparentes a partir da descrição, ou podem ser aprendi-das pela prática da invenção. Os objetivos e outras vanta-gens da invenção serão realizados e obtidos pela estruturaparticularmente destacada na descrição escrita e reivindica-ções além de nos desenhos em anexo.

Solução Técnica

Para se alcançar essas e outras vantagens e de a-cordo com a finalidade da presente invenção, um método deprocessamento de um sinal de acordo com a presente invençãoinclui: a geração de informação de mapeamento de fonte cor-respondente a cada fonte de múltiplas fontes pela utilizaçãodas características de indicação de informação espacial en-tre as múltiplas fontes; a geração de informação de sub-renderização pela aplicação de informação de filtro forne-cendo um efeito circundante à informação de mapeamento defonte por fonte; a geração de informação de renderização pa-ra a geração de um sinal circundante pela integração de pelomenos uma das informações de sub-renderização; e a geraçãode sinal circundante pela aplicação da informação de rende-rização a um sinal mistura descendente gerado pela misturadescendente de múltiplas fontes.

Para se alcançar adicionalmente essas e outrasvantagens e de acordo com a finalidade da presente invenção,um aparelho para o processamento de um sinal inclui uma uni-dade de mapeamento de fonte gerando a informação de mapea-mento de fonte correspondente a cada fonte das múltiplasfontes pela utilização de informação espacial indicando ascaracterísticas entre as múltiplas fontes; uma unidade degeração de informação de sub-renderização gerando informaçãode sub-renderização pela aplicação da informação de filtropossuindo um efeito circundante à informação de mapeamentode fonte por fonte; uma unidade de integração gerando a in-formação de renderização para geração e um sinal circundantepela integração da pelo menos uma das informações de sub-renderização; e uma unidade de renderização gerando o sinalcircundante pela aplicação de informação de renderização aum sinal de mistura descendente gerado pela mistura descen-dente de múltiplas fontes.

Deve-se compreender que ambas a descrição geralacima e a descrição detalhada a seguir são ilustrativas eexplicativas e devem fornecer explicação adicional da inven-ção como reivindicada.

Efeitos Vantajosos

Um aparelho e método de processamento de sinal deacordo com a presente invenção permitem que um decodifica-dor, que recebe uma seqüência de bits incluindo um sinalmistura descendente gerado pela mistura descendente de umsinal de múltiplos canais e informação espacial do sinal demúltiplos canais, gere um sinal possuindo um efeito circun-dante nos ambientes onde é incapaz de recuperar o sinal demúltiplos canais.

Breve Descrição dos Desenhos

Os desenhos em anexo, que são incluídos para for-necer uma melhor compreensão da invenção e que são incorpo-rados e constituem uma parte dessa especificação, ilustramas modalidades da invenção e juntamente com a descrição ser-vem para explicar os princípios da invenção.

Nos desenhos:

A Figura 1 é um diagrama em bloco de um aparelhode codificação de sinal de áudio e um aparelho de decodifi-cação de sinal de áudio de acordo com uma modalidade da pre-sente invenção;

A Figura 2 é um diagrama estrutural de uma seqüên-cia de bit de um sinal de áudio de acordo com uma modalidadeda presente invenção;

A Figura 3 é um diagrama em bloco detalhado de umaunidade de conversão de informação espacial de acordo comuma modalidade da presente invenção;A Figura 4 e a figura 5 são diagramas em bloco deconfigurações de canal utilizadas para processo de mapeamen-to de fonte de acordo com uma modalidade da presente inven-ção;

A Figura 6 e a figura 7 são diagramas em bloco de-talhados de uma unidade de renderização para um sinal demistura descendente estéreo de acordo com uma modalidade dapresente invenção;

A Figura 8 e a figura 9 são diagramas em bloco de-talhados de uma unidade de renderização para um sinal demistura descendente mono de acordo com uma modalidade dapresente invenção;

A Figura 10 e a figura 11 são diagramas em blocode uma unidade de suavização e uma unidade de expansão deacordo com uma modalidade da presente invenção;

A Figura 12 é um gráfico para explicar um primeirométodo de suavização de acordo com uma modalidade da presen-te invenção;

A Figura 13 é um gráfico para explicar um segundométodo de suavização de acordo com uma modalidade da presen-te invenção;

A Figura 14 é um gráfico para explicar um terceirométodo de suavização de acordo com uma modalidade da presen-te invenção;

A Figura 15 é um gráfico para explicar um quartométodo de suavização de acordo com uma modalidade da presen-te invenção;A Figura 16 é um gráfico para explicar um quintométodo de suavização de acordo com uma modalidade da presen-te invenção;

A Figura 17 é um diagrama para explicar a informa-ção de filtro de protótipo correspondente a cada canal;

A Figura 18 é um diagrama em bloco para um primei-ro método de geração de informação de filtro de renderizaçãoem uma unidade de conversão de informação espacial de acordocom uma modalidade da presente invenção;

A Figura 19 é um diagrama em bloco de um segundométodo de geração de informação de filtro de renderização emuma unidade de conversão de informação espacial de acordocom uma modalidade da presente invenção;

A Figura 20 é um diagrama em bloco de um terceirométodo de geração de informação de filtro de renderização emuma unidade de conversão de informação espacial de acordocom uma modalidade da presente invenção;

A Figura 21 é um diagrama para explicar um métodode geração de um sinal circundante em uma unidade de rende-rização de acordo com uma modalidade da presente invenção;

A Figura 22 é um diagrama de um primeiro método deinterpolação de acordo com uma modalidade da presente invenção;

A Figura 23 é um diagrama para um segundo métodode interpolação de acordo com uma modalidade da presente in-venção;A Figura 24 é um diagrama de um método de comuta-ção de bloco de acordo com uma modalidade da presente inven-ção;

A Figura 25 é um diagrama em bloco para uma posi-ção à qual um comprimento de janela decidido por uma unidadede decisão de comprimento de janela é aplico de acordo comuma modalidade da presente invenção;

A Figura 26 é um diagrama para filtros possuindovários comprimentos utilizados no processamento de um sinalde áudio de acordo com uma modalidade da presente invenção;

A Figura 27 é um diagrama para um método de pro-cessamento de um sinal de áudio de forma dividida pela uti-lização de uma pluralidade de sub-filtros de acordo com umamodalidade da presente invenção;

A Figura 2 8 é um diagrama em bloco de um método derenderização de informação de renderização de divisória ge-rada por uma pluralidade de sub-filtros para um sinal demistura descendente mono de acordo com uma modalidade dapresente invenção;

A Figura 29 é um diagrama e bloco de um método derenderização de informação de renderização de divisória ge-rada por uma pluralidade de sub-filtros para um sinal demistura descendente estéreo de acordo com uma modalidade dapresente invenção;

A Figura 30 é um diagrama em bloco de um primeirométodo de conversão de domínio de um sinal de mistura des-cendente de acordo com uma modalidade da presente invenção;eA Figura 31 é um diagrama em bloco de um segundométodo de conversão de domínio de um sinal de mistura des-cendente de acordo com uma modalidade da presente invenção.

Melhor Forma de Realização da Invenção

Será feita agora referência em detalhes às modali-dades preferidas da presente invenção, exemplos das quaissão ilustrados nos desenhos em anexo.

A Figura 1 é um diagrama em bloco de um aparelhode codificação de sinal de áudio e um aparelho de decodifi-cação de sinal de áudio de acordo com uma modalidade da pre-sente invenção.

Com referência à figura 1, um aparelho de codifi-cação 10 inclui uma unidade de mistura descendente 100, umaunidade de geração de informação espacial 200, uma unidadede codificação de sinal de mistura descendente 300, uma uni-dade de codificação de informação espacial 400, e uma unida-de de multiplexação 500.

Se um sinal de áudio de múltiplas fontes (XI,X2,...,Xn) for registrado na unidade de mistura descendente-ing 100, a unidade de mistura descendente 100 mistura des-cendente o sinal registrado em um sinal de mistura descen-dente. Nesse caso, o sinal de mistura descendente inclui umsinal de áudio, mono, estéreo e de múltiplas fontes.

A fonte inclui um canal e, de forma conveniente, érepresentada como um canal na descrição a seguir. Na presen-te especificação, o sinal de mistura descendente mono ou es-téreo é referido como uma referência. Porém, a presente in-venção não está limitada ao sinal de mistura descendente mo-no ou estéreo.

O aparelho de codificação 10 é capaz de utilizarde forma opcional um sinal de mistura descendente arbitráriofornecido diretamente a partir de um ambiente externo.

A unidade de geração de informação espacial 200gera informação espacial a partir de um sinal de áudio demúltiplos canais. A informação espacial pode ser gerada nocurso de um processo de mistura descendente. 0 sinal de mis-tura descendente gerado e a informação espacial são codifi-cados pela unidade de codificação de sinal de mistura des-cendente 300 e unidade de codificação de informação espacial400, respectivamente, e então são transferidos para a unida-de de multiplexação 500.

Na presente invenção, "informação espacial" signi-fica informação necessária para se gerar um sinal de múlti-plos canais a partir de uma upmixing de um sinal de misturadescendente por um aparelho de decodificação, no qual o si-nal de mistura descendente é gerado pela mistura descendentedo sinal de múltiplos canais por um aparelho de codificaçãoe transferindo o mesmo para o aparelho de decodificação. Ainformação espacial inclui parâmetros espaciais. Os parâme-tros espaciais incluem CLD (diferença de nivel de canal) in-dicando uma diferença de energia entre os canais, ICC (coe-rências inter-canal) indicando uma correlação entre os ca-nais, CPC (coeficientes de previsão de canal) utilizados nageração de três canais a partir de dois canais, etc.Na presente invenção, "unidade de codificação desinal de mistura descendente" ou "unidade de decodificaçãode sinal de sinal de mistura descendente" significa um codecque codifica ou decodifica um sinal de áudio ao invés de in-formação espacial. Na presente especificação, um sinal deáudio de mistura descendente é considerado um exemplo do si-nal de áudio ao invés da informação espacial. E, a unidadede codificação ou decodificação de sinal de mistura descen-dente pode incluir MP3, AC-3, DTS ou AAC. Ademais, a unidadede codificação ou decodificação de sinal de mistura descen-dente pode incluir um codec do futuro além do codec desen-volvido anteriormente.

A unidade de multiplexação 500 gera uma seqüênciade bit pela multiplexação do sinal de mistura descendente ea informação espacial e então transfere a seqüência de bitsgerada para o aparelho de decodificação 20. Além disso, aestrutura da seqüência de bit será explicada na figura 2posteriormente.

Um aparelho de decodificação 20 inclui uma unidadede desmultiplexação 600, uma unidade de decodificação de si-nal de mistura descendente 700, uma unidade de decodificaçãode informação espacial 800, uma unidade de renderização 900,e uma unidade de conversão de informação espacial 1000.

A unidade de desmultiplexação 600 recebe uma se-qüência de bits e então separa um sinal de mistura descen-dente codificado e uma informação espacial codificada a par-tir da seqüência de bits. Subseqüentemente, a unidade de de-codificação de sinal de mistura descendente 700 decodifica osinal de mistura descendente codificado e a unidade de deco-dificação de informação espacial 800 decodifica a informaçãoespacial codificada.

A unidade de conversão de informação espacial 1000gera a informação de renderização aplicável a um sinal demistura descendente utilizando a informação espacial decodi-ficada e informação de filtro. Nesse caso, a informação derenderização é aplicada ao sinal de mistura descendente paragerar um sinal circundante.

Por exemplo, o sinal circundante é gerado da se-guinte forma: Em primeiro lugar, um processo de geração deum sinal de mistura descendente a partir de um sinal de áu-dio de múltiplos canais pelo aparelho de codificação 10 podeincluir várias etapas utilizando uma caixa OTT (um paradois) ou TTT (três para três) . Nesse caso, a informação es-pacial pode ser gerada a partir de cada uma das etapas. Ainformação espacial é transferida para o aparelho de decodi-ficação 20. O aparelho de decodificação 20 então gera um si-nal circundante pela conversão da informação espacial e en-tão pela renderização da informação espacial convertida comum sinal de mistura descendente. Ao invés da geração de umsinal de múltiplos canais pela upmixing de um sinal de mis-tura descendente, a presente invenção se refere ao método derenderização incluindo as etapas de extração da informaçãoespacial para cada etapa de upmixing e a realização de umarenderização pela utilização da informação espacial extraí-da. Por exemplo, filtragem HRTF (funções de transferênciarelacionadas com cabeçalho) é utilizada no método de rende-rização.

Nesse caso, a informação espacial é um valor apli-cável a um domínio híbrido também. Logo, a renderização podeser classificada em dois tipos de acordo com um domínio.

0 primeiro tipo é a renderização executada em umdomínio híbrido passando um sinal de mistura descendente a-través de um banco de filtro híbrido. Nesse caso, uma con-versão de domínio para a informação espacial é desnecessária.

O segundo tipo é a renderização executada em umdomínio de tempo. Nesse caso, o segundo tipo utiliza um fatode que um filtro HRTF é modelado como um filtro FIR (de res-posta inversa finita) ou um filtro IIR (resposta inversa in-finita) em um domínio de tempo. Logo, um processo para aconversão da informação espacial para um coeficiente de fil-tro do domínio de tempo é necessária.

O terceiro tipo é a renderização executada em umdomínio de freqüência diferente. Por exemplo, a renderizaçãoé executada em um domínio DFT (transformação Fourier discre-ta). Nesse caso, um processo para a transformação da infor-mação espacial em um domínio correspondente é necessária. Emparticular, o terceiro tipo permite uma operação rápida pelasubstituição de uma filtragem em um domínio de tempo por umaoperação em um domínio de freqüência.

Na presente invenção, a informação de filtro é ainformação para um filtro necessário para o processamento deum sinal de áudio e inclui um coeficiente de filtro forneci-do para um filtro específico. Exemplos da informação e fil-tro são explicados como se segue. Em primeiro lugar, a in-formação de filtro de protótipo é a informação de filtro o-riginal de um filtro específico e pode ser representada comoGL_L ou similar. A informação de filtro convertida indica umcoeficiente de filtro depois que a informação de filtro deprotótipo foi convertida e pode ser representada como GL_Lou similar. A informação de sub-renderização significa a in-formação de filtro resultando da espacialização da informa-ção de filtro de protótipo pra gerar um sinal circundante epode ser representada como FL_L1 ou similar. A informação derenderização significa a informação de filtro necessária pa-ra executar a renderização e pode ser representada por HL_Lou similar. Informação de renderização interpolada/suavizadasignifica a informação de filtro resultante da interpola-ção/suavização da informação de renderização e pode ser re-presentada como HL_L ou similar. Na presente especificação,as informações de filtro acima são referidas. Porém, a pre-sente invenção não está restringida pelos nomes das informa-ções de filtro. Em particular, HRTF é considerado um exemploda informação de filtro. Porém, a presente invenção não estálimitada a HRTF.

A unidade de renderização 900 recebe o sinal demistura descendente decodificado e a informação de renderi-zação e então gera um sinal circundante utilizando o sinalde mistura descendente decodificado e a informação de rende-rização. O sinal circundante pode ser o sinal para o forne-cimento de um efeito circundante a um sistema de áudio capazde gerar apenas um sinal estéreo. Além disso, a presente in-venção pode ser aplicada a vários sistemas além de ao siste-ma de áudio capaz de gerar apenas um sinal estéreo.

A Figura 2 é um diagrama estrutural de uma seqüên-cia de bits de um sinal de áudio de acordo com uma modalida-de da presente invenção, no qual a seqüência de bits incluium sinal de mistura descendente codificado e informação es-pacial codificada.

Com referência à figura 2, uma carga útil de áudiode 1 quadro inclui um campo de sinal de mistura descendentee um campo de dados auxiliares. A informação espacial codi-ficada pode ser armazenada no campo de dados auxiliares. Porexemplo, se uma carga útil de áudio for de 48-128 kbps, ainformação espacial pode ter uma faixa de 5~32 kbps. Porém,nenhuma limitação é imposta às faixas de carga útil de áudioe informação espacial.

A Figura 3 é um diagrama em bloco detalhado de umaunidade de conversão de informação espacial de acordo comuma modalidade da presente invenção.

Com referência à figura 3, uma unidade de conver-são de informação espacial 1000 inclui uma unidade de mapea-mento de fonte 1010, uma unidade de geração de informação desub-renderização 1020, uma unidade de integração 1030, umaunidade de processamento 104 0, e uma unidade de conversão dedomínio 1050.

A unidade de mapeamento de fonte 101 gera a infor-mação de mapeamento de fonte correspondente a cada fonte deum sinal de áudio pela execução de mapeamento de fonte uti-lizando informação espacial. Nesse caso, a informação de ma-peamento de fonte significa a informação por fonte geradapara corresponder a cada fonte de um sinal de áudio pela u-tilização da informação espacial e similar. A fonte incluium canal e, nesse caso, a informação de mapeamento de fontecorrespondente a cada canal é gerada. A informação de mapea-mento de fonte pode ser representada como um coeficiente. E,o processo de mapeamento de fonte será explicado em detalhesposteriormente com referência à figura 4 e à figura 5.

A unidade de geração de informação de sub-renderização 1020 gera informação de sub-renderização cor-respondente a cada fonte pela utilização da informação demapeamento fonte e a informação de filtro. Por exemplo, se aunidade de renderização 900 for o filtro HRTF, a unidade degeração de informação de sub-renderização 1020 é capaz degerar informação de sub-renderização pela utilização de in-formação de filtro HRTF.

A unidade de integração 1030 gera informação derenderização pela integração da informação de sub-renderização para corresponder a cada fonte de um sinal demistura descendente. A informação de renderização, que é ge-rada pela utilização da informação espacial e informação defiltro, significa a informação para gerar um sinal circun-dante sendo aplicado ao sinal de mistura descendente. E, ainformação de renderização inclui um tipo de coeficiente defiltro. A integração pode ser omitida para reduzir uma quan-tidade de operação do processo de renderização. Subseqüente-mente, a informação de renderização é transferida para a u-nidade de processamento 1042.

A unidade de processamento 1042 inclui uma unidadede interpolação 1041 e/ou uma unidade de suavização 1042. Ainformação de renderização é interpolada pela unidade de in-terpolação 1041 e/ou suavizada pela unidade de suavização1042.

A unidade de conversão de domínio 1050 converte umdomínio de informação de renderização em um domínio de sinalde mistura descendente utilizado pela unidade de renderiza-ção 900. E, a unidade de conversão de domínio 1050 pode serfornecida para uma dentre várias posições incluindo a posi-ção ilustrada na figura 3. Logo, se a informação de renderi-zação for gerada no mesmo domínio da unidade de renderização900, é possível se omitir a unidade de conversão de domínio1050. A informação de renderização de domínio convertido éentão transferida para a unidade de renderização 900.

A unidade de conversão de informação espacial 1000pode incluir uma unidade de conversão de informação de fil-tro 1060. Na figura 3, a unidade de conversão de informaçãode filtro 1060 é fornecida dentro da unidade de conversão deinformação espacial 100. Alternativamente, a unidade de con-versão de informação de filtro 1060 pode ser fornecida forada unidade de conversão de informação espacial 100. A unida-de de conversão de informação de filtro 1060 é convertida deforma a ser adequada para a geração de informação de sub-renderização ou informação de renderização a partir da in-formação de filtro aleatório, por exemplo, HRTF. O processode conversão da informação de filtro pode incluir as seguin-tes etapas.

Em primeiro lugar, uma etapa de combinação de umdomínio a ser aplicável é incluída. Se um domínio de infor-mação de filtro não combinar com um domínio para a execuçãoda renderização, a etapa de combinação de domínio é necessá-ria. Por exemplo, uma etapa de conversão de HRTF de domíniode tempo em DFT, QMF ou domínio híbrido para geração de in-formação de renderização é necessária.

Em segundo lugar, uma etapa de redução de coefici-ente pode ser incluída. Nesse caso, é fácil se salvar o HRTFconvertido em domínio e aplicar o HRTF convertido em domínioà informação espacial. Por exemplo, se um coeficiente defiltro de protótipo tiver uma resposta de um número grandede saída (comprimento), um coeficiente correspondente preci-sa ser armazenado em uma memória correspondente a uma res-posta que resulta em um comprimento correspondente de 10 nocaso de 5.1 canais. Isso aumenta uma carga de memória e umaquantidade operacional. Para se evitar esse problema, um mé-todo de redução de coeficiente de filtro a ser armazenadoenquanto se mantém as características de filtro no processode conversão de domínio pode ser utilizado. Por exemplo, aresposta HRTF pode ser convertida em um valor de poucos pa-râmetros. Nesse caso, um processo de geração de parâmetro eum valor de parâmetro podem diferir de acordo com um domínioaplicado.

O sinal de mistura descendente passa através deuma unidade de conversão de domínio 1110 e/ou uma unidade dedescorrelação 1200 antes de ser criado com a informação derenderização. No caso de um domínio de informação de rende-rização ser diferente do domínio do sinal de mistura descen-dente, a unidade de conversão de domínio 1110 converte o do-mínio do sinal de mistura descendente a fim de combinar osdois domínios.

A unidade de descorrelação 1200 é aplicada ao si-nal de mistura descendente convertido em domínio. Isso poderesultar em uma quantidade operacional maior do que a de ummétodo de aplicação de um descorrelator à informação de ren-derização. Porém, é capaz de impedir que distorções ocorramno processo de geração de informação de renderização. A uni-dade de descorrelação 1200 pode incluir uma pluralidade dedescorrelatores diferindo um do outro em características deuma quantidade operacional for permitida. Sé o sinal de mis-tura descendente for um sinal estéreo, a unidade de descor-relação 1200 pode não ser utilizada. Na figura 3, no caso deum sinal de mistura descendente mono convertido por domínio,isso é, um sinal de mistura descendente mono em um domíniode freqüência, híbrido, QMF ou DFT é utilizado no processode renderização, um descorrelator é utilizado em um domíniode tempo também. Nesse caso, um sinal de mistura descendentemono antes da unidade de conversão de domínio 1100 é regis-trado diretamente na unidade de descorrelação 1200. Um fil-tro IIR de primeira ordem ou mais (ou filtro FIR) é utiliza-do como descorrelator.

Subseqüentemente, a unidade de renderização 900gera um sinal circundante utilizando o sinal de mistura des-cendente, o sinal de mistura descendente descorrelacionado,e a informação de renderização. Se o sinal de mistura des-cendente for um sinal estéreo, o sinal de mistura descenden-te descorrelacionado pode não ser utilizado. Detalhes doprocesso de renderização serão descritos posteriormente comreferência às figuras de 6a 9.

O sinal circundante é convertido em um domínio detempo por uma unidade de conversão de domínio inverso 1330 eentão enviado. Se for assim, um usuário é capaz de ouvir aum som possuindo um efeito de múltiplos canais através defontes de ouvido estereofônicos ou similar.

A Figura 4 e a figura 5 são diagramas em bloco dasconfigurações de canal utilizadas para o processo de mapea-mento de fonte de acordo com uma modalidade da presente in-venção. Um processo de mapeamento de fonte é um processo pa-ra a geração de informação de mapeamento de fonte correspon-dente a cada fonte de um sinal de áudio pela utilização dainformação espacial. Como mencionado na descrição acima, afonte inclui um canal e informação de mapeamento de fontepode ser gerada para corresponder aos canais ilustrados nafigura 4 e na figura 5. A informação de mapeamento de fonteé gerada em um tipo adequado para um processo de renderiza-ção.

Por exemplo, se um sinal de mistura descendentefor um sinal mono, o mesmo é capaz de gerar informação demapeamento de fonte utilizando a informação espacial tal co-mo CLD1-CLD5, ICC1-ICC5 e similares.A informação de mapeamento de fonte pode ser re-presentada como um valor tal como D_L (=DL) , D_R (=DR) , D_C(=DC) , D_LFE (=Dlfe), D_Ls (=Dls), D_Rs (=Drs), e similares.Nesse caso, o processo de geração da informação de mapeamen-to de fonte é variável de acordo com uma estrutura de árvorecorrespondendo à informação espacial, uma faixa de informa-ção espacial a ser utilizada, e similares. Na presente espe-cificação, o sinal de mistura descendente é um sinal mono,por exemplo, que não impõe limitação à presente invenção.

As saldas de canal direita e esquerda que saem daunidade de renderização 900 podem ser expressas como a figu-ra matemática 1.

Figura Matemática 1

L0= L*GL_L' + C*GC_L' + R*GR_L' + Ls*GLs_L' +RS*GRs_L'

R0= L*GL_R' + C*GC_R1 + R*GR_R1 + Ls*GLs_R' +RS*GRs_R1

Nesse caso, o operador "*" indica um produto em umdomínio DFT e pode ser substituído por uma convolução em umdomínio de tempo ou QMF.

A presente invenção inclui um método de geração deL, C, R, Ls e RS pela informação de mapeamento de fonte uti-lizando informação espacial ou pela informação de mapeamentode fonte utilizando informação espacial e informação de fil-tro. Por exemplo, a informação de mapeamento de fonte podeser gerada utilizando-se CLD da informação espacial apenasou CLD e ICC da informação espacial. O método de geração deinformação de mapeamento de fonte utilizando CLD apenas éexplicado abaixo.

No caso de a estrutura de árvore possuir uma es-trutura ilustrada na figura 4, um primeiro método de obten-ção da informação de mapeamento de fonte utilizando CLD ape-nas pode ser expresso como a figura matemática 2.

<table>table see original document page 22</column></row><table>Se a informação de mapeamento de fonte for geradautilizando-se CLD apenas, um efeito tridimensional pode serreduzido. Logo, é capaz de gerar a informação de mapeamentode fonte utilizando ICC e/ou o descorrelator. E, um sinal demúltiplos canais gerado pela utilização de um sinal de saidade descorrelator dx(m) pode ser expresso como a Figura Mate-mática 4.

Figura Matemática 4

<table>table see original document page 23</column></row><table>

Nesse caso, 'A1 , 'B' e 1C' são valores que podemser representados pela utilização de CLD e IDD. 1d01 a 'd31indicam descorrelatores. E, 'm' indica um sinal de misturadescendente mono. Porém, esse método é incapaz de gerar ainformação de mapeamento de fonte tal como D_L, D_R, e simi-lares.

Dessa forma, o primeiro método de geração de in-formação de mapeamento de fonte utilizando CLD, ICC e/oudescorrelatores para sinal de mistura descendente consideradx(m) (x=0, 1, 2) um registro independente. Nesse caso, "dx"é utilizável para um processo para geração da informação defiltro de sub-renderização de acordo com a Figura Matemática 5.

Figura Matemática 5.

FL_L_M=d_L_M*GL_L1(entrada mono -> saida esquerda)

FL R M=d L M*GL R1(entrada mono -> saida direita)FL_L_Dx=d_L_Dx*GL_L1(saida Dx -> saída esquerda)

FL_R_Dx=d_L_Dx*GL_R1 (saída Dx -> saída direita).

E, a informação de renderização pode ser gerada deacordo com a Figura Matemática 6 utilizando um resultado daFigura Matemática 5.

Figura Matemática 6

HM_L = FU-_M + FFLLM + FC_LM + FLS-LM + FRS_L_M + FLFLLMHM_R = FLwRJvt + FFLFLM + FC_R_M + FLS_R_M + FRS_R_M + FLFLFLMHDx_L = FL-LDx + FFLLwOx + FC-U-Ox + FLS-UDx + FRS-LDx + FLFE-LDxHDx-R = FL-R-Dx + FFLFLDx + FC-FLDx + FLSjR-Dx + FRS-FLDx + FLFE_R_Dx

Detalhes do processo de geração de informação derenderização são explicados posteriormente. 0 primeiro méto-10 do de geração de informação de mapeamento fonte utilizandoCLD, ICC e/ou descorrelatores lida com um valor de Aida dx,isso é, 'dx(m) ' como um registro independente, que pode au-mentar uma quantidade operacional.

Um segundo método de geração de informação de ma-15 peamento de fonte utilizando CLD, ICC e/ou descorrelatoresemprega descorrelatores aplicados em um domínio de freqüên-cia. Nesse caso, a informação de mapeamento fonte pode serexpressa como a Figura Matemática 7.

Figura Matemática 7

<formula>formula see original document page 24</formula>Nesse caso, pela aplicação de descorrelatores emum domínio de freqüência, a mesma informação de mapeamentode fonte tal como D_L, D_R, e similar antes da aplicação dosdescorrelatores pode ser gerada. Logo, pode ser implementadode forma simples.

Um terceiro método de geração de informação de ma-peamento de fonte utilizando CLD, ICC e/ou os descorrelato-res emprega descorrelatores possuindo a característica all-pass como os descorrelatores do segundo método. Nesse caso,característica all-pass significa que um tamanho é fixadocom uma variação de fase apenas. E, a presente invenção podeutilizar descorrelatores possuindo a característica all-passcomo os descorrelatores do primeiro método.

Um quarto método de geração de informação de mape-amento de fonte utilizando CLD, ICC, e/ou descorrelatoresrealiza a descorrelação pela utilização de descorrelatorespara os canais respectivos (por exemplo, L, R, C, Ls, Rs,etc.) ao invés de utilização de 'do' a ' d3' do segundo méto-do. Nesse caso, a informação de mapeamento de fonte pode serexpressa como a Figura Matemática 8.

Figura Matemática 8.

<table>table see original document page 25</column></row><table>

Nesse caso, 'k' é um valor de energia de um sinaldescorrelacionado determinado a partir dos valores CLD eICC. Ε, ' d_L 1 , 1 d_R1 , ' d_C ' , 1d_Ls' e ' d_Rs ' indicara os des-correlatores aplicados aos canais, respectivamente.

Um quinto método de geração de informação de mape-amento de fonte utilizando CLD, ICC, e/ou descorrelatoresmaximiza um efeito de descorrelação pela configuração de1d_L1 e 'd_R' simétricos um ao outro no quarto método e con-figurando 'd_Ls' e 'd_Rs1 simétricos um ao outro no quartométodo. Em particular, considerando-se d_R=f(d_L) ed_Rs=f(d_Ls), é necessário se projetar 'd_L1, 'd_C' e 'd_Ls'apenas.

Um sexto método de geração de informação de mapea-mento de fonte utilizando CLD, ICC e/ou descorrelatores é aconfiguração de 'd_L' e 'd_Ls1 de forma a ter uma correlaçãono quinto método. E, 1d_L1 e 'd_C' podem ser configurados deforma a terem uma correlação também.

Um sétimo método de geração de informação de mape-amento de fonte utilizando CLD, ICC e/ou descorrelatores é ouso dos descorrelatores no terceiro método como uma estrutu-ra serial ou embutida dos filtros all-pass. O sétimo métodoutiliza um fato de a característica all-pass ser mantidamesmo se o filtro all-pass for utilizado como estrutura se-rial ou embutida. No caso de utilização do filtro all-passcomo estrutura serial ou embutida, é possível se obter maistipos de respostas de fase. Dessa forma, o efeito de descor-relação pode ser maximizado.

Um oitavo método de geração de informação de mape-amento de fonte utilizando CLD, ICC e/ou descorrelatores é ouso do descorrelator da técnica relacionada e o descorrela-tor do domínio de freqüência do segundo método juntos. Nessecaso, um sinal de múltiplos canais pode ser expresso como aFigura Matemática 9.

Figura Matemática 9

<table>table see original document page 27</column></row><table>

Nesse caso, um processo de geração de coeficientede filtro utiliza o mesmo processo explicado no primeiro mé-todo exceto que 1A' é alterado para 'A+Kd'.

Um nono método de geração de informação de mapea-mento de fonte utilizando CLD, ICC e/ou descorrelatores é ageração de um valor descorrelacionado adicionalmente pelaaplicação de um descorrelator do domínio de freqüência a umasaída do descorrelator da técnica anterior no caso de utili-zação do descorrelator da técnica relacionada. Dessa forma,é capaz de se gerar a informação de mapeamento de fonte comuma pequena quantidade operacional superando-se a limitaçãodo descorrelator de domínio de freqüência.

Um décimo método de geração de informação de mape-amento de fonte utilizando CLD, ICC e/ou descorrelatores éexpresso na Figura Matemática 10.

Figura Matemática 10

<table>table see original document page 27</column></row><table>Nesse caso, 'di_(m)1(i=L, R, C, Ls, Rs) é um valorde saída de descorrelator aplicado a um canal i. Ε, o valorde saída pode ser processado em um domínio de tempo, um do-mínio de freqüência, um domínio QMF, um domínio híbrido, ousimilar. Se o valor de saída for processador em um domíniodiferente de um domínio processado atualmente, o mesmo podeser convertido pela conversão de domínio. É possível se uti-lizar o mesmo 'd para d_L, d_R, d_C, d_Ls e d_Rs. Nesse ca-so, a Figura Matemática 10 pode ser expressa de uma formamuito simples.

Se a figura matemática 10 for aplicada à figuramatemática 1, a figura matemática 1 pode ser expressa como afigura matemática 11.

Figura Matemática 11

Lo = HM_L*m + HMD_L*d(m)

RO = HM_R*R + HMD_R*d(m)

Nesse caso, a informação de renderização HM_L é umvalor resultando da combinação da informação espacial e dainformação de filtro para gerar um sinal circundante Lo comuma entrada m. E, a informação de renderização HM_R é um va-lor resultante da combinação da informação espacial e da in-formação de filtro para gerar um sinal circundante RO comuma entrada m. Ademais, 'd(m) ' é um valor de saída de des-correlator gerado pela transferência de um valor de saída dedescorrelator em um domínio arbitrário para um valor em umdomínio atual ou um valor de saída de descorrelator geradopor ser processado em um domínio atual. A informação de ren-derização HMD_L é um valor indicando um grau do valor de sa-ida do descorrelator d(m) que é adicional a lLol na renderi-zação de d(m), e também um valor resultante da combinação dainformação espacial e informação de filtro. A informação derenderização HMD_R é um valor indicando um grau do valor desaida do descorrelator d(m) que é adicionado a 'Ro' na ren-derização de d (m) .

Dessa forma, a fim de se realizar um processo derenderização em um sinal de mistura descendente mono, a pre-sente invenção propõe um método de geração de um sinal cir-cundante pela renderização da informação de renderização ge-rada pela combinação da informação espacial e informação defiltro (por exemplo, coeficiente de filtro HRTF) para um si-nal de mistura descendente e um sinal de mistura descendentedescorrelacionado. 0 processo de renderização pode ser exe-cutado independentemente dos domínios. Se 'd(m)1 for expres-so como 1d*m(operador de produto) sendo executado em um do-mínio de freqüência, a figura matemática 11 pode ser expres-sa como a Figura Matemática 12.

Figura Matemática 12

Lo = HM_L*m + HMD_L*d*m = HMoverall_L*m

RO = HM_R*m + HMD_R*d*m = HMoverall_R*mDessa forma, no caso de realização de um processode renderização em um sinal de mistura descendente em um do-mínio de freqüência, é possível se minimizar uma quantidadeoperacional de uma forma de representação de um valor resul-tante da combinação da informação espacial, informação defiltro e descorrelatores adequadamente como uma forma deproduto.As Figuras 6 e 7 são diagramas em bloco detalhadosde uma unidade de renderização para um sinal de mistura des-cendente estéreo de acordo com uma modalidade da presenteinvenção.

Com referência à figura 6, a unidade de renderiza-ção 900 inclui uma unidade-A de renderização 910 e uma uni-dade-B de renderização 920.

Se um sinal de mistura descendente for um sinalestéreo, a unidade de conversão de informação espacial 1000gera a informação de renderização para os canais esquerdo edireito do sinal de mistura descendente. A unidade-A de ren-derização 910 gera um sinal circundante pela renderização dainformação de renderização para o canal esquerdo do sinal demistura descendente para o canal esquerdo do sinal de mistu-ra descendente. E, a unidade-B de renderização 920 gera umsinal circundante pela renderização da informação de rende-rização para o canal direito do sinal de mistura descendentepara o canal direito do sinal de mistura descendente. Os no-mes dos canais são apenas ilustrativos, o que não impõequalquer limitação à presente invenção.

A informação de renderização pode incluir informa-ção de renderização distribuída para um mesmo canal, e in-formação de renderização distribuída para outro canal.

Por exemplo, a unidade de conversão de informaçãoespacial 1000 é capaz de gerar informação de renderizaçãoHL_L e HL_R registradas na unidade de renderização para ocanal esquerdo do sinal de mistura descendente, no qual ainformação de renderização HL_L é distribuída para uma saídaesquerda correspondente ao mesmo canal e a informação derenderização HL_R é distribuída para a saída direita corres-pondente a outro canal. E, a unidade de conversão de infor-mação espacial 1000 é capaz de gerar informação de renderi-zação HR_R e HR_L registrada para a unidade de renderizaçãopara o canal direito do sinal de mistura descendente, noqual a informação de renderização HR_R é distribuída parauma saída direita correspondente ao mesmo canal e a informa-ção de renderização HR_L é distribuída para uma saída es-querda correspondente a outro canal.

Com referência à figura 7, a unidade de renderiza-ção 900 inclui uma unidade-ΙΑ de renderização 911, uma uni-dade-2A de renderização 912, uma unidade-ΙΒ de renderização921, e uma unidade-2B de renderização 922.

A unidade de renderização 900 recebe um sinal demistura descendente estéreo e a informação de renderizaçãoda unidade de conversão de informação espacial 1000 Subse-qüentemente, a unidade de renderização 900 gera um sinalcircundante pela renderização da informação de renderizaçãopara o sinal de mistura descendente.

Em particular, a unidade-ΙΑ de renderização 911realiza a renderização pela utilização da informação de ren-derização HL_L distribuída para um mesmo canal entre a in-formação de renderização para um canal esquerdo de um sinalde mistura descendente. A unidade-2A de renderização 912 re-aliza a renderização pela utilização da informação de rende-rização HL_R distribuída para outro canal entre a informaçãode renderização para um canal esquerdo de um sinal de mistu-ra descendente. A unidade-ΙΒ de renderização 921 realiza arenderização pela utilização da informação de renderizaçãoHR_R distribuída para um mesmo canal entre a informação derenderização para um canal direito de um sinal de misturadescendente. E, a unidade de renderização 2B 922 realiza arenderização pela utilização da informação de renderizaçãoHR_L distribuída para outro canal entre a informação de ren-derização para um canal direito de um sinal de mistura des-cendente .

Na descrição a seguir, a informação de renderiza-ção distribuída para outro canal é chamada de "informação derenderização cruzada". Δ informação de renderização cruzadaHL_R ou HR_L é aplicada a um mesmo canal e então adicionadaa outro canal por um somador. Nesse caso, a informação derenderização cruzada HL_R e/ou HR_L pode ser igual a zero.Se a informação de renderização cruzada HL_R e/ou HR_L forigual a zero, isso significa que nenhuma contribuição é fei-ta ao percurso correspondente.

Um exemplo do método de geração de sinal circun-dante ilustrado na figura 6 ou figura 7 é explicado como sesegue.

Em primeiro lugar, se um sinal de mistura descen-dente for um sinal estéreo, o sinal de mistura descendentedefinido como 'x', a informação de mapeamento de fonte gera-da pela utilização de informação espacial definida como 'D1,a informação de filtro de protótipo definida como 1G1, umsinal de múltiplos canais definido como 'p' e um sinal cir-cundante definido como 'y' podem ser representados pelas ma-trizes ilustradas na Figura Matemática 13.

Figura Matemática 13.

<table>table see original document page 33</column></row><table>

Nesse caso, se os valores acima forem em um domí-nio de freqüência, os mesmos podem ser desenvolvidos como sesegue.

Em primeiro lugar, o sinal de múltiplos canais p,como ilustrado na Figura Matemática 14, pode ser expressocomo um produto entre a informação de mapeamento de fonte Dgerada pela utilização de informação espacial e o sinal demistura descendente x.

Figura Matemática 14

<table>table see original document page 33</column></row><table>

O sinal circundante y, como ilustrado na FiguraMatemática 15, pode ser gerado pela transformação da infor-mação de filtro de protótipo G em sinal de múltiplos canais p.

Figura Matemática 15

y=G -pNesse caso, se a figura matemática 14 for inseridaem p, pode ser gerada a figura matemática 16.

Figura Matemática 16

J=GDx

Nesse caso, se a informação de renderização H fordefinida como H-GD, o sinal circundante y e o sinal de mis-tura descendente χ podem ter uma relação da Figura Matemáti-ca 17.

<formula>formula see original document page 34</formula>

Dessa forma, depois que a informação de renderiza-ção H foi gerada pelo processamento do produto entre a in-formação de filtro e a informação de mapeamento de fonte, osinal de mistura descendente χ é multiplicado pela informa-ção de renderização H para gerar o sinal circundante y.

De acordo com a definição da informação de rende-rização H, a informação de renderização H pode ser expressacomo a Figura Matemática 18.

Figura Matemática 18

<formula>formula see original document page 34</formula>

As Figuras 8 e 9 são diagramas em bloco detalhadosde uma unidade de renderização para um sinal de mistura des-cendente mono de acordo com uma modalidade da presente in-venção.Com referência à figura 8, a unidade de renderiza-ção 900 inclui uma unidade-A de renderização 930 e uma uni-dade-B de renderização 940.

Se um sinal de mistura descendente for um sinalmono, a unidade de conversão de informação espacial 1000 ge-ra informação de renderização HM_L e HM_R, na qual a infor-mação de renderização HM_L é utilizada na renderização dosinal mono para um canal esquerdo e a informação de renderi-zação HM_R é utilizada para a renderização do sinal mono pa-ra um canal direito.

A unidade-A de renderização 930 aplica a informa-ção de renderização HM__L ao sinal de mistura descendente mo-no para gerar um sinal circundante do canal esquerdo. A uni-dade-B de renderização 940 aplica a informação de renderiza-ção HM_R ao sinal de mistura descendente mono para gerar umsinal circundante para o canal direito.

A unidade de renderização 900 no desenho não uti-liza um descorrelator. Porém, se a unidade-A de renderização930 e a unidade-B de renderização 940 realizarem a renderi-zação pela utilização da informação de renderização Hmove-rall-R e Hmoverall_L definida na figura matemática 12, res-pectivamente, é possível se obter os resultados para osquais o descorrelator é aplicado, respectivamente.

Enquanto isso, no caso de tentativa de obtenção deuma saída em um sinal estéreo ao invés de um sinal circun-dante após a finalização da renderização realizada em um si-nal de mistura descendente mono, os seguintes dois métodossão possíveis.O primeiro método é a utilização de um valor uti-lizado para uma saida estéreo ao invés da utilização da in-formação de renderização para um efeito circundante. Nessecaso, é possível se obter um sinal estéreo pela modificaçãoapenas da informação de renderização na estrutura ilustradana figura 3.

0 segundo método é que em um processo de decodifi-cação para geração de um sinal de múltiplos canais pela uti-lização de um sinal de mistura descendente e informação es-pacial, é possível se obter um sinal estéreo pela realizaçãodo processo de decodificação para apenas uma etapa corres-pondente para obtenção de um número de canal específico.

Com referência à figura 9, a unidade de renderiza-ção 900 corresponde a um caso no qual um sinal descorrela-cionado é representado por um, isso é, figura matemática 11.A unidade de renderização 900 inclui uma unidade-la de ren-derização 931, uma unidade-2a de renderização 932, uma uni-dade-lb de renderização 941 e uma unidade-2b de renderização942. A unidade de renderização 900 é similar à unidade derenderização para o sinal de mistura descendente estéreo ex-ceto que a unidade de renderização 900 inclui as unidades derenderização 941 e 942 para um sinal descorrelacionado.

No caso do sinal de mistura descendente estéreo,pode ser interpretado que um dos dois canais é um sinal des-correlacionado. Logo, sem emprego de descorrelatores adicio-nais, é possível se realizar um processo de renderização pe-la utilização de quatro tipos anteriormente definidos de in-formação de renderização HL_L, HL_R, e similares. Em parti-cular, a unidade-ΙΑ de renderização 931 gera um sinal a serdistribuído para um mesmo canal pela aplicação da informaçãode renderização HM_L a um sinal de mistura descendente mono.A unidade-2A de renderização 932 gera um sinal a ser distri-buído para outro canal pela aplicação da informação de ren-derização HM_R ao sinal de mistura descendente mono. A uni-dade-ΙΒ de renderização 941 gera um sinal a ser distribuídopara um mesmo canal pela aplicação da informação de renderi-zação HMD_R a um sinal descorrelacionado. E, a unidade-2B derenderização 942 gera um sinal a ser distribuído para outrocanal pela aplicação da informação de renderização HMD_L aosinal descorrelacionado.

Se um sinal de mistura descendente for um sinalmono, um sinal de mistura descendente definido como x, in-formação de canal de fonte definida como D, informação defiltro de protótipo definida como G, um sinal de múltiploscanais definido como p, e um sinal circundante definido comoy podem ser representados pelas matrizes ilustradas na figu-ra matemática 19.

Figura Matemática 19.

<formula>formula see original document page 37</formula>

Nesse caso, a relação entre as matrizes é similarà do caso no qual o sinal de mistura descendente é um sinalestéreo. Logo, seus detalhes são omitidos.

Enquanto isso, a informação de mapeamento de fontedescrita com referência à figura 4 e à figura 5 e a informa-ção de renderização gerada pela utilização da informação demapeamento de fonte possuem valores que diferem de acordocom a banda de freqüência, banda de parâmetro e/ou intervalode tempo transmitido. Nesse caso, se um valor da informaçãode mapeamento de fonte e/ou informação de renderização tiveruma diferença consideravelmente grande entre as bandas vizi-nhas ou entre intervalos de tempo limite, a distorção podeocorrer no processo de renderização. Pra se evitar a distor-ção, um processo de suavização em um domínio de freqüênciae/ou tempo é necessário. Outro método de suavização adequadopara a renderização é utilizado também como suavização dedomínio de freqüência e/ou suavização de domínio de tempo.

E, é possível se utilizar um valor resultante da multiplica-ção de informação de mapeamento de fonte ou informação derenderização por um ganho específico.

As Figuras 10 e 11 são diagramas em bloco de umaunidade de suavização e uma unidade de expansão de acordocom uma modalidade da presente invenção.

Um método de suavização de acordo com a presenteinvenção, como ilustrado na figura 10 e na figura 11, é a-plicável à informação de renderização e/ou informação de ma-peamento de fonte. Porém, o método de suavização é aplicávela outro tipo de informação. Na descrição a seguir, a suavi-zação em um domínio de freqüência será descrita. Porém, apresente invenção inclui a suavização de domínio de tempoalém da suavização de domínio de freqüência.

Com referência à figura 10 e à figura 11, a unida-de de suavização 1042 é capaz de realizar a suavização nainformação de renderização e/ou informação de mapeamento defonte. Um exemplo detalhado de uma posição da ocorrência desuavização será descrito com referência às figuras 18 a 20posteriormente.

A unidade de suavização 1042 pode ser configuradacom uma unidade de expansão 1043, na qual a informação derenderização e/ou informação de mapeamento de fonte pode serexpandida em uma faixa maior, por exemplo, banda de filtro,do que a banda de parâmetro. Em particular, a informação demapeamento de fonte pode ser expandida para uma resolução defreqüência (por exemplo, banda de filtro) correspondente àinformação de filtro a ser multiplicada pela informação defiltro (por exemplo, coeficiente de filtro HRTF). A suaviza-ção de acordo com a presente invenção é executada antes deou juntamente com a expansão. A suavização utilizada em con-junto com a expansão pode empregar um dos métodos ilustradosnas figuras de 12 a 16.

Com referência à figura 12, um primeiro método desuavização utiliza um valor possuindo o mesmo tamanho que ainformação espacial em cada banda de parâmetro. Nesse caso,é possível se alcançar um efeito de suavização pela utiliza-ção de uma função de suavização adequada.

A Figura 13 é um gráfico para explicar um segundométodo de suavização de acordo com uma modalidade da presen-te invenção.

Com referência à figura 13, um segundo método desuavização serve para obter um efeito de suavização pela co-nexão das posições representativas da banda de parâmetro. Aposição representativa é um centro direito de cada uma dasbandas de parâmetro, uma posição central proporcional a umaescala log, uma escala bark, ou similar, um valor de fre-qüência mais baixo, ou uma posição previamente determinadapor um método diferente.

A Figura 14 é um gráfico para explicar um terceirométodo de suavização de acordo com uma modalidade da presen-te invenção.

Com referência à figura 14, um terceiro método desuavização serve para realizar a suavização em uma forma deuma curva ou linha reta conectando de forma suave os limitesdos parâmetros. Nesse caso, o terceiro método de suavizaçãoutiliza uma filtragem de passa baixa ou curva de suavizaçãode limites predeterminada pelo filtro IIR de primeira ordemou mais ou filtro FIR.

A Figura 15 é um gráfico para explicar um quartométodo de suavização de acordo com uma modalidade da presen-te invenção.

Com referência à figura 15, um quarto método desuavização para alcançar um efeito de suavização pela adiçãode um sinal tal como um ruido aleatório a um contorno de in-formação espacial. Nesse caso, um valor diferente no canalou banda é utilizado como ruido aleatório. No caso de adiçãode um ruido aleatório em um domínio de freqüência, é possí-vel se adicionar apenas um valor de tamanho enquanto se dei-xa um valor de fase intacto. 0 quarto método de suavização écapaz de alcançar um efeito de descorrelação inter-canal a-lém de um efeito de suavização em um domínio de freqüência.

A Figura 16 é um gráfico para explicar um quintométodo de suavização de acordo com uma modalidade da presen-te invenção.

Com referência à figura 16, um quinto método desuavização é a utilização de uma combinação dos segundo aquarto métodos de suavização. Por exemplo, depois que as po-sições representativas das bandas de parâmetro respectivasforam conectadas, o ruído aleatório é adicionado e a filtra-gem de percurso baixo é então aplicada. Em se fazendo isso,a seqüência pode ser modificada. 0 quinto método de suaviza-ção minimiza os pontos de descontinuidade em um domínio defreqüência e um efeito de descorrelação inter-canal pode seraperfeiçoado.

Nos primeiro a quinto métodos de suavização, umtotal de energias para valores de informação espacial (porexemplo, valores CLD) nos respectivos domínios de freqüênciapor canal deve ser uniforme como uma constante. Para tal,depois de o método de suavização ser realizado por canal, anormalização da energia deve ser realizada. Por exemplo, seum sinal de mistura descendente for um sinal mono, os valo-res de nível dos respectivos canais devem corresponder à re-lação da figura matemática 20.

Figura Matemática 20

DJ.(pb) + D_R(pb) + n_CCpb) + D_Ls(ph) + n_RsCpb) + D_LfeCpb) = C

Nesse caso, 'pb=0~número de banda de parâmetro to-tal 1' e 'C1 é uma constante arbitrária.

A Figura 17 é um diagrama para explicar a informa-ção de filtro de protótipo por canal.

Com referência à figura 17, para a renderização,um sinal tendo passado através do filtro GL_L para uma fontede canal esquerdo é enviado para uma saida esquerda, ao pas-so que um sinal tendo passado através do filtro GL_R é envi-ado para uma saida direita.

Subseqüentemente, uma saida final esquerda (porexemplo, Lo) e uma saida final direita (por exemplo, RO) sãogeradas pela adição de todos os sinais recebidos dos respec-tivos canais. Em particular, as saídas de canal esquer-do/direito criadas podem ser expressas como Figura Matemáti-ca 21.

Figura Matemática 21

Lo = L + GL_L + C * GC_L + R * GR_L + Ls * GLs_L + Rs * GRsJL

Ro = L * GLJR + C * GCJi + R * GRJR + Ls * Os_R +Rs * GRsJl

Na presente invenção, as saídas de canal esquer-do/direito criadas podem ser geradas pela utilização de L,R, C, Ls e Rs gerados pela decodificação do sinal de misturadescendente em sinal de múltiplos canais utilizando a infor-mação espacial. E, a presente invenção é capaz de gerar assaídas de canal esquerdo/direito criadas utilizando a infor-mação de renderização sem geração de L, R, C, Ls, e Rs, ondea informação de renderização é gerada pela utilização da in-formação espacial e da informação de filtro.

Um processo para a geração de informação de rende-rização utilizando informação espacial é explicado com refe-rência às figuras de 18 a 20, como se segue.

A Figura 18 é um diagrama em bloco para um primei-ro método de geração de informação de renderização em umaunidade de conversão de informação espacial 900 de acordocom uma modalidade da presente invenção.

Com referência à figura 18, como mencionado nadescrição acima, a unidade de conversão de informação espa-cial 900 inclui a unidade de mapeamento de fonte 1010, a u-nidade de geração de informação de sub-renderização 1020, aunidade de integração 1030, a unidade de processamento 1040,e a unidade de conversão de domínio 1050. A unidade de con-versão de informação espacial 900 tem a mesma configuraçãoilustrada na figura 3.

A unidade de geração de informação de sub-renderização 1020 inclui pelo menos uma ou mais unidades degeração de informação de sub-renderização (primeira unidadede geração de informação de sub-renderização a unidade N degeração de informação de sub-renderização) .

A unidade de geração de informação de sub-renderização 1020 gera a informação de sub-renderização pelautilização da informação de filtro e informação de mapeamen-to de fonte.

Por exemplo, se um sinal de mistura descendentefor um sinal mono, a primeira unidade de geração de informa-ção de sub-renderização é capaz de gerar a informação desub-renderização correspondendo a um canal esquerdo em múl-tiplos canais. E, a informação de sub-renderização pode serrepresentada como a Figura Matemática 22 utilizando-se a in-formação de mapeamento de fonte D_L e a informação de filtroconvertida GL_L1 e GL_R'.

Figura Matemática 22

<formula>formula see original document page 44</formula>

(entrada mono -> coeficiente de filtro para canalde saida esquerda)

<formula>formula see original document page 44</formula>

(entrada mono -> coeficiente de filtro para canalde saida direita)

Nesse caso, D_L é um valor gerado pela utilizaçãoda informação espacial na unidade de mapeamento de fonte1010. Porém, um processo para a geração de D_L pode seguir aestrutura de árvore.

A segunda unidade de geração de informação de sub-renderização é capaz de gerar informação de sub-renderizaçãoFR_L e FR_R correspondente a um canal direito em múltiploscanais. E, a unidade N de geração de informação de sub-renderização é capaz de gerar informação de sub-renderizaçãoFRs_L e FRs_R correspondente a um canal circundante direitonos múltiplos canais.

Se um sinal de mistura descendente for um sinalestéreo, a primeira unidade de geração de informação de sub-renderização é capaz de gerar informação de sub-renderizaçãocorrespondente ao canal esquerdo em múltiplos canais. E, ainformação de sub-renderização pode ser representada como aFigura Matemática 23 pela utilização da informação de mapea-mento de fonte D_L1 e D_L2.

Figura Matemática 23FL_L1 = D_L1 * GL_L'

(entrada esquerda -> coeficiente de filtro paracanal de saida esquerda)

FL_L2 = D_L2 * GL_L'

(entrada direita -> coeficiente de filtro para ca-nal de saida esquerda)

FL_R1 = D_L1 * GL_R1

(entrada esquerda -> coeficiente de filtro paracanal de saida direita)

FL_R2 = D_L2 * GL_R1

(entrada direita -> coeficiente de filtro para ca-nal de saida direita).

Na Figura matemática 23, FL_R1 é explicado por e-xemplo como se segue.

Em primeiro lugar, Em FL_R1, 1L' indica uma posi-ção de múltiplos canais, 1R1 indica um canal de saida de umsinal circundante, e * 1 * indica um canal de sinal de misturadescendente. Isso é, FL_R1 indica a informação de sub-renderização utilizada na geração do canal de saida direitado sinal circundante a partir do canal esquerdo do sinal demistura descendente.

Em segundo lugar, D_L1 e D_L2 são valores geradospela utilização da informação espacial na unidade de mapea-mento de fonte 1010.Se um sinal de mistura descendente for um sinalestéreo, é possível se gerar uma pluralidade de informaçõesde sub-renderização a partir de pelo menos uma unidade degeração de informação de sub-renderização da mesma forma queo caso no qual o sinal de mistura descendente é o sinal mo-no. Os tipos de informações de sub-renderização gerados poruma pluralidade de unidades de geração de informação de sub-renderização são ilustrativos, o que não impõe qualquer li-mitação à presente invenção.

A informação de sub-renderização gerada pela uni-dade de geração de informação de sub-renderização 1020 étransferida para a unidade de renderização 900 através daunidade de integração 1030, unidade de processamento 1040, eunidade de conversão de domínio 1050.

A unidade de integração 1030 integra as informa-ções de sub-renderização geradas por canal em informação derenderização (por exemplo, HL_L, HL_R, HR_L, HR_R) para umprocesso de renderização. Um processo de integração na uni-dade de integração 1030 é explicado para um caso de um sinal mono e um caso de um sinal estéreo como se segue.

Em primeiro lugar, se um sinal de mistura descen-dente for um sinal mono, a informação de renderização podeser expressa como a Figura Matemática 24.Figura Matemática 24

HM_L = FL_L + FR_L +FC_L + FLs_L + FRs_L + FLFE_L

HM R= FL R + FR R + FC R + FLs R + FRs R + FLFE REm segundo lugar, se um sinal de mistura descen-dente for um sinal estéreo, a informação de renderização pu-der ser expressa como Figura Matemática 25.

Figura Matemática 25

HL_L = FL_L1 _ FR_L1 + FC_L1 +FLs_Ll + FRs_Ll +FLFE_L1

HR_L = FL_L2 + FR_L2 + FC_L2 + FLs_L2 + FRs_L2 +FLFE_L2

HL_R = FL_R1 + FR_R1 + FC_R1 + FLs_Rl + FRs_Rl +FLFE_R1

HR_R = FL_R2 + FR_R2 + FC_R2 + FLs_R2 + FRs_R2 +FLFE_R2

Subseqüentemente, a unidade de processamento 1040inclui uma unidade de interpolação 1041 e/ou uma unidade desuavização 1042 e realiza a interpolação e/ou suavização pa-ra a informação de renderização. A interpolação e/ou suavi-zação pode ser executada em um domínio de tempo, um domíniode freqüência, ou um domínio QMF. Na especificação, o domí-nio de tempo é considerado como um exemplo, que não impõelimitação à presente invenção.

A interpolação é realizada para obtenção da infor-mação de renderização não existente entre as informações derenderização se a informação de renderização transmitida ti-ver um intervalo grande no domínio de tempo. Por exemplo,considerando-se que as informações de renderização existemem um intervalo de tempo η e um intervalo de tem (n+k)(k>l), respectivamente, é possível se realizar a interpola-ção linear em um intervalo de tempo não transmitido pela u-tilização das informações de renderização geradas (por exem-plo, HL_L, HR_L, HL_R, HR_R).

A informação de renderização gerada a partir dainterpolação é explicada com referência a um caso no qual umsinal de mistura descendente é um sinal mono e um caso noqual o sinal de mistura descendente é um sinal estéreo.

Se o sinal de mistura descendente for um sinal mo-no, a informação de renderização interpolada pode ser ex-pressa como a Figura Matemática 26.

Figura Matemática 26

HM_L (n+j) = HM_L (h) * (1-a) + HM_L (n+k) * a

HM_R (n+j) = HM_R (n) * (1-a) + HM_R (n+k) * a

Se o sinal de mistura descendente for um sinal es-téreo, a informação de renderização interpolada pode ser ex-pressa como a Figura Matemática 27.

Figura Matemática 27

HL_L (n+j) = HL_L (n) * (1-a) + HL_L (n+k) * a

HR_L (n+j) = HR_L (n) * (1-a) + HR_L (n+k) * a

HL_R (n+j) = HL_R (n) * (1-a) + HL_R (n+k) * a

HR_R (n+j) = HR_R (n) * (1-a) + HR_R (n+k) * a

Nesse caso, é 0<j<k. ' j' e 'k1 são inteiros. E,'a' é um número real correspondente a '0<a<l' a ser expressocomo Figura Matemática 28.

Figura Matemática 28

a = j/k

Se for esse o caso, é possível se obter um valorcorrespondente ao intervalo de tempo não transmitido em umalinha reta conectando os valores em dois intervalos de tempode acordo com a Figura Matemática 27 e a Figura Matemática28. Detalhes da interpolação serão explicados com referênciaà figura 22 e à figura 23, posteriormente.

No caso de um valor de coeficiente de filtro vari-ar subitamente entre dois intervalos de tempo vizinhos em umdomínio de tempo, a unidade de suavização 1042 executa a su-avização para impedir um problema de distorção devido a umaocorrência de um ponto de descontinuidade. A suavização nodomínio de tempo pode ser realizada utilizando-se o métodode suavização descrito com referência às figuras 12 a 16. Asuavização pode ser realizada juntamente com a expansão. E,a suavização pode diferir de acordo com sua posição aplica-da. Se um sinal de mistura descendente for um sinal mono, asuavização de domínio de tempo pode ser representada como aFigura Matemática 29.

Figura Matemática 29

HM_L(η)1 = HM_L(n)*b + HM_L(n-l)'* (1-b)HM_R(η)1 = HM_R(n)*b + HM_R(n-l)'* (1-b)

Isso é, a suavização pode ser executada pelo tipode filtro IIR de 1-pol realizada em uma forma de multiplica-ção da informação de renderização HM_L(n-l) ou HM_R(n-l) su-avizada em um intervalo de tempo anterior n-1 por (1-b) ,multiplicação da informação de renderização HM_L(n) ouHM_R(n) gerada em um intervalo de tempo atual η por b, e a-dição de duas multiplicações. Nesse caso, 'b' é uma constan-te para 0<b<l. Se 'b' diminuir, um efeito de suavização setorna maior. Se 'b' aumentar, um efeito de suavização setorna menor. Ε, o resto dos filtros pode ser aplicado damesma forma.

A interpolação e suavização podem ser representa-das como uma expressão ilustrada na Figura Matemática 30 pe-la utilização da Figura Matemática 29 para a suavização dedomínio de tempo.

Figura Matemática 30

HM_L(n+j)'=(HM_L(n)*(1 -a)+HM_L(n+k)*a)*b+HM_L(n+j-1 )'*(1 -b)HM_R(n+j)'=(HM_R(n)*(1 -a)+HM_R(n+k)*a)*b+HM_R(n+j-1 )»*(1 -b)

Se a interpolação for realizada pela unidade deinterpolação 1041 e/ou se a suavização for realizada pelaunidade de suavização 1042, a informação de renderizaçãopossuindo um valor de energia diferente do da informação derenderização de protótipo pode ser obtida. Para evitar esseproblema, a normalização de energia pode ser executada adi-cionalmente.

Finalmente, a unidade de conversão de domínio 1050realiza a conversão de domínio na informação de renderizaçãopara um domínio para execução da renderização. Se o domíniopara a execução da renderização for idêntico ao domínio dainformação de renderização, a conversão de domínio pode nãoser executada. Depois disso, a informação de renderizaçãoconvertida em domínio é transferida para a unidade de rende-rização 900.

A Figura 19 é um diagrama em bloco para um segundométodo de geração de informação de renderização em uma uni-dade de conversão de informação espacial de acordo com umamodalidade da presente invenção.O segundo método é similar ao primeiro método vis-to que a unidade de conversão de informação espacial 1000inclui uma unidade de mapeamento fonte 1010, uma unidade degeração de informação de sub-renderização 1020, uma unidadede integração 1030, uma unidade de processamento 104 0, e umaunidade de conversão de domínio 1050 e pelo fato de a unida-de de geração de informação de sub-renderização 1020 incluirpelo menos uma unidade de geração de informação de sub-renderização.

Com referência à figura 19, o segundo método degeração de informação de renderização difere do primeiro mé-todo em uma posição da unidade de processamento 1040. Logo,a interpolação e/ou suavização podem ser realizadas por ca-nal em informações de sub-renderização (por exemplo, FL_L,FL_R no caso de sinal mono e FL_L 1, FL_L2, FL_R1, FL_R2 nocaso de sinal estéreo) geradas por canal na unidade de gera-ção de informação de sub-renderização 1020.

Subseqüentemente, a unidade de integração 1030 in-tegra as informações de sub-renderização interpoladas e/ousuavizadas à informação de renderização.

A informação de renderização gerada é transferidapara a unidade de renderização 900 através da unidade deconversão de domínio 1050.

A Figura 20 é um diagrama em bloco para um tercei-ro método de geração de informação de filtro de renderizaçãoem uma unidade de conversão de informação espacial de acordocom uma modalidade da presente invenção.O terceiro método é similar ao primeiro ou segundométodo visto que uma unidade de conversão de informação es-pacial 1000 inclui uma unidade de mapeamento de fonte 1010,uma unidade de geração de informação de sub-renderização1020, uma unidade de integração 1030, uma unidade de proces-samento 1040, e uma unidade de conversão de domínio 1050 epelo fato de a unidade de geração de informação de sub-geração 1020 incluir pelo menos uma unidade de geração deinformação de sub-renderização.

Com referência à figura 20, o terceiro método degeração de informação de renderização difere dos primeiro ousegundo métodos visto que a unidade de processamento 1040está localizada perto da unidade de mapeamento de fonte1010. Logo, a interpolação e/ou suavização pode ser realiza-da por canal na informação de mapeamento de fonte gerada pe-la utilização da informação espacial na unidade de mapeamen-to de fonte 1010.

Subseqüentemente, a unidade de geração de informa-ção de sub-renderização 1020 gera informação de sub-renderização pela utilização da informação de mapeamento defonte interpolada e/ou suavizada e informação de filtro.

A informação de sub-renderização é integrada nainformação de renderização na unidade de integração 1030. E,a informação de renderização gerada é transferida para a u-nidade de renderização 900 através da unidade de conversãode domínio 1050.

A Figura 21 é um diagrama para explicar um métodode geração de um sinal circundante em uma unidade de rende-rização de acordo com uma modalidade da presente invenção. Afigura 21 ilustra um processo de renderização executado emum domínio DFT. Porém, o processo de renderização pode serimplementado em um domínio diferente de forma similar tam-bém. A figura 21 ilustra um caso no qual um sinal de entradaé um sinal de mistura descendente mono. Porém, a figura 21 éaplicável a outros canais de entrada incluindo um sinal demistura descendente estéreo e similares da mesma forma.

Com referência à figura 21, um sinal de misturadescendente mono em um domínio de tempo executa preferivel-mente uma janela possuindo um intervalo de sobreposição OLna unidade de conversão de domínio. A figura 21 ilustra umcaso no qual 50% de sobreposição é utilizada. Porém, a pre-sente invenção inclui casos de utilização de outras sobrepo-sições.

Uma função de janela para execução da janela podeempregar uma função possuindo uma seletividade de freqüênciaboa em um domínio DFT sendo conectada de forma contínua semdescontinuidade em um domínio de tempo. Por exemplo, umafunção de janela quadrada de seno pode ser utilizada comofunção de janela.

Subseqüentemente, o enchimento zero ZL de um com-primento de lingüeta [precisamente, (comprimento de lingüe-ta)-l] de um filtro de renderização utilizando informação derenderização convertida na unidade de conversão de domínio érealizado em um sinal de downmmix mono possuindo um compri-mento 0L*2 obtido a partir da janela. Uma conversão de domí-nio é então realizada em um domínio DFT. A figura 20 ilustraque um sinal de mistura descendente de bloco k é convertidoem domínio em um domínio DFT.

0 sinal de mistura descendente convertido em domí-nio é criado por um filtro de renderização que utiliza a in-formação de renderização. 0 processo de renderização podeser representado como um produto de um sinal de mistura des-cendente e informação de renderização. 0 sinal de misturadescendente criado sofre IDFT (Transformação Fourier Discre-ta Invertida) na unidade de conversão de domínio inverso e é'então sobreposto com o sinal de mistura descendente (bloco kna figura 20) previamente executado com um retardo de umcomprimento OL para gerar um sinal circundante.

A interpolação pode ser realizada em cada blocosob o processo de renderização.

0 método de interpolação é explicado como se segue.

A Figura 22 é um diagrama para um primeiro métodode interpolação de acordo com uma modalidade da presente in-venção. A interpolação de acordo com a presente invenção po-de ser executada em várias posições. Por exemplo, a interpo-lação pode ser executada em várias posições na unidade deconversão de informação espacial ilustrada nas figuras 18 a20 ou pode ser executada na unidade de renderização. A in-formação espacial, a informação de mapeamento de fonte, ainformação de filtro e similares podem ser utilizadas comovalores a serem interpolados. Na especificação, a informaçãoespacial é ilustrativamente utilizada para descrição. Porém,a presente invenção não está limitada à informação espacial.A interpolação é executada depois ou juntamente com a expan-são para uma banda maior.

Com referência à figura 22, a informação espacialtransferida de um aparelho de codificação pode ser transfe-rida a partir de uma posição aleatória ao invés de sertransmitida em cada intervalo de tempo. Um quadro espacial écapaz de portar uma pluralidade de conjuntos de informaçãoespacial (por exemplo, conjuntos de parâmetro η e n+1 na fi-gura 22) . No caso de uma baixa taxa de bit, um quadro espa-ciai é capaz de portar um único novo conjunto de informaçãoespacial. Logo, a interpolação é realizada para um intervalode tempo não transmitido utilizando valores de um conjuntode informação espacial transmitido vizinho. Um intervalo en-tre as janelas pra a renderização da execução nem sempre co-incide com um intervalo de tempo. Logo, um valor interpoladoem um centro das janelas de renderização (K-l, K, K+l, K+2,etc.) como ilustrado na figura 22, tem utilização. Apesar dea figura 22 ilustrar que a interpolação linear é realizadaentre os intervalos de tempo onde um conjunto de informaçãoespacial existe, a presente invenção não está limitada aométodo de interpolação. Por exemplo, a interpolação não érealizada em um intervalo de tempo onde um conjunto de in-formação espacial não existe. Ao invés disso, um valor ante-rior ou predeterminado pode ser utilizado.

A Figura 23 é um diagrama para um segundo métodode interpolação de acordo com uma modalidade da presente in-venção.Com referência à figura 23, um segundo método deinterpolação de acordo com uma modalidade da presente inven-ção tem uma estrutura na qual um intervalo utilizando um va-lor anterior, um intervalo utilizando um valor padrão prede-terminado e similares são combinados. Por exemplo, a inter-polação pode ser realizada pela utilização de pelo menos umdentre um método de manutenção de um valor anterior, um mé-todo de utilização de um valor padrão predeterminado, e ummétodo de execução da interpolação linear em um intervalo deum quadro espacial. No caso de pelo menos dois novos conjun-tos de informação espacial existirem em uma janela, a dis-torção pode ocorrer. Na descrição a seguir, a comutação debloco para prevenção de distorção é explicada.

A Figura 24 é um diagrama para um método de comu-tação de bloco de acordo com uma modalidade da presente in-venção .

Com referência a (a) ilustrado na figura 24, vistoque um comprimento de janela é maior do que um comprimentode intervalo de tempo, pelo menos dois conjuntos de informa-ção espacial (por exemplo, conjuntos de parâmetro η e n+1 nafigura 24) podem existir em um intervalo de janela. Nessecaso, cada um dos conjuntos de informação espacial deve seraplicado a um intervalo de tempo diferente. Porém, se um va-lor resultante da interpolação de pelo menos dois conjuntosde informação espacial for aplicado, a distorção pode ocor-rer. Isso é, a distorção atribuída à falta de resolução detempo de acordo com um comprimento de janela pode ocorrer.Para solucionar esse problema, um método de comu-tação de variação de um tamanho de janela de forma a encai-xar na resolução de um intervalo de tempo pode ser utiliza-do. Por exemplo, um tamanho de janela, como ilustrado em (b)da figura 24, pode ser comutado para uma janela menor paraum intervalo que exija uma alta resolução. Nesse caso, emuma parte inicial e uma parte final das janelas comutadas,as janelas de conexão são utilizadas para impedir a ocorrên-cia de junções em um domínio de tempo das janelas comutadas.

O comprimento da janela pode ser decidido pela u-tilização de informação espacial em um aparelho de decodifi-cação ao invés de ser transferido como informação adicionalseparada. Por exemplo, um comprimento de janela pode ser de-terminado pela utilização de um intervalo de um intervalo detempo para atualização da informação espacial. Isso é, se ointervalo de atualização da informação espacial for estrei-to, uma função de janela de comprimento curto é utilizada.Se o intervalo de atualização da informação espacial forlargo, uma função de janela de comprimento grande é utiliza-da. Nesse caso, pela utilização de uma janela de comprimentovariável na renderização, é vantajoso não se utilizar bitspara o envio da informação de comprimento de janela separa-damente. Dois tipos de comprimento de janela são ilustradosem (b) na figura 24. Porém, as janelas possuindo vários com-primentos podem ser utilizadas de acordo com a freqüência detransmissão e relações de informação espacial. A informaçãode comprimento de janela decidida é aplicável a várias eta-pas para a geração de um sinal circundante, que é explicadana descrição a seguir.

A Figura 25 é um diagrama em bloco para uma posi-ção na qual um comprimento de janela decidido por uma unida-de de decisão de comprimento de janela é aplicado de acordocom uma modalidade da presente invenção.

Com referência à figura 25, uma unidade de decisãode comprimento de janela 14 00 é capaz de decidir um compri-mento de janela pela utilização da informação espacial. Ainformação para o comprimento de janela decidido é aplicávela uma unidade de mapeamento de fonte 1010, uma unidade deintegração 1030, uma unidade de processamento 1040, unidadesde conversão de domínio 1050 e 1100, e uma unidade de con-versão de domínio invertida 1300. A"figura 25 ilustra um ca-so no qual um sinal de mistura descendente estéreo é utili-zado. Porém, a presente invenção não está limitada ao sinalde mistura descendente estéreo apenas. Como mencionado nadescrição acima, mesmo se um comprimento de janela for en-curtado, um comprimento de enchimento zero dedicido de acor-do com um número de lingüeta de filtro não é ajustável. Lo-go, uma solução para o problema é explicada na descrição aseguir.

A Figura 26 é um diagrama para filtros possuindovários comprimentos utilizados no processamento de um sinalde áudio de acordo com uma modalidade da presente invenção.Como mencionado na descrição acima, se um comprimento de en-chimento zero decidido de acordo com um número de lingüetade filtro não for ajustado, uma sobreposição resultando emum comprimento correspondente substancialmente ocorre pararesultar na falta de resolução de tempo. Uma solução para oproblema é a redução do comprimento de enchimento zero atra-vés da restrição de um comprimento de uma lingüeta de fil-tro. Um método de redução de comprimento de enchimento zeropode ser alcançado pela truncagem de uma parte posterior deuma resposta (por exemplo, um intervalo de difusão corres-pondente à reverberação). Nesse caso, um processo de rende-rização pode ser menos preciso do que um caso de não trunca-gem da parte posterior da resposta de filtro. Porém, os va-lores de coeficiente de filtro em um domínio de tempo sãomuito pequenos para afetar basicamente a reverberação. Logo,uma qualidade de som não é consideravelmente afetada pelatruncagem.

Com referência à figura 26, quatro tipos de filtrosão utilizados. Os quatro tipos de filtros são utilizados emum domínio DFT, que não impõe limitação na presente inven-ção.

Um filtro N indica um filtro possuindo um compri-mento de filtro longo FL e um comprimento 2*0L de um enchi-mento zero longo do qual o número de lingüeta de filtro nãoé restringido. Um filtro N-2 indica um filtro possuindo umcomprimento de enchimento zero 2*0L mais curto do que o dofiltro Nl pela restrição de um número de lingüetas de filtrocom o mesmo comprimento de filtro FL. Um filtro N3 indica umfiltro possuindo um comprimento de enchimento zero longo2*0L mas não restringindo um número de lingüetas de filtrocom um comprimento de filtro FL mais curto do que o filtroNI. Ε, um filtro N4 indica um filtro possuindo um comprimen-to de janela FL mais curto do que o do filtro Nl com um com-primento de enchimento zero curto 2*0L pela restrição de umnúmero de lingüetas do filtro.

Como mencionado na descrição acima, é possível sesolucionar o problema de resolução de tempo utilizando-se osquatro tipos de filtros ilustrativos acima. E, para a parteposterior da resposta de filtro, um coeficiente de filtrodiferente é utilizado para cada domínio.

A Figura 27 é um diagrama para um método de pro-cessamento de um sinal de áudio de forma dividida pela uti-lização de uma pluralidade de sub-filtros de acordo com umamodalidade da presente invenção. Um filtro pode ser divididoem sub-filtros possuindo coeficientes de filtro diferindo umdo outro. Depois do processamento do sinal de áudio pela u-tilização dos sub-filtros, um método de adição de resultadosdo processamento pode ser utilizado. No caso de aplicação deinformação espacial a uma parte posterior de uma resposta defiltro possuindo pouca energia, isso é, no caso de realiza-ção da renderização pela utilização de um filtro com umalingüeta de filtro longa, o método fornece a função de pro-cessamento dividido do sinal de áudio por uma unidade decomprimento predeterminada. Por exemplo, visto que a parteposterior da resposta de filtro não é consideravelmente va-riada por HRTF correspondendo a cada canal, é possível serealizar a renderização pela extração de um coeficiente co-mum a uma pluralidade de janelas. Na presente especificação,um caso de execução em um domínio DFT é descrito. Porém, apresente invenção não está limitada ao domínio DFT.

Com referência à figura 27, depois que um filtroFL foi dividido em uma pluralidade de sub-áreas, uma plura-lidade de sub-áreas pode ser processada por uma pluralidadede sub-filtros (filtro A e filtro B) possuindo coeficientesde filtro diferindo um do outro.

Subseqüentemente, uma saída processada pelo filtroA e uma saída processada pelo filtro B são combinadas. Porexemplo, IDFT (Transformação Fourier Discreta Invertida) érealizada em cada saída processada pelo filtro A e saídaprocessada pelo filtro B para gerar um sinal de domínio detempo. E, os sinais gerados são adicionados. Nesse caso, umaposição, à qual a saída processada pelo filtro B é adiciona-da, é retardada em tempo por FL mais de uma posição da saídaprocessada pelo filtro A. Dessa forma, o sinal processadopor uma pluralidade de sub-filtros resulta no mesmo efeitodo caso no qual o sinal é processado por um único filtro.

E, a presente invenção inclui um método de rende-rização da saída processada pelo filtro B para um sinal demistura descendente diretamente. Nesse caso, é possível secriar a saída para o sinal de mistura descendente pela uti-lização de coeficientes extraídos da informação espacial, ainformação espacial parcial ou sem utilização da informaçãoespacial.

0 método é caracterizado pelo fato de um filtropossuindo um número de lingüeta longo poder ser aplicado deforma dividida e de uma parte posterior do filtro possuirpouca energia ser aplicável sem conversão utilizando infor-mação espacial. Nesse caso, se a conversão utilizando infor-mação espacial não for aplicada, um filtro diferente não éaplicado a cada janela processada. Logo, é desnecessário seaplicar o mesmo esquema que a comutação de bloco. A figura26 ilustra que o filtro é dividido em duas áreas. Porém, apresente invenção é capaz de dividir o filtro em uma plura-lidade de áreas.

A Figura 28 é um diagrama em bloco para um métodode renderização de divisão criando a informação gerada poruma pluralidade de sub-filtros para um sinal de mistura des-cendente mono de acordo com uma modalidade da presente in-venção. A figura 28 se refere a um coeficiente de renderiza-ção. O método pode ser executado por coeficiente de renderi-zação.

Com referência à figura 28, a informação de filtroA da figura 27 corresponde à primeira informação de renderi-zação de divisão HM_L_A e a informação de filtro B da figura27 corresponde à segunda informação de renderização de divi-são HM_L_B. A figura 28 ilustra uma modalidade de divisão emdois sub-filtros. Porém, a presente invenção não está limi-tada a dois sub-filtros. Os dois sub-filtros podem ser obti-dos através de uma unidade de divisão 1500 utilizando a in-formação de renderização HM_L gerada na unidade de geraçãode informação espacial 1000. Alternativamente, os dois sub-filtros podem ser obtidos utilizando-se informação HRTF deprotótipo ou informação decidida de acordo com uma seleçãode usuário. A informação decidida de acordo com a seleção dousuário pode incluir informação espacial selecionada de a-cordo com o gosto do usuário, por exemplo. Nesse caso,HM_L_A é a informação de renderização com base na informaçãoespacial recebida, e, HM_L_B pode ser a informação de rende-rização para o fornecimento de um efeito tridimensional co-mumente aplicado aos sinais.

Como mencionado na descrição acima, o processamen-to com uma pluralidade de sub-filtros é aplicável a um domí-nio de tempo e um domínio QMF além do domínio DFT. Em parti-cular, os valores de coeficiente divididos pelo filtro A epelo filtro B são aplicados ao sinal de mistura descendentepela renderização do domínio de tempo ou QMF e são então a-dicionados para gerar um sinal final.

A unidade de renderização 900 inclui uma primeiraunidade de renderização de divisão 950 e uma segunda unidadede renderização de divisão 960. A primeira unidade de rende-rização de divisão 950 realiza um processo de renderizaçãoutilizando HM_L_A, ao passo que a segunda unidade de rende-rização de divisão 960 realiza um processo de renderizaçãoutilizando HM_L_B.

Se o filtro Aeo filtro B, como ilustrado na fi-gura 27, forem divisões de um mesmo filtro de acordo com otempo, é possível se considerar um retardo adequado paracorresponder ao intervalo, de tempo. A figura 28 ilustra umexemplo de um sinal de mistura descendente mono. No caso deutilização de sinal de mistura descendente mono e um descor-relator, uma parte correspondente ao filtro B é aplicada nãoao descorrelator mas ao sinal de mistura descendente monodiretamente.

A Figura 29 é um diagrama em bloco de um método derenderização de informação de renderização de divisão geradautilizando uma pluralidade de sub-filtros para um sinal demistura descendente estéreo de acordo com uma modalidade dapresente invenção.

Um processo de renderização de divisão ilustradona figura 29 é similar ao da figura 28 pelo fato de doissub-filtros serem obtidos em um divisor 1500 pela utilizaçãoda informação de renderização gerada pela unidade de conver-são de informação espacial 1000, informação de filtro HRTFde protótipo ou informação de decisão de usuário. A diferen-ça da figura 28 se encontra no fato de um processo de rende-rização de divisão correspondente ao filtro B ser comumenteaplicado aos sinais L/R.

Em particular, o divisor 1500 gera a primeira in-formação de renderização de divisão correspondente à infor-mação de filtro A, segunda informação de renderização de di-visão, e terceira informação de renderização de divisão cor-respondendo à informação de filtro B. Nesse caso, a terceirainformação de renderização de divisão pode ser gerada pelautilização da informação de filtro ou informação espacialcomumente aplicável aos sinais L/R.

Com referência à figura 29, uma unidade de rende-rização 900 inclui uma primeira unidade de renderização dedivisão 970, uma segunda unidade de renderização de divisão980 e uma terceira unidade de renderização de divisão 990.A terceira informação de renderização de divisãogerada é aplicada a um sinal de soma dos sinais L/R na ter-ceira unidade de renderização de divisão 990 para gerar umsinal de saida. O sinal de saida é somado aos sinais de saí-da L/R, que são criados independentemente por um filtro Al eum filtro A2 nas primeira e segunda unidades de renderizaçãode divisão 970 e 980, respectivamente, para gerar sinaiscircundantes. Nesse caso, o sinal de saida da terceira uni-dade de renderização de divisão 990 pode ser adicionado de-pois de um retardo adequado. Na figura 29, uma expressão deinformação de renderização cruzada aplicada a outro canal apartir das entradas L/R é omitida por motivos de conveniên-cia de explicação.

A Figura 30 é um diagrama em bloco para um primei-ro método de conversão de domínio de um sinal de misturadescendente de acordo com uma modalidade da presente inven-ção. O processo de renderização executado no domínio DFT foidescrito até agora. Como mencionado na descrição acima, oprocesso de renderização é executável em outros domínios a-lém do domínio DFT. Porém, a figura 30 ilustra o processo derenderização executado no domínio DFT. Uma unidade de con-versão de domínio 1100 inclui um filtro QMF e um filtro DFT.Uma unidade de conversão de domínio invertida 1300 inclui umfiltro IDFT e um filtro IQMF. A figura 30 refere-se a um si-nal de mistura descendente mono, que não impõe limitação àpresente invenção.

Com referência à figura 30, um sinal de misturadescendente de domínio de tempo de ρ amostras passa atravésde um filtro QMF para gerar P amostras de sub-bandas. W a-mostras são coletadas novamente por banda. Depois de a for-mação de janela ser realizada nas amostras coletadas nova-mente, o enchimento zero é realizado. DFT de ponto zero(FFT) é então executado. Nesse caso, DFT permite um proces-samento pela formação de janela do tipo supra mencionada. Umvalor conectando os valores de domínio de freqüência M/2 porbanda obtido pelo DFT de ponto M para P bandas pode ser con-siderado um valor aproximado de um espectro de freqüênciaobtido por DFTM/2*de ponto P. Logo, um coeficiente de filtrorepresentado em um domínio DFT M/2*de ponto P é multiplicadopelo espectro de freqüência para resultar nos mesmo efeitodo processo de renderização no domínio DFT.

Nesse caso, o sinal tendo passado através do fil-tro QMF apresenta vazamento, por exemplo, orientando entrebandas vizinhas. Em particular, um valor correspondente auma banda vizinha smears em uma banda atual e uma parte deum valor existente na banda atual é alterada para a bandavizinha. Nesse caso, se a integração QMF for executada, umsinal original pode ser recuperado devido às característicasQMF. Porém, se um processo de filtragem for realizado no si-nal da banda correspondente como é o caso na presente inven-ção, o sinal é distorcido pelo vazamento. Para minimizar es-se problema, um processo de recuperação de um sinal originalpode ser adicionado de forma a fazer com que um sinal passeatravés de uma borboleta de minimização de vazamento B antesda realização de DFT por banda depois de QMF na unidade deconversão de domínio 100 e realização de um processo de re-versão V depois de IDFT na unidade de conversão de domínioinverso 1300.

Enquanto isso, para combinar o processo de geraçãoda informação de renderização gerada na unidade de conversãode informação espacial 1000 com o processo de geração do si-nal de mistura descendente, DFT pode ser realizado em um si-nal de passagem QMF para a informação de filtro de protótipoao invés da execução de DFT M/2* ponto P no começo. Nessecaso, ό espalhamento de retardo e dados decorrente do filtroQMF pode existir.

A Figura 31 é um diagrama em bloco para um segundométodo de conversão de domínio de um sinal de mistura des-cendente de acordo com uma modalidade da presente invenção.A figura 31 ilustra um processo de renderização realizado emum domínio QMF.

Com referência à figura 31, uma unidade de conver-são de domínio 1100 inclui uma unidade de conversão de domí-nio QMF e uma unidade de conversão de domínio inverso 1300inclui uma unidade de conversão de domínio IQMF. Uma confi-guração ilustrada na figura 31 é igual à do caso de utiliza-ção DFT apenas exceto que a unidade de conversão de domínioé um filtro QMF. Na descrição a seguir, QMF é referido comoincluindo um QMF e um QMF híbrido possuindo a mesma largurade banda. A diferença do caso de utilização de DFT apenas seencontra no fato de a geração da informação de renderizaçãoser realizada no domínio QMF e de o processo de renderizaçãoser representado como uma convolução ao invés do produto nodomínio DFT, visto que o processo de renderização realizadopor um criador M-3012 é executado no domínio QMF.

Considerando-se que o filtro QMF seja fornecidocom bandas B, um coeficiente de filtro pode ser representadocomo um conjunto de coeficientes de filtro possuindo dife-rentes características (coeficientes) para as bandas B. Oca-sionalmente, se um número de lingüeta de filtro se tornaruma primeira ordem (isso é, multiplicado por uma constante),um processo de renderização em um domínio DFT possuindo Bespectros de freqüência e um processo operacional são combi-nados. A figura matemática 31 representa um processo de ren-derização executado em uma banda QMF (b) para um percursopara realização do processo de renderização utilizando in-formação de renderização HM_L.

Nesse caso, k indica uma ordem de tempo na bandaQMF, isso é, uma unidade de intervalo de tempo. 0 processode renderização executado no domínio QMF é vantajoso vistoque, se a informação espacial transmitida for um valor apli-cável ao domínio QMF, a aplicação dos dados correspondentesé mais facilitada e a distorção no curso da aplicação podeser minimizada. Porém, no caso de conversão de domínio QMFno processo de conversão de informação de filtro de protóti-po (por exemplo, coeficiente de filtro de protótipo), umaquantidade operacional considerável é necessária para umprocesso de aplicação de valor convertido. Nesse caso, aquantidade operacional pode ser minimizada pelo método deparametrização do coeficiente HRTF no processo de conversãode informação de filtro.

Aplicabilidade Industrial

De acordo, o método e aparelho de processamento desinal da presente invenção utilizam informação espacial for-necida por um codificador para gerar sinais circundantes pe-la utilização da informação de filtro HRTF ou informação defiltro de acordo com um usuário em um aparelho de decodifi-cação capaz de gerar múltiplos canais. E, a presente inven-ção é aplicável de forma útil a vários tipos de decodifica-dores capazes de reproduzir sinais estéreo apenas.

Enquanto a presente invenção foi descrita e ilus-trada aqui com referência às modalidades preferidas da mes-ma, será aparente aos versados na técnica que várias modifi-cações e variações podem ser realizadas aqui sem se distan-ciar do espirito e escopo da invenção. Dessa forma, preten-de-se que a presente invenção cubra as modificações e varia-ções dessa invenção que se encontrem dentro do escopo dasreivindicações em anexo e suas equivalências.

Claims

1. Método de processamento de um sinal,CARACTERIZADO pelo fato de compreender:a geração de informação de mapeamento de fonte pe-Ia utilização da informação espacial para múltiplas fontes;a geração de informação de sub-renderização pelaaplicação da informação de filtro para um efeito circundantepara a informação de mapeamento de fonte;a geração de informação de renderização pela inte-gração da informação de sub-renderização; ea geração do sinal circundante possuindo o efeitocircundante pela aplicação da informação de renderização aum sinal de mistura descendente gerado pela mistura descen-dente das múltiplas fontes

2. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a informação espacial incluir pe-lo menos uma dentre uma diferença de nivel de fonte e umacorrelação inter-fonte.

3. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a informação de mapeamento defonte ser informação correspondente a cada fonte das múlti-plas fontes.

4. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a informação de sub-renderizaçãoincluir informação gerada pela aplicação da informação defiltro a pelo menos duas informações de mapeamento de fonte.

5. Método, de acordo com a reivindicação 1,CARACTERIZADO pelo fato de a informação de filtro incluirpelo menos um de informação de filtro HRTF e um valor deci-dido de acordo com uma seleção de usuário.

6. Método, de acordo com a reivindicação 5,CARACTERIZADO pelo fato de a informação de filtro ser con-vertida por domínio em informação de um domínio do sinalcircundante gerado.

7. Método, de acordo com a reivindicação 6,CARACTERIZADO pelo fato de a informação de filtro ser geradapela conversão da informação de filtro HRTE em um parâmetro.

8. Aparelho para o processamento de um sinal,CARACTERIZADO pelo fato de compreender:uma unidade de mapeamento de fonte gerando infor-mação de mapeamento de fonte para múltiplas fontes pela uti-lização da informação espacial;uma unidade de geração de informação de sub-renderização gerando informação de sub-renderização pela a-plicação da informação de filtro para um efeito circundanteà informação de mapeamento de fonte;uma unidade de integração gerando informação derenderização pela integração de pelo menos uma das informa-ções de sub-renderização; euma unidade de renderização gerando o sinal cir-cundante possuindo o efeito circundante pela aplicação dainformação de renderização a um sinal de mistura descendentegerado pela mistura descendente das múltiplas fontes.

9. Aparelho, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de a informação espacial incluir pe-lo menos uma dentre uma diferença de nível de fonte e umacorrelação inter-fonte.

10. Aparelho, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de a informação de mapeamento defonte ser informação correspondente a cada fonte das múlti-plas fontes.

11. Aparelho, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de a informação de sub-renderizaçãoincluir informação gerada pela aplicação da informação defiltro a pelo menos duas informações de mapeamento de fonte.

12. Aparelho, de acordo com a reivindicação 8,CARACTERIZADO pelo fato de a informação de filtro incluirpelo menos um de informação de filtro HRTF e um valor deci-dido de acordo com uma seleção de usuário.

13. Aparelho, de acordo com a reivindicação 12,CARACTERIZADO pelo fato de a informação de filtro ser con-vertida por domínio em informação de um domínio do sinalcircundante gerado.

14. Aparelho, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de a informação de filtro ser geradapela conversão da informação de filtro HRTF em um parâmetro.