BR112016016008B1

BR112016016008B1 - Método para renderizar um sinal de áudio

Info

Publication number: BR112016016008B1
Application number: BR112016016008-8A
Authority: BR
Inventors: Sang-Bae Chon; Sun-min Kim
Original assignee: Samsung Electronics Co., Ltd
Priority date: 2014-01-10
Filing date: 2015-01-12
Publication date: 2022-09-13
Also published as: US10136236B2; HUE050525T2; CN109801640B; WO2015105393A1; CN109801640A; EP3079379A1; EP3079379A4; BR112016016008A2; KR20150083734A; CN106063297A; EP3079379B1; KR102160254B1; US10652683B2; US20160330560A1; CN106063297B; US10863298B2; US20190058959A1; US20200228908A1

Abstract

MÉTODO PARA REPRODUZIR ÁUDIO TRIDIMENSIONAL (3D), MEIO DE GRAVAÇÃO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO, E APARELHO PARA REPRODUZIR ÁUDIO 3D Um método e aparelho para reproduzir áudio tridimensional (3D) são fornecidos. O método para reproduzir áudio 3D pode incluir receber um sinal de múltiplos canais compreendendo uma pluralidade de canais de entrada; e realizar remixa-gem para estéreo de acordo com uma faixa de frequência do sinal de múltiplos canais a fim de converter o formato da pluralidade de canais de entrada para uma pluralidade de canais de saída tendo elevação.

Description

CAMPO TÉCNICO

[0001] A presente invenção se refere a um método e aparelho de reprodução de áudio tridimensional (3D) para proporcionar uma imagem de som aérea usando canais de saída dados.

ANTECEDENTES DA INVENÇÃO

[0002] Devido a avanços nas tecnologias de processamento de áudio e vídeo, conteúdo multimídia tendo alta qualidade de imagem e alta qualidade de áudio é amplamente disponível. Os usuários desejam conteúdo tendo alta qualidade de imagem e alta qualidade de som com vídeo e áudio realistas e, consequentemente, a pesquisa sobre vídeo tridimensional (3D) e áudio 3D está sendo conduzida de forma ativa.

[0003] Áudio 3D é uma tecnologia na qual uma pluralidade de alto-falantes está localizada em diferentes posições num plano horizontal e envia o mesmo sinal de áudio ou sinais de áudio diferentes, desse modo permitindo a um usuário perceber uma sensação de espaço. No entanto, áudio real é fornecido em várias posições num plano horizontal e também é fornecido em diferentes alturas. Portanto, o desenvolvimento de uma tecnologia para reproduzir de forma eficaz um sinal de áudio fornecido em diferentes alturas via um alto- falante localizado num plano horizontal é necessário.

DESCRIÇÃO DETALHADA DA INVENÇÃO PROBLEMA TÉCNICO

[0004] A presente invenção fornece um método e aparelho para reproduzir áudio tridimensional (3D) para proporcionar uma imagem de som aérea num leiaute de reprodução incluindo canais de saída horizontais.

SOLUÇÃO TÉCNICA

[0005] De acordo com um aspecto da presente invenção, é fornecido um método para reproduzir áudio tridimensional (3D) incluindo receber um sinal de múltiplos canais compreendendo uma pluralidade de canais de entrada; e realizar mixagem para estéreo de acordo com uma faixa de frequência do sinal de múltiplos canais a fim de converter o formato da pluralidade de canais de entrada para uma pluralidade de canais de saída tendo uma sensação de elevação.

[0006] A realização de mixagem para estéreo pode incluir realizar mixagem para estéreo numa primeira faixa de frequência do sinal de múltiplos canais depois de um alinhamento de fase na primeira faixa de frequência de frequência e realizar mixagem para estéreo numa segunda faixa de frequência restante do sinal de múltiplos canais sem um alinhamento de fase.

[0007] A primeira faixa de frequência pode ter uma banda de frequência mais baixa do que uma frequência predeterminada.

[0008] A pluralidade de canais de saída pode incluir canais horizontais.

[0009] A realização de mixagem para estéreo pode incluir aplicar diferentes matrizes de mixagem para estéreo com base nas características do sinal de múltiplos canais.

[00010] As características do sinal de múltiplos canais podem incluir uma largura de banda e um grau de correlação.

[00011] A realização de mixagem para estéreo pode incluir aplicar uma de renderização de timbre e renderização espacial de acordo com um tipo de renderização incluído num fluxo de bits.

[00012] O tipo de renderização ser determinado de acordo com se a característica do sinal de múltiplos canais é transiente.

[00013] De acordo com um aspecto da presente invenção, é fornecido um aparelho de reprodução de áudio 3D incluindo um decodificador de núcleo configurado para decodificar um fluxo de bits; e um conversor de formato configurado para receber um sinal de múltiplos canais compreendendo uma pluralidade de canais de entrada do decodificador de núcleo e configurado para realizar mixagem para estéreo de acordo com uma faixa de frequência do sinal de múltiplos canais a fim de renderizar a pluralidade de canais de entrada numa pluralidade de canais de saída tendo uma sensação de elevação.

EFEITOS VANTAJOSOS

[00014] Num leiaute de reprodução incluindo canais de saída horizontais, quando renderização de elevação ou renderização espacial é realizada num canal de entrada vertical, a execução ou não execução de um alinhamento de fase com respeito a sinais de entrada é determinada e, depois, mixagem para estéreo é executada. Assim, um sinal numa faixa de frequência específica dentre sinais de canal de saída não sofre um alinhamento de fase e, assim, sincronização precisa pode ser fornecida.

[00015] Mais ainda, um sinal de uma faixa de frequência restante sofre tanto um alinhamento de fase quanto mixagem para estéreo e, assim, um aumento numa quantidade de cálculo e degradação na percepção de elevação durante o processo de mixagem para estéreo ativo global pode ser minimizado.

BREVE DESCRIÇÃO DOS DESENHOS

[00016] A FIG. 1 é um diagrama de blocos de uma estrutura esquemática de um aparelho para reproduzir áudio tridimensional (3D) de acordo com uma modalidade.

[00017] A FIG. 2 é um diagrama de blocos de uma estrutura detalhada de um aparelho para reproduzir áudio 3D de acordo com uma modalidade.

[00018] A FIG. 3 é um diagrama de blocos de um renderizador e um mixer de acordo com uma modalidade.

[00019] A FIG. 4 é um fluxograma de um método para reproduzir áudio 3D de acordo com uma modalidade.

[00020] A FIG. 4 é um fluxograma detalhado de um método para reproduzir áudio 3D de acordo com uma modalidade.

[00021] A FIG. 6 explica um método de mixagem para estéreo ativo de acordo com uma modalidade.

[00022] A FIG. 7 é um diagrama de blocos de uma estrutura de um aparelho para reproduzir áudio 3D de acordo com outra modalidade.

[00023] A FIG. 8 é um diagrama de blocos de um aparelho de renderização de áudio de acordo com uma modalidade.

[00024] A FIG. 9 é um diagrama de blocos de um aparelho de renderização de áudio de acordo com outra modalidade.

[00025] A FIG. 10 é um fluxograma de um método para renderizar áudio de acordo com uma modalidade.

[00026] A FIG. 11 é um fluxograma de um método para renderizar áudio de acordo com outra modalidade.

MODO DA INVENÇÃO

[00027] Modalidades serão agora descritas mais completamente a seguir com referência aos desenhos anexos. Nos desenhos, elementos semelhantes são denotados por numerais de referência semelhantes e uma explicação repetida dos mesmos não será dada.

[00028] As modalidades podem, contudo, ser configuradas de muitas formas diferentes e não devem ser interpretadas como sendo limitadas às modalidades exemplares aqui estabelecidas. No entanto, isto não limita a presente divulgação e deve ser entendido que a presente divulgação cobre todas as modificações, equivalentes e substituições dentro da ideia e do escopo técnico do conceito inventivo. Na descrição das modalidades, certas explicações detalhadas da técnica relacionada são omitidas quando for considerado que elas podem obscurecer desnecessariamente a essência do conceito inventivo. No entanto, um perito na arte pode entender que a presente invenção pode ser implementada sem esses detalhes específicos.

[00029] Embora os termos incluindo um número ordinal, tal como "primeiro", "segundo", etc., possam ser usados para descrever vários componentes, tais componentes não devem ser limitados por estes termos. O primeiro e o segundo termos não devem ser usados para fixar qualquer ordem de importância, mas são utilizados para distinguir um elemento de outro elemento.

[00030] Os termos usados nas modalidades abaixo são meramente usados para descrever modalidades particulares e não se destinam a limitar o escopo do conceito inventivo. Uma expressão usada no singular abrange a expressão do plural, a menos que ela tenha um significado claramente diferente no contexto. Nas modalidades abaixo, é para ser entendido que os termos tais como "incluindo", "tendo" e "compreendendo" se destinam a indicar a existência das características, números, etapas, ações, componentes, partes ou combinações dos mesmos revelados no relatório descritivo e não se destinam a excluir a possibilidade de que uma ou mais outras características, números, etapas, ações, componentes, partes, ou combinações dos mesmos possam existir ou possam ser adicionadas.

[00031] Nas modalidades abaixo, os termos "... módulo" e "... unidade desempenham pelo menos uma função ou operação e podem ser implementados como hardware, software ou uma combinação de hardware e software. Além disso, uma pluralidade de "... módulos" ou uma pluralidade de "... unidades" pode ser integrada como pelo menos um módulo e, assim, implementada com pelo menos um processador, exceto "... módulo" ou "... unidade" que é implementada com hardware específico.

[00032] As FIGS. 1 e 2 são diagramas de blocos de aparelhos para reproduzir áudio tridimensional (3D) 100 e 200 de acordo com uma modalidade. O aparelho para reproduzir áudio 3D 100 pode enviar um sinal áudio de múltiplos canais remixado para estéreo para canais para ser reproduzido. Os canais a serem reproduzidos são denominados como canais de saída e o sinal de áudio de múltiplos canais é assumido incluir uma pluralidade de canais de entrada. De acordo com uma modalidade, os canais de saída podem corresponder aos canais horizontais e os canais de entrada podem corresponder a canais horizontais ou canais verticais.

[00033] Áudio 3D se refere a um áudio que permite a um ouvinte ter uma sensação de imersão reproduzindo uma sensação de direção ou distância, bem como uma altura de som e um tom e tem informação de espaço que permite ao ouvinte, que não está localizado em um espaço onde uma fonte de som é gerada, a sentir uma direção, uma distância e um espaço.

[00034] Na descrição seguinte, um canal de um sinal de áudio pode ser um alto-falante através do qual um som é emitido. À medida que o número de canais aumenta, o número de alto-falantes pode aumentar. O aparelho de reprodução de áudio 3D 100 de acordo com uma modalidade pode renderizar um sinal de áudio de múltiplos canais tendo um grande número de canais a canais a serem reproduzidos e sinais renderizados de mixagem para estéreo, de modo que o sinal de áudio de múltiplos canais seja reproduzido em um ambiente no qual o número de canais é pequeno. O sinal de áudio de múltiplos canais pode incluir um canal capaz de emitir um som elevado, por exemplo, um canal vertical.

[00035] O canal capaz de emitir o som elevado pode ser um canal capaz de emitir um sinal de som através de um alto-falante localizado acima da cabeça de um ouvinte, de modo a permitir ao ouvinte sentir a elevação. Um canal horizontal pode denotar um canal capaz de emitir um sinal de som através de um alto-falante localizado num plano que está em um mesmo nível de um ouvinte.

[00036] O ambiente no qual o número de canais é pequeno pode ser um ambiente que nenhum canal capaz de emitir um som elevado está incluído e um som pode ser emitido através de alto-falantes dispostos num plano horizontal, a saber, através de canais horizontais.

[00037] Além disso, na descrição seguinte, o canal horizontal pode ser um canal incluindo um sinal de áudio que pode ser emitido através de um alto-falante disposto num plano horizontal. Um canal aéreo ou um canal vertical pode denotar um canal incluindo um sinal de áudio que pode ser emitido através de um alto-falante que está disposto a uma elevação, mas não num plano horizontal e é capaz de emitir um som elevado.

[00038] Com referência à FIG. 1, o aparelho para reproduzir áudio 3D 100 de acordo com uma modalidade pode incluir um renderizador 110 e um mixer 120. No entanto, todos os componentes ilustrados não são essenciais. O aparelho para reproduzir áudio 3D 100 pode ser implementado por mais ou menos componentes que aqueles ilustrados na FIG. 1.

[00039] O aparelho para reproduzir áudio 3D 100 pode renderizar e mixar o sinal de áudio de múltiplos canais e emitir um sinal áudio de múltiplos canais para um canal a ser reproduzido. Por exemplo, o sinal de áudio de múltiplos canais é um sinal de canal 22.2 e o canal a ser reproduzido pode ser um canal 5.1 ou 7.1. O aparelho para reproduzir áudio 3D 100 pode executar renderização determinando canais a serem combinados com os respectivos canais do sinal áudio de múltiplos canais e pode combinar sinais dos respectivos canais correspondentes aos canais a serem reproduzidos determinados para emitir um sinal final, desse modo, mixando sinais de áudio renderizados.

[00040] O renderizador 110 pode renderizar o sinal de áudio de múltiplos canais de acordo com um canal e uma frequência. O renderizador 110 pode executar renderização espacial ou renderização de elevação em um canal aéreo do sinal de áudio de múltiplos canais e pode realizar renderização de timbre em um canal horizontal do sinal de áudio de múltiplos canais.

[00041] A fim de renderizar o canal aéreo, o renderizador 110 pode renderizar o canal aéreo tendo passado através de um filtro de elevação espacial (por exemplo, um equalizador baseado em filtro de transferência relativo a cabeça (HRTF)) usando métodos diferentes de acordo com faixas de frequência. O equalizador baseado em HRTF pode transformar sinais de áudio incluídos no canal aéreo nos tons de sons chegando de diferentes direções aplicando uma transformação de tom ocorrendo num fenômeno que as características num caminho complicado (por exemplo, difração de uma superfície de cabeça e reflexão de aurículas), bem como uma diferença de caminho simples (por exemplo, uma diferença de nível entre ambos os ouvidos e uma diferença de tempo de chegada de um sinal de som entre ambos os ouvidos) são modificadas de acordo com uma direção de chegada de som. O equalizador baseado em HRTF pode processar os sinais de áudio incluídos no canal aéreo mudando a qualidade de som do sinal de áudio de múltiplos canais, de modo a permitir a um ouvinte reconhecer um áudio 3D.

[00042] O processador 110 pode renderizar um sinal numa primeira faixa de frequência do sinal de canal aéreo usando um método de adicionar ao canal mais próximo e pode renderizar um sinal restante numa segunda faixa de frequência usando um método de panning de múltiplos canais. Por conveniência de explicação, o sinal da primeira faixa de frequência é denominado como um sinal de baixa frequência e o sinal na segunda faixa de frequência é denominado como um sinal de alta frequência. Preferivelmente, o sinal na segunda faixa de frequência pode denotar um sinal de 2,8 a 10 kHz, e o sinal na primeira faixa de frequência pode denotar um sinal restante, a saber, um sinal de 2,8 KHz ou menor, ou um sinal de 10 kHz ou maior. De acordo com o método de panning de múltiplos canais, valores de ganho que são ajustados diferentemente para diferentes canais a serem renderizados podem ser aplicados ao sinal de áudio de múltiplos canais e, assim, cada sinal de canal do sinal de áudio de múltiplos canais pode ser renderizado para pelo menos um canal horizontal. Os sinais de canal aos quais os valores de ganho foram aplicados, respectivamente, podem ser combinados via mixagem e enviados como um sinal final.

[00043] Uma vez que o sinal de baixa frequência tem uma forte característica difrativa, qualidade de som similar pode ser fornecida a um ouvinte, mesmo quando cada sinal de canal do sinal de áudio de múltiplos canais é renderizado para apenas um canal, em vez de cada sinal de canal ser renderizado para uma pluralidade de canais de acordo com o método de panning de múltiplos canais. Portanto, o aparelho para reproduzir áudio 3D 100 de acordo com uma modalidade pode renderizar o sinal de baixa frequência utilizando o método de adicionar ao canal mais próximo, assim, evitando que a qualidade do som seja degradada quando uma pluralidade de canais for mixada para uma canal de saída. Isto é, se uma pluralidade de canais for mixada para um canal de saída, a qualidade de som pode ser amplificada ou diminuída de acordo com a interferência entre os sinais de canal, resultando em degradação na qualidade do som. Portanto, a degradação na qualidade do som pode ser evitada mixando um canal para um canal de saída.

[00044] De acordo com o método de adicionar ao canal mais próximo, cada canal do sinal de áudio de múltiplos canais pode ser renderizado para o canal mais próximo dentre canais a serem reproduzidos, em vez de ser renderizado para uma pluralidade de canais.

[00045] Além disso, realizando renderização em um sinal de áudio de múltiplos canais tendo diferentes frequências usando métodos diferentes, o aparelho para reproduzir áudio 3D 100 pode ampliar um ponto doce sem degradar a qualidade do som. Isto é, renderizando um sinal de baixa frequência tendo uma forte característica difrativa utilizando o método de adicionar o canal mais próximo, a degradação da qualidade do som quando uma pluralidade de canais é mixada para um canal de saída pode ser impedida. O ponto doce pode ser uma faixa predeterminada que permite a um ouvinte ouvir de forma ideal um áudio 3D sem distorção. Como um ponto doce é mais amplo, um ouvinte pode ouvir otimamente um áudio 3D sem distorção em uma ampla faixa. Quando um ouvinte não está localizado em um ponto doce, o ouvinte pode ouvir um som com qualidade de som distorcida ou imagem sonora.

[00046] O mixer 120 pode emitir um sinal final combinando sinais dos canais de entrada com panning para os canais de saída horizontais pelo renderizador 110. O mixer 120 pode mixar os sinais dos canais de entrada em unidades de seções predeterminadas. Por exemplo, o mixer 120 pode mixar os sinais dos canais de entrada em unidades de quadros.

[00047] O mixer 120 de acordo com uma modalidade pode remixar em estéreo sinais renderizados de acordo com frequência utilizando um método de remixagem em estéreo ativo. Em detalhes, o mixer 120 pode mixar um sinal de baixa frequência usando um método de remixagem em estéreo ativo. O mixer 120 pode mixar um sinal de alta frequência utilizando um método de preservação de energia de determinar uma amplitude do sinal final ou um ganho a ser aplicado ao sinal final com base em um valor de energia de sinais renderizados para os canais a serem reproduzidos. O mixer 120 pode também remixar para estéreo o sinal de alta frequência usando um método com exceção de um método de mixar sinais sem alinhamento de fase, não por apenas usar o método de conservação de energia.

[00048] No método de mixagem para estéreo ativa, antes de a mixagem para estéreo ser realizada utilizando uma matriz de covariância entre sinais que são combinados para um canal no qual os sinais serão mixados, as fases dos sinais são primeiro alinhadas. Por exemplo, as fases dos sinais podem ser alinhadas com base num sinal tendo a maior energia dentre os sinais a serem remixados para estéreo. De acordo com o método de mixagem para estéreo, as fases dos sinais que serão remixados para estéreo são alinhadas de modo que interferência construtiva possa ocorrer entre os sinais que serão mixados e, assim, a distorção da qualidade do som devido à interferência destrutiva que pode ocorrer durante a mixagem para estéreo pode ser evitada. Em particular, quando sinais sonoros correlacionados que estão fora de fase são inseridos e remixados para estéreo de acordo com o método de mixagem para estéreo, a ocorrência de um fenômeno que um tom dos sinais de som remixados para estéreo muda ou um som desaparece devido à interferência destrutiva pode ser impedida.

[00049] Na renderização virtual, um sinal de canal aéreo passa através de um equalizador baseado em HRTF e um sinal de áudio 3D é reproduzido via panning de múltiplos canais. De acordo com esta renderização virtual, fontes de som síncronas são reproduzidas via um alto-falante surround e, assim, áudio 3D com a percepção de elevação pode ser enviado. Em particular, devido à reprodução das fontes de som síncronas via um alto-falante surround, sinais binaurais idênticos podem ser fornecidos e, assim, uma imagem sonora aérea pode ser fornecida.

[00050] No entanto, quando sinais são remixados para estéreo de acordo com o método de mixagem para estéreo ativo, as fases dos sinais podem ficar diferentes e, assim, os sinais dos canais são dessincronizados entre si e, consequentemente, a percepção de elevação pode não ser fornecida. Por exemplo, quando sinais de canal aéreo são dessincronizados entre si durante mixagem para estéreo, uma percepção de elevação que é reconhecível devido a uma diferença de tempo de chegada de um sinal de som entre ambos os ouvidos desaparece e, assim, a qualidade do som pode degradar devido à aplicação do método de mixagem para estéreo ativo.

[00051] Assim, o mixer 120 pode mixar o sinal de baixa frequência tendo uma forte característico difrativa de acordo com o método de mixagem para estéreo, uma vez que uma diferença de tempo de chegada de um sinal de som entre ambos os ouvidos é raramente reconhecida e a sobreposição de fase visivelmente ocorre num componente de baixa frequência. O mixer 120 pode mixar um sinal de alta frequência com uma forte percepção de elevação reconhecível devido à diferença de tempo de chegada de um sinal de som entre ambos os ouvidos, de acordo com um método de mixagem não incluindo alinhamento de fase. Por exemplo, o mixer 120 pode mixar o sinal de alta frequência, embora minimizando a distorção da qualidade do som provocada pela interferência destrutiva, preservando a energia cancelada devido à interferência destrutiva de acordo com o método de preservação de energia.

[00052] Além disso, de acordo com uma modalidade, considerando um componente de banda tendo uma frequência de cruzamento específica ou mais alta que uma alta frequência e considerando um componente de banda restante como uma frequência baixa num banco de filtro de espelho de quadratura (QMF), a renderização e a mixagem podem ser realizadas em cada um do sinal de baixa frequência e do sinal de alta frequência. Um QMF pode ser um filtro que divide um sinal de entrada num sinal de baixa frequência e um sinal de alta frequência e emite a baixa frequência e a alta frequência.

[00053] mixagem para estéreo ativa pode ser realizada em cada banda de frequência e inclui uma quantidade muito grande de cálculo, tal como cálculo de um covariância entre canais a serem remixados para estéreo. Por conseguinte, quando apenas um sinal de baixa frequência é mixado via mixagem para estéreo ativa, a quantidade de cálculo pode ser reduzida. Por exemplo, se o aparelho para reproduzir áudio 3D 100 realizar mixagem para estéreo em apenas sinais de 2,8 kHz ou menores e 10 kHz ou maiores dentre um sinal amostrado a 48kHz após realizar alinhamento de fase no mesmo e realizar mixagem para estéreo nos sinais restantes de 2,8 kHz a 10 kHz sem alinhamento de fase em um banco QMF, a quantidade de cálculo pode ser reduzida em cerca de 1/3.

[00054] Além disso, como para fontes de som substancialmente gravadas, os sinais de alta frequência têm uma baixa probabilidade de que um sinal de canal esteja em fase com outro canal. Assim, quando os sinais de alta frequência são mixados via mixagem para estéreo, cálculos desnecessários podem ser realizados.

[00055] Com referência à FIG. 2, o aparelho para reproduzir áudio 3D 200 de acordo com uma modalidade pode incluir uma unidade de análise de áudio 210, um renderizador 220, um mixer 230 e uma unidade de saída 240. O aparelho para reproduzir áudio 3D 200, o renderizador 220 e o mixer 230 na FIG. 2 correspondem ao aparelho para reproduzir áudio 3D 100, o renderizador 110 e o mixer 120 na FIG. 1, e, assim, descrições redundantes dos mesmos são omitidas. No entanto, todos os componentes ilustrados não são essenciais. O aparelho para reproduzir áudio 3D 200 pode ser implementado por mais ou menos componentes que aqueles ilustrados na FIG. 2.

[00056] A unidade de análise de áudio 210 pode selecionar um modo de renderização analisando um sinal áudio de múltiplos canais e pode separar e enviar alguns sinais do sinal de áudio de múltiplos canais. A unidade de análise de áudio 210 pode incluir uma unidade de seleção de modo de renderização 211 e uma unidade de separação de sinal de renderização 212.

[00057] A unidade de seleção de modo de renderização 211 pode determinar se muitos sinais transientes, tal como um som de aplauso, um som de chuva e semelhantes, estão presentes no sinal de áudio de múltiplos canais, em unidades de seções predeterminadas. Na descrição seguinte, um sinal de áudio incluindo muitos sinais transientes, tal como o som de aplauso ou o som de chuva, será denominado como um sinal de aplauso.

[00058] O aparelho de reprodução de áudio 3D 200 de acordo com uma modalidade pode separar o sinal de aplauso do sinal de áudio de múltiplos canais e realizar renderização de canal e mixagem de acordo com a característica do sinal de aplauso.

[00059] A unidade de seleção de modo de renderização 211 pode selecionar um de um modo geral e um modo de aplauso como um modo de renderização de acordo com se o sinal de aplauso é incluído no sinal de áudio de múltiplos canais em unidades de quadros. O renderizador 220 pode realizar renderização de acordo com o modo selecionado pela unidade de seleção de modo de renderização 211. Isto é, o renderizador 220 pode renderizar o sinal de aplauso de acordo com o modo selecionado.

[00060] A unidade de seleção de modo de renderização 211 pode selecionar o modo geral quando nenhum sinal de aplauso é incluído no sinal de áudio de múltiplos canais. No modo geral, o sinal de canal aéreo pode ser renderizado por um renderizador espacial 221 e o sinal de canal horizontal pode ser renderizado por um renderizador de timbre 222. Isto é, a renderização pode ser realizada sem levar em conta o sinal de aplauso.

[00061] A unidade de seleção de modo de renderização 211 pode selecionar o modo de aplauso, quando o sinal de aplauso é incluído no sinal de áudio de múltiplos canais. No modo de aplauso, o sinal de aplauso pode ser separado e a renderização de timbre pode ser realizada no sinal de aplauso separado.

[00062] A unidade de seleção de modo de renderização 211 pode determinar se o sinal de aplauso é incluído no sinal de áudio de múltiplos canais, em unidades de seções ou quadros predeterminados, usando a informação de bit de aplauso que é incluída no sinal de áudio de múltiplos canais ou é recebida em separado de outro dispositivo. De acordo com um codec baseado em MPEG, a informação de bit de aplauso pode incluir informação de sinalizador de bsTsEnable ou bsTempShapeEnableChannel e a unidade de seleção do modo de renderização 211 pode selecionar o modo de renderização de acordo com a informação de sinalizador acima descrita.

[00063] Além disso, a unidade de seleção de modo de renderização 211 pode selecionar o modo de renderização com base na característica de uma seção ou quadro predeterminado do sinal de áudio de múltiplos canais desejado ser determinado. Isto é, a unidade de seleção de modo de renderização 211 pode selecionar o modo de renderização de acordo com se a característica da seção ou quadro predeterminado do sinal de áudio de múltiplos canais tem a característica de um sinal de áudio incluindo o sinal de aplauso.

[00064] A unidade de seleção de modo de renderização 211 pode determinar se o sinal de aplauso é incluído no sinal de áudio de múltiplos canais com base em pelo menos uma condição dentre se um sinal de banda larga que não é tonal para uma pluralidade de canais de entrada está presente na seção ou no quadro predeterminado do sinal de áudio de canais múltiplos e sinais de banda larga correspondentes aos canais têm níveis semelhantes, se um impulso de uma pequena seção é repetido e se correlação intercanal é baixa.

[00065] A unidade de seleção de modo de renderização 211 pode selecionar o modo de aplauso como o nó de renderização, quando for determinado que o sinal de aplauso é incluído numa seção atual do sinal de áudio de múltiplos canais.

[00066] Quando a unidade de seleção de modo de renderização 211 seleciona o modo de aplauso, a unidade de separação de sinal de renderização 212 pode separar o sinal de aplauso incluído no sinal de áudio de canais múltiplos a partir de um sinal de som geral.

[00067] Quando um sinalizador bsTsdEnable baseado em MPEG USAC é usado, renderização de timbre pode ser realizada de acordo com a informação de sinalizador, independentemente da elevação de um canal correspondente, como no sinal de canal horizontal. Além disso, o sinal de canal aéreo pode ser assumido ser o sinal de canal horizontal e pode ser remixado para estéreo de acordo com a informação de sinalizador. Isto é, a unidade de separação de sinal de renderização 212 pode separar o sinal de aplauso incluído na seção predeterminada do sinal de áudio de canais múltiplos de acordo com a informação de sinalizador e o sinal de aplauso separado pode sofrer renderização de timbre, como no sinal de canal horizontal.

[00068] Num caso em que não são utilizados sinalizadores, a unidade de separação de sinal de renderização 212 pode analisar um sinal entre os canais e separar um componente de sinal de aplauso. O sinal de aplauso separado do sinal aéreo pode sofrer renderização de timbre e os sinais que não o sinal de aplauso podem sofrer renderização espacial.

[00069] O renderizador 220 pode incluir o renderizador espacial 221 que renderiza o sinal de canal aéreo de acordo com um método de renderização espacial e o renderizador de timbre 222 que renderiza o sinal de canal horizontal ou o sinal de aplauso de acordo com o método de renderização de timbre.

[00070] O renderizador espacial 221 pode renderizar o sinal de canal aéreo usando métodos diferentes de acordo com a frequência. O renderizador espacial 221 pode renderizar um sinal de baixa frequência usando o método adicionar ao canal mais próximo e pode renderizar um sinal de alta frequência utilizando o método de renderização de timbre. Daqui em diante, o método de renderização espacial pode ser um método de renderizar o sinal aéreo e pode incluir um método de panning de canais múltiplos.

[00071] O renderizador de timbre 222 pode renderizar o sinal de canal horizontal ou o sinal de aplauso usando pelo menos um selecionado do método de renderização de timbre, do método de adicionar ao canal mais próximo e um método de reforço de energia. Daqui em diante, o método de renderização de timbre pode ser um método de renderizar o sinal de canal horizontal e pode incluir uma equação de mixagem para estéreo ou um método de panning de amplitude à base de vetor (VBAP).

[00072] O mixer 230 pode calcular os sinais renderizados em unidades de canais e enviar o sinal final. O mixer 230 de acordo com uma modalidade pode mixar sinais renderizados de acordo com frequência, de acordo com o método de mixagem para estéreo ativo. Portanto, o aparelho de reprodução de áudio 3D 200 de acordo com uma modalidade pode reduzir a distorção de tom mixando o sinal de baixa frequência de acordo com o método de mixagem para estéreo ativo no qual a remixagem pra estéreo é realizada depois de um alinhamento de fase. A distorção de tom pode ser causada por interferência destrutiva. O aparelho de reprodução de áudio 3D 200 pode mixar o sinal de alta frequência, exceto pelo sinal de baixa frequência de acordo com um método para realizar mixagem para estéreo sem realizar alinhamento de fase, por exemplo, o método de preservação de energia, desse modo impedindo a percepção de elevação de ser degradada devido à aplicação do método de mixagem para estéreo ativo.

[00073] A unidade de saída 240 pode finalmente enviar um sinal mixado pelo mixer 230 através do alto-falante. Neste momento, a unidade de saída 240 pode enviar um sinal de som através de diferentes alto-falantes de acordo com os canais do sinal mixado.

[00074] A FIG. 3 é um diagrama de blocos de um renderizador espacial 301 e um mixer 302 de acordo com uma modalidade. O renderizador espacial 301 e o mixer 302 da FIG. 3 correspondem ao renderizador espacial 221 e ao mixer 230 da FIG. 2 e, assim, as descrições redundantes dos mesmos são omitidas. No entanto, todos os componentes ilustrados não são essenciais. O processador espacial 301 e o mixer 302 pode ser implementados por mais ou menos componentes do aqueles ilustrados na FIG. 3.

[00075] Com referência à FIG. 3, o renderizador espacial 301 pode incluir um filtro de transformada HRTF 310, um filtro passa baixa (LPF) 320, um filtro passa alta (HPF) 330, uma unidade de panning adicionar ao canal mais próximo 340 e uma unidade de panning de canais múltiplos 350.

[00076] O filtro de transformada HRTF 310 pode realizar equalização baseada em HRTF num sinal de canal aéreo incluído num sinal de áudio de canais múltiplos.

[00077] O LPF 320 pode separar um componente em uma faixa de frequência específica, por exemplo, um componente de baixa frequência de 2,8 kHz ou menor do sinal de canal aéreo equalizado à base de HRTF.

[00078] O HPF 330 pode separar um componente de alta frequência 2,8 kHz ou maior do sinal de canal aéreo equalizado à base de HRTF.

[00079] Um filtro passa banda em vez do LPF 320 e do HPF 330 pode classificar um componente de frequência de 2,8 kHz a 10 kHz como um componente de alta frequência e classificar o componente de frequência restante como um componente de baixa frequência.

[00080] A unidade de panning adicionar ao canal mais próximo 340 pode renderizar o componente de baixa frequência do sinal do canal aéreo para o canal mais próximo quando o canal aéreo é projetado no plano horizontal.

[00081] A unidade de panning de canais múltiplos 350 pode renderizar o componente de alta frequência do sinal de canal aéreo de acordo com o método de panning de canais múltiplos.

[00082] Com referência à FIG. 3, o mixer 302 pode incluir um módulo de mixagem para estéreo 360 e um módulo de preservação de energia 370.

[00083] O módulo de mixagem para estéreo ativo 360 pode mixar o componente de baixa frequência do sinal de canal aéreo renderizado pela unidade de panning adicionar ao canal mais próximo 340 de acordo com o método de mixagem para estéreo ativo. O módulo de mixagem para estéreo ativo 360 pode mixar o componente de baixa frequência de acordo com um método de mixagem para estéreo ativo de alinhar as fases de sinais combinados para cada canal a fim de induzir interferência construtiva.

[00084] O módulo de preservação de energia 370 pode mixar o componente de alta frequência do canal aéreo renderizado pela unidade de panning de canais múltiplos 350 de acordo com o método de preservação de energia. O módulo de preservação de energia 370 pode mixar o componente de alta frequência de acordo com um método de preservação de energia de determinar uma amplitude de um sinal final ou um ganho a ser aplicado ao sinal final com base em um valor de energia de sinais renderizados respectivamente para os canais. De acordo com uma modalidade, o módulo de preservação de energia 370 pode mixar um sinal de componente de alta frequência de acordo com o método de preservação de energia acima descrito, mas a presente invenção não está limitada a esta modalidade. O módulo de preservação de energia 370 pode mixar o sinal de componente de alta frequência de acordo com outro método sem alinhamento de fase.

[00085] O mixer 302 pode combinar sinais mixados obtidos pelo módulo de mixagem para estéreo ativo 360 e o módulo de preservação de energia 370 para enviar um sinal de som 3D mixado.

[00086] Um método para reproduzir áudio 3D de acordo com uma modalidade será agora descrito em detalhes com referência às FIGS. 4 e 5.

[00087] As FIGS. 4 e 5 são fluxogramas de um método para reproduzir áudio 3D de acordo com uma modalidade.

[00088] Com referência à FIG. 4, na operação S401, o aparelho para reproduzir áudio 3D 100 pode obter um sinal de áudio de canais múltiplos desejado ser reproduzido.

[00089] Na operação S403, o aparelho para reproduzir áudio 3D 100 pode realizar renderização em cada canal. De acordo com uma modalidade, o aparelho para reproduzir áudio 3D 100 pode realizar renderização de acordo com a frequência, mas a presente invenção não está limitada a esta modalidade. O aparelhos para reproduzir áudio 3D 100 pode executar renderização de acordo com vários métodos.

[00090] Na operação S405, o aparelho para reproduzir áudio 3D 100 pode mixar sinais renderizados obtidos na operação S403 de acordo com a frequência com base no método de mixagem para estéreo ativo. Em detalhes, o aparelho para reproduzir áudio 3D 100 pode realizar mixagem para estéreo numa primeira faixa de frequência incluindo um componente de baixa frequência após realizar alinhamento de fase na mesma e pode realizar mixagem para estéreo em uma segunda faixa de frequência incluindo um componente de alta frequência sem realizar alinhamento de fase. Por exemplo, o aparelho para reproduzir áudio 3D 100 pode mixar o componente de alta frequência de acordo com um método de preservação de energia de realizar mixagem de modo que a energia cancelada devido a uma interferência destrutiva possa ser preservada aplicando um ganho determinado de acordo com um valor de energia de sinais respectivamente renderizados para canais.

[00091] Por conseguinte, o aparelho para reproduzir áudio 3D 100 de acordo com uma modalidade pode minimizar a degradação de percepção de elevação que pode ocorrer aplicando o método de mixagem para estéreo ativo a um componente de alta frequência numa faixa de frequência específica, por exemplo, de 2,8 kHz a 10 kHz.

[00092] A FIG. 5 é um fluxograma para renderizar e mixar cada frequência incluída no método para reproduzir áudio 3D da FIG. 4.

[00093] Com referência à FIG. 5, na operação S501, o aparelho para reproduzir áudio 3D 100 pode obter um sinal de áudio de canais múltiplos desejado ser reproduzido. Quando o sinal de áudio de canais múltiplos incluir um sinal de aplauso, o aparelho de reprodução de áudio 3D 100 pode separar o sinal de aplauso do sinal de áudio de múltiplos canais e realizar renderização de canal e mixagem de acordo com a característica do sinal de aplauso.

[00094] Na operação S503, o aparelho para reproduzir áudio 3D 100 pode separar um sinal de canal aéreo e um sinal de canal horizontal do sinal de áudio de canais múltiplos obtido na operação S501 e pode realizar renderização e mixagem em cada um do sinal de canal aéreo e do sinal de canal horizontal. Em outras palavras, o aparelho para reproduzir áudio 3D 100 pode realizar renderização espacial e mixagem do sinal de canal aéreo e realizar renderização de timbre e mixagem no sinal de canal horizontal.

[00095] Na operação S505, o aparelho para reproduzir áudio 3D 100 pode filtrar o sinal de canal aéreo usando um filtro de transformação HRTF de modo a que uma percepção de elevação possa ser fornecida.

[00096] Na operação S507, o aparelho para reproduzir áudio 3D 100 pode separar o sinal de canal aéreo num sinal de um componente de alta frequência e num sinal de um componente de baixa frequência e realizar renderização e mixagem no sinal do componente de alta frequência e no sinal do componente de baixa frequência.

[00097] Nas operações S509 e S511, o aparelho para reproduzir áudio 3D 100 pode renderizar o sinal de alta frequência do sinal de canal aéreo de acordo com o método de renderização espacial. O método de renderização espacial pode incluir um método de panning de canais múltiplos. Panning de canais múltiplos pode denotar sinais de canal do sinal de áudio de canais múltiplos sendo alocados a canais a serem reproduzidos. Neste caso, sinais de canal ao qual foi aplicado um coeficiente de panning podem ser alocados para os canais a serem reproduzidos. O sinal de componente de alta frequência pode ser alocado a um canal surround a fim de proporcionar a característica que uma diferença de nível interaural (ILD) diminui à medida que aumenta a percepção de elevação. Um sinal de som pode ser localizado por um canal frontal e pelo número de uma pluralidade de canais a sofrer panning.

[00098] Na operação S513, o aparelhos para reproduzir áudio 3D 100 pode mixar um sinal de alta frequência renderizado obtido na operação S511 de acordo com um método que não o método de mixagem para estéreo ativo. Por exemplo, o aparelho para reproduzir áudio 3D 100 pode mixar o sinal de alta frequência renderizado usando um módulo de preservação de energia.

[00099] Na operação S515, o aparelho para reproduzir áudio 3D 100 pode renderizar o sinal de baixa frequência do sinal de canal aéreo de acordo com o método acima descrito de panning de adicionar ao canal mais próximo. Quando muitos sinais, a saber, vários sinais de canal de um sinal de áudio de canais múltiplos são misturados num único canal, a qualidade de som é cancelada ou amplificada devido a uma diferença entre fases dos vários sinais de canal e do canal único, levando a degradação na qualidade de som. De acordo com o método de panning de adicionar ao canal mais próximo, o aparelho para reproduzir áudio 3D 100 pode mapear o sinal de baixa frequência com o canal mais próximo, quando o sinal de baixa frequência é projetado em cada plano horizontal de canal a fim de impedir a degradação na qualidade do som.

[000100] Quando o sinal de áudio de canais múltiplos é um sinal de frequência ou um sinal de banco de filtro, um bin ou uma banda correspondente a uma frequência baixa pode ser renderizado de acordo com o método de panning de adicionar ao canal mais próximo e um bin ou uma banda correspondente a uma alta frequência podem ser renderizados de acordo com o método de panning de canais múltiplos. O bin ou banda podem denotar uma seção de sinal correspondente a uma unidade predeterminada num domínio de frequência.

[000101] Na operação S521, o aparelho para reproduzir áudio 3D 100 pode mixar um sinal de canal horizontal renderizado obtido na operação S519 de acordo com o método de preservação de energia.

[000102] Na operação S523, o aparelho para reproduzir áudio 3D 100 pode mixar o sinal de canal aéreo e o sinal de canal de saída horizontal para enviar um sinal final mixado.

[000103] A FIG. 6 é um gráfico que mostra um exemplo de um método de mixagem para estéreo ativo de acordo com uma modalidade.

[000104] Quando um sinal 610 e um sinal 620 são mixados, os dois sinais 610 e 620 estão fora de fase um com o outro e, assim, uma interferência destrutiva entre os mesmos pode ocorrer, o que leva a distorção na qualidade do som. Por conseguinte, de acordo com o método de mixagem para estéreo ativo, a fase do sinal 610 tendo energia relativamente pequena está alinhada com a fase do sinal 620 e cada um dos sinais alinhados em fase 610 e 620 podem ser mixados. Com referência a um sinal mixado 630, uma interferência construtiva pode ocorrer quando a fase do sinal 610 é deslocada para trás.

[000105] A FIG. 7 é um diagrama de blocos de uma estrutura de um aparelho para reproduzir áudio 3D de acordo com outra modalidade. O aparelho para reproduzir áudio 3D da FIG. 7 pode grosseiramente incluir um decodificador de núcleo 710 e um conversor de formato 730.

[000106] Com referência à FIG. 1, o decodificador de núcleo 710 pode decodificar um fluxo de bits para enviar um sinal de áudio tendo uma pluralidade de canais de entrada. De acordo com uma modalidade, o decodificador de núcleo 710 pode operar de acordo com o algoritmo Unified Speech and Audio Coding (USAC), mas a presente invenção não se limita ao mesmo. Neste caso, o decodificador de núcleo 110, por exemplo, pode enviar um sinal de áudio tendo um formato de canal 22.2. O decodificador de núcleo 710 pode enviar, por exemplo, o sinal de áudio tendo um formato de canal 22.2 mixando para estéreo um único canal remixado para estéreo ou estéreo incluído no fluxo de bits. Em termos de um ambiente de reprodução, um canal pode significar um alto-falante.

[000107] O conversor de formato 730 é incluído para converter o formato de um canal e pode ser implementado utilizando um remixer para estéreo que converte uma estrutura de canal recebida tendo uma pluralidade de canais de entrada numa pluralidade de canais de saída tendo um formato de reprodução desejado. O número de canais de saída é menor do que o de canais de entrada. A pluralidade de canais de entrada pode incluir uma pluralidade de canais horizontais e pelo menos um canal vertical tendo uma elevação. Cada canal vertical pode ser um canal capaz de emitir um sinal de som através de um alto-falante localizado acima da cabeça de um ouvinte, de modo a permitir ao ouvinte sentir uma elevação. Cada canal horizontal pode ser um canal capaz de emitir um sinal de som através de um alto-falante que está em um mesmo nível de um ouvinte. A pluralidade de canais de saída pode incluir apenas canais horizontais.

[000108] O conversor de formato 730 pode converter os canais de entrada com um formato de canal 22.2 recebido do decodificador de núcleo 710 em canais de saída com um formato de canal 5.0 ou 5.1 de acordo com um leiaute de reprodução. Os canais de entrada ou os canais de saída podem ter diversos formatos. O conversor de formato 730 pode utilizar diferentes matrizes de mixagem para estéreo de acordo com um tipo de renderização com base nas características de sinal. Em outras palavras, o dispositivo remixer para estéreo pode realizar um processo de mixagem para estéreo adaptativo num sinal num domínio de sub-banda, por exemplo, um domínio QMF. De acordo com outra modalidade, quando o leiaute de reprodução incluir apenas canais horizontais, o conversor de formato 730 pode fornecer uma imagem de som aérea tendo elevação realizando renderização virtual nos canais de entrada. A imagem de som aérea pode ser fornecida a um alto-falante de canal surround, mas a presente invenção não está limitado à mesma.

[000109] O conversor de formato 730 pode realizar diferentes tipos de renderização na pluralidade de canais de entrada de acordo com diferentes tipos de canais. Diferentes equalizadores baseados em HRTF podem ser utilizados dependendo do tipo de canal de entrada o qual é um canal vertical, ou seja, um canal aéreo. Dependendo do tipo de canal de entrada, o qual é um canal vertical, ou seja, um canal aéreo, um coeficiente de panning idêntico pode ser aplicado a todas as frequências, ou diferentes coeficientes de panning podem ser aplicados a diferentes faixas de frequências.

[000110] Em detalhes, um canal vertical específico, por exemplo, um primeiro sinal de faixa de frequência, tal como um sinal de baixa frequência de 2,8 KHz ou menor ou um sinal de alta frequência de 10 kHz ou maior dentre os canais de entrada, pode ser renderizado usando o método de panning de adicionar ao canal mais próximo, ao passo que um segundo sinal de faixa de frequência de 2,8 a 10 kHz pode ser renderizado usando o método de panning de canais múltiplos. De acordo com o método de panning de adicionar ao canal mais próximo, os canais de entrada podem sofrer panning para o canal de saída único mais próximo dentre a pluralidade de canais de saída, em vez de serem renderizados para vários canais. De acordo com o método de panning de canais múltiplos, cada canal de entrada pode sofre panning para pelo menos um canal horizontal usando diferentes ganhos que são estabelecidos para diferentes canais de saída a serem renderizados.

[000111] Quando a pluralidade de canais de entrada incluir N canais verticais e M canais horizontais, o conversor de formato 730 pode renderizar cada um dos N canais verticais para uma pluralidade de canais de saída e renderizar cada um dos M canais horizontais para a pluralidade de canais de saída e pode mixar resultados de renderização para gerar uma pluralidade de canais de saída finais correspondentes ao leiaute de reprodução.

[000112] A FIG. 8 é um diagrama de blocos de um aparelho de renderização de áudio de acordo com uma modalidade. Com referência à FIG. 8, o aparelho de renderização de áudio pode incluir um primeiro renderizador 810 e um segundo renderizador 830. O primeiro renderizador 810 e o segundo renderizador 830 podem operar com base em um tipo de renderização. O tipo de renderização pode ser determinado por uma extremidade codificadora, baseado em uma cena de áudio, e pode ser transmitido na forma de um sinalizador. De acordo com uma modalidade, o tipo de renderização pode ser determinado com base numa largura de banda e num grau de correlação de um sinal de áudio. Por exemplo, um tipo de renderização pode ser separado num caso em que a cena de áudio num quadro tem uma banda larga e características altamente decorrelacionadas e outros casos.

[000113] Com referência à FIG. 8, no caso em que a cena de áudio tem uma banda larga e é grandemente decorrelacionada em um quadro, o primeiro renderizador 810 pode realizar renderização de timbre usando uma primeira matriz de mixagem para estéreo. A renderização de timbre pode ser aplicada a um sinal transiente, tal como um aplauso ou o som de chuva.

[000114] No outro caso em que a renderização de timbre não é aplicada, o segundo renderizador 830 pode realizar renderização de elevação ou renderização espacial usando uma segunda matriz de mixagem para estéreo, desse modo proporcionando uma imagem sonora com percepção de elevação para uma pluralidade de canais de saída.

[000115] O primeiro e o segundo renderizadores 810 e 830 podem gerar um parâmetro de mixagem para estéreo para um formato de canal de entrada e um formato de canal de saída dada num estágio de inicialização, ou seja, uma matriz de mixagem para estéreo. Para este fim, pode ser utilizado um algoritmo para selecionar a regra de mapeamento mais adequada para cada canal de entrada a partir de uma lista de regras de conversor pré-designada. Cada regra está relacionada com o mapeamento de um canal de entrada com pelo menos um canal de saída. Um canal de entrada pode ser mapeado com um único canal de saída, com dois canais de saída, com uma pluralidade de canais de saída, ou com uma pluralidade de canais de saída tendo diferentes coeficientes de panning de acordo com a frequência.

[000116] O mapeamento ótimo de cada canal de entrada pode ser selecionado de acordo com canais de saída que constituem um leiaute de reprodução desejado. Como resultado do mapeamento, um ganho de mixagem para estéreo, assim como um equalizador que é aplicado a cada canal de entrada podem ser definidos.

[000117] A FIG. 9 é um diagrama de blocos de um aparelho de renderização de áudio de acordo com outra modalidade. Com referência à FIG. 9, o aparelho para renderizar áudio incluir grosseiramente um filtro 910, uma unidade de alinhamento de fase 930 e um remixer para estéreo 950. O aparelho de renderização de áudio da FIG. 9 pode operar de forma independente ou pode ser incluído no conversor de formato 730 da FIG. 7 ou do segundo renderizador 830 da FIG. 8.

[000118] Com referência à FIG. 9, o filtro 910 pode servir como um filtro passa banda para filtrar um sinal de uma faixa de frequência específica de um sinal de canal de entrada vertical entre saídas do decodificador. De acordo com uma modalidade, o filtro 910 pode distinguir um componente de frequência de 2,8 kHz a 10 kHz, a partir de um componente de frequência restante. O componente de 2,8 kHz a 10 kHz pode ser fornecido para o dispositivo de remixer para estéreo 950 sem ser alterado e o componente de frequência restante pode ser fornecido para a unidade de alinhamento de fase 930. No caso de canais de entrada horizontais, uma vez que os componentes de frequência em todas as faixas de frequência sofrem alinhamento de fase, o filtro 910 pode não ser necessário.

[000119] A unidade de alinhamento de fase 930 pode executar um alinhamento de fase em um componente de frequência numa faixa de frequência diferente de 2,8 kHz a 10 kHz. Um componente de frequência de fase alinhada, isto é, um componente de frequência de 2,8 kHz ou menor e 10 kHz ou maior pode ser fornecido para o remixer para estéreo 950.

[000120] O remixer para estéreo 950 pode realizar remixagem para estéreo em relação ao componente de frequência recebido do filtro 910 ou fa unidade de alinhamento de fase 930.

[000121] A FIG. 10 é um fluxograma de um método de renderização de áudio de acordo com uma modalidade e pode corresponder ao aparelho para renderizar áudio da FIG. 9.

[000122] Com referência à FIG. 10, na operação S1010, o aparelho para renderizar áudio pode receber um sinal de áudio de canais múltiplos. Em detalhes, na operação S1010, o aparelho de renderização de áudio pode receber um sinal canal aéreo, ou seja, um sinal de canal vertical, incluído no sinal de áudio de canais múltiplos.

[000123] Na operação S1030, o aparelho de renderização de áudio pode determinar um método de remixagem para estéreo de acordo com uma faixa de frequências predeterminada.

[000124] Em operação S1050, o aparelho de renderização de áudio pode realizar remixagem para estéreo de um componente de uma faixa de frequência que não a faixa de frequência pré-estabelecida entre os componentes do sinal de canal aéreo, depois de realizar o alinhamento de fase no componente.

[000125] Na operação S1070, o aparelho de renderização de áudio pode realizar remixagem para estéreo num componente da faixa de frequência pré-estabelecida entre os componentes do sinal de canal aéreo sem realizar alinhamento de fase.

[000126] A FIG. 11 é um fluxograma de um método de renderização de áudio de acordo com outra modalidade e pode corresponder ao aparelho de renderização de áudio da FIG. 8.

[000127] Com referência à FIG. 11, na operação S1110, o aparelho de renderização de áudio pode receber um sinal de áudio de canais múltiplos.

[000128] Na operação S1130, o aparelho de renderização de áudio pode verificar um tipo de renderização.

[000129] Na operação S1150, quando o tipo de renderização é renderização de timbre, o aparelho de renderização de áudio pode realizar remixagem para estéreo usando a primeira matriz de remixagem para estéreo.

[000130] Na operação S1170, quando o tipo de renderização é renderização espacial, o aparelho de renderização de áudio pode realizar remixagem para estéreo usando a segunda matriz de remixagem para estéreo. A segunda matriz de remixagem para estéreo para renderização espacial pode incluir um coeficiente de filtro de elevação espacial e um coeficiente de panning de canais múltiplos.

[000131] As modalidades acima descritas são combinações de componentes e características da presente invenção em formas predeterminadas. Cada componente ou funcionalidade pode ser considerada seletiva, a menos que especificamente descrito. Cada componente ou característica pode ser implementada sem ser combinada com outro componente ou característica. Alguns componentes e/ou características podem ser combinadas entre si para construir uma modalidade. A ordem das operações descritas em modalidades pode ser alterada. Alguns componentes ou características numa modalidade podem ser incluídas em uma outra modalidade, ou podem ser substituídas por componentes ou características correspondentes em outra modalidade. Por conseguinte, é óbvio que reivindicações não tendo relações referentes explícitas entre si podem ser combinadas para construir uma modalidade ou podem ser incluídas como novas reivindicações por uma emenda após o depósito de um pedido.

[000132] As modalidades podem ser implementadas através de vários meios, por exemplo, hardware, firmware, software, ou uma combinação dos mesmos. Quando as modalidades são implementadas através de hardware, as modalidades podem ser implementadas por pelo menos um circuito integrado específico de aplicativo (ASIC), pelo menos um processador de sinal digital (DSP), pelo menos um dispositivo de processamento de sinal digital (DSPD), pelo menos um dispositivo lógico programável (PLD), pelo menos uma matriz de porta programável de campo (FPGA), pelo menos um processador, pelo menos um controlador, pelo menos um microcontrolador ou pelo menos um microprocessador.

[000133] Quando as modalidades são implementadas por meio de firmware ou software, as modalidades podem ser escritas como programas de computador usando um módulo, procedimento, uma função, ou semelhantes, para realizar as funções e operações acima descritas, e podem ser implementadas em computadores digitais de uso geral que executam programas usando um meio de gravação legível por computador. As estruturas de dados, comandos de programa, ou arquivos de dados que podem ser usados nas modalidades acima descritas podem ser gravados num meio de gravação legível por computador através de vários meios. O meio de gravação legível por computador é qualquer tipo de dispositivo de armazenamento que armazena dados que podem em seguida ser lidos por um sistema de computador e pode ser localizado dentro ou fora de um processador. Exemplos do meio de gravação legível por computador podem incluir meios magnéticos, meios magneto-ópticos e um dispositivo de hardware especialmente configurado para armazenar e executar comandos de programa, tal como uma memória somente de leitura (ROM), uma memória de acesso aleatório (RAM), ou uma memória flash. O meio de gravação legível por computador pode também ser um meio de transmissão que transmite sinais que designam comandos de programa, estruturas de dados, ou semelhantes. Exemplos dos comandos de programa podem incluir códigos de linguagem avançados que podem ser executados por um computador usando um intérprete ou similares, bem como códigos de linguagem de máquina feita por um compilador. Além disso, as modalidades aqui descritas podem empregar qualquer número de técnicas convencionais para configuração de eletrônicos, processamento e/ou controle de sinal, processamento de dados e semelhantes. As palavras "mecanismo", "elemento", "meios" e "configuração" são usadas num sentido amplo e não estão limitadas às modalidades mecânicas ou físicas, mas podem incluir rotinas de software em conjunto com processadores, etc.

[000134] As implementações particulares mostradas e descritas aqui são exemplos ilustrativos e não se destinam a limitar de outro modo o escopo da presente invenção de qualquer forma. Por uma questão de brevidade, eletrônica convencional, sistemas de controle, de desenvolvimento de software e outros aspectos funcionais dos sistemas podem não ser descritos em detalhes. Além disso, as linhas de ligação, ou conectores mostrados nas várias figuras apresentadas se destinam a representar relações funcionais exemplares e/ou acoplamentos físicos ou lógicos entre os vários elementos. Deve ser notado que muitas relações funcionais alternativas ou adicionais, ligações físicas ou ligações lógicas podem estar presentes em um aparelho prático.

[000135] O uso dos termos "um" e "uma" e "o/a" e referentes semelhantes no contexto da descrição da presente invenção (especialmente no contexto das seguintes reivindicações) deve ser entendido para cobrir ambos o singular e o plural. Mais ainda, a recitação de faixas de valores neste documento meramente se destina a servir como um método abreviado de se referir individualmente a cada valor separado caindo dentro da faixa, a menos que de outro modo indicado neste documento, e cada valor separado é incorporado no relatório descritivo como se ele fosse individualmente recitado neste documento. Todos os métodos descritos neste documento podem ser realizados em qualquer ordem adequada, a menos que de outro modo indicado neste documento ou de outro modo claramente contradito pelo contexto. A presente invenção não está limitada à ordem de etapas descritas. O uso de todos e quaisquer exemplos ou linguagem exemplar (por exemplo, “tal como”) fornecidos neste pedido, é destinado simplesmente a esclarecer melhor a invenção e não impor uma limitação do escopo da invenção a menos que de outra maneira reivindicado. Numerosas modificações e adaptações serão prontamente evidentes para um perito na arte sem se afastar do espírito e escopo.

Claims

1. MÉTODO PARA RENDERIZAR UM SINAL DE ÁUDIO, o método caracterizado por compreender: receber uma pluralidade de sinais de canais de entrada; gerar um parâmetro para alinhamento de fase com base na pluralidade de sinais de canais de entrada ; modificar uma matriz de remixagem, com cabe parâmetro para alinhamento de fase, para alinhamento de fase de uma primeira faixa de frequência da pluralidade de sinais de canais de entrada; e remixagem da pluralidade de sinais de canais de entrada para uma pluralidade de sinais de canais de saída com base na matriz de remixagem modificada, em que a pluralidade de sinais de canais de entrada inclui um sinal de canal de entrada vertical; em que a primeira faixa de frequência inclui abaixo de 2.8kHz e acima de 10kHz, em que uma configuração da pluralidade de sinais de canal de saída incluir uma configuração de canal de saída 5.0 ou 5.1; em que o sinal de canal de entrada vertical é identificado com base em informação de elevação; e em que a matriz de remixagem modificada compreende um parâmetro de renderização de elevação com base em um coeficiente de filtro de elevação que é baseado em uma função de transferência relativo a cabeça para prover uma aérea usando uma configuração da pluralidade de sinais de canais de saída.

2. Método, de acordo com a reivindicação 1, caracterizado por adicionalmente compreender: determinar a matriz de remixagem com base em um marcador para a pluralidade de sinais de canal de entrada.