BR112016015971B1

BR112016015971B1 - Dispositivo e método de processamento de áudio, e, mídia de armazenamento legível por computador

Info

Publication number: BR112016015971B1
Application number: BR112016015971-3A
Authority: BR
Inventors: Minoru Tsuji; Toru Chinen
Original assignee: Sony Corporation
Priority date: 2014-01-16
Filing date: 2015-01-06
Publication date: 2022-11-16
Also published as: US10477337B2; US20220086584A1; JP2020017978A; US11778406B2; AU2019202472A1; KR102356246B1; JP7010334B2; KR20220110599A; EP3675527A1; US20190253825A1; US20200288261A1; CN105900456A; KR20240008397A; CN109996166A; KR20160108325A; RU2682864C1; JP6721096B2; EP4340397A2; EP3096539A1; EP3675527B1

Abstract

DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE ÁUDIO, E, PROGRAMA. Esta técnica refere-se a um dispositivo e método de processamento de som, e um programa que habilita o desempenho de reprodução de áudio com um grau de flexibilidade mais alto. Uma unidade de entrada aceita uma entrada de uma posição de audição suposta para o som de um objeto que é uma fonte sonora, e emite informação de posição de audição suposta indicando a posição de audição suposta. Uma unidade de correção de informação de posição corrige informação de posição relativa a cada objeto, com base na informação de posição de audição suposta, para gerar informação de posição corrigida. Uma unidade de correção de característica de ganho/frequência executa uma correção de ganho e uma correção de característica de frequência no sinal de forma de onda do objeto, com base na informação de posição e na informação de posição corrigida. Adicionalmente, uma unidade de adição de característica acústica espacial adiciona uma característica acústica espacial ao sinal de forma de onda, no qual a correção de ganho e a correção de característica de frequência tenham sido realizadas, com base na informação de posição relativa ao objeto e à informação de posição (...).

Description

CAMPO TÉCNICO

[001] A presente tecnologia refere-se a um dispositivo de processamento de áudio, um método para essa finalidade e um programa para essa finalidade e, mais particularmente, a um dispositivo de processamento de áudio, um método para essa finalidade e um programa para essa finalidade, capaz de realizar reprodução de áudio mais flexível.

FUNDAMENTOS DA TÉCNICA

[002] Conteúdos de áudio tais como aqueles em discos compactos (CDs) e discos versáteis digitais (DVDs) e aqueles distribuídos através de redes são tipicamente compostos de áudio baseado em canal.

[003] Um conteúdo de áudio baseado em canal é obtido de tal maneira que um criador de conteúdo mistura adequadamente fontes sonoras múltiplas tais como vozes cantantes e sons de instrumentos em dois canais ou canais 5.1 (a seguir também referidos como ch). Um usuário reproduz o conteúdo usando um sistema de alto-falante de 2ch ou 5.1ch, ou usando fones de ouvido.

[004] Há, entretanto, uma variedade infinita de arranjos de alto-falante de usuário ou similar, e a localização do som pretendida pelo criador do conteúdo pode não ser necessariamente reproduzida.

[005] Em adição, tecnologias de áudio baseadas em objeto têm recebido atenção recentemente. Em áudio baseado em objeto, sinais entregues para o sistema de reprodução são reproduzidos com base nos sinais de forma de onda de sons de objetos e metadados representando informação de localização dos objetos indicados, por posições dos objetos relativas a um ponto de audição que é uma referência, por exemplo. O áudio baseado em objeto então apresenta uma característica na qual a localização do som é reproduzida relativamente conforme pretendido pelo criador do conteúdo.

[006] Por exemplo, no áudio baseado em objeto, tal tecnologia como distribuição de amplitude de base vetorial (VBAP) é usado para gerar sinais de reprodução em canais associados aos respectivos alto-falantes no lado da reprodução, a partir dos sinais de forma de onda dos objetos (referir-se ao documento de não patente 1, por exemplo).

[007] Na VBAP, uma posição de localização de uma imagem Sonora alvo é expressa por uma soma linear de vetores estendendo-se na direção de dois ou três alto-falantes em torno da posição de localização. Coeficientes pelos quais os respectivos vetores são multiplicados na soma linear são usados como ganhos dos sinais de forma de onda a serem emitidos a partir dos respectivos alto-falantes para controle de ganho, de tal modo que a imagem sonora é localizada na posição alvo.

LISTA DE CITAÇÃO DOCUMENTO DE NÃO PATENTE

[008] Documento de Não Patente 1: Ville Pulkki, “Virtual Pound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol. 45, no. 6, pp. 456-466, 1997.

SUMÁRIO DA INVENÇÃO PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

[009] Em ambos áudio baseado em canal e áudio baseado em objeto descritos acima, entretanto, a localização do som é determinada pelo criador do conteúdo, e usuários podem somente ouvir o som do conteúdo conforme provido. Por exemplo, no lado de reprodução do conteúdo, tal reprodução do modo pelo qual os sons são ouvidos quando o ponto de audição é movido de um acento posterior para um acento frontal em um clube de música ao vivo, não pode ser provida.

[0010] Com as tecnologias anteriormente mencionadas, conforme descrito acima, não pode ser dito que a reprodução de áudio pode ser obtida com flexibilidade suficientemente alta.

[0011] A presente tecnologia é realizada à vista das circunstâncias anteriormente mencionadas e habilita reprodução de áudio com flexibilidade aumentada.

SOLUÇÕES PARA OS PROBLEMAS

[0012] Um dispositivo de processamento de áudio de acordo com um aspecto da presente tecnologia inclui: uma unidade de correção de informação de posição configurada para calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, o cálculo sendo baseado na informação de posição indicando a posição da fonte sonora e informação da posição de audição, indicando a posição de audição; e uma unidade de geração configurada para gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida.

[0013] A unidade de correção de informação de posição pode ser configurada para calcular a informação de posição corrigida com base na informação de posição modificada indicando uma posição modificada da fonte sonora e a informação da posição de audição.

[0014] O dispositivo de processamento de áudio pode adicionalmente ser provido com uma unidade de correção configurada para realizar pelo menos uma correção de ganho e correção de característica de frequência no sinal de forma de onda, dependendo de uma distância da fonte sonora para a posição de audição.

[0015] O dispositivo de processamento de áudio pode adicionalmente ser provido de uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição modificada.

[0016] A unidade de adição de característica acústica espacial pode ser configurada para adicionar pelo menos uma dentre uma reflexão inicial e uma característica de reverberação como a característica acústica espacial para o sinal de forma de onda.

[0017] O dispositivo de processamento de áudio pode adicionalmente ser provido de uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição.

[0018] O dispositivo de processamento de áudio pode adicionalmente ser provido com um processador de convolução configurado para realizar um processo de convolução nos sinais de reprodução em dois ou mais canais gerados pela unidade de geração, para gerar sinais de reprodução em dois canais.

[0019] Um método de processamento de áudio ou programa de acordo com um aspecto da presente tecnologia inclui as etapas de: calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, em que o som da fonte sonora é ouvido, o cálculo sendo baseado em informação de posição indicando a posição da fonte sonora e informação de posição de audição indicando a posição de audição; e gerar um sinal de reprodução, reproduzindo som a partir da fonte sonora, a ser ouvido na posição de audição, com base no sinal de forma de onda da fonte sonora e na informação de posição corrigida.

[0020] Em um aspecto da presente tecnologia, informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, é calculada com base na informação de posição indicando a posição da fonte sonora e informação de posição de audição indicando a posição de audição, e um sinal de reprodução reproduzindo o som a partir da fonte sonora, a ser ouvido na posição de audição é gerado com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida.

EFEITOS DA INVENÇÃO

[0021] De acordo com um aspecto da presente tecnologia, a reprodução de áudio com flexibilidade aumentada é realizada.

[0022] Os efeitos mencionados aqui não são necessariamente limitados aos mencionados, porém pode ser quaisquer efeitos mencionados na presente descrição.

BREVE DESCRIÇÃO DOS DESENHOS

[0023] Figura 1 é um diagrama ilustrando uma configuração de um dispositivo de processamento de áudio.

[0024] Figura 2 é um gráfico explicando posição suposta de audição e informação de posição corrigida.

[0025] Figura 3 é um gráfico mostrando características de frequência na correção de característica de frequência.

[0026] Figura 4 é um gráfico explicando VBAP.

[0027] Figura 5 é um fluxograma explicando um processo de geração de sinal de reprodução.

[0028] Figura 6 é um diagrama ilustrando uma configuração de um dispositivo de processamento de áudio.

[0029] Figura 7 é um fluxograma explicando um processo de geração de sinal de reprodução.

[0030] Figura 8 é um diagrama ilustrando um exemplo de configuração de um computador.

MODO PARA REALIZAR A INVENÇÃO

[0031] Modalidades às quais a presente tecnologia é aplicada serão descritas abaixo com referência aos desenhos.

[0032] A presente tecnologia refere-se a uma tecnologia para reproduzir áudio a ser ouvido em uma certa posição de audição a partir de um sinal de forma de onda de som de um objeto que é uma fonte sonora, no lado de reprodução.

[0033] Figura 1 é um diagrama ilustrando um exemplo de configuração de acordo com uma modalidade de um dispositivo de processamento de áudio ao qual a presente tecnologia é aplicada.

[0034] Um dispositivo de processamento de áudio 11 inclui uma unidade de entrada 21, uma unidade de correção de informação de posição 22, uma unidade de correção de característica de ganho/frequência 23, uma unidade de adição de característica acústica espacial 24, um processador de renderização 25, e um processador de convolução 26.

[0035] Sinais de forma de onda de objetos múltiplos e metadados dos sinais de forma de onda que consistem de informação de áudio de conteúdos a serem reproduzidos, são fornecidos ao dispositivo de processamento de áudio 11.

[0036] Notar que um sinal de forma de onda de um objeto refere-se a um sinal de áudio para reproduzir som emitido por um objeto que é uma fonte sonora.

[0037] Em adição, metadados de um sinal de forma de onda de um objeto referem-se à posição do objeto, isto é, informação de posição indicando a posição de localização do som do objeto. A informação de posição é a informação indicando a posição de um objeto em relação a uma posição de audição padrão, que é um ponto de referência predeterminado.

[0038] A informação de posição de um objeto pode ser expressa por coordenadas esféricas, isto é, um ângulo de azimute, um ângulo de elevação e um raio em relação a uma posição sobre uma superfície esférica tendo seu centro na posição de audição padrão, ou pode ser expressa por coordenadas de um sistema de coordenadas ortogonais tendo a origem na posição de audição padrão, por exemplo.

[0039] Um exemplo no qual a informação de posição dos respectivos objetos é expressa por coordenadas esféricas, será descrito abaixo. Especificamente, a informação de posição de um enésimo OBn (onde n = 1, 2, 3, ...) é expressa pelo ângulo de azimute An, pelo ângulo de elevação En e pelo raio Rn, em relação a um objeto OBn sobre uma superfície esférica tendo seu centro na posição de audição padrão. Notar que a unidade do ângulo de azimute An e do ângulo de azimute An é graus, por exemplo, e a unidade do raio Rn é metro, por exemplo.

[0040] A seguir a informação de posição de um objeto OBn será também expressa por (An, En, Rn). Em adição, o sinal de forma de onda de um enésimo objeto OBn será também expresso por um sinal de forma de onda Wn[t].

[0041] Então, o sinal de forma de onda e a posição do primeiro objeto OB1 serão expressos por W1[t] e (A1, E1, R1), respectivamente, e o sinal de forma de onda e a informação de posição do segundo objeto OB2 será expressa por W2[t] e (A2, E2, R2), respectivamente, por exemplo. A seguir, para facilidade de explicação, a descrição será continuada supondo que os sinais de forma de onda e a informação de posição de dois objetos, que são um objeto OB1 e um objeto OB2 são fornecidas ao dispositivo de processamento de áudio 11.

[0042] A unidade de entrada 21 é constituída por um mouse, botões, um painel de toque, ou similar, e ao ser operada por um usuário emite um sinal associado à operação. Por exemplo, a unidade de entrada 21 recebe uma posição de audição suposta, inserida por um usuário, e fornece a informação de posição de audição suposta, indicando a posição de audição suposta inserida pelo usuário à unidade de correção de informação de posição 22 e unidade de adição de característica acústica espacial 24.

[0043] Notar que a posição de audição suposta é uma posição de audição de som constituindo um conteúdo em um campo de som virtual, a ser reproduzido. Então, pode ser dito que a posição de audição suposta indica a posição de uma posição de audição padrão predeterminada resultante de modificação (correção).

[0044] A unidade de correção de informação de posição 22 corrige a informação de posição fornecida externamente dos respectivos objetos, com base na informação de posição de audição suposta a partir da unidade de entrada 21, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e processador de renderização 25. A informação de posição corrigida é a informação indicando a posição de um objeto em relação à posição de audição suposta, isto é, a posição de localização do som do objeto.

[0045] A unidade de correção de característica de ganho/frequência 23 efetua correção de ganho e correção de característica de frequência dos sinais de forma de onda fornecidos externamente, dos objetos, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22 e na informação de posição fornecida externamente, e fornece os sinais de forma de onda resultantes à unidade de adição de característica acústica espacial 24.

[0046] A unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição de audição suposta, fornecida a partir da unidade de entrada 21 e da informação de posição fornecida externamente dos objetos, e fornece os sinais de forma de onda resultantes ao processador de renderização 25.

[0047] O processador de renderização 25 executa mapeamento sobre os sinais de forma de onda fornecidos a partir da unidade de adição de característica acústica espacial 24, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22, para gerar sinais de reprodução em M canais, M sendo 2 ou mais. Então, sinais de reprodução em M canais são gerados a partir dos sinais de forma de onda dos respectivos objetos. O processador de renderização 25 fornece os sinais de reprodução gerados nos M canais ao processador de convolução 26.

[0048] Os sinais de reprodução em M canais então obtidos são sinais de áudio para reproduzir sons emitidos a partir dos respectivos objetos, que devem ser reproduzidos por M alto-falantes virtuais (alto-falantes de M canais) e ouvidos em uma posição de audição suposta em um campo de som virtual a ser produzido.

[0049] O processador de convolução 26 executa processo de convolução sobre os sinais de reprodução em M canais fornecidos a partir do processador de renderização 25 para gerar sinais de reprodução de 2 canais, e emite os sinais de reprodução gerados. Especificamente, neste exemplo, o número de alto-falantes no lado da reprodução é dois, e o processador de convolução 26 gera e emite sinais de reprodução a serem reproduzidos pelos alto-falantes.

<Geração de Sinais de Reprodução>

[0050] A seguir, sinais de reprodução gerados pelo dispositivo de processamento de áudio 11 ilustrado serão descritos em mais detalhe.

[0051] Conforme mencionado acima, será descrito aqui um exemplo no qual os sinais de forma de onda e a informação de posição de dois objetos, que são um objeto OBi e um objeto OB2, são fornecidas ao dispositivo de processamento de áudio 11.

[0052] Para reprodução de um conteúdo, um usuário opera a unidade de entrada 21 para inserir uma posição de audição suposta que é um ponto de referência para localização de sons a partir dos respectivos objetos em renderização.

[0053] Aqui, uma distância móvel X na direção da esquerda para a direita e uma distância móvel Y na direção da frente para trás a partir da posição de audição padrão, são inseridas como a posição de audição suposta, e a informação de posição de audição suposta é expressa por (X, Y). A unidade da distância móvel X e da distância móvel Y é o metro, por exemplo.

[0054] Especificamente, em um sistema de coordenadas xyz tendo a origem O na posição de audição padrão, a direção do eixo geométrico x e a direção do eixo geométrico y em direções horizontais e a direção do eixo geométrico z na direção da altura, uma distância X na direção do eixo geométrico x a partir da posição de audição padrão até a posição de audição suposta, e uma distância Y na direção do eixo geométrico y a partir da posição de audição padrão até a posição de audição suposta, são inseridas pelo usuário. Então, informação indicando uma posição expressa pelas distâncias X e Y inseridas, relativas à posição de audição padrão, é a informação de posição de audição suposta (X, Y). Notar que o sistema de coordenadas xyz é um sistema de coordenadas ortogonais.

[0055] Embora um exemplo no qual a posição de audição suposta está no plano xy seja descrito aqui para facilidade de explicação, o usuário pode alternativamente ter permissão para especificar a altura na direção do eixo geométrico z da posição de audição suposta. Em tal caso, a distância X na direção do eixo geométrico x, a distância Y na direção do eixo geométrico y e a distância Z na direção do eixo geométrico Z a partir da posição de audição padrão para a posição de audição suposta, são especificadas pelo usuário, o que constitui a informação de posição de audição suposta (X, Y, Z). Ainda mais, embora seja explicado acima que a posição de audição suposta é inserida por um usuário, a informação de posição de audição suposta pode ser adquirida externamente ou pode ser pré-ajustada por um usuário ou similar.

[0056] Quando a informação de posição de audição suposta (X, Y) é então obtida, a unidade de correção de informação de posição 22 então calcula a informação de posição corrigida indicando as posições dos respectivos objetos, com base na posição de audição suposta.

[0057] Conforme mostrado na Figura 2, por exemplo, suponhamos que o sinal de forma de onda e a informação de posição de um objeto predeterminado OB11 sejam fornecidos e a posição de audição suposta LP11 seja especificada por um usuário. Na Figura 2, a direção transversal, a direção de profundidade e a direção vertical representam a direção do eixo geométrico x, a direção do eixo geométrico y e a direção do eixo geométrico z, respectivamente.

[0058] Neste exemplo, a origem O do sistema de coordenadas xzy é a posição de audição padrão. Aqui, quando o objeto OB11 é o enésimo objeto, a informação de posição indicando a posição do objeto OB11 relativa à posição de audição padrão é (An, En, Rn).

[0059] Especificamente, o ângulo de azimute An da informação de posição (An, En, Rn) representa o ângulo entre uma linha conectando a origem O e o objeto OB11 e o eixo geométrico x no plano xy. O ângulo de elevação En da informação de posição (An, En, Rn) representa o ângulo entre uma linha conectando a origem O e o objeto OB11 e o plano xy, e o raio Rn da informação de posição (An, En, Rn) representa a distância da origem O ao objeto OB11.

[0060] Suponhamos agora que uma distância X na direção do eixo geométrico x e uma distância Y na direção do eixo geométrico y a partir da origem O até a posição de audição suposta LP11 são inseridas como a informação de posição de audição suposta indicando a posição de audição suposta LP11.

[0061] Em tal caso, a unidade de correção de informação de posição 22 calcula a informação de posição corrigida (An', En', Rn') indicando a posição do objeto OB11 relativa à posição de audição suposta LP11, isto é, a posição do objeto OB11 com base na posição de audição suposta LP11, com base na informação de posição de audição suposta (X, Y) e a informação de posição (An, En, Rn).

[0062] Notar que An', En' e Rn' na informação de posição corrigida (A'n, E'n, R'n) representam o ângulo de azimute, o ângulo de elevação e o raio correspondente a An, En e Rn da informação de posição (An, En, Rn), respectivamente.

[0063] Especificamente, para o primeiro objeto OBi, a unidade de correção de informação de posição 22 calcula as seguintes expressões (1) a (3) com base na informação de posição (A1, E1, R1) do objeto OB1 e a informação de posição de audição suposta (X, Y) para obter a informação de posição corrigida (A1', E1', R1').

[0064] Especificamente, o ângulo de azimute A'1 é obtido pela expressão (1), o ângulo de elevação E'1 é obtido pela expressão (2) e o raio R'1 é obtido pela expressão 3.

[0065] Similarmente, para o segundo objeto OB2, a unidade de correção de informação de posição 22 calcula as seguintes expressões (4) a (6) com base na informação de posição (A2, E2, R2) do objeto OB2 e a informação de posição de audição (X, Y) para obter informação de posição corrigida (A2', E2', R2').

[0066] Especificamente, o ângulo de azimute A2 é obtido pela expressão (4), o ângulo de elevação E2' é obtido pela expressão (5) e o raio R2' é obtido pela expressão (6).

[0067] Subsequentemente, a unidade de correção de característica de ganho/frequência 23 executa a correção de ganho e a correção de característica de frequência nos sinais de forma de onda dos objetos na informação de posição corrigida indicando as posições dos respectivos objetos em relação à posição de audição suposta e a informação de posição indicando as posições dos respectivos objetos em relação à posição de audição padrão.

[0068] Por exemplo, a unidade de correção de característica de ganho/frequência 23 calcula as seguintes expressões (7) e (8) para o objeto OB1 e para o objeto OB2 usando o raio Ri' e o raio R2' da informação de posição corrigida e o raio R1 e o raio R2 da informação de posição, para determinar uma quantidade de correção de ganho Gi e uma quantidade de correção de ganho G2 dos respectivos objetos.

[0069] Especificamente, a quantidade de correção de ganho G1 do sinal de forma de onda Wi[t] do objeto OBi é obtida pela expressão (7), e a quantidade de correção de ganho G2 do sinal de forma de onda W2[t] do objeto OB2 é obtida pela expressão (8). Neste exemplo, a relação do raio indicado pela informação de posição corrigida para o raio indicado pela informação de posição é a quantidade de correção de ganho, e a correção de volume dependendo da distância de um objeto para a posição de audição suposta é executada usando a quantidade de correção de ganho.

[0070] A unidade de correção de característica de ganho/frequência 23 calcula adicionalmente as expressões seguintes (9) e (10) para realizar correção de característica de frequência dependendo do raio indicado pela informação de posição corrigida e correção de ganho de acordo com a quantidade de correção de ganho nos sinais de forma de onda nos respectivos objetos.

[0071] Especificamente, a correção de característica de frequência e a correção de ganho são efetuadas no sinal de forma de onda Wi[t] do objeto OBi, através do cálculo da expressão (9), e o sinal de forma de onda Wi' [t] é então obtido. Similarmente, a correção de característica de frequência e a correção de ganho são executadas no sinal de forma de onda W2[t] do objeto OB2, através do cálculo da expressão (10), e o sinal de forma de onda W2' [t] é então obtido. Neste exemplo, a correção das características de frequência dos sinais de forma de onda é realizada através de filtragem.

[0072] Nas expressões (9) e (10), h1 (onde 1 = 0, 1, ..., L) representa um coeficiente pelo qual o sinal de forma de onda Wn[t-1] (onde n = 1, 2) de cada vez é multiplicado para filtragem.

[0073] Quando L = 2 e os coeficientes h0, h1 e h2 são conforme expressos pelas expressões a seguir (11) a (13), por exemplo, uma característica de que componentes de alta frequência de sons a partir dos objetos são atenuados pelas paredes e teto de um campo sonoro virtual (espaço de reprodução de áudio virtual) a serem reproduzidos dependendo das distâncias dos objetos para a posição de audição suposta, podem ser reproduzidos.

[0074] Na expressão (12), Rn representa o informação de posição (An, En, Rn) do objeto OBn representa o raio Rn' indicado pela informação de posição corrigida (An', En', Rn') do objeto OBn (onde n = 1, 2).

[0075] Como um resultado do cálculo das expressões (9) e (10) usando os coeficientes expressos pelas expressões (11) a (13) desta maneira, é realizada filtragem das características de frequência mostradas na Figura 3. Na Figura 3, o eixo geométrico horizontal representa frequência normalizada e o eixo geométrico vertical representa amplitude, isto é, a quantidade de atenuação dos sinais de forma de onda.

[0076] Na Figura 3, uma linha C11 mostra a característica de frequência onde Rn' < Rn. Neste caso, a distância do objeto para a posição de audição suposta é igual ou menor que a distância do objeto à posição de audição padrão. Especificamente, a posição de audição suposta está em uma posição mais próxima do objeto do que a posição de audição padrão, ou a posição de audição padrão e a posição de audição suposta estão na mesma distância do objeto. Neste caso, os componentes de frequência do sinal de forma de onda não são particularmente atenuados.

[0077] A curva C12 mostra a característica de frequência onde Rn' = Rn + 5. Neste caso, uma vez que a posição de audição suposta está ligeiramente mais distante do objeto do que a posição de audição padrão, o componente de alta frequência do sinal de forma de onda é ligeiramente atenuado.

[0078] A curva C13 mostra a característica de frequência onde Rn' > Rn + 10. Neste caso, uma que a posição de audição suposta está muito mais distante do que a posição de audição padrão, o componente de alta frequência do sinal de forma de onda é amplamente atenuado.

[0079] Como um resultado de efetuar a correção de ganho e a correção de característica de frequência dependendo da distância do objeto para a posição de audição suposta e atenuando o componente de alta frequência do sinal de forma de onda do objeto conforme descrito acima, modificações nas características de frequência e volumes devido a uma alteração na posição de audição do usuário podem ser reproduzidas.

[0080] Após a correção de ganho e a correção de característica de frequência serem efetuadas pela unidade de correção de característica de ganho/frequência 23 e os sinais de forma de onda Wn' [t] dos objetos respectivos serem então obtidos, características acústicas espaciais são então adicionadas aos sinais de forma de onda Wn' [t] pela unidade de adição de característica acústica espacial 24. Por exemplo, reflexões anteriores, características de reverberação ou similares são adicionadas como as características acústicas espaciais aos sinais de forma de onda.

[0081] Especificamente, para adicionar reflexões anteriores e as características de reverberação aos sinais de forma de onda, um processo de retardo multiderivação, um processo de filtro de pente (COMB FILTER), e processo de filtragem “passa tudo” são combinados para obter a adição das reflexões anteriores e características de reverberação.

[0082] Especificamente, a unidade de adição de característica acústica espacial 24 executa o processo de retardo multiderivação em cada sinal de forma de onda, com base em uma quantidade de retardo em uma quantidade de ganho determinadas a partir da informação de posição do objeto e da informação de posição de audição suposta, e adiciona o sinal resultante ao sinal de forma de onda original, para adicionar a reflexão anterior ao sinal de forma de onda.

[0083] Em adição, a unidade de adição de característica acústica espacial 24 executa o processo de filtro de pente no sinal de forma de onda com base na quantidade de retardo e na quantidade de ganho determinadas a partir da informação de posição do objeto e da informação de posição de audição suposta. A unidade de adição de característica acústica espacial 24 realiza adicionalmente o processo de filtragem passa tudo no sinal de forma de onda resultante do processo de filtro de pente com base na quantidade de retardo e quantidade de ganho determinadas a partir da informação de posição do objeto e informação de posição de audição suposta, para obter um sinal para adicionar uma característica de reverberação.

[0084] Finalmente, a unidade de adição de característica acústica espacial 24 adiciona o sinal de forma de onda resultante da adição da reflexão anterior e o sinal para adicionar a característica de reverberação, para obter um sinal de forma de onda apresentando a reflexão anterior e a características de reverberação adicionadas a ele, e emite o sinal de forma de onda obtido para o processador de renderização 25.

[0085] A adição das características acústicas espaciais aos sinais de forma de onda usando os parâmetros determinados de acordo com a informação de posição de cada objeto e a informação de posição de audição suposta conforme descrito acima permite a reprodução de modificações na acústica espacial, devido a alteração na posição de audição do usuário.

[0086] Os parâmetros tais como a quantidade de retardo e a quantidade de ganho usados no processo de retardo multiderivação, o processo de filtragem de pente, o processo de filtragem passa tudo, e similares podem ser mantidos em uma tabela antecipadamente para cada comb da informação de posição do objeto e da informação de posição de audição suposta.

[0087] Em tal caso, a unidade de adição de característica acústica espacial 24 mantém antecipadamente uma tabela na qual cada posição indicada pela informação de posição é associada a um conjunto de parâmetros, tais como a quantidade de retardo para cada posição de audição suposta, por exemplo. A unidade de adição de característica acústica espacial 24 então lê um conjunto de parâmetros determinados a partir da informação de posição de um objeto e da posição de audição suposta a partir da tabela, e usa os parâmetros para adicionar as características acústicas espaciais aos sinais de forma de onda.

[0088] Notar que o conjunto de parâmetros usados para adição das características acústicas espaciais pode ser mantido em uma forma de uma tabela ou ode ser mantido em uma forma de uma função ou similar. Em um caso em que uma função é usada para obter os parâmetros, por exemplo, a unidade de adição de característica acústica espacial 24 substitui a informação de posição e a informação de posição de audição suposta por uma função mantida antecipadamente para calcular os parâmetros a serem usados para adição das características acústicas espaciais.

[0089] Após os sinais de forma de onda aos quais as características acústicas espaciais são adicionadas serem obtidos para os respectivos objetos conforme descrito acima, o processador de renderização 25 efetua mapeamento dos sinais de forma de onda para os M canais respectivos, para gerar sinais de reprodução em M canais. Em outras palavras, a renderização é realizada.

[0090] Especificamente, o processador de renderização 25 obtém a quantidade de ganho do sinal de forma de onda de cada um dos objetos em cada um dos M canais através de VBAP, com base na informação de posição corrigida, por exemplo. O processador de renderização 25 então executa um processo de adicionar o sinal de forma de onda de cada objeto multiplicado pela quantidade de ganho obtida pela VBAP para cada canal, para gerar sinais de reprodução dos respectivos canais.

[0091] Aqui, a VBAP será descrita com referência à Figura 4.

[0092] Conforme ilustrado na Figura 4, por exemplo, suponhamos que um usuário U11 ouve áudio em três canais emitidos a partir de três alto- falantes SP1 a SP3. Neste exemplo, a posição da cabeça do usuário U11 é uma posição LP21 correspondente à posição de audição suposta.

[0093] Um triângulo TR11 em uma superfície esférica rodeada pelos alto-falantes SP1 a SP3 é chamado de uma malha, e a VBAP permite que uma imagem sonora seja localizada em uma certa posição dentro da malha.

[0094] Agora, suponhamos que informação indicando as posições de três alto-falantes SP1 a SP3, que emitem áudio nos respectivos canais, é usada para localizar uma imagem sonora em uma posição de imagem sonora VSP1. Notar que a posição de imagem sonora VSP1 corresponde à posição de um objeto OBn, mais especificamente à posição de um objeto OBn indicada pela informação de posição corrigida (An', En', Rn').

[0095] Por exemplo, em um sistema de coordenadas tridimensional tendo a origem na posição da cabeça do usuário U11, isto é, a posição LP21, a posição de imagem sonora VSP1 é expressa usando um vetor tridimensional p começando a partir da posição LP21 (origem).

[0096] Em adição, quando vetores tridimensionais começando a partir da posição LP21 (origem) e estendendo-se na direção das posições dos respectivos alto-falantes SP1 a SP3 são representados por vetores l1 a l3, o vetor p pode ser expresso pela soma linear dos vetores l1 a l3, conforme expresso pela seguinte expressão (14).

[0097] Os coeficientes g1 a g3 pelos quais os vetores l1 a l3 são multiplicados na expressão (14) são calculados, e ajustados para serem as quantidades de ganho de áudio a serem emitidas a partir dos alto-falantes SP1 a SP3, respectivamente, isto é, as quantidades de ganho dos sinais de forma de onda, o que permite que a imagem sonora seja localizada na posição de imagem sonora VSP1.

[0098] Especificamente, o coeficiente gi ao coeficiente g3 para serem as quantidades de ganho, podem ser obtidos calculando a seguinte expressão (15) com base em uma matriz inversa Li23-1 da malha triangular constituída pelos três alto-falantes SP1 a SP3 e do vetor p indicando a posição do objeto OBn.

[0099] Na expressão (15), Rn'senAn' cosEn', Rn' cosAn' cosEn', e Rn' senEn', que são elementos do vetor p, representam a posição de imagem sonora VSP1, isto é, a coordenada x', coordenada y' e a coordenada z', respectivamente, em um sistema de coordenadas x'y'z' indicando a posição do objeto OBn.

[00100] O sistema de coordenadas x'y'z' é um sistema de coordenadas ortogonais apresentando um eixo geométrico x', um eixo geométrico y' e um eixo geométrico z' paralelos ao eixo geométrico x, ao eixo geométrico y e ao eixo geométrico z, respectivamente do sistema de coordenadas xyz mostrado na Figura 2 e apresentando a origem em uma posição correspondente à posição de audição suposta, por exemplo. Os elementos do vetor p podem ser obtidos a partir da informação de posição corrigida (An', En', Rn') indicando a posição do objeto OBn.

[00101] Ainda mais, l11, l12, e l13 na expressão (15) são valores de um componente x', um componente y' e um componente z' obtidos resolvendo o vetor l1 na direção do primeiro alto-falante da malha, em componentes do eixo geométrico x', do eixo geométrico y' e do eixo geométrico z', respectivamente, e correspondem à coordenada x', coordenada y' e coordenada z' do primeiro alto-falante.

[00102] Similarmente, l21, l22 e l23 são valores de um componente x', um componente y' e um componente z', obtidos resolvendo o vetor l2 na direção do segundo alto-falante da malha, em componentes do eixo geométrico x', do eixo geométrico y' e do eixo geométrico z', respectivamente. Ainda mais, l31, l32 e l33 são valores de um componente x', um componente y' e um componente z', obtidos resolvendo o vetor l3 na direção do terceiro alto- falante da malha, em componentes do eixo geométrico x', do eixo geométrico y' e do eixo geométrico z', respectivamente.

[00103] A técnica de obter os coeficientes g1 a g3 usando as posições relativas dos três alto-falantes SP1 a SP3 desta maneira, para controlar a posição de localização de uma imagem sonora é, em particular, chamada VBAP tridimensional. Neste caso, o número M de canais dos sinais de reprodução é de três ou maior.

[00104] Uma vez que sinais de reprodução em M canais são gerados pelo processador de renderização 25, o número de alto-falantes virtuais associados aos respectivos canais é M. Neste caso, para cada um dos objetos OBn, a quantidade de ganho do sinal de forma de onda é calculada para cada um dos M canais respectivamente associados aos alto-falantes M.

[00105] Neste exemplo, uma pluralidade de malhas, cada uma constituída por M alto-falantes virtuais é colocada em um espaço de reprodução de áudio virtual. A quantidade de ganho dos três canais associados aos três alto-falantes constituindo a malha na qual o objeto OBn está incluído, é um valor obtido pela expressão (15) anteriormente mencionada. Em contraste, a quantidade de ganho de M-3 canais associados com os M-3 alto-falantes restantes é 0.

[00106] Após gerar os sinais de reprodução em M canais conforme descrito acima, o processador de renderização 25 fornece os sinais de reprodução resultantes ao processador de convolução 26.

[00107] Com os sinais de reprodução em M canais obtidos desta maneira, o modo pelo qual os sons a partir dos objetos são ouvidos em uma posição de audição suposta desejada pode ser reproduzido de uma maneira mais realística. Embora um exemplo no qual sinais de reprodução em M canais são gerados através de VBAP seja descrito aqui, os sinais de reprodução em M canais podem ser gerados por qualquer outra técnica.

[00108] Os sinais de reprodução em M canais são sinais para reproduzir som por um sistema de alto-falante de M canais, e o dispositivo de processamento de áudio 11 adicionalmente converte os sinais de reprodução nos M canais em sinais de reprodução em dois canais e emite os sinais de reprodução resultantes. Em outras palavras, os sinais de reprodução em M canais são submisturados para sinais de reprodução em dois canais.

[00109] Por exemplo, o processador de convolução 26 realiza um processo de resposta ao impulso em espaço binaural (BRIR) como um processo de convolução nos sinais de reprodução em M canais fornecidos a partir do processador de renderização 25 para gerar os sinais de reprodução em dois canais, e emite os sinais de reprodução resultantes.

[00110] Notar que o processo de convolução nos sinais de reprodução não está limitado ao processo BRIR mas pode ser qualquer processo capaz de obter sinais de reprodução nos dois canais.

[00111] Quando os sinais de reprodução em dois canais devem ser emitidos para fones de ouvido, uma tabela mantendo respostas ao impulso a partir de várias posições de objeto para a posição de audição suposta, pode ser provida antecipadamente. Em tal caso, uma resposta ao impulso associada com a posição de um objeto para a posição de audição suposta é usada para combinar os sinais de forma de onda dos respectivos objetos através do processo BRIR, o que permite que o modo pelo qual os sons emitidos a partir dos respectivos objetos são ouvidos a uma posição de audição suposta desejada seja reproduzido.

[00112] Por este método, entretanto, respostas ao impulso associadas com um número muito grande de pontos (posições) tem que ser mantidas. Ainda mais, como o número de objetos é maior, o processo BRIR tem que ser realizado pelo número de vezes correspondente ao número de objetos, o que aumenta a carga de processamento.

[00113] Então, no dispositivo de processamento de áudio 11, os sinais de reprodução (sinais de forma de onda) mapeados para os alto-falantes de M canais virtuais pelo processador de renderização 25 são submisturados para os sinais de reprodução de dois canais, através do processo BRIR usando as respostas ao impulso para os ouvidos de um usuário (ouvinte) a partir dos M canais virtuais. Neste caso, somente respostas ao impulso a partir dos respectivos alto-falantes de M canais para os ouvidos do ouvinte precisam ser mantidas, e o número de vezes em que o processo BRIR é realizado para os M canais, mesmo quando um número maior de objetos está presente, o que reduz a carga de processamento.

<Explicação do Processo de Geração de Sinal de Reprodução>

[00114] Subsequentemente, um fluxo de processo do dispositivo de processamento de áudio 11 descrito acima será explicado. Especificamente, o processo de geração de sinal de reprodução realizado pelo dispositivo de processamento de áudio 11 será explicado com referência ao fluxograma da Figura 5.

[00115] Na etapa S11, a unidade de entrada 21 recebe entrada de uma posição de audição suposta. Quando o usuário tiver operado a unidade de entrada 21 para inserir a posição de audição suposta, a unidade de entrada 21 fornece informação de posição de audição suposta indicando a posição de audição suposta para a unidade de correção de informação de posição 22 e para a unidade de adição de característica acústica espacial 24.

[00116] Na etapa S12, a unidade de correção de informação de posição 22 calcula a informação de posição corrigida (An', En', Rn') com base na informação de posição de audição suposta fornecida a partir da unidade de entrada 21 e informação de posição fornecida externamente dos respectivos objetos, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e ao processador de renderização 25. Por exemplo, as expressões anteriormente mencionadas (1) a (3) ou (4) a (6) são calculadas de tal modo que a informação de posição corrigida dos respectivos objetos é obtida.

[00117] Na etapa S13, a unidade de correção de característica de ganho/frequência 23 efetua correção de ganho e correção de característica de frequência dos sinais de forma de onda fornecidos externamente dos objetos, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22 e informação de posição fornecida externamente.

[00118] Por exemplo, as expressões (9) e (10) anteriormente mencionadas são calculadas de tal modo que os sinais de forma de onda Wn' [t] dos respectivos objetos são obtidos. A unidade de correção de característica de ganho/frequência 23 fornece os sinais de forma de onda obtidos Wn' [t] dos respectivos objetos, à unidade de adição de característica acústica espacial 24.

[00119] Na etapa S14, a unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição de audição suposta, fornecida a partir da unidade de entrada 21 e da informação de posição suprida externamente, e fornece os sinais de forma de onda resultantes ao processador de renderização 25. Por exemplo, reflexões anteriores, características de reverberação ou similares são adicionadas como as características acústicas espaciais para os sinais de forma de onda.

[00120] Na etapa S15, o processador de renderização 25 executa mapeamento sobre os sinais de forma de onda fornecidos a partir da unidade de adição de característica acústica espacial 24, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22, para gerar sinais de reprodução em M canais, e fornece os sinais de reprodução gerados ao processador de convolução 26. Embora os sinais de reprodução sejam gerados através da VBAP no processo da etapa S15, por exemplo, os sinais de reprodução em M canais podem ser gerados por qualquer outra técnica.

[00121] Na etapa S16, o processador de convolução 26 efetua processo de convolução sobre os sinais de reprodução em M canais fornecidos a partir do processador de renderização 25, para gerar sinais de reprodução em 2 canais, e emite os sinais de reprodução gerados. Por exemplo, o processo BRIR anteriormente mencionado é realizado como o processo de convolução.

[00122] Quando os sinais de reprodução em dois canais são gerados e emitidos, o processo de geração de sinal de reprodução é terminado.

[00123] Conforme descrito acima, o dispositivo de processamento de áudio 11 calcula a informação de posição corrigida com base na informação de posição de audição suposta e executa correção de ganho e correção da característica de frequência dos sinais de forma de onda dos respectivos objetos e adiciona características acústicas espaciais com base na informação de posição corrigida obtida e na informação de posição de audição suposta.

[00124] Como um resultado, o meio pelo qual sons emitidos a partir das respectivas posições de objeto são ouvidos em qualquer posição de audição suposta, podem ser reproduzidos de uma maneira realista. Isto permite que o usuário especifique livremente a posição de audição do som de acordo com a preferência do usuário na reprodução de um conteúdo, o que proporciona uma reprodução de áudio mais flexível.

[00125] Embora um exemplo no qual o usuário pode especificar qualquer posição de audição suposta tenha sido explicado acima, não só a posição de audição, como também as posições dos respectivos objetos podem ter permissão para serem alteradas (modificadas) para quaisquer posições.

[00126] Em tal caso, o dispositivo de processamento de áudio 11 é configurado conforme ilustrado na Figura 6, por exemplo. Na Figura 6, partes correspondentes a aquelas na Figura 1 são designadas pelos mesmos numerais de referência, e descrição destas não será repetida, conforme apropriado.

[00127] O dispositivo de processamento de áudio 11 ilustrado na Figura 6 inclui uma unidade de entrada 21, uma unidade de correção de informação de posição 22, uma unidade de correção de característica de ganho/frequência 23, uma unidade de adição de característica acústica espacial 24, um processador de renderização 25 e um processador de convolução 26, similarmente à Figura 1.

[00128] Com o dispositivo de processamento de áudio 11 ilustrado na Figura 6, entretanto, a unidade de entrada 21 é operada pelo usuário e posições modificadas indicando as posições dos respectivos objetos, resultantes de modificação (alteração) são também inseridas em adição à posição de audição suposta. A unidade de entrada 21 fornece a informação de posição modificada indicando as posições modificadas de cada objeto, conforme inserido pelo usuário, à unidade de correção de informação de posição 22 e à unidade de adição de característica acústica espacial 24.

[00129] Por exemplo, a informação de posição modificada é informação incluindo o ângulo de azimute An, o ângulo de elevação En e o raio Rn de um objeto OBn, conforme modificado em relação à posição de audição padrão, similarmente à informação de posição. Notar que a informação de posição modificada pode ser informação indicando a posição modificada (alterada) de um objeto em relação à posição do objeto antes da modificação (alteração).

[00130] A unidade de correção de informação de posição 22 também calcula informação de posição corrigida com base na informação de posição de audição suposta e a informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e ao processador de renderização 25. Em um caso em que a informação de posição modificada é informação indicando a posição relativa à posição de objeto original, por exemplo, a informação de posição corrigida é calculada com base na informação de posição de audição suposta, informação de posição e informação de posição modificada.

[00131] A unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição e informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece os sinais de forma de onda resultantes ao processador de renderização 25.

[00132] Tem sido descrito acima que a unidade de adição de característica acústica espacial 24 do dispositivo de processamento de áudio 11 ilustrado na Figura 1 mantém antecipadamente uma tabela na qual cada posição indicada pela informação de posição é associada a um conjunto de parâmetros para cada peça de informação de posição de audição suposta, por exemplo.

[00133] Em contraste, a unidade de adição de característica acústica espacial 24 do dispositivo de processamento de áudio 11 ilustrado na Figura 6 mantém antecipadamente uma tabela na qual cada posição indicada pela informação de posição modificada está associada a um conjunto de parâmetros para cada peça da informação de posição de audição suposta. A unidade de adição de característica acústica espacial 24 então lê um conjunto de parâmetros determinados a partir da informação de posição de audição suposta e da informação de posição modificada fornecida a partir da unidade de entrada 21, da tabela para cada um dos objetos, e usa os parâmetros para executar um processo de retardo multiderivação, um processo de filtragem de pente, um processo de filtragem passa tudo e similares, e adiciona características acústicas espaciais aos sinais de forma de onda.

<Explicação do Processo de Geração de Sinal de Reprodução>

[00134] A seguir, um processo de geração de sinal de reprodução realizado pelo dispositivo de processamento de áudio 11 ilustrado na Figura 6, será explicado com referência ao fluxograma da Figura 7. Uma vez que o processo da etapa S41 é o mesmo da etapa S11 na Figura 5, a explicação deste não será repetida.

[00135] Na etapa S42, a unidade de entrada 21 recebe entrada de posições modificadas dos respectivos objetos. Quando o usuário tiver operado a unidade de entrada 21 para inserir as posições modificadas dos respectivos objetos, a unidade de entrada 21 fornece informação de posição modificada indicando as posições modificadas para a unidade de correção de informação de posição 22 e para a unidade de adição de característica acústica espacial 24.

[00136] Na etapa S43, a unidade de correção de informação de posição 22 calcula informação de posição corrigida (An', En', Rn') com base na informação de posição de audição suposta e na informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e ao processador de renderização 25.

[00137] Neste caso, o ângulo de azimute, o ângulo de elevação e o raio da informação de posição são substituídos pelo ângulo de azimute, o ângulo de elevação e o raio da informação de posição modificada no cálculo das expressões (1) a (3), anteriormente mencionadas, por exemplo, e a informação de posição corrigida é obtida. Ainda mais, a informação de posição é substituída pela informação de posição modificada no cálculo das expressões (4) a (6).

[00138] Um processo da etapa S44 é realizado após a informação de posição modificada ser obtida, o que é o mesmo que o processo da etapa S13 na Figura 5 e a explicação desta então não será repetida.

[00139] Na etapa S45, a unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição de audição suposta e informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece os sinais de forma de onda resultantes ao processador de renderização 25.

[00140] Processos das etapas S46 e S47 são realizados e o processo de geração de sinal de reprodução é terminado após as características acústicas espaciais serem adicionadas aos sinais de forma de onda, que são os mesmos daqueles das etapas S15 e S16 na Figura 5 e a explicação destes não será então repetida.

[00141] Conforme descrito acima, o dispositivo de processamento de áudio 11 calcula a informação de posição corrigida com base na informação de posição de audição suposta e na informação de posição modificada, e executa a correção de ganho e correção de característica de frequência dos sinais de forma de onda dos respectivos objetos e adiciona características acústicas espaciais com base na informação de posição corrigida obtida, na informação de posição de audição suposta e na informação de posição modificada.

[00142] Como um resultado, o modo pelo qual a saída de som a partir de qualquer posição de objeto é ouvida em qualquer posição de audição suposta, pode ser reproduzido de uma maneira realística. Isto permite que o usuário não só especifique livremente a posição de audição de som, como também especifica livremente as posições dos respectivos objetos, de acordo com a preferência do usuário na reprodução de um conteúdo, o que proporciona uma reprodução de áudio mais flexível.

[00143] Por exemplo, o dispositivo de processamento de áudio 11 permite a reprodução do modo pelo qual o som é ouvido quando o usuário tiver alterado componentes, tais como uma voz cantante, som de um instrumento ou similar, ou o arranjo destes. O usuário pode, portanto, mover livremente componentes tais como instrumentos e vozes cantantes associados aos respectivos objetos e o arranjo destes para desfrutar de música e som com o arranjo e componentes de fontes sonoras coincidentes com sua preferência.

[00144] Ainda mais, no dispositivo de processamento de áudio 11 ilustrado na Figura 6, similarmente ao dispositivo de processamento de áudio 11 ilustrado na Figura 1, os sinais de reprodução em M canais são uma vez gerados e então convertidos (submisturados) para sinais de reprodução em dois canais, de tal modo que a carga de processamento pode ser reduzida.

[00145] A série de processos descritos acima pode ser realizada seja por hardware ou por software. Quando a série de processos descritos acima é realizada por software, programas constituindo o software são instalados em um computador. Notar que exemplos do computador incluem um computador embutido em hardware dedicado e um computador de finalidade geral capaz de executar várias funções instalando vários programas nele.

[00146] Figura 8 é um diagrama em blocos mostrando um exemplo de estrutura do hardware de um computador que executa a série de processos acima descrita de acordo com programas.

[00147] No computador, uma unidade de processamento central (CPU) 501, uma memória de somente leitura (ROM) 502 e uma memória de acesso randômico (RAM) 503 são conectadas uma à outra por um barramento 504.

[00148] Uma interface de entrada/saída 505 é adicionalmente conectada ao barramento 504. Uma unidade de entrada 506, uma unidade de saída 507, uma unidade de gravação 508, uma unidade de comunicação 509 e um controlador 510 são conectados à interface de entrada/saída 505.

[00149] A unidade de entrada 506 inclui um teclado, um mouse, um microfone, um sensor de imagem e similares. A unidade de saída 507 inclui um monitor, um alto-falante e similares. A unidade de gravação 508 é um disco rígido, uma memória não volátil ou similares. A unidade de comunicação 509 é uma interface de rede ou similar. O controlador 510 controla um meio removível 511, tal como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória de semicondutor.

[00150] No computador apresentando a estrutura acima descrita, a CPU 501 carrega um programa gravado na unidade de gravação 508, na RAM 503 via interface de entrada/saída 505 e o barramento 504 e executa o programa, por exemplo, de tal modo que a série de processos acima descrita é executada.

[00151] Programas a serem executados pelo computador (CPU 501) podem ser gravados em um meio removível 511 que é um meio de pacote ou similar e provido a partir deste, por exemplo. Alternativamente, os programas podem ser providos vias um meio de transmissão com fio ou sem fio, tal como uma rede de área local, a Internet ou radiodifusão via satélite digital.

[00152] No computador, os programas podem ser instalados na unidade de gravação 508 via interface de entrada/saída 505, montando o meio removível 511 no controlador 510. Alternativamente, os programas podem ser recebidos pela unidade de comunicação 509 via um meio de transmissão com fio ou sem fio e instalado na unidade de gravação 508. Ainda alternativamente, os programas podem ser instalados antecipadamente na ROM 502 ou na unidade de gravação 508.

[00153] Programas a serem executados pelo computador podem ser programas para realizar processos em ordem cronológica de acordo com a sequência descrita neste relatório descritivo, ou programas para realizar processos em paralelo ou em temporização necessária, tal como em resposta a uma chamada.

[00154] Ainda mais, modalidades da presente tecnologia não estão limitadas às modalidades descritas acima, porém várias modificações podem ser feitas a elas, sem se afastar do escopo da tecnologia.

[00155] Por exemplo, a presente tecnologia pode ser configurada como computação em nuvem na qual uma função é compartilhada por dispositivos múltiplos via uma rede e processados em cooperação.

[00156] Em adição, as etapas explicadas nos fluxogramas acima podem ser realizadas por um dispositivo e podem também ser compartilhadas entre dispositivos múltiplos.

[00157] Ainda mais, quando processos múltiplos são incluídos em uma etapa, os processos incluídos na etapa podem ser realizados por um dispositivo e podem também ser compartilhados entre dispositivos múltiplos.

[00158] Os efeitos aqui mencionados são somente exemplificadores e não limitantes, e outros efeitos podem também ser produzidos.

[00159] Ainda mais, a presente tecnologia pode apresentar as seguintes configurações. (1) Um dispositivo de processamento de áudio incluindo: uma unidade de correção de informação de posição configurada para calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, o cálculo sendo baseado na informação de posição indicando a posição da fonte sonora e informação da posição de audição, indicando a posição de audição; e uma unidade de geração configurada para gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida. (2) O dispositivo de processamento de áudio descrito em (1), no qual a unidade de correção de informação de posição calcula a informação de posição corrigida com base na informação de posição modificada indicando uma posição modificada da fonte sonora e a informação da posição de audição. (3) O dispositivo de processamento de áudio descrito em (1) ou (2), incluindo adicionalmente uma unidade de correção configurada para realizar pelo menos uma correção de ganho e correção de característica de frequência no sinal de forma de onda, dependendo de uma distância da fonte sonora para a posição de audição. (4) O dispositivo de processamento de áudio descrito em (2), incluindo adicionalmente uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição modificada. (5) O dispositivo de processamento de áudio descrito em (4), em que a unidade de adição de característica acústica espacial adiciona pelo menos uma dentre uma reflexão inicial e uma característica de reverberação como a característica acústica espacial para o sinal de forma de onda. (6) O dispositivo de processamento de áudio descrito em (1), incluindo adicionalmente uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição. (7) O dispositivo de processamento de áudio descrito em qualquer uma de (1) a (6), incluindo adicionalmente um processador de convolução configurado para realizar um processo de convolução nos sinais de reprodução em dois ou mais canais gerados pela unidade de geração, para gerar sinais de reprodução em dois canais. (8) Um método de processamento de áudio incluindo as etapas de: calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, em que o som da fonte sonora é ouvido, o cálculo sendo baseado em informação de posição indicando a posição da fonte sonora e informação de posição de audição indicando a posição de audição; e gerar um sinal de reprodução, reproduzindo som a partir da fonte sonora, a ser ouvido na posição de audição, com base no sinal de forma de onda da fonte sonora e na informação de posição corrigida. (9) Um programa fazendo com que um computador execute processamento incluindo as etapas de: calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, o cálculo sendo baseado na informação de posição indicando a posição da fonte sonora e informação da posição de audição, indicando a posição de audição; e gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida. LISTA DE SINAIS DE REFERÊNCIA 11 Dispositivo de processamento de áudio 21 Unidade de entrada 22 Unidade de correção de informação de posição 23 Unidade de correção de característica de ganho/frequência 24 Unidade de adição de característica acústica espacial 25 Processador de renderização 26 Processador de convolução

Claims

1. Dispositivo de processamento de áudio (11), caracterizado pelo fato de compreender: uma unidade de correção de informação de posição (22) configurada para calcular informação de posição corrigida indicando uma primeira posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido; em que a informação de posição corrigida é calculada com base em informação de posição e informação da posição de audição; a informação de posição indica uma segunda posição da fonte sonora em relação a uma posição de audição padrão e a informação de posição de audição indica a posição de audição; e, a segunda posição da fonte sonora é expressa por coordenadas esféricas e a posição de audição é expressa por coordenadas xyz; e, uma unidade de geração configurada para gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, em que o sinal de reprodução é gerado com base em uma distribuição de amplitude de base vetorial (VBAP), um sinal de forma de onda da fonte sonora e na informação de posição corrigida.

2. Método de processamento de áudio, caracterizado pelo fato de incluir as etapas de: calcular informação de posição corrigida indicando uma primeira posição de uma fonte sonora relativa a uma posição de audição, em que o som da fonte sonora é ouvido; em que a informação de posição corrigida é calculada com base em informação de posição e informação de posição de audição; a informação de posição indica uma segunda posição da fonte sonora em relação a uma posição de audição padrão e a informação de posição de audição indica a posição de audição; e, a segunda posição da fonte sonora é expressa por coordenadas esféricas e a posição de audição é expressa por coordenadas xyz; e, gerar um sinal de reprodução, reproduzindo som a partir da fonte sonora, a ser ouvido na posição de audição, em que o sinal de reprodução é gerado com base em uma distribuição de amplitude de base vetorial (VBAP), um sinal de forma de onda da fonte sonora e na informação de posição corrigida.

3. Mídia de armazenamento legível por computador, caracterizada pelo fato de que tem armazenadas em si, instruções que, quando executadas por um computador, fazem com que o computador execute processamento incluindo as etapas de: calcular informação de posição corrigida indicando uma primeira posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido; em que a informação de posição corrigida é calculada com base em informação de posição e informação da posição de audição; a informação de posição indica uma segunda posição da fonte sonora em relação a uma posição de audição padrão e a informação de posição de audição indica a posição de audição; e, a segunda posição da fonte sonora é expressa por coordenadas esféricas e a posição de audição é expressa por coordenadas xyz; e, gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, em que o sinal de reprodução é gerado com base em uma distribuição de amplitude de base vetorial (VBAP), um sinal de forma de onda da fonte sonora e na informação de posição corrigida.