BR112016015971B1 - Dispositivo e método de processamento de áudio, e, mídia de armazenamento legível por computador - Google Patents
Dispositivo e método de processamento de áudio, e, mídia de armazenamento legível por computador Download PDFInfo
- Publication number
- BR112016015971B1 BR112016015971B1 BR112016015971-3A BR112016015971A BR112016015971B1 BR 112016015971 B1 BR112016015971 B1 BR 112016015971B1 BR 112016015971 A BR112016015971 A BR 112016015971A BR 112016015971 B1 BR112016015971 B1 BR 112016015971B1
- Authority
- BR
- Brazil
- Prior art keywords
- position information
- listening position
- listening
- sound source
- sound
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 50
- 238000000034 method Methods 0.000 title abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 85
- 239000013598 vector Substances 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 3
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 abstract 1
- 230000008569 process Effects 0.000 description 51
- 230000014509 gene expression Effects 0.000 description 29
- 238000009877 rendering Methods 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 17
- 238000001914 filtration Methods 0.000 description 9
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 101150016255 VSP1 gene Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002238 attenuated effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- VAMFXQBUQXONLZ-UHFFFAOYSA-N icos-1-ene Chemical compound CCCCCCCCCCCCCCCCCCC=C VAMFXQBUQXONLZ-UHFFFAOYSA-N 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- IPQVTOJGNYVQEO-KGFNBKMBSA-N sennoside A Chemical compound O[C@@H]1[C@@H](O)[C@H](O)[C@@H](CO)O[C@H]1OC1=CC=CC2=C1C(=O)C1=C(O)C=C(C(O)=O)C=C1[C@@H]2[C@H]1C2=CC(C(O)=O)=CC(O)=C2C(=O)C2=C(O[C@H]3[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O3)O)C=CC=C21 IPQVTOJGNYVQEO-KGFNBKMBSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/307—Frequency adjustment, e.g. tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/03—Application of parametric coding in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Otolaryngology (AREA)
- Health & Medical Sciences (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereo-Broadcasting Methods (AREA)
- Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
Abstract
DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE ÁUDIO, E, PROGRAMA. Esta técnica refere-se a um dispositivo e método de processamento de som, e um programa que habilita o desempenho de reprodução de áudio com um grau de flexibilidade mais alto. Uma unidade de entrada aceita uma entrada de uma posição de audição suposta para o som de um objeto que é uma fonte sonora, e emite informação de posição de audição suposta indicando a posição de audição suposta. Uma unidade de correção de informação de posição corrige informação de posição relativa a cada objeto, com base na informação de posição de audição suposta, para gerar informação de posição corrigida. Uma unidade de correção de característica de ganho/frequência executa uma correção de ganho e uma correção de característica de frequência no sinal de forma de onda do objeto, com base na informação de posição e na informação de posição corrigida. Adicionalmente, uma unidade de adição de característica acústica espacial adiciona uma característica acústica espacial ao sinal de forma de onda, no qual a correção de ganho e a correção de característica de frequência tenham sido realizadas, com base na informação de posição relativa ao objeto e à informação de posição (...).
Description
[001] A presente tecnologia refere-se a um dispositivo de processamento de áudio, um método para essa finalidade e um programa para essa finalidade e, mais particularmente, a um dispositivo de processamento de áudio, um método para essa finalidade e um programa para essa finalidade, capaz de realizar reprodução de áudio mais flexível.
[002] Conteúdos de áudio tais como aqueles em discos compactos (CDs) e discos versáteis digitais (DVDs) e aqueles distribuídos através de redes são tipicamente compostos de áudio baseado em canal.
[003] Um conteúdo de áudio baseado em canal é obtido de tal maneira que um criador de conteúdo mistura adequadamente fontes sonoras múltiplas tais como vozes cantantes e sons de instrumentos em dois canais ou canais 5.1 (a seguir também referidos como ch). Um usuário reproduz o conteúdo usando um sistema de alto-falante de 2ch ou 5.1ch, ou usando fones de ouvido.
[004] Há, entretanto, uma variedade infinita de arranjos de alto-falante de usuário ou similar, e a localização do som pretendida pelo criador do conteúdo pode não ser necessariamente reproduzida.
[005] Em adição, tecnologias de áudio baseadas em objeto têm recebido atenção recentemente. Em áudio baseado em objeto, sinais entregues para o sistema de reprodução são reproduzidos com base nos sinais de forma de onda de sons de objetos e metadados representando informação de localização dos objetos indicados, por posições dos objetos relativas a um ponto de audição que é uma referência, por exemplo. O áudio baseado em objeto então apresenta uma característica na qual a localização do som é reproduzida relativamente conforme pretendido pelo criador do conteúdo.
[006] Por exemplo, no áudio baseado em objeto, tal tecnologia como distribuição de amplitude de base vetorial (VBAP) é usado para gerar sinais de reprodução em canais associados aos respectivos alto-falantes no lado da reprodução, a partir dos sinais de forma de onda dos objetos (referir-se ao documento de não patente 1, por exemplo).
[007] Na VBAP, uma posição de localização de uma imagem Sonora alvo é expressa por uma soma linear de vetores estendendo-se na direção de dois ou três alto-falantes em torno da posição de localização. Coeficientes pelos quais os respectivos vetores são multiplicados na soma linear são usados como ganhos dos sinais de forma de onda a serem emitidos a partir dos respectivos alto-falantes para controle de ganho, de tal modo que a imagem sonora é localizada na posição alvo.
[008] Documento de Não Patente 1: Ville Pulkki, “Virtual Pound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol. 45, no. 6, pp. 456-466, 1997.
[009] Em ambos áudio baseado em canal e áudio baseado em objeto descritos acima, entretanto, a localização do som é determinada pelo criador do conteúdo, e usuários podem somente ouvir o som do conteúdo conforme provido. Por exemplo, no lado de reprodução do conteúdo, tal reprodução do modo pelo qual os sons são ouvidos quando o ponto de audição é movido de um acento posterior para um acento frontal em um clube de música ao vivo, não pode ser provida.
[0010] Com as tecnologias anteriormente mencionadas, conforme descrito acima, não pode ser dito que a reprodução de áudio pode ser obtida com flexibilidade suficientemente alta.
[0011] A presente tecnologia é realizada à vista das circunstâncias anteriormente mencionadas e habilita reprodução de áudio com flexibilidade aumentada.
[0012] Um dispositivo de processamento de áudio de acordo com um aspecto da presente tecnologia inclui: uma unidade de correção de informação de posição configurada para calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, o cálculo sendo baseado na informação de posição indicando a posição da fonte sonora e informação da posição de audição, indicando a posição de audição; e uma unidade de geração configurada para gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida.
[0013] A unidade de correção de informação de posição pode ser configurada para calcular a informação de posição corrigida com base na informação de posição modificada indicando uma posição modificada da fonte sonora e a informação da posição de audição.
[0014] O dispositivo de processamento de áudio pode adicionalmente ser provido com uma unidade de correção configurada para realizar pelo menos uma correção de ganho e correção de característica de frequência no sinal de forma de onda, dependendo de uma distância da fonte sonora para a posição de audição.
[0015] O dispositivo de processamento de áudio pode adicionalmente ser provido de uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição modificada.
[0016] A unidade de adição de característica acústica espacial pode ser configurada para adicionar pelo menos uma dentre uma reflexão inicial e uma característica de reverberação como a característica acústica espacial para o sinal de forma de onda.
[0017] O dispositivo de processamento de áudio pode adicionalmente ser provido de uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição.
[0018] O dispositivo de processamento de áudio pode adicionalmente ser provido com um processador de convolução configurado para realizar um processo de convolução nos sinais de reprodução em dois ou mais canais gerados pela unidade de geração, para gerar sinais de reprodução em dois canais.
[0019] Um método de processamento de áudio ou programa de acordo com um aspecto da presente tecnologia inclui as etapas de: calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, em que o som da fonte sonora é ouvido, o cálculo sendo baseado em informação de posição indicando a posição da fonte sonora e informação de posição de audição indicando a posição de audição; e gerar um sinal de reprodução, reproduzindo som a partir da fonte sonora, a ser ouvido na posição de audição, com base no sinal de forma de onda da fonte sonora e na informação de posição corrigida.
[0020] Em um aspecto da presente tecnologia, informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, é calculada com base na informação de posição indicando a posição da fonte sonora e informação de posição de audição indicando a posição de audição, e um sinal de reprodução reproduzindo o som a partir da fonte sonora, a ser ouvido na posição de audição é gerado com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida.
[0021] De acordo com um aspecto da presente tecnologia, a reprodução de áudio com flexibilidade aumentada é realizada.
[0022] Os efeitos mencionados aqui não são necessariamente limitados aos mencionados, porém pode ser quaisquer efeitos mencionados na presente descrição.
[0023] Figura 1 é um diagrama ilustrando uma configuração de um dispositivo de processamento de áudio.
[0024] Figura 2 é um gráfico explicando posição suposta de audição e informação de posição corrigida.
[0025] Figura 3 é um gráfico mostrando características de frequência na correção de característica de frequência.
[0026] Figura 4 é um gráfico explicando VBAP.
[0027] Figura 5 é um fluxograma explicando um processo de geração de sinal de reprodução.
[0028] Figura 6 é um diagrama ilustrando uma configuração de um dispositivo de processamento de áudio.
[0029] Figura 7 é um fluxograma explicando um processo de geração de sinal de reprodução.
[0030] Figura 8 é um diagrama ilustrando um exemplo de configuração de um computador.
[0031] Modalidades às quais a presente tecnologia é aplicada serão descritas abaixo com referência aos desenhos.
[0032] A presente tecnologia refere-se a uma tecnologia para reproduzir áudio a ser ouvido em uma certa posição de audição a partir de um sinal de forma de onda de som de um objeto que é uma fonte sonora, no lado de reprodução.
[0033] Figura 1 é um diagrama ilustrando um exemplo de configuração de acordo com uma modalidade de um dispositivo de processamento de áudio ao qual a presente tecnologia é aplicada.
[0034] Um dispositivo de processamento de áudio 11 inclui uma unidade de entrada 21, uma unidade de correção de informação de posição 22, uma unidade de correção de característica de ganho/frequência 23, uma unidade de adição de característica acústica espacial 24, um processador de renderização 25, e um processador de convolução 26.
[0035] Sinais de forma de onda de objetos múltiplos e metadados dos sinais de forma de onda que consistem de informação de áudio de conteúdos a serem reproduzidos, são fornecidos ao dispositivo de processamento de áudio 11.
[0036] Notar que um sinal de forma de onda de um objeto refere-se a um sinal de áudio para reproduzir som emitido por um objeto que é uma fonte sonora.
[0037] Em adição, metadados de um sinal de forma de onda de um objeto referem-se à posição do objeto, isto é, informação de posição indicando a posição de localização do som do objeto. A informação de posição é a informação indicando a posição de um objeto em relação a uma posição de audição padrão, que é um ponto de referência predeterminado.
[0038] A informação de posição de um objeto pode ser expressa por coordenadas esféricas, isto é, um ângulo de azimute, um ângulo de elevação e um raio em relação a uma posição sobre uma superfície esférica tendo seu centro na posição de audição padrão, ou pode ser expressa por coordenadas de um sistema de coordenadas ortogonais tendo a origem na posição de audição padrão, por exemplo.
[0039] Um exemplo no qual a informação de posição dos respectivos objetos é expressa por coordenadas esféricas, será descrito abaixo. Especificamente, a informação de posição de um enésimo OBn (onde n = 1, 2, 3, ...) é expressa pelo ângulo de azimute An, pelo ângulo de elevação En e pelo raio Rn, em relação a um objeto OBn sobre uma superfície esférica tendo seu centro na posição de audição padrão. Notar que a unidade do ângulo de azimute An e do ângulo de azimute An é graus, por exemplo, e a unidade do raio Rn é metro, por exemplo.
[0040] A seguir a informação de posição de um objeto OBn será também expressa por (An, En, Rn). Em adição, o sinal de forma de onda de um enésimo objeto OBn será também expresso por um sinal de forma de onda Wn[t].
[0041] Então, o sinal de forma de onda e a posição do primeiro objeto OB1 serão expressos por W1[t] e (A1, E1, R1), respectivamente, e o sinal de forma de onda e a informação de posição do segundo objeto OB2 será expressa por W2[t] e (A2, E2, R2), respectivamente, por exemplo. A seguir, para facilidade de explicação, a descrição será continuada supondo que os sinais de forma de onda e a informação de posição de dois objetos, que são um objeto OB1 e um objeto OB2 são fornecidas ao dispositivo de processamento de áudio 11.
[0042] A unidade de entrada 21 é constituída por um mouse, botões, um painel de toque, ou similar, e ao ser operada por um usuário emite um sinal associado à operação. Por exemplo, a unidade de entrada 21 recebe uma posição de audição suposta, inserida por um usuário, e fornece a informação de posição de audição suposta, indicando a posição de audição suposta inserida pelo usuário à unidade de correção de informação de posição 22 e unidade de adição de característica acústica espacial 24.
[0043] Notar que a posição de audição suposta é uma posição de audição de som constituindo um conteúdo em um campo de som virtual, a ser reproduzido. Então, pode ser dito que a posição de audição suposta indica a posição de uma posição de audição padrão predeterminada resultante de modificação (correção).
[0044] A unidade de correção de informação de posição 22 corrige a informação de posição fornecida externamente dos respectivos objetos, com base na informação de posição de audição suposta a partir da unidade de entrada 21, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e processador de renderização 25. A informação de posição corrigida é a informação indicando a posição de um objeto em relação à posição de audição suposta, isto é, a posição de localização do som do objeto.
[0045] A unidade de correção de característica de ganho/frequência 23 efetua correção de ganho e correção de característica de frequência dos sinais de forma de onda fornecidos externamente, dos objetos, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22 e na informação de posição fornecida externamente, e fornece os sinais de forma de onda resultantes à unidade de adição de característica acústica espacial 24.
[0046] A unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição de audição suposta, fornecida a partir da unidade de entrada 21 e da informação de posição fornecida externamente dos objetos, e fornece os sinais de forma de onda resultantes ao processador de renderização 25.
[0047] O processador de renderização 25 executa mapeamento sobre os sinais de forma de onda fornecidos a partir da unidade de adição de característica acústica espacial 24, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22, para gerar sinais de reprodução em M canais, M sendo 2 ou mais. Então, sinais de reprodução em M canais são gerados a partir dos sinais de forma de onda dos respectivos objetos. O processador de renderização 25 fornece os sinais de reprodução gerados nos M canais ao processador de convolução 26.
[0048] Os sinais de reprodução em M canais então obtidos são sinais de áudio para reproduzir sons emitidos a partir dos respectivos objetos, que devem ser reproduzidos por M alto-falantes virtuais (alto-falantes de M canais) e ouvidos em uma posição de audição suposta em um campo de som virtual a ser produzido.
[0049] O processador de convolução 26 executa processo de convolução sobre os sinais de reprodução em M canais fornecidos a partir do processador de renderização 25 para gerar sinais de reprodução de 2 canais, e emite os sinais de reprodução gerados. Especificamente, neste exemplo, o número de alto-falantes no lado da reprodução é dois, e o processador de convolução 26 gera e emite sinais de reprodução a serem reproduzidos pelos alto-falantes.
[0050] A seguir, sinais de reprodução gerados pelo dispositivo de processamento de áudio 11 ilustrado serão descritos em mais detalhe.
[0051] Conforme mencionado acima, será descrito aqui um exemplo no qual os sinais de forma de onda e a informação de posição de dois objetos, que são um objeto OBi e um objeto OB2, são fornecidas ao dispositivo de processamento de áudio 11.
[0052] Para reprodução de um conteúdo, um usuário opera a unidade de entrada 21 para inserir uma posição de audição suposta que é um ponto de referência para localização de sons a partir dos respectivos objetos em renderização.
[0053] Aqui, uma distância móvel X na direção da esquerda para a direita e uma distância móvel Y na direção da frente para trás a partir da posição de audição padrão, são inseridas como a posição de audição suposta, e a informação de posição de audição suposta é expressa por (X, Y). A unidade da distância móvel X e da distância móvel Y é o metro, por exemplo.
[0054] Especificamente, em um sistema de coordenadas xyz tendo a origem O na posição de audição padrão, a direção do eixo geométrico x e a direção do eixo geométrico y em direções horizontais e a direção do eixo geométrico z na direção da altura, uma distância X na direção do eixo geométrico x a partir da posição de audição padrão até a posição de audição suposta, e uma distância Y na direção do eixo geométrico y a partir da posição de audição padrão até a posição de audição suposta, são inseridas pelo usuário. Então, informação indicando uma posição expressa pelas distâncias X e Y inseridas, relativas à posição de audição padrão, é a informação de posição de audição suposta (X, Y). Notar que o sistema de coordenadas xyz é um sistema de coordenadas ortogonais.
[0055] Embora um exemplo no qual a posição de audição suposta está no plano xy seja descrito aqui para facilidade de explicação, o usuário pode alternativamente ter permissão para especificar a altura na direção do eixo geométrico z da posição de audição suposta. Em tal caso, a distância X na direção do eixo geométrico x, a distância Y na direção do eixo geométrico y e a distância Z na direção do eixo geométrico Z a partir da posição de audição padrão para a posição de audição suposta, são especificadas pelo usuário, o que constitui a informação de posição de audição suposta (X, Y, Z). Ainda mais, embora seja explicado acima que a posição de audição suposta é inserida por um usuário, a informação de posição de audição suposta pode ser adquirida externamente ou pode ser pré-ajustada por um usuário ou similar.
[0056] Quando a informação de posição de audição suposta (X, Y) é então obtida, a unidade de correção de informação de posição 22 então calcula a informação de posição corrigida indicando as posições dos respectivos objetos, com base na posição de audição suposta.
[0057] Conforme mostrado na Figura 2, por exemplo, suponhamos que o sinal de forma de onda e a informação de posição de um objeto predeterminado OB11 sejam fornecidos e a posição de audição suposta LP11 seja especificada por um usuário. Na Figura 2, a direção transversal, a direção de profundidade e a direção vertical representam a direção do eixo geométrico x, a direção do eixo geométrico y e a direção do eixo geométrico z, respectivamente.
[0058] Neste exemplo, a origem O do sistema de coordenadas xzy é a posição de audição padrão. Aqui, quando o objeto OB11 é o enésimo objeto, a informação de posição indicando a posição do objeto OB11 relativa à posição de audição padrão é (An, En, Rn).
[0059] Especificamente, o ângulo de azimute An da informação de posição (An, En, Rn) representa o ângulo entre uma linha conectando a origem O e o objeto OB11 e o eixo geométrico x no plano xy. O ângulo de elevação En da informação de posição (An, En, Rn) representa o ângulo entre uma linha conectando a origem O e o objeto OB11 e o plano xy, e o raio Rn da informação de posição (An, En, Rn) representa a distância da origem O ao objeto OB11.
[0060] Suponhamos agora que uma distância X na direção do eixo geométrico x e uma distância Y na direção do eixo geométrico y a partir da origem O até a posição de audição suposta LP11 são inseridas como a informação de posição de audição suposta indicando a posição de audição suposta LP11.
[0061] Em tal caso, a unidade de correção de informação de posição 22 calcula a informação de posição corrigida (An', En', Rn') indicando a posição do objeto OB11 relativa à posição de audição suposta LP11, isto é, a posição do objeto OB11 com base na posição de audição suposta LP11, com base na informação de posição de audição suposta (X, Y) e a informação de posição (An, En, Rn).
[0062] Notar que An', En' e Rn' na informação de posição corrigida (A'n, E'n, R'n) representam o ângulo de azimute, o ângulo de elevação e o raio correspondente a An, En e Rn da informação de posição (An, En, Rn), respectivamente.
[0063] Especificamente, para o primeiro objeto OBi, a unidade de correção de informação de posição 22 calcula as seguintes expressões (1) a (3) com base na informação de posição (A1, E1, R1) do objeto OB1 e a informação de posição de audição suposta (X, Y) para obter a informação de posição corrigida (A1', E1', R1').
[0064] Especificamente, o ângulo de azimute A'1 é obtido pela expressão (1), o ângulo de elevação E'1 é obtido pela expressão (2) e o raio R'1 é obtido pela expressão 3.
[0065] Similarmente, para o segundo objeto OB2, a unidade de correção de informação de posição 22 calcula as seguintes expressões (4) a (6) com base na informação de posição (A2, E2, R2) do objeto OB2 e a informação de posição de audição (X, Y) para obter informação de posição corrigida (A2', E2', R2').
[0066] Especificamente, o ângulo de azimute A2 é obtido pela expressão (4), o ângulo de elevação E2' é obtido pela expressão (5) e o raio R2' é obtido pela expressão (6).
[0067] Subsequentemente, a unidade de correção de característica de ganho/frequência 23 executa a correção de ganho e a correção de característica de frequência nos sinais de forma de onda dos objetos na informação de posição corrigida indicando as posições dos respectivos objetos em relação à posição de audição suposta e a informação de posição indicando as posições dos respectivos objetos em relação à posição de audição padrão.
[0068] Por exemplo, a unidade de correção de característica de ganho/frequência 23 calcula as seguintes expressões (7) e (8) para o objeto OB1 e para o objeto OB2 usando o raio Ri' e o raio R2' da informação de posição corrigida e o raio R1 e o raio R2 da informação de posição, para determinar uma quantidade de correção de ganho Gi e uma quantidade de correção de ganho G2 dos respectivos objetos.
[0069] Especificamente, a quantidade de correção de ganho G1 do sinal de forma de onda Wi[t] do objeto OBi é obtida pela expressão (7), e a quantidade de correção de ganho G2 do sinal de forma de onda W2[t] do objeto OB2 é obtida pela expressão (8). Neste exemplo, a relação do raio indicado pela informação de posição corrigida para o raio indicado pela informação de posição é a quantidade de correção de ganho, e a correção de volume dependendo da distância de um objeto para a posição de audição suposta é executada usando a quantidade de correção de ganho.
[0070] A unidade de correção de característica de ganho/frequência 23 calcula adicionalmente as expressões seguintes (9) e (10) para realizar correção de característica de frequência dependendo do raio indicado pela informação de posição corrigida e correção de ganho de acordo com a quantidade de correção de ganho nos sinais de forma de onda nos respectivos objetos.
[0071] Especificamente, a correção de característica de frequência e a correção de ganho são efetuadas no sinal de forma de onda Wi[t] do objeto OBi, através do cálculo da expressão (9), e o sinal de forma de onda Wi' [t] é então obtido. Similarmente, a correção de característica de frequência e a correção de ganho são executadas no sinal de forma de onda W2[t] do objeto OB2, através do cálculo da expressão (10), e o sinal de forma de onda W2' [t] é então obtido. Neste exemplo, a correção das características de frequência dos sinais de forma de onda é realizada através de filtragem.
[0072] Nas expressões (9) e (10), h1 (onde 1 = 0, 1, ..., L) representa um coeficiente pelo qual o sinal de forma de onda Wn[t-1] (onde n = 1, 2) de cada vez é multiplicado para filtragem.
[0073] Quando L = 2 e os coeficientes h0, h1 e h2 são conforme expressos pelas expressões a seguir (11) a (13), por exemplo, uma característica de que componentes de alta frequência de sons a partir dos objetos são atenuados pelas paredes e teto de um campo sonoro virtual (espaço de reprodução de áudio virtual) a serem reproduzidos dependendo das distâncias dos objetos para a posição de audição suposta, podem ser reproduzidos.
[0074] Na expressão (12), Rn representa o informação de posição (An, En, Rn) do objeto OBn representa o raio Rn' indicado pela informação de posição corrigida (An', En', Rn') do objeto OBn (onde n = 1, 2).
[0075] Como um resultado do cálculo das expressões (9) e (10) usando os coeficientes expressos pelas expressões (11) a (13) desta maneira, é realizada filtragem das características de frequência mostradas na Figura 3. Na Figura 3, o eixo geométrico horizontal representa frequência normalizada e o eixo geométrico vertical representa amplitude, isto é, a quantidade de atenuação dos sinais de forma de onda.
[0076] Na Figura 3, uma linha C11 mostra a característica de frequência onde Rn' < Rn. Neste caso, a distância do objeto para a posição de audição suposta é igual ou menor que a distância do objeto à posição de audição padrão. Especificamente, a posição de audição suposta está em uma posição mais próxima do objeto do que a posição de audição padrão, ou a posição de audição padrão e a posição de audição suposta estão na mesma distância do objeto. Neste caso, os componentes de frequência do sinal de forma de onda não são particularmente atenuados.
[0077] A curva C12 mostra a característica de frequência onde Rn' = Rn + 5. Neste caso, uma vez que a posição de audição suposta está ligeiramente mais distante do objeto do que a posição de audição padrão, o componente de alta frequência do sinal de forma de onda é ligeiramente atenuado.
[0078] A curva C13 mostra a característica de frequência onde Rn' > Rn + 10. Neste caso, uma que a posição de audição suposta está muito mais distante do que a posição de audição padrão, o componente de alta frequência do sinal de forma de onda é amplamente atenuado.
[0079] Como um resultado de efetuar a correção de ganho e a correção de característica de frequência dependendo da distância do objeto para a posição de audição suposta e atenuando o componente de alta frequência do sinal de forma de onda do objeto conforme descrito acima, modificações nas características de frequência e volumes devido a uma alteração na posição de audição do usuário podem ser reproduzidas.
[0080] Após a correção de ganho e a correção de característica de frequência serem efetuadas pela unidade de correção de característica de ganho/frequência 23 e os sinais de forma de onda Wn' [t] dos objetos respectivos serem então obtidos, características acústicas espaciais são então adicionadas aos sinais de forma de onda Wn' [t] pela unidade de adição de característica acústica espacial 24. Por exemplo, reflexões anteriores, características de reverberação ou similares são adicionadas como as características acústicas espaciais aos sinais de forma de onda.
[0081] Especificamente, para adicionar reflexões anteriores e as características de reverberação aos sinais de forma de onda, um processo de retardo multiderivação, um processo de filtro de pente (COMB FILTER), e processo de filtragem “passa tudo” são combinados para obter a adição das reflexões anteriores e características de reverberação.
[0082] Especificamente, a unidade de adição de característica acústica espacial 24 executa o processo de retardo multiderivação em cada sinal de forma de onda, com base em uma quantidade de retardo em uma quantidade de ganho determinadas a partir da informação de posição do objeto e da informação de posição de audição suposta, e adiciona o sinal resultante ao sinal de forma de onda original, para adicionar a reflexão anterior ao sinal de forma de onda.
[0083] Em adição, a unidade de adição de característica acústica espacial 24 executa o processo de filtro de pente no sinal de forma de onda com base na quantidade de retardo e na quantidade de ganho determinadas a partir da informação de posição do objeto e da informação de posição de audição suposta. A unidade de adição de característica acústica espacial 24 realiza adicionalmente o processo de filtragem passa tudo no sinal de forma de onda resultante do processo de filtro de pente com base na quantidade de retardo e quantidade de ganho determinadas a partir da informação de posição do objeto e informação de posição de audição suposta, para obter um sinal para adicionar uma característica de reverberação.
[0084] Finalmente, a unidade de adição de característica acústica espacial 24 adiciona o sinal de forma de onda resultante da adição da reflexão anterior e o sinal para adicionar a característica de reverberação, para obter um sinal de forma de onda apresentando a reflexão anterior e a características de reverberação adicionadas a ele, e emite o sinal de forma de onda obtido para o processador de renderização 25.
[0085] A adição das características acústicas espaciais aos sinais de forma de onda usando os parâmetros determinados de acordo com a informação de posição de cada objeto e a informação de posição de audição suposta conforme descrito acima permite a reprodução de modificações na acústica espacial, devido a alteração na posição de audição do usuário.
[0086] Os parâmetros tais como a quantidade de retardo e a quantidade de ganho usados no processo de retardo multiderivação, o processo de filtragem de pente, o processo de filtragem passa tudo, e similares podem ser mantidos em uma tabela antecipadamente para cada comb da informação de posição do objeto e da informação de posição de audição suposta.
[0087] Em tal caso, a unidade de adição de característica acústica espacial 24 mantém antecipadamente uma tabela na qual cada posição indicada pela informação de posição é associada a um conjunto de parâmetros, tais como a quantidade de retardo para cada posição de audição suposta, por exemplo. A unidade de adição de característica acústica espacial 24 então lê um conjunto de parâmetros determinados a partir da informação de posição de um objeto e da posição de audição suposta a partir da tabela, e usa os parâmetros para adicionar as características acústicas espaciais aos sinais de forma de onda.
[0088] Notar que o conjunto de parâmetros usados para adição das características acústicas espaciais pode ser mantido em uma forma de uma tabela ou ode ser mantido em uma forma de uma função ou similar. Em um caso em que uma função é usada para obter os parâmetros, por exemplo, a unidade de adição de característica acústica espacial 24 substitui a informação de posição e a informação de posição de audição suposta por uma função mantida antecipadamente para calcular os parâmetros a serem usados para adição das características acústicas espaciais.
[0089] Após os sinais de forma de onda aos quais as características acústicas espaciais são adicionadas serem obtidos para os respectivos objetos conforme descrito acima, o processador de renderização 25 efetua mapeamento dos sinais de forma de onda para os M canais respectivos, para gerar sinais de reprodução em M canais. Em outras palavras, a renderização é realizada.
[0090] Especificamente, o processador de renderização 25 obtém a quantidade de ganho do sinal de forma de onda de cada um dos objetos em cada um dos M canais através de VBAP, com base na informação de posição corrigida, por exemplo. O processador de renderização 25 então executa um processo de adicionar o sinal de forma de onda de cada objeto multiplicado pela quantidade de ganho obtida pela VBAP para cada canal, para gerar sinais de reprodução dos respectivos canais.
[0091] Aqui, a VBAP será descrita com referência à Figura 4.
[0092] Conforme ilustrado na Figura 4, por exemplo, suponhamos que um usuário U11 ouve áudio em três canais emitidos a partir de três alto- falantes SP1 a SP3. Neste exemplo, a posição da cabeça do usuário U11 é uma posição LP21 correspondente à posição de audição suposta.
[0093] Um triângulo TR11 em uma superfície esférica rodeada pelos alto-falantes SP1 a SP3 é chamado de uma malha, e a VBAP permite que uma imagem sonora seja localizada em uma certa posição dentro da malha.
[0094] Agora, suponhamos que informação indicando as posições de três alto-falantes SP1 a SP3, que emitem áudio nos respectivos canais, é usada para localizar uma imagem sonora em uma posição de imagem sonora VSP1. Notar que a posição de imagem sonora VSP1 corresponde à posição de um objeto OBn, mais especificamente à posição de um objeto OBn indicada pela informação de posição corrigida (An', En', Rn').
[0095] Por exemplo, em um sistema de coordenadas tridimensional tendo a origem na posição da cabeça do usuário U11, isto é, a posição LP21, a posição de imagem sonora VSP1 é expressa usando um vetor tridimensional p começando a partir da posição LP21 (origem).
[0096] Em adição, quando vetores tridimensionais começando a partir da posição LP21 (origem) e estendendo-se na direção das posições dos respectivos alto-falantes SP1 a SP3 são representados por vetores l1 a l3, o vetor p pode ser expresso pela soma linear dos vetores l1 a l3, conforme expresso pela seguinte expressão (14).
[0097] Os coeficientes g1 a g3 pelos quais os vetores l1 a l3 são multiplicados na expressão (14) são calculados, e ajustados para serem as quantidades de ganho de áudio a serem emitidas a partir dos alto-falantes SP1 a SP3, respectivamente, isto é, as quantidades de ganho dos sinais de forma de onda, o que permite que a imagem sonora seja localizada na posição de imagem sonora VSP1.
[0098] Especificamente, o coeficiente gi ao coeficiente g3 para serem as quantidades de ganho, podem ser obtidos calculando a seguinte expressão (15) com base em uma matriz inversa Li23-1 da malha triangular constituída pelos três alto-falantes SP1 a SP3 e do vetor p indicando a posição do objeto OBn.
[0099] Na expressão (15), Rn'senAn' cosEn', Rn' cosAn' cosEn', e Rn' senEn', que são elementos do vetor p, representam a posição de imagem sonora VSP1, isto é, a coordenada x', coordenada y' e a coordenada z', respectivamente, em um sistema de coordenadas x'y'z' indicando a posição do objeto OBn.
[00100] O sistema de coordenadas x'y'z' é um sistema de coordenadas ortogonais apresentando um eixo geométrico x', um eixo geométrico y' e um eixo geométrico z' paralelos ao eixo geométrico x, ao eixo geométrico y e ao eixo geométrico z, respectivamente do sistema de coordenadas xyz mostrado na Figura 2 e apresentando a origem em uma posição correspondente à posição de audição suposta, por exemplo. Os elementos do vetor p podem ser obtidos a partir da informação de posição corrigida (An', En', Rn') indicando a posição do objeto OBn.
[00101] Ainda mais, l11, l12, e l13 na expressão (15) são valores de um componente x', um componente y' e um componente z' obtidos resolvendo o vetor l1 na direção do primeiro alto-falante da malha, em componentes do eixo geométrico x', do eixo geométrico y' e do eixo geométrico z', respectivamente, e correspondem à coordenada x', coordenada y' e coordenada z' do primeiro alto-falante.
[00102] Similarmente, l21, l22 e l23 são valores de um componente x', um componente y' e um componente z', obtidos resolvendo o vetor l2 na direção do segundo alto-falante da malha, em componentes do eixo geométrico x', do eixo geométrico y' e do eixo geométrico z', respectivamente. Ainda mais, l31, l32 e l33 são valores de um componente x', um componente y' e um componente z', obtidos resolvendo o vetor l3 na direção do terceiro alto- falante da malha, em componentes do eixo geométrico x', do eixo geométrico y' e do eixo geométrico z', respectivamente.
[00103] A técnica de obter os coeficientes g1 a g3 usando as posições relativas dos três alto-falantes SP1 a SP3 desta maneira, para controlar a posição de localização de uma imagem sonora é, em particular, chamada VBAP tridimensional. Neste caso, o número M de canais dos sinais de reprodução é de três ou maior.
[00104] Uma vez que sinais de reprodução em M canais são gerados pelo processador de renderização 25, o número de alto-falantes virtuais associados aos respectivos canais é M. Neste caso, para cada um dos objetos OBn, a quantidade de ganho do sinal de forma de onda é calculada para cada um dos M canais respectivamente associados aos alto-falantes M.
[00105] Neste exemplo, uma pluralidade de malhas, cada uma constituída por M alto-falantes virtuais é colocada em um espaço de reprodução de áudio virtual. A quantidade de ganho dos três canais associados aos três alto-falantes constituindo a malha na qual o objeto OBn está incluído, é um valor obtido pela expressão (15) anteriormente mencionada. Em contraste, a quantidade de ganho de M-3 canais associados com os M-3 alto-falantes restantes é 0.
[00106] Após gerar os sinais de reprodução em M canais conforme descrito acima, o processador de renderização 25 fornece os sinais de reprodução resultantes ao processador de convolução 26.
[00107] Com os sinais de reprodução em M canais obtidos desta maneira, o modo pelo qual os sons a partir dos objetos são ouvidos em uma posição de audição suposta desejada pode ser reproduzido de uma maneira mais realística. Embora um exemplo no qual sinais de reprodução em M canais são gerados através de VBAP seja descrito aqui, os sinais de reprodução em M canais podem ser gerados por qualquer outra técnica.
[00108] Os sinais de reprodução em M canais são sinais para reproduzir som por um sistema de alto-falante de M canais, e o dispositivo de processamento de áudio 11 adicionalmente converte os sinais de reprodução nos M canais em sinais de reprodução em dois canais e emite os sinais de reprodução resultantes. Em outras palavras, os sinais de reprodução em M canais são submisturados para sinais de reprodução em dois canais.
[00109] Por exemplo, o processador de convolução 26 realiza um processo de resposta ao impulso em espaço binaural (BRIR) como um processo de convolução nos sinais de reprodução em M canais fornecidos a partir do processador de renderização 25 para gerar os sinais de reprodução em dois canais, e emite os sinais de reprodução resultantes.
[00110] Notar que o processo de convolução nos sinais de reprodução não está limitado ao processo BRIR mas pode ser qualquer processo capaz de obter sinais de reprodução nos dois canais.
[00111] Quando os sinais de reprodução em dois canais devem ser emitidos para fones de ouvido, uma tabela mantendo respostas ao impulso a partir de várias posições de objeto para a posição de audição suposta, pode ser provida antecipadamente. Em tal caso, uma resposta ao impulso associada com a posição de um objeto para a posição de audição suposta é usada para combinar os sinais de forma de onda dos respectivos objetos através do processo BRIR, o que permite que o modo pelo qual os sons emitidos a partir dos respectivos objetos são ouvidos a uma posição de audição suposta desejada seja reproduzido.
[00112] Por este método, entretanto, respostas ao impulso associadas com um número muito grande de pontos (posições) tem que ser mantidas. Ainda mais, como o número de objetos é maior, o processo BRIR tem que ser realizado pelo número de vezes correspondente ao número de objetos, o que aumenta a carga de processamento.
[00113] Então, no dispositivo de processamento de áudio 11, os sinais de reprodução (sinais de forma de onda) mapeados para os alto-falantes de M canais virtuais pelo processador de renderização 25 são submisturados para os sinais de reprodução de dois canais, através do processo BRIR usando as respostas ao impulso para os ouvidos de um usuário (ouvinte) a partir dos M canais virtuais. Neste caso, somente respostas ao impulso a partir dos respectivos alto-falantes de M canais para os ouvidos do ouvinte precisam ser mantidas, e o número de vezes em que o processo BRIR é realizado para os M canais, mesmo quando um número maior de objetos está presente, o que reduz a carga de processamento.
[00114] Subsequentemente, um fluxo de processo do dispositivo de processamento de áudio 11 descrito acima será explicado. Especificamente, o processo de geração de sinal de reprodução realizado pelo dispositivo de processamento de áudio 11 será explicado com referência ao fluxograma da Figura 5.
[00115] Na etapa S11, a unidade de entrada 21 recebe entrada de uma posição de audição suposta. Quando o usuário tiver operado a unidade de entrada 21 para inserir a posição de audição suposta, a unidade de entrada 21 fornece informação de posição de audição suposta indicando a posição de audição suposta para a unidade de correção de informação de posição 22 e para a unidade de adição de característica acústica espacial 24.
[00116] Na etapa S12, a unidade de correção de informação de posição 22 calcula a informação de posição corrigida (An', En', Rn') com base na informação de posição de audição suposta fornecida a partir da unidade de entrada 21 e informação de posição fornecida externamente dos respectivos objetos, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e ao processador de renderização 25. Por exemplo, as expressões anteriormente mencionadas (1) a (3) ou (4) a (6) são calculadas de tal modo que a informação de posição corrigida dos respectivos objetos é obtida.
[00117] Na etapa S13, a unidade de correção de característica de ganho/frequência 23 efetua correção de ganho e correção de característica de frequência dos sinais de forma de onda fornecidos externamente dos objetos, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22 e informação de posição fornecida externamente.
[00118] Por exemplo, as expressões (9) e (10) anteriormente mencionadas são calculadas de tal modo que os sinais de forma de onda Wn' [t] dos respectivos objetos são obtidos. A unidade de correção de característica de ganho/frequência 23 fornece os sinais de forma de onda obtidos Wn' [t] dos respectivos objetos, à unidade de adição de característica acústica espacial 24.
[00119] Na etapa S14, a unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição de audição suposta, fornecida a partir da unidade de entrada 21 e da informação de posição suprida externamente, e fornece os sinais de forma de onda resultantes ao processador de renderização 25. Por exemplo, reflexões anteriores, características de reverberação ou similares são adicionadas como as características acústicas espaciais para os sinais de forma de onda.
[00120] Na etapa S15, o processador de renderização 25 executa mapeamento sobre os sinais de forma de onda fornecidos a partir da unidade de adição de característica acústica espacial 24, com base na informação de posição corrigida fornecida a partir da unidade de correção de informação de posição 22, para gerar sinais de reprodução em M canais, e fornece os sinais de reprodução gerados ao processador de convolução 26. Embora os sinais de reprodução sejam gerados através da VBAP no processo da etapa S15, por exemplo, os sinais de reprodução em M canais podem ser gerados por qualquer outra técnica.
[00121] Na etapa S16, o processador de convolução 26 efetua processo de convolução sobre os sinais de reprodução em M canais fornecidos a partir do processador de renderização 25, para gerar sinais de reprodução em 2 canais, e emite os sinais de reprodução gerados. Por exemplo, o processo BRIR anteriormente mencionado é realizado como o processo de convolução.
[00122] Quando os sinais de reprodução em dois canais são gerados e emitidos, o processo de geração de sinal de reprodução é terminado.
[00123] Conforme descrito acima, o dispositivo de processamento de áudio 11 calcula a informação de posição corrigida com base na informação de posição de audição suposta e executa correção de ganho e correção da característica de frequência dos sinais de forma de onda dos respectivos objetos e adiciona características acústicas espaciais com base na informação de posição corrigida obtida e na informação de posição de audição suposta.
[00124] Como um resultado, o meio pelo qual sons emitidos a partir das respectivas posições de objeto são ouvidos em qualquer posição de audição suposta, podem ser reproduzidos de uma maneira realista. Isto permite que o usuário especifique livremente a posição de audição do som de acordo com a preferência do usuário na reprodução de um conteúdo, o que proporciona uma reprodução de áudio mais flexível.
[00125] Embora um exemplo no qual o usuário pode especificar qualquer posição de audição suposta tenha sido explicado acima, não só a posição de audição, como também as posições dos respectivos objetos podem ter permissão para serem alteradas (modificadas) para quaisquer posições.
[00126] Em tal caso, o dispositivo de processamento de áudio 11 é configurado conforme ilustrado na Figura 6, por exemplo. Na Figura 6, partes correspondentes a aquelas na Figura 1 são designadas pelos mesmos numerais de referência, e descrição destas não será repetida, conforme apropriado.
[00127] O dispositivo de processamento de áudio 11 ilustrado na Figura 6 inclui uma unidade de entrada 21, uma unidade de correção de informação de posição 22, uma unidade de correção de característica de ganho/frequência 23, uma unidade de adição de característica acústica espacial 24, um processador de renderização 25 e um processador de convolução 26, similarmente à Figura 1.
[00128] Com o dispositivo de processamento de áudio 11 ilustrado na Figura 6, entretanto, a unidade de entrada 21 é operada pelo usuário e posições modificadas indicando as posições dos respectivos objetos, resultantes de modificação (alteração) são também inseridas em adição à posição de audição suposta. A unidade de entrada 21 fornece a informação de posição modificada indicando as posições modificadas de cada objeto, conforme inserido pelo usuário, à unidade de correção de informação de posição 22 e à unidade de adição de característica acústica espacial 24.
[00129] Por exemplo, a informação de posição modificada é informação incluindo o ângulo de azimute An, o ângulo de elevação En e o raio Rn de um objeto OBn, conforme modificado em relação à posição de audição padrão, similarmente à informação de posição. Notar que a informação de posição modificada pode ser informação indicando a posição modificada (alterada) de um objeto em relação à posição do objeto antes da modificação (alteração).
[00130] A unidade de correção de informação de posição 22 também calcula informação de posição corrigida com base na informação de posição de audição suposta e a informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e ao processador de renderização 25. Em um caso em que a informação de posição modificada é informação indicando a posição relativa à posição de objeto original, por exemplo, a informação de posição corrigida é calculada com base na informação de posição de audição suposta, informação de posição e informação de posição modificada.
[00131] A unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição e informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece os sinais de forma de onda resultantes ao processador de renderização 25.
[00132] Tem sido descrito acima que a unidade de adição de característica acústica espacial 24 do dispositivo de processamento de áudio 11 ilustrado na Figura 1 mantém antecipadamente uma tabela na qual cada posição indicada pela informação de posição é associada a um conjunto de parâmetros para cada peça de informação de posição de audição suposta, por exemplo.
[00133] Em contraste, a unidade de adição de característica acústica espacial 24 do dispositivo de processamento de áudio 11 ilustrado na Figura 6 mantém antecipadamente uma tabela na qual cada posição indicada pela informação de posição modificada está associada a um conjunto de parâmetros para cada peça da informação de posição de audição suposta. A unidade de adição de característica acústica espacial 24 então lê um conjunto de parâmetros determinados a partir da informação de posição de audição suposta e da informação de posição modificada fornecida a partir da unidade de entrada 21, da tabela para cada um dos objetos, e usa os parâmetros para executar um processo de retardo multiderivação, um processo de filtragem de pente, um processo de filtragem passa tudo e similares, e adiciona características acústicas espaciais aos sinais de forma de onda.
[00134] A seguir, um processo de geração de sinal de reprodução realizado pelo dispositivo de processamento de áudio 11 ilustrado na Figura 6, será explicado com referência ao fluxograma da Figura 7. Uma vez que o processo da etapa S41 é o mesmo da etapa S11 na Figura 5, a explicação deste não será repetida.
[00135] Na etapa S42, a unidade de entrada 21 recebe entrada de posições modificadas dos respectivos objetos. Quando o usuário tiver operado a unidade de entrada 21 para inserir as posições modificadas dos respectivos objetos, a unidade de entrada 21 fornece informação de posição modificada indicando as posições modificadas para a unidade de correção de informação de posição 22 e para a unidade de adição de característica acústica espacial 24.
[00136] Na etapa S43, a unidade de correção de informação de posição 22 calcula informação de posição corrigida (An', En', Rn') com base na informação de posição de audição suposta e na informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece a informação de posição corrigida resultante à unidade de correção de característica de ganho/frequência 23 e ao processador de renderização 25.
[00137] Neste caso, o ângulo de azimute, o ângulo de elevação e o raio da informação de posição são substituídos pelo ângulo de azimute, o ângulo de elevação e o raio da informação de posição modificada no cálculo das expressões (1) a (3), anteriormente mencionadas, por exemplo, e a informação de posição corrigida é obtida. Ainda mais, a informação de posição é substituída pela informação de posição modificada no cálculo das expressões (4) a (6).
[00138] Um processo da etapa S44 é realizado após a informação de posição modificada ser obtida, o que é o mesmo que o processo da etapa S13 na Figura 5 e a explicação desta então não será repetida.
[00139] Na etapa S45, a unidade de adição de característica acústica espacial 24 adiciona características acústicas espaciais aos sinais de forma de onda fornecidos a partir da unidade de correção de característica de ganho/frequência 23, com base na informação de posição de audição suposta e informação de posição modificada fornecida a partir da unidade de entrada 21, e fornece os sinais de forma de onda resultantes ao processador de renderização 25.
[00140] Processos das etapas S46 e S47 são realizados e o processo de geração de sinal de reprodução é terminado após as características acústicas espaciais serem adicionadas aos sinais de forma de onda, que são os mesmos daqueles das etapas S15 e S16 na Figura 5 e a explicação destes não será então repetida.
[00141] Conforme descrito acima, o dispositivo de processamento de áudio 11 calcula a informação de posição corrigida com base na informação de posição de audição suposta e na informação de posição modificada, e executa a correção de ganho e correção de característica de frequência dos sinais de forma de onda dos respectivos objetos e adiciona características acústicas espaciais com base na informação de posição corrigida obtida, na informação de posição de audição suposta e na informação de posição modificada.
[00142] Como um resultado, o modo pelo qual a saída de som a partir de qualquer posição de objeto é ouvida em qualquer posição de audição suposta, pode ser reproduzido de uma maneira realística. Isto permite que o usuário não só especifique livremente a posição de audição de som, como também especifica livremente as posições dos respectivos objetos, de acordo com a preferência do usuário na reprodução de um conteúdo, o que proporciona uma reprodução de áudio mais flexível.
[00143] Por exemplo, o dispositivo de processamento de áudio 11 permite a reprodução do modo pelo qual o som é ouvido quando o usuário tiver alterado componentes, tais como uma voz cantante, som de um instrumento ou similar, ou o arranjo destes. O usuário pode, portanto, mover livremente componentes tais como instrumentos e vozes cantantes associados aos respectivos objetos e o arranjo destes para desfrutar de música e som com o arranjo e componentes de fontes sonoras coincidentes com sua preferência.
[00144] Ainda mais, no dispositivo de processamento de áudio 11 ilustrado na Figura 6, similarmente ao dispositivo de processamento de áudio 11 ilustrado na Figura 1, os sinais de reprodução em M canais são uma vez gerados e então convertidos (submisturados) para sinais de reprodução em dois canais, de tal modo que a carga de processamento pode ser reduzida.
[00145] A série de processos descritos acima pode ser realizada seja por hardware ou por software. Quando a série de processos descritos acima é realizada por software, programas constituindo o software são instalados em um computador. Notar que exemplos do computador incluem um computador embutido em hardware dedicado e um computador de finalidade geral capaz de executar várias funções instalando vários programas nele.
[00146] Figura 8 é um diagrama em blocos mostrando um exemplo de estrutura do hardware de um computador que executa a série de processos acima descrita de acordo com programas.
[00147] No computador, uma unidade de processamento central (CPU) 501, uma memória de somente leitura (ROM) 502 e uma memória de acesso randômico (RAM) 503 são conectadas uma à outra por um barramento 504.
[00148] Uma interface de entrada/saída 505 é adicionalmente conectada ao barramento 504. Uma unidade de entrada 506, uma unidade de saída 507, uma unidade de gravação 508, uma unidade de comunicação 509 e um controlador 510 são conectados à interface de entrada/saída 505.
[00149] A unidade de entrada 506 inclui um teclado, um mouse, um microfone, um sensor de imagem e similares. A unidade de saída 507 inclui um monitor, um alto-falante e similares. A unidade de gravação 508 é um disco rígido, uma memória não volátil ou similares. A unidade de comunicação 509 é uma interface de rede ou similar. O controlador 510 controla um meio removível 511, tal como um disco magnético, um disco óptico, um disco magneto-óptico ou uma memória de semicondutor.
[00150] No computador apresentando a estrutura acima descrita, a CPU 501 carrega um programa gravado na unidade de gravação 508, na RAM 503 via interface de entrada/saída 505 e o barramento 504 e executa o programa, por exemplo, de tal modo que a série de processos acima descrita é executada.
[00151] Programas a serem executados pelo computador (CPU 501) podem ser gravados em um meio removível 511 que é um meio de pacote ou similar e provido a partir deste, por exemplo. Alternativamente, os programas podem ser providos vias um meio de transmissão com fio ou sem fio, tal como uma rede de área local, a Internet ou radiodifusão via satélite digital.
[00152] No computador, os programas podem ser instalados na unidade de gravação 508 via interface de entrada/saída 505, montando o meio removível 511 no controlador 510. Alternativamente, os programas podem ser recebidos pela unidade de comunicação 509 via um meio de transmissão com fio ou sem fio e instalado na unidade de gravação 508. Ainda alternativamente, os programas podem ser instalados antecipadamente na ROM 502 ou na unidade de gravação 508.
[00153] Programas a serem executados pelo computador podem ser programas para realizar processos em ordem cronológica de acordo com a sequência descrita neste relatório descritivo, ou programas para realizar processos em paralelo ou em temporização necessária, tal como em resposta a uma chamada.
[00154] Ainda mais, modalidades da presente tecnologia não estão limitadas às modalidades descritas acima, porém várias modificações podem ser feitas a elas, sem se afastar do escopo da tecnologia.
[00155] Por exemplo, a presente tecnologia pode ser configurada como computação em nuvem na qual uma função é compartilhada por dispositivos múltiplos via uma rede e processados em cooperação.
[00156] Em adição, as etapas explicadas nos fluxogramas acima podem ser realizadas por um dispositivo e podem também ser compartilhadas entre dispositivos múltiplos.
[00157] Ainda mais, quando processos múltiplos são incluídos em uma etapa, os processos incluídos na etapa podem ser realizados por um dispositivo e podem também ser compartilhados entre dispositivos múltiplos.
[00158] Os efeitos aqui mencionados são somente exemplificadores e não limitantes, e outros efeitos podem também ser produzidos.
[00159] Ainda mais, a presente tecnologia pode apresentar as seguintes configurações. (1) Um dispositivo de processamento de áudio incluindo: uma unidade de correção de informação de posição configurada para calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, o cálculo sendo baseado na informação de posição indicando a posição da fonte sonora e informação da posição de audição, indicando a posição de audição; e uma unidade de geração configurada para gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida. (2) O dispositivo de processamento de áudio descrito em (1), no qual a unidade de correção de informação de posição calcula a informação de posição corrigida com base na informação de posição modificada indicando uma posição modificada da fonte sonora e a informação da posição de audição. (3) O dispositivo de processamento de áudio descrito em (1) ou (2), incluindo adicionalmente uma unidade de correção configurada para realizar pelo menos uma correção de ganho e correção de característica de frequência no sinal de forma de onda, dependendo de uma distância da fonte sonora para a posição de audição. (4) O dispositivo de processamento de áudio descrito em (2), incluindo adicionalmente uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição modificada. (5) O dispositivo de processamento de áudio descrito em (4), em que a unidade de adição de característica acústica espacial adiciona pelo menos uma dentre uma reflexão inicial e uma característica de reverberação como a característica acústica espacial para o sinal de forma de onda. (6) O dispositivo de processamento de áudio descrito em (1), incluindo adicionalmente uma unidade de adição de característica acústica espacial configurada para adicionar uma característica acústica espacial ao sinal de forma de onda, com base na informação de posição de audição e na informação de posição. (7) O dispositivo de processamento de áudio descrito em qualquer uma de (1) a (6), incluindo adicionalmente um processador de convolução configurado para realizar um processo de convolução nos sinais de reprodução em dois ou mais canais gerados pela unidade de geração, para gerar sinais de reprodução em dois canais. (8) Um método de processamento de áudio incluindo as etapas de: calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, em que o som da fonte sonora é ouvido, o cálculo sendo baseado em informação de posição indicando a posição da fonte sonora e informação de posição de audição indicando a posição de audição; e gerar um sinal de reprodução, reproduzindo som a partir da fonte sonora, a ser ouvido na posição de audição, com base no sinal de forma de onda da fonte sonora e na informação de posição corrigida. (9) Um programa fazendo com que um computador execute processamento incluindo as etapas de: calcular informação de posição corrigida indicando uma posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido, o cálculo sendo baseado na informação de posição indicando a posição da fonte sonora e informação da posição de audição, indicando a posição de audição; e gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, com base em um sinal de forma de onda da fonte sonora e na informação de posição corrigida. LISTA DE SINAIS DE REFERÊNCIA 11 Dispositivo de processamento de áudio 21 Unidade de entrada 22 Unidade de correção de informação de posição 23 Unidade de correção de característica de ganho/frequência 24 Unidade de adição de característica acústica espacial 25 Processador de renderização 26 Processador de convolução
Claims (3)
1. Dispositivo de processamento de áudio (11), caracterizado pelo fato de compreender: uma unidade de correção de informação de posição (22) configurada para calcular informação de posição corrigida indicando uma primeira posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido; em que a informação de posição corrigida é calculada com base em informação de posição e informação da posição de audição; a informação de posição indica uma segunda posição da fonte sonora em relação a uma posição de audição padrão e a informação de posição de audição indica a posição de audição; e, a segunda posição da fonte sonora é expressa por coordenadas esféricas e a posição de audição é expressa por coordenadas xyz; e, uma unidade de geração configurada para gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, em que o sinal de reprodução é gerado com base em uma distribuição de amplitude de base vetorial (VBAP), um sinal de forma de onda da fonte sonora e na informação de posição corrigida.
2. Método de processamento de áudio, caracterizado pelo fato de incluir as etapas de: calcular informação de posição corrigida indicando uma primeira posição de uma fonte sonora relativa a uma posição de audição, em que o som da fonte sonora é ouvido; em que a informação de posição corrigida é calculada com base em informação de posição e informação de posição de audição; a informação de posição indica uma segunda posição da fonte sonora em relação a uma posição de audição padrão e a informação de posição de audição indica a posição de audição; e, a segunda posição da fonte sonora é expressa por coordenadas esféricas e a posição de audição é expressa por coordenadas xyz; e, gerar um sinal de reprodução, reproduzindo som a partir da fonte sonora, a ser ouvido na posição de audição, em que o sinal de reprodução é gerado com base em uma distribuição de amplitude de base vetorial (VBAP), um sinal de forma de onda da fonte sonora e na informação de posição corrigida.
3. Mídia de armazenamento legível por computador, caracterizada pelo fato de que tem armazenadas em si, instruções que, quando executadas por um computador, fazem com que o computador execute processamento incluindo as etapas de: calcular informação de posição corrigida indicando uma primeira posição de uma fonte sonora relativa a uma posição de audição, na qual o som a partir da fonte sonora é ouvido; em que a informação de posição corrigida é calculada com base em informação de posição e informação da posição de audição; a informação de posição indica uma segunda posição da fonte sonora em relação a uma posição de audição padrão e a informação de posição de audição indica a posição de audição; e, a segunda posição da fonte sonora é expressa por coordenadas esféricas e a posição de audição é expressa por coordenadas xyz; e, gerar um sinal de reprodução reproduzindo som a partir da fonte sonora a ser ouvido na posição de audição, em que o sinal de reprodução é gerado com base em uma distribuição de amplitude de base vetorial (VBAP), um sinal de forma de onda da fonte sonora e na informação de posição corrigida.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-005656 | 2014-01-16 | ||
JP2014005656 | 2014-01-16 | ||
PCT/JP2015/050092 WO2015107926A1 (ja) | 2014-01-16 | 2015-01-06 | 音声処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
BR112016015971A2 BR112016015971A2 (pt) | 2017-08-08 |
BR112016015971B1 true BR112016015971B1 (pt) | 2022-11-16 |
Family
ID=53542817
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR122022004083-7A BR122022004083B1 (pt) | 2014-01-16 | 2015-01-06 | Dispositivo e método de processamento de áudio, e, meio de armazenamento não transitório legível por computador |
BR112016015971-3A BR112016015971B1 (pt) | 2014-01-16 | 2015-01-06 | Dispositivo e método de processamento de áudio, e, mídia de armazenamento legível por computador |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
BR122022004083-7A BR122022004083B1 (pt) | 2014-01-16 | 2015-01-06 | Dispositivo e método de processamento de áudio, e, meio de armazenamento não transitório legível por computador |
Country Status (11)
Country | Link |
---|---|
US (6) | US10477337B2 (pt) |
EP (3) | EP3096539B1 (pt) |
JP (5) | JP6586885B2 (pt) |
KR (5) | KR102427495B1 (pt) |
CN (2) | CN105900456B (pt) |
AU (5) | AU2015207271A1 (pt) |
BR (2) | BR122022004083B1 (pt) |
MY (1) | MY189000A (pt) |
RU (2) | RU2019104919A (pt) |
SG (1) | SG11201605692WA (pt) |
WO (1) | WO2015107926A1 (pt) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3346728A4 (en) | 2015-09-03 | 2019-04-24 | Sony Corporation | SOUND PROCESSING DEVICE, METHOD AND PROGRAM |
JP6841229B2 (ja) * | 2015-12-10 | 2021-03-10 | ソニー株式会社 | 音声処理装置および方法、並びにプログラム |
EP4322551A3 (en) * | 2016-11-25 | 2024-04-17 | Sony Group Corporation | Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program |
US11082790B2 (en) * | 2017-05-04 | 2021-08-03 | Dolby International Ab | Rendering audio objects having apparent size |
KR102652670B1 (ko) | 2017-07-14 | 2024-04-01 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 |
KR102654507B1 (ko) | 2017-07-14 | 2024-04-05 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념 |
CN111108555B (zh) | 2017-07-14 | 2023-12-15 | 弗劳恩霍夫应用研究促进协会 | 使用深度扩展DirAC技术或其他技术生成经增强的声场描述或经修改的声场描述的装置和方法 |
JP7294135B2 (ja) * | 2017-10-20 | 2023-06-20 | ソニーグループ株式会社 | 信号処理装置および方法、並びにプログラム |
RU2020112483A (ru) * | 2017-10-20 | 2021-09-27 | Сони Корпорейшн | Устройство, способ и программа для обработки сигнала |
CN111316671B (zh) * | 2017-11-14 | 2021-10-22 | 索尼公司 | 信号处理设备和方法以及程序 |
CN113993060A (zh) | 2018-04-09 | 2022-01-28 | 杜比国际公司 | 用于mpeg-h 3d音频的三自由度(3dof+)扩展的方法、设备和系统 |
KR20210151792A (ko) * | 2019-04-11 | 2021-12-14 | 소니그룹주식회사 | 정보 처리 장치 및 방법, 재생 장치 및 방법, 그리고 프로그램 |
EP3989605A4 (en) | 2019-06-21 | 2022-08-17 | Sony Group Corporation | SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM |
WO2021018378A1 (en) * | 2019-07-29 | 2021-02-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method or computer program for processing a sound field representation in a spatial transform domain |
JP2022543121A (ja) * | 2019-08-08 | 2022-10-07 | ジーエヌ ヒアリング エー/エス | 1人以上の所望の話者の音声を強調するバイラテラル補聴器システム及び方法 |
DE112020005550T5 (de) | 2019-11-13 | 2022-09-01 | Sony Group Corporation | Signalverarbeitungsvorrichtung, verfahren und programm |
JPWO2021124903A1 (pt) * | 2019-12-17 | 2021-06-24 | ||
BR112022013235A2 (pt) | 2020-01-10 | 2022-09-06 | Sony Group Corp | Dispositivo e método de codificação, programa para fazer com que um computador execute processamento, dispositivo de decodificação, e, método de decodificação desempenhado |
WO2021229828A1 (ja) * | 2020-05-11 | 2021-11-18 | ヤマハ株式会社 | 信号処理方法、信号処理装置、及びプログラム |
US20230254656A1 (en) * | 2020-07-15 | 2023-08-10 | Sony Group Corporation | Information processing apparatus, information processing method, and terminal device |
CN111954146B (zh) * | 2020-07-28 | 2022-03-01 | 贵阳清文云科技有限公司 | 虚拟声环境合成装置 |
JP7493412B2 (ja) | 2020-08-18 | 2024-05-31 | 日本放送協会 | 音声処理装置、音声処理システムおよびプログラム |
JPWO2022054602A1 (pt) * | 2020-09-09 | 2022-03-17 | ||
US20230388735A1 (en) * | 2020-11-06 | 2023-11-30 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing apparatus control method, and program |
JP2023037510A (ja) * | 2021-09-03 | 2023-03-15 | 株式会社Gatari | 情報処理システム、情報処理方法および情報処理プログラム |
EP4175325B1 (en) * | 2021-10-29 | 2024-05-22 | Harman Becker Automotive Systems GmbH | Method for audio processing |
CN114520950B (zh) * | 2022-01-06 | 2024-03-01 | 维沃移动通信有限公司 | 音频输出方法、装置、电子设备及可读存储介质 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5147727B2 (pt) | 1974-01-22 | 1976-12-16 | ||
JP3118918B2 (ja) | 1991-12-10 | 2000-12-18 | ソニー株式会社 | ビデオテープレコーダ |
JP2910891B2 (ja) * | 1992-12-21 | 1999-06-23 | 日本ビクター株式会社 | 音響信号処理装置 |
JPH06315200A (ja) | 1993-04-28 | 1994-11-08 | Victor Co Of Japan Ltd | 音像定位処理における距離感制御方法 |
US5742688A (en) | 1994-02-04 | 1998-04-21 | Matsushita Electric Industrial Co., Ltd. | Sound field controller and control method |
JP3687099B2 (ja) * | 1994-02-14 | 2005-08-24 | ソニー株式会社 | 映像信号及び音響信号の再生装置 |
JP3258816B2 (ja) * | 1994-05-19 | 2002-02-18 | シャープ株式会社 | 3次元音場空間再生装置 |
JPH0946800A (ja) * | 1995-07-28 | 1997-02-14 | Sanyo Electric Co Ltd | 音像制御装置 |
DE69841857D1 (de) | 1998-05-27 | 2010-10-07 | Sony France Sa | Musik-Raumklangeffekt-System und -Verfahren |
JP2000210471A (ja) * | 1999-01-21 | 2000-08-02 | Namco Ltd | ゲ―ム機用音声装置および情報記録媒体 |
FR2850183B1 (fr) * | 2003-01-20 | 2005-06-24 | Remy Henri Denis Bruno | Procede et dispositif de pilotage d'un ensemble de restitution a partir d'un signal multicanal. |
JP3734805B2 (ja) * | 2003-05-16 | 2006-01-11 | 株式会社メガチップス | 情報記録装置 |
JP2005094271A (ja) * | 2003-09-16 | 2005-04-07 | Nippon Hoso Kyokai <Nhk> | 仮想空間音響再生プログラムおよび仮想空間音響再生装置 |
JP4551652B2 (ja) * | 2003-12-02 | 2010-09-29 | ソニー株式会社 | 音場再生装置及び音場空間再生システム |
CN100426936C (zh) | 2003-12-02 | 2008-10-15 | 北京明盛电通能源新技术有限公司 | 一种耐高温无机电热膜及其制作方法 |
KR100608002B1 (ko) * | 2004-08-26 | 2006-08-02 | 삼성전자주식회사 | 가상 음향 재생 방법 및 그 장치 |
JP2006074589A (ja) * | 2004-09-03 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 音響処理装置 |
JP2008512898A (ja) * | 2004-09-03 | 2008-04-24 | パーカー ツハコ | 録音音響による擬似三次元音響空間生成方法及び装置 |
US20060088174A1 (en) * | 2004-10-26 | 2006-04-27 | Deleeuw William C | System and method for optimizing media center audio through microphones embedded in a remote control |
KR100612024B1 (ko) * | 2004-11-24 | 2006-08-11 | 삼성전자주식회사 | 비대칭성을 이용하여 가상 입체 음향을 생성하는 장치 및그 방법과 이를 수행하기 위한 프로그램이 기록된 기록매체 |
JP4507951B2 (ja) * | 2005-03-31 | 2010-07-21 | ヤマハ株式会社 | オーディオ装置 |
WO2007083958A1 (en) | 2006-01-19 | 2007-07-26 | Lg Electronics Inc. | Method and apparatus for decoding a signal |
KR101366291B1 (ko) | 2006-01-19 | 2014-02-21 | 엘지전자 주식회사 | 신호 디코딩 방법 및 장치 |
JP4286840B2 (ja) * | 2006-02-08 | 2009-07-01 | 学校法人早稲田大学 | インパルス応答合成方法および残響付与方法 |
EP1843636B1 (en) * | 2006-04-05 | 2010-10-13 | Harman Becker Automotive Systems GmbH | Method for automatically equalizing a sound system |
JP2008072541A (ja) * | 2006-09-15 | 2008-03-27 | D & M Holdings Inc | オーディオ装置 |
US8036767B2 (en) * | 2006-09-20 | 2011-10-11 | Harman International Industries, Incorporated | System for extracting and changing the reverberant content of an audio input signal |
JP4946305B2 (ja) * | 2006-09-22 | 2012-06-06 | ソニー株式会社 | 音響再生システム、音響再生装置および音響再生方法 |
KR101368859B1 (ko) * | 2006-12-27 | 2014-02-27 | 삼성전자주식회사 | 개인 청각 특성을 고려한 2채널 입체 음향 재생 방법 및장치 |
JP5114981B2 (ja) * | 2007-03-15 | 2013-01-09 | 沖電気工業株式会社 | 音像定位処理装置、方法及びプログラム |
JP2010151652A (ja) | 2008-12-25 | 2010-07-08 | Horiba Ltd | 熱電対用端子ブロック |
JP5577597B2 (ja) * | 2009-01-28 | 2014-08-27 | ヤマハ株式会社 | スピーカアレイ装置、信号処理方法およびプログラム |
RU2525109C2 (ru) * | 2009-06-05 | 2014-08-10 | Конинклейке Филипс Электроникс Н.В. | Система объемного звука и способ для нее |
JP2011188248A (ja) * | 2010-03-09 | 2011-09-22 | Yamaha Corp | オーディオアンプ |
JP6016322B2 (ja) * | 2010-03-19 | 2016-10-26 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
EP2375779A3 (en) * | 2010-03-31 | 2012-01-18 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Apparatus and method for measuring a plurality of loudspeakers and microphone array |
JP5533248B2 (ja) | 2010-05-20 | 2014-06-25 | ソニー株式会社 | 音声信号処理装置および音声信号処理方法 |
JP5456622B2 (ja) * | 2010-08-31 | 2014-04-02 | 株式会社スクウェア・エニックス | ビデオゲーム処理装置、およびビデオゲーム処理プログラム |
JP2012191524A (ja) | 2011-03-11 | 2012-10-04 | Sony Corp | 音響装置および音響システム |
JP6007474B2 (ja) * | 2011-10-07 | 2016-10-12 | ソニー株式会社 | 音声信号処理装置、音声信号処理方法、プログラムおよび記録媒体 |
EP2645749B1 (en) * | 2012-03-30 | 2020-02-19 | Samsung Electronics Co., Ltd. | Audio apparatus and method of converting audio signal thereof |
WO2013181272A2 (en) * | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
JP2016518067A (ja) * | 2013-04-05 | 2016-06-20 | トムソン ライセンシングThomson Licensing | 没入型オーディオの残響音場を管理する方法 |
US20150189457A1 (en) * | 2013-12-30 | 2015-07-02 | Aliphcom | Interactive positioning of perceived audio sources in a transformed reproduced sound field including modified reproductions of multiple sound fields |
-
2015
- 2015-01-06 KR KR1020227002133A patent/KR102427495B1/ko active IP Right Grant
- 2015-01-06 SG SG11201605692WA patent/SG11201605692WA/en unknown
- 2015-01-06 EP EP15737737.5A patent/EP3096539B1/en active Active
- 2015-01-06 BR BR122022004083-7A patent/BR122022004083B1/pt active IP Right Grant
- 2015-01-06 MY MYPI2016702468A patent/MY189000A/en unknown
- 2015-01-06 CN CN201580004043.XA patent/CN105900456B/zh active Active
- 2015-01-06 JP JP2015557783A patent/JP6586885B2/ja active Active
- 2015-01-06 US US15/110,176 patent/US10477337B2/en active Active
- 2015-01-06 EP EP24152612.8A patent/EP4340397A3/en active Pending
- 2015-01-06 KR KR1020227025955A patent/KR102621416B1/ko active IP Right Grant
- 2015-01-06 KR KR1020167018010A patent/KR102306565B1/ko active Application Filing
- 2015-01-06 CN CN201910011603.4A patent/CN109996166B/zh active Active
- 2015-01-06 RU RU2019104919A patent/RU2019104919A/ru unknown
- 2015-01-06 RU RU2016127823A patent/RU2682864C1/ru active
- 2015-01-06 KR KR1020217030283A patent/KR102356246B1/ko active IP Right Grant
- 2015-01-06 AU AU2015207271A patent/AU2015207271A1/en not_active Abandoned
- 2015-01-06 WO PCT/JP2015/050092 patent/WO2015107926A1/ja active Application Filing
- 2015-01-06 KR KR1020247000015A patent/KR20240008397A/ko active Search and Examination
- 2015-01-06 BR BR112016015971-3A patent/BR112016015971B1/pt active IP Right Grant
- 2015-01-06 EP EP20154698.3A patent/EP3675527B1/en active Active
-
2019
- 2019-04-09 AU AU2019202472A patent/AU2019202472B2/en active Active
- 2019-04-23 US US16/392,228 patent/US10694310B2/en active Active
- 2019-09-12 JP JP2019166675A patent/JP6721096B2/ja active Active
-
2020
- 2020-05-26 US US16/883,004 patent/US10812925B2/en active Active
- 2020-06-18 JP JP2020105277A patent/JP7010334B2/ja active Active
- 2020-10-05 US US17/062,800 patent/US11223921B2/en active Active
-
2021
- 2021-08-23 AU AU2021221392A patent/AU2021221392A1/en not_active Abandoned
- 2021-11-29 US US17/456,679 patent/US11778406B2/en active Active
-
2022
- 2022-01-12 JP JP2022002944A patent/JP7367785B2/ja active Active
-
2023
- 2023-04-18 US US18/302,120 patent/US20230254657A1/en active Pending
- 2023-06-07 AU AU2023203570A patent/AU2023203570B2/en active Active
- 2023-09-26 JP JP2023163452A patent/JP2023165864A/ja active Pending
-
2024
- 2024-04-16 AU AU2024202480A patent/AU2024202480A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
BR112016015971B1 (pt) | Dispositivo e método de processamento de áudio, e, mídia de armazenamento legível por computador | |
JP6818841B2 (ja) | 少なくとも一つのフィードバック遅延ネットワークを使ったマルチチャネル・オーディオに応答したバイノーラル・オーディオの生成 | |
JP5582529B2 (ja) | 音源定位方法、音源定位装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
B06U | Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette] | ||
B09A | Decision: intention to grant [chapter 9.1 patent gazette] | ||
B16A | Patent or certificate of addition of invention granted [chapter 16.1 patent gazette] |
Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 06/01/2015, OBSERVADAS AS CONDICOES LEGAIS |