BRPI0718711A2 - Aparelhos e métodos para uso na criação de uma cena de áudio. - Google Patents

Aparelhos e métodos para uso na criação de uma cena de áudio. Download PDF

Info

Publication number
BRPI0718711A2
BRPI0718711A2 BRPI0718711-4A2A BRPI0718711A BRPI0718711A2 BR PI0718711 A2 BRPI0718711 A2 BR PI0718711A2 BR PI0718711 A BRPI0718711 A BR PI0718711A BR PI0718711 A2 BRPI0718711 A2 BR PI0718711A2
Authority
BR
Brazil
Prior art keywords
audio scene
embodied
creating
audio
figures
Prior art date
Application number
BRPI0718711-4A2A
Other languages
English (en)
Inventor
Paul Boustead
Farzad Safaei
Original Assignee
Dolby Lab Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39364104&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=BRPI0718711(A2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from AU2006906213A external-priority patent/AU2006906213A0/en
Application filed by Dolby Lab Licensing Corp filed Critical Dolby Lab Licensing Corp
Publication of BRPI0718711A2 publication Critical patent/BRPI0718711A2/pt
Publication of BRPI0718711B1 publication Critical patent/BRPI0718711B1/pt

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A63F13/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408—Peer to peer connection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Child & Adolescent Psychology (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)

Description

Relatório Descritivo da Patente de Invenção para "APARELHOS E MÉTODOS PARA USO NA CRIAÇÃO DE UMA CENA DE ÁUDIO".
Campo da Invenção
A presente invenção refere-se geralmente a um campo de co- 5 municações de áudio imersívas e mais particularmente, porém por nenhum meio exclusivamente, a criação de uma cena de áudio imersiva em um meio ambiente de ponto a ponto.
Antecedente da Invenção
Têm havido significativos avanços na criação de meios virtuais 10 visualmente imersivos nos recentes anos. Estes avanços têm resultado na captação de ampla difusão de jogos que massivamente desempenham pa- pel de múltiplo jogadores em que os participantes podem entrar em um meio virtual comum (tal como um campo de batalha) e são representados no meio virtual por uma figura corporificada, que está tipicamente na forma de um 15 caracter animado.
A captação difundida dos meios virtuais visualmente imersivos é devido, em parte, aos avanços significativos tanto na tecnologia de proces- samento de imagem que possibilita gráficos altamente detalhados e realísti- cos a serem gerados no meio virtual como no desenvolvimento de cartões 20 de sons tridimensionais que empregam unidades de processamento de alta velocidade. Uma desvantagem principal com estes meios, todavia, é que os mecanismos de comunicação entre jogadores correntes são usualmente primitivos envolvendo trocas de palavra do texto ou comunicações de voz de "walkie-talkie". Engastar um ambiente de comunicação mais natural em que 25 as vozes aparecem para vir das figuras corporificadas no mundo virtual cor- respondente ao jogador é complexo para implementar e caro para remessa. O áudio gerado por cada jogador que participa do meio virtual deve ser envi- ado a cada um e a um outro jogador que está dentro da faixa da percepção auditiva. Para jogos massivamente de múltiplo jogadores, ambas as exigên- 30 cias da largura de banda a montante e a jusante para facilitar tal troca de áudio podem ser particularmente altas.
Além do mais, o custo da CPU requerido para sintetizar todos os fluxos de áudio recebidos é alto, requerendo particularmente unidades de processamento poderosas a serem empregadas a fim de satisfazer as míni- mas exigências de hardware para participar do meio virtual.
Definições
5 A seguir, as definições são proporcionadas aos vários termos
usados ao longo deste relatório descritivo:
Cena de áudio - informação de áudio compreendendo sons combinados (por exemplo, vozes pertencentes a outras figuras corporifica- das e outra fonte de tempo real de som dentro do meio virtual) que são colo- 10 cados de modo espacial e opcionalmente atenuados de acordo com uma distância entre uma fonte de recipiente do som. Uma cena de áudio pode também compreender efeitos de som que representam as características acústicas do meio.
Sumário da Invenção Em um primeiro aspecto da presente invenção, é provido um
processo de criar uma cena de áudio para uma figura corporificada em um meio virtual incluindo uma pluralidade de figuras corporificadas, o processo compreendendo as etapas de criar uma estrutura de ligação entre uma plu- ralidade de figuras corporificadas; e sintetizar uma cena de áudio para cada 20 figura corporificada com base na sua associação com outras figuras corpori- ficadas ligadas.
Vantajosamente, os aspectos da presente invenção proporcio- nam uma técnica de largura da banda menor para enviar cenas de áudio imersivo pela utilização de uma estrutura do tipo ponto a ponto. Enviar o ser- 25 viço em tal maneira elimina a exigência de enviar tráfego de tempo real atra- vés de um servidor central. Isto leva a significativa economia de custo quan- do grandes custos de parques de servidor e da largura da banda são comu- mente requeridos para enviar tal serviço. Ao invés, de acordo com os aspec- tos da presente invenção, o serviço pode ser enviado usando recursos da 30 CPU e largura de banda dos pontos (ou figuras corporificadas ligadas) usan- do o serviço. Em adição, o envio de serviço pode facilmente ser escalado quando o número de figuras corporificadas no meio virtual no meio ambiente cresce porque cada figura corporificada novamente ligada adiciona recursos para suportar o serviço.
De acordo com um segundo aspecto, é provido um programa de computador compreendendo pelo menos uma instrução para controlar um computador para implementar um processo de acordo com o primeiro aspec- to da invenção.
De acordo com um terceiro aspecto, é provido um meio legível de comutador proporcionando um programa de computador de acordo com o segundo aspecto da invenção.
De acordo com um quarto aspecto, é provido um dispositivo de
computação de usuário disposto para realizar as etapas de processo de a- cordo com o primeiro aspecto da invenção.
De acordo com um quinto aspecto, é provido um sistema dispos- to a criar uma cena de áudio para um meio virtual, o sistema compreenden- 15 do: uma pluralidade de dispositivos de computação, cada dispositivo de computação sendo capaz de controlar pelo menos uma figura corporificada no meio virtual, em que cada dispositivo de computação é disposto para sin- tetizar uma cena de áudio de saída para pelo menos uma figura corporifica- da e comunica a cena de áudio de saída a pelo menos um outro dispositivo 20 de computação.
Breve Descrição dos Desenhos
Não obstante quaisquer outras formas que podem cair dentro do escopo da presente invenção, uma concretização da presente invenção se- rá, a seguir, descrita, por meio do exemplo apenas, com referência aos de- senhos anexos em que:
Figura 1 é um diagrama em bloco de um sistema disposto para realizar uma concretização da presente invenção;
Figura 2 mostra um exemplo de um Iayout de figuras corporifica- das em um meio virtual;
Figura 3 mostra os ângulos e níveis de atenuação requeridos
para sintetizar cada um dos fluxos de áudio recebidos por uma figura corpo- rificada do meio virtual da Figura 2; Figura 4 é um exemplo de uma conexão delta ligando as figuras corporificadas ao meio virtual da Figura 2;
Figura 5 representa a aplicação de uma árvore de extensão mí- nima para determinar as ligações mais curtas entre as figuras corporificadas 5 da Figura 2; e
Figura 6 mostra uma borda sendo adicionada a árvore de exten- são mínima , de acordo com uma concretização da presente invenção. Descrição Detalhada das Concretizações Preferidas
Com referência à Figura 1, o sistema IOO inclui um servidor de meio virtual 102; servidor de controle 103; dispositivos de computação do usuário 104; e um sistema de comunicação 106.
A função primária do servidor de meio virtual 102 é manter a in- formação do estado para um meio virtual. Na presente concretização da in- venção, o meio virtual é um campo de batalha de um jogo on-line de múltiplo 15 jogadores e as figuras corporificadas representam participantes (que são usuários dos dispositivos de computação do usuário 104) no meio virtual e estão na forma de soldados animados. A informação do estado, mantida pe- lo servidor de meio virtual 102 compreende, por exemplo, a posição das figu- ras corporificadas no meio virtual; isto é, o local dos soldados no campo da 20 batalha.
Nota-se que a concretização não está restrita aos meios virtuais e figuras corporificadas para jogos on-line de múltiplo jogadores. A concreti- zação tem aplicação à uma faixa de meios virtuais incluindo, por exemplo, meios virtuais em um contexto de negócio (tais como reunião de equipes virtual) ou um contexto educacional (tal como uma aula virtual).
Para realizar as funções primárias de manutenção da informa- ção do estado, o servidor de meio virtual 102 compreende hardware de computador incluindo uma placa-mãe, unidades de processamento central, memória de acesso aleatório, discos rígidos, hardware de rede e uma fonte 30 de força. Em adição a hardware, o servidor de meio virtual 1-2 inclui um sis- tema de operação (tal como Linux, que pode ser obtido da Internet em web- site localizado em URL http://www.redhat.com) que reside no disco rígido e que coopera com o hardware para prover um meio no qual as aplicações de software podem ser executadas. Neste aspecto, o disco rígido do servidor de meio virtual 102 é carregado com uma aplicação do servidor de meio virtual (tal como motor Quake que pode ser obtido da Internet em um website Ioca- 5 Iizado em URL http: //www.idsoftware.com) para manter a informação do estado.
Um servidor de controle 103 é conectado ao servidor de meio virtual 102, via ligação de alta velocidade 105. O servidor de controle 103 incorpora o mesmo hardware que do servidor de meio virtual e é carregado com uma aplicação do servidor de controle que é disposta para interagir com o servidor de meio virtual 102 para obter informação que identifica as várias figuras corporificadas presentes no meio virtual e o local das figuras corpori- ficadas no meio virtual. Esta informação pode também incluir detalhes dos status das figuras corporificadas (por exemplo, ativos ou inativos) e detalhes de quaisquer barreiras de som dinâmicas. Usando algoritmos embutidos dentro da aplicação do servidor de controle, o servidor de controle 103 gera informação de sintetização de áudio imersivo que é comunicada a cada um dos dispositivos de computação do usuário. Como representado na Figura I, o servidor de controle 102 é também disposto para comunicar com os dispo- sitivos de computação de usuário, via ligação 114.
Os dispositivos de computação de usuário 104 estão na forma de Iaptop ou desktop. Todavia, será facilmente apreciado que a concretiza- ção não está restrita aos dispositivos de comunicação de Iaptop ou desktop. É considerado que nas concretizações alternativas da presente invenção, os 25 dispositivos de computação do usuário 104 (por exemplo, tal como dispositi- vos 04a-h, como mostrado) podiam ser dispositivos de comunicação sem fio portáteis tais como Nokia N-Gage e Playstation Portátil. Cada dispositivo de computação do usuário 104 compreende hardware de computador incluindo uma placa-mãe, unidade de processamento central, memória de acesso ale- 30 atório, um disco rígido ou dispositivo de armazenagem similar, fonte de for- ça, monitor e uma entrada de informação do usuário (por exemplo, um tecla- do). Em adição ao hardware, o disco rígido de cada dispositivo de computa- ção do usuário 104 é carregado com um sistema operativo capaz de intera- gir com o hardware do dispositivo de computação 104 para prover um meio em que as aplicações de software podem ser executadas. Neste aspecto, o disco rígido de cada dispositivo de computação do usuário 104 é carregado 5 com uma aplicação do cliente de meio virtual e uma aplicação de cliente de comunicação de áudio imersivo.
A aplicação do cliente de meio virtual é disposta para enviar e receber a informação de estado para o meio virtual a e da aplicação do ser- vidor de meio virtual carregada no servidor de meio virtual 102. A aplicação 10 do cliente de comunicação de áudio imersivo é disposta para enviar e rece- ber informação de áudio a e de outros clientes de comunicação de áudio imersivo. Foi descrito previamente que cada dispositivo de computação do usuário 104 é carregado com um sistema operativo. A concretização pode ser facilmente disposta para operar quaisquer sistemas de operação diferen- 15 tes carregados nos dispositivos de computação de usuário 104 incluindo, por exemplo, MicrosoftWindows XP ou Linux (ambos seriam tipicamente usados quando os dispositivos de comutação 104 estivessem na forma de um com- putador desktop).
O sistema de comunicação 106 possibilita a aplicação do cliente 20 de meio virtual de cada um dos dispositivos de computação de usuário I04 e a aplicação do servidor de meio virtual do sistema de meio virtual I02 para trocar dados (mais especificamente, a informação do estado) entre si. O sis- tema de comunicação 106 também possibilita a aplicação do cliente de co- municação de áudio imersivo de cada um dos dispositivos de computação 25 de usuário I04 e servidor de controle I03 a trocar dados (mais especificamen- te, os detalhes de uma estrutura de ligação na forma de um gráfico de ponto a ponto) entre si.
Para suportar a troca de dados, o sistema de comunicação 106 inclui uma rede de dados IIO na forma da Internet para enviar e receber da- dos dos dispositivos de computação do usuário 104. A presente invenção não está restrita a ser usada com Internet e uma concretização alternativa da presente invenção pode ser empregada, por exemplo, 802,Il com base na rede sem fio ou similar. Para possibilitar o sistema de meio virtual 102 e os dispositivos de computação do usuário I04 para troca de dados via o sistema de comunicação 106, o servidor de meio virtual 102 é conectado a Internet IIO via uma ligação de comunicação 114 na forma de uma ligação de dados 5 de alta velocidade.
A concretização da presente invenção primariamente diz respei- to às técnicas de ponto a ponto da largura da banda menor para prover o áudio imersivo aos usuários dos dispositivos de computação do usuário 104 que participam do meio virtual. Como tal, a seguinte descrição focaliza parti- 10 cularmente a funcionalidade da aplicação do servidor de controle carregada no servidor de controle 103 e da aplicação do cliente de comunicação de áudio imersivo carregada em cada um dos dispositivos de computação do usuário I04.
Como previamente discutido, a aplicação do servidor de controle 15 residente no servidor de controle 103 é disposta para obter a informação relativa à localização das figuras corporificadas operando no meio virtual proveniente da aplicação do servidor de meio virtual. De acordo com a con- cretização descrita aqui, a informação da localização está na forma de coor- denadas tridimensionais (x,y,z). A aplicação do servidor de controle é adicio- 20 nalmente configurada para obter detalhes de quaisquer barreiras de som dinâmicas (a seguir, informação da barreira) que podem efetuar a propaga- ção de sons dentro do meio virtual. Uma vez que a informação de localiza- ção e informação de barreira têm sido obtidas, a aplicação do servidor de controle realiza as ações a seguir apresentadas:
calcular uma árvore ou uma série de árvores (se existirem inú-
meros agrupamentos desiguais de figuras corporificadas que não estão den- tro da faixa auditiva entre si), com base na localização (x,y,z) de figuras cor- porificadas no meio virtual. Estas árvores conectam figuras corporificadas falantes às figuras corporificadas ouvintes. A aplicação do servidor de con- 30 trole pode também levar em conta os fatores tais como largura da banda disponível e confiabilidade dos nós (isto é, correspondentes a cada um dos dispositivos de computação do usuário) para determinar como a árvore é construída. Por exemplo, se um nó na árvore não tiver uma largura de banda maior disponível, a aplicação pode restringir o número de outros nós na ár- vore que ela possa conectá-la. Se um nó não for confiável (por exemplo, se o nó tiver uma história de grande retardo ou perda de pacote ) então a apli- 5 cação de servidor de controle pode desejar tornar seguro que seja uma folha da árvore;
introduzir Ioops na árvore para reduzir a extensão do trajeto en- tre cada falante e cada ouvinte para formar um gráfico de ponto a ponto. A aplicação do servidor de controle não introduzirá Ioops que são mais curtos 10 do que a extensão especificada para assegurar que não estão presentes nem a realimentação positiva nem ecos notáveis no fluxo de áudio eventu- almente emitidos pelos dispositivos de computação do usuário; e
comunicar os seguintes detalhes associados com o gráfico de ponto a ponto aos dispositivos de computação do usuário I04 identificados no gráfico;
o conjunto de figuras corporificadas que um dispositivo de comu- tação do usuário "A" deve criar conexões para o mesmo;
um valor de atenuação α (alfa corresponde à extensão de uma ligação de gráfico) para aplicar aos fluxos de áudio que A enviará em cada uma de tais conexões; e
um ângulo θ (Θ corresponde ao ângulo de uma ligação de gráfi- co) que os fluxos de áudio recebidos devem ser sintetizados.
Em relação à função da criação das estruturas de árvore (ver ponto 1 acima), qualquer estrutura de árvore apropriada podia ser emprega- 25 da. Todavia, no caso da presente concretização, uma árvore de extensão mínima (MST) foi empregada. (É mínima com relação a um custo métrico associado com a extensão das ligações na árvore, que é proporcional à dis- tância entre as figuras corporificadas no meio virtual.)
Existem duas funções principais realizadas pela aplicação do cliente de áudio imersivo residindo em cada um dos dispositivos de compu- tação do usuário I04. A primeira função é sintetizar os fluxos de áudio rece- bidos para criar uma cena de áudio imersivo para "playback" para um usuá- rio do dispositivo de computação do usuário 104. Este processo basicamen- te envolve o dispositivo de computação do usuário I04 recebendo um fluxo de áudio em cada uma das bordas do gráfico que é conectada a {Ei, E2 ...En) e sintetizando o fluxo de áudio em um ângulo Θ especificado pela in- formação de sintetizar (renderizar) áudio imersivo. A segunda função envol- ve o envio de um fluxo de áudio misto gerado pelo dispositivo de computa- ção de usuário 104 a todos os outros dispositivos/figuras corporificadas de computação do usuário conectada a borda. O fluxo de áudio misto contém uma mistura de ambos, um fluxo de áudio capturado pelo dispositivo de computador do usuário (Isto é, a voz do cliente ) e fluxos de áudio sendo recebidos em todas as outras bordas (excluindo, naturalmente a borda junto a qual o fluxo de áudio misto está para ser enviado). Antes do envio, o fluxo de áudio misto é atenuado usando o valor de atenuação α para aquela bor- da particular, também especificada pela informação de sintetização de áudio imersivo.
Com referência às Figuras 1 a 6, um exemplo de um processo para sintetizar cenas de áudio imersivo por um dispositivo de computação do usuário será, a seguir, descrito.
Em uma primeira etapa, o servidor de meio virtual 102 passa 20 informação do estado do meio virtual para a aplicação do servidor de cliente do servidor de cliente 103 para subsequente processamento. Dado um mun- do virtual com N figuras corporificadas (Ai, A2, ...An) cada qual controlada por clientes (Cj, C2, ...Cn). Amostras de áudio (Vi) são geradas por cada um des- tes N clientes. Um gráfico é construído com F bordas (Ei, E2, ...EF). Cada 25 uma destas bordas possui um ângulo associado Bj e fator de atenuação ocj em que 0 < j < =F.
Etapa 1 - Colocar todas as figuras corporificadas em um plano com suas coordenadas (x,y) correspondentes as suas coordenadas (x,y) no meio virtual como mostrado na Figura 2.
Etapa 2 - Criar uma conexão delta entre todos os nós do gráfico;
se paredes existem, então removem quaisquer ligações entre as figuras cor- porificadas que estão nos lados opostos das paredes. Etapa 3 - Calcular uma árvore de extensão mínima (MST) para conectar todos os nós usando qualquer algoritmo apropriado — tal como al- goritmo de Kruskal.
Etapa 4 - Removertodas as ligações no gráfico que não são par- te da árvore de extensão mínima;
Etapa 5 - Embora Ioops possam ser adicionados sem exceder limites de transmissão nos nós e embora hajam possíveis Ioops que exce- dam um limiar (por exemplo, dois tempos da faixa de audição), então:
(a) Ajustar extensão_ da borda _mínima= infinidade (b) Para cada par de nós i, j que podem ouvir entre si.
(i) Calcular distância de Ioop mínima entre os dois nós como: minjoopjj = SPij + VDij. Em que SPy é o trajeto mais curto na árvore entre =
i,j e VDy = a extensão de uma ligação direta entre i e j, se existir.
(ii) Se minjoopjj > o limiar de Ioop (2x faixa de audição ) e Djj<extensão_ da borda_mínima
(1) extensão_ da borda_min = VDij
(2) borda_min = {i,j}
(c) Somar a borda referida como borda_min ao gráfico. Esta é a menor borda que introduz um Ioop aceitável.
A seguir, considerar 7 jogadores conectados ao meio virtual.
Cada um dos jogadores está usando um PC diferente conectado ao Internet. Cada um dos jogadores está controlando uma figura corporificada separada - tais figuras corporificadas são denominadas A1 a A7. Os locais de x,y (es- pacial) destas figuras corporificadas no mundo virtual são como mostrados na Tabelai.
Tabela 1: Local X.Y das figuras corporificadas
X Y A1 228 191 A2 116 95 A3 205 150 A4 161 93 A5 216 235 A6 157 282 X Y A7 127 221 Cada uma das figuras corporificadas pode ser considerada sen- do um nó. É admitido que cada um dos nós é capaz de enviar 4 fluxos e a faixa de audição de cada nó é 115.
Etapa 1 coloca as figuras corporificadas em um plano com as mesmas coordenadas x,y quando elas ocupam o mundo virtual. Isto é mos- trado na Figura 2.
Etapa 2 cria uma conexão de malha (Isto é, cada nó é conectado a cada um de outros nós) entre os nós . Esta etapa provê uma topologia de nó subjacente para uso pelo algoritmo de arvore de extensão mínima. A rede de malha para este exemplo é mostrada na Figura 4.
A distância entre cada uma das figuras corporificadas é usada mais tarde no algoritmo e é calculada como o valor (matriz) VDij, como mos- trado na Tabela 2.:
Tabela 2: Valores calculados de VDij
VD2,1 = 148 VD3.1 = 47 VD4.1 = 119 VD1,2 = 148 VD3.2 = 105 VD4,2 = 45 VD1,3 = 47 VD2,3 = 105 VD4,3 = 72 VD1,4 = 119 VD2,4 = 45 VD3,4 = 72 VD1,5 = 46 VD2,5 = 172 VD3,5 = 86 VD4.5 = 152 VD1,6 = 115 VD2,6 = 191 VD3,6 = 140 VD4,6 = 189 VD1.7 = 105 VD2,7 = 126 VD3,7 = 105 VD4,7 = 132 VD5,1 =46 VD6.1 = 115 VD7.1 = 105 VD5,2 = 172 VD6,2 = 191 VD7,2 = 126 VD5,3 = 86 VD6,3 = 140 VD7,3 = 105 VD5,4 = 152 VD6,4 = 189 VD7,4 = 132 VD6,5 = 75 VD7,5 = 90 VD5.6 = 75 VD7,6 = 68 VD5,7 = 90 VD6,7 = 68 Na Etapa 3, o algoritmo de Kruskal foi usado para calcular uma
árvore de extensão mínima. O algoritmo de Kruskal é um algoritmo comum para calcular árvores de extensão mínima e bem conhecido dos engenheiros de telecomunicação e expertos da teoria gráfica.
Na etapa 4, uma ligação que não é parte da árvore de extensão mínima é removida do gráfico. A saída deste estágio é mostrada na Figura 5.
O conjunto de nós que pode "ouvir" entre si é calculado na Etapa
5:
H = [(3,l), (3,5), (3,7), (3,4), (3,2), (2,4), (1,5), (1,6), (1,7), (5,6), (7,6), (7,5) ] e a distância de cada ligação de gráfico é, também, calculada como mostra- do na Tabela 3:
Tabela 3: Distância Entre Cada Ligação de Gráfico
Ligação 2,4 45 Ligação 4,3 72 Ligação 3,1 47 Ligação l,5 46 Ligação 5,6 75 Ligação 6,7 68 Por último, o trajeto mais curto para todos os elementos em H é
calculado:
SP(3,1)=D(3,1)=47 SP(3,5)=D(3,1)+D(1,5)=47+46=93
SP(3,7)=D(3,1 )+D(1,5)+D(5,6)+D(6,7)=47+46+75+68=236 SP(3,4)=D(3,4)=72
SP(3,2)=D(3,4),D(4,2)=72+45=117 SP(2,4)=D(2,4)=45 SP(1,5)=D(1,5)=46 SP(1,6)=D(1,5)+D(5,6)=46+75=121 20 SP(1,7)=D(1,5)+D(5,6)+D(6,7)=46+75+68=189 SP(5,6)=D(5,6)=75 SP(7,6)=D(7,6)=68 SP(7,5)=D(7,6)+D(6,5)=68+75=143
min Joopij = Spij + VFij min_loop(3,1)=47+47=94 min_loop(3,5)=93+86=179 min_loop(3,7)=236+105=341 min_loop(3,4)=72+72=144 min _loop(3,2)=117+105=222 min_loop(2,4)=45+45=90 5 min_loop(1,5)=46+46=92 min_loop(1,6)=46+115=181 min _loop(1,7)=189+105=194 min _loop(5,6)=75+75=150 min _loop(7,6)=68+68=136 10 min_loop(7,5)= 143+90=233
Então, ajustando extensão_da borda_ mín = infinidade, é encon- trado que o loop_min(3,7)> 2 x faixa de audição_ (230) e VD(3,7) < exten- são_da borda_min;
assim extensão da borda_mín=VD(3,7)=105 e borda_min={3,7}. Além do mais, nenhum outro loop_min(i,j) > 2 x faixa_de audição
existe.
A borda {3,7} é então adicionada ao gráfico como mostrado na
Figura 6.
Etapa 5 é então repetida usando o gráfico atualizado (as Iiga- ções adicionadas pelas iterações prévias da Etapa 5) até não existirem Ioops deixados para adição.
A seguinte iteração da Etapa 5 constata que não existem mais Ioops aceitáveis para adicionar, assim o algoritmo para com apenas a adição de ligação 7,3.
Com referência à Figura 3, é mostrado um gráfico indicando os
ângulos de sintetização e níveis de atenuação que são requeridos para sin- tetizar os fluxos de áudio de entrada da perspectiva da figura corporificada 3. Como mostrado nas figuras precedentes, a figura corporificada 3 receberá fluxos de áudio das figuras corporificadas 1, 7 e 4. A aplicação do cliente de 30 meio virtual residente no dispositivo de computação do usuário que controla a figura corporificada 3 sintetizará a cena de áudio como segue: o áudio chegando da figura corporificada I será sintetizado no ângulo Θ31 para a es- querda da figura corporificada 3. O áudio recebido da figura corporificada 7 será sintetizado Θ37 graus para a esquerda do ouvinte; enquanto o áudio recebido da figura corporificada 4 será sintetizado Θ34 para a direita do ou- vinte, como mostrado na Figura 6.
5 Os fluxos de áudio que são recebidos das figuras corporificadas
l,7 e 4 são uma mistura atenuada de todos os nós a montante. Por exemplo, o fluxo de áudio enviado da figura corporificada 1 para figura corporificada 3 é uma mistura de todo o áudio recebido nos fluxos de entrada (exceto na ligação 3,1 ) misturados com a voz da figura corporificada I, que é gravada 10 localmente pelo dispositivo de computação de usuário. Estas vozes são ate- nuadas de acordo com a extensão da ligação de áudio a ser recebido. Por- tanto, o fluxo de áudio que é enviado na ligação 3,1 é igual a: fluxo de áudio enviado por figura corporificada 2 atenuada por a12 misturado com voz lo- calmente gerada da figura corporificada 1.
Uma vez que o áudio proveniente de cada figura corporificada é
misturado com uma versão atenuada do áudio recebido em todas as liga- ções de entrada, a figura corporificada 3 ouvirá eficazmente as figuras cor- porificadas I e 5 que emanam da direção da figura corporificada I com varia- ções de distância devido aos níveis diferentes de atenuação. A voz da figura 20 corporificada 6 influenciará o áudio sendo ouvido pela figura corporificada 3 da direção de ambas as figuras corporificadas I e 7. Todavia, se os níveis de atenuação estiverem ajustados corretamente, então o volume da figura cor- porificada 6 será negligenciável. Deverá também ser notado que neste e- xemplo, se não existirem nenhum Ioop introduzido, então a figura corporifi- 25 cada 3 não ouvirá a figura corporificada 7 porque a atenuação no trajeto a- través de 5 e I teria sido muito grande.
Será facilmente apreciado que, mesmo embora a concretização da presente invenção tenha sido descrita no contexto de ser usado para su- portar um meio virtual, a presente invenção não é restringida para ser usada 30 com um meio virtual. Como tal, a presente invenção podia ser usada para prover um sistema de áudio imersivo para uso como, por exemplo, um sis- tema de conferenciar apenas áudio. Embora a invenção tenha sido descrita com referência à presen- te concretização, será entendido por aqueles versados na técnica que alte- rações, mudanças e aperfeiçoamentos podem ser feitos e equivalentes po- dem ser substituídos para os seus elementos e suas etapas sem se distan- 5 ciar do escopo da invenção. Em adição, muitas modificações podem ser fei- tas para adaptar a invenção a uma situação ou material particular aos ensi- namentos da invenção sem distanciar-se do seu escopo central. Tais altera- ções, mudanças, modificações e aperfeiçoamentos, embora não descritos acima de modo expresso, são entrementes pretendidos e implicados para 10 estarem dentro do escopo e espírito da invenção. Portanto, é pretendido que a invenção não seja limitada à concretização particular descrita aqui e inclui- rá todas as concretizações que caiam dentro do escopo das reivindicações independentes.

Claims (16)

1. Método de criar uma cena de áudio para uma figura corporifi- cada em um meio virtual incluindo uma pluralidade de figuras corporificadas, o processo compreendendo as etapas de: criar uma estrutura de ligação entre a pluralidade de figuras cor- porificadas; e sintetizar uma cena de áudio para cada figura corporificada com base na sua associação com outras figuras corporificadas ligadas.
2. Método de criar uma cena de áudio de acordo com a reivindi- cação 1, em que a estrutura de ligação é operável para definir pelo menos uma de ângulo de sintetização e fator de atenuação para aplicar aos fluxos de áudio nas ligações de entrada.
3. Método de criar uma cena de áudio de acordo com a reivindi- cação 2, em que um custo métrico é calculado com base em uma distância entre duas figuras corporificadas na estrutura de ligação.
4. Método de criar uma cena de áudio de acordo com a reivindi- cação 3, em que o custo métrico define o fator de atenuação.
5. Método de criar uma cena de áudio de acordo com qualquer uma das reivindicações 2 a 4, em que um ângulo de uma ligação entre as duas figuras corporificadas na estrutura de ligação define o ângulo de sinte- tização.
6. Método de criar uma cena de áudio de acordo com qualquer uma das reivindicações precedentes, em que a estrutura de ligação é uma estrutura de árvore conectando a pluralidade de figuras corporificadas.
7. Método de criar uma cena de áudio de acordo com a reivindi- cação 6, em que a estrutura da árvore é uma árvore de extensão mínima.
8. Método de criar uma cena de áudio de acordo com a reivindi- cação 7, compreendendo uma outra etapa de introdução de Ioops em uma árvore de extensão mínima de tal modo que a extensão mínima dos Ioops é menos do que um predeterminado valor para evitar ecos na sintetização das cenas de áudio.
9. Método de criar uma cena de áudio de acordo com a reivindi- cação 8, em que o predeterminado valor é duas vezes a faixa de audição de uma figura corporificada.
10. Método de criar uma cena de áudio de acordo com qualquer uma das reivindicações precedentes, compreendendo outra etapa de mistu- ra da cena de áudio sintetizada com um fluxo de áudio gerado por pelo me- nos uma da pluralidade de figuras corporificadas.
11. Método de criar uma cena de áudio de acordo com a reivin- dicação 10, compreendendo a outra etapa de enviar a cena de áudio mista para uma outra figura corporificada ligada.
12. Programa de computador compreendendo pelo menos uma instrução para controlar um computador para implementar um método como definido em qualquer uma das reivindicações 1 a 11.
13. Meio legível de computador provendo um programa de com- putador como definido na reivindicação 12.
14. Dispositivo de computação de usuário disposto para realizar as etapas do método como definido em qualquer uma das reivindicações 1 a 13.
15. Sistema disposto para criar uma cena de áudio para um meio virtual, o sistema compreendendo: uma pluralidade de dispositivos de computação, cada dispositivo de computação sendo capaz de controlar pelo menos uma figura corporificada no meio virtual, em que cada dispositivo de computação é disposto para sintetizar uma cena de áudio de saída para pelo menos uma figura corporificada e comunicar a cena de áudio de saída para pelo menos um outro dispositivo de computação.
16. Sistema disposto para criar uma cena de áudio de acordo com a reivindicação 15, em que cada dispositivo de computação é ainda dis- posto para receber uma cena de áudio de entrada a partir pelo menos de um outro dispositivo de computação e sintetizar a cena de áudio de entrada com a cena de áudio de saída.
BRPI0718711-4A 2006-11-08 2007-11-08 Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual BRPI0718711B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006906213 2006-11-08
AU2006906213A AU2006906213A0 (en) 2006-11-08 Apparatuses and methods for use in creating an audio scene
PCT/AU2007/001712 WO2008055305A1 (en) 2006-11-08 2007-11-08 Apparatuses and methods for use in creating an audio scene

Publications (2)

Publication Number Publication Date
BRPI0718711A2 true BRPI0718711A2 (pt) 2014-01-14
BRPI0718711B1 BRPI0718711B1 (pt) 2019-09-24

Family

ID=39364104

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0718711-4A BRPI0718711B1 (pt) 2006-11-08 2007-11-08 Método de criar uma cena de áudio, dispositivo de computação de usuário e sistema disposto para criar uma cena de áudio para um meio virtual

Country Status (11)

Country Link
US (1) US8403751B2 (pt)
EP (1) EP2095679B1 (pt)
JP (2) JP4997291B2 (pt)
KR (2) KR101201695B1 (pt)
CN (2) CN101573991B (pt)
AU (1) AU2007317195A1 (pt)
BR (1) BRPI0718711B1 (pt)
CA (1) CA2667110C (pt)
HK (1) HK1135269A1 (pt)
RU (2) RU2495538C2 (pt)
WO (1) WO2008055305A1 (pt)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101573991B (zh) * 2006-11-08 2011-08-03 杜比实验室特许公司 用于创建音频场景的设备和方法
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
US8315398B2 (en) 2007-12-21 2012-11-20 Dts Llc System for adjusting perceived loudness of audio signals
US20090234948A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Using Multiple Servers to Divide a Virtual World
US20090235191A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment
US8875026B2 (en) * 2008-05-01 2014-10-28 International Business Machines Corporation Directed communication in a virtual environment
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US8538042B2 (en) * 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
EP2537287A1 (en) * 2010-02-18 2012-12-26 Smart Services CRC Pty Limited A system, method and software application for the dissemination of data across a plurality of computing systems
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
CN104801043B (zh) * 2014-01-23 2019-12-13 腾讯科技（深圳）有限公司 场景音效控制的方法及装置
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
CN106716985B (zh) * 2014-09-08 2019-07-30 富士胶片株式会社 摄像控制装置、摄像控制方法、及相机系统
EP3287867A1 (en) * 2016-08-26 2018-02-28 Nokia Technologies Oy Audio processing
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US20200228911A1 (en) * 2019-01-16 2020-07-16 Roblox Corporation Audio spatialization
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US12009938B2 (en) 2022-07-20 2024-06-11 Katmai Tech Inc. Access control in zones
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US12022235B2 (en) 2022-07-20 2024-06-25 Katmai Tech Inc. Using zones in a three-dimensional virtual environment for limiting audio and video
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389700A (ja) * 1989-08-31 1991-04-15 Matsushita Electric Ind Co Ltd 音像定位方法
AU739924B2 (en) 1997-01-29 2001-10-25 Google Inc Method of transferring media files over a communications network
US6175842B1 (en) * 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
JP3560282B2 (ja) * 1999-02-08 2004-09-02 日本電信電話株式会社 マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
JP3534345B1 (ja) * 2002-10-22 2004-06-07 コナミ株式会社 ゲームプログラム及びゲーム装置
US20040085259A1 (en) * 2002-11-04 2004-05-06 Mark Tarlton Avatar control using a communication device
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP3772328B2 (ja) 2003-03-31 2006-05-10 株式会社光栄 ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体
US7503006B2 (en) * 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
AU2005234518A1 (en) * 2004-04-16 2005-10-27 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
JP2006094315A (ja) 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
US7577110B2 (en) * 2005-08-12 2009-08-18 University Of Southern California Audio chat system based on peer-to-peer architecture
CN101573991B (zh) * 2006-11-08 2011-08-03 杜比实验室特许公司 用于创建音频场景的设备和方法

Also Published As

Publication number Publication date
US8403751B2 (en) 2013-03-26
RU2009121548A (ru) 2010-12-20
BRPI0718711B1 (pt) 2019-09-24
KR101201695B1 (ko) 2012-11-15
RU2495538C2 (ru) 2013-10-10
KR101225475B1 (ko) 2013-01-23
EP2095679B1 (en) 2013-07-10
RU2449496C2 (ru) 2012-04-27
WO2008055305A1 (en) 2008-05-15
KR20090086585A (ko) 2009-08-13
AU2007317195A1 (en) 2008-05-15
CN102325299B (zh) 2014-03-12
CN102325299A (zh) 2012-01-18
US20100049346A1 (en) 2010-02-25
JP5563014B2 (ja) 2014-07-30
EP2095679A4 (en) 2011-10-19
JP2010509810A (ja) 2010-03-25
CA2667110C (en) 2014-01-14
CA2667110A1 (en) 2008-05-15
CN101573991A (zh) 2009-11-04
CN101573991B (zh) 2011-08-03
JP2012196465A (ja) 2012-10-18
JP4997291B2 (ja) 2012-08-08
HK1135269A1 (en) 2010-05-28
KR20120080647A (ko) 2012-07-17
RU2012100228A (ru) 2013-07-20
EP2095679A1 (en) 2009-09-02

Similar Documents

Publication Publication Date Title
BRPI0718711A2 (pt) Aparelhos e métodos para uso na criação de uma cena de áudio.
US10155164B2 (en) Immersive audio communication
US8152639B2 (en) Method and system for enhanced audio communications in an interactive environment
Gresham-Lancaster The aesthetics and history of the hub: The effects of changing technology on network computer music
JP3977405B1 (ja) ゲーム音出力装置、ゲーム音制御方法、および、プログラム
US20060247918A1 (en) Systems and methods for 3D audio programming and processing
JP4848362B2 (ja) オーディオ・シーンを生成する際に使用する装置及び方法
JP2008547290A5 (pt)
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
AU2006261594B2 (en) Immersive audio communication
Gresham-Lancaster The Aesthetics and History of the Hub: The Effects of Changing Technology

Legal Events

Date Code Title Description
B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]