BR112020021608A2

BR112020021608A2 - aparelho e método para renderização de um sinal de áudio para uma reprodução para um usuário

Info

Publication number: BR112020021608A2
Application number: BR112020021608-9A
Authority: BR
Inventors: Dominik HÄUSSLER; Frederick MELVILLE; Dennis ROSENBERGER; Stefan DÖHLA
Original assignee: Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date: 2018-04-24
Filing date: 2019-04-18
Publication date: 2021-01-26
Also published as: JP2021522720A; CN112335264B; WO2019206827A1; EP3785452B1; US11343634B2; EP3785452A1; CN112335264A; JP7157985B2; US20210044913A1; RU2759012C1

Abstract

Trata-se de um aparelho 10 para renderização de um sinal de áudio para uma reprodução para um usuário, em que o aparelho 10 é configurado para determinar informações acerca uma orientação de uma cabeça do usuário com uso de um sensor óptico 12; em que o aparelho 10 é configurado para determinar informações acerca de uma orientação do sinal óptico 12 com uso de um sensor de orientação 14 que é disposto em uma relação posicional predeterminada em relação ao sensor óptico 12; em que o aparelho 10 é configurado para considerar informações acerca da orientação do sensor óptico 12 ao determinar as informações acerca da orientação da cabeça; em que o aparelho 10 é configurado para realizar uma renderização espacial de um sinal de áudio dependendo das informações acerca da orientação da cabeça do usuário.

Description

Relatório Descritivo da Patente de Invenção “APARELHO E MÉTODO PARA

RENDERIZAÇÃO DE UM SINAL DE ÁUDIO PARA UMA REPRODUÇÃO PARA UM USUÁRIO”

[001] A presente invenção se refere a um aparelho para renderizar um sinal de áudio, mais especificamente, um aparelho que é configurado para realizar uma renderização espacial ou renderização de campo de som do sinal de áudio de comunicação acústica.

[002] Processamento de áudio espacial para renderização binaural de dados de áudio espacial foi amplamente adotado para uso de fone de ouvido em jogo de videogame e realidade virtual (VR), mas ainda é falho em outras aplicações, como comunicações de áudio, por exemplo, chamadas de voz, consumo de vídeo padrão e conferência (isto é, não 360 graus). Embora alguns aplicativos com o uso de renderização binaural estática de dados de áudio espacial existam, a aceitação de usuário parece limitada. A razão por trás disso é hipotetizada como sendo pelo fato de que áudio espacial deve ser convincente, informações de posição ao vivo da perspectiva do usuário devem ser ativamente aplicadas durante o processamento espacial. A fim de que o cérebro seja enganado de modo bem-sucedido, o áudio deve responder com baixa latência mesmo para o menor dos ajustes da posição de cabeça.

[003] Em uma chamada telefônica, o usuário (ou usuários)/participante (ou participantes) remoto pode ser apresentado como um mono-objeto (por participante/usuário), cada um com uma posição tridimensional exclusiva (por exemplo, que se propaga de modo horizontal na frente do participante/usuário como ouvinte) a fim de fornecer uma sensação realista do mesmo cômodo.

[004] As experiências de VR com fones de ouvido conseguem isso com o uso de dados de rastreamento de cabeça (por exemplo, na forma de ângulo de inclinação, ângulo de guinada, ângulo de rotação ou como quaternião) provenientes de unidades de medição inertes (IMU), incluindo dados de sensores, por exemplo, giroscópios e acelerômetros dentro do visor montado na cabeça do usuário (HMD). Se tais sensores forem comumente já constatados em fones de ouvido do consumidor, então,

aplicações diárias, como chamadas telefônicas, também poderiam se beneficiar de processamento espacial rastreado por cabeça, mas há atualmente muito poucos fones de ouvido independentes conhecidos com esses sensores integrados e ainda menos que tornam esses dados prontamente acessíveis para desenvolvedores.

[005] Por exemplo, com o uso do alimentador de vídeo de uma câmera para extrair dados de rastreamento de cabeça, e usar esses dados para renderização binaural de um sinal de áudio, já foi realizado em computadores do tipo desktop em combinação com a câmera MicrosoftTM KinectTM (consulte, Kronlacher, M. (2013). Ambisonics plug-in suite for production and performance usage. Encontrado em http://lac.linuxaudio.org/2013/papers/51.pdf, por exemplo). Além disso, extração de dados de rastreamento de cabeça do alimentador de vídeo de uma webcam comum também é conhecida (consulte, por exemplo, Lambers, 2017, https://github.com/marlam/webcam-head-tracker, e Face TrackNoir, 2010, https://git.marlam.de/gitweb/?p=webcam-head-tracker.git), mas os mesmos não propõem o uso da mesma para renderização espacial de um sinal de áudio. Ademais, o documento US 2009/0219224 A1 revela um sistema para renderizar um ambiente virtual em um aplicativo de multimídia que se refere a rastreamento de cabeça com dispositivo móvel e cenas visuais de áudio/vídeo adaptativas.

[006] No entanto, com as tecnologias conhecidas mencionadas acima consideradas, determinados problemas ainda não foram solucionados, por exemplo, como compensar o movimento do próprio sensor como uso em um cenário móvel dinâmico (por exemplo, usuário que caminha ou que está em um veículo em movimento).

[007] Desse modo, é um objetivo da presente invenção fornecer um conceito para ajuste de baixa latência e preciso para renderizar um sinal de áudio para uma reprodução para um usuário, realizado de modo robusto em uma variedade de cenários.

[008] Esse objetivo é alcançado pela matéria de um aparelho para renderizar um sinal de áudio para uma reprodução para um usuário, de acordo com a reivindicação

1, um método para renderizar um sinal de áudio para uma reprodução para um usuário, de acordo com a reivindicação 23, e um programa de computador, de acordo com a reivindicação 24, do presente pedido.

[009] De acordo com a presente invenção, um aparelho compreende um sensor óptico e um sensor de orientação para determinar uma posição de cabeça de um usuário. Portanto, um aparelho, por exemplo, um dispositivo, pode determinar a posição da cabeça do usuário ao referenciar a relação posicional entre o sensor óptico e o sensor de orientação e, consequentemente, é possível determinar de modo preciso a posição da cabeça do usuário. Além disso, com o uso da posição determinada de modo preciso da cabeça do usuário, é possível implantar um ajuste de baixa latência para a renderização espacial e aprimorar a experiência de usuário.

[010] De acordo com as modalidades do presente pedido, um aparelho para renderizar um sinal de áudio para uma reprodução para um usuário, em que o aparelho é configurado para determinar informações sobre uma orientação de uma cabeça do usuário com o uso de um sensor óptico, por exemplo, com o uso de uma câmera ou com o uso de um dispositivo de captura de imagem em movimento voltado para o usuário, e/ou com o uso de um sensor de profundidade e/ou com o uso de um sensor de face visual/rastreamento de cabeça, por exemplo, com o uso de dados capturados por câmera para rastreamento de cabeça; em que o aparelho é configurado para determinar informações sobre uma orientação do sensor óptico com o uso de um sensor de orientação, por exemplo, um giroscópio e/ou um sensor de campo magnético e/ou um sensor de gravidade e/ou um acelerômetro e/ou um sensor óptico, etc., que é disposto em uma relação posicional predeterminada, por exemplo, relação mecânica em relação ao sensor óptico, por exemplo, para possibilitar que o aparelho esteja ciente de sua posição e/ou orientação em um “mundo real” ou em um sistema de coordenadas fixas à Terra; em que o aparelho é configurado para considerar as informações acerca da orientação do sensor óptico quando determina as informações acerca da orientação da cabeça, por exemplo, para obter pelo menos um parâmetro acerca da orientação da cabeça em relação a um sistema de coordenadas fixas à Terra, substancialmente independente de uma orientação atual do sensor óptico ou da orientação do aparelho que transporta ou compreende o sensor óptico; em que o aparelho é configurado para realizar uma renderização espacial de um sinal de áudio, por exemplo, para reprodução para o usuário por meio de um sistema de alto falante ou por meio de um fone de ouvido que está em comunicação com o aparelho, dependendo das informações acerca da orientação da cabeça do usuário, por exemplo, para adaptar um ambiente de virtual áudio dependendo das informações acerca da orientação da cabeça do usuário.

[011] De acordo com as modalidades do presente pedido, o aparelho é configurado para realizar uma renderização binaural, por exemplo, para um fone de ouvido utilizado junto ao corpo pelo usuário, ou, por exemplo, de dados de áudio espacial, dependendo das informações acerca da orientação da cabeça do usuário, por exemplo, considerando um ângulo de guinada ou um ângulo de azimute entre uma direção frontal de cabeça do usuário (por exemplo, uma direção na qual os olhos ou nariz do usuário está apontando) e uma direção da cabeça do usuário em direção ao aparelho ou em direção ao sensor óptico incluído dentro do aparelho, ou em direção a um visor do aparelho, e/ou considerando um ângulo de rotação da cabeça do usuário, e/ou considerando um ângulo de inclinação da cabeça do usuário.

[012] De acordo com as modalidades do presente pedido, o aparelho compreende o sensor óptico, por exemplo, uma câmera ou um dispositivo de captura de imagem em movimento voltado para o usuário, e/ou um sensor de profundidade, em que o sensor óptico é disposto para rastrear uma cabeça do usuário, por exemplo, uma posição da face do usuário, por exemplo, quando o usuário está olhando para um visor do aparelho.

[013] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar, por exemplo, como uma parte de informações acerca da orientação da cabeça do usuário, informações de ângulo de guinada, por exemplo, um valor de ângulo ou uma matriz de rotação ou um quaternião, que descreve um ângulo entre uma direção frontal de cabeça da cabeça do usuário e uma posição do aparelho, ou, de modo equivalente, uma direção da cabeça do usuário para o aparelho ou para o sensor óptico; e/ou em que o aparelho é configurado para determinar, por exemplo, como uma parte das informações acerca da orientação da cabeça do usuário, informações de ângulo de rotação, por exemplo, um valor de ângulo ou uma matriz de rotação ou um quaternião que descrevem um ângulo de rotação da cabeça do usuário, por exemplo, em relação a uma direção vertical, por exemplo, em relação a uma direção de gravidade; e/ou em que o aparelho é configurado para determinar, por exemplo, como uma parte das informações acerca da orientação da cabeça do usuário, informações de ângulo de inclinação, por exemplo, um valor de ângulo ou uma matriz de rotação ou um quaternião, que descreve um ângulo de inclinação da cabeça do usuário, por exemplo, em relação a um alinhamento horizontal.

[014] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar, por exemplo, como uma parte de informações acerca da orientação da cabeça do usuário, informações de ângulo de guinada φ que descrevem um ângulo de guinada entre uma direção frontal de cabeça da cabeça do usuário e uma posição do aparelho de modo que as informações de ângulo de guinada descrevam um ângulo de azimute entre a direção frontal de cabeça da cabeça do usuário e uma direção da cabeça do usuário, por exemplo, de um centro da cabeça do usuário, para o aparelho, por exemplo, para o sensor óptico incluído no aparelho, por exemplo, de modo que as informações de ângulo de guinada descrevam uma posição azimutal do aparelho quando visualizada a partir da cabeça do usuário, levando em consideração a direção frontal de cabeça, isto é, a direção em direção na qual o usuário virou a cabeça ou a direção na qual o nariz do usuário está apontando.

[015] De acordo com as modalidades do presente pedido, o aparelho é configurado para pelo menos compensar ou corrigir parcialmente um desvio, por exemplo, ângulo φerro, entre a direção da cabeça do usuário para o aparelho e uma direção de um eixo geométrico óptico do sensor óptico, por exemplo, com o uso de um processamento de informações de imagens obtidas a partir do sensor óptico.

[016] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar, por exemplo, como uma parte das informações acerca da orientação da cabeça do usuário, informações de ângulo de rotação φ Rotação de cabeça que descrevem um ângulo de rotação da cabeça do usuário em relação a uma direção vertical, por exemplo, em relação a uma direção oposta de gravidade, também designada com “para cima” ou, por exemplo, em relação a um sistema de coordenadas fixas à Terra ou em relação a uma direção vertical fixada na Terra, ou em relação a uma direção frontal de cabeça, por exemplo, de modo que as informações de ângulo de rotação descrevam um ângulo de uma rotação da cabeça ao redor de um eixo geométrico orientado na direção frontal de cabeça, por exemplo, no caso de nenhuma inclinação, um ângulo entre um eixo geométrico vertical da cabeça do usuário e a direção vertical “para cima”, mas, de preferência, independente de um ângulo de rotação do aparelho ou do sensor óptico, em que as informações de ângulo de rotação da cabeça são usadas quando se realiza a renderização espacial.

[017] De acordo com as modalidades do presente pedido, o aparelho é configurado para pelo menos compensar parcialmente um ângulo de rotação φ Rotação de dispositivo do aparelho, ou do sensor óptico, por exemplo, em relação à direção vertical, com base nas informações acerca da orientação do sensor óptico quando determina as informações de ângulo de rotação que descrevem o ângulo de rotação da cabeça do usuário ou, opcionalmente, para pelo menos compensar parcialmente a (toda) orientação do aparelho ou do sensor óptico, por exemplo, de modo que a renderização espacial permaneça substancialmente inalterada se apenas o aparelho ou o sensor óptico for girado, mas a cabeça não alterar seu ângulo de rotação.

[018] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar, por exemplo, como uma parte das informações acerca da orientação da cabeça do usuário, informações de ângulo de inclinação φinclinação que descrevem um ângulo de inclinação da cabeça do usuário em relação a um alinhamento horizontal, por exemplo, em relação a um sistema de coordenadas fixas à Terra ou em relação a um plano horizontal fixado na Terra, por exemplo, de modo que as informações de ângulo de inclinação descrevam um ângulo de elevação da direção frontal de cabeça, mas, de preferência, independente de um ângulo de inclinação do aparelho ou do sensor óptico, em que as informações de ângulo de inclinação que descrevem o ângulo de inclinação da cabeça são usadas quando se realiza a renderização espacial.

[019] De acordo com as modalidades do presente pedido, o aparelho é configurado para pelo menos compensar parcialmente a orientação do aparelho ou do sensor óptico com base nas informações acerca da orientação do sensor óptico quando se determina as informações de ângulo de inclinação da cabeça do usuário, por exemplo, de modo que as informações de ângulo de inclinação determinadas representem um ângulo de inclinação da cabeça do usuário em relação a um plano horizontal fixado na Terra substancialmente independente da posição do aparelho que compreende o sensor óptico e substancialmente independente de um alinhamento ou rotação do aparelho que compreende o sensor óptico.

[020] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar as informações acerca da orientação da cabeça com base nas informações de sensores, de preferência, apenas de sensores, dispostos dentro do aparelho ou mecanicamente fixados ao aparelho, isto é, sem o uso de informações de quaisquer sensores fixados à cabeça do usuário ou a um fone de ouvido.

[021] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar as informações acerca da orientação da cabeça com base em informações de sensores dispostos dentro do aparelho ou mecanicamente fixados ao aparelho, e com base em um ou mais sensores adicionais que são externos ao aparelho, por exemplo, externos ao dispositivo eletrônico principal que compreende o sensor óptico e o sensor de orientação, em que o um ou mais sensores adicionais podem, por exemplo, ser dispostos em um fone de ouvido ou em auscultadores.

[022] De acordo com as modalidades do presente pedido, o aparelho é configurado para considerar informações dos sensores externos apenas se for constatado que as informações acerca da orientação da cabeça não podem ser obtidas de modo confiável, ou não podem ser obtidas de modo algum, com base nas informações do sensor óptico de modo que o um ou mais sensores adicionais sirvam como sensores reserva na determinação da orientação da cabeça do usuário quando a cabeça do usuário sai de um campo de visão do sensor óptico.

[023] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar uma direção frontal acústica, por exemplo, representada por um vetor; também indicado como um eixo geométrico frontal acústico, que é uma projeção de uma direção, por exemplo, representada por um vetor, da cabeça, por exemplo, de um centro da cabeça do usuário ou de um centro de gravidade da cabeça, para o aparelho, por exemplo, para o sensor óptico, em um plano horizontal, por exemplo, um plano perpendicular a uma direção de gravidade, em que, por exemplo, um desvio vertical entre o aparelho e um centro da cabeça do usuário é ignorado, a fim de manter um eixo geométrico de centro do ambiente de áudio virtual sempre nivelado com a cabeça do usuário, e em que o aparelho é configurado para realizar a renderização espacial do sinal de áudio dependendo da direção frontal acústica, por exemplo, para manter um ambiente de áudio virtual consistente.

[024] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar uma direção frontal acústica, por exemplo, representada por um vetor; também indicado como um eixo geométrico frontal acústico, que é uma direção, por exemplo, representada por um vetor, da cabeça, por exemplo, de um centro da cabeça do usuário ou de um centro de gravidade da cabeça, para o aparelho, por exemplo, para o sensor óptico, e em que o aparelho é configurado para realizar a renderização espacial do sinal de áudio dependendo da direção frontal acústica, por exemplo, para manter um ambiente de áudio virtual consistente.

[025] De acordo com as modalidades do presente pedido, o aparelho é configurado para proporcionar um centro de uma cena de áudio, por exemplo, um alto falante central, para ser ou estar perceptível na direção frontal acústica, por exemplo, de modo que a cena de áudio seja centralizada em uma direção determinada pela posição do aparelho, mas em um plano em uma altura da cabeça do usuário,

independentemente da possibilidade de o aparelho ser posicionado mais alto ou mais baixo que a cabeça do usuário.

[026] De acordo com as modalidades do presente pedido, o aparelho é configurado para determinar as informações de ângulo de inclinação que descrevem um ângulo de inclinação em relação à direção frontal acústica, por exemplo, de modo que o ângulo de inclinação seja o ângulo entre a direção frontal de cabeça e a direção frontal acústica.

[027] De acordo com as modalidades do presente pedido, o aparelho é configurado para manter i, eixo geométrico de centro de ambiente de áudio virtual nivelado com cabeça do usuário.

[028] De acordo com as modalidades do presente pedido, o aparelho é configurado para fazer com que uma diferença em altura entre a cabeça do usuário e o aparelho, por exemplo, o sensor óptico, seja desconsiderada quando determinar as informações sobre uma orientação da cabeça, por exemplo, determinando-se um ângulo de inclinação de cabeça do usuário em relação ao plano horizontal e/ou ignorando-se ou compensando-se pelo desvio vertical entre o aparelho e a cabeça do usuário.

[029] De acordo com as modalidades do presente pedido, o aparelho é portátil e/ou em que o aparelho é um dispositivo de comunicação móvel, por exemplo, um telefone móvel.

[030] De acordo com as modalidades do presente pedido, o aparelho é configurado para realizar uma renderização espacial de múltiplos sinais de áudio que representam contribuições de áudio de uma pluralidade de participantes de uma conferência de áudio ou de uma conferência de áudio/vídeo, e/ou em que o aparelho é configurado para realizar uma renderização espacial de uma difusão, ou conteúdo em mídia de armazenamento local, ou conteúdo de áudio transmitido continuamente, que pode opcionalmente acompanhar um conteúdo de vídeo que é renderizado em um visor do aparelho.

[031] De acordo com as modalidades do presente pedido, o aparelho é configurado para obter informações nas quais posição azimutal, por exemplo, em referência a um visor do aparelho, e nas quais altura ou elevação, por exemplo, em relação à cabeça do usuário, um conteúdo de áudio deve ser renderizado, e em que o aparelho é configurado para determinar informações sobre uma posição azimutal do aparelho da perspectiva do usuário, por exemplo, ângulo de guinada ou informações de ângulo de guinada, com o uso de informações do sensor óptico e das informações acerca da orientação do sensor óptico; e em que o aparelho é configurado para determinar um parâmetro acerca da orientação da cabeça em relação a um sistema de coordenadas fixas à Terra, por exemplo, um parâmetro de inclinação ou um parâmetro de rotação, com o uso das informações do sensor óptico e das informações acerca da orientação do sensor óptico; e em que o aparelho é configurado para proporcionar o conteúdo de áudio com o uso das informações sobre a posição azimutal e o parâmetro acerca da orientação da cabeça em relação ao sistema de coordenadas fixas à Terra e, opcionalmente, também com o uso de um parâmetro que descreve um ângulo entre uma orientação do aparelho e uma direção da cabeça do usuário para o aparelho.

[032] De acordo com as modalidades do presente pedido, um método para renderizar um sinal de áudio para uma reprodução para um usuário, em que o método compreende determinar informações sobre uma orientação de uma cabeça do usuário com o uso de um sensor óptico, por exemplo, com o uso de uma câmera ou com o uso de um dispositivo de captura de imagem em movimento voltado para o usuário, e/ou com o uso de um sensor de profundidade e/ou com o uso de um sensor de face visual/rastreamento de cabeça, por exemplo, com o uso de dados capturados por câmera para rastreamento de cabeça; em que o método compreende determinar informações sobre uma orientação do sensor óptico com o uso de um sensor de orientação, por exemplo, um giroscópio e/ou um sensor de campo magnético e/ou um sensor de gravidade e/ou um acelerômetro e/ou um sensor óptico, etc., que é disposto em uma relação posicional predeterminada, por exemplo, relação mecânica, em relação ao sensor óptico, por exemplo, para possibilitar que o aparelho esteja ciente de sua posição e/ou orientação em um “mundo real” ou em um sistema de coordenadas fixas à Terra; em que o método compreende considerar as informações acerca da orientação do sensor óptico quando determinar as informações acerca da orientação da cabeça, por exemplo, para obter pelo menos um parâmetro acerca da orientação da cabeça em relação a um sistema de coordenadas fixas à Terra, substancialmente independente de uma orientação atual do sensor óptico ou da orientação do aparelho que transporta ou que compreende o sensor óptico; em que o método compreende realizar uma renderização espacial de um sinal de áudio, por exemplo, para reprodução para o usuário por meio de um sistema de alto falante ou por meio de um fone de ouvido que está em comunicação com o aparelho, dependendo das informações acerca da orientação da cabeça do usuário, por exemplo, para adaptar um ambiente de áudio virtual dependendo das informações acerca da orientação da cabeça do usuário.

[033] Aspectos vantajosos do presente pedido são a matéria das reivindicações dependentes. Modalidades preferenciais do presente pedido são descritas abaixo em relação às Figuras, dentre as quais: A Figura 1 mostra uma ilustração esquemática que descreve um exemplo de um aparelho para renderizar um sinal de áudio para uma reprodução para um usuário de acordo com uma modalidade do presente pedido; A Figura 2 mostra um diagrama de blocos que ilustra um exemplo do aparelho para renderizar um sinal de áudio para uma reprodução para um usuário de acordo com modalidades do presente pedido; A Figura 3 mostra uma ilustração esquemática que descreve uma implantação exemplificativa de conferência imersiva com o uso do aparelho de acordo com uma modalidade do presente pedido; A Figura 4 mostra uma ilustração esquemática que descreve um exemplo de movimento de usuário de acordo com uma modalidade do presente pedido; A Figura 5 mostra uma ilustração esquemática que descreve um exemplo de uma relação entre uma orientação do aparelho e uma orientação de uma cabeça do usuário em um ângulo de rotação de acordo com uma modalidade do presente pedido; A Figura 6 mostra uma ilustração esquemática que descreve um exemplo de uma relação entre uma orientação do aparelho e uma orientação de uma cabeça do usuário em um ângulo de guinada de acordo com uma modalidade do presente pedido; A Figura 7 mostra uma ilustração esquemática que descreve um exemplo de uma relação entre uma orientação do aparelho e uma orientação de uma parte frontal acústica em um ângulo de inclinação de acordo com uma modalidade do presente pedido; e A Figura 8 mostra um fluxograma para um exemplo de um método para renderizar um sinal de áudio para uma reprodução para um usuário implantado pelo aparelho mostrado na Figura 2 de acordo com as modalidades do presente pedido.

[034] Elementos iguais ou equivalentes ou elementos com funcionalidade igual ou equivalente são denotados na descrição a seguir por numerais de referência iguais ou equivalentes.

[035] Na descrição a seguir, uma pluralidade de detalhes é apresentada para fornecer uma explicação mais completa de modalidades do presente pedido. Entretanto, será evidente para um indivíduo versado na técnica que as modalidades do presente pedido podem ser praticadas sem esses detalhes específicos. Em outros exemplos, estruturas e dispositivos bem conhecidos são mostrados em forma de diagrama de blocos em vez de em detalhes para evitar obscurecer as modalidades do presente pedido. Além disso, os recursos das diferentes modalidades descritas doravante podem ser combinados uns com os outros, a menos que especificamente mencionado de outro modo.

[036] A Figura 1 ilustra uma modalidade do aparelho 2, que compreende uma câmera voltada para parte frontal 4, para renderizar um sinal de áudio para uma reprodução para um usuário que usa junto ao corpo um fone de ouvido 6. Como descrito na Figura 1, a face do usuário é direcionada para a câmera voltada para a parte frontal 4 e um número de referência 4’ indica um campo de visão da câmera voltada para a parte frontal 4. Uma câmera de profundidade (por exemplo, com o uso de projeção infravermelha em combinação com sensores de profundidade infravermelhos para extrair o mapa de profundidade) também pode ser usada em vez, ou além, da câmera voltada para parte frontal 4. Nessa modalidade, o aparelho 2 é um dispositivo não móvel, isto é, um dispositivo estacionário.

[037] A câmera voltada para parte frontal 4 (por exemplo, um sensor óptico) é usada para rastrear a posição (e/ou orientação) da face do usuário, as informações posicionais (e/ou informações acerca da orientação) são (opcionalmente) transformadas para serem a partir da perspectiva do usuário em vez da perspectiva da câmera e, finalmente, esses dados posicionais são aplicados durante o processamento de áudio espacial. De modo alternativo, o aparelho 2 compreende ainda um sensor de orientação, por exemplo, um giroscópio que ajuda a rastrear a orientação da face do usuário. Ou seja, mesmo se o dispositivo estacionário não alterar a posição, uma superfície voltada para a parte frontal do dispositivo estacionário, por exemplo, visor pode ser giratório. Consequentemente, uma orientação do dispositivo estacionário pode ser também alterável e, portanto, no caso de o visor do dispositivo estacionário ser giratório, pelo menos um sensor de orientação é necessário para determinar de modo preciso informações acerca de uma orientação de uma cabeça de usuário em relação com a posição (orientação) do dispositivo.

[038] Todo o ambiente é definido pela relação entre o dispositivo (aparelho) e a cabeça do usuário, em que o processamento ativo ocorre quando o usuário está dentro do campo de visão da câmera 4’.

[039] Avanços recentes em tecnologia de realidade aumentada (AR), tanto hardware quanto software, tornam esses processos de transformação e rastreamento mais acessíveis. O resultado é que o áudio pode usar processamento espacial em 3D para complementar a cena visual, com rastreamento de cabeça para aprimorar o efeito geral.

[040] A Figura 2 mostra um diagrama esquemático do aparelho estacionário (dispositivo), bem como o aparelho móvel (dispositivo) 10 que compreende um sensor óptico 12, por exemplo, uma câmera, um sensor de orientação 14, por exemplo, um giroscópio, um gerador de informações acerca da orientação da cabeça 16 e um núcleo de renderização espacial (binaural) 18. O sensor de orientação 14 é disposto em uma relação posicional predeterminada em relação ao sensor óptico 12. O dispositivo representado na Figura 2 é o dispositivo estacionário e também o dispositivo móvel. O dispositivo de Figura 2 pode incluir ainda ou opcionalmente um visor, um alto falante, uma antena, um transmissor de dados, um microfone, etc.

[041] No caso de um dispositivo estacionário (por exemplo, monitor do tipo desktop) como mostrado na Figura 1, quando o usuário gira sua cabeça ligeiramente na direção contrária da tela, a cena do vídeo (o dispositivo/aparelho) permanece na mesma posição e, portanto, a cena de áudio também deve permanecer fixa, alcançada aplicando-se dados de rotação de cabeça, provenientes de sensores montados em fone de ouvido ou câmeras estacionárias e que compensam pelo movimento. isso adiciona um novo grau de realismo devido ao fato de que a cena de áudio reage como o usuário está acostumado na vida real.

[042] No caso de um dispositivo móvel (um aparelho móvel), a mesma lógica, como descrito acima, se aplica quando o dispositivo móvel é estacionário. No entanto, com essa configuração, o presente pedido também leva em consideração de modo conveniente o movimento tanto do usuário quanto de seu dispositivo em espaço livre, que deve ser esperado com dispositivos móveis. Isso necessita do uso de sensores adicionais (por exemplo, um ou mais sensores de orientação) dentro do dispositivo (por exemplo, acelerômetro ou giroscópio integrado ou câmeras integradas ou qualquer combinação dos mesmos) para possibilitar que o dispositivo esteja ciente de sua posição (e/ou orientação) no mundo real (por exemplo, em relação a um sistema de coordenadas fixas à Terra). Como mencionado acima, no caso de o visor ou superfície do dispositivo estacionário ser giratório, o uso de sensor adicional, por exemplo, um ou mais sensores de orientação dentro do dispositivo é necessário.

[043] O seguinte descreve o caso de dispositivo móvel em detalhes e porque o aparelho de acordo com o presente pedido fornece vantagens práticas no caso do dispositivo móvel com o uso de dados de sensores integrados em fones de ouvido.

[044] As modalidades desse último caso, especialmente usando-se dados capturados por câmera para rastreamento de cabeça, permitem grandes aprimoramentos em qualidade de áudio e experiências gerais de usuário facilitando- se áudio espacial verdadeiro e o faz de modo robusto em uma faixa de ambientes móveis.

[045] Isso será particularmente benéfico, por exemplo, para chamadas de vídeo face a face e consumo de vídeo (por exemplo, som surround), em que a necessidade por processamento espacial é evidente, mas o método de aplicar o mesmo ainda não está consolidado no mercado.

[046] O uso do aparelho de acordo com o presente pedido não é limitado a casos de uso de vídeo, mas também traria qualidade de áudio aprimorada para aplicativos apenas de áudio, como chamadas de voz ou reprodução de áudio 3D, em que um vídeo localmente capturado é usado para rastreamento de cabeça, mas pode ser descartado tão logo os dados de rastreamento de cabeça tenham sido extraídos.

[047] A Figura 3 ilustra esquematicamente uma implantação exemplificativa de conferência imersiva, que mostra o usuário local por meio de sua câmera voltada para parte frontal e uma representação de sobrecarga 2D de uma chamada de conferência com quatro participantes remotos. Linhas na face de usuário indicam uma posição azimutal de cabeça de usuário.

[048] No dispositivo móvel, é usada a câmera voltada para parte frontal e/ou sensor de profundidade, juntamente com sensores adicionais do dispositivo (por exemplo, acelerômetro e/ou giroscópio integrado) para obter conhecimento tanto da posição do dispositivo (e/ou orientação) e a posição (e/ou orientação) da cabeça do usuário dentro do mundo real (por exemplo, em relação a um sistema de coordenadas fixas à Terra ou em relação a uma direção de gravidade). Isso pode ser alcançado com estruturas de realidade aumentada existentes (AR), por exemplo, Apple's ARKitTM ou Google's ARCoreTM.

[049] Isso elimina a necessidade por sensores nos fones de ouvido, visto que o dispositivo pode, agora, fornecer os mesmos dados de rastreamento de cabeça. Uma desvantagem possível (mas tipicamente menor) com esse método é que o usuário deve estar (ou deveria estar) voltado para o sensor voltado para a parte frontal e dentro de seu campo de visão a fim de que os dados de rastreamento de cabeça estejam disponíveis. Para aplicativos, como de chamada de vídeo face a face ou consumo de vídeo, esse é quase certamente o caso de qualquer forma.

[050] No caso de o usuário dever temporariamente sair do campo de visão da câmera, opções (que podem ser opcionalmente implantadas) incluem permanecer no estado mais recente ou também devem ser triviais para o aplicativo retornar para um estado padrão (retornar valores de rotação de cabeça para posição de encaminhamento padrão, por exemplo). Ainda outra opção (que pode ser opcionalmente implantada) é usar dados de movimento de outros sensores, por exemplo, incluídos nos fones de ouvido, que seriam apenas usados para estimar uma posição de rastreamento de cabeça, se o usuário não estiver dentro do campo de visão da câmera. Deve ser observado que qualquer sensor externo (por exemplo um sensor que não é mecanicamente integrado ao aparelho, mas, por exemplo, fixado ao fones de ouvido ou ao corpo do usuário) seria menos ideal que um sensor dentro do dispositivo devido a atrasos de transmissão adicionais entre sensor externo e o dispositivo que limitam a imersão possível. Ou seja, o dispositivo, de preferência, compreende um ou mais de sensores ópticos, por exemplo, uma ou mais dentre câmeras e um ou mais dentre sensores de orientação, por exemplo, um ou mais de giroscópios.

[051] No entanto, o dispositivo de acordo com o presente pedido, isto é, o processamento espacial voltado para a parte frontal também oferece uma vantagem chave com o uso de dados de rastreamento de cabeça de sensores integrados em fones de ouvido. Por exemplo, considerando o cenário em que um usuário realiza uma chamada de vídeo com áudio espacial enquanto caminha pela rua, como mostrado na Figura 4, com seu dispositivo estando no comprimento do braço (consulte a Figura 4 (t1)), como é uma maneira comum de uso de chamadas de vídeo enquanto em movimento.

[052] Supostamente, então, os mesmos viram 90 graus ao redor de uma esquina de rua (t1, t2, t3, t4 da Figura 4). Nesse cenário, embora tanto o usuário quanto o telefone tenham girado em espaço de mundo real, a cena de áudio (uma fonte de monossomia no exemplo) permaneceria constante para o usuário, visto que a relação entre a posição da cabeça do usuário e a posição do telefone não foi alterada. O vetor, que se origina na cabeça do usuário e passa através da câmera do dispositivo, será denominado como a “parte frontal acústica” doravante nessa descrição (em que, opcionalmente, o espaçamento vertical entre a cabeça e a câmera pode ser desconsiderado). Isso (por exemplo, a direção da parte frontal acústica, que pode ser representada por um vetor) é a direção no espaço, em que, por exemplo, o alto falante central de um sinal de áudio 5.1 (som surround 5.1) seria renderizado.

[053] No caso em que dados de rastreamento de cabeça de sensores nos fones de ouvido são usados, esses sensores não podem deduzir automaticamente se a rotação foi da cabeça do usuário, ou seu corpo inteiro. Tecnicamente, seria possível comparar os valores de sensor dos dois dispositivos (sensores montados na cabeça e sensores de dispositivo) e o uso do cálculo comumente conhecido com o uso das respectivas orientações diferentes para compensar por esse efeito, mas isso seria provavelmente mais complicado e mais propenso a erro.

[054] Com o dispositivo, bem como o método proposto no presente documento, as informações posicionais e/ou de orientação são capturadas em um único ponto de referência - no dispositivo (também designado como “aparelho”). Também é fornecida uma experiência robusta de usuário em que outro movimento deve ser ignorado, como quando o usuário é um passageiro em um veículo em movimento. É compatível com qualquer fone de ouvido e facilmente implantado em dispositivos modernos que possuem suporte de realidade aumentada (AR).

[055] Estruturas de AR diferentes fornecem diferentes sistemas de coordenada para os desenvolvedores de aplicativo; consequentemente, esse documento define o comportamento esperado independentemente da estrutura escolhida.

[056] Para o comportamento proposto, por exemplo, apenas os movimentos e rotações que são considerados benéficos para a experiência de usuário são fornecidos para o renderizador espacial, os movimentos e rotações remanescentes são negados por meio de compensação.

[057] A seguir, diferentes recursos e funcionalidades serão descritos, que podem ser usados individualmente ou em combinação.

[058] Como mostrado na Figura 5, a orientação do dispositivo (ou aparelho) 10 pode nem sempre se alinhar com o eixo geométrico para cima (por exemplo, uma direção vertical, oposta à direção de gravidade), especialmente quando o usuário está andando. O aplicativo deve garantir que a estrutura de AR compensa pelo ângulo de rotação de dispositivo, então, o mesmo não é usado para proporcionar o sinal de áudio. Apenas o ângulo de rotação de cabeça deve ser usado para configurar o renderizador espacial (que pode, por exemplo, realizar a renderização espacial). De outro modo, a cena de áudio seria girada ainda que o usuário não gire a cabeça.

[059] A parte frontal acústica é definida, por exemplo, mostrada na Figura 5, conforme o vetor entre a cabeça do usuário e a câmera do dispositivo 10 (em que, opcionalmente, o espaçamento vertical entre a cabeça e a câmera pode ser desconsiderado, de modo que, por exemplo, a parte frontal acústica seja um vetor ou direção horizontal). A Figura 5 (a) representa o cenário em que a orientação do dispositivo se alinha com o vetor de parte frontal acústica. Nesse caso, o ângulo entre vetor de “parte frontal de cabeça” e vetor de “orientação de dispositivo” são idênticos ao ângulo de guinada correto. Mas, uma vez que a orientação de dispositivo se altera, como mostrado na Figura 6 (b), o uso desse ângulo ocasionaria um valor de guinada errôneo nos dados de rotação de cabeça usados para a renderização espacial. Ou seja, um desvio, o ângulo φerro, entre a direção da cabeça do usuário para o aparelho e uma direção de um eixo geométrico óptico do sensor óptico, é compensado ou corrigido, por exemplo, usando-se um processamento de informações de imagem obtidas a partir do sensor óptico. Em conformidade, o dispositivo pode, por exemplo, determinar φerro e, consequentemente, determinar um ângulo de guinada correto.

[060] A Figura 7 representa duas vistas laterais do usuário com o dispositivo e o ângulo de inclinação dos dados de rotação de cabeça. Em oposição ao ângulo de guinada na Figura 6, para determinar o ângulo de inclinação nem a posição do dispositivo, nem sua rotação são usadas (ou refletidas em um resultado final). Ou seja, no caso de a posição ou a orientação do dispositivo ser alterada, o vetor da parte frontal acústica não é alterado. A parte frontal acústica é, por exemplo, sempre um vetor em um ângulo de 90 graus para o eixo geométrico para cima (por exemplo, pode se encontrar em um plano horizontal) e o ângulo de inclinação, por exemplo, sempre se refere ao ângulo entre a parte frontal de cabeça de vetor e a parte frontal acústica. Por exemplo, o dispositivo (ou aparelho) pode determinar o ângulo de inclinação com base nessas considerações ou restrições.

[061] Dessa maneira, um objeto de mono áudio com zero elevação é espacialmente renderizado em nível de olho do usuário. Usar o vetor “dispositivo de cabeça” em vez de “parte frontal acústica” para determinar o ângulo de inclinação, como indicado na Figura 7, faria com que tal objeto de áudio fosse fixado ao dispositivo. Para um sinal de áudio 5.1, isso faria com que os alto falantes posteriores obtivessem elevação quando o usuário segura seu telefone abaixo do nível de olho, que é uma experiência de usuário degradada em comparação com a solução proposta.

[062] A Figura 8 mostra um fluxograma para um exemplo de um método para renderizar um sinal de áudio para uma reprodução para um usuário implantado pelo aparelho mostrado na Figura 2 de acordo com as modalidades do presente pedido. Como indicado na Figura 7, o método compreende uma etapa de determinar informações acerca de uma orientação de uma cabeça do usuário com o uso de um sensor óptico (S10). Ou seja, as informações sobre a orientação da cabeça do usuário são determinadas usando-se um sensor óptico 12, por exemplo, com o uso de uma câmera ou com o uso de um dispositivo de captura de imagem em movimento voltado para o usuário, e/ou com o uso de um sensor de profundidade e/ou com o uso de um sensor de face visual/rastreamento de cabeça, por exemplo, com o uso de dados capturados por câmera para rastreamento de cabeça.

[063] Uma etapa de determinar informações acerca de uma orientação do sensor óptico 12 com o uso de um sensor de orientação 14 é executada (S12). Ou seja, por exemplo, as informações acerca de uma orientação do sensor óptico 12 são determinadas usando-se um giroscópio e/ou um sensor de campo magnético e/ou um sensor de gravidade e/ou um acelerômetro e/ou um sensor óptico, etc., que é disposto em uma relação posicional predeterminada, por exemplo, relação mecânica, em relação ao sensor óptico 12, por exemplo, para possibilitar que o aparelho esteja ciente de sua posição e/ou orientação em um “mundo real” ou em um sistema de coordenadas fixas à Terra.

[064] A seguir, uma etapa de considerar as informações sobre a orientação do sensor óptico 12 quando determinar as informações sobre a orientação da cabeça do usuário é executada (S14). Ou seja, por exemplo, para obter pelo menos um parâmetro acerca da orientação da cabeça do usuário em relação a um sistema de coordenadas fixas à Terra, substancialmente independente de uma orientação atual do sensor óptico 12 ou da orientação do aparelho 10 que transporta ou que compreende o sensor óptico 12.

[065] Então, uma etapa de realizar uma renderização espacial de um sinal de áudio é executada (S16). Ou seja, por exemplo, para reprodução para o usuário por meio de um sistema de alto falante ou por meio de um fone de ouvido que está em comunicação com o aparelho 10, dependendo das informações acerca da orientação da cabeça do usuário, por exemplo, para adaptar um ambiente de áudio virtual dependendo das informações acerca da orientação da cabeça do usuário.

[066] A solução proposta combina tecnologias existentes com uma parte frontal acústica recém-definida que torna um ambiente virtual ideal para comunicação móvel e consumo de mídia, e fornece aprimoramentos em relação ao estado atual da técnica ao ser:

[067] Verdadeiramente Imersiva: Um novo nível de imersão pode ser alcançado pelo aparelho proposto ou o método proposto de acordo com o presente pedido com o uso de ajustes de baixa latência ao processamento de áudio espacial, mesmo para o menor dos movimentos de cabeça, permitindo processamento espacial mais realista (não atualmente realizado em telefonia, nem mesmo em aplicativos de conferência que já usam processamento espacial sem um HMD).

[068] Robusta enquanto 'Em Movimento': A parte frontal acústica adaptativo permite que tanto o usuário quanto o dispositivo móvel se movam ao redor enquanto mantêm a experiência de usuário ideal (rotações de cabeça desejáveis) independente dos movimentos e rotações do dispositivo (movimentos simultâneos no mundo real). No método proposto dentro de (WAVES-AUDIO-LTD, 2017) isso é alcançado combinando-se conjuntos de dados de dois grupos de sensor distintos (em que um grupo de sensor é uma peça de hardware que contém um ou mais sensores) que podem girar independentemente (por exemplo, uma IMU na cabeça, uma IMU separado no torso). Essa solução proposta aprimora isso ao permitir a mesma ou melhor funcionalidade, mas com o uso de apenas um grupo de sensor (por exemplo, terminal móvel, que pode ser considerado como um “dispositivo” ou como um “aparelho”), reduzindo, dessa maneira, erros potenciais desse processo de combinar conjuntos de dados de objetos que se movem independentemente.

[069] Acessível em hardware comum: Todo o acima obtenível atualmente sem um HMD, mas em vez de hardware de consumidor comumente disponível (por exemplo um dispositivo móvel e compatível com qualquer par de fones de ouvido estéreo) em uma maneira que é simplesmente não atualmente realizada em qualquer lugar.

[070] A seguir, algumas ideias inerentes às modalidades da presente invenção serão brevemente resumidas. No entanto, deve ser observado que as considerações gerais, recursos, funcionalidades e detalhes descritos a seguir podem ser opcionalmente introduzidos em qualquer uma das modalidades, tanto individualmente quanto tomados em combinação.

[071] As modalidades criam uma Parte Frontal Acústica Adaptativa para Aplicativos de Áudio Imersivos com o uso de uma Câmera voltada para a Parte Frontal do Dispositivo Móvel.

[072] As modalidades de acordo com a presente invenção criam um método para alcançar os benefícios de processamento de áudio espacial com o uso de uma combinação inovadora de tecnologias existentes. Esse método envolve um ambiente de consumidor típico de um usuário que usa junto ao corpo fones de ouvido e um dispositivo com uma câmera voltada para parte frontal. A câmera voltada para parte frontal é usada para rastrear a posição da face do usuário, as informações posicionais são transformadas para estarem na perspectiva do usuário em vez de da câmera e, finalmente, esses dados posicionais são aplicados durante o processamento de áudio espacial. O resultado é que o áudio pode usar processamento espacial em 3D para complementar a cena visual, com rastreamento de cabeça para aprimorar o efeito geral. Todo o ambiente é definido pela relação entre o dispositivo e a cabeça do usuário, em que o processamento ativo ocorre quando o usuário está dentro do campo de visão da câmera. Esse método pode, por exemplo, ser aplicado para aprimorar a imersão de aplicativos de consumo de mídia e comunicação.

[073] De acordo com as modalidades do presente pedido, a posição e a orientação da cabeça do usuário (a posição de cabeça) são determinadas usando-se sensores dentro do aparelho apenas. Em outras palavras, a posição de cabeça é determinada sem quaisquer informações do dispositivo que pode ser montado na cabeça, por exemplo, um visor montado na cabeça, um fone de ouvido ou um auscultador, fixado ao usuário. Portanto, não é necessário transmitir quaisquer dados relacionados à posição de cabeça entre o dispositivo de usuário e o aparelho para determinar a posição de cabeça e, consequentemente, é possível determinar de modo preciso a posição de cabeça, visto que não há erro de transmissão relacionado aos dados de posição de cabeça.

[074] De acordo com as modalidades do presente pedido, os sensores estão localizados apenas no aparelho, isto é, não é necessário incluir quaisquer sensores para detectar a posição de cabeça dentro do dispositivo de usuário. Portanto, é possível reduzir um peso do dispositivo de usuário (por exemplo, sensores, baterias para fornecer energia para os sensores etc.) e para aprimorar conforto de vestimenta junto ao corpo do usuário. Isso também significa que o presente pedido é imediatamente compatível com fones de ouvido existentes.

[075] Em um primeiro aspecto, um sistema (ou aparelho) para renderizar um ambiente de áudio virtual em uma aplicação de multimídia que compreende: a) um dispositivo eletrônico com um sensor de captura de imagem móvel voltado para o usuário, b) sensores que fornecem a capacidade para determinar orientação do dispositivo de captura de imagem descrito em a), c) um sistema de alto falante com capacidade de reproduzir um sinal de áudio espacial [opcional], d) um controlador que extrai dados de rotação de cabeça da sequência de imagens capturadas por a) e, além disso, aplica esses dados ao ambiente de áudio virtual desejado e fornece a emissão renderizada para o sistema de alto falante descrito em c).

[076] Em um segundo aspecto, o dispositivo eletrônico é portátil. Em um terceiro aspecto, o dispositivo eletrônico tem um visor eletrônico. Em um quarto aspecto, um sensor de profundidade é usado em vez de/além do sensor de captura de imagem móvel voltado para o usuário. Em um quinto aspecto, o sistema de alto falante é um fone de ouvido em comunicação com o dispositivo eletrônico.

[077] Em um sexto aspecto, um sensor (ou sensores) adicional externo ao dispositivo eletrônico principal é usado para fornecer orientação adicional ou dados posicionais da cabeça do usuário para o controlador. Em um sétimo aspecto, um método para renderizar um ambiente de áudio virtual com o uso de um sistema que compreende qualquer combinação do primeiro ao sexto aspectos, em que a orientação de cabeça do usuário e dados posicionais são usados para adaptar o ambiente de áudio virtual em conformidade.

[078] Em um oitavo aspecto, qualquer desvio indesejado em orientação ou dados posicionais do dispositivo eletrônico é compensado em relação à orientação de cabeça do usuário e dados posicionais a fim de manter um ambiente de áudio virtual consistente.

[079] Em um novo aspecto, um método define um eixo geométrico de “parte frontal acústica” como o vetor de direção do centro da cabeça do usuário em direção ao dispositivo móvel enquanto o dispositivo tem capacidade de determinar a orientação de cabeça do usuário ou posição com o uso do sensor de face visual/rastreamento de cabeça, e usa esse eixo geométrico para manter um ambiente de áudio virtual consistente.

[080] Em um décimo aspecto, a orientação de cabeça do usuário e dados posicionais são usados para adaptar o ambiente de áudio virtual em conformidade, exceto pelo fato de que o desvio vertical entre o dispositivo e o centro da cabeça do usuário é ignorado a fim de manter o eixo geométrico de centro do ambiente de áudio virtual sempre nivelado com cabeça do usuário.

[081] Em um décimo primeiro aspecto, o ambiente de áudio virtual consiste em áudio transportado de um participante remoto (ou pluralidade de participantes) renderizado como objetos de áudio em uma chamada de conferência de comunicação duplex em tempo real, com áudio local capturado e transmitido para participantes remotos.

[082] Em um décimo segundo aspecto, o ambiente de áudio virtual consiste em conteúdo de áudio produzido destinado para difusão/transmissão contínua. Em um décimo terceiro e um décimo quatro aspectos, elemento (ou elementos) de vídeo é renderizado além do conteúdo de áudio.

[083] Em um décimo quinto aspecto, o método é implantado em um dispositivo de computação móvel. Em um décimo sexto aspecto, o ambiente de áudio virtual retorna para um estado padrão quando não é possível determinar a orientação de cabeça do usuário ou posição.

[084] Em um décimo sétimo aspecto, o rastreamento da face do usuário/cabeça é aprimorado com o uso de dados do sensor (ou sensores) externo descrito na reivindicação 6, para permitir manutenção do ambiente de áudio virtual quando não é possível determinar a orientação de cabeça do usuário ou posição com o uso do sensor de face visual/rastreamento de cabeça apenas.

[085] Embora alguns aspectos tenham sido descritos no contexto de um aparelho, é evidente que esses aspectos também representam uma descrição do método correspondente, em que um bloco ou um dispositivo corresponde a uma etapa do método ou um recurso de uma etapa do método. De modo análogo, os aspectos descritos no contexto de uma etapa do método também representam uma descrição de um bloco ou item ou recurso correspondente de um aparelho correspondente. Algumas ou todas as etapas do método podem ser executadas por (ou com o uso de) um aparelho de hardware, como, por exemplo, um microprocessador, um computador programável ou um circuito eletrônico. Em algumas modalidades, uma ou mais das etapas mais importantes do método podem ser executadas por tal aparelho.

[086] O fluxo de dados inventivo pode ser armazenado em uma mídia de armazenamento digital ou pode ser transmitido em uma mídia de transmissão, como uma mídia de transmissão sem fio ou uma mídia de transmissão com fio, como a Internet.

[087] Dependendo de determinados requisitos de implantação, as modalidades do pedido podem ser implantadas em hardware ou em software. A implantação pode ser realizada com o uso de uma mídia de armazenamento digital, por exemplo, um disquete, um DVD, um Blue-Ray, um CD, um ROM, um PROM, um EPROM, um EEPROM ou uma memória FLASH, que têm sinais de controle eletronicamente legíveis armazenados nos mesmos, que cooperam (ou têm capacidade para cooperar) com um sistema de computador programável de modo que o respectivo método seja realizado. Portanto, a mídia de armazenamento digital pode ser legível por computador.

[088] Algumas modalidades de acordo com a invenção compreendem uma portadora de dados que tem sinais de controle eletronicamente legíveis, que tem capacidade de cooperar com um sistema de computador programável, de modo que um dentre os métodos descritos no presente documento seja executado.

[089] Em geral, as modalidades da presente invenção podem ser implantadas como um produto de programa de computador com um código de programa, em que o código de programa é operacional para realizar um dentre os métodos quando o produto de programa de computador é executado em um computador. O código de programa pode ser armazenado, por exemplo, em uma portadora legível por máquina.

[090] Outras modalidades compreendem um programa de computador para realizar um dos métodos descritos no presente documento, armazenado em uma portadora legível por máquina.

[091] Em outras palavras, uma modalidade do método inventivo é, portanto, um programa de computador que tem um código de programa para realizar um dos métodos descritos no presente documento, quando o programa de computador é executado em um computador.

[092] Uma modalidade adicional do método inventivo é, portanto, uma portadora de dados (ou uma mídia de armazenamento digital ou uma mídia legível por computador) que compreende, armazenado na mesma, o programa de computador para realizar um dos métodos descritos no presente documento. A portadora de dados, a mídia de armazenamento digital ou a mídia registrada são, tipicamente, tangíveis e/ou não transitórias.

[093] Uma modalidade adicionalmente do método inventivo é, portanto, um fluxo de dados ou uma sequência de sinais que representa o programa de computador para realizar um dos métodos descritos no presente documento. O fluxo de dados ou a sequência de sinais pode, por exemplo, ser configurada para ser transferida por meio de uma conexão de comunicação de dados, por exemplo, por meio da internet.

[094] Uma modalidade adicional compreende meios de processamento, por exemplo, um computador ou um dispositivo de lógica programável, configurados ou adaptados para realizar um dos métodos descritos no presente documento.

[095] Uma modalidade adicional compreende um computador que tem instalado no mesmo o programa de computador para realizar um dos métodos descritos no presente documento.

[096] Uma modalidade adicional, de acordo com a invenção, compreende um aparelho e um sistema configurados para transferir (por exemplo, de modo eletrônico ou óptico) um programa de computador para realizar um dos métodos descritos no presente documento para um receptor. O receptor pode, por exemplo, ser um computador, um dispositivo móvel, um dispositivo de memória ou similares. O aparelho ou sistema podem compreender, por exemplo, um servidor de arquivo para transferir o programa de computador para o receptor.

[097] Em algumas modalidades, um dispositivo de lógica programável (por exemplo, um arranjo de portas programável em campo) pode ser usado para realizar algumas ou todas as funcionalidades dos métodos descritos no presente documento. Em algumas modalidades, um arranjo de portas programável em campo pode cooperar com um microprocessador a fim de realizar um dos métodos descritos no presente documento. De modo geral, os métodos são realizados, de preferência, por meio de qualquer aparelho de hardware.

[098] O aparelho descrito no presente documento pode ser implantado com o uso de um aparelho de hardware, ou com o uso de um computador, ou com o uso de uma combinação de um aparelho de hardware e um computador.

[099] O aparelho descrito no presente documento, ou quaisquer componentes do aparelho descrito no presente documento, pode ser implantado pelo menos parcialmente em hardware e/ou em software.

Claims

REIVINDICAÇÕES

1. Aparelho (10) para renderização de um sinal de áudio para uma reprodução para um usuário, sendo que o aparelho é caracterizado por (10) ser configurado para determinar informações acerca de uma orientação de uma cabeça do usuário com uso de um sensor óptico (12); em que o aparelho (10) é configurado para determinar informações acerca de uma orientação do sensor óptico (12) em um sistema de coordenadas fixas à Terra com uso de um sensor de orientação (14) que é disposto em uma relação posicional predeterminada em relação ao sensor óptico (12); em que o aparelho (10) é configurado para considerar as informações acerca da orientação do sensor óptico (12) ao determinar as informações acerca da orientação da cabeça ao obter pelo menos um parâmetro acerca da orientação da cabeça em relação a sistema de coordenadas fixas à Terra, substancialmente independente de uma orientação comum do sensor óptico (12) ou da orientação do aparelho (10) que transporta ou que compreende o sensor óptico (12); em que o aparelho é configurado para realizar uma renderização espacial de um sinal de áudio dependendo das informações acerca da orientação da cabeça do usuário.

2. Aparelho (10), de acordo com a reivindicação 1, sendo que o aparelho é caracterizado por (10) ser configurado para realizar uma renderização binaural dependendo das informações acerca da orientação da cabeça do usuário.

3. Aparelho (10), de acordo com qualquer uma das reivindicações 1 ou 2, sendo que o aparelho é caracterizado por (10) compreender o sensor óptico (12), em que o sensor óptico (12) é disposto para rastrear uma cabeça do usuário.

4. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 3, sendo que o aparelho é caracterizado por (10) ser configurado para determinar informações de ângulo de guinada descrevendo um ângulo entre uma direção frontal de cabeça da cabeça do usuário e uma posição do aparelho (10); e/ou em que o aparelho (10) é configurado para determinar informações de ângulo de rotação descrevendo um ângulo de rotação da cabeça do usuário; e/ou em que o aparelho (10) é configurado para determinar informações de ângulo de inclinação descrevendo um ângulo de inclinação da cabeça do usuário.

5. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 4, sendo que o aparelho é caracterizado por (10) ser configurado para determinar informações de ângulo de guinada descrevendo um ângulo de guinada entre uma direção frontal de cabeça da cabeça do usuário e uma posição do aparelho (10) de modo que as informações de ângulo de guinada descrevam um ângulo azimutal entre a direção de cabeça frontal da cabeça do usuário e uma direção a partir da cabeça do usuário até o aparelho (10).

6. Aparelho (10), de acordo com a reivindicação 5, caracterizado por o aparelho (10) ser configurado para, pelo menos parcialmente, compensar um desvio entre a direção a partir da cabeça do usuário até o aparelho e uma direção de um eixo geométrico óptico do sensor óptico.

7. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 6, sendo que o aparelho é caracterizado por (10) ser configurado para determinar informações de ângulo de rotação descrevendo um ângulo de rotação da cabeça do usuário em relação a uma direção vertical ou em relação a uma direção frontal de cabeça.

8. Aparelho (10), de acordo com a reivindicação 7, sendo que o aparelho é caracterizado por (10) ser configurado para, pelo menos parcialmente, compensar um ângulo de rotação do aparelho (10), ou do sensor óptico com base nas informações acerca da orientação do sensor óptico (12) ao determinar as informações de ângulo de rotação descrevendo o ângulo de rotação da cabeça do usuário.

9. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 8,

sendo que o aparelho é caracterizado por (10) ser configurado para determinar informações de ângulo de inclinação descrevendo um ângulo de inclinação da cabeça do usuário em relação a um alinhamento horizontal.

10. Aparelho (10), de acordo com a reivindicação 9, sendo que o aparelho é caracterizado por (10) ser configurado para, pelo menos parcialmente, compensar a orientação do aparelho (10) ou do sensor óptico com base nas informações acerca da orientação do sensor óptico (12) ao determinar as informações ângulo de inclinação da cabeça do usuário.

11. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 10, sendo que o aparelho é caracterizado por (10) ser configurado para determinar as informações acerca da orientação da cabeça com base nas informações de sensores dispostos dentro do aparelho (10) ou mecanicamente fixados ao aparelho (10).

12. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 11, sendo que o aparelho é caracterizado por (10) ser configurado para determinar as informações acerca da orientação da cabeça com base nas informações de sensores dispostos dentro do aparelho (10) ou mecanicamente fixados ao aparelho (10). e com base em um ou mais sensores adicionais que são externos ao aparelho (10).

13. Aparelho (10), de acordo com a reivindicação 12, sendo que o aparelho é caracterizado por (10) ser configurado para considerar informações provenientes dos sensores externos apenas se for constatado que as informações acerca da orientação da cabeça não podem ser obtidas com segurança com base nas informações provenientes do sensor óptico (12).

14. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 13, sendo que o aparelho é caracterizado por (10) ser configurado para determinar uma direção acústica frontal, que é uma projeção a partir de uma direção da cabeça até o aparelho (10) em um plano horizontal, e em que o aparelho (10) é configurado para realizar a renderização espacial do sinal de áudio dependendo da direção frontal acústica.

15. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 13, sendo que o aparelho é caracterizado por (10) ser configurado para determinar uma direção acústica frontal, que é uma direção da cabeça até o aparelho (10), e em que o aparelho (10) é configurado para realizar a renderização espacial do sinal de áudio dependendo da direção frontal acústica.

16. Aparelho (10), de acordo com a reivindicação 14 ou 15, sendo que o aparelho é caracterizado por (10) ser configurado para renderizar um centro de uma cena de áudio para estar na direção frontal acústica.

17. Aparelho (10), de acordo com qualquer uma das reivindicações 14 a 16, sendo que o aparelho é caracterizado por (10) ser configurado para determinar as informações de ângulo de inclinação descrevendo um ângulo de inclinação em relação à direção frontal acústica.

18. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 17, sendo que o aparelho é caracterizado por (10) ser configurado para manter um eixo geométrico central de um ambiente de áudio virtual nivelado com a cabeça do usuário.

19. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 18, sendo que o aparelho é caracterizado por (10) ser configurado para desconsiderar uma diferença de altura entre a cabeça do usuário e o aparelho (10) ao determinar as informações acerca de uma orientação da cabeça.

20. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 19, sendo que o aparelho é caracterizado por (10) ser portátil e/ou em que o aparelho (10) é um dispositivo de comunicação móvel.

21. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 20, sendo que o aparelho é caracterizado por (10) ser configurado para realizar uma renderização espacial de múltiplos sinais de áudio que representam contribuições de áudio de uma pluralidade de participantes de uma conferência de áudio ou de uma conferência de áudio/vídeo, e/ou em que o aparelho (10) é configurado para realizar uma renderização espacial de uma transmissão ou conteúdo em mídia de armazenamento local, ou conteúdo de áudio transmitido.

22. Aparelho (10), de acordo com qualquer uma das reivindicações 1 a 21, sendo que o aparelho é caracterizado por (10) ser configurado para obter informações sobre em qual posição azimutal e em qual altura ou elevação um conteúdo de áudio deveria ser renderizado, e em que o aparelho (10) é configurado para determinar informações sobre uma posição azimutal do aparelho (10) a partir da perspectiva do usuário com uso das informações do sensor óptico e das informações sobre a orientação do sensor óptico (12); e em que o aparelho (10) é configurado para determinar um parâmetro sobre a orientação da cabeça em relação a um sistema de coordenadas fixas à Terra com uso das informações do sensor óptico (12) e das informações acerca da orientação do sensor óptico (12); e em que o aparelho (10) é configurado para renderizar o conteúdo de áudio com uso das informações sobre a posição azimutal e o parâmetro sobre a orientação da cabeça em relação ao sistema de coordenadas fixas à Terra.

23. Método para renderização de um sinal de áudio para uma reprodução para um usuário, sendo que o método é caracterizado por compreender determinar informações acerca de uma orientação de uma cabeça do usuário com uso de um sensor óptico (12); em que o método compreende determinar informações acerca de uma orientação do sensor óptico (12) em um sistema de coordenadas fixas à Terra com uso de um sensor de orientação (14) que é disposto em uma relação posicional predeterminada em relação ao sensor óptico (12); em que o método compreende considerar as informações acerca da orientação do sensor óptico (12) ao determinar as informações acerca da orientação da cabeça ao obter pelo menos um parâmetro acerca da orientação da cabeça em relação a um sistema de coordenadas fixas à Terra, substancialmente independente de uma orientação comum do sensor óptico (12) ou da orientação do aparelho (10) que transporta ou compreende o sensor óptico (12); em que o método compreende realizar uma renderização espacial de um sinal de áudio dependendo das informações acerca da orientação da cabeça do usuário.

24. Programa de computador caracterizado por realizar o método, de acordo com a reivindicação 23, quando o programa de computador é executado em um computador.