BR112019009494A2 - dispositivo de computação para suportar uma aplicação de realidade aumentada, método de suporte a uma aplicação de realidade aumentada e meio de armazenamento legível por computador - Google Patents

Abstract

um dispositivo de computação (120) para suportar uma aplicação de software de realidade aumentada (ar) 5 é fornecido. o dispositivo de computação é operativo para selecionar uma localização física (131) para posicionar um objeto virtual atual (104), onde o objeto virtual atual parece ser posicionado quando sobreposto em uma sequência de vídeo capturando uma cena física (100; 200) nos entornos de um usuário (110), baseado em uma localização física esperada que o usuário assume 10 em resposta à exibição (123) da cena física e do objeto virtual atual sobreposto ao usuário, e um atributo que é espacialmente dependente e que tem um impacto em uma experiência do usuário da aplicação de software de ar. considerar o atributo espacialmente dependente na localização física esperada do usuário na seleção de localizações físicas para posicionar objetos virtuais 15 é vantajoso, pois os objetos virtuais podem ser implantados em localizações físicas para fornecer uma experiência de usuário aprimorada, ou pelo menos satisfatória, para os usuários.

Description

DISPOSITIVO DE COMPUTAÇÃO PARA SUPORTAR UMA APLICAÇÃO DE REALIDADE AUMENTADA, MÉTODO DE SUPORTE A UMA APLICAÇÃO DE REALIDADE AUMENTADA E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR

CAMPO TÉCNICO [001] A invenção refere-se a um dispositivo de computação para suportar uma aplicação de software de realidade aumentada (AR), um método de suporte a uma aplicação de software de AR, um programa de computador correspondente e produto de programa de computador correspondente.

FUNDAMENTOS [002] AR é uma visão direta ou indireta de um ambiente de mundo físico real cujos elementos são aumentados (ou complementados) por uma entrada sensorial gerada por computador, como som, vídeo ou gráficos. Está relacionado a um conceito mais geral chamado realidade mediada, no qual uma visão da realidade é modificada (possivelmente até diminuída em vez de aumentada) por um computador. O aumento é convencionalmente realizado em tempo real e em contexto semântico com objetos ambientais. Além disso, ao utilizar o reconhecimento de objetos, objetos físicos do mundo real podem ser manipulados ou levados em consideração no aumento do ambiente de mundo real.

[003] Normalmente, as aplicações de software de AR utilizam visores usadas por um usuário para exibir uma cena aumentada do entorno do usuário, que muitas vezes é capturada por uma câmera usada pelo usuário. Nos últimos anos, os visores montados na cabeça (HMD) ou headsets de realidade virtual (VR) tornaram-se cada vez mais populares para uso com a AR. Estes dispositivos compreendem um ou mais visores, e muitas vezes também uma câmera, e são projetados para serem emparelhados com a testa do usuário, como um arnês ou

Petição 870190043813, de 09/05/2019, pág. 151/185

2/34 capacete. As HMD posicionam imagens tanto do mundo físico e objetos virtuais aumentando o mundo físico sobre o campo de visão do usuário. Muitas vezes empregam sensores para monitoramento de seis graus de liberdade que permitem que a aplicação de software de AR alinhe corretamente os objetos virtuais ao mundo físico em resposta aos movimentos do usuário. As HMD estão comercialmente disponíveis, por exemplo, o Microsoft HoloLens e o Oculus Rift. Também estão disponíveis utilitários para utilizar um telefone inteligente como HMD, facilitando o pareamento do telefone inteligente com a testa do usuário (por exemplo, Google Cardboard e Samsung Gear VR).

[004] O número de aplicações de software de AR aumentou significativamente com o advento de HMD disponíveis comercialmente. AR é, por exemplo, usada na arquitetura para visualizar projetos de construção, no comércio para visualizar um produto para os clientes e nos jogos. Como exemplo, a aplicação de jogos para celular Pokémon Go, que foi lançado pela Nintendo em julho de 2016, rapidamente se tornou um sucesso global com centenas de milhões de descarregamentos. Pokémon Go é um jogo de AR baseado em localização que implanta objetos virtuais na forma de monstros de bolso em locais físicos, e os jogadores precisam se mover para os locais físicos para capturar os monstros.

[005] Seguindo o sucesso de Pokémon Go, espera-se que o número de jogos e aplicações de AR baseados em localização aumente consideravelmente. Uma característica comum dos jogos e aplicações de AR baseados em localização é que os jogadores, ou usuários, são obrigados a visitar locais físicos específicos, isto é, no mundo real, para interagir com objetos virtuais que foram posicionados lá. Como as aplicações de software de AR normalmente se comunicam com os servidores de aplicações que hospedam a aplicação de software de AR via Redes de Acesso de Rádio (RAN), eles colocam altas

Petição 870190043813, de 09/05/2019, pág. 152/185

3/34 demandas na RAN por gerar uma carga de rede considerável. Em particular, esse é o caso se um número substancial de usuários de AR se aproximar um do outro. Aplicações e jogos de AR baseados em localização também podem sofrer de conectividade ruim se o usuário se mudar para uma região de cobertura ruim, causada por, por exemplo, sombreamento, interferência ou semelhantes. Ambos os problemas têm um impacto negativo na experiência do usuário da aplicação de software de AR.

SUMÁRIO [006] É um objeto da invenção fornecer uma alternativa melhorada às técnicas acima e à técnica anterior.

[007] Mais especificamente, é um objeto da invenção fornecer soluções melhoradas para selecionar localizações físicas para posicionamento de objetos virtuais por aplicações de software de AR.

[008] Estes e outros objetos da invenção são conseguidos por meio de aspectos diferentes da invenção, como definido pelas reivindicações independentes. Modalidades da invenção são caracterizadas pelas reivindicações dependentes.

[009] De acordo com um primeiro aspecto da invenção, é fornecido um dispositivo de computação para suportar uma aplicação de software de AR. O dispositivo de computação compreende meio de processamento operativo para selecionar uma localização física para posicionar um objeto virtual atual com base em uma localização física esperada que um usuário da aplicação de software de AR assume, e um atributo que é espacialmente dependente do entorno do usuário. O atributo espacialmente dependente tem um impacto na experiência do usuário da aplicação de software de AR. A localização física esperada é a localização física que o usuário assume em resposta à exibição de uma sequência de vídeo que captura uma cena física nos entornos do usuário e

Petição 870190043813, de 09/05/2019, pág. 153/185

4/34 o objeto virtual atual sobreposto ao usuário. A localização física selecionada é a localização física em que o objeto virtual atual parece ser posicionado quando sobreposto na sequência de vídeo capturando a cena física nos entornos do usuário.

[0010] De acordo com um segundo aspecto da invenção, é fornecido um método para suportar uma aplicação de software de AR. O método é realizado por um dispositivo de computação e compreende selecionar uma localização física para posicionar um objeto virtual atual com base em uma localização física esperada que um usuário da aplicação de software de AR assume, e um atributo que é espacialmente dependente do entorno do usuário. O atributo espacialmente dependente tem um impacto na experiência do usuário da aplicação de software de AR. A localização física esperada é a localização física que o usuário assume em resposta à exibição de uma sequência de vídeo que captura uma cena física nos entornos do usuário e o objeto virtual atual sobreposto ao usuário. A localização física selecionada é a localização física em que o objeto virtual atual parece ser posicionado quando sobreposto na sequência de vídeo capturando a cena física nos entornos do usuário.

[0011] De acordo com um terceiro aspecto da invenção, é fornecido um programa de computador. O programa de computador compreende instruções executáveis por computador para fazer com que um dispositivo realize o método de acordo com uma modalidade do segundo aspecto da invenção, quando as instruções executáveis por computador são executadas em uma unidade de processamento compreendida no dispositivo.

[0012] De acordo com um quarto aspecto da invenção, é fornecido um produto de programa de computador. O produto de programa de computador compreende um meio de armazenamento legível por computador que tem o programa de computador de acordo com o terceiro aspecto da invenção

Petição 870190043813, de 09/05/2019, pág. 154/185

5/34 incorporado no mesmo.

[0013] No presente contexto, o dispositivo de computação para suportar uma aplicação de software de AR pode, por exemplo, ser incorporado por um servidor de aplicações hospedando a aplicação de software de AR, um HMD ou headset de VR, um telefone celular, um telefone inteligente, um terminal móvel, um computador pessoal, um laptop, um tablet ou um console de jogos. A aplicação de software de AR pode, por exemplo, ser um jogo de AR, como o Pokémon Go, ou uma aplicação de AR para aumentar objetos físicos do mundo real com informações, como um guia turístico de AR. Ao longo desta revelação, os termos físico e mundo real são usados de forma intercambiável, e devem ser entendidos como se referindo a um objeto ou a uma localização no mundo real. O entorno do usuário, e a cena capturada que é aumentada pela sobreposição de objetos virtuais, pode ser qualquer localização interior ou exterior do mundo real, por exemplo, uma sala ou espaço público.

[0014] A invenção faz uso de um entendimento de que uma seleção aprimorada de localizações físicas para posicionamento, ou implantação, de objetos virtuais por aplicações de software de AR pode ser alcançada levando-se em conta um atributo espacialmente dependente, que tem um impacto na experiência do usuário da aplicação de software de AR. O atributo espacialmente dependente muda como uma função da localização física no mundo real, pelo menos nos entornos do usuário. O atributo espacialmente dependente pode, por exemplo, estar relacionado a um desempenho de uma conexão sem fio que é utilizada pela aplicação de software de AR, como intensidade de sinal, taxa de dados, largura de banda, taxa de erro, taxa de retransmissão e latência, da conexão sem fio. Será apreciado que a experiência do usuário da aplicação de software de AR se beneficia tipicamente de elevada intensidade de sinal, alta taxa de dados ou largura de banda, baixa taxa de erros, baixa taxa de

Petição 870190043813, de 09/05/2019, pág. 155/185

6/34 retransmissão e baixa latência. A conexão sem fio pode ser uma conexão utilizada pela aplicação de software de AR para transmitir informação relativa à posicionamento de objetos virtuais para um dispositivo de usuário que renderiza a cena aumentada para exibição ao usuário com base na informação recebida. Alternativamente, a conexão sem fio pode ser utilizada para transmitir a cena aumentada renderizada, como um fluxo de vídeo, para um dispositivo de usuário para exibir a cena aumentada para o usuário. A conexão sem fio pode, por exemplo, ser efetuada através de uma RAN celular, uma Rede de Área Local Sem Fio (WLAN)/rede Wi-Fi, Bluetooth ou semelhantes.

[0015] Alternativamente, o atributo espacialmente dependente pode estar relacionado a uma percepção pelo usuário do som que é renderizado pela aplicação de software de AR. Em particular, isso pode ser som que é renderizado por alto-falantes que são posicionados nos entornos do usuário. Por exemplo, a percepção do usuário pode estar relacionada a se o áudio estéreo ou o áudio 3D pode ser entregue em uma determinada localização com qualidade suficiente, o que, por sua vez, afeta a experiência do usuário da aplicação de software de AR.

[0016] A localização física para posicionar um objeto virtual atual, ou seja, um objeto virtual que a aplicação de AR está prestes a implementar, é selecionada por avaliar o atributo espacialmente dependente na localização física esperada que o usuário assume em resposta à exibição da cena física e o objeto virtual atual sobreposto ao usuário. Essa é a provável localização futura do usuário, ou seja, a localização do usuário depois que o objeto virtual sobreposto tiver sido exibido ao, e visualizado pelo, usuário. Notavelmente, os objetos virtuais podem ter o efeito, quando exibidos aos usuários, de ou reter um usuário em sua localização física atual ou acionar uma alteração de localização. Por exemplo, um usuário pode querer interagir com um objeto virtual, por exemplo, para coletar um item a partir de um personagem

Petição 870190043813, de 09/05/2019, pág. 156/185

7/34 amigável em um jogo de AR. Nesse caso, espera-se que o usuário se mude para uma localização física próxima à localização física em que o objeto virtual atual parece ser posicionado no mundo real. Por outro lado, um objeto virtual representando um personagem hostil em um jogo de AR, ou seja, um personagem que represente uma ameaça ao personagem do jogo do usuário, provavelmente manterá o usuário em sua localização física atual, ou mesmo iniciará uma alteração na localização física do usuário para aumentar a distância até a localização física onde o objeto virtual parece ser posicionado.

[0017] Considerar o atributo espacialmente dependente na localização física esperada do usuário na seleção de localizações físicas para posicionar objetos virtuais é vantajoso, pois os objetos virtuais podem ser implantados em localizações físicas para fornecer uma experiência do usuário aprimorada ou pelo menos satisfatória para os usuários. Para este fim, a aplicação de software de AR pode evitar a implantação de objetos virtuais, que são conhecidos por desencadear uma alteração da localização física do usuário para a localização do mundo real em que o objeto virtual parece ser posicionado, em localizações físicas que sofrem de condições de rádio ou conectividade sem fio ruins, ou em que o som que é renderizado pela aplicação de software de AR não pode ser percebido com qualidade suficiente.

[0018] De acordo com uma modalidade da invenção, a localização física para posicionar o objeto virtual atual é selecionada considerando-se pelo menos uma localização física candidata para posicionar o objeto virtual atual. Essas localizações candidatas podem, por exemplo, ser adquiridas a partir da aplicação de software de AR. Alternativamente, a aplicação de software de AR pode solicitar uma localização física para posicionar um objeto virtual com base em limites geográficos e/ou outras informações, por exemplo, uma distância a partir do usuário e/ou distâncias a partir de outros objetos virtuais ou objetos do

Petição 870190043813, de 09/05/2019, pág. 157/185

8/34 mundo real. Mais especificamente, para cada da, pelo menos uma, localização física candidata, a localização física esperada que o usuário assume é determinada, e um valor do atributo espacialmente dependente nessa localização física esperada é avaliado. A localização física esperada que o usuário assume é a localização para a qual os usuários se movem ou onde o usuário permanece, em resposta à exibição da cena física e do objeto virtual atual sobreposto, de forma que pareça ser posicionado na localização física candidata, para o usuário. Depois que o atributo espacialmente dependente tiver sido avaliado para pelo menos uma localização física candidata, a localização física para posicionar o objeto virtual atual é selecionada com base na pluralidade de valores do atributo espacialmente dependente avaliado em pelo menos uma localização física candidata.

[0019] De acordo com uma modalidade da invenção, a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário está dentro de um intervalo predeterminado da localização física candidata. Em particular, a localização física esperada pode ser próxima, ou igual, à localização física candidata. Isso é vantajoso no caso de se esperar que o usuário se aproxime da localização física onde o objeto virtual atual parece estar posicionado.

[0020] De acordo com uma modalidade da invenção, a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário pode ser determinada com base em um tipo do objeto virtual atual. Por exemplo, a localização física esperada pode ser determinada com base em informações pertencentes a um comportamento esperado de usuários da aplicação de software de AR em resposta à exibição de um objeto virtual do mesmo tipo que o objeto virtual atual para os usuários. Como exemplo, em um jogo de AR, os objetos virtuais podem ser categorizados

Petição 870190043813, de 09/05/2019, pág. 158/185

9/34 em tipos como amigável, neutro e hostil, de acordo com a expectativa de que os usuários são prováveis de se aproximar de um objeto virtual, permanecer em sua localização física, ou afastar ainda mais de um objeto virtual, respectivamente. Alternativamente, a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário pode ser determinada com base em um comportamento aprendido do usuário em resposta a objetos virtuais exibidos anteriormente do mesmo tipo que o objeto virtual atual. Por exemplo, espera-se que um usuário de um guia turístico de AR aproxime-se de um objeto do mundo real, como uma estátua ou um prédio, quando aumentado por informações sobre o objeto (por exemplo, informações históricas ou horário de funcionamento), se o usuário é conhecido por ter visitado tais objetos anteriormente.

[0021] De acordo com uma modalidade da invenção, um ou mais valores do atributo espacialmente dependente podem ser recuperados a partir de um banco de dados, como uma função de uma localização física nos entornos do usuário. Os valores recuperados podem ser valores medidos, por exemplo, valores medidos pelo dispositivo de computação quando transportados pelo usuário, ou valores medidos por outros dispositivos de computação semelhantes (ou seja, alimentado por multidão). Alternativamente, os valores recuperados podem ser valores simulados, por exemplo, calculados com base em um modelo para cobertura de rádio nos entornos do usuário.

[0022] Embora as vantagens da invenção tenham sido descritas em alguns casos com referência a modalidades do primeiro aspecto da invenção, o raciocínio correspondente aplica-se a modalidades de outros aspectos da invenção.

[0023] Outros objetos, características e vantagens da invenção se tornarão evidentes quando se estuda a seguinte descrição detalhada, os desenhos e as

Petição 870190043813, de 09/05/2019, pág. 159/185

10/34 reivindicações anexas. Os especialistas na técnica sabem que diferentes recursos da invenção podem ser combinados para criar modalidades diferentes das descritas a seguir.

BREVE DESCRIÇÃO DOS DESENHOS [0024] O acima, bem como os objetos, recursos e vantagens adicionais da invenção, serão melhor compreendidos através da seguinte descrição detalhada ilustrativa e não limitativa das modalidades da invenção, com referência aos desenhos anexos, em que:

A Figura 1 ilustra um primeiro cenário para selecionar uma localização física para posicionar um objeto virtual em nome de uma aplicação de software de AR, de acordo com modalidades da invenção.

A Figura 2 ilustra um segundo cenário para selecionar uma localização física para posicionar um objeto virtual em nome de uma aplicação de software de AR, de acordo com modalidades da invenção.

A Figura 3 ilustra a interação entre diferentes papéis de modalidades da invenção na seleção de uma localização física para posicionar um objeto virtual em nome de uma aplicação de software de AR.

A Figura 4 mostra um dispositivo de computação para suportar uma aplicação de software de AR, de acordo com uma modalidade da invenção.

A Figura 5 mostra um dispositivo de computação para suportar uma aplicação de software de AR, de acordo com outra modalidade da invenção.

A Figura 6 mostra um dispositivo de computação para suportar uma aplicação de software de AR, de acordo com uma outra modalidade da invenção.

A Figura 7 mostra uma modalidade do meio de processamento compreendido no dispositivo de computação para suportar uma aplicação de software de AR.

A Figura 8 mostra outra modalidade do meio de processamento

Petição 870190043813, de 09/05/2019, pág. 160/185

11/34 compreendido no dispositivo de computação para suportar uma aplicação de software de AR.

A Figura 9 mostra um método para suportar uma aplicação de software de AR, de acordo com modalidades da invenção.

[0025] Todas as figuras são esquemáticas, não necessariamente em escala, e geralmente mostram apenas partes que são necessárias para elucidar a invenção, em que outras partes podem ser omitidas ou meramente sugeridas.

DESCRIÇÃO DETALHADA [0026] A invenção será agora descrita mais detalhadamente aqui com referência aos desenhos anexos, nos quais certas modalidades da invenção são mostradas. Esta invenção pode, no entanto, ser realizada em muitas formas diferentes e não deve ser interpretada como limitada às modalidades aqui apresentadas. Pelo contrário, estas modalidades são fornecidas a título de exemplo, de modo que esta revelação seja exaustiva e completa, e vai transmitir completamente o âmbito da invenção para os especialistas na técnica.

[0027] Na Figura 1, a seleção de uma localização física para posicionar um objeto virtual em nome de uma aplicação de software de AR é ilustrada, utilizando uma modalidade 120 do dispositivo de computação para suportar uma aplicação de software de AR como exemplo. A aplicação de software de AR pode, por exemplo, ser uma aplicação de jogos de AR ou qualquer outro tipo de aplicação de AR, como um guia turístico de AR. O dispositivo de computação para suportar uma aplicação de software de AR pode, por exemplo, ser incorporado por um servidor de aplicações que hospeda a aplicação de software de AR, um servidor de aplicações para selecionar localizações físicas para posicionar objetos virtuais sob solicitação pela aplicação de software de AR, um HMD ou um headset de VR, um telefone celular, um telefone inteligente, um terminal móvel, um computador pessoal, um laptop, um tablet ou um console de jogos.

Petição 870190043813, de 09/05/2019, pág. 161/185

12/34 [0028] A seguir, as modalidades da invenção são descritas com referência à Figura 1, em que uma modalidade 120 do dispositivo de computação para suportar uma aplicação de software de AR é ilustrada como um HMD, ou um headset de VR, mostrado em maior detalhe na Figura 4. O dispositivo de computação 120 compreende uma câmera 121 tendo um campo de visão 122, pelo menos um visor 124, meio de processamento 125 e um módulo de comunicações 126.

[0029] No contexto atual, posicionar um objeto virtual, ou implantar um objeto virtual, deve ser entendido de tal forma que uma representação gráfica do objeto virtual, por exemplo, um personagem em um jogo de AR ou informações sobre um objeto do mundo real fornecido por um guia turístico de AR, são sobrepostos em uma sequência de vídeo capturando uma cena física, do mundo real, de modo que o objeto virtual parece ser posicionado em uma localização física correspondente na cena física. Isto está ilustrado na Figura 1, que mostra uma cena física interior 100 com um objeto virtual sobreposto 104 posicionado em uma localização física 131. Além disso, a cena 123 que é renderizada pela aplicação de software de AR e apresentada a um usuário 110 da aplicação de software de AR, utilizando o visor 121 que é integrado no dispositivo de computação 120, é também ilustrada.

[0030] Ao longo desta revelação, assume-se que o usuário 110 pode mover-se ao longo do seu ambiente, incluindo a cena física 100. Dependendo do tipo de objeto virtual 104 que é sobreposto na cena 100 e apresentado ao usuário 110, o usuário 110 pode ou aproximar-se da localização física 131 onde o objeto virtual 104 é posicionado, permanecer na sua localização atual ou afastar-se do objeto virtual 104. Por exemplo, se o objeto virtual 104 representar um personagem amigável em um jogo de AR, o usuário 110 pode ser esperado se aproximar da localização física 131 onde o objeto virtual 104 é posicionado

Petição 870190043813, de 09/05/2019, pág. 162/185

13/34 para interagir com o objeto virtual 104, por exemplo, para recolher um item valioso tal como um tesouro. Pelo contrário, se o objeto virtual 104 representa um personagem hostil, o usuário 110 irá provavelmente afastar-se mais da localização física 131 onde o objeto virtual 104 é posicionado, ou manter a sua localização atual.

[0031] Para este fim, o meio de processamento 125 é operacional para selecionar uma localização física para posicionar um objeto virtual atual, tal como o objeto virtual 104 posicionado na localização física 131 ilustrada na Figura 1. A localização física selecionada 131 é a localização física onde o objeto virtual atual 104 parece ser posicionado quando sobreposto em uma sequência de vídeo capturando a cena física 100. O meio de processamento 125 é operacional para selecionar localização 131 baseada em uma localização física esperada que o usuário 110 assume em resposta à exibição da cena física 100 e objeto virtual atual sobreposto 104 para usuário 110, e um atributo que é espacialmente dependente do entorno do usuário 110. O atributo espacialmente dependente tem um impacto na experiência do usuário da aplicação de software de AR. Aqui, a localização física esperada que o usuário 110 assume é uma localização provável futura estimada do usuário 110, após o objeto virtual atual sobreposto 104 ter sido exibido ao usuário 110. Esta localização física esperada do usuário 110 é considerada em selecionar uma localização física para posicionar o objeto virtual atual 104, de modo a fornecer uma experiência de usuário melhorada, ou pelo menos satisfatória, ao usuário da aplicação de software de AR.

[0032] O atributo espacialmente dependente é uma propriedade física na qual a aplicação de software de AR se baseia, e que tem um impacto na experiência do usuário da aplicação de software de AR. Por exemplo, o atributo espacialmente dependente pode estar relacionado ao desempenho de uma

Petição 870190043813, de 09/05/2019, pág. 163/185

14/34 conexão sem fio utilizada pela aplicação de software de AR. Com referência à Figura 1, a conexão sem fio pode, por exemplo, ser estabelecida entre um Ponto de Acesso 103 (AP) de uma Rede de Área Local Sem Fio (WLAN)/rede Wi-Fi e módulo de comunicações 126 compreendido no dispositivo de computação 120. O atributo espacialmente dependente pode ser qualquer um de intensidade de sinal, uma taxa de dados, uma largura de banda, uma taxa de erro, uma taxa de retransmissão e uma latência da conexão sem fio. Em particular, a experiência do usuário da aplicação de software de AR normalmente se beneficia de alta intensidade de sinal, alta taxa de dados, alta largura de banda, baixa taxa de erros, baixa taxa de retransmissão e baixa latência. Como alternativa, o atributo espacialmente dependente pode referir-se a uma percepção pelo usuário 110 do som que é renderizado pela aplicação de software de AR, por exemplo, por alto-falantes que são fornecidos próximos da cena física 100 (não ilustrado na Figura 1). Neste caso, a percepção pelo usuário 110 pode referir-se ao fato do áudio estéreo ou o áudio 3D poder ser entregue em uma determinada localização física, com qualidade, volume suficientes ou semelhantes.

[0033] Além disso, com referência à Figura 1, é mostrada uma localização física alternativa 132 para posicionar o objeto virtual atual 104. Será apreciado que as modalidades da invenção não se limitam a considerar duas localizações físicas candidatas para posicionar um objeto virtual atual. Em vez disso, o exemplo apresentado aqui foi mantido simples por uma questão de simplicidade. Semelhante à localização física 131, a localização física alternativa 132 está próxima de armário 101, e as localizações físicas 131 e 132 podem, por exemplo, ter sido selecionadas com base no requisito de um jogo de AR para encontrar uma localização física para posicionar o objeto virtual atual 104, aqui ilustrado como um personagem do jogo de AR, de tal forma que o personagem pode esconder-se, por exemplo, no canto de um quarto ou perto de uma peça

Petição 870190043813, de 09/05/2019, pág. 164/185

15/34 de mobília, como o armário 101. No entanto, em contraste com a localização física 131, a localização física alternativa 132 é mais próxima do forno de microondas 102, o que pode causar interferência na rede sem fio criada pelo AP 103. Consequentemente, o desempenho da conexão sem fio utilizada pela aplicação de AR, via módulo de comunicações 126, espera-se que seja inferior na localização física alternativa 132 em comparação com a localização física 131. O desempenho inferior é refletido por, e pode ser deduzido a partir de, um atributo espacialmente dependente, como intensidade de sinal, taxa de dados, largura de banda, taxa de erro, taxa de retransmissão ou latência da conexão sem fio. Para este fim, a localização física 131 para posicionar o objeto virtual atual 104 é selecionada a partir das duas localizações físicas candidatas 131 e 132 com base em um desempenho superior da conexão sem fio na localização física 131.

[0034] Na Figura 2, as modalidades da invenção são ilustradas em um cenário diferente. Aqui, é ilustrada uma cena física exterior 200, que é capturada pela câmera 121 compreendida no dispositivo de computação 120, novamente ilustrado como um HMD ou headset de VR, usado pelo usuário 110. Semelhante à Figura 1, o meio de processamento 125 é operativo para selecionar uma localização física 231 para posicionar um objeto virtual atual 204 com base em uma localização física esperada que o usuário 110 assume em resposta à exibição da cena aumentada renderizada 223, compreendendo a cena física 200 e objeto virtual atual sobreposto 104, para usuário 110, e um atributo espacialmente dependente. A localização física 231 é a localização física onde o objeto virtual atual 104 parece ser posicionado quando sobreposto na sequência de vídeo que captura a cena física 200. Semelhante à Figura 1, o atributo espacialmente dependente é, neste exemplo, relacionado com o desempenho de uma conexão sem fio utilizada pela aplicação de software de AR, e que tem um impacto na experiência do usuário da aplicação de software de AR. Em contraste com a

Petição 870190043813, de 09/05/2019, pág. 165/185

16/34

Figura 1, a conexão sem fio é na Figura 2 estabelecida entre uma Estação Radio Base 203 (RBS) de uma rede de comunicações celular e módulo de comunicações 126 compreendido no dispositivo de computação 120. A rede de comunicações celular pode, por exemplo, ser qualquer uma rede de Sistema Global para Comunicações Móveis (GSM), uma rede de Sistema Universal de Telecomunicações Móveis (UMTS), uma rede de Evolução de Longo Prazo (LTE) ou uma rede 5G.

[0035] No cenário ilustrado na Figura 2, a localização física 231 é selecionada para posicionar o objeto virtual 104, em vez de uma localização física alternativa 232, com base em um desempenho superior da conexão sem fio na localização física 231. Isto deve-se ao fato de a localização física alternativa 232 estar por trás de um edifício 202 afetando negativamente a conexão sem fio entre a RBS 202 e o módulo de comunicações 126. Será apreciado que as modalidades da invenção não se limitam a considerar duas localizações físicas candidatas 231 e 232 para posicionar o objeto virtual atual 204.

[0036] A seguir, selecionar uma localização física para posicionar o objeto virtual atual 104/204 é descrita em mais detalhes, de acordo com as modalidades da invenção. Para este fim, o meio de processamento 125 pode estar operativo para selecionar a localização física para posicionar o objeto virtual atual 104/204 a partir de um conjunto de localizações físicas candidatas, o conjunto compreendendo pelo menos uma localização física candidata, tal como localizações físicas 131 e 132 ilustradas em Figura 1, ou localizações físicas 231 e 232 ilustradas na Figura 2. As localizações físicas candidatas podem, por exemplo, ser fornecidas pela aplicação de software de AR. Por exemplo, uma lista de localizações físicas candidatas pode ser fornecida pela aplicação de software de AR juntamente com uma solicitação para selecionar uma localização física para posicionar o objeto virtual atual 104/204. Em alternativa, a aplicação

Petição 870190043813, de 09/05/2019, pág. 166/185

17/34 de software de AR pode solicitar uma localização física para posicionar o objeto virtual atual 104/204 a partir do dispositivo de computação 120 com base em fronteiras geográficas ou outras informações fornecidas pela aplicação de software de AR. Como um exemplo, a aplicação de software de AR pode fornecer uma distância ou distâncias a partir do usuário 110, objetos do mundo real e/ou outros objetos virtuais, ou uma região geográfica dentro da qual a localização física para posicionar o objeto virtual atual 104 pode ser selecionada.

[0037] Para cada uma das localizações físicas candidatas, uma localização física esperada que o usuário 110 assume em resposta à exibição da cena física 100/200 e do objeto virtual atual 104/204 para o usuário 110, de forma que o objeto virtual atual 104/204 parece ser posicionado na localização física candidata atual, é determinada. Subsequentemente, um valor do atributo espacialmente dependente é avaliado na localização física esperada determinada do usuário 110. Vantajosamente, a experiência do usuário da aplicação de software de AR é, portanto, levada em consideração quando uma localização física para posicionar o objeto virtual atual 104/204 é selecionada. Isto pode, por exemplo, ser conseguido por recuperar um ou mais valores do atributo espacialmente dependente como uma função da localização física nos entornos do usuário 110 a partir de um banco de dados, como é descrito mais abaixo. Os valores podem, por exemplo, ser recuperados para uma localização física candidata em um tempo. Alternativamente, uma lista ou uma matriz de valores, ou um mapa representando o atributo espacialmente dependente, cobrindo o entorno do usuário 110, pode ser recuperada do banco de dados. Os valores recuperados podem ser selecionados com base em uma localização física do dispositivo 120, objetos virtuais posicionados anteriormente, um campo de visão 122 de uma câmera 121 usada pelo usuário 110 ou semelhantes. Finalmente, a localização física para posicionar o objeto virtual atual 104/204 é

Petição 870190043813, de 09/05/2019, pág. 167/185

18/34 selecionada a partir do conjunto de localizações físicas candidatas com base nos valores do atributo espacialmente dependente avaliado em pelo menos uma localização física candidata.

[0038] Por exemplo, uma das localizações físicas candidatas para as quais o atributo espacialmente dependente avaliado na localização física esperada correspondente cumpre um critério predeterminado pode ser selecionada como a localização física para posicionar o objeto virtual atual 104/204. Como exemplo, a localização física selecionada pode ser a primeira localização física candidata para a qual o atributo espacialmente dependente avaliado na localização física do candidato preenche o critério predeterminado. De preferência, o critério predeterminado refere-se a, ou reflete, uma experiência do usuário da aplicação de software de AR que é influenciada pelo atributo espacialmente dependente. O critério predeterminado pode, por exemplo, ser um critério de limiar, tal como exceder uma certa taxa de dados ou largura de banda, ou não exceder uma certa latência ou taxa de erro, respectivamente.

[0039] Como alternativa, a localização física para posicionar o objeto virtual atual 104/204 pode ser selecionada como a localização física candidata para a qual o atributo espacialmente dependente avaliado assume um valor máximo (por exemplo, taxa de dados ou largura de banda) ou mínimo (por exemplo, taxa de erro ou latência).

[0040] Como alternativa adicional, a localização física para posicionar o objeto virtual atual 104/204 pode ser selecionada interpolando a pluralidade de valores do atributo espacialmente dependente avaliado em uma pluralidade de localizações físicas candidatas, e selecionando uma localização física onde o valor interpolado do atributo espacialmente dependente assume um valor extremo, por exemplo, um máximo em taxa de dados ou largura de banda, ou um mínimo em latência ou taxa de erro, respectivamente.

Petição 870190043813, de 09/05/2019, pág. 168/185

19/34 [0041] As localizações físicas candidatas para as quais o atributo espacialmente dependente é avaliado podem, opcionalmente, ser determinadas em uma maneira adaptativa. Por exemplo, a próxima localização física candidata pode ser selecionada com base em uma tendência que é identificada em valores do atributo espacialmente dependente avaliado para localizações físicas candidatas anteriores. Por exemplo, a próxima localização física candidata pode ser selecionada com base em uma direção nos entornos do usuário 110, na qual o atributo espacialmente dependente é esperado, com base na tendência identificada, para aumentar, se o atributo espacialmente dependente refere-se a uma taxa de dados ou largura de banda da conexão sem fio, ou diminuir, se o atributo espacialmente dependente estiver relacionado a uma taxa de erro ou latência da conexão sem fio, respectivamente. Será também apreciado que o número de localizações físicas candidatas que são avaliadas pode depender de uma taxa de alteração do atributo espacialmente dependente como uma função da localização física nos entornos do usuário 110. Isto é, se o atributo espacialmente dependente for relativamente constante nos entornos do usuário 110, basta avaliar menos localizações físicas candidatas em comparação a um cenário em que o atributo espacialmente dependente muda rapidamente com a localização física.

[0042] O meio de processamento 125 pode estar operativo para determinar a localização física esperada que o usuário 110 assume em resposta a exibir a cena física 100/200 e objeto virtual atual sobreposto 104/204 para o usuário 110 por selecionar a localização física esperada dentro de um intervalo predeterminado da localização física candidata atual, ou seja, a localização física candidata que está sendo avaliada. Em particular, com a finalidade de avaliar o atributo espacialmente dependente, a localização física esperada do usuário 110 pode ser selecionada para estar próxima, ou igual, à localização física candidata.

Petição 870190043813, de 09/05/2019, pág. 169/185

20/34

Em particular, este é o caso se o objeto virtual atual 104/204 for de um tipo que provavelmente desencadeará uma alteração de localização física do usuário 110 em relação ao objeto virtual atual 104/204 quando sobreposto na cena física 100/200.

[0043] Opcionalmente, a localização física esperada que o usuário 110 assume em resposta à exibição da cena física 100/200 e objeto virtual atual sobreposto 104/204 para o usuário 110 é determinada com base em um tipo de objeto virtual atual 104/204. Por exemplo, em um jogo de AR, os possíveis tipos de objetos virtuais para personagens do jogo de AR podem ser amigáveis, hostil, amigo, inimigo ou semelhantes. De preferência, os objetos virtuais são categorizados em tipos diferentes que refletem o comportamento de um usuário para se afastar de um objeto virtual, aproximar-se do objeto virtual ou manter sua localização física atual. Por exemplo, a localização física esperada que o usuário 110 assume em resposta à exibição da cena física 100/200 e objeto virtual atual sobreposto 104/204 para o usuário 110 pode ser determinada com base nas informações relativas ao comportamento esperado de um grupo de usuários da aplicação de software de AR em resposta à exibição de um objeto virtual do mesmo tipo que o objeto virtual atual 104 para os usuários. Essas informações podem, por exemplo, ser fornecidas pela aplicação de software de AR. Alternativamente, a localização física esperada que o usuário 110 assume em resposta à exibição da cena física 100/200 e objeto virtual atual sobreposto 104/204 para o usuário 110 é determinada com base em um comportamento aprendido do usuário 110 em resposta a objetos virtuais anteriormente exibidos do mesmo tipo que o objeto virtual atual 104. Isto é, uma modalidade do dispositivo de computação 120 pode aprender como o usuário 110 reage a um objeto virtual sobreposto de um certo tipo, ou seja, se o usuário 110 aumenta, diminui, ou mantém, sua distância para o objeto virtual.

Petição 870190043813, de 09/05/2019, pág. 170/185

21/34 [0044] Como está descrito anteriormente no presente documento, ao avaliar valores do atributo espacialmente dependente em uma localização física esperada que o usuário 110 assume em resposta à exibição do objeto virtual atual 104/204 posicionado em uma das localizações físicas candidatas, um ou mais valores do atributo espacialmente dependente pode ser recuperado a partir de um banco de dados, seja em uma base por localização, ou por recuperar uma lista ou uma matriz de valores, ou um mapa representando o atributo espacialmente dependente dentro de uma determinada região geográfica. Em particular, esta pode ser uma região dentro do entorno do usuário 110. Estes valores podem ser valores medidos pelo dispositivo de computação 120 ou por outros dispositivos de computação semelhantes, isto é, alimentados por multidão. Alternativamente, estes valores podem ser valores simulados que são obtidos usando um modelo para cobertura de rádio nos entornos do usuário 110.

[0045] Opcionalmente, o meio de processamento 125 pode ainda estar operativo para armazenar valores medidos do atributo espacialmente dependente como uma função da localização física no banco de dados. Para este fim, estes valores são medidos pelo dispositivo de computação 120 quando usado pelo usuário 110. As medições podem ser realizadas continuamente, em intervalos regulares, ou quando o valor medido mudou para uma extensão predeterminada. Os valores medidos são armazenados em conjunto com a localização física onde foram medidos, por exemplo, a localização física do dispositivo de computação 120 durante uma medição. Os valores podem ser armazenados para uso próprio ou para fins de alimentação de multidão, ou seja, para uso por outros usuários de aplicações de software de AR.

[0046] No seguinte, e com referência à Figura 3, as modalidades da invenção são descritas em termos de papéis diferentes e da sua interação mútua.

Petição 870190043813, de 09/05/2019, pág. 171/185

22/34 [0047] A função do dispositivo de usuário 301 é tipicamente incorporada por um dispositivo que é operado por um usuário da aplicação de software de AR, tal como o HMD 120 ou o headset de VR 120 usado pelo usuário 110, um tablet, um telefone móvel, um terminal móvel, telefone inteligente ou um console de jogos. O dispositivo 301 de usuário compreende tipicamente uma câmera 121 para capturar 311 cena física 100/200 nos entornos do usuário 110, e um visor 124 para visualizar a vista renderizada 123/223, isto é, a sequência de vídeo capturando a cena física 100/200 e objeto virtual atual sobreposto 104/204, para usuário 110.

[0048] A função da aplicação de AR 302 é tipicamente incorporada por um dispositivo de computação ou um nó de rede que hospeda, ou seja, executando a aplicação de software de AR. Em particular, isso pode abranger a avaliação e a decisão sobre a implantação de objetos virtuais, como os personagens 104/204 em um jogo de AR ou informações que são fornecidas por um guia turístico de AR, com base nos dados relativos à cena física 100/200. Os dados referentes à cena física 100/200 são recebidos 312 a partir do dispositivo de usuário 301, seja como dados de vídeo, por exemplo, a sequência de vídeo capturando cena física 100/200, ou como dados descrevendo a respectiva localização física e tipos de objetos físicos do mundo real em cena física 100/200. Os dados descrevendo objetos do mundo real podem ser determinados pelo dispositivo de usuário 301 com base no processamento de imagem/vídeo da sequência de vídeo capturando a cena física 100/200, utilizando técnicas de reconhecimento de objeto.

[0049] Quando a aplicação de AR 302 toma a decisão de implantar 313 um objeto virtual 104/204, uma solicitação 314 para uma localização física para posicionar o objeto virtual 104/2043 é enviada para o seletor de localização 303.

O papel do seletor de localização 303 é implementado pelas modalidades da

Petição 870190043813, de 09/05/2019, pág. 172/185

23/34 invenção, em particular o dispositivo de computação para suportar uma aplicação de software de AR, e suporta app de AR 302 hospedando a aplicação de software de AR por selecionar a localização física 131/231 para posicionar o objeto virtual 104/204 com base em uma localização física esperada que o usuário 110 assume em resposta a exibir 123/223 cena física 100/200 e objeto virtual atual sobreposto 104/204 para o usuário 110, e o atributo espacialmente dependente que tem um impacto na experiência do usuário da aplicação de software de AR hospedado pela aplicação de AR 302.

[0050] Ao selecionar uma localização física para posicionar o objeto virtual 104/204, o seletor de localização 303 envia uma solicitação 315 para valores do atributo espacialmente dependente na localização física esperada do usuário 110 para atribuir o banco de dados 304, que responde por enviar 316 os valores solicitados para o seletor de localização 303. O papel do banco de dados de atributos 304 é tipicamente implementado por um dispositivo de computação ou um nó de rede mantendo os valores do atributo espacialmente dependente como uma função da localização. O banco de dados que armazena valores do atributo espacialmente dependente pode ou ser mantido pelo dispositivo de computação 120, por exemplo, em uma memória ou armazenamento de dados incluído no dispositivo de computação 120, ou por um dispositivo separado. Por exemplo, o banco de dados pode ser mantido por um servidor de aplicações que hospeda a aplicação de software de AR, ou outro nó de rede associado a ele. Como outro exemplo, o banco de dados pode ser mantido por um nó de RAN ou por um nó de Sistemas de Suporte de Operações (OSS). Por exemplo, um nó de RAN pode manter informações resolvidas espacialmente sobre o desempenho da RAN, tais como taxa de dados, taxa de erro, intensidade de sinal e semelhantes. Essas informações podem ou ser coletadas de terminais móveis usando a RAN, ou simuladas.

Petição 870190043813, de 09/05/2019, pág. 173/185

24/34 [0051] Com base nos valores recebidos 316 para o atributo espacialmente dependente, o seletor de localização 303 seleciona a localização física 131/231 para posicionar o objeto virtual 104/204, como é descrito aqui. A localização física selecionada é enviada 318 para a aplicação de AR 302, que implanta 319 objetos virtuais 104/204 por posicionar o objeto virtual 104/204 na localização física selecionada. Dados descrevendo o objeto virtual implementado são fornecidos 320 ao dispositivo de usuário 301, que subsequentemente renderiza o visor 123/223 exibido ao usuário 110 por sobrepor 321 objetos virtuais 104/204 na localização física selecionada na cena física 100/200. Como alternativa, vista 123/223 exibido para usuário 110 pode ser renderizada pela aplicação de AR 302 em vez do dispositivo de usuário 301. Neste caso, os dados 320 que descrevem o objeto virtual implementado são dados de imagem/vídeo da cena aumentada renderizada, a qual é subsequentemente exibida pelo dispositivo de usuário 301.

[0052] Será apreciado que as modalidades da invenção podem implementar os diferentes papéis descritos anteriormente no presente documento, tanto separadamente quanto em combinação. Por exemplo, o HMD 120 pode, além de implementar a função do dispositivo de usuário 301, implementar ainda qualquer uma ou vários dos papéis da aplicação de AR 302, seletor de localização 303 e banco de dados de atributos 304. Alternativamente, se o HMD 120 implementar apenas o papel do dispositivo de usuário 301, o HMD 120 pode interagir, através de uma rede de comunicações e, em particular, uma conexão sem fio, com um servidor de aplicações implementando a função da aplicação de AR 302 e, opcionalmente, implementando as funções do seletor de localização 303 e o banco de dados de atributos 304. Um servidor de aplicações somente implementando o papel da aplicação de AR 302 pode, por sua vez, interagir com um servidor de localização que implementa o papel de seletor de

Petição 870190043813, de 09/05/2019, pág. 174/185

25/34 localização 303 e, opcionalmente, implementa o papel de banco de dados de atributos 304. Um servidor de localização implementando apenas o papel de seletor de localização 303 pode, por sua vez, interagir com um nó de rede que implementa o papel do banco de dados de atributos 304.

[0053] Embora as modalidades da invenção tenham sido principalmente descritas com referência ao dispositivo de computação 120, que é ilustrado como um HMD ou headset de VR nas Figuras 1, 2 e 4, o dispositivo de computação para suportar uma aplicação de software de AR pode, alternativamente, ser incorporado por outros tipos de dispositivos. Por exemplo, o dispositivo de computação pode ser incorporado por um tablet, um telefone móvel, um terminal móvel, um console de jogos ou um telefone inteligente 500, como ilustrado na Figura 5. Tal como o HMD 120, o telefone inteligente 500 compreende uma câmera 121, um visor 124, meio de processamento 125 e um módulo de comunicações 126. O telefone inteligente 500 pode ser mantido pelo usuário 110 ou pareado para a testa do usuário 110 utilizando um adaptador 510, semelhante ao Google Cardboard ou ao Samsung Gear VR.

[0054] Como alternativa adicional, com referência à Figura 6, o dispositivo de computação pode ser incorporado como um servidor de aplicações 600 para hospedar a aplicação de software de AR, ou como um servidor de localização 600 para suportar uma aplicação de software de AR de acordo com modalidades da invenção, implementar o papel de app de AR 302 ou o papel do seletor de localização 303, respectivamente. Além disso, as modalidades do servidor de aplicações/localização 600 podem ainda implementar as funções do dispositivo de usuário 301 e/ou a função do banco de dados de atributos 304. Semelhante ao HMD 120 e telefone inteligente 500, o servidor de aplicações/localização 600 compreende meio de processamento 125 e um módulo de comunicações 126. Como ilustrado na Figura 6, o servidor de aplicações/localização 600 não

Petição 870190043813, de 09/05/2019, pág. 175/185

26/34 compreende uma câmera para capturar uma cena física nos entornos do usuário 110, ou um visor para apresentar a cena capturada e objetos virtuais sobrepostos ao usuário 110. Em vez disso, isso pode ser feito por uma câmera externa e por um visor externo, respectivamente. Por exemplo, o servidor de aplicações 600 hospedando a aplicação de software de AR pode estar em comunicação, de preferência através de uma conexão sem fio, com um dispositivo usado pelo usuário 110 implementando o papel do dispositivo de usuário 301, e compreendendo uma câmera para capturar uma cena física nos entornos do usuário 110, bem como um visor para apresentar a cena capturada e objetos virtuais sobrepostos ao usuário 110. O dispositivo usado pelo usuário pode, por exemplo, ser um HMD ou um VR semelhante ao que é mostrado na Figura 4. Como um outro exemplo, o servidor de localização 600 pode estar em comunicação, de preferência através de uma conexão sem fio, com o dispositivo usado pelo usuário que, além de implementar a função de dispositivo de usuário

301 e compreender uma câmera para capturar uma cena física nos entornos do usuário 110 e um visor para apresentar a cena capturada e objetos virtuais sobrepostos ao usuário 110, também implementa o papel da aplicação de AR

302 hospedando a aplicação de software de AR.

[0055] Para este fim, além de selecionar uma localização física para posicionar um objeto virtual atual, isto é, implementar a função de seletor de localização 303, uma modalidade do dispositivo de computação para suportar uma aplicação de software de AR pode ainda ser operativa para hospedar, isto é, executar, a aplicação de software de AR, ou seja, para implementar a função de aplicação de AR 302. Alternativamente, a aplicação de software de AR pode ser executada por um dispositivo separado, como um servidor de aplicações 600 implementando a função de app de AR 302, que está em comunicação com o dispositivo de computação para suportar uma aplicação de software de AR que

Petição 870190043813, de 09/05/2019, pág. 176/185

27/34 implementa a função de seletor de localização 303.

[0056] Uma modalidade do dispositivo de computação para suportar uma aplicação de software de AR pode ainda implementar o papel do dispositivo de usuário 301 por sobrepor um objeto virtual em uma sequência de vídeo que captura uma cena física nos entornos de um usuário da aplicação de software de AR, de tal modo que o objeto virtual sobreposto parece ser posicionado na localização física selecionada. De preferência, a sequência de vídeo é capturada por uma câmera usada pelo usuário, de modo que um campo de visão da câmera é correlacionado com uma localização física e orientação do usuário, ou seja, ela se move com o usuário. A câmera pode, opcionalmente, estar incluída no dispositivo de computação, por exemplo, em um telefone inteligente, HMD ou headset de VR. Alternativamente, uma câmera externa pode ser conectada ao dispositivo de computação usando uma conexão com ou sem fio, em particular uma câmera usada pelo usuário, como uma câmera tipo GoPro.

[0057] Além disso, uma modalidade do dispositivo de computação para suportar uma aplicação de software de AR pode ainda ser operacional para exibir a sequência de vídeo que captura a cena física e o objeto virtual sobreposto ao usuário, de preferência utilizando um visor que é utilizado pelo usuário. O visor pode, por exemplo, ser integrado ao dispositivo de computação, por exemplo, em um telefone inteligente, HMD ou headset de VR. Alternativamente, o visor pode ser pareado com a testa do usuário, de modo a posicionar imagens do mundo físico e dos objetos virtuais sobre o campo de visão do usuário.

[0058] A seguir, descrevem-se modalidades do meio de processamento 125, compreendido no dispositivo de computação para suportar uma aplicação de software de AR, tal como os dispositivos de computação 120, 500 e 600, com referência às Figuras 7 e 8.

[0059] Na Figura 7, é mostrada uma primeira modalidade 700 do meio de

Petição 870190043813, de 09/05/2019, pág. 177/185

28/34 processamento 125. O meio de processamento 700 compreende uma unidade de processamento 702, tal como um processador de propósito geral, e um meio de armazenamento legível por computador 703, tal como uma memória de acesso aleatório (RAM), uma memória Flash, ou semelhantes. Além disso, o meio de processamento 700 compreende uma ou mais interfaces 701 (E/S na Figura 7) para controlar e/ou receber informações de outros componentes compreendidos no dispositivo de computação 120/500/600, tal como a câmera 121, visor 124 e módulo de comunicações 126. A memória 703 contém instruções executáveis por computador 704, isto é, um programa de computador, para fazer o dispositivo 120/500/600 executar de acordo com modalidades da invenção como aqui descrito, quando instruções executáveis por computador 704 são executadas na unidade de processamento 702. Em particular, o dispositivo de computação 120/500/600 pode ser operativo para selecionar uma localização física para posicionar um objeto virtual atual com base em uma localização física esperada que um usuário da aplicação de software de AR assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário, e um atributo que é espacialmente dependente do entorno do usuário e que tem um impacto na experiência do usuário da aplicação de software de AR. Por exemplo, a localização física para posicionar o objeto virtual atual pode ser selecionada determinando, para pelo menos uma localização física candidata para posicionar o objeto virtual atual, a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual para o usuário, e avaliar um valor do atributo espacialmente dependente na localização física esperada. A localização física para posicionar o objeto virtual atual é então selecionada com base na pluralidade de valores do atributo espacialmente dependente avaliado em pelo menos uma localização física candidata. A localização física esperada que o usuário assume em resposta

Petição 870190043813, de 09/05/2019, pág. 178/185

29/34 à exibição da cena física e do objeto virtual atual sobreposto ao usuário pode, por exemplo, estar dentro de um intervalo predeterminado de, ou igual a, a localização física candidata.

[0060] Opcionalmente, a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário pode ser determinada com base em um tipo do objeto virtual atual. Por exemplo, a localização física esperada pode ser determinada com base nas informações relativas ao comportamento esperado dos usuários da aplicação de software de AR em resposta à exibição de um objeto virtual do mesmo tipo que o objeto virtual atual para os usuários. Como alternativa, a localização física esperada pode ser determinada com base em um comportamento aprendido do usuário em resposta a objetos virtuais exibidos anteriormente do mesmo tipo que o objeto virtual atual.

[0061] O atributo espacialmente dependente pode estar relacionado a um desempenho de uma conexão sem fio utilizada pela aplicação de software de AR. Por exemplo, o atributo espacialmente dependente pode ser qualquer um de intensidade de sinal, uma taxa de dados, uma largura de banda, uma taxa de erro, uma taxa de retransmissão e uma latência da conexão sem fio. Alternativamente, o atributo espacialmente dependente pode estar relacionado a uma percepção pelo usuário do som que é renderizado pela aplicação de software de AR.

[0062] Na Figura 8, é ilustrada uma modalidade alternativa 800 do meio de processamento 125. Semelhante ao meio de processamento 700, o meio de processamento 800 compreende uma ou mais interfaces 801 (E/S na Figura 8) para controlar e/ou receber informação de outros componentes compreendidos no dispositivo de computação 120/500/600, tal como a câmera 121, visor 124 e módulo de comunicações 126. O meio de processamento 800 compreende ainda

Petição 870190043813, de 09/05/2019, pág. 179/185

30/34 um módulo de seleção de localização 803 que é configurado para fazer com que o dispositivo de computação 120/500/600 funcione de acordo com modalidades da invenção como aqui descrito. Em particular, o módulo de seleção de localização 803 é configurado para selecionar uma localização física para posicionar um objeto virtual atual com base em uma localização física esperada que um usuário da aplicação de software de AR assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário, e um atributo que é espacialmente dependente do entorno do usuário e que tem um impacto na experiência do usuário da aplicação de software de AR. Por exemplo, a localização física para posicionar o objeto virtual atual pode ser selecionada por determinar, para pelo menos uma localização física candidata para posicionar o objeto virtual atual, a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual para o usuário, e avaliar um valor do atributo espacialmente dependente na localização física esperada. A localização física para posicionar o objeto virtual atual é então selecionada com base na pluralidade de valores do atributo espacialmente dependente avaliado em pelo menos uma localização física candidata. A localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário pode, por exemplo, estar dentro de um intervalo predeterminado de, ou igual a, a localização física candidata.

[0063] Meio de processamento 800 pode opcionalmente compreender um módulo de AR 802 que é configurado para hospedar, ou seja, executar a aplicação de software de AR.

[0064] Opcionalmente, a localização física esperada, que o usuário assume em resposta à exibição da cena física e o objeto virtual atual sobreposto ao usuário, pode ser determinada com base em um tipo do objeto virtual atual. Por

Petição 870190043813, de 09/05/2019, pág. 180/185

31/34 exemplo, a localização física esperada pode ser determinada com base nas informações relativas ao comportamento esperado dos usuários da aplicação de software de AR em resposta à exibição de um objeto virtual do mesmo tipo que o objeto virtual atual para os usuários. Essas informações podem, por exemplo, ser fornecidas pelo módulo de AR 802 ou recuperadas a partir de um servidor de aplicações hospedando a aplicação de software de AR. Alternativamente, a localização física esperada pode ser determinada por um módulo de aprendizagem opcional 805 compreendido no meio de processamento 800, com base em um comportamento aprendido do usuário em resposta a objetos virtuais exibidos anteriormente do mesmo tipo que o objeto virtual atual.

[0065] O atributo espacialmente dependente pode estar relacionado a um desempenho de uma conexão sem fio utilizada pela aplicação de software de AR. Por exemplo, o atributo espacialmente dependente pode ser qualquer um de intensidade de sinal, uma taxa de dados, uma largura de banda, uma taxa de erro, uma taxa de retransmissão e uma latência da conexão sem fio. Alternativamente, o atributo espacialmente dependente pode estar relacionado a uma percepção pelo usuário do som que é renderizado pela aplicação de software de AR. Meio de processamento 800 pode opcionalmente compreender um módulo de banco de dados 804 que é configurado para manter um banco de dados a partir do qual um ou mais valores do atributo espacialmente dependente podem ser recuperados como uma função de uma localização física nos entornos do usuário. Além disso, opcionalmente, os valores do atributo espacialmente dependente medido pelo dispositivo de computação 120/500/600 podem ser armazenados pelo módulo de banco de dados 804 no banco de dados como uma função da localização física.

[0066] A(s) interface(s) 701 e 801, e os módulos 802-805, bem como quaisquer módulos adicionais compreendidos no meio de processamento 800,

Petição 870190043813, de 09/05/2019, pág. 181/185

32/34 podem ser implementados por qualquer tipo de circuito eletrônico, por exemplo, qualquer um, ou uma combinação de circuitos eletrônicos analógicos, circuitos eletrônicos digitais e meio de processamento executando um programa de computador adequado.

[0067] Módulo de comunicações 126 composto por dispositivo de computação 120/500/600 pode, por exemplo, ser um módulo Bluetooth, um módulo WLAN/Wi-Fi ou um módulo de comunicações celular que suporte qualquer um de, ou uma combinação de, GMS, UMTS, LTE e um padrão 5G. Em alternativa, o módulo de comunicações 126 pode ser configurado para efetuar comunicações por meio de luz infravermelha (IR), luz codificada visível (VCL), ZigBee e assim por diante.

[0068] No seguinte, são descritas modalidades 900 do método de suporte a uma aplicação de software de AR com referência à Figura 9. O método 900 pode ser realizado por um dispositivo de computação tal como um servidor de jogos que hospeda a aplicação de software de AR, um servidor de localização para suportar a aplicação de software de AR, um headset de VR ou um HMD, um telefone celular, um telefone inteligente, um terminal móvel, um computador pessoal, um laptop, um tablet e um console de jogos. O método 900 compreende selecionar 906 uma localização física para posicionar um objeto virtual atual com base em uma localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário, e um atributo que é espacialmente dependente do entorno do usuário e que tem um impacto sobre a experiência do usuário da aplicação de software de AR. A localização física selecionada é a localização física onde o objeto virtual atual parece ser posicionado quando sobreposto em uma sequência de vídeo que captura uma cena física nos entornos de um usuário da aplicação de software de AR.

Petição 870190043813, de 09/05/2019, pág. 182/185

33/34 [0069] A localização física para posicionar o objeto virtual atual pode ser selecionada 906 por determinar 903, para pelo menos uma localização física candidata para posicionar o objeto virtual atual (por selecionar ou criar 902 uma nova localização física candidata em resposta a determinar 905 que as localizações precisam ser avaliadas), a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual ao usuário, sobrepostos de modo que pareçam ser posicionados na localização física candidata, e avaliar um 904 valor do atributo espacialmente dependente na localização física esperada. A localização física para posicionar o objeto virtual atual é então selecionada 906 com base na pluralidade de valores do atributo espacialmente dependente avaliado 904 na pelo menos uma localização física candidata. O conjunto de localizações físicas candidatas pode, por exemplo, ser recebido a partir da aplicação de software de AR. Alternativamente, novas localizações físicas candidatas 902 podem ser criadas com base nas informações fornecidas pela aplicação de software de AR, como é descrito aqui anteriormente.

[0070] A localização física esperada que o usuário assume em resposta a apresentar a cena física e o objeto virtual atual sobreposto ao usuário pode, por exemplo, ser determinada 903 para estar dentro de um intervalo predeterminado de, ou igual a, a localização física candidata. Opcionalmente, a localização física esperada, que o usuário assume em resposta à exibição da cena física e o objeto virtual atual sobreposto ao usuário, pode ser determinada 903 com base em um tipo do objeto virtual atual. Por exemplo, a localização física esperada pode ser determinada 903 com base na informação relativa ao comportamento esperado dos usuários da aplicação de software de AR em resposta a apresentar um objeto virtual do mesmo tipo que o objeto virtual atual aos usuários. Alternativamente, a localização física esperada pode ser

Petição 870190043813, de 09/05/2019, pág. 183/185

34/34 determinada 903 com base em um comportamento aprendido do usuário em resposta a objetos virtuais apresentados anteriormente do mesmo tipo que o objeto virtual atual.

[0071] O método 900 pode ainda compreender a recuperação, a partir de um banco de dados, de um ou mais valores do atributo espacialmente dependente como uma função de uma localização física nos entornos do usuário. Estes valores podem, por exemplo, ser recuperados ao avaliar 904 o atributo espacialmente dependente na localização física esperada determinada do usuário. Alternativamente, uma lista ou uma matriz de valores, ou um mapa representando o atributo espacialmente dependente em uma determinada região geográfica, pode ser recuperada 901.

[0072] O método 900 pode ainda compreender 907 sobrepor o objeto virtual atual na sequência de vídeo capturando a cena física, de modo que o objeto virtual atual sobreposto pareça ser posicionado na localização física selecionada.

[0073] O método 900 pode ainda compreender exibir 908 a sequência de vídeo capturando a cena física e o objeto virtual atual sobreposto ao usuário.

[0074] Será apreciado que o método 900 pode compreender passos adicionais, ou modificados, de acordo com o que é descrito ao longo desta revelação. Uma modalidade do método 900 pode ser implementada como software, tal como programa de computador 704, a ser executado por uma unidade de processamento compreendida no dispositivo de computação para suportar uma aplicação de software de AR, pelo qual o dispositivo de computação opera para funcionar de acordo com modalidades da invenção aqui descrita.

[0075] A pessoa versada na técnica percebe que a invenção de modo algum está limitada às modalidades descritas acima. Pelo contrário, muitas modificações e variações são possíveis dentro do âmbito das reivindicações anexas.

Claims (34)

1. REIVINDICAÇÕES

   1. Dispositivo de computação (120; 500; 600) para suportar uma aplicação de Realidade Aumentada, AR, o dispositivo de computação caracterizado pelo fato de que compreende meio de processamento (125) sendo operativo para:

   selecionar uma localização física (131; 231) para posicionar um objeto virtual atual (104; 204), onde o objeto virtual atual parece ser posicionado quando sobreposto em uma sequência de vídeo capturando uma cena física (100; 200) nos entornos de um usuário (110) da aplicação de AR, com base em:

   uma localização física esperada para a qual o usuário se move, ou onde o usuário permanece, em resposta à exibição (123; 223) da cena física e do objeto virtual atual sobreposto ao usuário, e um atributo que é espacialmente dependente do entorno do usuário e que tem um impacto na experiência do usuário da aplicação de AR.
2. 2. Dispositivo de computação, de acordo com a reivindicação 1, caracterizado pelo fato de que o meio de processamento é operativo para selecionar a localização física para posicionar o objeto virtual atual por:

   para pelo menos uma localização física candidata (131,132; 231, 232) para posicionar o objeto virtual atual:

   determinar a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual, sobrepostos de forma que pareçam ser posicionados na localização física candidata, para o usuário, e avaliar um valor do atributo espacialmente dependente na localização física esperada, e selecionar a localização física para posicionar o objeto virtual atual com base na pluralidade de valores do atributo espacialmente dependente avaliado na pelo menos uma localização física candidata.

   Petição 870190043813, de 09/05/2019, pág. 144/185
3. 3. Dispositivo de computação, de acordo com a reivindicação 2, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário está dentro de um intervalo predeterminado da localização física candidata.
4. 4. Dispositivo de computação, de acordo com a reivindicação 2, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário é determinada com base em um tipo do objeto virtual atual.
5. 5. Dispositivo de computação, de acordo com a reivindicação 4, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário é determinada com base nas informações relativas ao comportamento esperado dos usuários da aplicação de AR em resposta à exibição de um objeto virtual do mesmo tipo que o objeto virtual atual para os usuários.
6. 6. Dispositivo de computação, de acordo com a reivindicação 4, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobrepostos ao usuário é determinada com base em um comportamento aprendido do usuário em resposta aos objetos virtuais anteriormente exibidos do mesmo tipo que o objeto virtual atual.
7. 7. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 6, caracterizado pelo fato de que é ainda operativo para recuperar, a partir de um banco de dados (703; 804), um ou mais valores do atributo espacialmente dependente como uma função de uma localização física nos entornos do usuário.

   Petição 870190043813, de 09/05/2019, pág. 145/185

   3/7
8. 8. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que o meio de processamento é ainda operativo para armazenar, em um banco de dados (703; 804), valores medidos do atributo espacialmente dependente como uma função da localização física.
9. 9. Dispositivo de computação, de acordo com a reivindicação 7 ou 8, caracterizado pelo fato de que o banco de dados é mantido por qualquer um de: o dispositivo de computação, um nó de Rede de Acesso de Rádio, RAN, e um nó de Sistemas de Suporte de Operações, OSS.
10. 10. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que o atributo espacialmente dependente é relacionado a um desempenho de uma conexão sem fio utilizada pela aplicação de AR.
11. 11. Dispositivo de computação, de acordo com a reivindicação 10, caracterizado pelo fato de que o atributo espacialmente dependente é qualquer um de: uma intensidade de sinal, uma taxa de dados, uma largura de banda, uma taxa de erro, uma taxa de retransmissão e uma latência, da conexão sem fio.
12. 12. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 9, caracterizado pelo fato de que o atributo espacialmente dependente é relacionado com uma percepção do usuário de som que é renderizado pela aplicação de AR.
13. 13. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado pelo fato de que o meio de processamento é ainda operativo para sobrepor o objeto virtual atual na sequência de vídeo capturando a cena física, de modo que o objeto virtual atual sobreposto pareça ser posicionado na localização física selecionada.
14. 14. Dispositivo de computação, de acordo com a reivindicação 13,

    Petição 870190043813, de 09/05/2019, pág. 146/185

    4/7 caracterizado pelo fato de que o meio de processamento é ainda operativo para exibir a sequência de vídeo (123; 223) capturando a cena física e o objeto virtual atual sobreposto ao usuário.
15. 15. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 14, caracterizado pelo fato de que a sequência de vídeo é capturada por uma câmera (121) usada pelo usuário, de modo que um campo de visão (122) da câmera é correlacionado com uma localização física e orientação do usuário.
16. 16. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 15, caracterizado pelo fato de que o visor (124) é usado pelo usuário.
17. 17. Dispositivo de computação, de acordo com qualquer uma das reivindicações 1 a 16, caracterizado pelo fato de que é qualquer um de: um servidor de jogos (600) hospedando a aplicação de AR, um headset de realidade virtual (120), um visor montado na cabeça (120), um telefone móvel (500), um telefone inteligente (500), um terminal móvel (500), um computador pessoal, um laptop, um tablet e um console de jogos.
18. 18. Método (900) de suporte a uma aplicação de Realidade Aumentada, AR, caracterizado pelo fato de que o método é executado por um dispositivo de computação e compreende:

    selecionar (906) uma localização física para posicionar um objeto virtual atual, onde o objeto virtual atual parece ser posicionado quando sobreposto em uma sequência de vídeo capturando uma cena física nos entornos de um usuário da aplicação de AR, com base em:

    uma localização física esperada para a qual o usuário se move, ou onde o usuário permanece, em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário, e

    Petição 870190043813, de 09/05/2019, pág. 147/185 um atributo que é espacialmente dependente dos entornos do usuário e que tem um impacto na experiência do usuário da aplicação de AR.
19. 19. Método, de acordo com a reivindicação 18, caracterizado pelo fato de que a localização física para posicionar o objeto virtual atual é selecionada (906) por:

    para pelo menos uma (902,905) localização física candidata para posicionar o objeto virtual atual:

    determinar (903) a localização física esperada que o usuário assume em resposta a apresentar a cena física e o objeto virtual atual, sobrepostos de tal modo que parecem ser posicionados na localização física candidata, para o usuário e avaliar (904) um valor do atributo espacialmente dependente na localização física esperada, e selecionar (906) a localização física para posicionar o objeto virtual atual com base na pluralidade de valores do atributo espacialmente dependente avaliado na pelo menos uma localização física candidata.
20. 20. Método, de acordo com a reivindicação 19, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobrepostos ao usuário está dentro de um intervalo predeterminado da localização física candidata.
21. 21. Método, de acordo com a reivindicação 19, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta a exibir a cena física e o objeto virtual atual sobreposto ao usuário é determinada (903) com base em um tipo do objeto virtual atual.
22. 22. Método, de acordo com a reivindicação 21, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário é determinada

    Petição 870190043813, de 09/05/2019, pág. 148/185

    6/7 (903) com base em informações relativas ao comportamento esperado dos usuários da aplicação de AR em resposta à exibição de um objeto virtual do mesmo tipo que o objeto virtual atual para os usuários.
23. 23. Método, de acordo com a reivindicação 21, caracterizado pelo fato de que a localização física esperada que o usuário assume em resposta à exibição da cena física e do objeto virtual atual sobreposto ao usuário é determinada (903) com base em um comportamento aprendido do usuário em resposta a objetos virtuais exibidos anteriormente do mesmo tipo que o objeto virtual atual.
24. 24. Método, de acordo com qualquer uma das reivindicações 18 a 23, caracterizado pelo fato de que compreende ainda recuperar (901, 904), a partir de um banco de dados, um ou mais valores do atributo espacialmente dependente como uma função de uma localização física nos entornos do usuário.
25. 25. Método, de acordo com qualquer uma das reivindicações 18 a 24, caracterizado pelo fato de que compreende ainda armazenar, em um banco de dados, valores medidos do atributo espacialmente dependente como uma função da localização física.
26. 26. Método, de acordo com a reivindicação 24 ou 25, caracterizado pelo fato de que o banco de dados é mantido por qualquer um de: o dispositivo de computação, um nó de Rede de Acesso de Rádio, RAN, e um nó de Sistemas de Suporte de Operações, OSS.
27. 27. Método, de acordo com qualquer uma das reivindicações 18 a 26, caracterizado pelo fato de que o atributo espacialmente dependente é relacionado a um desempenho de uma conexão sem fio utilizada pela aplicação de AR.
28. 28. Método, de acordo com a reivindicação 27, caracterizado pelo fato

    Petição 870190043813, de 09/05/2019, pág. 149/185 de que o atributo espacialmente dependente é qualquer um de: uma intensidade de sinal, uma taxa de dados, uma largura de banda, uma taxa de erro, uma taxa de retransmissão e uma latência, da conexão sem fio.
29. 29. Método, de acordo com qualquer uma das reivindicações 18 a 26, caracterizado pelo fato de que o atributo espacialmente dependente é relacionado a uma percepção pelo usuário de som que é renderizado pela aplicação de AR.
30. 30. Método, de acordo com qualquer uma das reivindicações 18 a 29, caracterizado pelo fato de que compreende ainda sobrepor (907) o objeto virtual atual à sequência de vídeo capturando a cena física, de tal modo que o objeto virtual atual sobreposto parece ser posicionado na localização física selecionada.
31. 31. Método, de acordo com a reivindicação 30, caracterizado pelo fato de que compreende ainda exibir (908) a sequência de vídeo capturando a cena física e o objeto virtual atual sobreposto ao usuário.
32. 32. Método, de acordo com qualquer uma das reivindicações 18 a 31, caracterizado pelo fato de que a sequência de vídeo é capturada por uma câmera (121) usada pelo usuário, de modo que um campo de visão (122) da câmera é correlacionado com uma localização e orientação do usuário.
33. 33. Método, de acordo com qualquer uma das reivindicações 18 a 32, caracterizado pelo fato de que o visor é usado pelo usuário.
34. 34. Meio de armazenamento legível por computador (703) caracterizado pelo fato de que compreende instruções executáveis por computador para fazer com que um dispositivo execute o método definido em qualquer uma das reivindicações 18 a 33, quando as instruções executáveis por computador são executadas em uma unidade de processamento (702) compreendida no dispositivo.