BR112015031234B1 - Método para renderizar um objeto virtual em um visor transparente montado em cabeça e aparelho de exibição - Google Patents

Abstract

MÉTODO PARA SELECIONAR UM OBJETO VIRTUAL RENDERIZADO EM UM VISOR TRANSPARENTE MONTADO EM CABEÇA, APARELHO DE EXIBIÇÃO TRANSPARENTE MONTADO EM CABEÇA E APARELHO PARA CRIAR UM OBJETO VIRTUAL COMPARTILHADO. A presente invenção refere-se a um método e um aparelho para a criação de um objeto virtual de perspectiva travada tendo um espaço no mundo. O objeto virtual pode ser consumido por um outro usuário com um dispositivo de consumo em uma localização, posição e orientação que seja a mesma ou aproximada da localização, da posição e da orientação em que o objeto virtual é criado. Os objetos podem ter uma, poucas ou muitas localizações, posições e orientações de consumo admissíveis definidas por seu criador.

Description

ANTECEDENTES

[0001] Um uso atual de dispositivos móveis é para permitir uma perspectiva "virtual" de um ambiente de mundo real. Atualmente, alguns aplicativos, os quais podem ser usados em dispositivos móveis, usam a entrada de câmera a partir do dispositivo e coordenadas de GPS para a renderização de uma imagem bidimensional em itens (usualmente edificações) no mundo real. Estes objetos geralmente são visíveis em qualquer posição e usualmente são de aparência tridimensional, mas renderizados em um visor plano do dispositivo móvel.

[0002] A realidade mista é uma tecnologia que permite que um objeto virtual seja misturado com um ambiente físico de mundo real. Um dispositivo de exibição montado em cabeça (HMD) transparente pode ser usado por um usuário para visualização da imagem mista de objetos reais e objetos virtuais exibidos no campo de visão do usuário.

SUMÁRIO

[0003] É apresentada uma tecnologia, a qual permite a criação de um objeto virtual de perspectiva travada. O objeto virtual pode ser consumido (visto, ouvido ou se pode interagir com ele) por um outro usuário com um dispositivo de consumo em uma localização, posição e orientação, as quais são as mesmas ou próximas da localização, da posição e da orientação em que o objeto virtual é criado. Os objetos podem ter uma, poucas ou muitas localizações, posições e orientações de consumo admissíveis definidas por seu criador.

[0004] Em um aspecto, é provido um aparelho que pode criar e/ou consumir objetos virtuais de perspectiva travada. A posição, a orientação e a localização do aparelho são determinados. Quando se consome um objeto virtual de perspectiva travada compartilhado, um objeto virtual compartilhado é recebido, o qual inclui a renderização de dados de localização. O objeto virtual compartilhado é exibido no dispositivo de consumo, se o campo de visão do dispositivo de consumo estiver na correspondência determinada de posição e orientação admissíveis.

[0005] Quando da criação de um objeto virtual de perspectiva travada compartilhado, a localização, a posição e a orientação de coordenada global do dispositivo de captura são determinadas e dados de renderização de objeto virtual compartilhado são criados. Os dados de renderização incluem dados de localização de renderização para o objeto virtual compartilhado. Os dados de localização de renderização podem ser pelo menos uma localização de coordenada global, e pelo menos uma posição e pelo menos uma orientação para o objeto virtual com respeito a um sistema de coordenadas local.

[0006] Este Sumário é provido para introdução de uma seleção de conceitos em uma forma simplificada que são adicionalmente descritos abaixo na Descrição Detalhada. Este Sumário não é pretendido para a identificação de recursos chaves ou recursos essenciais do assunto reivindicado, nem é pretendido para ser usado como um auxiliar na determinação do escopo do assunto reivindicado.

BREVE DESCRIÇÃO DOS DESENHOS

[0007] A Figura 1A é um método que ilustra uma implementação básica da presente tecnologia.

[0008] As Figuras 1B a 1D ilustram um usuário executando aspectos do método da Figura 1A.

[0009] A Figura 2 é uma vista em perspectiva de um usuário vendo um ambiente de mundo real.

[0010] A Figura 3A é uma vista em perspectiva de um usuário usando um dispositivo de captura em um ambiente de mundo real.

[0011] A Figura 3B é uma descrição de um objeto virtual, neste caso, uma imagem no dispositivo de captura do usuário na Figura 2.

[0012] A Figura 3C é uma descrição da visão do usuário na Figura 2 através de um dispositivo de exibição transparente montado em cabeça.

[0013] A Figura 3D ilustra um usuário na posição associada a um marcador virtual.

[0014] A Figura 3E é uma descrição do usuário de um dispositivo de exibição transparente montado em cabeça vendo o objeto virtual capturado na Figura 3B.

[0015] A Figura 4A é uma segunda vista em perspectiva de um usuário vendo a cena na Figura 2 através de um dispositivo de exibição transparente montado em cabeça.

[0016] A Figura 4B é uma vista de um objeto virtual travado no mundo através da visão de um dispositivo de exibição transparente montado em cabeça.

[0017] A Figura 5 é uma vista em perspectiva de unidade de exibição montada em cabeça.

[0018] A Figura 6 é uma vista lateral de uma porção de uma modalidade de uma unidade de exibição montada em cabeça.

[0019] A Figura 7 é um diagrama de blocos de uma modalidade de componentes de uma unidade de exibição montada em cabeça.

[0020] A Figura 8 é um diagrama de blocos de uma modalidade dos componentes de uma unidade de processamento associada a uma unidade de exibição montada em cabeça.

[0021] A Figura 9 é um diagrama de blocos de uma modalidade de um dispositivo móvel ou de computação tablet.

[0022] A Figura 10 é um diagrama de blocos de um sistema para a implementação de um serviço central de acordo com a presente tecnologia.

[0023] A Figura 11 é um fluxograma que descreve a criação de um conteúdo por um usuário ou terceiros.

[0024] A Figura 12 é um fluxograma que ilustra a exibição de um conteúdo criado por um usuário de acordo com a presente tecnologia.

[0025] A Figura 13 é um fluxograma que ilustra a etapa 1222 na Figura 12.

DESCRIÇÃO DETALHADA

[0026] É apresentada uma tecnologia, a qual permite a criação de um objeto virtual de perspectiva travada. O objeto virtual pode ser consumido (visto, ouvido ou se pode interagir com ele) por um outro usuário com um dispositivo de consumo em uma localização, posição e orientação, as quais são as mesmas ou próximas da localização, da posição e da orientação em que o objeto virtual é criado. Os objetos podem ter uma, poucas ou muitas localizações, posições e orientações de consumo admissíveis definidas por seu criador.

[0027] A tecnologia permite que os usuários criem e compartilhem objetos que travam consumidores de objeto a uma ou mais perspectivas sobre como o criador deseja que o observador perceba o objeto.

[0028] A Figura 1A é um método que ilustra uma primeira modalidade da presente tecnologia para a captura e o compartilhamento de um objeto virtual com uma orientação definida e visualização. A Figura 1A será descrita com respeito às Figuras 1B a 1D, as quais ilustram um usuário criando um conteúdo. Na etapa 50, a posição, a orientação e a localização de um dispositivo de criação são determinadas. Conforme será descrito aqui, a posição, a orientação e a localização podem ser descritas em relação a um sistema de coordenadas global e a um sistema de coordenadas local. Na etapa 52, um conteúdo é criado e capturado pelo dispositivo de criação. O dispositivo de criação pode incluir um dispositivo de captura, o qual pode receber vários tipos de dados audiovisuais, e uma informação suprida por usuário a ser provida em um objeto virtual. Em 52, os dados de localização, posição e orientação podem ser usados para a definição da perspectiva do dispositivo de captura. A perspectiva é usada para se determinar como um objeto virtual compartilhado deve ser renderizado para um consumidor. A criação e a captura de um conteúdo podem incluir de acordo com o tempo de captura dos dados de objeto.

[0029] A Figura 1B ilustra um usuário 24 tendo um dispositivo de criação, neste caso, um computador tablet, capturando um objeto de mundo real 70. O usuário 24 pode estar localizado no espaço do mundo definido por um sistema de coordenadas global, e a orientação e a posição do dispositivo de captura no espaço do mundo definidas em relação a um sistema de coordenadas local 75. A Figura 1C ilustra a perspectiva 80 do dispositivo de captura em relação ao objeto de mundo real 70. A perspectiva tem uma altura 82 em relação à altura na qual um usuário manteve o dispositivo de captura 44, bem como uma posição e uma orientação tridimensional, a qual pode ser descrita por coordenadas de orientação em relação ao sistema de coordenadas local. No exemplo nas Figuras 1B a 1D, o usuário 24 está criando um objeto virtual 90, neste caso, uma imagem bidimensional, do objeto de mundo real 70. O objeto virtual 90 é ilustrado na Figura 1D, e tem uma perspectiva associada ao dispositivo de criação 44. Na etapa 52, um usuário pode definir uma ou mais posições de consumo admissíveis para um dispositivo de consumo. Em um aspecto, apenas uma posição de consumo para um dispositivo de consumo pode ser admitida. Isto proveria o dispositivo de consumo nas mesmas localização, posição e orientação que o dispositivo de captura. Em outros exemplos, numerosas posições de consumo admissíveis podem ser providas.

[0030] Embora o exemplo mostrado nas Figuras 1B a 1D ilustram a criação de uma imagem, numerosos tipos de objetos virtuais podem ser criados de acordo com a presente tecnologia. Estes incluem objetos virtuais bidimensionais e tridimensionais, os quais podem ser renderizados em vários tipos diferentes de dispositivos de computação ou processamento.

[0031] Retornando à Figura 1A, na etapa 54, os dados de renderização compreendendo a informação capturada para o objeto virtual estão associados à localização, à posição e à orientação e são armazenados com uma definição de objeto. Na etapa 56, a definição de objeto incluindo dados de renderização e a informação de posição são transmitidas para um segundo usuário. Conforme será discutido abaixo, a etapa 56 pode incluir a transmissão dos dados para um serviço central ou diretamente para um segundo usuário de um dispositivo de consumo. Conforme também será discutido abaixo, o dispositivo de consumo pode ser de forma similar qualquer um de vários tipos de dispositivos de processamento, incluindo conforme discutido abaixo com respeito às Figuras 3A a 3E, um dispositivo de exibição transparente montado em cabeça.

[0032] Na etapa 58, um conteúdo é recuperado em um dispositivo de consumo a partir do primeiro usuário. Na etapa 60, a posição, a orientação e as localizações admissíveis para o objeto virtual compartilhado são determinados. Na etapa 62, a posição, a orientação e a localização do dispositivo de consumo são determinadas. Em uma modalidade, um dispositivo de consumo pode apenas renderizar um objeto virtual compartilhado, quando o dispositivo de consumo estiver nas mesmas posição, orientação e localização que o dispositivo de captura. Em uma outra modalidade, o dispositivo de consumo pode renderizar um objeto virtual compartilhado, quando o dispositivo de consumo está em uma ou mais posição, orientação e localizações admissíveis definidas pelo dispositivo de criação. Em uma terceira modalidade, o dispositivo de consumo pode renderizar um objeto virtual compartilhado, quando o dispositivo de consumo estiver em uma posição próxima de uma posição de renderização definida para o objeto virtual, conforme definido pelo dispositivo de captura, com a localização, a posição e a orientação admissíveis para o dispositivo de consumo definidas em relação à posição de renderização.

[0033] Se, na etapa 64, o dispositivo de consumo não estiver apropriadamente em posição, então, ajustes no posicionamento do dispositivo de consumo poderão ser feitos. Se o dispositivo estiver apropriadamente posicionado em 64, o conteúdo poderá ser renderizado na posição, na orientação e na localização definidas pelo dispositivo de criação.

[0034] A tecnologia tem aplicabilidade na provisão de uma informação para os usuários em um ambiente de larga escala. A Figura 2 ilustra um usuário 24 vendo um ambiente de mundo real 1000, um cenário variado com edificações é visível para o usuário. Os objetos virtuais podem compreender vistas, dados audiovisuais ou outros tipos de informação renderizada a partir da perspectiva do usuário 24, ou em vários objetos de mundo real, tais como as edificações 1001 na Figura 2.

[0035] As Figuras 3A a 3E ilustram um usuário da tecnologia em um ambiente de mundo real grande. Neste aspecto, um usuário pode criar um objeto virtual compartilhado, e deixar marcadores no ambiente para outros usuários indicando onde existem objetos virtuais compartilhados no ambiente. Isto pode permitir que um segundo usuário se aproxime do marcador e consuma o objeto virtual criado pelo primeiro usuário.

[0036] Em um exemplo, suponha que um usuário de férias tire uma foto de uma cena em particular com a família do usuário de pé na frente de uma edificação de marco geográfico. Em um ponto posterior no tempo, um segundo usuário pode chegar à cena, e ver a foto do objeto virtual da família do usuário na frente do marco geográfico nas mesmas posição e orientação nas quais a foto foi tirada.

[0037] A Figura 3A ilustra o usuário 24 com um dispositivo de criação 44 usando o dispositivo para a criação de um objeto virtual a partir de um objeto de mundo real, neste caso, a edificação 1004. Conforme ilustrado na Figura 3A, um usuário tem uma perspectiva 1003 em relação à edificação 1004. Como no exemplo acima nas Figuras 1A a 1D, a perspectiva 1003 do usuário pode ser referenciada para uma localização mundial definida pelas coordenadas globais 1005, e um sistema de coordenadas local 1006. O campo de visão do dispositivo de captura é ilustrado em 1007.

[0038] O campo de visão na perspectiva 1003 do dispositivo de captura 44 de usuário é ilustrado na Figura 3B. Na Figura 3B, um objeto virtual 1020a compreendendo uma foto da edificação 1004 foi criado. Deve ser entendido que o sistema de coordenadas local 1006 pode ser relacionado ao sistema de coordenadas global usando uma ou mais relações de posição permitindo a orientação do sistema de coordenadas local em relação às localizações definidas pelo sistema de coordenadas global.

[0039] A Figura 3C ilustra a vista em perspectiva de um usuário 24 usando um dispositivo de exibição transparente montado em cabeça no ambiente 1000 da Figura 2. Conforme será discutido abaixo, um dispositivo de exibição transparente montado em cabeça é um dispositivo de realidade mista, o qual permite a um usuário ver objetos virtuais renderizados em um ambiente. Na Figura 3C, um marcador 1010 associado a uma definição de objeto virtual 1020 aparece para o usuário de um dispositivo de exibição transparente montado em cabeça 2. (Deve ser entendido que a definição de objeto 1020 ilustrada na Figura 3C e aquelas referenciadas aqui adiante não são visíveis para o usuário, exceto em forma renderizada como um objeto virtual.) De acordo com a tecnologia, quando o usuário posiciona a si mesmo na localização associada ao marcador 1010, um usuário pode ver ou consumir o objeto virtual criado pelo usuário 24.

[0040] A Figura 3D ilustra o usuário 24A na posição associada ao marcador 1010. O usuário 24A está usando um dispositivo de exibição transparente montado em cabeça 2 e posiciona a si mesmo nas mesmas localização, orientação e posição em relação ao dispositivo de criação do usuário 24 na Figura 3A. A definição de objeto 1020 inclui uma informação de renderização, bem como coordenadas globais e coordenadas locais definindo uma posição de renderização admissível para o visor transparente montado em cabeça 2.

[0041] Conforme mostrado na Figura 3E, o visor transparente montado em cabeça renderizará o objeto virtual 1020a, em que na posição de renderização admissível, a posição de renderização neste exemplo tendo as mesmas localização, posição e orientação que o dispositivo de criação original. Conforme mostrado na Figura 3E, a perspectiva do usuário 24A e a vista do objeto 1020a criada na Figura 3A são as mesmas que aquelas do usuário 24 que criou o objeto virtual 1020a.

[0042] As Figuras 4A e 4B ilustram um outro aspecto da presente tecnologia incluindo o usuário de uma informação de origem de terceiros na criação e renderização de um objeto virtual. A Figura 4A é uma vista em perspectiva de um usuário usando um dispositivo de exibição transparente montado em cabeça 2 em um ambiente 1000, em que uma pluralidade de marcadores foi provida. No exemplo mostrado na Figura 4A, o marcador 1010 é ilustrado. O marcador 1010 pode ser um marcador provido por um usuário e compartilhado diretamente com um outro usuário. Também estão ilustrados na Figura 4A marcadores de dados de terceiros 1015, 1025, 1030, 1040, 1050. Os marcadores de dados de terceiros estão associados a objetos virtuais cuja informação pode ser derivada a partir de serviços de terceiros. Conforme será descrito abaixo, um serviço central pode acumular uma informação a partir de qualquer um de vários serviços de terceiros, e criar objetos virtuais em posições definidas pelo serviço central e/ou definidas pela informação provida pelo serviço de terceiros. Em uma outra alternativa, os serviços de terceiros em si podem definir objetos virtuais para uso em um ambiente. Por exemplo, o proprietário de um restaurante pode definir um objeto virtual para exibição no ambiente e definir um marcador associado para uso no ambiente. Este alvo e um objeto virtual associado podem ser providos para o serviço essencial para exibição para usuários de dispositivos de consumo.

[0043] A Figura 4B ilustra a vista em perspectiva de um objeto virtual 1015a associado ao marcador 1015 na Figura 4B. A Figura 4B também ilustra um exemplo de um objeto "travado no mundo" com múltiplas localizações, posições e orientações admissíveis. O objeto virtual 1015a é mostrado posicionado no lado da edificação, e inclui uma informação provida por um serviço de terceiros Yelp®. Neste caso, o objeto virtual 1015a é um objeto virtual "travado no mundo", cuja posição está associada a um objeto físico (a edificação) e pode ter número de localizações, orientação e posições de renderização admissíveis em relação à posição do dispositivo de consumo. Por exemplo, conforme o usuário se move na Figura 4B em relação à edificação e ao objeto virtual 1015a, o objeto virtual 1015a ainda aparecerá no lado da edificação. Daí, várias posições admissíveis estão disponíveis para visualização do objeto virtual 1050a.

[0044] No exemplo mostrado na Figura 4B, um dispositivo de exibição transparente montado em cabeça 2 é considerado como estando próximo da localização de renderização do objeto travado no mundo 1015a. As localizações próximas da localização de renderização incluiriam todas as localizações, as posições e as orientações admissíveis definidas no objeto virtual de perspectiva travada nas quais uma renderização pelo dispositivo de consumo pode ocorrer.

[0045] Conforme citado acima, o dispositivo de consumo e o dispositivo de criação podem compreender qualquer um de vários dispositivos de processamento adequados, conforme descrito aqui. A tecnologia encontra aplicabilidade em particular quando usada com um dispositivo de exibição transparente montado em cabeça capaz de renderizar objetos em um ambiente de realidade mista.

[0046] Quando um dispositivo de exibição transparente montado em cabeça é usado como o dispositivo de criação, vários tipos diferentes de objetos virtuais podem ser criados. Em um aspecto, o objeto virtual pode incluir uma combinação de todas as entradas sensoriais disponíveis a partir de um dispositivo de exibição transparente montado em cabeça, as quais são renderizadas de volta para um usuário consumindo, assumindo que o dispositivo de consumo seja capaz de renderizar todas as entradas. Por exemplo, um usuário criando pode gravar um passeio através de um ambiente em particular, o qual é reexecutado para um usuário consumindo, conforme o usuário fizer o mesmo passeio através do ambiente. Todos os aspectos do evento de criação, incluindo, por exemplo, visões de vídeo, sons de áudio e similares, podem ser reexecutados para o usuário consumindo.

[0047] Um dispositivo de exibição montado em cabeça inclui um elemento de exibição e uma unidade de processamento. O elemento de exibição é até certo grau transparente, de modo que um usuário possa olhar através do elemento de exibição em objetos do mundo real no campo de visão (FOV) do usuário. O elemento de exibição também provê a capacidade de projetar imagens virtuais no FOV do usuário, de modo que as imagens virtuais também possam aparecer ao lado de objetos de mundo real. O sistema automaticamente rastreia para onde o usuário está olhando, de modo que o sistema possa determinar onde inserir a(s) imagem(ns) virtual(is) no FOV do usuário. Uma vez que o sistema sabia onde projetar a imagem virtual, a imagem é projetada usando-se o elemento de exibição.

[0048] Em modalidades, o dispositivo de exibição montado em cabeça incluindo sua unidade de processamento pode construir um modelo do ambiente de realidade mista incluindo posições x, y, z, de passo, guinada e rolamento de usuários, objetos de mundo real e objetos tridimensionais virtuais no ambiente. As posições de cada dispositivo de exibição montado em cabeça usado pelos usuários no ambiente podem ser calibradas para a modelagem do ambiente e para cada outro. Isto permite que o sistema determine a linha de visão de cada usuário e o FOV do ambiente. Assim, uma imagem virtual pode ser exibida para cada usuário, mas o sistema determina a exibição da imagem virtual a partir da perspectiva de cada usuário, ajustando a imagem virtual quanto à paralaxe e quaisquer oclusões de ou por outros objetos no ambiente.

[0049] Um usuário pode escolher interagir com um ou mais objetos virtuais aparecendo no FOV do usuário. Conforme usado aqui, o termo "interagir" engloba ambas uma interação física e uma interação verbal de um usuário com um objeto virtual. Uma interação física inclui um usuário executando um gesto predefinido usando seus dedos, a mão, a cabeça e/ou outras partes do corpo reconhecidos pelo sistema de realidade mista como uma requisição de usuário para o sistema par execução de uma ação predefinida. Esses gestos predefinidos podem incluir, mas não estão limitados a apontar para pegar e empurrar objetos virtuais.

[0050] Um usuário também pode interagir fisicamente com um objeto virtual com seus olhos. Em alguns casos, os dados de olhar do olho identificam onde um usuário está focalizando seu FOV, e assim pode identificar que um usuário está olhando para um objeto virtual em particular. O olhar do olho sustentado, ou uma piscadela ou uma sequência de piscadela assim pode ser uma interação física, por meio do que um usuário seleciona um ou mais objetos virtuais. Um usuário simplesmente olhando para um objeto virtual, tal como vendo um conteúdo em uma lousa de exibição virtual, é um outro exemplo de interação física de um usuário com um objeto virtual.

[0051] Um usuário pode interagir de forma alternativa ou adicional com objetos virtuais usando gestos verbais, tal como, por exemplo, uma palavra falada ou frase reconhecida pelo sistema de realidade mista como uma requisição de usuário para execução de uma ação predefinida. Gestos verbais podem ser usados em conjunto com gestos físicos para interação com um ou mais objetos virtuais no ambiente de realidade mista.

[0052] As Figuras 5 a 8 ilustram um dispositivo de exibição transparente montado em cabeça 2, o qual em uma modalidade é no formato de óculos, é usado na cabeça de um usuário, de modo que o usuário possa ver através de um visor e, desse modo, ter uma visão direta real do espaço na frente do usuário. O uso dos termos "visão direta real" se refere à capacidade de ver os objetos de mundo real diretamente com o olho humano, ao invés de ver representações de imagem criadas dos objetos. Por exemplo, olhar através dos óculos em um cômodo permite que um usuário tenha uma visão direta real do cômodo, enquanto ver um vídeo de um cômodo em uma televisão não é uma visão direta real do cômodo. Maiores detalhes do dispositivo de exibição montado em cabeça 2 são providos abaixo.

[0053] Uma unidade de processamento 4 pode incluir muito da potência de computação usada para operação do dispositivo de exibição montado em cabeça 2. Em modalidades, a unidade de processamento 4 se comunica de forma sem fio (por exemplo, por WiFi, Bluetooth, infravermelho ou outros meios de comunicação sem fio) com um ou mais serviços centrais 900.

[0054] Um dispositivo de exibição montado em cabeça pode incluir um elemento de exibição. O elemento de exibição é até certo grau transparente, de modo que um usuário possa olhar através do elemento de exibição em objetos do mundo real no campo de visão (FOV) do usuário. O elemento de exibição também provê a capacidade de projetar objetos virtuais no FOV do usuário, de modo que os objetos virtuais também possam aparecer ao lado de objetos de mundo real. O sistema automaticamente rastreia para onde o usuário está olhando, de modo que o sistema possa determinar onde inserir o objeto virtual no FOV do usuário. Uma vez que o sistema sabia onde projetar o objeto virtual, a imagem é projetada usando-se o elemento de exibição.

[0055] Os objetos virtuais podem incluir uma definição de objeto, tal como a definição 1020 discutida acima. A definição pode incluir dados permitindo que o dispositivo de exibição 2 renderize o objeto virtual no campo de visão de um usuário. Um componente da definição pode compreender um tipo de objeto, um tamanho de objeto e uma ou mais perspectivas de visualização ótimas e orientação. Cada perspectiva de visualização ótima pode compreender uma definição de uma perspectiva ótima para uma visão de usuário do objeto. Quando um objeto virtual é compartilhado, a tecnologia apresentada aqui usa a definição de objeto e as localizações e o campo de visão de cada usuário com quem o objeto é compartilhado para a determinação de uma localização ótima na qual se renderiza o objeto para cada usuário.

[0056] Em uma alternativa, outros sistemas de computação e um ou mais das unidades de processamento podem cooperar para a construção de um modelo do ambiente incluindo as posições cartesianas x, y, z de todos os usuários, objetos de mundo real e objetos tridimensionais virtuais no cômodo ou em outro ambiente. As posições de cada dispositivo de exibição montado em cabeça usado pelos usuários no ambiente podem ser calibradas para o modelo do ambiente e para cada outro. Isto permite que o sistema determine cada linha de visão de usuário e FOV do ambiente. Assim, um objeto virtual pode ser exibido para cada usuário, mas a exibição do objeto virtual da perspectiva de cada usuário pode ser relativa, ajustando-se o objeto virtual quanto à paralaxe e a quaisquer oclusões a partir de ou por outros objetos no ambiente. O modelo do ambiente, referido aqui como um mapa de cena, bem como todo o rastreamento do FOV do usuário e objetos no ambiente podem ser gerados por sistemas de computação e pela unidade de processamento móvel trabalhando em tandem ou individualmente.

[0057] As Figuras 5 e 6 mostram vistas em perspectiva e lateral do dispositivo de exibição montado em cabeça 2. A Figura 6 mostra o lado direito do dispositivo de exibição montado em cabeça 2, incluindo uma porção do dispositivo tendo uma haste 102 e uma ponte nasal 104. Está construído na ponte nasal 104 um microfone 110 para gravação de sons e transmissão daqueles dados de áudio para a unidade de processamento 4, conforme descrito abaixo. Na frente do dispositivo de exibição montado em cabeça 2 está uma câmera de vídeo voltada para o cômodo 112 que pode capturar vídeo e imagens paradas. Aquelas imagens são transmitidas para a unidade de processamento 4, conforme descrito abaixo.

[0058] Uma porção do quadro do dispositivo de exibição montado em cabeça 2 circundará um visor (que inclui uma ou mais lentes). De modo a mostrar os componentes do dispositivo de exibição montado em cabeça 2, uma porção do quadro que circunda o visor não é descrita. O visor inclui um elemento ótico de guia de luz 115, um filtro de opacidade 114, uma lente transparente 116 e uma lente transparente 118. Em uma modalidade, o filtro de opacidade 114 está atrás e alinhado com o elemento ótico de guia de luz 115. As lentes transparentes 116 e 118 são lentes padronizadas usadas em óculos comuns e podem ser feitas para qualquer prescrição (incluindo sem prescrição). O elemento ótico de guia de luz 115 canaliza a luz artificial para o olho. Maiores detalhes do filtro de opacidade 114 e do elemento ótico de guia de luz 115 são providos no Pedido de Patente Publicado U.S. N° 2012/0127284, intitulado "Head-Mounted Display Device Which Provides Surround Video", cujo pedido foi publicado em 24 de maio de 2012.

[0059] Os circuitos de controle 136 proveem vários eletrônicos que suportam os outros componentes do dispositivo de exibição montado em cabeça 2. Maiores detalhes de circuitos de controle 136 são providos abaixo com respeito à Figura 7. Dentro da haste 102 ou montados nela estão os fones de ouvido 130, uma unidade de medição inercial 132 e um sensor de temperatura 138. Em uma modalidade mostrada na Figura 7, a unidade de medição inercial 132 (ou IMU 132) inclui sensores inerciais, tais como o magnetômetro de três eixos 132A, um giroscópio de três eixos 132B e um acelerômetro de três eixos 132C. A IMU 132 detecta posições, orientação e acelerações súbitas (passo, rolamento e guinada) do dispositivo de exibição montado em cabeça 2. A IMU 132 pode incluir outros sensores inerciais, além de ou ao invés de um magnetômetro 132A, um giroscópio 132B e um acelerômetro 132C.

[0060] O microvisor 120 projeta uma imagem através da lente 122. Há diferentes tecnologias de geração de imagem que podem ser usadas para a implementação do microvisor 120. Por exemplo, o microvisor 120 pode ser implementado no uso de uma tecnologia de projeção transmissiva, em que a fonte de luz é modulada pelo material oticamente ativo, iluminado por trás com uma luz branca. Estas tecnologias são usualmente implementadas usando-se visores de tipo de LCD com luzes traseiras potentes e altas densidades de energia ótica. O microvisor 120 também pode ser implementado por um material oticamente ativo. A iluminação é acesa pela frente por uma fonte branca ou por uma fonte de RGB, dependendo da tecnologia. Um processamento de luz digital (DLP), um cristal líquido em silício (LCOS) e uma tecnologia de visor Mirasol® a partir da Qualcomm, Inc. são todos exemplos de tecnologias refletivas as quais são eficientes, conforme mais energia for refletida para longe da estrutura modulada, e podem ser usadas no presente sistema. Adicionalmente, o microvisor 120 pode ser implementado usando-se uma tecnologia emissiva, em que a luz é gerada pelo visor. Por exemplo, um motor de visor PicoP™ a partir da Microvision, Inc., emite um sinal de laser com uma direção de microespelho sobre uma tela mínima que atua como um elemento transmissivo ou dirigida em feixe diretamente para o olho (por exemplo, um laser).

[0061] O elemento ótico de guia de luz 115 transmite luz a partir do microvisor 120 para o olho 140 do usuário usando o dispositivo de exibição montado em cabeça 2. O elemento ótico de guia de luz 115 também permite que a luz a partir da frente do dispositivo de exibição montado em cabeça 2 seja transmitida através do elemento ótico de guia de luz 115 para o olho 140, conforme descrito pela seta 142, desse modo se permitindo que o usuário tenha uma visão direta real do espaço na frente do dispositivo de exibição montado em cabeça 2, além do recebimento de uma imagem virtual a partir do microvisor 120. Assim, as paredes de elemento ótico de guia de luz 115 são transparentes. O elemento ótico de guia de luz 115 inclui uma primeira superfície de reflexão 124 (por exemplo, um espelho ou outra superfície). A luz do microvisor 120 passa através da lente 122 e se torna incidente na superfície de reflexão 124. A superfície de reflexão 124 reflete a luz incidente a partir do microvisor 120, de modo que a luz seja aprisionada dentro de um substrato plano compreendendo o elemento ótico de guia de luz 115 por uma reflexão interna. Após várias reflexões para fora das superfícies do substrato, as ondas de luz aprisionadas atingem um arranjo de superfícies de reflexão seletiva 126. Note que uma das cinco superfícies é rotulada 126, para se evitar um preenchimento excessivo do desenho. As superfícies de reflexão 126 acoplam as ondas de luz incidentes sobre aquelas superfícies de flexão para fora do substrato para o olho 140 do usuário. Maiores detalhes de um elemento ótico de guia de luz podem ser encontrados na Publicação de Patente U.S. N° 2008/0285140, intitulada "Substrate- Guided Optical Devices", publicada em 20 de novembro de 2008.

[0062] O dispositivo de exibição montado em cabeça 2 também inclui um sistema para rastreamento da posição dos olhos do usuário. Conforme será explicado abaixo, o sistema rastreará a posição do usuário e a orientação, de modo que o sistema possa determinar o FOV do usuário. Contudo, um ser humano não perceberá coisa alguma na frente dele. Ao invés disso, os olhos de um usuário serão dirigidos para um subconjunto do ambiente. Portanto, em uma modalidade, o sinal de saída incluirá uma tecnologia para o rastreamento da posição dos olhos do usuário, de modo a refinar a medição do FOV do usuário. Por exemplo, o dispositivo de exibição montado em cabeça 2 inclui um conjunto de rastreamento de olho 134 (Figura 6), o qual tem um dispositivo de iluminação de rastreamento de olho 134A e uma câmera de rastreamento de olho 134B (Figura 7). Em uma modalidade, o dispositivo de iluminação de rastreamento de olho 134A inclui um ou mais emissores de infravermelho (IV), os quais emitem luz de IV em direção ao olho. A câmera de rastreamento de olho 134B inclui uma ou mais câmeras que detectam a luz de IV refletida. A posição da pupila pode ser identificada por técnicas conhecidas de formação de imagem, as quais detectam a reflexão da córnea. Por exemplo, veja a Patente U.S. N° 7.401.920, intitulada "Head Mounted Eye Tracking and Display System", emitida em 22 de julho de 2008. Uma técnica como essa pode localizar uma posição do centro do olho em relação à câmera de rastreamento. Geralmente, um rastreamento de olho envolve a obtenção de uma imagem do olho e o uso de técnicas de visão em computador para a determinação da localização da pupila na órbita do olho. Em uma modalidade, é suficiente rastrear a localização de um olho, uma vez que usualmente os olhos se movem em uníssono. Contudo, é possível rastrear cada olho separadamente.

[0063] Em uma modalidade, o sistema usará quatro LEDs de IV e quatro fotodetectores de IV em um arranjo retangular, de modo que haja um LED de IV e um fotodetector de IV em cada canto da lente de dispositivo de exibição montado em cabeça 2. A luz a partir dos LEDs reflete para fora dos olhos. A quantidade de luz de infravermelho detectada em cada um dos quatro fotodetectores de IV determina a direção da pupila. Isto é, a quantidade de branco versus preto no olho determinará a quantidade de luz refletida para fora do olho para aquele fotodetector em particular. Assim, o fotodetector terá uma medida da quantidade de branco ou preto no olho. A partir das quatro amostras, o sistema pode determinar a direção do olho.

[0064] Uma outra alternativa é usar quatro LEDs de infravermelho, conforme discutido acima, mas uma CCD de infravermelho no lado da lente do dispositivo de exibição montado em cabeça 2. A CCD usará um espelho pequeno e/ou lente (olho de peixe), de modo que a CCD possa formar uma imagem de até 75% do olho visível a partir da armação dos óculos. A CCD então detectará uma imagem e usará uma visão em computador para encontrar a imagem, muito conforme discutido acima. Assim, embora a Figura 6 mostre um conjunto com um transmissor de IV, a estrutura da Figura 6 pode ser ajustada para ter quatro transmissores de IV e/ou quatro sensores de ir. Mais ou menos do que quatro transmissores de IV e/ou quatro sensores de IV também podem ser usados.

[0065] Uma outra modalidade para rastreamento da direção dos olhos é com base em rastreamento de carga. Este conceito é baseado na observação que uma retina porta uma carga positiva mensurável e a córnea tem uma carga negativa. Os sensores são montados pelas orelhas do usuário (perto dos fones de ouvido 130) para a detecção do potencial elétrico, enquanto os olhos se movem e efetivamente leem o que os olhos estão fazendo em tempo real. Outras modalidades para rastreamento dos olhos também podem ser usadas.

[0066] A Figura 6 mostra metade do dispositivo de exibição montado em cabeça 2. Um dispositivo de exibição montado em cabeça completo incluiria um outro conjunto de lentes transparentes, um outro filtro de opacidade, um outro elemento ótico de guia de luz, um outro microvisor 120, uma outra lente 122, uma câmera voltada para o cômodo, o conjunto de rastreamento do olho, um microvisor, fones de ouvido e sensor de temperatura.

[0067] A Figura 7 é um diagrama de blocos que descreve os vários componentes de dispositivo de exibição montado em cabeça 2. A Figura 8 é um diagrama de blocos que descreve os vários componentes da unidade de processamento 4. O dispositivo de exibição montado em cabeça 2, cujos componentes são descritos na Figura 7, são usados para a provisão de uma experiência de realidade mista para o usuário pela fusão de uma ou mais imagens virtuais sem emendas com a visão do usuário do mundo real. Adicionalmente, os componentes de dispositivo de exibição montado em cabeça da Figura 7 incluem muitos sensores que rastreiam várias condições. O dispositivo de exibição montado em cabeça 2 receberá instruções sobre a imagem virtual a partir da unidade de processamento 4 e proverá a informação de sensor de volta para a unidade de processamento 4. A unidade de processamento 4, cujos componentes são descritos na Figura 7, receberá a informação sensorial a partir do dispositivo de exibição montado em cabeça 2 e trocará informação e dados com o serviço central 900 (Figura 1A). Com base naquela troca de informação e dados, a unidade de processamento 4 determinará onde e quando prover uma imagem virtual para o usuário e enviar instruções de modo conforme para o dispositivo de exibição montado em cabeça da Figura 7.

[0068] Alguns dos componentes da Figura 7 (por exemplo, a câmera voltada para o cômodo 112, a câmera de rastreamento de olho 134B, o microvisor 120, o filtro de opacidade 114, o dispositivo de iluminação de rastreamento de olho 134A, os fones de ouvido 130 e o sensor de temperatura 138) são mostrados com uma sombra, para se indicar que há dois de cada um destes dispositivos, um para o lado esquerdo e um para o lado direito do dispositivo de exibição montado em cabeça 2. A Figura 7 mostra o circuito de controle 200 em comunicação com o circuito de gerenciamento de potência 202. O circuito de controle 200 inclui um processador 210, um controlador de memória 212 em comunicação com uma memória 214 (por exemplo, uma D-RAM), uma interface de câmera 216, um buffer de câmera 218, um driver de visor 220, um formatador de visor 222, um gerador de sincronismo 226, uma interface de saída de visor 228 e uma interface de entrada de visor 230.

[0069] Em uma modalidade, todos os componentes do circuito de controle 200 estão em comunicação com cada outro através de linhas dedicadas ou um ou mais barramentos. Em uma outra modalidade, cada um dos componentes do circuito de controle 200 está em comunicação com o processador 210. A interface de câmera 216 provê uma interface com as duas câmeras voltadas para o cômodo 112 e armazena imagens recebidas a partir das câmeras voltadas para o cômodo no buffer de câmera 218. O driver de visor 220 comandará o microvisor 120. O formatador de visor 222 provê uma informação, sobre a imagem virtual sendo exibida no microvisor 120, para o circuito de controle de opacidade 224, o que controla o filtro de opacidade 114. O gerador de sincronismo 226 é usado para a provisão de dados de sincronismo para o sistema. A interface de saída de visor 228 e a interface de entrada de visor 230 se comunicam com a interface de banda 232, a qual é uma interface com a unidade de processamento 4.

[0070] O circuito de gerenciamento de potência 202 inclui um regulador de voltagem 234, um driver de iluminação de rastreamento de olho 236, um DAC de áudio e amplificador 238, um pré-amplificador de microfone e ADC de áudio 240, uma interface de sensor de temperatura 242 e um gerador de relógio 244. O regulador de voltagem 234 recebe potência a partir da unidade de processamento 4 através de uma interface de banda 232 e provê aquela potência para os outros componentes do dispositivo de exibição montado em cabeça 2. O driver de iluminação de rastreamento de olho 236 provê uma fonte de luz de IV para o dispositivo de iluminação de rastreamento de olho 134A, conforme descrito acima. O DAC de áudio e amplificador 238 extrai uma informação de áudio para os fones de ouvido 130. O pré-amplificador de microfone e ADC de áudio 240 provê uma interface para o microfone 110. A interface de sensor de temperatura 242 é uma interface para o sensor de temperatura 138. O circuito de gerenciamento de potência 202 também provê potência e recebe dados de volta a partir do magnetômetro de três eixos 132A, do giroscópio de três eixos 132B e do acelerômetro de três eixos 132C.

[0071] A Figura 8 é um diagrama de blocos que descreve os vários componentes da unidade de processamento 4. O circuito de controle 304 em comunicação com o circuito de gerenciamento de potência 306. O circuito de controle 304 inclui uma unidade de processamento central (CPU) 320, uma unidade de processamento de itens gráficos (GPU) 322, um cache 324, uma RAM 326, um controlador de memória 328 em comunicação com a memória 330 (por exemplo, uma D-RAM), um controlador de memória flash 332 em comunicação com a memória flash 334 (ou outro tipo de armazenamento não volátil), um buffer de saída de visor 336 em comunicação com o dispositivo de exibição montado em cabeça 2 através de uma interface de banda 302 e uma interface de banda 232, um buffer de entrada de visor 338 em comunicação com o dispositivo de exibição montado em cabeça 2 através da interface de banda 302 e da interface de banda 232, uma interface de microfone 340 em comunicação com um conector de microfone externo 342 para conexão a um microfone, uma interface PCI express para conexão com um dispositivo de comunicação sem fio 346 e porta(s) USB 348. Em uma modalidade, o dispositivo de comunicação sem fio 346 pode incluir um dispositivo de comunicação habilitado para Bluetooth, um dispositivo de comunicação de infravermelho, etc. A porta USB pode ser usada para a docagem da unidade de processamento 4 para um sistema de computação, de modo a se carregarem dados ou um software na unidade de processamento 4, bem como carregar a unidade de processamento 4. Em uma modalidade, a CPU 320 e a GPU 322 são os burros de carga principais para a determinação de onde, quando e como inserir objetos tridimensionais virtuais na visão do usuário. Maiores detalhes são providos abaixo.

[0072] O circuito de gerenciamento de potência 306 inclui um gerador de relógio 360, um conversor de analógico para digital 362, um carregador de bateria 364, um regulador de voltagem 366, uma fonte de potência de visor montada em cabeça 376, e uma interface de sensor de temperatura 372 em comunicação com o sensor de temperatura 374 (possivelmente localizado na correia de pulso de unidade de processamento 4). Um conversor de analógico para digital 362 é usado para a monitoração da voltagem de bateria, do sensor de temperatura e controlar a função de carregamento de bateria. O regulador de voltagem 366 está em comunicação com a bateria 368 para suprimento de potência para o sistema. O carregador de bateria 364 é usado para carregamento da bateria 368 (através do regulador de voltagem 366), mediante o recebimento de potência a partir da tomada de carregamento. A fonte de potência de HMD 376 provê potência para o dispositivo de exibição montado em cabeça 2.

[0073] Conforme citado acima, vários tipos de dispositivos de processamento podem ser utilizados com a presente tecnologia. A Figura 9 é um diagrama de blocos que ilustra um dispositivo de computação móvel ou tablet. A Figura 9 é um diagrama de blocos de um dispositivo móvel ou tablet de exemplo, o qual pode operar em modalidades da tecnologia descritas aqui (por exemplo, o dispositivo 44). O circuito eletrônico de exemplo de um dispositivo móvel típico é descrito. O dispositivo 700 inclui um ou mais microprocessadores 712 e uma memória 710 (por exemplo, uma memória não volátil, tal como uma ROM, e uma memória volátil, tal como uma RAM), a qual armazena um código que pode ser lido por processador, o qual é executado por um ou mais processadores do processador de controle 712 para a implementação da funcionalidade descrita aqui.

[0074] O dispositivo móvel 700 pode incluir, por exemplo, os processadores 712, a memória 710 incluindo aplicativos e um armazenamento não volátil. O processador 712 pode implementar comunicações, bem como qualquer número de aplicativos, incluindo os aplicativos de interação discutidos aqui. A memória 710 pode ser qualquer variedade de tipos de mídia de armazenamento em memória, incluindo uma memória não volátil e volátil. Um sistema operacional de dispositivo manipula as diferentes operações do dispositivo móvel 700 e pode conter interfaces de usuário para operações, tais como feitura e recebimento de chamadas telefônicas, envio de mensagem de texto, checagem de correio de voz e similares. Os aplicativos 730 podem ser qualquer sortimento de programas, tais como um aplicativo de câmera para fotos e/ou vídeos, um catálogo de endereços, um aplicativo de calendário, um tocador de mídia, um navegador na Internet, jogos, outros aplicativos de multimídia, um aplicativo de alarme, outros aplicativos de terceiros, um aplicativo de criação de conteúdo discutido aqui, e similares. O componente de armazenamento não volátil 740 na memória 710 contém dados, tais como caches da web, música, fotos, dados de contato, dados de agenda e outros arquivos.

[0075] O processador 712 também se comunica com um circuito de transmissão/recepção de RF 706, o qual, por sua vez, é acoplado a uma antena 702, com um transmissor/receptor de infravermelho 708, com quaisquer canais de comunicação adicionais 760 como WiFi ou Bluetooth, e com um sensor de movimento/orientação 714, tal como um acelerômetro. Os acelerômetros foram incorporados em dispositivos móveis para se permitir que aplicativos tais como interfaces de usuário inteligentes que deixam os usuários introduzirem comandos de entrada através de gestos, uma funcionalidade de GPS de ambiente interno, a qual calcula o movimento e a direção do dispositivo após um contato ser rompido com um satélite de GPS, e para detecção da orientação do dispositivo e automaticamente mudam a exibição de retrato para paisagem, quando o dispositivo é rodado. Um acelerômetro pode ser provido, por exemplo, por um sistema microeletromecânico (MEMS), o qual é um dispositivo mecânico mínimo (de dimensões de micrômetro) construído em um chip de semicondutor. Uma direção de aceleração, bem como uma orientação, uma vibração e um choque podem ser detectados. O 721 ainda se comunica com uma campainha/um vibrador 716, um teclado/uma tela de interface de usuário, um sistema de sensor biométrico 718, um alto-falante 720, um microfone 722, uma câmera 724, um sensor de luz 726 e um sensor de temperatura 728.

[0076] O processador 712 controla a transmissão e a recepção de sinais sem fio. Durante um modo de transmissão, o processador 712 provê um sinal de voz a partir do microfone 722, ou outro sinal de dados, para o circuito de transmissão/recepção de RF 706. O circuito de transmissão/recepção 706 transmite o sinal para uma estação remota (por exemplo, uma estação fixa, um operador, outros telefones celulares, etc.) para comunicação através da antena 702. A campainha/o vibrador 716 é usado para sinalizar uma chamada entrando, uma mensagem de texto, um lembrete de calendário, um lembrete de relógio de alarme, ou outra notificação para o usuário. Durante um modo de recepção, o circuito de transmissão/recepção 706 recebe um sinal de voz ou outro de dados a partir de uma estação remota através da antena 702. Um sinal de voz recebido é provido para o alto-falante 720, enquanto outros sinais de dados recebidos também são processados apropriadamente.

[0077] Adicionalmente, um conector físico 788 pode ser usado para conexão do dispositivo móvel 700 a uma fonte de potência externa, tal como um adaptador AC ou uma estação de docagem com potência. O conector físico 788 também pode ser usado como uma conexão de dados para um dispositivo de computação. A conexão de dados permite operações, tal como a sincronização de dados de dispositivo móvel com os dados de computação em um outro dispositivo.

[0078] Um transceptor de GPS 765 utilizando uma navegação por rádio baseada em satélite para retransmissão da posição dos aplicativos de usuário é habilitado para esse serviço.

[0079] Os sistemas de processamento de exemplo ilustrados nas Figuras incluem exemplos de meios de armazenamento que podem ser lidos em computador. Os meios de armazenamento que podem ser lidos em computador também são meios de armazenamento que podem ser lidos em processador. Esses meios podem incluir meios voláteis e não voláteis, removíveis e não removíveis implementados para armazenamento de uma informação, tais como instruções que podem ser lidas em computador, estruturas de dados, módulos de programa ou outros dados. Os meios de armazenamento em computador incluem, mas não estão limitados a uma RAM, uma ROM, uma EEPROM, um cache, uma memória flash ou outra metodologia de memória, um CD-ROM, discos versáteis (DVD) ou outro armazenamento em disco ótico, bastões ou cartões de memória, cassetes magnéticos, uma fita magnética, um drive de mídia, um disco rígido, um armazenamento em disco magnético ou outros dispositivos de armazenamento magnéticos, e similares.

[0080] Conforme citado acima, uma informação criada e compartilhada para um objeto virtual de perspectiva travada tendo um espaço mundial pode ser utilizada com um serviço central 900. Em um aspecto, o serviço central é ilustrado na Figura 10. O serviço central 900 pode ser operado em um ou mais dispositivos de processamento ou servidores. Os componentes lógicos do serviço central 900 são ilustrados na Figura 10.

[0081] O serviço central 900 pode incluir uma interface de usuário 910, uma informação de conteúdo de usuário 958, uma informação de contenda de terceiros 968, um agregador de serviço de terceiros 980, um motor de mapeamento 985 e uma interface de comunicações 995. A interface de comunicações 995 pode incluir qualquer número de interfaces, camadas de transporte e protocolos permitindo que o serviço central 900 se comunique com o dispositivo de exibição montado transparente 2, um tablet 902 e um telefone móvel 904.

[0082] Uma informação de usuário 910 pode incluir uma informação de login 919 requerendo um usuário de um dispositivo 2, um tablet 902, um telefone 904 e um serviço central 900 autentiquem sua identidade antes do acesso a uma informação segura disponível para usuários do serviço central 900. Cada usuário pode ter disponível através do serviço 900 o catálogo de endereços do usuário 914 e os dados de contato social 916, bem como o histórico de localização de usuário 918. Em modalidades alternativas, toda ou porções da informação de usuário podem ser armazenadas localmente nos dispositivos.

[0083] A informação de conteúdo de usuário 958 inclui uma informação de localização de conteúdo 957 e objetos de perspectiva travada compartilhados criados por usuário 956. A informação de conteúdo de usuário pode ser uma informação sobre objetos virtuais compartilhados criados pelos usuários, tal como o usuário 24 acima, saudados pelo usuário para compartilhamento com outros usuários do serviço central 900. Uma informação de localização de objeto 957 pode incluir, para uma dada área, um mapa tridimensional da localização, bem como as localizações de objetos na área, e marcadores a serem utilizados com os objetos. Os objetos compartilhados 956 podem incluir os dados de objeto específicos associados à informação na informação de localização de objeto 957.

[0084] A informação de conteúdo de terceiros 968 também inclui uma informação de localização de objeto 967 e objetos de perspectiva travada de terceiros 966. Os objetos de terceiros incluem uma informação de conteúdo disponível a partir dos serviços de interação social de terceiros 990, a qual é recuperada a partir dos serviços de interação social de terceiros 990 através de um agregador de serviço de terceiros 980. Os objetos de terceiros 966 podem ser criados pelos serviços de interação social de terceiros 990, ou criados pelo serviço central usando o motor de mapeamento 985 e uma informação disponível a partir dos serviços de interação social de terceiros. Esta informação pode incluir as localizações de renderização admissíveis, discutidas acima, bem como qualquer informação a partir de usuários dos serviços de interação social de terceiros.

[0085] O agregador de serviço de terceiros 980 recupera uma informação a partir dos serviços de interação social de terceiros 990, cada um dos quais podendo prover uma informação que pode ser usada para preenchimento de objetos virtuais. O agregador de serviço de terceiros 980 interage com a interface de programação de aplicativo (API) de cada um dos serviços de interação social de terceiros 990.

[0086] O motor de mapeamento 985 associa uma informação de localização de coordenada global com dados de localização a partir de usuários e a partir do agregador de serviço de terceiros 980. O motor de mapeamento 985 também recebe uma informação de localização a partir de dispositivos de usuário e atualiza o histórico de localização de usuário 918. O motor de mapeamento também pode prover dados de cena 3D para o dispositivo de exibição transparente montado em cabeça 2, o tablet 902 e o telefone 904. Esta informação pode ser atualizada, conforme a informação de rastreamento de localização de usuário é provida a partir do dispositivo 2 para o serviço central 900. O motor de mapeamento 985 pode associar, ainda, o tipo de marcador a ser gerado com o provedor de serviços de informação de terceiros.

[0087] Os serviços de interação social de terceiros 990 podem incluir com sua informação as coordenadas globais para pontos de interesse para os quais eles proveem uma informação. Muitos serviços de mídia social 990 incluem, juntamente com suas revisões, essa informação de localização de coordenada global. O motor de mapeamento 985 pode verificar esta informação, ou adicionar uma informação de coordenada global para os dados gerados por usuário. Esta localização pode ser derivada a partir do histórico de localização de usuário, bem como uma entrada no momento em que o usuário cria uma informação sobre um ponto de interesse em particular.

[0088] O agregador de serviço de terceiros 980 também pode receber definições de objeto a partir do proprietário/operador e fontes de objetos compartilhados publicamente por 19. Os objetos podem ser providos pelos proprietários e operadores de instalações, os quais têm um objeto pontual associado a seu estabelecimento em particular.

[0089] Os objetos compartilhados 956 e o objeto de terceiros 966 incluem uma informação de dados de renderização, bem como um ou mais localizações de consumo admissíveis, uma ou mais posições de consumo admissíveis, e uma ou mais orientações de consumo admissíveis para um dispositivo de consumo buscando renderizar o objeto. O serviço central 900 pode ser operado por um ou mais administradores de sistema provendo um serviço central para dois usuários do dispositivo de exibição transparente montado em cabeça.

[0090] A Figura 11 é um fluxograma que ilustra um método de criação de um objeto virtual de perspectiva travada compartilhado, de acordo com a presente tecnologia. O método da Figura 11 pode ser realizada por componentes da unidade de processamento 4 e/ou do dispositivo de exibição montado em cabeça 2. Quaisquer um ou mais dentre a unidade de processamento 4 e/ou o dispositivo de exibição montado em cabeça 2 atuando sozinhos ou em combinação com um outro dos sistemas podem executar todo ou porções do método.

[0091] Com referência à Figura 11, na etapa 1100, uma localização de usuário para um usuário buscando criar dados de cena é determinada. A localização de usuário pode ser derivada a partir de um GPS transmitido no dispositivo de usuário e prover coordenadas de localização global descrevendo a posição do usuário.

[0092] Na etapa 1102, um mapa de cena pode ser desenvolvido identificando a geometria tridimensional da cena, bem como a geometria e as posições de objetos na cena em torno de onde o usuário está localizado. Em modalidades, o mapa de cena gerado em um dado quadro pode incluir as posições x, y e z no sistema de coordenadas local de todos os usuários, objetos de mundo real e objetos virtuais no ambiente comum. O mapa de cena pode ser usado no posicionamento de objetos virtuais na cena, bem como exibindo objetos tridimensionais virtuais com a oclusão apropriada (um objeto tridimensional virtual pode ser ocluído, ou um objeto tridimensional virtual pode ocluir, um objeto de mundo real ou um outro objeto tridimensional virtual). Veja que o mapeamento pode ser derivado a partir de dispositivos de captura associados ao usuário, ou pode ser provido pelo serviço central 900.

[0093] Na etapa 1104, uma informação a partir do serviço central é recebida. Em uma modalidade, a etapa 1104 não precisa ser realizada. Uma informação recebida na etapa 1104 pode incluir modelos e definições de objeto virtual para a criação de objetos de perspectiva travada. Uma informação sobre objetos virtuais pode ser armazenada em cache no dispositivo de processamento ou no visor montado em cabeça 2 para se permitir que os objetos de perspectiva travada sejam criados mais rapidamente.

[0094] Na etapa 1106, uma determinação de posição, da orientação e do FOV de um dispositivo de captura de um usuário é feita.

[0095] Na etapa 1108, dados de localização, orientação, posição e campo de visão são transformados em uma perspectiva de usuário. Uma perspectiva de usuário pode ser utilizada para a determinação das posições de renderização admissíveis para certos tipos de objetos virtuais compartilhados.

[0096] Na etapa 1112, um conteúdo gerado por usuário para objetos virtuais de perspectiva travada é capturado. De acordo com a tecnologia, um conteúdo gerado por usuário pode ser qualquer tipo de conteúdo, o qual pode ser capturado pelos dispositivos sensores discutidos acima com respeito aos diferentes tipos de sistemas de computação. Isto inclui dados de áudio, dados visuais, dados de movimento e texto. O conteúdo gerado por usuário é utilizado para a construção do objeto virtual de perspectiva travada, o qual será renderizado. Em 1115, a informação de posição, orientação e localização é associada ao conteúdo gerado por usuário. Além disso, quando o objeto é definido como um objeto travado no mundo, exibível a partir de várias perspectivas diferentes, e posições, localizações e orientações de consumo admissíveis podem ser definidas.

[0097] No exemplo mostrado nas Figuras 1A a 1D, uma perspectiva única pode ser definida com base em uma localização, uma orientação e uma posição. No exemplo mostrado na Figura 4B, numerosas perspectivas podem ser definidas e, daí, numerosas localizações de consumo admissíveis diferentes estão disponíveis para o objeto virtual travado no mundo.

[0098] Em 1117, o objeto virtual é compartilhado com um segundo usuário ou transmitido para o serviço central 900.

[0099] A Figura 12 ilustra um método executado pelo dispositivo de um usuário consumindo (um dispositivo de consumo) desejando ver um objeto virtual de acordo com a presente tecnologia.

[0100] Na etapa 1202, a localização do usuário consumindo é determinada. A localização será determinada com referência a um sistema de coordenadas global utilizado em conjunto com os objetos virtuais. Na etapa 1204, os dados de mapa de cena são acumulados da maneira similar à etapa 1102 acima.

[0101] Nas etapas 1026 e 1208, os objetos de perspectiva travada podem ser acumulados a partir de outras partes. Em 1206, os objetos a partir de contribuintes terceiros são recuperados. Em 1208, uma informação compartilhada de usuário de objeto em 1208 pode ser acumulada. Os objetos virtuais de perspectiva travada compartilhados nas etapas 1206 e 1208 podem ser providos a partir do serviço central 900, ou diretamente a partir de outros contribuintes usuários. Em algumas modalidades, uma informação a partir de contribuintes terceiros pode ser transmitida diretamente para o dispositivo do usuário consumindo. Além disso, em modalidades, uma informação compartilhada de usuário na etapa 1208 pode ser provida por usuários que estejam em contato com o usuário consumindo. Os usuários em contato com o usuário consumindo podem ser indivíduos que estejam associados ao catálogo de endereços de usuário, contatos diretos ou um contato através de um serviço de mídia social, que sejam identificados como associados ao usuário consumindo (por exemplo, "amigos").

[0102] Em 1209, uma determinação de posição, da orientação e do FOV de um dispositivo de captura de usuário é feita.

[0103] Em casos em que os marcadores são usados, tais como aqueles ilustrados na Figura 3C e 4A, uma determinação inicial é feita quanto a se um usuário está ou não próximo de um ou mais marcadores em 1210. A determinação em 1210 é essencialmente quanto a se marcadores em sua localização de mundo real associada em um ambiente cairiam no campo de visão do dispositivo consumindo. Deve ser entendido que o uso de marcadores não é requerido pela presente tecnologia. Assim, a etapa 1212 pode ser opcional. Outros sistemas de alinhamento de um usuário de consumo com as localizações e posições de renderização de objetos virtuais compartilhados podem ser utilizados. Se marcadores forem utilizados e os marcadores estiverem no FOV do dispositivo consumindo para um usuário, os marcadores serão renderizados no visor do dispositivo consumindo em 1212.

[0104] Na etapa 1214, uma determinação é feita quanto a se uma interação de objeto ocorreu ou não. Uma interação de objeto na etapa 1214 pode ser tão simples quanto o posicionamento do usuário em relação ao marcador em uma posição, uma localização e uma orientação em que é permitido ver o objeto compartilhado. Quando o dispositivo de usuário consumindo está na posição, na localização e na orientação, o objeto pode ser renderizado. Em outras modalidades, o usuário pode ativamente selecionar um marcador, antes do posicionamento do dispositivo consumindo na posição, na localização e na orientação.

[0105] Em 1216, as posições de consumo admissíveis de objeto virtual de perspectiva travada compartilhado são determinadas. Conforme citado acima, alguns objetos apenas têm uma posição, orientação e localização em que um consumo pode ocorrer. Outros objetos têm muitas posições, orientações e localizações de consumo admissíveis.

[0106] Na etapa 1220, o objeto virtual de perspectiva travada compartilhado é renderizado para um usuário, quando o usuário e o dispositivo consumindo estiverem na posição, na localização e na orientação de modo que a perspectiva do usuário em relação ao objeto para consumo apropriado ocorra. Um consumo pode ser a visualização de fotos para aquilo mostrado, ouvir a sons de gravação em particular e um horário em particular, assistir ao vídeo, ler texto, brincar com um objeto tridimensional virtual interativo, e similares.

[0107] Outros detalhes de uma modalidade para execução da etapa 1220 são ilustrados na Figura 13.

[0108] Em alguns casos, uma modificação de usuário de um objeto virtual de perspectiva travada compartilhado é permitida. Na etapa 1224, uma determinação é feita quanto a se uma modificação de usuário do objeto ocorreu ou não. Uma modificação de usuário pode incluir o usuário adicionando, anotando ou mudando o objeto, se as permissões no objeto compartilhado permitirem essa modificação. Se uma modificação do usuário tiver ocorrido, então, os dados para o objeto serão atualizados e exibidos em 1226. Uma vez que um consumo de objeto tenha terminado em 1228, o método se move para o próximo objeto em 1230.

[0109] A Figura 13 ilustra um método para execução da etapa 1220 na Figura 12. Na etapa 1302, uma determinação é feita quanto à orientação, à localização, à posição e à perspectiva de consumo de conteúdo apropriado para um objeto em particular. A informação recuperada na etapa 1302 define a informação disponível a partir de um ou mais objetos virtuais, nos quais posições de renderização admissíveis ocorrem. A localização, a orientação, a posição e o campo de visão do dispositivo consumindo são recuperados em 1304.

[0110] Em 1306, uma determinação inicial é feita quanto a se o objeto virtual de perspectiva travada compartilhado a ser renderizado é travado no mundo ou travado localmente ou não.

[0111] Um objeto virtual travado no mundo é um tal como aquele ilustrado na Figura 4B, em que a posição do objeto é travada em uma localização e uma orientação em um objeto físico. Um objeto virtual travado no local é um em que a posição de consumo é travada para uma perspectiva em particular do usuário.

[0112] Se o tempo programado compartilhado for um objeto travado no local, então, em 1312, uma determinação é feita quanto a se a posição, a localização e a orientação do dispositivo consumindo correspondem ou não com a posição de consumo admissível. Neste caso, a posição de consumo admissível pode ser definida como uma posição de consumo admissível única. Caso não, então, uma determinação de mudanças para a localização, a posição e a orientação, as quais são necessárias para correspondência da localização, da posição e da orientação pode ser feita em 1314, e uma guia direcional para correção da localização, da orientação e da posição do usuário pode ser renderizada em 1316. Isto permite que o usuário se mova para posição para correção do consumo do objeto virtual. Uma direção pode ser provida em forma visual ou audível. Em 1318, uma determinação é feita quanto a se um usuário e um dispositivo consumindo se moveram ou não, e, se assim for, então, a detecção da correspondência entre a posição de dispositivo real e a posição de consumo admissível é feita de novo em 1312. Quando o dispositivo consumindo de usuário corresponde à posição de consumo admissível em 1312, o objeto virtual de perspectiva travada compartilhado é renderizado em 1340.

[0113] Se o objeto virtual de perspectiva travada compartilhado for um objeto travado no mundo em 1306, então, uma determinação é feita em 1320 quanto a se um dispositivo consumindo está ou não em uma de várias posições, orientações e localizações admissíveis. Em um aspecto, as posições de consumo admissíveis podem ser determinadas pela determinação do campo de visão de dispositivo consumindo em relação a um objeto de mundo real no qual o objeto virtual deve ser definido.

[0114] Se uma correspondência entre a localização, a posição e a orientação de dispositivo consumindo e uma posição admissível ocorrer, então, em 1322, o objeto será renderizado na posição travada no mundo. Em 1322, uma determinação de uma mudança de perspectiva de usuário é feita em 1324, e, se a perspectiva do usuário mudar em relação ao objeto virtual de perspectiva travada compartilhado, a mudança será calculada em 1326, e o método retornará para a etapa 1320, para garantir que o dispositivo consumindo esteja em uma localização, uma posição e uma orientação admissível com respeito ao objeto virtual de perspectiva travada compartilhado. Se os dispositivos consumindo não estiverem na posição correta em 1320, nenhuma renderização de objeto ocorrerá em 1350.

[0115] Embora o assunto tenha sido descrito em linguagem específica para recursos estruturais e/ou atos metodológicos, é para ser entendido que o assunto definido nas reivindicações em apenso não está necessariamente limitado aos recursos ou atos específicos descritos acima. Ao invés disso, os recursos e atos específicos descritos acima são expostos como formas de exemplo de implementação das reivindicações.

Claims (4)

1. Método para renderizar um objeto virtual em um visor transparente montado em cabeça (2), caracterizado pelo fato de que compreende as etapas de: determinar (1202) uma localização de um dispositivo de consumo compreendendo um visor transparente montado em cabeça (2), sendo a localização determinada com referência a um sistema de coordenadas global (1005); receber (1206, 1208) um objeto virtual compartilhado (90, 1020a) compreendendo dados de cena criados em um dispositivo de captura, o objeto virtual compartilhado incluindo dados de localização de renderização para o objeto virtual compartilhado, os dados de localização de renderização definindo pelo menos um local de coordenada global permitido , e pelo menos uma posição permitida e pelo menos uma orientação permitida para o objeto virtual compartilhado em relação a um sistema de coordenadas local (75, 1006) que esteja relacionado ao sistema de coordenadas global usando um ou mais relacionamentos posicionais; determinar (1209) uma posição, uma orientação e um campo de visão do dispositivo de consumo; renderizar (1212), no um visor transparente montado em cabeça (2), um marcador (1010) associado ao objeto virtual compartilhado no local de coordenadas global permitido, em resposta à determinação (1210) de que o marcador cairia dentro do campo de visão do dispositivo de consumo; e exibir (1220) o objeto virtual compartilhado no um visor transparente montado em cabeça (2) do dispositivo de consumo em resposta ao dispositivo de consumo que está sendo determinado (1216) como no local de coordenadas global permitido, na posição permitida e em a orientação permitida, conforme definido pelos dados do local de renderização.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que ainda compreende o posicionamento de uma pluralidade de outros marcadores (1015, 1025, 1030, 1040, 1050) em um ambiente, cada marcador adicional sendo exibido no campo de visão do dispositivo de consumo e denotando um objeto virtual (1015a) que pode ser renderizado.

3. Aparelho de exibição, caracterizado pelo fato de que compreende: um visor transparente montado em cabeça (2); e um processador (4) acoplado ao visor montado na cabeça (2), sendo o processador programado para fazer com que o aparelho execute o método de qualquer uma das reivindicações anteriores.

4. Aparelho, de acordo com a reivindicação 3, caracterizado pelo fato de que o processador (4) é ainda programado para determinar uma diferença entre renderizar dados de localização e o aparelho, e fornecer instruções ao usuário em movimento para que o aparelho atinja a localização de coordenada global permitida, posição permitida e orientação permitida do visor montado em cabeça (2) definido pelos dados do local de renderização.

Images