BR112016017181B1 - Método, sistema e meio de armazenamento legível por computador não transitório para interromper um ambiente virtual em um visor montado na cabeça - Google Patents

Método, sistema e meio de armazenamento legível por computador não transitório para interromper um ambiente virtual em um visor montado na cabeça Download PDF

Info

Publication number
BR112016017181B1
BR112016017181B1 BR112016017181-0A BR112016017181A BR112016017181B1 BR 112016017181 B1 BR112016017181 B1 BR 112016017181B1 BR 112016017181 A BR112016017181 A BR 112016017181A BR 112016017181 B1 BR112016017181 B1 BR 112016017181B1
Authority
BR
Brazil
Prior art keywords
head
mounted display
environment
change
control configuration
Prior art date
Application number
BR112016017181-0A
Other languages
English (en)
Other versions
BR112016017181A2 (pt
Inventor
Justin Moravetz
Original Assignee
Sony Interactive Entertainment America Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment America Llc filed Critical Sony Interactive Entertainment America Llc
Publication of BR112016017181A2 publication Critical patent/BR112016017181A2/pt
Publication of BR112016017181B1 publication Critical patent/BR112016017181B1/pt

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

MÉTODO, SISTEMA E MEIO DE ARMAZENAMENTO LEGÍVEL POR COMPUTADOR NÃO TRANSITÓRIO PARA EXECUTAR UMA FUNÇÃO EM UM AMBIENTE VIRTUAL Um dispositivo de computação que pode ser vestido inclui um visor do tipo head-mounted display (HMD), que gera um ambiente de realidade virtual. Através da geração e acompanhamento de dados de posição, um ambiente virtual pode ser interrompido ou pausado. Após a pausa do ambiente, um usuário pode acessar uma série de menus e controles auxiliares não disponíveis de outra forma durante a operação normal do ambiente virtual.

Description

FUNDAMENTOS DA INVENÇÃO Campo da Invenção
[001] A presente invenção refere-se de forma geral a dispositivos de computação que podem ser vestidos de realidade virtual (RV) com um visor montado na cabeça (HMD). Mais especificamente, a presente invenção refere-se a interromper as operações no campo de visão no visor HMD e utilizando um espaço físico fora do campo de visão no visor HMD.
Descrição da Técnica Relacionada
[002] Os sistemas de RV usáveis integram diversos elementos, tais como dispositivos de entrada, sensores, detectores, visores de imagem, e componentes de comunicação sem fio, bem como processadores de imagem e de áudio. Ao colocar um elemento de exibição de imagem perto dos olhos de um usuário, uma imagem artificial pode ser feita para sobrepor a visão do mundo real ou para criar uma realidade independente por si só. Tais elementos de exibição de imagem são incorporados em sistemas também referidos como visores montados na cabeça (HMDs). Dependendo do tamanho do elemento de afixação e da distância aos olhos do usuário, imagens artificiais fornecidas no mostrador podem encher ou quase encher o campo de visão do usuário.
[003] Os sistemas de RV incorporando um visor HMD são móveis e leves, permitindo simultaneamente uma comunicação e interação com um ambiente virtual. Tais sistemas geralmente não o possuem, no entanto, ainda requerem a utilização de um controlador independente para a navegação do ambiente virtual. Neste sentido, a maioria dos visores do tipo HMDs é um pouco mais do que óculos que permitem a entrada em um ambiente de RV. Existe uma necessidade na técnica de navegação e controle de um ambiente de RV sem a introdução de um dispositivo controlador independente, especialmente no que diz respeito a interromper as operações do ambiente de uma maneira natural e não intrusiva. Existe uma necessidade adicional para melhor utilizar um “espaço físico” foram do campo de visão nesse ambiente RV.
SUMÁRIO DA INVENÇÃO REIVINDICADA
[004] As modalidades da presente invenção incluem sistemas e métodos para a interrupção de um ambiente virtual em um visor montado na cabeça. As informações podem ser armazenadas sobre pelo menos uma configuração de controle que associa uma função com uma mudança na posição do visor montado na cabeça. O visor montado na cabeça pode ser calibrado para identificar uma posição inicial. Os dados de posição que acompanhem o movimento do visor montado na cabeça podem ser gerados. A posição atual do visor montado na cabeça pode ser determinada como sendo indicativa de uma mudança a partir da posição inicial que exceda a mudança de posição da configuração do controle. Em seguida, a função associada à configuração de controle pode ser executada, o que pode implicar a interrupção do ambiente virtual no visor montado na cabeça, fazendo uma pausa ao ambiente.
[005] Um método para interromper um ambiente virtual em um visor montado na cabeça é reivindicado. Tais métodos podem incluir informações sobre o armazenamento de pelo menos uma configuração de controle que associa uma função com uma mudança na posição do visor montado na cabeça, calibrando o visor montado na cabeça para identificar uma posição inicial, gerando dados de posição que acompanhem o movimento do visor montado na cabeça, determinando que uma posição atual do visor montado na cabeça seja indicativo de uma mudança a partir da posição inicial que exceda a mudança de posição da configuração do controle, e executando a função associada com a configuração de controle, em que a função compreende interromper o ambiente virtual no visor montado na cabeça, fazendo uma pausa no ambiente.
[006] Outras modalidades incluem o sistema para interromper um ambiente virtual em um visor montado na cabeça. Tais sistemas podem incluir memória que armazena informações sobre pelo menos uma configuração de controle que associa uma função com uma mudança de posição do visor montado na cabeça, pelo menos, um de um giroscópio, magnetômetro, e um acelerômetro que calibra o visor montado na cabeça, em que uma posição de início do visor montado na cabeça é identificada e gera dados de posição que acompanham os movimentos do visor montado à cabeça, um processador que executa instruções armazenadas na memória para determinar que uma posição atual do visor montado na cabeça é indicativo de mudança a partir da posição inicial que excede a mudança de posição da configuração de controle e para executar a função associada com a configuração de controle, e um visor montado na cabeça incluindo pelo menos uma lente para exibir o ambiente virtual, onde a execução da função interrompe o ambiente pausando o mesmo.
[007] As modalidades da presente invenção podem ainda incluir meios de armazenamento legíveis por computador não transitórios, tendo às mesmas incorporado um programa executado por um processador para executar os métodos que interrompem um ambiente virtual em um visor montado na cabeça, tal como aqui descrito.
BREVE DESCRIÇÃO DAS FIGURAS
[008] A Figura 1 ilustra um diagrama exemplar de blocos de um dispositivo de computação vestível.
[009] A Figura 2A ilustra um visor HMD que mergulha completamente um usuário num ambiente de realidade virtual.
[010] A Figura 2B ilustra um visor HMD que permite a geração de informação de RV mantendo a percepção do mundo real.
[011] A FIGURA 3 ilustra uma implementação exemplar de uma interrupção no ambiente de RV.
[012] A FIGURA 4 ilustra um método para a execução de uma interrupção no ambiente de RV.
[013] A FIGURA 5 ilustra o uso do espaço físico fora do campo de visão para fornecer informações auxiliares para o ambiente de RV.
DESCRIÇÃO DETALHADA
[014] As modalidades da presente invenção incluem sistemas e métodos para a interrupção de um ambiente virtual em um visor montado na cabeça. As informações podem ser armazenadas sobre pelo menos uma configuração de controle que associa uma função com uma mudança na posição do visor montado na cabeça. O visor montado na cabeça pode ser calibrado para identificar uma posição inicial. Os dados de posição que acompanhem o movimento do visor montado na cabeça podem ser gerados. A posição atual do visor montado na cabeça pode ser determinada como sendo indicativa de uma mudança a partir da posição inicial que exceda a mudança de posição da configuração do controle. Em seguida, a função associada à configuração de controle pode ser executada, o que pode implicar a interrupção do ambiente virtual no visor montado na cabeça, fazendo uma pausa no ambiente.
[015] A FIGURA 1 ilustra um diagrama exemplar de blocos de um sistema de realidade virtual vestível 100. Na comunicação com um dispositivo de computação externo 110, o sistema de realidade virtual vestível 100 pode incluir uma interface USB 120, Interface de comunicação sem fio 130, giroscópio 140, acelerômetro 150, magnetômetro 160, armazenamento de dados 170, processador 180 e visor montado na cabeça (HMD) 200.
[016] O visor montado na cabeça (HMD) 200 permite que seu utilizador observe um ambiente do mundo real, uma imagem gerada por computador exibido, ou uma combinação dos dois. O visor HMD 200 pode incluir um visor transparente em algumas modalidades. O usuário do sistema de realidade virtual vestível 100 pode ser capaz de olhar através de HMD 200. Em uma tal modalidade observar uma parte do ambiente do mundo real, não obstante a presença do sistema de realidade virtual usável 100. O visor HMD 200 Numa outra modalidade pode ser operável para apresentar imagens que se encontram sobrepostas sobre o campo de visão para proporcionar uma experiência de "realidade aumentada". Algumas das imagens transmitidas por HMD 200 podem ser sobrepostas ou aparecer em relação a certos objetos no campo de visão. Em ainda uma modalidade, o visor HMD 200 pode ser um ambiente virtual totalmente através do qual o usuário do sistema de realidade virtual vestível 100 é isolado a partir de qualquer contato visual com o mundo real.
[017] A imagem exibida pode incluir gráficos, texto e/ou vídeo; áudio pode ser fornecido através de um dispositivo de áudio correspondente. As imagens exibidas pela HMD podem ser parte de uma interface interativa e incluir menus, caixas de seleção, ícones de navegação ou outros recursos de interface do usuário que permitem que o usuário chame funções do dispositivo de computação vestível ou, de outra forma, interagir com o dispositivo de computação vestível. O fator de forma de visor HMD 200 Pode ser de óculos, óculos de proteção, um capacete, um chapéu, uma viseira, uma faixa de cabeça, ou de alguma outra forma que possa ser suportada por ou a partir da cabeça do usuário.
[018] Para exibir uma imagem virtual para o usuário, o HMD pode incluir um sistema óptico com uma fonte de luz tal como um díodo emissor de luz (LED), que ilumina um painel de exposição. O painel de visualização pode incluir um painel de cristal líquido (LCD). O painel de visualização pode gerar padrões de luz modulando espacialmente a luz da fonte de luz, e um formador de imagem forma uma imagem virtual a partir do padrão de luz. Alternativamente, o painel pode ser de cristal liquid em silício (LCOS), pelo que uma camada de cristal líquido pode estar situada no topo de um painel traseiro de silício.
[019] O visor HMD, numa modalidade exemplar, inclui uma tela de 7 polegadas com imagens estereoscópicas 3D que não se sobrepõem, pelo qual o olho esquerdo vê a área extra para a esquerda e o olho direito vê a área adicional para a direita. O visor HMD tenta imitar a visão humana normal, o que não é 100% de sobreposição. O campo de vista de uma modalidade exemplar é mais do que 90 graus na horizontal (110 graus na diagonal) de enchimento, assim, aproximadamente todo o campo de visão da vista de modo que o mundo real pode ser completamente bloqueado para criar uma forte sensação de imersão.
[020] Uma modalidade pode utilizar 1280 x 800 (proporção 16:10) permitindo assim um efetivo de 640 x 800, proporção 4:5 por olho. Numa modalidade que não permite a sobreposição total entre os olhos, a resolução horizontal combinada é eficazmente maior do que 640. A imagem exibida para cada olho é o pino amortecido gerando assim uma imagem esférico-mapeada para cada olho.
[021] O visor HMD 200 pode se comunicar com o(s) dispositivo(s) de computação externo(s) 110. O(s) dispositivo(s) de computação externo(s) 110 é(são) inclusive de servidores de aplicativos, bancos de dados e outros componentes de computação externos conhecidos na arte, incluindo componentes de computação hardware padrão, tais como interfaces de rede e mídia, não transitório de armazenamento legível por computador (memória), e os processadores para executar instruções ou acessar informações que podem ser armazenadas na memória.
[022] O sistema de realidade virtual que pode ser vestido 100 pode, em alguns casos, ser fisicamente ligado a dispositivo(s) de computação externo(s) 110. Tal ligação pode ser implementada por meio de uma interface USB 120, que pode ser usada para enviar dados para, e recebe dados de um dispositivo de computação externo 110 por meio de uma cablagem compatível com USB. interface USB 120 também pode ser usada para alimentar o sistema de realidade virtual vestível, 100 assim potencialmente eliminando a necessidade de uma fonte de alimentação externa e qualquer cabo de energia associado com o mesmo. Em alguns casos, outro adaptador de alimentação (não mostrado) pode ser necessário para a aplicação de energia por meio da interface USB 120. Deve ser entendido que a referência a USB é exemplar, assim como podem ser utilizados outros tipos de interfaces, incluindo, mas não se limitando a FireWire, Lightning, bem como outros padrões de ligação por cabo, tais como HDMI e DVI.
[023] O sistema de realidade virtual que pode ser vestido 100 da FIGURA 1 inclui uma interface de comunicação sem fio 130. Uma interface de comunicação sem fio 130 pode ser usada para a comunicação sem fio com o(s) dispositivo(s) de computação externo(s) 110. Uma interface de comunicação sem fio 130 pode também ser usada para se comunicar com outros dispositivos de computação vestíveis100. Uma interface de comunicação sem fio 130 pode utilizar qualquer número de padrões de comunicação sem fio que suportam a troca de dados bidirecional através de uma rede baseada em pacotes, como a Internet. Os padrões de comunicação exemplares incluem CDMA, GSM/GPRS, celular 4G, WiMAX, LTE e 802.11 (Wi-Fi).
[024] O sistema de realidade virtual que pode ser vestido 100 pode incluir um ou mais dos giroscópios de eixos tridimensionais 140, acelerômetros 150, e magnetômetros 160 giroscópio140 pode ser utilizado para medir a orientação com base nos princípios de momento angular. O acelerômetro 150 pode ser usado para detectar magnitude e a direção de aceleração como uma grandeza vetorial. Este resultado pode ser usado para detectar a orientação por causa da direção da variação de peso, de coordenadas aceleração correlacionada com força g ou uma mudança na força g, e vibração, choque, e caindo em um meio resistivo por meio de uma mudança na aceleração correta. Os magnetômetros 160 podem ser usados para identificar distúrbios em um campo magnético em relação ao sistema de realidade virtual vestível 100. O magnetômetro 160 pode auxiliar na identificação do norte verdadeiro para aplicações GPS e bússola, bem como ajudar com a entrada de gesto sem toque (touchless) ou sem câmera (camera-less). Através da utilização de dados gerados a partir do exposto, o acompanhamento de orientação de movimento de cabeça absoluto, sem desvio em relação à terra, pode ser calculado. O acompanhamento de latência pode funcionar a cerca de 1000 Hz para diminuir o tempo de resposta e aumentar o realismo percebido. Os visores de sistema de realidade virtual vestível 100 podem ser ajustados para permitir que os monitores individuais sejam movidos para mais perto ou mais longe dos olhos do usuário.
[025] O sistema de realidade virtual que pode ser vestido 100 pode operar por meio da execução de instruções legíveis de computador não transitórias, armazenadas no armazenamento de dados 170, onde ocorre a execução através de uma operação de processador 180. Enquanto a Figura 1 ilustra o armazenamento de dados 170 e o processador 180 como estando presente no sistema de realidade virtual vestível 100, Tais elementos podem estar localizados no(s) dispositivo(s) de computação externo(s) 110 ou, em alguns casos, com operações executáveis distribuídas entre os dois. O processador 180 e as instruções executáveis no armazenamento de dados 170 podem também controlar vários aspectos da interface USB 120, da Interface sem fio 130, dos giroscópios 140, dos acelerômetros 150 e dos magnetômetros 160.
[026] A FIGURA 2A ilustra um visor HMD 200 que mergulha completamente um usuário e m um ambiente de realidade virtual. Enquanto a FIGURA 2A é ilustrada como óculos imersivos, outros fatores de forma são possíveis e imaginados. As operações dos elementos na figura 2A são as mesmas que as discutidas no contexto da FIGURA 2B. A FIGURA 2A inclui suporte montado à cabeça 210 que permite que o sistema de realidade virtual vestível 100 (Incluindo visor HMD 200) seja colocado na cabeça de um usuário. O visor HMD 200 inclui ainda visores de lente 220A e 220B que podem ser de construção LCD ou LCOS, como descrito acima. Os visores de lente 220A e 220B podem ser uma parte integrante do sistema de realidade virtual vestível 100.
[027] A fabricação do sistema de realidade virtual que pode ser vestido 100 pode permitir a integração de componentes tais como os ilustrados na FIGURA 1 e interligar vários componentes para que sejam integrados internamente. Outros componentes podem estar situados no exterior do sistema de realidade virtual vestível 100 para permitir um acesso mais pronto ou conexões físicas com dispositivo(s) de computação externo(s) 110. Uma modalidade do sistema de realidade virtual vestível 100 pode incluir um microfone, para permitir a comunicação de voz com outros indivíduos utilizando o sistema de realidade virtual vestível 100ou para permitir certos controles do sistema que não precisem ser operados por mãos 100.
[028] A FIGURA 2B ilustra um visor HMD 200 que permite a geração de informação de RV mantendo a percepção do mundo real. Tal percepção dupla é prevista por não imergindo completamente o usuário dentro dos limites do ambiente virtual (isto é, O mundo real ainda pode ser visto e percebido). Enquanto o visor HMD 200 da FIGURA 2B é ilustrado como uma banda simples, outros fatores de forma são possíveis e imaginados. As operações dos elementos na FIGURA 2B são as mesmas que as discutidas no contexto da FIGURA 2A.
[029] A FIGURA 3 ilustra uma implementação exemplar de uma interrupção no ambiente de RV. Tal como ilustrado, o usuário 310 do HMD 200 está olhando "para baixo da linha" ou "ponto morto" do ambiente de RV 320, no centro do qual se reflete por raio 330. Deve notar-se que raio 330 é apresentado apenas com o objetivo de auxiliar com ilustração e não é literalmente presente no ambiente de RV 320 embora seja possível que indícios de orientação podem ser exibidos pelo HMD 200 no que diz respeito ao ambiente virtual 320. Como refletido por raio 330 e a linha de visão do usuário (340), ambos podem ser relativamente paralelos um ao outro.
[030] O raio 330, embora não ilustrado como um elemento necessário no ambiente de RV, pode ser determinado a partir da calibração do visor HMD 200 quando o usuário 310 primeiramente montar o mesmo à cabeça. Através da utilização de informação gerada por um ou mais dos giroscópios de eixos tridimensionais 140, acelerômetros 150 e magnetômetros 160, o sistema de realidade virtual vestível 100 pode calcular uma posição de "início" e uma posição "neutra" do usuário e do ambiente de RV a partir da movimentação seguinte da cabeça do usuário 310 - e por extensão, o visor HMD 200 - são considerados. Tal calibração pode ocorrer no início da operação, durante uma reposição manual, ou em resposta a uma determinação automática pelo sistema de realidade virtual vestível 100 que a informação posicional foi "desviada" ou não é mais correlacionada adequadamente tal que recalibração é necessária. Tal determinação pode ocorrer através da execução de software armazenado na memória 170 pelo processador 180.
[031] Passando agora para o usuário, 350 na FIGURA 3, esse usuário (que é o mesmo usuário como usuário 310, mas simplesmente tendo voltado a sua cabeça aproximadamente 45 graus) voltou a cabeça de tal forma que a sua linha de visão já não é paralela ao raio, 330 como estabelecido durante o processo de calibração acima mencionado. A nova linha de visão 3401 reflete que a linha de visão é atualmente cerca de 45 graus (360) para a direita do raio originalmente estabelecido 330. Através da utilização de informação gerada por um ou mais dos giroscópios de eixo tridimensionais 140, acelerômetros 150 e magnetômetros 160, o sistema de realidade virtual que pode ser vestido 100 pode calcular o quanto a linha de visão 3401 foi alterada de uma posição de "início" ou "neutra" do usuário e que foi usado para estabelecer o raio 330.
[032] Como o raio 330, o ângulo 360 é ilustrado para auxiliar na compreensão da implementação de uma interrupção do ambiente ou recurso "pausa" em que as atividades no ambiente são interrompidas ou colocadas em espera para permitir alguma outra função, incluindo, mas não limitado a navegação no menu. Mas também como o raio 330, o ângulo 360 pode ser visualmente ilustrado para o usuário no ambiente virtual 320 como parte de uma sobreposição gráfica. Esta informação pode ser exibida como uma ilustração geométrica mostrando a mudança real no ângulo a partir do raio de centro 330 ou apenas como um indicador numérico do número de graus (por exemplo, 12 graus) do centro 330 que o usuário tenha voltado sua cabeça.
[033] Deve notar-se que, embora uma modalidade do presente invento dirige-se especificamente a uma "interrupção" ou funcionalidade "pausa" por meio de o usuário virar a sua cabeça em excesso de um determinado ângulo, conforme ilustrado na FIGURA 3, outras funcionalidades podem ser associadas com a mudança de posição (por exemplo, salvar função, redefinir a função, função reiniciar). A este respeito, a interrupção ou a função de "pausa" é exemplar. Ainda adicionalmente, uma modalidade pode implementar ângulos diferentes com diferentes funções. Por exemplo, "pausa" pode ser implementada depois de 20 graus fora do centro 330, enquanto que salvar pode ser implementada depois de 30 graus do centro 330 e reiniciar após 45 graus do centro 330. A implementação destas funções pode ocorrer logo que a alteração de grau é atingida ou depois de o usuário deixar a sua cabeça em uma determinada mudança de posição durante um período de tempo predeterminado.
[034] A FIGURA 4 ilustra um método 400 para a execução de uma interrupção no ambiente de RV. O método 400 da FIGURA 4 pode ser realizado como instruções executáveis em um meio de armazenamento não transitório legível por computador, incluindo, mas não limitado a um CD, DVD ou memória não-volátil tal como um disco rígido. Tal metodologia pode ser implementada pelo processador 180 em execução de instruções não transitórias legíveis por computador incorporadas na memória 170. O processador 180 e o software armazenados na memória 170 podem utilizar os dados adquiridos a partir de vários outros componentes do sistema 100 incluindo giroscópios de eixos tridimensionais 140, acelerômetros 150 e magnetômetros 160. As etapas identificadas na Figura 4 (e o fim das mesmas) são exemplares e podem incluir várias alternativas equivalentes, ou as derivações das mesmas, incluindo, mas não se limitando a ordem de execução do mesmo.
[035] Na etapa 410, um processo de calibração pode ser iniciado. A calibração pode ocorrer no início do sistema de realidade virtual que pode ser vestido 100 ou em resposta ao lançamento de uma aplicação em particular no contexto do sistema 100. Um usuário também pode solicitar uma calibragem manual, ou o sistema 100 pode exigir uma devido a desvios posicionais.
[036] Em resposta ao processo de calibragem, informações de giroscópios de eixos tridimensionais 140, acelerômetros 150e magnetômetros 160 são recebidas na etapa 420. Esta informação será utilizada para determinar uma posição neutra ou "em repouso" a partir da qual todos os outros cálculos angulares serão julgados contextualmente. Esta determinação pode corresponder, por exemplo, ao raio 330 como discutido no contexto da figura 3. Medições e cálculos podem ter lugar no eixo X, bem como no eixo Y. A este respeito, "pausa" ou outras funções podem ser introduzidas não só por movimentos ao longo do eixo X, mas também ao longo do eixo Y ou ainda uma combinação dos dois (por exemplo, um usuário levanta a cabeça para a direita e para além de uma determinada posição).
[037] Na etapa 430, vários controles podem ser definidos com relação aos dados de posição gerados na etapa 420. A posição neutra do raio 330 pode ser confirmada, bem como as diversas funções que podem ser realizadas, se os dados de posição do HMD 200 indicarem que o usuário desligou a sua linha de visão para além de um determinado ângulo, o que pode incluir ao longo de um eixo ou eixos em particular. Em alguns casos, diferentes funções podem ser implementadas para aumentar a ângulos de mudança. Os períodos de tempo podem também ser implementados através do qual um usuário deve mudar a sua linha de visão ao longo de um determinado eixo, para além de um ângulo em particular, por um dado período de tempo.
[038] Na etapa 440, o acompanhamento do HMD 200 começa utilizando informações geradas a partir de giroscópios de eixos tridimensionais 140, acelerômetros 150 e magnetômetros 160. Durante todo o processo de acompanhamento, uma verificação contínua é feita para saber se os dados de posição do HMD 200 indicam que ele ultrapassou uma das limitações ou controles definidos na etapa 430. Por exemplo, e como mostrado na Figura 3, é feita uma determinação sobre se o usuário moveu sua cabeça e, consequentemente, a sua linha-de-visão 340 além de um raio neutro relativo ao controle de ângulo 330. Se o ângulo não tiver sido excedido (ou não excedido durante um período de tempo predefinido), então o acompanhamento continua na etapa 440, e verificações relativas às definições da etapa 430 continuam a ser feitas no passo 450. Se o usuário tem, no entanto, excedido uma configuração de posição ao longo de um determinado eixo, por um determinado período de tempo (ou a qualquer outro ambiente controlado no passo 430), então a funcionalidade correspondente - como uma "pausa" - pode ser implementada na etapa 460.
[039] A FIGURA 5 ilustra o uso do espaço físico fora do campo de visão para fornecer informações auxiliares para o ambiente de RV. Um usuário pode ser determinado a voltar seu campo de visão para além de uma posição neutra ou de centro, tal como discutido no contexto da FIGURA 3. Porque o usuário pausou o ambiente de RV sendo exibido pelo visor HMD 200, o usuário agora pode atender a outras atividades nas áreas do espaço físico que não sejam uma parte direta do ambiente de RV e que normalmente seriam relegadas para as áreas de "visão periférica" da linha de visão do usuário.
[040] Por exemplo, esta área pode incluir vários menus e controles relacionados ao ambiente de RV ou o aplicativo atualmente em execução para gerar o ambiente de RV. Pode ainda incluir dados sobre o ambiente de RV como o estado de atividade acontecendo no ambiente (por exemplo, placares, saúde, inventário, etc.). O espaço físico da área periférica também pode incluir informações de status sobre o sistema 100 ou o visor HMD 200 do sistema 100. Anúncios também podem ser exibidos nesta área. Outras aplicações também podem ser executadas nesta área, tais como chamadas de vídeo, mensagens ou outras comunicações em tempo real. Ao utilizar este espaço para esses dados e permitindo que o usuário acesse o mesmo durante um estado de pausa, a área de linha de visão principal no ambiente de RV pode ser mais bem utilizada.
[041] A presente invenção pode ser implementada numa aplicação que pode ser acionada utilizando uma variedade de dispositivos. Os meios de armazenamento não transitórios legíveis por computador referem-se a qualquer meio ou mídia que participem no fornecimento de instruções para uma unidade de processamento central (CPU) para a execução. Tais meios podem assumir muitas formas, incluindo, mas não limitado a, meios não voláteis e voláteis tais como discos ópticos ou magnéticos e de memória dinâmica, respectivamente. As formas mais comuns de meios não transitórios legíveis por computador incluem, por exemplo, um disquete, um disco flexível, um disco rígido, uma fita magnética, qualquer outro meio magnético, um disco de CD-ROM, um disco de vídeo digital (DVD), qualquer outro meio óptico, RAM, PROM, EPROM, uma FLASHEPROM, e qualquer outro chip de memória ou cartucho.
[042] Várias formas de mídia de transmissão podem estar envolvidas em levar uma ou mais sequências de uma ou mais instruções para um CPU para execução. Um condutor transporta os dados para a RAM do sistema, a partir do qual um CPU recupera e executa as instruções. As instruções recebidas pela memória RAM do sistema podem, opcionalmente, ser armazenadas num disco fixo, quer antes ou depois da execução, por um processador central. Várias formas de armazenamento podem ser aplicadas da mesma forma, bem como as interfaces de rede necessárias e topologias de rede para implementar o mesmo.
[043] Embora várias modalidades da presente invenção tenham sido descritas acima, deve ser entendido que elas foram apresentadas à título de exemplo apenas, e não de limitação. As descrições não pretendem limitar o âmbito do invento às formas particulares aqui apresentadas. Assim, a amplitude e âmbito de uma modalidade preferida não devem estar limitados por qualquer uma das modalidades exemplares acima descritas. Deve ser entendido que a descrição acima é ilustrativa e não restritiva. Pelo contrário, as presentes descrições destinam- se a cobrir tais alternativas, modificações, e equivalentes que possam ser incluídas dentro do espírito e âmbito da invenção como definido pelas reivindicações anexas e de outro modo apreciado por um perito comum na arte. Portanto, o escopo da presente invenção deve ser determinado não com referência a descrição acima, mas, em vez disso, deve ser determinado com referência às reivindicações anexas, juntamente com o escopo completo dos equivalentes.

Claims (12)

1. Método para interromper um ambiente virtual (320) em um visor montado na cabeça (200), o método CARACTERIZADO pelo fato de que compreende: armazenar informação na memória (170) a respeito de pelo menos uma configuração de controle que associa uma função com uma mudança na posição do visor do montado na cabeça; calibrar o visor montado na cabeça (200), em que uma posição inicial do visor montado na cabeça é identificada; gerar dados de posição que acompanhem o movimento do visor montado na cabeça; determinar que uma posição atual do visor montado na cabeça (200) é indicativa de uma mudança a partir da posição inicial que exceda a mudança na posição da configuração de controle; executar a função associada com a configuração de controle, em que a função compreende interromper o ambiente virtual (320) no visor montado na cabeça (200), ao pausar o ambiente; e oferecer funcionalidade de menu em uma área de visão periférica uma vez que o ambiente foi pausado.
2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir de um giros- cópio (140).
3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir de um acele- rômetro (150).
4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir de um magne- tômetro (160).
5. Sistema para interromper um ambiente virtual (320) em um visor montado na cabeça (200), o sistema CARACTERIZADO pelo fato de que compreende: memória (170) que armazena informações a respeito de pelo menos uma configuração de controle que associa uma função com uma mudança na posição do visor montado na cabeça (200); pelo menos um dentre um giroscópio (140), magnetômetro (150), e um ace- lerômetro (160) que: calibre o visor montado na cabeça, em que uma posição inicial do visor montado na cabeça é identificada; e gere dados de posição que acompanhem o movimento do visor montado na cabeça; um processador (180) que executa instruções armazenadas na memória (170) para: determinar que uma posição atual do visor montado na cabeça (200) é indicativa de uma mudança a partir da posição inicial que exceda a mudança na posição da configuração de controle; executar a função associada com a configuração de controle; e um visor montado na cabeça incluindo pelo menos uma lente (220A, 220B) para exibir o ambiente virtual (320), em que a execução da função interrompe o ambiente, ao pausar o ambiente, e oferecer funcionalidade de menu em uma área de visão periférica uma vez que o ambiente foi pausado.
6. Sistema, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir do giroscó- pio (140).
7. Sistema, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir do acele- rômetro (150).
8. Sistema, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir do magne- tômetro (160).
9. Meio de armazenamento legível por computador não transitório tendo incorporado em si um programa, o programa sendo executável por um processador (180) para executar um método para interromper um ambiente virtual (320) em um visor montado na cabeça (200), o método CARACTERIZADO pelo fato de que compreende: armazenar informação a respeito de pelo menos uma configuração de controle que associa uma função com uma mudança na posição do visor montado na cabeça (200); calibrar o visor montado na cabeça (200), em que uma posição inicial do visor montado na cabeça é identificada (200); gerar dados de posição que acompanhem o movimento do visor montado na cabeça (200); determinar que uma posição atual do visor montado na cabeça (200) é indicativa de uma mudança a partir da posição inicial que exceda a mudança na posição da configuração de controle; executar a função associada com a configuração de controle, em que a função compreende interromper o ambiente virtual (320) no visor montado na cabeça (200), ao pausar o ambiente; e oferecer funcionalidade de menu em uma área de visão periférica uma vez que o ambiente foi pausado.
10. Meio de armazenamento legível por computador não transitório, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir de um giroscópio (140).
11. Meio de armazenamento legível por computador não transitório, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados de um acelerômetro (150).
12. Meio de armazenamento legível por computador não transitório, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que gerar dados de posição inclui o processamento de dados a partir de um magnetômetro (160).
BR112016017181-0A 2014-01-25 2015-01-12 Método, sistema e meio de armazenamento legível por computador não transitório para interromper um ambiente virtual em um visor montado na cabeça BR112016017181B1 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461931583P 2014-01-25 2014-01-25
US61/931.583 2014-01-25
US14/283.083 2014-05-20
US14/283,083 US9437159B2 (en) 2014-01-25 2014-05-20 Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US2015112361 2015-07-30

Publications (2)

Publication Number Publication Date
BR112016017181A2 BR112016017181A2 (pt) 2017-12-26
BR112016017181B1 true BR112016017181B1 (pt) 2022-06-28

Family

ID=53679582

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112016017181-0A BR112016017181B1 (pt) 2014-01-25 2015-01-12 Método, sistema e meio de armazenamento legível por computador não transitório para interromper um ambiente virtual em um visor montado na cabeça

Country Status (10)

Country Link
US (3) US9437159B2 (pt)
EP (1) EP3097552B1 (pt)
JP (1) JP6591990B2 (pt)
KR (2) KR102275589B1 (pt)
CN (2) CN106164993B (pt)
BR (1) BR112016017181B1 (pt)
CA (1) CA2937536C (pt)
MX (1) MX359047B (pt)
RU (1) RU2660063C2 (pt)
WO (1) WO2015112361A1 (pt)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US9665170B1 (en) * 2015-06-10 2017-05-30 Visionary Vr, Inc. System and method for presenting virtual reality content to a user based on body posture
US11992746B1 (en) * 2015-08-22 2024-05-28 Bertec Corporation Hybrid display system for a force measurement assembly, an exercise device, or an interactive game
EP3185535A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Method and apparatus for controlling a discrepant aiming direction of a camera
US10565723B2 (en) 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
JP2017187757A (ja) * 2016-03-30 2017-10-12 ＴｓＺ株式会社 画像表示装置
CN106125916A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及终端
CN106125913A (zh) * 2016-06-17 2016-11-16 深圳市金立通信设备有限公司 一种启动方法及vr眼镜
CN106095007A (zh) * 2016-07-29 2016-11-09 北京小鸟看看科技有限公司 一种头戴显示设备
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
JP2018142857A (ja) * 2017-02-28 2018-09-13 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
IL252056A (en) 2017-05-01 2018-04-30 Elbit Systems Ltd Head-up display device, system and method
AU2018289561B2 (en) 2017-06-22 2020-07-02 Centurion Vr, Inc. Virtual reality simulation
US11682045B2 (en) * 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
CN107463264B (zh) * 2017-08-16 2020-07-14 福建天晴在线互动科技有限公司 一种vr场景复位的方法和终端
CN107320957B (zh) * 2017-08-21 2021-01-26 网易（杭州）网络有限公司 游戏界面显示方法及装置
US10386938B2 (en) * 2017-09-18 2019-08-20 Google Llc Tracking of location and orientation of a virtual controller in a virtual reality system
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
JP7073702B2 (ja) 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7077595B2 (ja) 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2019105960A (ja) 2017-12-12 2019-06-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
US11688168B1 (en) 2020-08-03 2023-06-27 Apple Inc. Method and device for visual augmentation of sporting events
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5258785A (en) 1991-06-25 1993-11-02 Dawkins Jr Douglas R Close-view data display implant for sporting eyewear
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5585871A (en) 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH09167253A (ja) 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
GB2314664A (en) 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
JPH10222287A (ja) 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JPH1195971A (ja) 1997-09-24 1999-04-09 Sharp Corp ユーザインタフェースシステム
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
EP1116211A4 (en) 1998-09-22 2001-11-21 Vega Vista Inc INTUITIVE CONTROL OF A PORTABLE DATA PRESENTATION SCREEN
US6315273B1 (en) 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated
US20020038456A1 (en) 2000-09-22 2002-03-28 Hansen Michael W. Method and system for the automatic production and distribution of media content using the internet
US7100190B2 (en) 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
US7970240B1 (en) 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003280805A (ja) 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US7511682B2 (en) * 2004-05-03 2009-03-31 Microsoft Corporation Context-aware auxiliary display platform and applications
EP1751499B1 (en) 2004-06-03 2012-04-04 Making Virtual Solid, L.L.C. En-route navigation display method and apparatus using head-up display
SE0401582L (sv) 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
JP2008508621A (ja) 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
JP4533087B2 (ja) * 2004-10-28 2010-08-25 キヤノン株式会社 画像処理方法、画像処理装置
US7298378B1 (en) 2004-12-13 2007-11-20 Hagenbuch Andrew M Virtual reality universe realized as a distributed location network
EP1679577A1 (en) 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
US7746343B1 (en) 2005-06-27 2010-06-29 Google Inc. Streaming and interactive visualization of filled polygon data in a geographic information system
US8818076B2 (en) 2005-09-01 2014-08-26 Victor Shenkar System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
US8725729B2 (en) 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US20100259471A1 (en) 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US20090271436A1 (en) 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
KR20100009947A (ko) 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
CA2674663A1 (en) 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US20100102476A1 (en) 2008-10-29 2010-04-29 Higgins Michael H Method for manufacturing raised relief maps
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
US20100238161A1 (en) 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
JP2011039438A (ja) * 2009-08-18 2011-02-24 Fujitsu Ltd 電子機器および表示制御方法
US20110153435A1 (en) 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US9254438B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US8175734B2 (en) 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models
WO2011097762A1 (en) 2010-02-12 2011-08-18 Thomson Licensing Method for synchronized content playback
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US20110214071A1 (en) 2010-02-26 2011-09-01 University Of Southern California Information channels in mmogs
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20140063054A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
JP5223062B2 (ja) 2010-03-11 2013-06-26 株式会社ジオ技術研究所 ３次元地図描画システム
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US8797380B2 (en) 2010-04-30 2014-08-05 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8803912B1 (en) 2011-01-18 2014-08-12 Kenneth Peyton Fouts Systems and methods related to an interactive representative reality
RU111703U1 (ru) * 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
EP2672880B1 (en) 2011-02-09 2019-05-22 Apple Inc. Gaze detection in a 3d mapping environment
KR101818024B1 (ko) 2011-03-29 2018-01-12 퀄컴 인코포레이티드 각각의 사용자의 시점에 대해 공유된 디지털 인터페이스들의 렌더링을 위한 시스템
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9043325B1 (en) 2011-06-24 2015-05-26 Google Inc. Collecting useful user feedback about geographical entities
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
AU2011204946C1 (en) * 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
US20130191178A1 (en) 2012-01-25 2013-07-25 Predictive Edge Technologies, Llc System and method for secure registration, authentication, valuation and exchange of virtual goods and objects
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130227017A1 (en) 2012-02-24 2013-08-29 Steven Antony Gahlings Location associated virtual interaction, virtual networking and virtual data management
US8737767B2 (en) 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
JP2013258614A (ja) * 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9389420B2 (en) 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TW201351963A (zh) 2012-06-15 2013-12-16 Hon Hai Prec Ind Co Ltd 虛擬環境中的影像播放方法及系統
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US20140164921A1 (en) 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9285951B2 (en) 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140280504A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality universe representation changes viewing based upon client side parameters
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US20170090460A1 (en) 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data

Also Published As

Publication number Publication date
RU2016134268A3 (pt) 2018-03-01
JP6591990B2 (ja) 2019-10-16
MX359047B (es) 2018-09-13
CN112218068A (zh) 2021-01-12
CN112218068B (zh) 2024-03-19
CN106164993A (zh) 2016-11-23
KR20160113613A (ko) 2016-09-30
RU2016134268A (ru) 2018-03-01
CA2937536A1 (en) 2015-07-30
US20170004654A1 (en) 2017-01-05
US20150213778A1 (en) 2015-07-30
US9818230B2 (en) 2017-11-14
US9437159B2 (en) 2016-09-06
CA2937536C (en) 2022-01-04
RU2660063C2 (ru) 2018-07-04
EP3097552A4 (en) 2018-01-24
KR102374251B1 (ko) 2022-03-15
CN106164993B (zh) 2020-10-20
WO2015112361A1 (en) 2015-07-30
MX2016009136A (es) 2017-04-13
KR102275589B1 (ko) 2021-07-09
JP2017506449A (ja) 2017-03-02
BR112016017181A2 (pt) 2017-12-26
KR20210087570A (ko) 2021-07-12
EP3097552B1 (en) 2020-03-04
EP3097552A1 (en) 2016-11-30
US20180082483A1 (en) 2018-03-22
US10096167B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
BR112016017181B1 (pt) Método, sistema e meio de armazenamento legível por computador não transitório para interromper um ambiente virtual em um visor montado na cabeça
US11693476B2 (en) Menu navigation in a head-mounted display
EP3486707B1 (en) Perception based predictive tracking for head mounted displays
JP2018190380A (ja) 仮想空間の立体視映像を提供するためのプログラム、システム、及び方法

Legal Events

Date Code Title Description
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 12/01/2015, OBSERVADAS AS CONDICOES LEGAIS