BR102019005162A2

BR102019005162A2 - Método para atualizar o campo de visão de interface gráfica de usuário em realidade aumentada

Info

Publication number: BR102019005162A2
Application number: BR102019005162-0A
Authority: BR
Inventors: Alvaro Augusto Braga Lourenço; Taynah DE ARAÚJO MIYAGAWA
Original assignee: Samsung Eletrônica da Amazônia Ltda.
Priority date: 2019-03-15
Filing date: 2019-03-15
Publication date: 2020-09-29
Also published as: US10649526B1

Abstract

método para atualizar o campo de visão de interface gráfica de usuário em realidade aumentada método para atualizar o campo de visão de uma interface gráfica do usuário em realidade aumentada através de gestos de olhar de um usuário (6) em uma determinada direção usando um componente de indício (10) que sinaliza a existência de um componente de recurso (11) compreendendo as etapas de: à medida que o usuário olha para longe de uma dada interface gráfica de usuário de origem-pivô, o indício (10) é modificado sincronicamente em posição, escala, cor e/ ou forma; estender a interface gráfica do usuário para suas adjacências, preservando a referência espacial ao contexto anterior; exibir o recurso (11) depois que o usuário olha para longe da posição inicial em um ângulo, distância ou quantidade arbitrária; quando o usuário olha de volta para a posição de origem/ pivô, o componente de recurso (11) anima seu estado visível desligado, enquanto o componente de indício (10) realiza sua transformação de volta ao estado original.

Description

MÉTODO PARA ATUALIZAR O CAMPO DE VISÃO DE INTERFACE GRÁFICA DE USUÁRIO EM REALIDADE AUMENTADA

Campo Técnico

[0001] A presente invenção refere-se a um método chamado indício de recurso que consiste em um elemento que oferece contexto/ opções adicionais que serão exibidas nas áreas adjacentes da área de visão principal do usuário, ao mesmo tempo mantendo a conexão a mesma. O foco é aperfeiçoar o campo de visão (Field of View - FOV) do usuário através de modificações na interface gráfica do usuário (Graphical User Interface - GUI), sem exigir aperfeiçoamentos em capacidade de hardware.

Antecedentes

[0002] A realidade aumentada (AR) é um esforço corporativo que procura transpor os métodos de interação legados para uma nova camada de interfaces superpostas sobre os objetos do mundo real. A complexidade central desta tarefa requer a detecção de superfícies e semânticas do ambiente em diferentes locais, materiais e condições de iluminação.

[0003] Ao contrário da maioria das interfaces de computador tradicionais, a exibição de interfaces gráficas nesse novo meio não é simples, pois não responde a uma tela quadrada regular com limites previsíveis. A tela de realidade aumentada é arbitrária na maioria das vezes, geralmente equilibrando três restrições principais para executar de uma maneira visível e utilizável: as superfícies do ambiente, o campo de visão do dispositivo (FOV) e os recursos gerais do computador.

[0004] A detecção de superfícies do ambiente é tão fundamental quanto complexo. Comumente rotulados como Sistemas de Localização e Mapeamento Simultâneos (Simultaneous Localization & Mapping - SLAM) e Unidade de Medição Inercial (Inertial Measurement Unit - IMU), esses algoritmos aplicam continuamente modelos complexos de tecnologia para identificar o ponto de vista do usuário (point of view - POV) dentro de uma cena, geralmente interpretando uma sequência de cenas em conjunto com acelerômetros e outros componentes especializados. Com o ponto de vista em mãos, ainda é necessário entender a relação espacial entre os objetos da cena, identificando os planos e superfícies disponíveis. Toda essa operação precisa ser executada várias vezes por segundo (desejavelmente 60) para fornecer continuidade e capacidade de resposta à posição da cabeça sempre em movimentação do usuário, exigindo investimentos pesados em P&D para suportar projeto, desempenho e autonomia adequados do hardware, especialmente para displays montados na cabeça (HMDs) de óculos inteligentes vestíveis.

[0005] A presente invenção refere-se às consequências naturais de todas essas restrições -especialmente a limitação do campo de visão e a alienação espacial que os usuários experimentam quando as interfaces gráficas de usuário (GUIs) ultrapassam sua área estreita de tela de HMD - abstraindo um novo modelo de interação que é capaz para sinalizar e abrir elementos da interface gráfica de usuário em áreas adjacentes àquelas que o usuário está olhando no momento.

[0006] No atual estado da técnica, as seguintes tecnologias que permitem a implementação (viabilidade técnica) do presente método podem ser encontradas:

a. realidade mista (Mixed Reality - MR) é o espaço entre realidade aumentada e realidade virtual, que permite que elementos reais e virtuais sejam combinados em graus variados. A realidade mista é possibilitada por melhorias na visão computacional, no poder de processamento gráfico, na tecnologia de exibição e nos sistemas de entrada.
b. A realidade aumentada (Augmented Reality - AR) contém principalmente elementos reais e, portanto, está mais próxima da realidade. Por exemplo, um usuário com um aplicativo AR em um smartphone continuará perceber o mundo real de uma forma normal, mas com elementos adicionais que são exibidos através do smartphone - a experiência do mundo real é dominante.
c. A realidade virtual (Virtual Reality - VR) insere o usuário em um ambiente totalmente gerado por computador, removendo quaisquer restrições quanto ao que um usuário pode fazer ou experimentar.
d. A entrada/ saída (E/S) é a comunicação entre um sistema de processamento de informações (por exemplo, computador) e o mundo externo. Entradas são os sinais ou dados recebidos pelo sistema e as saídas são os sinais enviados a partir do mesmo.
e. O dispositivo de entrada é definido como qualquer dispositivo que insere informações em um sistema de processamento de informações a partir de uma fonte externa (por exemplo, teclados, telas sensíveis ao toque, mouse, microfones, scanners).
f. Olhar é uma forma de entrada e uma forma primária de mirar dentro da realidade mista. O olhar indica onde o usuário está olhando no mundo real e isso permite que o sistema determine a intenção do usuário. É importante notar que os fones de ouvido de realidade mista usam a posição e orientação da cabeça do usuário, não dos olhos, para determinar seu vetor de olhar.
g. No outro lado da entrada-processo-saída (IPO) está a interface gráfica do usuário (GUI). Quase todas as interfaces digitais hoje em dia são GUIs. Uma interface é um conjunto de dados, comandos/ controles e/ ou menus/ navegação exibidos em uma tela, através do qual um usuário se comunica com um programa - em outras palavras, GUI é a parte de um sistema através da qual o usuário interage.
h. Augmented reality head-mounted displays (AR HMDs) (dispositivos holográficos e dispositivos imersivos) são os dispositivos que fornecem experiências de realidade mista/ aumentada. Os dispositivos holográficos são caracterizados pela capacidade do dispositivo de colocar conteúdo digital no mundo real e os dispositivos imersivos são caracterizados pela capacidade do dispositivo de ocultar o mundo físico e substituí-lo por uma experiência digital, criando ao mesmo tempo uma sensação de presença.

[0007] As seguintes soluções que têm algumas semelhanças com o método da presente invenção, mas que são tecnicamente diferentes ou têm objetivos/ propósitos diferentes, são descritas abaixo.

[0008] O documento de patente US 9,317,113 B1, intitulado "GAZE ASSISTED OBJECT RECOGNITION", concedido em 19 de abril de 2016 por Amazon Technologies, Inc., revela o olhar de um usuário para definir um método que reconhece visualmente objetos em uma determinada cena, oferecendo informações de contexto sobre esse objeto específico. Esse método funcionaria com dispositivos como telefones celulares ou dispositivos AR, operados com ou sem o auxílio de um dispositivo/ acessório periférico. Ele difere do método de interação da presente invenção, tal como descreve em detalhes a forma como este contexto ou qualquer outra informação seria acessada a partir do ponto de referência inicial, sendo este uma superfície, um objeto, uma composição, um padrão, o corpo de usuário, pertences ou acessórios, ou ainda outro elemento virtual.

[0009] O documento de patente US 2014/0168056 A1, intitulado "ENABLING AUGMENTED REALITY USING EYE GAZE TRACKING", depositado em 15 de março de 2013, pela QUALCOMM Incorporated, considera dados de rastreamento ocular para limitar o reconhecimento de objetos/ imagem para uma determinada parte do que o usuário vê em um determinado momento. Nesse sentido, os resultados de reconhecimento seriam mostrados com base na área de interesse, em vez de apenas na direção geral do olhar. Ele difere do método da presente invenção devido à própria natureza da proposta, uma vez que o método da presente invenção é completamente agnóstico da precisão ou da tecnologia subjacente que suporta a captura de entradas de olhar.

[0010] O documento de patente EP 1 679 577 A1, intitulado "ADAPTIVE DISPLAY OF EYE CONTROLLABLE OBJECTS", depositado em 10 de janeiro de 2005, pela Tobii Technology AB, divulga a entrada de rastreamento ocular para exibir uma matriz de itens com tamanhos que mudam conforme os usuários olham para diferentes partes de uma zona de modificação arbitrária de uma exibição baseada em computador. Enquanto a interação engloba o comportamento de uma matriz de elementos, enquanto os olhos do usuário são rastreados dentro de uma certa zona de modificação, o método da presente invenção é completamente agnóstico sobre o que deve ser controlado, dos métodos de olhar aplicados e das zonas usadas para controlar a mudança. Em vez disso, a presente invenção se concentra em como uma pista pode sinalizar e dar acesso a um recurso relacionado e oculto, usando uma relação de distância baseada em olhar muito flexível para entender quando o dado recurso deve ser sinalizado e entregue ao campo de visão do dispositivo.

[0011] O documento de patente US 2017/0184848 A1, intitulado "AUGMENTED REALITY DISPLAY SYSTEM WITH VARIABLE FOCUS", depositado em 29 de dezembro de 2015, por TUOMAS VALLIUS, descreve uma composição específica para lentes de visores near-eye, de forma a permitir variação focal simulada em aplicações de realidade aumentada. Está radicalmente distante da essência da presente invenção, dado que se concentra na composição específica de materiais para visores near-eye, com lentes que podem reproduzir variações focais sensíveis, ao passo que as proposições da presente invenção são sobre como os usuários podem interagir com a projeções que esses (e muitos outros) tipos de lentes são capazes de reproduzir.

[0012] O documento de patente US 2016/0284129 A1, intitulado "DISPLAY, CONTROL, METHOD OF DISPLAY, AND PROGRAM", depositado em 22 de fevereiro de 2016, por Seiko Epson Corporation descreve o conceito básico de um dispositivo HMD com a capacidade de exibir e atualizar as imagens síncronas servidas para cada olho de acordo com as entradas dos dispositivos de distância ocular e controlador. A descrição do hardware e conceito HMD estão, no entanto, fora do escopo do método de interação da presente invenção, que só utiliza estes dispositivos para realizar a flexibilidade da camada de software, geralmente agnóstico do conceito ou estrutura de componente que o suporta por baixo.

[0013] O documento de patente US 9,761,057 B2, intitulado "INDICATING OUT-OF-VIEW AUGMENTED REALITY IMAGES", depositado em 21 de novembro de 2016, pela MICROSOFT TECHNOLOGY LICENSING, LLC, divulga que uma informação posicional pode ser apresentada em um dispositivo AR para informar os usuários sobre o caminho ou simplesmente a presença de objetos e elementos relacionados ao ambiente que não são vistos em um dado momento. Este documento é diferente do método da presente invenção, o qual define, em vez de uma forma muito específica para ativar/ interagir, não somente com aquelas, mas com qualquer tipo de informação ou funcionalidade, incluindo elementos que não estão relacionados com um ambiente específico tal como GUIs e projeções de uso geral. O método da presente invenção também serve ao propósito de manipular a percepção de limitações comuns do campo de visão ao usar dispositivos de realidade aumentada.

Sumário da Invenção

[0014] Tendo em vista os problemas acima referidos relacionados à realidade aumentada, a presente proposta é um método que consiste em um elemento da área de visualização atual que oferece contexto adicional ao reagir sincronicamente a gestos de olhar para uma determinada direção. A ideia é simular uma expansão do campo de visão percebido pelo usuário, criando uma interface gráfica de usuário adicional que preserve a referência espacial ao contexto anterior, agindo como uma contramedida para os impactos negativos das limitações de hardware da realidade aumentada, como campo de visão limitado (Limited Field Of View - L-FOV) e alienação espacial (SPatial ALienation - SP-AL).

[0015] Sempre que uma interface gráfica do usuário de realidade aumentada chega ao campo de visão do usuário, o método (Feature Clue) é capaz de estender a interface gráfica do usuário para suas adjacências com o mínimo de gestos de olhar. Essa extensão da GUI acontece com o uso de dois componentes: um 'indício' e um 'recurso'. A 'pista' sinaliza a existência de um 'recurso', opcionalmente causando uma sensação de direção implícita ou explícita para a operação de olhar a qual ela responde. O 'indício' pode ser qualquer interface gráfica de usuário ou elemento desenhável na cena, abrangendo estados mais simples do 'recurso', símbolos informativos ou apenas um sinal mínimo. Ele ainda pode ser parcialmente ou completamente omitido se o designer assim definir, enquanto o 'recurso' deve estar sempre presente para executar o método completamente.

[0016] Esta proposta supera o estado da técnica, endereçando formas de relativizar os efeitos ruins dos campos de visão estreitos atuais, enquanto implementa uma solução que é mínima em sua forma, simples de usar e ainda genérica na implementação com possibilidades de realidade aumentada, realidade mista e realidade virtual.

[0017] Mais especificamente, a presente invenção fornece um método para atualizar o campo de visão de uma interface gráfica de usuário em realidade aumentada através de gestos de olhar mínimos de um usuário em uma certa direção usando um componente de indício que sinaliza a existência de um componente de recurso que compreende as etapas de:
à medida que o usuário olha para longe de uma determinada interface gráfica de usuário de origem e pivô, o indício é modificado de forma síncrona em posição, escala, cor e/ ou forma;
estender a interface gráfica do usuário para suas adjacências, preservando a referência espacial ao contexto anterior;
exibir o recurso após o usuário olhar para longe da posição inicial em um ângulo, distância ou quantidade arbitrária;
quando o usuário olha de volta para a posição de origem/ pivô, o componente de recurso anima seu estado visível para fora, enquanto o componente de indício realiza sua transformação de volta ao estado original.

[0018] Além disso, a presente invenção agrega valor ao fornecer um método que pode ser usado em várias plataformas e que será especialmente útil para o desenvolvimento e lançamento de plataformas e dispositivos de realidade aumentada.

Breve Descrição dos Desenhos

[0019] Os objetivos e vantagens da presente invenção se tornarão mais claros através da seguinte descrição detalhada dos exemplos e desenhos não limitativos apresentados no final deste documento:

[0020] A Figura 1 revela a incapacidade comum dos visores de realidade aumentada para cobrir todo o espectro da visão humana. Embora os dispositivos geralmente consigam renderizar pixels na área central, as áreas de conteúdo laterais geralmente são omitidas.

[0021] A Figura 2 descreve uma situação em que os usuários não conseguem perceber a presença de um elemento renderizado lateralmente, mesmo quando se ajusta perfeitamente ao campo de visão humano.

[0022] A Figura 3 revela uma técnica comum para evitar que elementos renderizados entrem e saiam gradualmente do campo de visão de realidade aumentada dos usuários: ancorando os elementos à área visível em si.

[0023] A Figura 4 descreve um exemplo de comportamento "responsivo" à realidade aumentada que mudaria camadas de apresentação e interação de um certo elemento na cena quando o usuário se aproxima ou se afasta dele.

[0024] A Figura 5 revela um cenário típico que não delineia a área renderizada de realidade aumentada. Nessa situação, os elementos laterais podem não ser completamente compreendidos pelos usuários, sendo percebidos como meros ruídos de composição.

[0025] A Figura 6 descreve um dos muitos exemplos de um 'indício' e um 'recurso' de acordo com uma concretização da presente invenção. Geralmente, o indício funciona como uma sugestão para o recurso. Ambos podem assumir formas e funções distintas com propósitos diferentes.

[0026] A Figura 7 revela um exemplo de um indício de recurso reversível aplicado a uma função "excluir". Nesse aplicativo, os usuários poderiam olhar ligeiramente para a direita para excluir o conteúdo na área central/ pivô.

[0027] A Figura 8 descreve a extensibilidade máxima recomendada para cada lado do dispositivo de realidade aumentada, garantindo sempre a visibilidade parcial da "área de pivô". A ergonomia geral aponta para um aumento no eixo vertical.

Descrição Detalhada VISÃO GERAL

[0028] Como mencionado acima, o método da presente invenção consiste em exibir um elemento da área de visualização atual que oferece contexto adicional, ao reagir de forma sincronizada aos gestos de olhar para uma determinada direção. Esta sincronicidade lhe permite atualizar a interface gráfica do usuário (GUI) como um feedback progressivo para os movimentos da cabeça à medida que eles acontecem em uma determinada direção, servindo como um indício sobre o que estará disponível quando o usuário finalmente olha o suficiente para aquela direção. Quando o usuário olha para longe do contexto inicial, o indício de recurso transforma-se em uma peça adicional da interface gráfica de usuário adjacente que preserva referência espacial para o contexto anterior, simulando uma expansão do campo de visão, atuando assim como uma contramedida para impactos negativos das limitações de hardware dos dispositivos de realidade aumentada.

[0029] Como se tornará mais claro através da descrição detalhada, embora focada na qualidade de uma solução para a realidade aumentada, o método da presente invenção não se restringe a esta aplicação, uma vez que pode ser usado como um modo de interação adicional para ambientes de realidade virtual/mista.

FOV limitado (L-FOV)

[0030] A busca por óculos inteligentes menores e portáteis é muitas vezes limitada pelo tamanho de seus componentes de exibição. O resultado mais comum - como encontrado no Microsoft HoloLens (de 2016), protótipos da Samsung (de 2017) e muitos outros - é que a área fornecida para impressão de pixels (FOV ~ 30°) é muito mais estreita que a visão humana real (FOV ~ 110°), cobrindo sua porção central (01) enquanto alienando as áreas periféricas (02), conforme demonstrado na Figura 1. Essa configuração conduz a uma experiência na qual é possível aos usuários lerem elementos de impressão no centro da tela, mas extremamente difícil para eles se tornarem totalmente conscientes em relação ao espaço de seu ambiente digital.

[0031] O resultado de tal circunstância é que as interfaces dos óculos inteligentes são reduzidas, de um mundo interativo completo para uma composição única e restrita de olhar limitado. Como o tamanho da tela e o quadro intenso atualizam a tensão com outros fatores como tamanho do hardware, consumo de energia, peso e aceleração térmica, os óculos de realidade aumentada inteligentes são uma equação difícil de resolver, tornando a avaliação do consumidor ainda pior, dado o tradicional impulso das verticais do mercado popular para o aumento exponencial de resolução, gráficos e tamanho de exibição.

[0032] Quando os visores são mais estreitos que a visão humana, os elementos GUI posicionados em superfícies do mundo serão frequentemente apresentados com culturas quadradas, encerrando a descrença/ imersão e forçando os usuários a se lembrarem de que os elementos do mundo que eles veem estão impressos em uma tela extremamente limitada.

[0033] Tendo isto em mente, toda a novidade dos óculos inteligentes AR é apenas uma realidade aumentada presa dentro de uma tela reduzida, um problema que está previsto para acontecer dentro de pelo menos alguns anos.

Alienação espacial (SP-AL)

[0034] As capacidades subjacentes da visão humana são muitas vezes tomadas como certas, especialmente as capacidades relativas à visualização periférica/ espacial. Isso acontece em áreas não estereoscópicas da visão e, portanto, com uma definição muito inferior se comparada às áreas centrais de foco que suportam as capacidades humanas de ler, apreciar e analisar. A visão periférica parece ser uma característica secundária em tal comparação, mas carrega a importante tarefa de conscientizar o usuário sobre seu entorno. É a visão periférica que torna os elementos em torno do usuário tão referenciáveis quanto aqueles atualmente sob a atenção do usuário, sustentando as capacidades básicas do usuário para memorizar e navegar em espaços, às vezes até no escuro.

[0035] As limitações angulares dos visores de AR HMD tradicionais são, no entanto, um gargalo para fornecer interfaces gráficas de usuário na visão periférica e atender à maior promessa de realidade aumentada, uma das camadas inteligentes digitais que cobrem tudo na vida das pessoas. Em termos práticos, importantes elementos aumentados dispostos ao lado de um usuário com visor montado na cabeça (HMD) (03) podem ser ignorados pelo simples fato de que o usuário não tinha conhecimento de sua existência, como mostra a Figura 2. De maneira semelhante, mesmo se os usuários estivessem cientes de alguns elementos não renderizados da GUI em torno deles, eles ainda se esforçariam para vasculhar toda a cena 360°x360° em diferentes cenários, de modo que pudessem identificar os elementos dentro de seu pequeno visor.

[0036] A alienação espacial dos óculos de realidade aumentada inteligentes atuais é severa a ponto de muitas vezes utilizar todo o espaço em torno dos usuários simplesmente não sendo tão útil quanto o pretendido, porque qualquer interação com esse ambiente transforma, antes de mais nada, uma interação de busca indesejada. Embora duplique a quantidade de tarefas necessárias para executar qualquer interação baseada no ambiente, essa restrição de tela também reduz esses tipos de experiências do usuário em curtos momentos de projeção e observação que não podem ser estendidos ao longo do tempo, devido à improbabilidade de serem referido com sucesso no mesmo local no futuro - faz sentido enquanto o usuário está focando no mesmo, mas depois torna-se um desperdício de recursos computacionais.

Novas interações

[0037] A criação de interfaces gráficas de usuário para HMDs de realidade aumentada é principalmente sobre a utilização de superfícies e semânticas de ambiente para originar conteúdo interativo digital bloqueado no local. No entanto, mesmo que esses elementos sejam estáticos na maioria das vezes, é natural esperar que eles fiquem constantemente entrando e saindo do campo de visão do usuário.

[0038] A relação entre essas duas variáveis independentes em circunstâncias de campo de visão limitado e alienação espacial gera toda uma série de novos desafios para os designers de informação, interação e visuais, que precisam abordar novas soluções que vão desde a localização do conteúdo, legibilidade, entradas e respostas a considerar uma distância e posição sempre variável entre usuários e interfaces.

[0039] Neste contexto, a figura 3 revela uma alternativa comum para este problema, que é a de ligar o conteúdo aumentado (04) à posição do usuário em si (05), de tal maneira que o faça mover-se juntamente com os movimentos do usuário. Esse primeiro cenário oferece a vantagem de corrigir a distância entre usuários e interfaces, de modo a facilitar alguns dos problemas relacionados ao design e à legibilidade das informações. No entanto, projetar interfaces no ambiente é um problema maior nesse sentido, porque geralmente presume que o conteúdo aumentado deve ser responsivo ao posicionamento do usuário. Neste segundo cenário, a interface gráfica do usuário de realidade aumentada precisaria se modificar substancialmente conforme o usuário (06) se aproxima (07) ou se distancia (08), também oferecendo níveis de interação distintos para diferentes intervalos de distância, como mostra a Figura 4. Ambos os cenários são ainda está sujeito às limitações reconhecidas de displays de AR, o que irá cortar e/ ou alienar as interfaces gráficas de usuário que eventualmente saem do campo de visão.

MÉTODO

[0040] Conceber o espaço para interface gráfica de usuário adicional no campo de visão restrito é uma etapa complicada e exigida ao projetar em realidade aumentada. Normalmente, as telas não são apenas mais estreitas, mas muitas vezes desprovidas de densidade de pixels adequada. Com essa combinação, trabalhar os detalhes se torna mais difícil e mais limitado do que na mídia digital tradicional. Por causa disso, na maioria das vezes as GUIs AR têm um único elemento na área de visualização principal, colocando todo o resto (se houver) oculto com cortes artificiais devido aos limites físicos da tela HMD.

[0041] Embora ainda seja possível posicionar as coisas como fixas na sala ou ao redor do usuário, ou até mesmo empurrar o conteúdo um pouco mais para caber mais dentro da tela renderizável, essas possibilidades geralmente rompem com as preocupações críticas de legibilidade e definição (à medida que usaria o mesmo número de pixels para renderizar mais conteúdo/ detalhe), comprometendo assim todo o desempenho e usabilidade esperados. Além disso, quando renderizados desde o início, os elementos laterais secundários geralmente adicionam ruído (09) à composição geral, atrapalhando a compreensão dos usuários sobre o estado do sistema atual e a realizar a tarefa principal, como mostrado na Figura 5. Isso implica que, à medida que o espaço de renderização central já é pequeno para projetar interfaces comuns, mais espaço é frequentemente necessário para renderizar mais GUI à medida que o usuário a explora. Enquanto o espaço lateral é normalmente indisponível, e a alternativa de usar mais de abstração de camada profunda pode parecer um pouco artificial para tarefas do mesmo contexto, o método da presente invenção (indício de recurso) resolve este problema, oferecendo aos designers uma maneira conveniente de adicionar mais espaço sem sobrecarregar a área principal da tela com informações ou interação. Isto torna-se possível ao expandir a área de visualização à medida que os usuários observam a GUI de origem/ pivô, apresentando novos recursos e informações justo e somente quando eles precisam.

[0042] Sempre que uma interface gráfica de usuário de realidade aumentada aparecer no campo de visão do usuário, o método da presente invenção estende aquela interface gráfica de usuário para as suas adjacências, com os gestos de olhar mínimos. Essa extensão da GUI acontece com o uso de dois componentes: um 'indício' (10) e um 'recurso' (11), mostrados na Figura 6. O 'indício' sinaliza a existência de um 'recurso', opcionalmente causando uma sensação de direção implícita ou explícita para a operação de olhar a qual ele responde.

[0043] Esses elementos são executados em três etapas, conforme ilustrado pela Figura 7:

1 à medida que o usuário olha para longe de uma determinada GUI de origem/ pivô, o indício é modificado de forma síncrona em posição, escala, cor e/ ou forma. Isso acontece para sinalizar que, ao olhar para essa direção peculiar, algo eventualmente irá acontecer.
2 O recurso aparece quando o usuário olha o suficiente para o lado. Isso pode acontecer ao acionar uma animação adicional se um designer de GUI entender que o indício não deve ser transformado diretamente no recurso, de modo que, quando o recurso aparecer, ele possa opcionalmente sobrescrever a visibilidade para o indício.
3 Quando o usuário olha de volta para a posição de origem/ pivô, a parte de recurso pode animar seu estado visível, enquanto o indício realiza sua transformação de volta ao estado original. Isso significa que o indício de recurso pode abrir apenas uma vez ou, alternativamente, ser reversível.

[0044] É importante observar que essa descrição em três etapas abrange apenas o comportamento básico do indício de recurso. Animações, visualizações e reversibilidade de estado são modificados de várias maneiras para se adequar a diferentes cenários, direções e linguagem visual de aplicativos. O "indício" e sua transformação ainda podem acontecer de maneira a sinalizar que tipo de "recurso" será acionado pela operação de olhar. Por exemplo, se houver um 'ícone de menu lateral' no campo de visão principal (um que originaria um 'menu lateral real' à medida que o usuário olha para o lado), o usuário seria capaz de presumir que um menu será acionado antes que ele realmente seja por causa da transformação matizada do 'ícone de menu' no 'menu atual'.

[0045] O 'indicio' pode ser qualquer GUI ou elemento projetável na cena, abrangendo estados mais simples do 'recurso', símbolos informativos ou apenas um sinal mínimo. Ele ainda pode ser parcialmente ou completamente omitido se o designer assim definir, enquanto o 'recurso' deve estar sempre presente para executar completamente o método.

[0046] É importante notar que, como o campo de visão é simulado através das áreas adjacentes da GUI de origem / pivô, o indício de recurso sugerido pela presente invenção recomenda evitar rotações de olhar mais altas do que a metade do campo de visão do dispositivo. A Figura 8 mostra como gerenciar a adição de cerca de metade do campo de visão angular a cada lado cardinal, sem alienar os usuários do conteúdo de origem, já que a GUI de pivô (12) é mantida visível durante toda a experiência, sempre às margens do visor montado na cabeça (HUD).

[0047] Estar nas margens também significa que o usuário é capaz de fazer correlações espaciais e lógicas entre o conteúdo inicial e o recurso acessado ao operar o indício de recurso. Isso é feito de uma maneira que possibilita recriar muitas das organizações de interface gráfica de usuário tradicionais de sistemas móveis e de desktop legados (por exemplo, "este menu fica ao lado do conteúdo principal" ou "este rodapé está logo abaixo de todo conteúdo"). O uso de padrões consistentes em toda a aplicação influencia o valor para cenários de indício de recurso, tornando-se mais fácil e eficiente à medida que os usuários obtêm mais experiência com o uso do método.

[0048] Mesmo com as limitações de rotação de olhar, o indício de recurso cria oportunidades para designers de realidade aumentada para usar uma área de interface gráfica de usuário até quatro vezes maior do que a tela de prjeção principal, sem ter dificuldades tais como campo de visão limitado e alienação espacial.

[0049] É importante notar que, enquanto o indício de recurso se destaca nos elementos ancorados em realidade aumentada e visor montado na cabeça, ele ainda pode ser usado para realidade virtual e/ ou junto com elementos de cena também. Como a realidade virtual geralmente oferece um campo de visão mais amplo, a aplicação do método proposto pode não oferecer todas as vantagens de simulação do campo de visão, mas ainda pode ser útil como um método baseado em olhar para interações de propósito geral.

[0050] Embora a presente descrição tenha sido descrita em relação a certas concretizações preferidas, deve ser entendido que não se pretende limitar a divulgação a essas concretizações particulares. Pelo contrário, pretende-se abranger todas as alternativas, modificações e equivalências possíveis dentro do espírito e escopo da divulgação, conforme definido pelas reivindicações anexas.

Claims

Método para atualizar o campo de visão de uma interface gráfica do usuário em realidade aumentada através de gestos de olhar mínimos de um usuário (6) em uma certa direção usando um componente de indício (10) que sinaliza a existência de um componente de recurso (11) caracterizado pelo fato de que compreende as etapas de:
à medida que o usuário olha para longe de uma dada interface gráfica de usuário de origem-pivô, o indício (10) é modificado de forma síncrona em posição, escala, cor e/ ou forma;
estender a interface gráfica do usuário para suas adjacências, preservando a referência espacial ao contexto anterior;
exibir o recurso (11) depois que o usuário olhar para longe da posição inicial em um ângulo, distância ou quantidade arbitrária;
quando o usuário olha de volta para a posição de origem/ pivô, o componente de recurso (11) anima seu estado visível desligado, enquanto o componente de pista (10) realiza sua transformação de volta ao estado original.
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende a etapa de sinalizar que um componente de recurso (11) será acionado por uma operação de olhar.
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que animações, visualizações e reversibilidade de estado podem ser ajustados em uma variedade de maneiras, a fim de se adequar a diferentes cenários de aplicação, direções e linguagem visual.
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o 'indício' é qualquer interface gráfica de usuário ou elemento na cena que pode ser desenhado na cena, abrangendo estados mais simples da 'recurso', símbolos informativos ou apenas um sinal mínimo.
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o indício (10) faz alusão a um elemento indicativo do recurso oculto (11).
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o indício (10), o recurso (11) e/ ou o sinal são empacotados ou separados entre si.
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o recurso (11) também serve ou compõe um indício (10) para outro ciclo de método de indício/ sinal/ recurso.
Método, de acordo com a reivindicação 1, caracterizado pelo fato de que um recurso (11) está oculto pelo espaço de renderização insuficiente do dispositivo ou por mero design.