BR112020012291A2 - dispositivo head-mounted display e método do mesmo - Google Patents

Abstract

É fornecido um dispositivo head-mounted display (HMD) (100) configurado para ser vestido por um usuário (121). O HMD compreende um display pelo menos parcialmente transparente (101), uma câmera frontal (102) operativa para capturar uma primeira imagem de uma cena do mundo real e meios de processamento (104) que são operativos para selecionar um objeto de calibração dentre um ou mais objetos do mundo real, ou partes dos mesmos, (130?135) que são visíveis na primeira imagem e para derivar uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido no display na posição de display esteja alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário.

Description

DISPOSITIVO HEAD-MOUNTED DISPLAY E MÉTODO DO MESMO Campo Técnico

[001] A invenção refere-se a um dispositivo head-mounted display, um método desempenhado por um dispositivo head-mounted display, um programa de computador correspondente e um meio de armazenamento legível por computador correspondente. Antecedentes

[002] Prevê-se que a realidade mista (MR) se torne uma tecnologia integral na sociedade em rede e que perturbe potencialmente o mercado de eletrônicos de consumo. A realidade mista abrange Realidade Aumentada (AR) e Virtualidade Aumentada (AV).

[003] A AR é frequentemente desempenhada via dispositivos portáteis, tais como smartphones e tablets, ou via Head-Mounted Displays (HMD) (também conhecidos como Dispositivos Head-Mounted Display) tais como o Microsoft HoloLens. A AR via um HMD implica em dispor em camadas informações tais como texto, imagens ou vídeos, sobre a vista do usuário do mundo real por meio de um display transparente.

[004] Os dispositivos de display com displays transparentes, tais como HMDs, requerem calibração a fim de fornecerem uma experiência imersiva ao usuário. O objetivo da calibração é poder exibir objetos virtuais, tais como texto, imagens e vídeos, no display transparente do HMD de modo que os objetos virtuais exibidos sejam alinhados corretamente aos objetos do mundo real vistos pelo usuário através do display transparente. Na prática, a pose ocular do usuário deve ser conhecida, além da pose do display e da pose respectiva de qualquer câmera compreendida no HMD, tal como uma câmera frontal para capturar imagens do mundo real e/ou rastreamento de objetos do mundo real e uma câmera voltada para os olhos para rastrear os olhos do usuário.

[005] Uma visão geral dos métodos de calibração conhecidos para HMDs foi dada por J. Grubert, Y. Itoh, K. Moser e J.E. Swan II (“A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays”, arXiv:

1709.04299v1, 13 de setembro de 2017). Tais métodos de calibração são normalmente desempenhados manualmente quando o HMD está em uso, enquanto alguns dos métodos de calibração podem ser automatizados. Comum a alguns métodos de calibração conhecidos é que eles contam com aparelhos de calibração não práticos e/ou equipamentos de calibração dispendiosos.

[006] Por exemplo, um procedimento de calibração manual para estabelecer uma matriz de vista que é calibrada para as características oculares específicas do usuário é divulgado no documento WO 2016/191043 A1.

[007] Também são conhecidos os métodos de calibração baseados em imagens da córnea, contando com uma câmera voltada para os olhos para criar um reflexo da cena do mundo real pela córnea do usuário, conforme descrito em “Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging”, de A Plopski, C. Nitschke, K. Kiyokawa, D. Schmalstieg e H. Takemura, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, The Eurographics Association, 2015). Sumário

[008] É um objetivo da invenção fornecer uma alternativa aprimorada às técnicas acima e ao estado da técnica.

[009] Mais especificamente, é um objetivo da invenção fornecer soluções aprimoradas para calibrar um dispositivo head-mounted display transparente. Em particular, é um objetivo da invenção fornecer soluções para selecionar automaticamente um objeto de calibração para uso em um procedimento de calibração.

[010] Estes e outros objetivos da invenção são alcançados por meio de diferentes aspectos da invenção, como definido pelas reivindicações independentes. Modalidades da invenção são caracterizadas pelas reivindicações dependentes.

[011] De acordo com um primeiro aspecto da invenção, é fornecido um dispositivo head-mounted display. O dispositivo de display é configurado para ser vestido por um usuário e compreende um display pelo menos parcialmente transparente, uma câmera frontal e meios de processamento. A câmera frontal é operativa para capturar uma primeira imagem de uma cena do mundo real. Normalmente, quando vestido pelo usuário, a cena do mundo real capturada é a cena na frente do usuário. Os meios de processamento são operativos para selecionar um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis na primeira imagem. Os meios de processamento são adicionalmente operativos para derivar uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido no display na posição de display esteja alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário. A transformação de calibração pode, por exemplo, ser representada por uma matriz ou outra forma de representação matemática que é adequada para descrever uma transformação entre dois sistemas de coordenadas.

[012] De acordo com um segundo aspecto da invenção, é fornecido um método desempenhado por um dispositivo head-mounted display. O dispositivo de display é configurado para ser vestido por um usuário. O método compreende selecionar um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis na primeira imagem de uma cena do mundo real. A primeira imagem é capturada por uma câmera frontal compreendida no dispositivo de display. O método compreende adicionalmente derivar uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido na posição de display em um display pelo menos parcialmente transparente é alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário. O display pelo menos parcialmente transparente está compreendido no dispositivo de display.

[013] De acordo com um terceiro aspecto da invenção, é fornecido um programa de computador. O programa de computador compreende instruções executáveis por computador para fazer com que um dispositivo head-mounted display desempenhe o método de acordo com uma modalidade do segundo aspecto da invenção, quando as instruções executáveis por computador são executadas em uma unidade de processamento compreendida no dispositivo de display.

[014] De acordo com um quarto aspecto da invenção, é fornecido um meio de armazenamento legível por computador. O meio de armazenamento legível por computador possui o programa de computador de acordo com o terceiro aspecto da invenção armazenado no mesmo.

[015] A invenção faz uso de um entendimento de que um procedimento de calibração aprimorado para dispositivos de display ou head-mounted display (HMDs) transparentes é alcançado pela seleção automática de um objeto de calibração dentre um ou mais objetos do mundo real para uso em um procedimento de calibração, por exemplo, qualquer um dos procedimentos de calibração que são conhecidos na técnica. Dessa forma, o usuário de um HMD é aliviado de manter ou transportar um objeto de calibração dedicado. Modalidades da invenção selecionam um objeto de calibração adequado dentre um ou mais objetos do mundo real, isto é, objetos físicos nos arredores do usuário que são visíveis na primeira imagem que é capturada pela câmera frontal. Esses são objetos do mundo real que estão no campo de visão da câmera frontal, como móveis, eletrodomésticos, prédios, portas, janelas, veículos, placas de rua, tablets, smartphones, laptops, tabuleiros de damas e assim por diante.

[016] De acordo com uma modalidade da invenção, o dispositivo de display compreende ainda uma câmera voltada para os olhos que é operativa para capturar uma segunda imagem de um reflexo da cena do mundo real por uma córnea do usuário. Os meios de processamento são operativos para selecionar o objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis tanto na primeira imagem quanto na segunda imagem, e derivar a transformação de calibração usando a primeira imagem e a segunda imagem. Esta modalidade da invenção refere-se a métodos de calibração que dependem de imagens da córnea. Opcionalmente, o objeto de calibração é selecionado a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma região da primeira imagem que corresponde a um campo de visão da câmera voltada para os olhos. Normalmente, o campo de visão da câmera voltada para os olhos é menor que o da câmera frontal. Como o objeto de calibração precisa estar visível tanto na primeira quanto na segunda imagem, a fim de derivar a transformação de calibração como parte de um procedimento de calibração dependente da imagem da córnea, o objeto de calibração é selecionado vantajosamente dentre os objetos do mundo real que são visíveis em uma parte da primeira imagem que corresponde ao campo de visão da câmera voltada para os olhos. Na prática, esses são objetos que também são visíveis na segunda imagem capturada pela câmera voltada para os olhos. Vantajosamente, como a primeira imagem (capturada pela câmera frontal) é normalmente superior à segunda imagem (capturada pela câmera voltada para os olhos), devido às imperfeições da córnea, identificar objetos do mundo real por processamento de imagem da primeira imagem é mais fácil, mais confiável e consome menos recursos, em comparação com a segunda imagem.

[017] De acordo com uma modalidade da invenção, o objeto de calibração pode ser selecionado com base em uma distorção do objeto de calibração na segunda imagem em comparação com a primeira imagem. Este é o caso se um método de calibração que depende de imagens da córnea for empregado. Preferencialmente, é selecionado o objeto com menor distorção. Isso é vantajoso, pois a transformação de calibração é derivada comparando o mesmo objeto capturado pela primeira e pela segunda imagem.

[018] De acordo com uma modalidade da invenção, o objeto de calibração é selecionado com base em uma aparência visual do objeto de calibração. Por exemplo, objetos do mundo real que são claramente visíveis e/ou têm alto contraste, e que, portanto, são fáceis de detectar por processamento de imagem ou reconhecimento de objeto, são preferencialmente selecionados.

[019] De acordo com uma modalidade da invenção, um objeto de calibração selecionado anteriormente dentre os um ou mais objetos do mundo real é selecionado como o objeto de calibração. Isso pode ser alcançado mantendo um banco de dados de objetos de calibração usados.

[020] De acordo com uma modalidade da invenção, o dispositivo de display compreende um ou mais sensores de movimento que são operativos para rastrear um movimento do dispositivo de display. Os meios de processamento são operativos para estimar uma duração de tempo durante a qual os um ou mais objetos do mundo real permanecem visíveis na primeira imagem e selecionar o objeto de calibração com base na duração estimada de tempo durante a qual o objeto de calibração permanece visível na primeira imagem. A duração do tempo durante a qual os um ou mais objetos do mundo real são visíveis na primeira imagem é estimada com base no movimento rastreado do dispositivo de display. Preferencialmente, é selecionado um objeto do mundo real que é visível na primeira imagem e, opcionalmente, na segunda imagem, por uma duração de tempo suficientemente longa para desempenhar o procedimento de calibração. Como uma alternativa, um objeto do mundo real que esteja se movendo lentamente, ou não esteja se movendo, em relação ao campo de visão, pode ser selecionado.

[021] De acordo com uma modalidade da invenção, o objeto de calibração é selecionado identificando um ou mais objetos do mundo real combinando recursos visuais dos um ou mais objetos do mundo real contra informações relativas a recursos visuais de objetos do mundo real que são armazenadas em um banco de dados e selecionando o objeto de calibração com base nas informações obtidas a partir do banco de dados. As informações obtidas a partir do banco de dados podem indicar uma adequação respectiva dos objetos do mundo real identificados, ou partes dos mesmos, conforme objeto de calibração. As informações podem, por exemplo, relacionar-se à aparência visual, dimensões, composição do objeto do mundo real em termos de formas geométricas ou similares. A esse respeito, um objeto do mundo real é considerado mais adequado como objeto de calibração se sua aparência visual for caracterizada por um alto contraste ou por formas geométricas que são fáceis de detectar pelo processamento de imagem. Por exemplo, um tabuleiro de damas é caracterizado por ser composto por formas geométricas simples e por alto contraste. Preferencialmente, é selecionado o objeto de calibração mais adequado.

[022] De acordo com uma modalidade da invenção, o dispositivo de display compreende adicionalmente uma interface de comunicações sem fio. Os meios de processamento são operativos para selecionar o objeto de calibração identificando, usando a interface de comunicações sem fio, um dispositivo de comunicações compreendendo um display dentre os um ou mais objetos do mundo real e selecionando como objeto de calibração pelo menos um dentre o display do dispositivo de comunicações e conteúdo gráfico exibido no mesmo. O dispositivo de comunicações compreendendo um display pode, por exemplo, ser identificado estabelecendo comunicações sem fio com dispositivos de comunicações próximos, consultando o tipo, capacidades ou marca/modelo dos dispositivos de comunicações próximos. Vantajosamente, um dispositivo de comunicação próximo que esteja no campo de visão da câmera frontal pode exibir conteúdo gráfico na forma de um padrão de calibração dedicado que é caracterizado por alto contraste e composto de formas geométricas simples, como retângulos, quadrados, círculos ou similares. Opcionalmente, o dispositivo de display pode receber uma representação do conteúdo gráfico exibido do dispositivo de comunicações via a interface de comunicações sem fio. Em outras palavras, o dispositivo de comunicações pode relatar ao dispositivo de display qual conteúdo gráfico está sendo exibido atualmente, de modo que o dispositivo de display possa usar o conteúdo gráfico exibido como objeto de calibração. Como alternativa, o dispositivo de display pode transmitir uma instrução ao dispositivo de comunicações via a interface de comunicações sem fio, para exibir o conteúdo gráfico no display do dispositivo de comunicações. A instrução pode ser uma solicitação, tal como uma mensagem ou sinal, em resposta à qual o dispositivo de comunicações exibe o conteúdo gráfico. Opcionalmente, o dispositivo de display pode transmitir uma representação do conteúdo gráfico do dispositivo de comunicações via a interface de comunicações sem fio.

[023] De acordo com uma modalidade da invenção, o dispositivo de display é adicionalmente operativo para receber uma instrução para exibir um objeto virtual, a instrução compreendendo uma posição correspondente do mundo real do objeto virtual ao ser exibida ao usuário. Essa é a posição na cena do mundo real em que o objeto virtual parece estar colocado. A instrução pode, por exemplo, ser recebida de uma aplicação de AR que é executado pelo dispositivo de display ou que utiliza o dispositivo de display para exibir objetos virtuais ao usuário. O dispositivo de display é adicionalmente operativo para calcular uma posição de display do objeto virtual aplicando a transformação de calibração à posição do mundo real recebida e exibindo o objeto virtual na posição de display calculada no display.

[024] Embora algumas vantagens da invenção tenham sido descritas em alguns casos com referência às modalidades do primeiro aspecto da invenção, o raciocínio correspondente se aplica às modalidades de outros aspectos da invenção.

[025] Objetivos, recursos e vantagens adicionais da invenção tornar-se-ão aparentes ao estudar a divulgação detalhada a seguir, os desenhos e as reivindicações anexas. Os técnicos no assunto percebem que diferentes recursos da invenção podem ser combinados para criar modalidades diferentes das descritas a seguir. Breve descrição das figuras

[026] O acima exposto, bem como objetos, recursos e vantagens adicionais da invenção serão melhor compreendidos por meio da descrição detalhada, ilustrativa e não limitante a seguir das modalidades da invenção, com referência aos desenhos anexos, nos quais: A Fig. 1 mostra um dispositivo head-mounted display, de acordo com modalidades da invenção.

[027] A Fig. 2 mostra uma vista através do display pelo menos parcialmente transparente do dispositivo de display da Fig. 1, de acordo com modalidades da invenção.

[028] A Fig. 3 mostra uma modalidade dos meios de processamento compreendidos no dispositivo de display da Fig. 1.

[029] A Fig. 4 mostra outra modalidade dos meios de processamento compreendidos no dispositivo de display da Fig. 1.

[030] A Fig. 5 mostra um fluxograma ilustrando um método desempenhado por um dispositivo head-mounted display, de acordo com modalidades da invenção.

[031] Todas as figuras são esquemáticas, não necessariamente em escala e geralmente mostram apenas as partes que são necessárias para elucidar a invenção, em que outras partes podem ser omitidas ou meramente sugeridas. Descrição Detalhada

[032] A invenção será agora descrita mais completamente na presente invenção em diante com referência aos desenhos anexos, nos quais são mostradas certas modalidades da invenção. Essa invenção pode, entretanto, ser concebida em muitas formas diferentes e não deve ser entendida como limitada às modalidades apresentadas na presente invenção. Em vez disso, estas modalidades são providas a título de exemplo de modo que esta invenção seja minuciosa e completa, e que transmita todo o escopo da invenção aos técnicos no assunto.

[033] A seguir, as modalidades do dispositivo Head-Mounted Display (HMD) são descritas com referência à Fig. 1, que mostra um HMD 100 configurado para ser vestido por um usuário. O HMD 100 pode, por exemplo, ser fixado a uma cabeça 121 de usuário usando correias ou similares. O HMD 100 compreende um display pelo menos parcialmente transparente 101 através do qual o usuário pode visualizar uma cena do mundo real que está na frente do usuário, usando os olhos 122. Display 101 pode ser usado para exibir objetos virtuais, tais como texto, imagens, vídeos ou outros tipos de conteúdo gráfico,

ao usuário, de modo que os objetos virtuais exibidos sejam sobrepostos na cena do mundo real. O HMD 100 compreende adicionalmente uma câmera frontal 102 que é operativa para capturar uma primeira imagem da cena do mundo real e os meios de processamento 104 que são operativos para fazer com que o HMD 100 desempenhe de acordo com as modalidades da invenção estabelecida na presente invenção.

[034] Mais especificamente, HMD 100 é operativo para selecionar um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, 130-135 que são visíveis na primeira imagem capturada pela câmera frontal 102. A primeira imagem representa uma vista da cena do mundo real que está dentro de um campo de visão 112 de câmera frontal 102. No presente contexto, um objeto do mundo real pode ser qualquer objeto físico, tal como uma peça de mobília, um eletrodoméstico, um prédio, uma porta, uma janela, um veículo, uma placa de rua, um tablet, um smartphone, um laptop, um tabuleiro de damas e assim por diante. Na Fig. 1, alguns objetos do mundo real são exemplificados como um tablet 130, uma caixa 133 e um carro 134. Modalidades da invenção podem selecionar um objeto do mundo real inteiro como objeto de calibração, tal como, por exemplo, caixa 133, ou parte de um objeto do mundo real, tal como, por exemplo, um display 131 do tablet 130 ou conteúdo gráfico 132 exibido sobre os mesmos. Na Fig. 1, o conteúdo gráfico 132 é exemplificado como um tabuleiro de damas, que é um padrão de calibração comumente usado no campo, devido ao seu alto contraste e composição com formas geométricas simples, o que facilita o processamento de imagens e o reconhecimento de objetos.

[035] O HMD 100 é adicionalmente operacional para derivar uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real. A posição de display é calculada de modo que um objeto virtual que é exibido no display 101 na posição de display, em relação a um sistema de coordenadas do display 101, esteja alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, em relação a um sistema de coordenadas da câmera frontal 102, como pode ser visto pelo usuário ao visualizar a cena do mundo real com seus olhos 122 através do display

101.

[036] Em AR dependente de displays transparentes, tal como o HMD 100, uma tarefa importante é calibrar o HMD a fim de estabelecer a orientação e a posição relativa, isto é, a pose, dos diferentes sistemas de coordenadas. Com o objetivo de elucidar a invenção, vários sistemas de coordenadas podem ser associados ao HMD 100. Um primeiro sistema de coordenadas pode ser associado ao display 101, um segundo sistema de coordenadas pode ser associado à câmera frontal 102, um terceiro sistema de coordenadas pode ser associado a uma câmera voltada para os olhos opcional 103 (descrita adicionalmente abaixo) e um quarto sistema de coordenadas pode ser associado aos olhos 122 do usuário. Somente se calibrado adequadamente, um objeto virtual pode ser exibido no display 101, de modo que pareça ser colocado na posição desejada na cena do mundo real, permitindo uma experiência imersiva ao usuário. O problema em questão é destacado e um procedimento de calibração manual é proposto em WO 2016/191043 A1. Uma visão geral dos diferentes procedimentos de calibração pode ser encontrada em “A Survey of Calibration Methods for Optical See-Through Head-Mounted Displays”, de J. Grubert, Y. Itoh, K. Moser e J.E. Swan II (arXiv: 1709.04299v1, 13 de setembro de 2017).

[037] A sobreposição de um objeto virtual na cena do mundo real é ilustrada na Fig. 2, que mostra a vista da cena do mundo real como vista pelo usuário, com os olhos 122, através do display 101. Na Fig. 2, objetos do mundo real, ou partes deles, 130–135 são vistos através do display 101, enquanto o objeto virtual 232, aqui ilustrado como um tabuleiro de damas que é idêntico ao tabuleiro de damas 132 exibido como conteúdo gráfico no display 131 do tablet 130, é sobreposto à cena do mundo real, exibindo-o no display 101. Sob a suposição de que o tabuleiro de damas 232 deve ser exibido em uma posição de display de modo que pareça ser colocado na posição do mundo real do tabuleiro de damas 132 que é exibido no display 131 do tablet 130, o HMD 100 precisa corrigir a posição de display para deslocar o tabuleiro de damas 232 de modo que fique alinhado, isto é, sobreposto, ao tabuleiro de damas 132 exibido no tablet 130, conforme visto pelos olhos 122. O deslocamento requerido do tabuleiro de damas 232, que na Fig. 2 é ilustrado pela seta 240, é o objetivo de um procedimento de calibração.

[038] O HMD 100 pode opcionalmente compreender uma câmera voltada para os olhos 103 que é operativa para capturar uma segunda imagem de um reflexo da cena do mundo real por uma córnea 123 do usuário. A imagem da córnea é uma técnica que utiliza uma câmera para gerar imagens da córnea de uma pessoa, em particular a do usuário do HMD, para coletar informações sobre o que está na frente da pessoa e também, devido à natureza esférica do globo ocular humano, para coletar informações sobre objetos em um campo de visão que potencialmente é mais amplo que o campo de visão de visualização. Esses objetos podem estar fora do campo de visão da câmera e até mesmo estar localizados atrás dela. A técnica é tornada possível devido à natureza altamente reflexiva da córnea humana e também à disponibilidade de câmeras de alta definição em dispositivos de consumo tais como HMDs.

[039] Se o procedimento de calibração depende de imagens da córnea, o HMD 100 é operativo para selecionar o objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, 130-135 que são visíveis tanto na primeira imagem quanto na segunda imagem, e derivar a transformação de calibração usando a primeira imagem e a segunda imagem. Ainda opcionalmente, HMD 100 pode ser operativo para selecionar o objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, 130-135 que são visíveis em uma região da primeira imagem que corresponde ao campo de visão 113 da câmera voltada para os olhos 103. Como a primeira imagem (capturada pela câmera frontal 102 com campo de visão 112) é normalmente superior à segunda imagem (capturada pela câmera voltada para os olhos 103 com campo de visão 113), devido ao reflexo da superfície imperfeita da córnea 123, identificar objetos do mundo real por processamento de imagem e reconhecimento de objetos é mais fácil, mais confiável e consome menos recursos, em comparação com a segunda imagem. Limitando a região da primeira imagem que precisa ser processada para identificar objetos do mundo real que são adequados como objetos de calibração, as modalidades da invenção requerem menos recursos de computação e, consequentemente, menos potência.

[040] O próprio procedimento de calibração, isto é, estabelecer a pose relativa dos diferentes sistemas de coordenadas associados a um HMD, está fora do escopo desta invenção. Basta dizer que um objeto de calibração do mundo real é usado para derivar a transformação de calibração, por exemplo, uma matriz ou qualquer outra forma de representação matemática que seja adequada para descrever uma transformação de coordenadas entre dois sistemas de coordenadas. Será apreciado que, dependendo do projeto do HMD, um ou mais dos sistemas de coordenadas podem ter poses fixas em relação um ao outro e/ou ao HMD 100. Por exemplo, este é o caso dos HMDs nos quais o display 101, a câmera frontal 102 e, opcionalmente, a câmera voltada para os olhos 103, estão contidos em uma única unidade, de modo que os diferentes componentes não possam se mover em relação um ao outro durante o uso normal.

[041] Os objetos de calibração que são usados no estado da técnica são geralmente objetos de calibração dedicados, tais como um tabuleiro de damas ou um aparelho de calibração (ver, por exemplo, "Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging", de A. Plopski, C. Nitschke, K. Kiyokawa, D. Schmalstieg e H. Takemura, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, The Eurographics Association, 2015). Em vez de usar um objeto de calibração dedicado que o usuário do HMD 100 deve manter e possivelmente levar consigo, as modalidades da invenção dependem da utilização de um objeto do mundo real que está disponível nas proximidades do usuário quando o HMD 100 exige calibração. Dependendo do projeto de um HMD e seu uso, a calibração é normalmente necessária se a pose dos olhos 122 mudou, isto é, a orientação e/ou posição dos olhos 122 em relação ao HMD 100. Além disso, a calibração pode ser necessária se um ou mais dentre display 101, câmera frontal 102 e câmera voltada para os olhos 103 tiverem sido deslocados um em relação ao outro e/ou em relação ao HMD 100.

[042] Mais especificamente, HMD 100 pode ser operativo para iniciar, ou disparar, um procedimento de calibração, isto é, para selecionar o objeto de calibração e derivar a transformação de calibração, em reposta a qualquer um dentre: receber do usuário uma instrução para iniciar um procedimento de calibração, ligar o HMD 100, detectar um desalinhamento de um objeto virtual exibido em relação à cena do mundo real, detectar que o usuário é diferente de um usuário anterior do HMD 100, detectar que o HMD 100 foi deslocado em relação a pelo menos um olho 122 do usuário e detectar que um ou mais dentre display 101, câmera frontal 102 e câmera voltada para os olhos 103 foram deslocados em relação um ao outro e/ou em relação ao HMD 100.

[043] Na prática, um desalinhamento de um objeto virtual exibido em relação à cena do mundo real pode ser detectado exibindo um objeto virtual em uma posição de display que corresponde à posição do mundo real de um objeto do mundo real específico. Em particular, o objeto virtual exibido pode ter a mesma forma do objeto do mundo real, isto é, pode ser uma representação virtual (ou cópia virtual) do objeto do mundo real. Se o objeto virtual exibido e o objeto do mundo real estiverem desalinhados, pelo menos até certo ponto, o procedimento de calibração é disparado. O desalinhamento pode ser detectado pelo usuário ou por imagem da córnea, por processamento de imagem da segunda imagem capturada pela câmera voltada para os olhos 103, na qual tanto o objeto do mundo real quanto o objeto virtual sobreposto são visíveis.

[044] Um deslocamento de HMD 100 em relação a pelo menos um olho 122 do usuário pode, por exemplo, ser detectado usando a câmera voltada para os olhos 103. Isso pode ser alcançado rastreando a(s) posição(ões) do(s) olho(s) 122 do usuário ao longo do tempo. O procedimento de calibração é disparado se a posição do(s) olho(s) do usuário 122 se desviar de um valor médio histórico em mais do que um valor limite. O valor limite pode ser definido pelo usuário, por um fabricante do HMD 100 ou por uma aplicação de AR que utiliza o HMD 100 para exibir objetos virtuais para o usuário.

[045] Um deslocamento de um ou mais dentre display 101, câmera frontal 102 e câmera voltada para os olhos 103, em relação um ao outro e/ou em relação ao HMD 100 pode ser detectado utilizando sensores de movimento que são compreendidos no display 101, câmera frontal 102 e câmera voltada para os olhos 103.

[046] A seguir, são descritas diferentes alternativas para selecionar o objeto de calibração dentre um ou mais objetos do mundo real, ou partes dos mesmos, 130–135.

[047] Por exemplo, HMD100 pode ser operativo para selecionar o objeto de calibração com base em uma aparência visual do objeto de calibração. Preferencialmente, objetos do mundo real que são claramente visíveis, têm boas condições de iluminação e/ou alto contraste e/ou são compostos por formas geométricas simples, são selecionados. Tais objetos do mundo real são normalmente fáceis de detectar por processamento de imagem e reconhecimento de objetos, por exemplo, usando Transformação de Recurso Invariável em Escala (SIFT) (ver, por exemplo, US 6.711.293 B1) ou algoritmos similares conhecidos no estado da técnica.

[048] Alternativamente, o HMD 100 pode ser operativo para selecionar como objeto de calibração um objeto de calibração previamente selecionado dentre os um ou mais objetos do mundo real, ou partes dos mesmos, 130–135. Para esta finalidade, o HMD 100 pode manter um banco de dados, seja na memória compreendida no HMD 100 (tal como a memória 303 mostrada na Fig. 3) ou acessível pelo HMD 100 através de uma rede de comunicações (via interface de comunicações sem fio 105), por exemplo, um banco de dados baseado em nuvem. No banco de dados, as informações que podem ser usadas para identificar um objeto de calibração dentre os um ou mais objetos do mundo real podem ser armazenadas, por exemplo, informações relativas à sua aparência visual ou recursos visuais, figuras ou informações relativas à sua forma, composição de formas geométricas e dimensões.

[049] Como uma alternativa adicional, o HMD 100 pode adicionalmente compreender um ou mais sensores de movimento 106 operativos para rastrear um movimento de HMD 100. Os um ou mais sensores de movimento 106 podem, por exemplo, ser baseados em acelerômetros, giroscópios, sensores de Sistema de Posicionamento Global (GPS), magnetômetros, câmeras e assim por diante,

como são conhecidos no estado da técnica e fornecidos com smartphones regulares. O HMD 100 é operativo para estimar uma duração de tempo durante a qual os um ou mais objetos do mundo real permanecem visíveis na primeira imagem, isto é, permanecem dentro do campo de visão 112 da câmera frontal com base no movimento rastreado de HMD 100 e selecionar o objeto de calibração com base na duração estimada de tempo durante a qual o objeto de calibração permanece visível na primeira imagem. Este é o caso se um procedimento de calibração for empregado pelo HMD 100, que depende do rastreamento do objeto de calibração selecionado com a câmera frontal 102. Preferencialmente, um objeto do mundo real, ou parte do mesmo, 130–135 é selecionado como objeto de calibração que é visível na primeira imagem por uma duração de tempo suficientemente longo para desempenhar a calibração. Como uma alternativa, um objeto do mundo real, ou parte do mesmo, 130-135 que esteja se movendo lentamente, ou não esteja se movendo, em relação ao campo de visão 102, pode ser selecionado como objeto de calibração. Por exemplo, se o HMD 100 é mais ou menos estacionário, um objeto estacionário do mundo real, como a caixa 133, pode ser selecionado. Se, por outro lado, o HMD 100 estiver em movimento, por exemplo, porque o usuário está virando a cabeça 121, um objeto do mundo real que está se movendo da mesma forma pode ser selecionado, como o carro 134.

[050] Também será apreciado que, se o objeto de calibração for selecionado dentre os um ou mais objetos do mundo real, ou partes dos mesmos, 130–135 que são visíveis em uma região da primeira imagem que corresponde ao campo de visão 113 da câmera voltada para os olhos 103, o objeto de calibração pode ser selecionado com base em uma duração estimada de tempo durante a qual o objeto de calibração permanece visível na segunda imagem, isto é, dentro do campo de visão 113 da câmera voltada para os olhos

103.

[051] Ainda como uma alternativa adicional, o HMD 100 pode ser operativo para selecionar o objeto de calibração identificando um ou mais objetos do mundo real 130–135 combinando recursos visuais de um ou mais objetos do mundo real 130–135 com informações referentes a recursos visuais de objetos do mundo real que são armazenados em um banco de dados, por exemplo, usando SIFT ou algoritmos similares e selecionando o objeto de calibração com base nas informações obtidas a partir do banco de dados. As informações obtidas podem indicar uma adequação respectiva dos objetos do mundo real identificados, ou partes dos mesmos, 130-135 como objeto de calibração. Por exemplo, as informações podem estar relacionadas à aparência visual, forma, composição de formas geométricas, dimensões ou similares, que são utilizadas na derivação da transformação de calibração. Preferencialmente, é selecionado o objeto de calibração mais adequado.

[052] Ainda como uma alternativa adicional, se a transformação de calibração for derivada usando tanto a primeira quanto a segunda imagem, contando com imagens da córnea, o HMD 100 pode ser operativo para selecionar o objeto de calibração com base em uma distorção do objeto de calibração na segunda imagem em comparação com a primeira imagem. Uma distorção do objeto de calibração na segunda imagem pode provir do reflexo da córnea 123, que é de forma esférica e pode sofrer de imperfeições na superfície externa da córnea 123 e rasgos ou sujeira na superfície externa da córnea 123. Além disso, o elemento óptico do HMD 100, através do qual o usuário visualiza a cena do mundo real, pode contribuir para a distorção da segunda imagem. Preferencialmente, o objeto com a menor distorção é selecionado para facilitar a derivação da transformação de calibração.

[053] Modalidades da invenção também podem selecionar como objeto de calibração um dispositivo de comunicações dentre de um ou mais objetos do mundo real, tal como o tablet 130 mostrado nas Figs. 1 e 2, um smartphone, um telefone celular, um display de computador, uma televisão ou algo similar. Para este fim, o HMD 100 pode compreender uma interface de comunicações sem fio 105, que pode ser baseada em qualquer tecnologia de comunicações sem fio conhecida. Por exemplo, a interface de comunicações sem fio 105 pode ser baseada em uma tecnologia de rádio de curto alcance, como Rede de área Local sem fio (WLAN)/WiFi ou Bluetooth, ou uma tecnologia de rádio celular como Sistema Global para Comunicações Móveis (GSM), Sistema de Telecomunicações Móveis Universal (UMTS), Evolução de Longo Prazo (LTE) ou uma tecnologia 5G baseada em NR/NX. As comunicações, isto é, a troca de dados, entre o HMD 100 e o dispositivo de comunicações, compreendendo uma interface de comunicações sem fio que é compatível com interface de comunicações sem fio 105, podem começar a usar qualquer protocolo adequado, por exemplo, o Protocolo de Transferência de Hipertexto (HTTP), o Protocolo de Aplicação Restrita (CoAP) ou similar.

[054] Mais especificamente, HMD 100 é operativo para selecionar o objeto de calibração identificando, usando interface de comunicações sem fio 105, um dispositivo de comunicações compreendendo um display dentre os um ou mais objetos do mundo real, tal como um tablet 130, e selecionando como objeto de calibração pelo menos um dentre display 131 do tablet 130 e conteúdo gráfico 132 exibido no mesmo. A identificação de dispositivos de comunicações sem fio dentre os um ou mais objetos do mundo real pode, por exemplo, ser alcançada dependendo de um procedimento de descoberta como é conhecido a partir de Bluetooth e outras tecnologias de comunicações sem fio. Como parte do procedimento de descoberta, ou subsequente ao procedimento de descoberta, o HMD 100 pode ser operativo para estabelecer comunicações sem fio com o dispositivo de comunicações identificado e/ou para adquirir informações sobre um tipo de dispositivo de comunicações ou suas capacidades, em particular informações relativas a seu display 131. A utilização de um dispositivo de comunicações com um display, tal como um tablet 130, como objeto de calibração é vantajoso, pois é geralmente fácil identificar um display por processamento de imagem e reconhecimento de objetos, devido à sua forma geométrica simples e alto contraste, se suficientemente brilhante.

[055] Uma vantagem adicional do uso de um dispositivo de comunicações compreendendo um display como objeto de calibração é que as informações relativas ao conteúdo gráfico que é exibido no display do dispositivo de comunicações durante o procedimento de calibração podem ser trocadas entre o HMD 100 e o dispositivo de comunicações. O conteúdo gráfico exibido pode, por exemplo, ser um padrão de calibração dedicado que é caracterizado por alto contraste e composto de formas geométricas simples (retângulos, quadrados, círculos), tais como o tabuleiro de damas 132 mostrado nas Figs. 1 e 2.

[056] Mais especificamente, o HMD 100 pode ser operativo para receber uma representação do conteúdo gráfico exibido 132 do tablet 130 via interface de comunicações sem fio 105. Ou seja, o tablet 130 relata o que é atualmente exibido no display 131. O conteúdo gráfico exibido pode ser qualquer conteúdo gráfico que é exibido atualmente por um ou mais apps (aplicações) sendo executados pelo tablet 130, mas pode vantajosamente ser um padrão de calibração dedicado, tal como tabuleiro de damas 132. O tablet 130 pode, por exemplo, ser operativo para exibir um padrão de calibração dedicado em resposta ao estabelecimento de comunicações com o HMD 100 ou em resposta ao recebimento de uma indicação do HMD 100 de que a calibração está em andamento.

[057] Como uma alternativa, o HMD 100 pode ser operativo para transmitir uma instrução para o tablet 130 via interface de comunicações sem fio 105, para exibir o conteúdo gráfico 132 no display 131. A instrução pode, por exemplo, ser uma solicitação, uma mensagem ou um sinal, em resposta à qual o tablet 130 exibe conteúdo gráfico 132. O conteúdo gráfico exibido pode ser predefinido, tal como um padrão de calibração dedicado. Opcionalmente, o HMD 100 pode ser operativo para transmitir uma representação do conteúdo gráfico 132 ao tablet 130 via interface de comunicações sem fio 105. Desta maneira, o HMD 100 pode controlar os detalhes do conteúdo gráfico que é exibido pelo tablet 132 e pode vantajosamente transmitir um padrão de calibração dedicado ao tablet 132. A representação do conteúdo gráfico pode, por exemplo, estar na forma de um formato gráfico de computador ou formato de imagem conhecido.

[058] O HMD 100 pode adicionalmente ser operativo, em resposta à seleção do objeto de calibração, para adaptar um ou mais objetos virtuais exibidos que se sobrepõem ao objeto de calibração selecionado, conforme visto pelo usuário com olhos 122. Isso é particularmente vantajoso se for empregado o método de calibração baseado em imagens da córnea, por exemplo, como descrito em "Hybrid Eye Tracking: Combining Iris Contour and Corneal Imaging", de A. Plopski, C. Nitschke, K. Kiyokawa, D. Schmalstieg e H. Takemura, International Conference on Artificial Reality and Telexistence Eurographics Symposium on Virtual Environments, The Eurographics Association, 2015). Desse modo, evita-se que o objeto de calibração seja obscurecido por um objeto virtual exibido, o que pode inibir o procedimento de calibração.

[059] O HMD 100 pode adicionalmente ser operativo, em resposta à seleção do objeto de calibração, para notificar o usuário de que a calibração está em andamento. Opcionalmente, o HMD 100 pode ser operativo para notificar o usuário que a calibração está em andamento exibindo um marcador 250 no display 101 para identificar o objeto de calibração selecionado, neste caso a caixa 133, para o usuário. Desse modo, o usuário pode ser solicitado a olhar na direção do objeto de calibração selecionado, ou a adaptar seu movimento para facilitar o procedimento de calibração. O usuário pode, alternativamente, ser solicitado a alterar sua pose de cabeça para minimizar uma distorção do objeto de calibração selecionado na segunda imagem, se um procedimento de calibração dependendo de imagens da córnea for usado, ou para se aproximar do objeto de cerebração de calibração selecionado.

[060] Uma vez que a transformação de calibração tenha sido derivada, uma representação da transformação de calibração derivada, tal como uma matriz ou outra representação matemática adequada em formato eletrônico, pode ser armazenada na memória do HMD 100 (tal como a memória 303 mostrada na Fig. 3) e posteriormente usado para exibir objetos virtuais de uma maneira que forneça uma experiência imersiva ao usuário. Para esse fim, o HMD 100 pode ser operativo para receber uma instrução para exibir um objeto virtual. A instrução pode, por exemplo, ser recebida de uma aplicação de AR que é executado pelo HMD 100 ou de uma aplicação de AR que utiliza HMD 100 para exibir objetos virtuais ao usuário. Por exemplo, o HMD 100 pode ser conectado, com ou sem fio, usando qualquer protocolo adequado, por exemplo, HTTP ou CoAP, a um dispositivo de computação tal como um computador, um laptop, um smartphone, um tablet ou um console de jogos, executando a aplicação de AR. A instrução recebida compreende uma posição correspondente do mundo virtual do objeto virtual ao ser exibido ao usuário, isto é, uma posição no mundo real na qual o objeto virtual parece ser colocado ao ser exibido ao usuário (visto com os olhos 122) no display 101. HMD 100 é adicionalmente operativo para calcular uma posição de display do objeto virtual aplicando a transformação de calibração à posição do mundo real recebida e para exibir o objeto virtual na posição de display calculada no display 101.

[061] A seguir, modalidades dos meios de processamento 104 compreendidas no HMD 100 são descritas com referência às Figs. 3 e 4.

[062] Uma modalidade 300 dos meios de processamento 104 é mostrada na Fig. 3. Os meios de processamento 300 compreendem uma unidade de processamento 302, tal como um processador de uso geral ou conjunto de circuitos de processamento e um meio de armazenamento legível por computador 303, tal como uma Memória de Acesso Aleatório (RAM), uma memória Flash ou similares. Além disso, os meios de processamento 300 compreendem uma ou mais interfaces 301 ("I/O" na Fig. 3) para controlar e/ou receber informações de outros componentes compreendidos no HMD 100, tais como display 101, câmera frontal 102, câmera voltada para os olhos 103, interface de comunicações sem fio 105 e um ou mais sensores de movimento 106, alguns dos quais podem ser opcionais. A memória 303 contém instruções executáveis por computador 304, isto é, um programa de computador ou software, para fazer com que o HMD 100 se torne operativo de acordo com modalidades da invenção conforme descrito na presente invenção, quando as instruções executáveis por computador 304 são executadas na unidade de processamento 302.

[063] Uma modalidade alternativa 400 dos meios de processamento 104 é ilustrada na Fig. 4. Semelhante aos meios de processamento 300, os meios de processamento 400 compreendem uma ou mais interfaces 401 ("I/O" na Fig. 4) para controlar e/ou receber informações de outros componentes compreendidos no HMD 100, tais como display 101, câmera frontal 102, câmera voltada para os olhos 103, interface de comunicações sem fio 105 e um ou mais sensores de movimento 106, alguns dos quais podem ser opcionais. Os meios de processamento 400 compreendem adicionalmente um módulo de seleção 402,

um módulo de calibração 403, um módulo de disparo opcional 404 e um módulo de display opcional 405, que são configurados para fazer com que o HMD 100 se torne operativo de acordo com modalidades da invenção, conforme descrito na presente invenção.

[064] Em particular, o módulo de seleção 402 é configurado para selecionar um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma primeira imagem de uma cena do mundo real, a primeira imagem sendo capturada por uma câmera frontal compreendida no dispositivo de display. O módulo de calibração 403 é configurado para derivar uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido na posição de display em um display pelo menos parcialmente transparente que está compreendido no dispositivo de display é alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário.

[065] Por exemplo, o módulo de seleção 402 pode ser configurado para selecionar o objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis tanto na primeira imagem quanto na segunda imagem de um reflexo da cena do mundo real por uma córnea do usuário, a segunda imagem sendo capturada por uma câmera voltada para os olhos compreendida no dispositivo de display. O módulo de calibração 403 pode ser configurado para derivar a transformação de calibração usando a primeira imagem e a segunda imagem.

[066] Alternativamente, o módulo de seleção 402 pode ser configurado para selecionar o objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma região da primeira imagem que corresponde a um campo de visão da câmera voltada para os olhos.

[067] Como outra alternativa, o módulo de seleção 402 pode ser configurado para selecionar o objeto de calibração com base em uma distorção do objeto de calibração na segunda imagem em comparação com a primeira imagem.

[068] Como uma alternativa adicional, o módulo de seleção 402 pode ser configurado para selecionar o objeto de calibração com base em uma aparência visual do objeto de calibração.

[069] Ainda como uma alternativa adicional, o módulo de seleção 402 pode ser configurado para selecionar um objeto de calibração selecionado anteriormente dentre os um ou mais objetos do mundo real como o objeto de calibração.

[070] Ainda como uma alternativa adicional, o módulo de seleção 402 pode adicionalmente ser configurado para rastrear um movimento do dispositivo de display usando um ou mais sensores de movimento compreendidos no dispositivo de display, estimar, com base no movimento rastreado do dispositivo de display, uma duração de tempo durante a qual os um ou mais objetos do mundo real permanecem visíveis na primeira imagem e selecionar o objeto de calibração com base na duração estimada de tempo durante a qual o objeto de calibração permanece visível na primeira imagem.

[071] Ainda como uma alternativa adicional, o módulo de seleção 402 pode ser configurado para selecionar o objeto de calibração identificando um ou mais objetos do mundo real combinando recursos visuais dos um ou mais objetos do mundo real contra informações relativas a recursos visuais de objetos do mundo real que são armazenados em um banco de dados e selecionando o objeto de calibração com base nas informações obtidas a partir do banco de dados, informações que indicam uma adequação respectiva dos objetos do mundo real identificados, ou partes dos mesmos, como objeto de calibração.

[072] Ainda como uma alternativa adicional, o módulo de seleção 402 pode ser configurado para selecionar o objeto de calibração identificando, usando a interface de comunicações sem fio compreendida no dispositivo de display, um dispositivo de comunicações compreendendo um display dentre os um ou mais objetos do mundo real e selecionando como objeto de calibração pelo menos um dos displays do dispositivo de comunicações e conteúdo gráfico exibido no mesmo. Opcionalmente, o módulo de seleção 402 pode adicionalmente ser configurado para receber uma representação do conteúdo gráfico exibido do dispositivo de comunicações via a interface de comunicações sem fio. Alternativamente, o módulo de seleção 402 pode adicionalmente ser configurado para transmitir uma instrução ao dispositivo de comunicações via a interface de comunicações sem fio, para exibir o conteúdo gráfico no display do dispositivo de comunicações. Opcionalmente, o módulo de seleção 402 pode adicionalmente ser configurado para transmitir uma representação do conteúdo gráfico do dispositivo de comunicações via a interface de comunicações sem fio.

[073] Módulo de disparo opcional 404 pode ser configurado para disparar a seleção do objeto de calibração pelo módulo de seleção 402 e derivar a transformação de calibração pelo módulo de calibração 403 em reposta a qualquer um dentre: receber, a partir do usuário, uma instrução para iniciar um procedimento de calibração, ligar o dispositivo de display, detectar um desalinhamento de um objeto virtual exibido em relação à cena do mundo real, detectar que o usuário é diferente de um usuário anterior do dispositivo de display, detectar que o dispositivo de display foi deslocado em relação a pelo menos um olho do usuário e detectar que qualquer um dentre display 101, câmera frontal 102 e câmera voltada para os olhos 102 foram deslocados em relação ao dispositivo de display.

[074] Módulo de display opcional 405 pode ser configurado, em resposta à seleção do objeto de calibração pelo módulo de seleção 402, para adaptar um ou mais objetos virtuais exibidos que se sobrepõem ao objeto de calibração selecionado conforme visto pelo usuário.

[075] Opcionalmente, módulo de seleção 402 pode adicionalmente ser configurado, em resposta à seleção do objeto de calibração, para notificar o usuário de que a calibração está em andamento. Opcionalmente, o usuário é notificado de que a calibração está em andamento exibindo um marcador no display para identificar o objeto de calibração selecionado para o usuário.

[076] Módulo de display opcional 405 pode adicionalmente ser configurado para receber uma instrução para exibir um objeto virtual, a instrução compreendendo uma posição correspondente do mundo real do objeto virtual ao ser exibida ao usuário, calcular uma posição de display do objeto virtual aplicando a transformação de calibração derivada pelo módulo de calibração 403 para a posição do mundo real recebida e exibir o objeto virtual na posição de display calculada no display.

[077] Os módulos 402-405 compreendidos no meio de processamento 400 podem adicionalmente ser configurados para desempenhar operações adicionais ou alternativas de acordo com modalidades da invenção, conforme descrito na presente invenção.

[078] As interfaces 301 e 401 e os módulos 402 a 405, bem como quaisquer módulos adicionais compreendidos nos meios de processamento 400, podem ser implementados por qualquer tipo de circuito eletrônico, por exemplo, qualquer um ou uma combinação de conjunto de circuitos eletrônicos analógicos, conjunto de circuitos eletrônicos digitais e meios de processamento executando um programa de computador adequado, isto é, software.

[079] No seguinte, modalidades 500 do método desempenhado por um dispositivo head-mounted display que está configurado para ser vestido por um usuário são descritas com referência à Fig. 5.

[080] O método 500 compreende selecionar 504 um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma primeira imagem de uma cena do mundo real, a primeira imagem sendo capturada por uma câmera frontal compreendida no dispositivo de display, e derivar 507 uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido na posição de display em um display pelo menos parcialmente transparente que está compreendido no dispositivo de display esteja alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário.

[081] Por exemplo, o objeto de calibração pode ser selecionado 504 a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis tanto na primeira imagem quanto na segunda imagem de um reflexo da cena do mundo real por uma córnea do usuário, a segunda imagem sendo capturada por uma câmera voltada para os olhos compreendida no dispositivo de display e a transformação de calibração pode ser derivada 507 usando a primeira imagem e a segunda imagem.

[082] Alternativamente, o objeto de calibração pode ser selecionado 504 a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma região da primeira imagem que corresponde a um campo de visão da câmera voltada para os olhos.

[083] Como outra alternativa, o objeto de calibração pode ser selecionado 504 com base em uma distorção do objeto de calibração na segunda imagem em comparação com a primeira imagem.

[084] Como uma alternativa adicional, o objeto de calibração pode ser selecionado 504 com base em uma aparência visual do objeto de calibração.

[085] Ainda como uma alternativa adicional, um objeto de calibração selecionado anteriormente dentre os um ou mais objetos do mundo real pode ser selecionado 504 como o objeto de calibração.

[086] Ainda como uma alternativa adicional, o método 500 pode compreender adicionalmente rastrear 502 um movimento do dispositivo de display usando um ou mais sensores de movimento compreendidos no dispositivo de display e estimar 503, com base no movimento rastreado do dispositivo de display, uma duração de tempo durante a qual os um ou mais objetos do mundo real permanecem visíveis na primeira imagem. O objeto de calibração é selecionado 504 com base na duração estimada de tempo durante a qual o objeto de calibração permanece visível na primeira imagem.

[087] Ainda como uma alternativa adicional, selecionar 504 o objeto de calibração pode compreender identificar um ou mais objetos do mundo real combinando recursos visuais dos um ou mais objetos do mundo real contra informações relativas a recursos visuais de objetos do mundo real que são armazenados em um banco de dados e selecionar o objeto de calibração com base nas informações obtidas a partir do banco de dados, informações que indicam uma adequação respectiva dos objetos do mundo real identificados, ou partes dos mesmos, como objeto de calibração.

[088] Ainda como uma alternativa adicional, selecionar 504 o objeto de calibração pode compreender identificar, usando a interface de comunicações sem fio compreendida no dispositivo de display, um dispositivo de comunicações compreendendo um display dentre os um ou mais objetos do mundo real e selecionar como objeto de calibração pelo menos um dos displays do dispositivo de comunicações e conteúdo gráfico exibido no mesmo. Opcionalmente, selecionar 504 o objeto de calibração pode compreender adicionalmente receber uma representação do conteúdo gráfico exibido do dispositivo de comunicações via a interface de comunicações sem fio. Alternativamente, selecionar 504 o objeto de calibração pode compreender adicionalmente transmitir uma instrução ao dispositivo de comunicações via a interface de comunicações sem fio, para exibir o conteúdo gráfico no display do dispositivo de comunicações. Opcionalmente, selecionar 504 o objeto de calibração pode compreender adicionalmente transmitir uma representação do conteúdo gráfico do dispositivo de comunicações via a interface de comunicações sem fio.

[089] Opcionalmente, o objeto de calibração é selecionado 504 e a transformação de calibração é derivada 507 em resposta à calibração sendo disparada 501 por qualquer um dentre: receber do usuário uma instrução para iniciar um procedimento de calibração, ligar o dispositivo de display, detectar um desalinhamento de um objeto virtual exibido em relação à cena do mundo real, detectar que o usuário é diferente de um usuário anterior do dispositivo de display, detectar que o dispositivo de display foi deslocado em relação a pelo menos um olho do usuário e detectar que qualquer um dentre display 101, câmera frontal 102 e câmera voltada para os olhos 103 foram deslocados em relação ao dispositivo de display.

[090] Opcionalmente, método 500 pode compreender adicionalmente, em resposta à seleção 504 do objeto de calibração, adaptar 505 um ou mais objetos virtuais exibidos que se sobrepõem ao objeto de calibração selecionado conforme visto pelo usuário.

[091] Opcionalmente, método 500 pode compreender adicionalmente, em resposta à seleção 504 do objeto de calibração, notificar 506 o usuário de que a calibração está em andamento. Opcionalmente, o usuário é notificado 506 de que a calibração está em andamento exibindo um marcador no display para identificar o objeto de calibração selecionado para o usuário.

[092] Opcionalmente, o método 500 pode compreender adicionalmente receber 508 uma instrução para exibir um objeto virtual, a instrução compreendendo uma posição correspondente do mundo real do objeto virtual ao ser exibida ao usuário, calcular 509 uma posição de display do objeto virtual aplicando a transformação de calibração para a posição do mundo real recebida e exibir 510 o objeto virtual na posição de display calculada no display.

[093] Será apreciado que o método 500 pode compreender etapas adicionais, ou modificadas, de acordo com o que é descrito ao longo desta invenção. Uma modalidade do método 500 pode ser implementada como software, como o programa de computador 304, a ser executado por uma unidade de processamento compreendida em um dispositivo head-mounted display, em que o dispositivo de display se torna operativo de acordo com as modalidades da invenção descritas na presente invenção. O programa de computador 304 pode ser armazenado em um meio de armazenamento legível por computador, tal como uma memória 303, um Disco compacto (CD), um Disco Digital Versátil (DVD), um cartão de memória ou semelhante. O programa de computador 304 também pode ser transportado por um sinal de portadora de dados. Por exemplo, o programa de computador 304 pode ser transferido para a memória 303 através de uma rede de comunicações, tal como a Internet, via interface de comunicações sem fio 105.

[094] O técnico no assunto percebe que a técnica de forma alguma se limita às modalidades descritas acima. Pelo contrário, muitas modificações e variações são possíveis dentro do escopo das reivindicações anexas.

Claims (36)

REIVINDICAÇÕES

1. Dispositivo head-mounted display (100) configurado para ser vestido por um usuário (121), o dispositivo de display caracterizado pelo fato de que compreende: um display pelo menos parcialmente transparente (101), uma câmera frontal (102) operativa para capturar uma primeira imagem de uma cena do mundo real, e meios de processamento (104) operativos para: selecionar um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, (130–135), que são visíveis na primeira imagem, e derivar uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido no display na posição de display esteja alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário.

2. Dispositivo de display, de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente: uma câmera voltada para os olhos (103) operativa para capturar uma segunda imagem de um reflexo da cena do mundo real por uma córnea (123) do usuário, os meios de processamento sendo operativos para: selecionar um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis tanto na primeira imagem quanto na segunda imagem, e derivar a transformação de calibração usando a primeira imagem e a segunda imagem.

3. Dispositivo de display, de acordo com a reivindicação 2, caracterizado pelo fato de que os meios de processamento são operativos para selecionar o objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma região da primeira imagem que corresponde a um campo de visão (113) da câmera voltada para os olhos (103).

4. Dispositivo de display, de acordo com a reivindicação 2 ou 3, caracterizado pelo fato de que os meios de processamento são operativos para selecionar o objeto de calibração com base em uma distorção do objeto de calibração na segunda imagem em comparação com a primeira imagem.

5. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que os meios de processamento são operativos para selecionar o objeto de calibração com base em uma aparência visual do objeto de calibração.

6. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que os meios de processamento são operativos para selecionar como o objeto de calibração um objeto de calibração selecionado anteriormente dentre um ou mais objetos do mundo real.

7. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que compreende adicionalmente um ou mais sensores de movimento (106) operativos para rastrear um movimento do dispositivo de display, os meios de processamento sendo operativos para: estimar, com base no movimento rastreado do dispositivo de display, uma duração de tempo durante a qual um ou mais objetos do mundo real permanecem visíveis na primeira imagem, e selecionar o objeto de calibração com base na duração estimada de tempo durante a qual o objeto de calibração permanece visível na primeira imagem.

8. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que os meios de processamento são operativos para selecionar o objeto de calibração ao: identificar um ou mais objetos do mundo real combinando recursos visuais de um ou mais objetos do mundo real com informações relativas a recursos visuais de objetos do mundo real que estão armazenadas em um banco de dados, e selecionar o objeto de calibração com base nas informações obtidas a partir do banco de dados, cujas informações indicam uma adequação respectiva dos objetos do mundo real identificados, ou partes dos mesmos, como objeto de calibração.

9. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado pelo fato de que compreende adicionalmente uma interface de comunicações sem fio (105), os meios de processamento sendo operativos para selecionar o objeto de calibração ao: identificar, usando a interface de comunicações sem fio, um dispositivo de comunicações (130) compreendendo um display (131) dentre um ou mais objetos do mundo real, e selecionar como o objeto de calibração pelo menos um dentre o display (131) do dispositivo de comunicações e conteúdo gráfico (132) exibido no mesmo.

10. Dispositivo de display, de acordo com a reivindicação 9, caracterizado pelo fato de que os meios de processamento são adicionalmente operativos para receber uma representação do conteúdo gráfico exibido (132) a partir do dispositivo de comunicações (130) via a interface de comunicações sem fio.

11. Dispositivo de display, de acordo com a reivindicação 9, caracterizado pelo fato de que os meios de processamento são adicionalmente operativos para transmitir uma instrução ao dispositivo de comunicações (130) via a interface de comunicações sem fio, para exibir o conteúdo gráfico (132) no display (131) do dispositivo de comunicações.

12. Dispositivo de display, de acordo com a reivindicação 11, caracterizado pelo fato de que os meios de processamento são adicionalmente operativos para transmitir uma representação do conteúdo gráfico (132) para o dispositivo de comunicações (130) via a interface de comunicações sem fio.

13. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 12, caracterizado pelo fato de que os meios de processamento são operativos para selecionar o objeto de calibração e derivar a transformação de calibração em resposta a qualquer um dentre: receber a partir do usuário uma instrução para iniciar um procedimento de calibração, ligar o dispositivo de display, detectar um desalinhamento de um objeto virtual exibido em relação à cena do mundo real, detectar que o usuário é diferente de um usuário anterior do dispositivo de display, detectar que o dispositivo de display foi deslocado em relação a pelo menos um olho (122) do usuário, e detectar que qualquer um entre o display (101) e a câmera frontal (102) foi deslocado em relação ao dispositivo de display.

14. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado pelo fato de que os meios de processamento sendo adicionalmente operativos, em resposta à seleção do objeto de calibração, para adaptar um ou mais objetos virtuais exibidos que se sobrepõem ao objeto de calibração selecionado conforme visto pelo usuário.

15. Dispositivo de display, de acordo com qualquer uma das reivindicações

1 a 14, caracterizado pelo fato de que os meios de processamento são adicionalmente operativos, em resposta à seleção do objeto de calibração, para notificar o usuário de que a calibração está em andamento.

16. Dispositivo de display, de acordo com a reivindicação 15, caracterizado pelo fato de que os meios de processamento são adicionalmente operativos para notificar o usuário de que a calibração está em andamento exibindo um marcador (250) no display para identificar o objeto de calibração selecionado para o usuário.

17. Dispositivo de display, de acordo com qualquer uma das reivindicações 1 a 16, caracterizado pelo fato de que os meios de processamento são adicionalmente operativos para: receber uma instrução para exibir um objeto virtual, a instrução compreendendo uma posição correspondente do mundo real do objeto virtual ao ser exibido ao usuário, calcular uma posição de display do objeto virtual aplicando a transformação de calibração à posição do mundo real recebida, e exibir o objeto virtual na posição calculada no display.

18. Método (500) desempenhado por um dispositivo head-mounted display configurado para ser vestido por um usuário, o método caracterizado pelo fato de que compreende: selecionar (504) um objeto de calibração a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma primeira imagem de uma cena do mundo real, a primeira imagem sendo capturada por uma câmera frontal compreendida no dispositivo de display, e derivar (507) uma transformação de calibração para calcular uma posição de display com base em uma posição do mundo real, de modo que um objeto virtual que é exibido na posição de display em um display pelo menos parcialmente transparente que está compreendido no dispositivo de display esteja alinhado com um objeto do mundo real correspondente localizado na posição do mundo real, conforme visto pelo usuário.

19. Método, de acordo com a reivindicação 18, caracterizado pelo fato de que que o objeto de calibração é selecionado (504) a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis tanto na primeira imagem quanto em uma segunda imagem de um reflexo da cena do mundo real por uma córnea do usuário, cuja segunda imagem é capturada por uma câmera voltada para os olhos compreendida no dispositivo de display, e a transformação de calibração é derivada (507) usando a primeira imagem e a segunda imagem.

20. Método, de acordo com a reivindicação 19, caracterizado pelo fato de que o objeto de calibração é selecionado (504) a partir de um ou mais objetos do mundo real, ou partes dos mesmos, que são visíveis em uma região da primeira imagem que corresponde a um campo de visão da câmera voltada para os olhos.

21. Método, de acordo com a reivindicação 19 ou 20, caracterizado pelo fato de que o objeto de calibração é selecionado (504) com base em uma distorção do objeto de calibração na segunda imagem em comparação com a primeira imagem.

22. Método, de acordo com qualquer uma das reivindicações 18 a 20, caracterizado pelo fato de que o objeto de calibração é selecionado (504) com base em uma aparência visual do objeto de calibração.

23. Método, de acordo com qualquer uma das reivindicações 18 a 20, caracterizado pelo fato de que um objeto de calibração selecionado anteriormente entre um ou mais objetos do mundo real é selecionado (504) como o objeto de calibração.

24. Método, de acordo com qualquer uma das reivindicações 18 a 20,

caracterizado pelo fato de que compreende adicionalmente: rastrear (502) um movimento do dispositivo de display usando um ou mais sensores de movimento compreendidos no dispositivo de display, e estimar (503), com base no movimento rastreado do dispositivo de display, uma duração de tempo durante a qual um ou mais objetos do mundo real permanecem visíveis na primeira imagem, em que o objeto de calibração é selecionado (504) com base na duração de tempo estimada durante a qual o objeto de calibração permanece visível na primeira imagem.

25. Método, de acordo com qualquer uma das reivindicações 18 a 20, caracterizado pelo fato de que a seleção (504) do objeto de calibração compreende: identificar um ou mais objetos do mundo real combinando recursos visuais de um ou mais objetos do mundo real com informações relativas a recursos visuais de objetos do mundo real que estão armazenadas em um banco de dados, e selecionar o objeto de calibração com base nas informações obtidas a partir do banco de dados, cujas informações indicam uma adequação respectiva dos objetos do mundo real identificados, ou partes dos mesmos, como objeto de calibração.

26. Método, de acordo com qualquer uma das reivindicações 18 a 20, caracterizado pelo fato de que a seleção (504) do objeto de calibração compreende: identificar, usando uma interface de comunicações sem fio compreendida no dispositivo de display, um dispositivo de comunicações compreendendo um display entre um ou mais objetos do mundo real, e selecionar como o objeto de calibração pelo menos um dentre o display do dispositivo de comunicações e conteúdo gráfico exibido no mesmo.

27. Método, de acordo com a reivindicação 26, caracterizado pelo fato de que a seleção (504) do objeto de calibração compreende adicionalmente receber uma representação do conteúdo gráfico exibido a partir do dispositivo de comunicações via a interface de comunicações sem fio.

28. Método, de acordo com a reivindicação 26, caracterizado pelo fato de que a seleção (504) do objeto de calibração compreende adicionalmente transmitir uma instrução ao dispositivo de comunicações via interface de comunicações sem fio, para exibir o conteúdo gráfico no display do dispositivo de comunicações.

29. Método, de acordo com a reivindicação 28, caracterizado pelo fato de que a seleção (504) do objeto de calibração compreende adicionalmente transmitir uma representação do conteúdo gráfico para o dispositivo de comunicações via a interface de comunicações sem fio.

30. Método, de acordo com qualquer uma das reivindicações 18 a 29, caracterizado pelo fato de que o objeto de calibração é selecionado (504) e a transformação de calibração é derivada (507) em resposta a qualquer um dentre: receber a partir do usuário uma instrução para iniciar um procedimento de calibração, ligar o dispositivo de display, detectar um desalinhamento de um objeto virtual exibido em relação à cena do mundo real, detectar que o usuário é diferente de um usuário anterior do dispositivo de display, detectar que o dispositivo de display foi deslocado em relação a pelo menos um olho (122) do usuário, e detectar que qualquer um entre o display (101) e a câmera frontal (102) foi deslocado em relação ao dispositivo de display.

31. Método, de acordo com qualquer uma das reivindicações 18 a 30, caracterizado pelo fato de que compreende adicionalmente, em resposta à seleção (504) do objeto de calibração, adaptar (505) um ou mais objetos virtuais exibidos que se sobrepõem ao objeto de calibração selecionado conforme visto pelo usuário.

32. Método, de acordo com qualquer uma das reivindicações 18 a 31, caracterizado pelo fato de que compreende adicionalmente, em resposta à seleção (504) do objeto de calibração, notificar (506) o usuário de que a calibração está em andamento.

33. Método, de acordo com a reivindicação 32, caracterizado pelo fato de que o usuário é notificado (506) de que a calibração está em andamento exibindo um marcador no display para identificar o objeto de calibração selecionado para o usuário.

34. Método, de acordo com qualquer uma das reivindicações 18 a 33, caracterizado pelo fato de que compreende adicionalmente: receber (508) uma instrução para exibir um objeto virtual, a instrução compreendendo uma posição correspondente do mundo real do objeto virtual ao ser exibido ao usuário, calcular (509) uma posição de display do objeto virtual aplicando (509) a transformação de calibração à posição do mundo real recebida, e exibir (510) o objeto virtual na posição calculada no display.

35. Meio de armazenamento (303) legível por computador caracterizado pelo fato de que compreende instruções para fazer com que um dispositivo head-mounted display desempenhe o método definido em qualquer uma das reivindicações 18 a 34, quando as instruções executáveis por computador são executadas em uma unidade de processamento (302) compreendida no dispositivo de display.

36. Invenção de produto, processo, sistema, kit, meio ou uso, caracterizada pelo fato de que compreende um ou mais elementos descritos no presente pedido de patente.