BR112018016726B1

BR112018016726B1 - Método de processamento de imagem para realidade mista e dispositivo usado na cabeça

Info

Publication number: BR112018016726B1
Application number: BR112018016726-6A
Authority: BR
Inventors: Simon Fortin-Deschênes; Vincent CHAPDELAINE-COUTURE; Yan Côté; Anthony Ghannoum
Original assignee: Apple Inc
Priority date: 2016-02-18
Filing date: 2017-02-20
Publication date: 2023-03-14
Also published as: JP2019516261A; MX2018008945A; US10838206B2; CN109477966A; CN114895471B; BR112018016726A2; US20210011289A1; AU2017220404B2; AU2017220404A1; WO2017139871A1; KR102417177B1; US20230324684A1; KR20220099580A; US20190258058A1; EP3417337A1; KR20200012043A; CN114895471A; US11693242B2; KR20240051334A; US11199706B2

Abstract

A presente invenção refere-se a um sistema de exibição usado na cabeça junto com técnicas associadas para executar o rastreamento posicional, do corpo do usuário e do ambiente, de forma precisa e automática interior-exterior para fins de realidade virtual ou mista. O sistema usa métodos de visão computacional e fusão de dados de múltiplos sensores para obter o rastreamento em tempo real. A alta taxa de quadros e a baixa latência são obtidas pela execução de parte do processamento no próprio HMD.

Description

REFERÊNCIA CRUZADA A PEDIDOS DE DEPÓSITO CORRELATOS

[001] Este pedido reivindica os benefícios do pedido de patente provisório US n° 62/296.829, depositado em 18 de fevereiro de 2016, que está aqui incorporado a título de referência.

CAMPO TÉCNICO

[002] A presente invenção refere-se ao campo de dispositivos de exibição usados na cabeça ("head-mounted displays", ou HMD) para aplicações que imergem um usuário em um ambiente de realidade virtual (VR) ou de realidade aumentada/mista (MR).

ANTECEDENTES

[003] O objetivo da imersão em um mundo virtual é convencer o cérebro de um usuário para a perceber um mundo não físico como se fosse real. O conceito de realidade aqui se refere mais à noção de plausibilidade perceptiva do que à representação de um mundo real. Na realidade virtual (VR), a imersão é alcançada pela exibição de gráficos gerados por computador que simulam a experiência visual de um mundo real ou imaginado. A qualidade da imersão está sujeita a diversos fatores importantes. Por exemplo, características do dispositivo de exibição (display), como qualidade de imagem, taxa de quadros, resolução de pixels, ampla faixa dinâmica (HDR, de "high dynamic range"), persistência e efeito de tela-porta (isto é, as linhas visíveis entre os pixels na tela). A qualidade da experiência da imersão diminui quando o campo de visão mostrado é muito estreito ou se as várias funções de rastreamento forem lentas e/ou imprecisas (levando à desorientação e náusea; de outro modo conhecida como distúrbio de simulação). A imersão também é afetada pelo desempenho do sistema de câmera, como a qualidade da imagem (ruído, faixa dinâmica, resolução, ausência de artefatos) e a coerência entre os gráficos virtuais (modelagem tridimensional, texturas e iluminação), e pelas imagens passantes. Na realidade mista (MR), os elementos virtuais são compostos em tempo real no ambiente do mundo real visto pelo usuário. A interação física entre os elementos virtuais e as superfícies e objetos do mundo real pode ser simulada e mostrada em tempo real.

[004] O rastreamento de vários elementos é, em geral, reconhecido como um pré-requisito essencial para se alcançar uma experiência de aplicação de VR e MR de alta qualidade. Entre esses elementos, o rastreamento posicional da cabeça, o rastreamento do corpo do usuário e o rastreamento do ambiente desempenham um papel fundamental na obtenção de uma imersão de alta qualidade.

[005] O rastreamento posicional da cabeça (chamado de "rastreamento posicional" deste ponto em diante), que visa estimar a posição e a orientação do HMD em um ambiente, tem que ser de baixa latência e também preciso. A razão para isso é que os gráficos renderizados devem corresponder com precisão ao movimento de cabeça do usuário para produzir uma imersão de boa qualidade em VR e pela necessidade de alinhar corretamente o conteúdo virtual no mundo real em MR. Alguns métodos tentam resolver o rastreamento posicional em um recinto cujo tamanho é de aproximadamente 5 x 5 metros ou menor com o uso de uma configuração externa ao HMD. Por exemplo, uma câmera de infravermelho (IR) ou no formato de cores (RGB) estacionária pode ser posicionada para visualizar uma matriz de diodo emissor de luz (LED) IR ou RGB localizada sobre a superfície do HMD que seria usado para calcular a posição da cabeça. Outros métodos consistem em inundar e varrer o recinto com luz IR gerada por uma ou duas estações de base, sincronizadas com múltiplos fotossensores IR posicionados de modo preciso no HMD. A postura da cabeça pode ser calculada em tempo real a uma alta taxa de quadros considerando-se os tempos de detecção dos fotossensores. Observe que essas duas abordagens limitam a área dentro da qual o usuário pode se movimentar para manter o rastreamento. O usuário precisa estar visível às câmeras de IR ou RGB ou, alternativamente, ser coberto pelos emissores de IR da estação-base. A oclusão pode causar imprecisões de rastreamento.

[006] O rastreamento do corpo do usuário calcula a posição e a orientação do corpo do usuário (em particular, mas não se limitando a mãos e dedos) em relação ao HMD. Ele pode fornecer tanto em VR como em MR, um meio de entrada de usuário (por exemplo, gestos da mão) que permita a interação com os elementos virtuais. Embora alguns métodos de rastreamento posicional possam também ser usados para rastreamento manual (por exemplo, uma câmera de IR com uma matriz de LEDs em controladores manuais), outros métodos aproveitam-se de um espaço de análise menor, tipicamente nos limites de um metro a partir do HMD, para aumentar a robustez dos algoritmos de rastreamento de mãos e dedos. Por exemplo, câmeras de tempo de voo (Time-of-Flight, ou ToF) de curto alcance podem ser integradas ao HMD. Essas câmeras podem produzir um mapa de profundidade das mãos de onde se pode construir um modelo esquelético das mãos. Uma outra abordagem usa uma luz de inundação IR de LED junto com câmeras para segmentar e estimar os pontos 3D sobre as mãos e os dedos.

[007] O rastreamento do ambiente destina-se a ser muito geral e envolve o reconhecimento e o rastreamento de objetos no ambiente. A noção de objetos varia de uma simples superfície plana a formatos mais complexos que incluem objetos em movimento, como seres humanos, objetos translúcidos e fontes de luz. O rastreamento do ambiente estima a posição e o formato das superfícies e dos objetos próximos ao HMD. Os elementos virtuais podem, então, interagir com os objetos detectados (estimados). Uma máscara de oclusão pode ser extraída das informações de rastreamento para evitar situações em que objetos reais podem ser inadvertidamente ocultados por um elemento virtual que deveria estar mais afastado ou atrás do objeto. Na prática, métodos de visão computacional são usados para recuperar características (cantos, bordas, etc.) e profundidades de cena, que são, então, usadas para aprender e reconhecer descrições de objetos.

[008] O uso de componentes externos para propósitos de rastreamento tipicamente impõem um limite à liberdade do usuário de se mover no espaço e frequentemente adiciona etapas de calibração antes que o HMD possa ser usado.

[009] Consequentemente, existe a necessidade de um HMD que integre todos os componentes de rastreamento necessários em um produto compacto e de fácil utilização que possibilite mobilidade para a aplicação.

SUMÁRIO

[0010] De acordo com um aspecto da descrição, é fornecido um dispositivo de exibição usado na cabeça (HMD) para ser vestido que integra em si todos os componentes de rastreamento necessários, possibilitando um dispositivo mais compacto e de fácil utilização para o usuário.

[0011] De acordo com um aspecto da descrição, é fornecido um dispositivo de exibição usado na cabeça (HMD) que é usado para aplicações que imergem um usuário em um ambiente de realidade virtual (VR) ou de realidade aumentada/mista (MR), que compreende:

[0012] um par de sensores de câmera de RGB e de lentes associadas com filtros de corte de infravermelho (IR);

[0013] um par de sensores de câmera monocromática com filtros passa-banda de infravermelho próximo (NIR) e lentes associadas;

[0014] uma unidade de medição inercial (IMU);

[0015] um sensor de câmara de tempo de voo (ToF) com um emissor de infravermelho (IR) associado;

[0016] um projetor de padrão de speckle;

[0017] um dispositivo de exibição; e

[0018] ao menos uma unidade de processamento conectada de modo operacional ao par de sensores de câmera RGB, ao par de sensores de câmeras monocromáticas, à IMU, ao sensor de câmera ToF e ao emissor de IR associado, ao projetor de padrão de speckle e ao dispositivo de exibição através de ao menos um link de comunicação, sendo que a ao menos uma unidade de processamento gera conteúdo gráfico usando fluxos de dados a partir do par de sensores de câmera RGB, do par de sensores de câmera monocromática, da IMU e do sensor de câmera ToF, e exibe o conteúdo gráfico através do dispositivo de exibição.

[0019] De acordo com um aspecto da descrição, é fornecido um dispositivo de HMD conforme descrito acima, em que o par de sensores de câmera RGB e o par de sensores de câmera monocromática são combinados em um par de câmeras RGB/IR com lentes associadas, sendo que o par de câmeras RGB/IR usa um formato Bayer com um padrão R-G-IR-B em vez do padrão R-G-G-B convencional.

[0020] De acordo com um aspecto da descrição, é fornecido um dispositivo de HMD conforme descrito acima, sendo que a ao menos uma unidade de processamento tem uma memória associada que compreende instruções armazenadas na mesma, que, quando executadas na ao menos uma unidade de processamento, realizam as etapas de:

[0021] obter do par de sensores de câmera RGB as imagens de vista estereoscópica passantes;

[0022] obter imagens estereoscópicas do par de sensores de câmera monocromática;

[0023] obter um mapa de profundidade denso;

[0024] obter medições inerciais da IMU;

[0025] fazer o rastreamento incorporado usando as imagens de vista estereoscópica passantes, as imagens estereoscópicas, o mapa de profundidade denso e as medições inerciais;

[0026] realizar o processamento de imagens nas imagens de vista estereoscópica passantes e nas imagens estereoscópicas;

[0027] gerar gráficos renderizados com base no rastreamento posicional;

[0028] executar processamento de imagens gráficas nos gráficos renderizados;

[0029] misturar as imagens processadas e os gráficos renderizados processados, resultando no conteúdo gráfico; e

[0030] fornecer o conteúdo gráfico ao dispositivo de exibição.

[0031] De acordo com um aspecto da descrição, é fornecido um dispositivo de HMD conforme descrito acima, em que a etapa de realizar o rastreamento incorporado inclui realizar o rastreamento posicional e o rastreamento do corpo do usuário, podendo incluir também o rastreamento do ambiente.

[0032] De acordo com um aspecto da descrição, é fornecido um HMD conforme descrito acima, sendo que:

[0033] a etapa de realizar o rastreamento posicional inclui:

[0034] detectar de modo giratório e em escala as características invariantes de imagem bidimensional nas imagens de vista estereoscópica passantes e nas imagens estereoscópicas;

[0035] estimar uma profundidade para cada característica detectada com o uso de correlação estereoscópica, produzindo uma nuvem de pontos tridimensionais; e

[0036] rastrear em tempo real a nuvem de pontos tridimensionais para inferir as alterações de posição de cabeça;

[0037] sendo que a etapa de realizar o rastreamento posicional pode incluir, ainda, o uso das medições inerciais para calcular temporariamente as alterações posicionais quando as imagens de vista estereoscópica passantes e as imagens de vista estereoscópicas não fornecerem informações suficientes;

[0038] a etapa de realizar o rastreamento do corpo do usuário inclui:

[0039] fazer a segmentação do corpo no mapa de profundidade denso;

[0040] extrair uma malha corporal do mapa de profundidade denso e da segmentação do corpo;

[0041] extrair um modelo esquelético da malha corporal; e

[0042] reconhecer gestos predefinidos através do rastreamento do movimento do corpo do usuário e correlacionar o modelo esquelético e o movimento do corpo do usuário aos modelos de gestos;

[0043] e a etapa de realizar o rastreamento do ambiente inclui:

[0044] gerar um modelo de movimento usando as imagens de vista estereoscópica passantes, as imagens estereoscópicas e o rastreamento posicional;

[0045] detectar pontos-chave;

[0046] extrair características locais para os pontos-chave usando descritores de características robustos; e

[0047] estimar os descritores de superfície mediante a fusão do mapa de profundidade denso com as características extraídas.

[0048] De acordo com um aspecto da descrição, também é fornecido um método para imersão de um usuário em um ambiente de realidade virtual (VR) ou de realidade aumentada/mista (MR), sendo que o método compreende as etapas implementadas pelo dispositivo HMD.

BREVE DESCRIÇÃO DOS DESENHOS

[0049] As modalidades da descrição serão descritas por meio de exemplos apenas com referência aos desenhos em anexo, nos quais:

[0050] A Figura 1 é uma representação esquemática de um usuário usando um dispositivo de exibição usado na cabeça (HMD) dotado de várias câmeras e emissores de infravermelho (IR), de acordo com uma modalidade ilustrativa da presente descrição;

[0051] A Figura 2A é uma vista superior esquemática de uma modalidade exemplificadora dos elementos ópticos, do dispositivo de exibição e das câmeras usados para obter a realidade virtual e mista;

[0052] A Figura 2B é uma vista esquemática de uma modalidade exemplificadora dos elementos ópticos, em uma vista de perto, que ilustra a forma como os raios do dispositivo de exibição se concentram na retina do olho do usuário;

[0053] A Figura 3 é um diagrama de fluxo do processo de geração sensorial visual do HMD junto com uma modalidade exemplificadora para cada recurso;

[0054] A Figura 4A mostra a vista anterior de uma primeira modalidade exemplificadora do dispositivo HMD, com duas câmeras RGB otimizadas para propósitos de passagem (MR) e duas câmeras IR que fornecem dados visuais para rastreamento;

[0055] A Figura 4B mostra a vista frontal de uma segunda modalidade exemplificadora do dispositivo HMD, com duas câmeras RGB/IR que alcançam tanto o rastreamento MR como o rastreamento posicional;

[0056] A Figura 5 é um diagrama de fluxo das etapas de processamento para obter VR com rastreamento posicional e do corpo do usuário;

[0057] A Figura 6 é um diagrama de fluxo das etapas de processamento para obter MR com rastreamento posicional, do corpo do usuário e do ambiente;

[0058] A Figura 7 é um diagrama de fluxo de um processo exemplificador para se obter o rastreamento posicional;

[0059] A Figura 8 é um diagrama de fluxo de um processo exemplificador para se obter o rastreamento do corpo do usuário;

[0060] A Figura 9 é um diagrama de fluxo de um processo exemplificador para se obter o rastreamento do ambiente;

[0061] A Figura 10 é um diagrama de fluxo de um processo exemplificador para se obter a renderização gráfica e de composição;

[0062] A Figura 11 é uma representação esquemática do projetor de padrão speckle;

[0063] A Figura 12A é uma representação esquemática de uma modalidade exemplificadora da configuração de multiplexação de tempo; e

[0064] A Figura 12B é um diagrama de temporização da configuração de multiplexação de tempo.

[0065] Referências similares usadas em figuras diferentes indicam componentes similares.

DESCRIÇÃO DETALHADA

[0066] De modo geral, as modalidades ilustrativas não limitadoras da presente descrição fornecem um dispositivo de exibição usado na cabeça (HMD) que melhora a experiência do usuário no contexto tanto de realidade virtual (VR) como de realidade mista (MR). O HMD é relativamente leve, ergonomicamente confortável e fornece um conteúdo de alta resolução com baixa latência. O HMD suporta qualquer conteúdo gráfico proveniente de um computador externo equipado com uma unidade de processamento gráfico de alto desempenho (GPU, de "graphical processing unit") ou de uma GPU incorporada, e a MR de baixa latência é obtida com a HMD que executa algum processamento, como passagem de vídeo incorporado, com correções de distorção de lente e de aberração de cores, bem como composição de gráficos/passagem para garantir uma baixa latência. O rastreamento posicional, do corpo do usuário e do ambiente é obtido por uma abordagem exclusiva interior-exterior na qual todos os componentes de rastreamento necessários são integrados ao HMD, sem a necessidade de configurar e usar componentes de entrada externos. Essa abordagem possibilita que um usuário se movimente livremente dentro de um ambiente grande.

[0067] Entre as aplicações de VR e MR, algumas modalidades são particularmente úteis em aplicações imersivas de jogos e entretenimento, em que alguns controles ou interações podem ser obtidos através do rastreamento dos movimentos da cabeça e mãos do jogador, bem como de objetos do ambiente externo. Entre as possíveis aplicações estão as simulações em geral, o treinamento colaborativo, as vendas, a fabricação, a manutenção e o reparo assistidos.

[0068] O sistema HMD proposto implementa uma realidade virtual na qual o usuário olha para um dispositivo de exibição através de uma lente grande-angular. As modalidades propostas usam um único dispositivo de exibição de diodo emissor de luz orgânico (OLED, de "organic light-emitting diode"), embora outros tipos de soluções de exibição possam ser empregados, como dois dispositivos de exibição menores, microdispositivos de exibição ou dispositivos de exibição flexíveis, etc. Para MR, no mínimo, duas câmeras voltadas para a frente capturam o ambiente a partir de pontos de visão localizados o mais próximo possível dos olhos do usuário (prismas e/ou espelhos podem ou não ser empregados, podendo ser necessária a orientação da câmera se for desejável uma orientação diferente daquela voltada para a frente). As imagens da câmera são, então, integradas em tempo real com imagens geradas por computador e mostradas no sistema de exibição. Essa abordagem não possibilita que o usuário veja através do dispositivo de exibição opaco, mas, em vez disso, captura imagens que os olhos do usuário poderiam ver se não estivessem ocluídos pelo dispositivo de exibição opaco. Uma abordagem alternativa é o uso de dispositivos de exibição transparentes (por exemplo, compostos por vidros, espelhos e/ou prismas) que possibilitam que o usuário veja o conteúdo virtual ao mesmo tempo que ainda consegue ver o ambiente. Esses, entretanto, têm tipicamente um campo de visão estreito que diminui consideravelmente a sensação de imersão acreditável.

[0069] O propósito das câmeras não se limita a apenas fornecer uma visão de passagem. As imagens da câmera e uma unidade de medição inercial (IMU) integrada fornecem dados que podem ser processados por métodos de visão computacional para analisar e entender automaticamente o ambiente. Além disso, o HMD foi projetado para suportar não apenas a análise de visão computacional passiva, mas também a análise de visão computacional ativa. Os métodos de visão computacional passiva analisam as informações de imagem capturadas do ambiente. Esses métodos podem ser monoscópicos (imagens de uma única câmera) ou estereoscópicos (imagens de duas câmeras). Eles incluem, mas não se limitam ao rastreamento de características, reconhecimento de objetos e estimativa de profundidade. Métodos de visão computacional ativa adicionam informações ao ambiente através da projeção de padrões visíveis às câmeras, mas não necessariamente visíveis ao sistema visual humano. Tais técnicas incluem câmeras de tempo de voo (ToF), varredura a laser ou luz estruturada para simplificar o problema de correlação estereoscópica. A visão computacional ativa é usada para obter a reconstrução de profundidade de cena. Um projetor de infravermelho (IR) é usado para projetar um padrão IR de speckle aleatório sobre o ambiente, adicionando informações de textura para tornar mais fácil a correlação estereoscópica quando esta for ambígua (por exemplo, texturas ou superfícies uniformes). Câmeras de ToF também podem ser incluídas em algumas modalidades. A visão computacional ativa é usada para suportar o rastreamento com uma luz de inundação IR para condições de pouca ou nenhuma luz.

[0070] Os recursos anteriormente mencionados tornam o HMD exclusivo e adequado para uso em uma ampla variedade de aplicações. Por exemplo, o HMD pode ser usado como uma câmera estereoscópica para propósitos de gravação ou processamento de visão em tempo real. Ele também pode ser usado como um scanner de ambiente (estereoscópico ativo). No contexto de um HMD, os métodos de visão computacional usam dados de sensores heterogêneos para rastrear automaticamente a posição da cabeça, do corpo do usuário e do ambiente. Entretanto, a realização de tal conjunto de produto com a capacidade de implementar rastreamento de característica passiva e de visão estereoscópica ativa é desafiadora em termos de desempenho. Isso é especialmente verdadeiro quando se considera que, para se obter uma boa imersão, é necessário um sistema de baixa latência e que o peso/ergonomia precisam ser otimizados para assegurar ainda mais conforto e facilidade de uso pelo usuário. Latência no contexto de HMDs é o intervalo de tempo decorrido entre os dados capturados (IMU, imagens) e o conteúdo exibido correspondente. Uma latência menor que 20 ms precisa ser alcançada para se produzir uma boa imersão e evitar enjoo e náusea. A baixa latência é obtida pela implementação/incorporação do processamento no próprio HMD, com o auxílio de um computador externo onde uma maior potência de processamento está disponível. À medida que as unidades de processamento evoluem tornando-se menores e consumindo menos energia, todo o processamento pode ser realizado no próprio HMD. O processamento incorporado evita a transferência de imagens da câmera de alta resolução para o computador externo, reduzindo, assim, a largura de banda de transferência e os requisitos de latência. Na prática (particularmente), o processamento de visão computacional e a renderização gráfica podem ser executados principalmente no computador externo, mas, no mínimo, o HMD precisa executar funções de processamento de sinal de imagem (ISP, de "image signal processing") de câmera, como sincronização, combinação, desmosaicização ("debayering"), correção da distorção de imagem para exibição, bem como a composição de MR dos gráficos renderizados e das imagens de câmera.

[0071] Dessa forma, o HMD é projetado para incluir os componentes necessários para aplicar métodos de visão estereoscópica passiva ou ativa e obter o rastreamento posicional, do corpo do usuário e do ambiente. O HMD pode também ser compatível com alguns emissores externos de terceiros que adicionam informações visuais no ambiente. Por exemplo, qualquer projeção de um padrão texturizado no ambiente pode auxiliar na correlação estereoscópica. Os algoritmos de rastreamento real normalmente envolvem a correlação estereoscópica, a integração de dados de IMU, a detecção/o rastreamento de características, o reconhecimento de objetos e o ajuste de superfície. Entretanto, o HMD disponibiliza os fluxos (“streams”) de dados para desenvolvedores de software de terceiros para que algoritmos personalizados possam ser implementados.

[0072] Com referência à Figura 1, é mostrado um dispositivo de exibição usado na cabeça (HMD) (7) de acordo com uma modalidade ilustrativa da presente descrição. O HMD (7) é fixado por meio de um cinto (4) sobre a cabeça de um usuário (1) e integra múltiplos sensores para obter realidade mista (MR) e o rastreamento posicional do corpo do usuário e do ambiente interior-exterior, a saber, duas câmeras de RGB (11, 12) para propósitos de passagem, duas câmeras de infravermelho (IR) (2, 9) para análise de visão estereoscópica, uma unidade de medição inercial (IMU) (não mostrada na figura) e uma câmera de tempo de voo (ToF) (13) com seu emissor de IR (14) para detecção de profundidade densa. Uma coleção de diodos emissores de luz (LEDs) IR (5, 8, 10, 15) também é integrada para iluminar o ambiente sob condições de baixa luminosidade. O HMD (7) também está equipado com um projetor IR de padrão speckle (6) para obter uma visão computacional estereoscópica ativa e extrair um mapa tridimensional densa. Vários fluxos de dados (imagens de câmera, dados de IMU) são capturados, opcionalmente compactados e, então, transmitidos para unidades de processamento (21), que podem integrar o HMD (7) ou um computador externo. As comunicações entre o HMD (7) e as unidades de processamento (21) são realizadas através de links de comunicação (17, 18), que podem ser com fio, sem fio ou uma combinação de ambos. Em uma modalidade alternativa em que as unidades de processamento (21) fazem parte do HMD (7), os links de comunicação (17, 18) podem ser omitidos. As unidades de processamento (21) renderizam o conteúdo gráfico (visualização de jogos, vídeos, objetos virtuais, etc.) a ser exibido no HMD (7). O HMD (7) é alimentado pela fonte de alimentação (20) por meio de fonte de alimentação (19). Em uma modalidade alternativa, a fonte de alimentação (20) pode ser integrada dentro do HMD (7).

[0073] Agora com referência à Figura 2A, é mostrado um HMD (7) exemplificador para se obter VR e MR. O usuário (1) que está usando o HMD (7) olha para um dispositivo de exibição (27) através de lentes grande-angulares (26, 35). Duas câmeras RGB (28, 34) situadas na frente dos olhos (22, 38) capturam o ambiente que os olhos do usuário veriam se não estivessem ocluídos pelo HMD (7). Nota-se que a figura inclui apenas as câmeras necessárias para o HMD (7) e que ela não inclui outras câmeras usadas para análise de visão computacional. Na modalidade ilustrativa, a linha de base (39) das câmeras (28, 34) é de 64 mm, a separação média dos olhos humanos (observe que a linha de base da câmera pode ser um pouco diferente de 64 mm), e a posição das câmeras (28, 34) está vantajosamente alinhada com os olhos do usuário (22, 38) a fim de minimizar a incoerência de percepção visual do usuário. O campo de visão (29, 30, 32, 33) das câmeras (28, 34) precisa corresponder com precisão ao campo de visão (23, 25, 36, 37) dos olhos (22, 38).

[0074] A Figura 2B ilustra o modo como os raios luminosos (44, 46, 48) emitidos pelo dispositivo de exibição (27) passam através da lente ocular (26, 35) para se concentrar novamente (52, 54, 55) sobre a retina (53). A posição da pupila (51) em relação à lente ocular (26, 35) bem como a distância da lente ocular (26, 35) em relação ao dispositivo de exibição (27) precisam ser ajustadas para se obter o foco correto (isto é, as distâncias 50 e 57, respectivamente). Observe que a figura mostra um único comprimento de onda, enquanto a lente ocular (26, 35) tipicamente induz à aberração de cores que precisa ser compensada.

[0075] O HMD fornece fluxos de dados visuais para possibilitar os seguintes recursos: imagens estereoscópicas para o sistema de exibição (o que chamamos de visão estereoscópica passante), imagens estereoscópicas para propósitos de rastreamento, detecção de profundidade densa (curto e médio alcance) e medições inerciais. Na modalidade ilustrativa, a detecção de profundidade de curto alcance é considerada menor que 1,5 m; enquanto uma detecção de profundidade de médio alcance é considerada como abrangendo profundidades de mais de um metro (até cerca de 4 a 5 metros).

[0076] A Figura 3 mostra o processo de geração sensorial visual da modalidade ilustrativa do HMD. A visão estereoscópica passante (102) é capturada por uma câmera estereoscópica RGB (104). As imagens estereoscópicas (106) para rastreamento podem também ser capturadas pela câmera estereoscópica RGB (104), ou ao invés disso, por uma câmera estereoscópica IR (108) auxiliada com uma luz de inundação IR (110) para condições de iluminação insatisfatórias. A detecção de profundidade densa (112) exige a adição de informações de IR projetadas para recuperar a profundidade quando não há informações visuais suficientes para implementar a correlação estereoscópica. Na modalidade ilustrativa, duas soluções são usadas para fornecer um mapa de profundidade denso. Primeiro, uma câmara ToF (114) recupera a profundidade com base no tempo necessário para que um raio de luz deixe o emissor infravermelho associado (110) e volte a se refletir no sensor de câmera ToF (108). Segundo, um padrão de speckle IR (116) é projetado sobre o ambiente e visto pela câmera estereoscópica IR (108). Embora este último exija uma correlação estereoscópica computacional cara, ele tipicamente fornece um mapa de profundidade de resolução mais alta do que a primeira solução. Dependendo custo intencionado, do tipo de mercado, da abordagem tecnológica, da resolução do dispositivo, do desempenho e do conjunto de características, podem ser feitas diferentes escolhas nas modalidades, e vários blocos funcionais podem ser combinados. As medições inerciais (118) tomadas pela IMU (120) também são capturadas e fornecidas ao módulo de rastreamento incorporado (122). Embora partes do processamento de visão computacional e renderização gráfica (124) possam ser executadas em um computador externo, algumas das etapas de processamento de imagens precisam ser conduzidas no próprio HMD para reduzir a latência geral do sistema. Na Figura 3, o módulo de processamento de imagem de câmera (126) executa algumas tarefas, como controle de disparo, desmosaicização, equilíbrio de branco automático, substituição de pixel defeituoso, correção de campo plano, filtragem (redução de ruído, intensificação de borda), distorção e correção de aberração. O módulo de processamento de imagens gráficas (128) realiza a decodificação (por exemplo, cor e canal alfa), correção de distorção e correção de aberração. O módulo de composição (130) mistura os gráficos renderizados e as imagens da câmera, sendo que as imagens resultantes são exibidas no dispositivo de exibição (27).

[0077] As modalidades exemplificadoras do HMD (7) são mostradas com mais detalhes nas Figuras 4A e 4B. Em uma primeira modalidade exemplificadora, mostrada na Figura 4A, o HMD (7) tem dois sensores de câmera RGB (62, 64) e lentes (63, 65) com filtros de corte IR para melhorar a qualidade das imagens passantes. Ele também integra dois sensores de câmera monocromática com filtros passa-banda de infravermelho próximo (NIR) (66, 68) e lentes (67, 69) aprimorados para análise de visão computacional. Outros componentes incluem um dispositivo de exibição (27), uma IMU (70) com 9 graus de liberdade (composta por um giroscópio, um acelerômetro e um magnetômetro) e um sensor de câmera ToF (72) com seu emissor infravermelho associado (73). As luzes inundação de LED (74, 75, 76, 77) são usadas para melhorar o rastreamento posicional em condições de pouca luz. Um projetor de padrão speckle (78) é usado para adicionar textura ao ambiente e melhorar os resultados do mapa de profundidade denso a partir da correlação estereoscópica. Em uma segunda modalidade exemplificadora, mostrada na Figura 4B, o HMD (7), usa apenas três câmeras, ou seja, duas câmeras RGB/IR (82, 84) (os sensores RGB/IR usam um formato Bayer com um padrão R-G-IR-B em vez do padrão R-G-G-B convencional) com lentes (83, 85) e luzes de inundação de LED (86, 87, 88, 89), e um sensor de câmera ToF (72) e seu emissor infravermelho associado (73). Embora seja possível obter todos os quatro recursos necessários com apenas duas câmeras RGB/IR (82, 84), o resultado muitas vezes não é ideal tendo em vista que os requisitos variam dependendo do propósito. Em particular, nem sempre é possível separar claramente os sinais de RGB e IR quando se utiliza um sensor RGB/IR, especialmente quando a saturação de pixel está presente. Conforme descrito na modalidade exemplificadora da Figura 4A, o uso de dois pares de câmera (62, 64, 66, 68) (um para propósitos de captura de imagens passantes e outro para rastreamento) possibilita a otimização das especificações de uso. Por exemplo, os filtros passa-banda para RGB e IR podem ser instalados nos sensores de imagens passantes (62, 64) e de rastreamento (66, 68), respectivamente, para melhorar a qualidade da imagem. Além disso, as câmeras para imagens passantes exigem o uso de lentes olho de peixe para capturar um amplo campo de visão, o que corresponde ao sistema visual humano. Entretanto, essas lentes diminuem a resolução angular necessária para se obter alta precisão de rastreamento. Tanto os sensores de rastreamento como os de mapa de profundidade ativo precisam ter uma alta relação sinal/ruído (SNR, de "signal-to-noise ratio") para aumentar a capacidade de correlação do padrão speckle em um método de visão estereoscópica ativa. Para alcançar melhor esse objetivo, a colocação do sensor no HMD (7) também pode ser aprimorada. É observado que os sensores de rastreamento (66, 68) são colocados em uma linha de base maior que a separação dos olhos humanos para aumentar a precisão da estimativa de profundidade no ambiente, que é realizada por triangulação de correlações estereoscópicas. A colocação dos sensores de rastreamento (66, 68) ao longo de um eixo geométrico comum com os sensores de imagens passantes (62, 64) facilita o processo de combinação ou remapeamento dos dados de um par de sensores para outro.

[0078] As Figuras 5 e 6 mostram as etapas de dados e processamento necessárias para se obter VR e MR, respectivamente. Os links L representam fluxos de dados de baixa latência controlados e processamento com tremulação ("jitter") de latência mínima. As seções de rastreamento e renderização (142, 144) podem ser executadas parcial ou totalmente no próprio HMD (7) ou em um computador externo, dependendo da modalidade. Deve-se observar que a computação de profundidade (156) pode ser mais ou menos intensiva do ponto de vista computacional, dependendo de qual componente de detecção de profundidade a modalidade usa (ou seja, câmera ToF, correlação estereoscópica IR, ou ambas).

[0079] Cada um dos processos de rastreamento (142, 144) (isto é, posicional (154) (incluindo a determinação de orientação (152)), rastreamento do corpo do usuário (158) e do ambiente (160)), renderização gráfica (124), estimativa de mapa de profundidade (156), multiplexação de tempo de IR, bem como alguns dos componentes de hardware, a saber, projetor de padrão de speckle (78) e sensores de câmera e de filtros IR (66, 68), que serão descritos em detalhes. Deve- se compreender que os processos de rastreamento (142, 144) descritos neste documento são processos de rastreamento exemplificadores considerando-se os dados de entrada. Os fluxos de dados (dados de IMU, imagens) são disponibilizados a desenvolvedores de software de terceiros para que eles possam projetar e implementar seus próprios algoritmos de rastreamento. Rastreamento posicionai

[0080] A Figura 7 mostra um diagrama de fluxo de um processo exemplificador para obter o rastreamento posicional (154). O processo se enquadra na classe de algoritmos de localização e mapeamento simultâneos (SLAM, de "simultaneous localization and mapping"). Embora o mapa de profundidade denso fornecido por estereoscopia ativa possa ser usado para detectar e rastrear características tridimensionais (deve-se observar que características bidimensionais são baseadas em textura, ao passo que características tridimensionais são baseadas em profundidade e podem ser extraídas a partir de uma nuvem de pontos), uma abordagem de correlação esparsa é aqui descrita por melhor se adequar aos cenários com restrições em tempo real. As entradas do algoritmo são as imagens estereoscópicas (202) para rastreamento e os dados de IMU (204). Primeiro, o processo detecta de modo giratório (206) e em escala as características invariantes de imagem bidimensional (208) na imagem estereoscópica. Em seguida, a profundidade de cada característica é estimada com o uso de uma correlação estereoscópica (210). Esse processo produz uma nuvem de pontos tridimensionais (212) que, por sua vez, é rastreada em tempo real para inferir as alterações de posição da cabeça (214). Como o ambiente é considerado estático, qualquer característica em uma pessoa ou um objeto em movimento é filtrada por um método RANSAC com suposições de movimento rígido. Os dados de giroscópio e acelerômetro são usados para computar temporariamente as alterações posicionais (216) quando as imagens de rastreamento não fornecem informações suficientes. Rastreamento do corpo do usuário

[0081] A Figura 8 mostra um diagrama de fluxo de um processo exemplificador para obter o rastreamento do corpo do usuário (158). Para se obter imersão na realidade virtual, o corpo do usuário precisa ser extraído e visto. Para esse fim, o campo de visão sobre o qual o rastreamento é realizado precisa corresponder ao campo de visão das câmeras de imagens passantes. O sensor de câmera ToF (72) oferece uma solução de baixa resolução, porém direta, para se obter dados de profundidade próxima em um campo de visão relativamente menor (por exemplo, de 90 graus horizontalmente). Desse ponto de vista, as câmeras estereoscópicas (66, 68) suportadas com as luzes de inundação de LED (74, 75, 76, 77) fornecem uma melhor resolução à custa de um tempo de computação maior para o processamento da imagem. No processo exemplificador, a malha corporal (304) é extraída das informações de profundidade (156) e de segmentação do corpo (302) pela detecção de dados tridimensionais próximos, ou ao invés disso, pela aplicação de um limiar sobre a intensidade quando se utiliza as luzes de inundação de LED (74, 75, 76, 77). Em seguida, um modelo esquelético (306) é extraído da malha. Finalmente, os gestos predefinidos são finalmente reconhecidos (308) pelo rastreamento do movimento corporal e pela correlação do formato e movimento do esqueleto aos modelos de gestos. Os tipos de gestos reconhecidos e a máscara estereoscópica de posição e corpo (310) são fornecidos para renderização gráfica (124). Rastreamento de ambiente

[0082] A Figura 9 mostra um diagrama de fluxo de um processo exemplificador para se obter o rastreamento do ambiente. As entradas para a estrutura de rastreamento são as imagens estereoscópicas coloridas (106), um mapa de profundidade (112) estimado pelo método de estereoscopia ativa e/ou pela câmera ToF (72) e a posição XYZ da saída de rastreamento posicional (154). O processo abrange um modelo de movimento (402) para melhorar a eficiência, alavancando a saída de rastreamento posicional e explorando os locais de objeto inferidos anteriormente. Por exemplo, o modelo de movimento (402) pode ser construído com o uso de um filtro de partículas ou filtro Kalman. Em seguida, o processo detecta pontos-chave (404) interessantes, como cantos de Harris, pontos de extremos locais com base em momentos invariantes de Hu ou determinante de hessianos. As características locais para tais pontos-chave são extraídas (406) por descritores de características robustos, como o histograma de gradientes ou os descritores de características do tipo Haar. Analogamente ao rastreamento posicional, presume-se que o ambiente seja estacionário. Dessa forma, quaisquer características em movimento são filtradas por um método RANSAC com suposições de movimento rígido. Um algoritmo de classificação (408), como máquinas de vetores de suporte, é usado para instruir um modelo a rastrear e reconhecer tais características. Finalmente, os descritores de superfície são estimados (414) pela fusão do mapa de profundidade denso (112) com a saída (410) do estágio de reconhecimento de características. Composição de realidade mista

[0083] Para se obter fusão em tempo real das câmeras estereoscópicas de imagens passantes (62, 64) e dos elementos de imagem virtual, a composição é feita no HMD (7). Isso evita o envio de fluxos da câmera de imagens passantes em alta resolução para um computador externo. Isso tende a reduzir a largura de banda de transferência necessária, o que, por sua vez, reduz a latência geral. Uma máscara A alfa de 8 bits é usada para especificar a seguinte situação:

[0084] (i) se os gráficos virtuais forem opacos, A = 255;

[0085] (ii) se eles tiverem alguma quantidade de transparência, 0<A<255; e

[0086] (iii) se eles forem invisíveis, (A = 0).

[0087] Deve-se observar que um objeto virtual deve ser invisível se estiver ocultado pelas mãos do usuário (16) ou por outros objetos no ambiente. As máscaras de oclusão podem ser encontradas comparando-se a profundidade calculada de cada pixel com a do(s) objeto(s) virtual(ais). As imagens da câmera são misturadas por canal de pixel seguindo, consequentemente, um modelo linear: Ik[R,G,B] * Ak[R,G,B] + Jk[R,G,B] * (1-Ak[R,G,B]), em que Ik é a cor virtual no pixel k e Jk é a cor na câmera no pixel k. Observe que a máscara A alfa precisa ser diferente em cada canal de cor [R,G,B], porque cada canal é remapeado para corrigir a aberração de cor das lentes oculares. Se esse remapeamento for feito em um computador externo, então um total de 6 canais por pixel (especificamente R, G, B, Ar, Ag e Ab) precisam ser enviados para o HMD (7). A Figura 10 mostra um diagrama de fluxo de um processo exemplificador para se obter a renderização e a composição de gráficos (130). Os dados são codificados em um computador hospedeiro (90), enviados em um formato padrão de 24 bits por pixel e decodificados de volta no HDM (7). Os três canais de cor são codificados em dois canais usando o formato YUV422, e os dois canais alfa são mapeados em um único canal Bayer. Deve-se observar que, como a fusão alfa é usada durante a renderização da cena virtual, a cor de saída é de fato Ik[R,G,B] * Ak[R,G,B], e não a cor real Ik[R,G,B]. Isso não é problema, entretanto, uma vez que isso corresponde ao primeiro termo da equação de combinação, quando se compõe as imagens da câmera.

Projetor IR de padrão de speckle

[0088] O HMD (7) inclui um projetor de padrão de speckle (78) que lança/projeta um padrão fixo na cena para melhorar a qualidade do mapa de profundidade denso estimado a partir da correlação estereoscópica ativa. Embora uma estação-base (externa ao HMD) ofereça a vantagem de projetar alguns pontos de textura estacionários no ambiente, pode ser difícil cobrir todo o recinto com uma única estação-base devido à oclusão. Como solução, a incorporação de um projetor no HMD (7) oferece flexibilidade de movimento em qualquer recinto (sem a necessidade de se configurar uma estação-base), ao mesmo tempo em que sempre faz a projeção para onde o usuário está olhando. Duas modalidades do projetor de padrão de speckle (78) são apresentadas. Na primeira modalidade, mostrada na Figura 11, o projetor de padrão de speckle (78) gera um padrão de interferência de um feixe de laser que passa através de um difusor de superfície. Nesse caso, o padrão gerado pelo projetor de padrão de speckle (78) é aleatório e sua granularidade pode ser ajustada pela focalização do feixe em um ponto de tamanho diferente na superfície de difusão ou pela alteração da superfície de difusão. Na segunda modalidade, o projetor de padrão de speckle (78) gera um padrão de speckle por difração de campo distante de um feixe de laser que passa através de um ou muitos elementos ópticos difrativos. A relação sinal/ruído (SNR) é significativamente aprimorada pela adição de um polarizador. Vários elementos ópticos refrativos, reflexivos ou absorventes podem ser adicionados para formatação de feixe. Tipicamente, as lentes estarão sempre presentes. Um compartimento protetor pode ser adicionado para restringir o acesso a zonas com alta potência de laser.

Mapa de profundidade denso

[0089] Os métodos de mapa de profundidade estereoscópica padrão encontram, para cada pixel na primeira imagem, a melhor correspondência de pixel na segunda imagem. As regiões ao redor dos pixels também podem ser consideradas ao invés de pixels individuais. Uma correspondência geralmente envolve a descoberta da menor diferença de intensidade de pixel (ou a soma de diferenças quando uma região próxima é usada). Como uma etapa de pré- processamento, as imagens são retificadas de modo que o espaço de busca para uma correspondência seja uma única linha horizontal. O cálculo de um mapa de profundidade que usa visão estereoscópica geralmente resulta em erros ou lacunas em regiões da cena onde não há textura suficiente que possa ser usada para a correlação estereoscópica distintiva (por exemplo, características ou blocos uniformes sobre uma parede ou superfície branca). O projetor infravermelho (IR) de padrão de speckle aleatório (78) é usado para resolver esse problema. O projetor de padrão de speckle (78) adiciona textura à cena para produzir um mapa de profundidade denso. Se forem usados sensores RGB/IR (82, 84), então uma saída RGB-D (cor + profundidade) é diretamente disponibilizada. Caso contrário, as cores de visão passante podem ser mapeadas no mapa de profundidade.

Multiplexação de tempo

[0090] Se o par de câmeras estereoscópicas de IR for usado tanto para rastreamento estereoscópico como para detecção de profundidade densa (isto é, câmeras RGB/IR (82, 84)), então haverá conflito porque o padrão de speckle não pode ser usado durante o rastreamento de características do ambiente. O padrão de speckle adicionado projetado na frente do HMD (7) cria dois sinais sobrepostos: o padrão de speckle fixo e as características do ambiente em movimento nas imagens dependendo do movimento da cabeça do usuário (1). Para superar isso, pode-se usar uma abordagem de multiplexação de tempo em que o projetor de padrão de speckle (78) e uma luz de inundação IR opcional piscam de forma intercalada em vez de serem continuamente iluminados, diminuindo, assim, a taxa de saída pela metade. A Figura 12A mostra uma representação esquemática de uma modalidade exemplificadora da configuração de multiplexação de tempo de uma configuração exemplificadora que usa duas câmeras (82, 84), um projetor IR de speckle (78), uma luz de inundação IR (79), um disparador e um controlador de estroboscópico (91). O controlador (91) é usado para sincronizar a exposição das câmeras (82, 84) com o estroboscópico do projetor (78) e a luz de inundação (79). A Figura 12B mostra um diagrama de temporização da configuração de multiplexação de tempo. Os quadros onde o projetor de padrão de speckle (78) e a luz de inundação (79) são ativados são mostrados, respectivamente, em linhas pontilhadas e tracejadas. A abordagem de multiplexação de tempo permite que o HMD (7) capture as imagens de sensores visuais na taxa de quadros máxima (por exemplo, 90 fps), de modo que o HMD (7) pode extrair um mapa de profundidade denso e cada um dos descritores de características bidimensionais (2D) na metade da taxa de quadros máxima (por exemplo, 45 fps). A saída multiplexada no tempo ou intercalada das câmeras (82, 84) fornece, dessa forma, informações que podem ser úteis para a extração de características bidimensionais, extração de características tridimensionais e estimativa de mapa de profundidade denso.

Comprimentos de onda de IR e filtros

[0091] A modalidade exemplificadora do HMD (7) ilustrada na Figura 4A é composta por vários emissores e sensores de IR, especificamente um projetor de padrão de speckle (78), luzes de inundação de LED (74, 75, 76, 77), um sensor de câmera ToF (72) e sensores de câmera IR (66, 68). Para minimizar a interferência e a saturação de sinal, o sensor de câmera ToF (72) usa vantajosamente um comprimento de onda diferente dos outros emissores. Por exemplo, o sensor de câmera ToF (72) pode usar um comprimento de onda de 850 nm ou 940 nm, enquanto o projetor de padrão de speckle (78) e as luzes de inundação de LED (74, 75, 76, 77) usam um comprimento de onda de 808 nm. Os sensores de câmera IR (66, 68) têm um filtro passa-banda IR centralizado naquele mesmo comprimento de onda. Deve-se notar que o tempo de exposição da câmera, o ganho do sensor e a intensidade tanto das luzes de inundação de LED (74, 75, 76, 77) como do padrão de speckle do projetor de padrão de speckle (78) são modulados em tempo real para evitar saturação de imagem e maximizar a faixa dinâmica.

[0092] Embora a presente descrição tenha sido descrita por meio de modalidades ilustrativas não imitadoras específicas e exemplos das mesmas, deve-se notar que ficará evidente aos versados na técnica que modificações podem ser aplicadas à presente modalidade específica sem que se afaste do escopo da presente descrição, conforme reivindicado mais adiante neste documento.

Claims

1. Método de processamento de imagem para realidade mista, compreendendo as etapas de: em um dispositivo usado na cabeça (7) que inclui um sensor de câmera (11, 12), um sensor de profundidade (13), um dispositivo de exibição (27) e um ou mais processadores (21): capturar, via o sensor de câmera (11, 12), uma imagem de um ambiente (102); obter, via o sensor de profundidade (13), valores de profundidade para pixels na imagem do ambiente (102); obter, via um link de comunicações (17, 18), gráficos renderizados a serem exibidos em associação com a imagem do ambiente (102), caracterizado pelo fato de que compreende ainda: obter uma máscara alfa com base em comparar os valores de profundidade para pixels na imagem do ambiente (102) e valores de profundidade para pixels nos gráficos renderizados; realizar, usando um os ou mais processadores (21), uma ou mais funções de processamento de sinal de imagem na imagem do ambiente (102); gerar uma imagem de exibição combinando, com o uso dos um ou mais processadores (21), os gráficos renderizados com a imagem do ambiente (102) processada com base na máscara alfa; e exibir, no dispositivo de exibição (27), a imagem de exibição.

2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a exibição da imagem de exibição é realizada em menos de 20 milissegundos a partir da captura da imagem do ambiente (102).

3. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que uma representação da imagem do ambiente (102) é transmitida via o link de comunicações (17, 18) para possibilitar processamento de visão computacional remoto.

4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que o dispositivo usado na cabeça (7) inclui um ou mais sensores de rastreamento posicional gerando dados de rastreamento posicional, compreendendo ainda, transmitir, via o link de comunicações (17, 18), os dados de rastreamento posicional, sendo que os dados renderizados são baseado nos dados de rastreamento posicional.

5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que a máscara alfa é obtida via o link de comunicações (17, 18).

6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que as uma ou mais funções de processamento de sinal de imagem incluem correção de distorção de imagem para o dispositivo de exibição (27).

7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que as uma ou mais funções de processamento de sinal de imagem incluem uma ou mais dentre desmosaicização (debayering), correção de cor ou redução de ruído.

8. Dispositivo usado na cabeça (7), compreendendo: um sensor de câmera (11, 12) para capturar uma imagem de um ambiente (102); um sensor de profundidade (13) para obter valores de profundidade para pixels na imagem do ambiente (102); caracterizado pelo fato de que compreende ainda: um link de comunicações (17, 18) para obter gráficos renderizados para serem exibidos em associação com a imagem do ambiente (102) e uma máscara alfa com base em comparar os valores de profundidade para os pixels na imagem do ambiente (102) e valores de profundidade para pixels nos gráficos renderizados; um processador (21) para: realizar uma ou mais funções de processamento de sinal de imagem na imagem do ambiente (102); e gerar uma imagem de exibição combinando os gráficos renderizados com a imagem do ambiente (102) processada com base na máscara alfa; e um dispositivo de exibição (27) para exibir a imagem de exibição.

9. Dispositivo usado na cabeça (7), de acordo com a reivindicação 8, caracterizado pelo fato de que o dispositivo de exibição (27) é para exibir a imagem de exibição em menos do que 20 milissegundos a partir da captura da imagem do ambiente (102) pelo sensor de câmera (11, 12).