BR102018072910A2 - Sistemas, métodos, e ferramentas para registrar espacialmente conteúdo virtual com ambiente físico em plataformas de realidade aumentada - Google Patents

Sistemas, métodos, e ferramentas para registrar espacialmente conteúdo virtual com ambiente físico em plataformas de realidade aumentada Download PDF

Info

Publication number
BR102018072910A2
BR102018072910A2 BR102018072910-1A BR102018072910A BR102018072910A2 BR 102018072910 A2 BR102018072910 A2 BR 102018072910A2 BR 102018072910 A BR102018072910 A BR 102018072910A BR 102018072910 A2 BR102018072910 A2 BR 102018072910A2
Authority
BR
Brazil
Prior art keywords
physical
virtual
imaging device
operator
position coordinates
Prior art date
Application number
BR102018072910-1A
Other languages
English (en)
Inventor
Paul Robert Davies
David Lee
Gabriel Joseph Evans
Original Assignee
The Boeing Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The Boeing Company filed Critical The Boeing Company
Publication of BR102018072910A2 publication Critical patent/BR102018072910A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/004—Measuring arrangements characterised by the use of mechanical techniques for measuring coordinates of points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Abstract

sistemas, métodos, e ferramentas para registrar espacialmente conteúdo virtual com ambiente físico em plataformas de realidade aumentada. a presente invenção se refere a um sistema que inclui uma ferramenta de alinhamento e um dispositivo de imagem de realidade aumentada (ar). a ferramenta de alinhamento tem um apontador e um marcador fiducial, e é portada por um operador dentro de um espaço físico de trabalho. o dispositivo de imagem ar rastreia o marcador fiducial no espaço físico de trabalho usando um ou mais sensores, e determina as coordenadas de posição do apontador em locais de referência física dentro do espaço físico de trabalho com base em uma posição e uma orientação do marcador fiducial. os locais de referência física são associados com diferentes pontos de referência virtual dentro de um modelo virtual. o dispositivo de imagem ar gera uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados, e exibe conteúdo virtual em uma tela de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.

Description

Relatório Descritivo da Patente de Invenção para SISTEMAS, MÉTODOS, E FERRAMENTAS PARA REGISTRAR ESPACIALMENTE CONTEÚDO VIRTUAL COM AMBIENTE FÍSICO EM PLATAFORMAS DE REALIDADE AUMENTADA.
Campo da Invenção [0001] Modalidades da presente descrição em geral se refere a plataformas de realidade aumentada, e, mais especificamente, a alinhar conteúdo virtual com ambientes ou espaços de trabalho, tal como o espaço interior de uma aeronave ou outros veículos, em plataformas de realidade aumentada.
Antecedentes [0002] Plataformas de realidade aumentada são sistemas com base em computador que sobrepõem conteúdo virtual em uma tela que mostra uma visão ao vivo de um ambiente físico, do mundo real a um usuário, desse modo proporcionando uma vista composta de não só o ambiente físico, mas também o conteúdo virtual. A visão ao vivo pode ser proporcionada como um feed de vídeo em uma tela ou por usar visores ou lentes transparentes ou translúcidas, de modo que o usuário é capaz de ver o ambiente físico através da tela. Realidade aumentada pode ser útil em muitas diferentes aplicações, tal como em jogos, educação, e uso militar. Uma aplicação útil específica de realidade aumentada é para proporcionar tarefas de instrução. Por exemplo, o conteúdo virtual sobreposto pode visualmente guiar um operador quando realiza determinadas tarefas, tal como montagem de veículo, computador, ou outra máquina, reparos em veículo, computador, ou em outras máquinas, procedimentos médicos, montagem de móveis, e semelhante. O conteúdo virtual na vista composta tipicamente precisa se alinhar com precisão com o ambiente físico de modo a proporcionar orientação de apoio para as tarefas de instrução, mesmo se o operador se mover dentro do ambiente físico. Por exemplo, se o conteúdo virtual
Petição 870180149017, de 07/11/2018, pág. 51/104
2/39 não alinhar precisamente com o ambiente físico, a orientação proporcionada pelo conteúdo virtual durante o desempenho da tarefa de instrução pode ser confusa e enganosa para o usuário, e pode resultar em erros caros.
[0003] Um método conhecido para alinhar conteúdo virtual com o ambiente físico do mundo real em uma plataforma de realidade aumentada requer habilidades técnicas de um operador. Por exemplo, um usuário pode ser solicitado para manualmente traduzir e angularmente orientar um objeto virtual por meio do uso de um teclado, touchpad, dispositivo de controle, mouse, gestos manuais, ou semelhante, até que objeto virtual se alinhe com um monumento físico no ambiente físico. Adicionalmente, o referido alinhamento manual pode ser tedioso e demorado, assim como impreciso e inexato pelo fato de que o processo se baseia na habilidade técnica do operador e está propenso a erro humano.
Sumário [0004] As modalidades descritas aqui levam esses e outros fatores em consideração. Determinadas modalidades da presente descrição proporcionam um sistema para alinhar conteúdo virtual com um ambiente ou espaço de trabalho físico em uma plataforma de realidade aumentada. O sistema inclui uma ferramenta de alinhamento e um dispositivo de imagem de realidade aumentada (AR). A ferramenta de alinhamento tem um apontador e um marcador fiducial. A ferramenta de alinhamento é configurada para ser portada por um operador dentro de um espaço físico de trabalho. O dispositivo de imagem AR inclui um ou mais sensores e um ou mais processadores. O um ou mais processadores são configurados para rastrear o marcador fiducial no espaço físico de trabalho usando os um ou mais sensores, e determinar coordenadas de posição do apontador nos locais de referência física dentro do espaço físico de trabalho com base em uma posição e uma
Petição 870180149017, de 07/11/2018, pág. 52/104
3/39 orientação do marcador fiducial que é rastreada. Os locais de referência física são associados com diferentes pontos de referência virtual dentro de um modelo virtual. Os um ou mais processadores são adicionalmente configurados para gerar uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados. O um ou mais processadores exibem conteúdo virtual em uma tela de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.
[0005] Determinadas modalidades da presente descrição proporcionam um método para alinhar conteúdo virtual em uma plataforma de realidade aumentada. O método inclui rastrear, usando um dispositivo de imagem de realidade aumentada (AR), um marcador fiducial em uma ferramenta de alinhamento portada por um operador dentro de um espaço físico de trabalho. O método inclui determinar coordenadas de posição de uma ponta do apontador de uma ferramenta de alinhamento em múltiplos locais de referência física dentro do espaço físico de trabalho. As coordenadas de posição são determinadas com base em uma posição e uma orientação do marcador fiducial rastreada pelo dispositivo de imagem AR. Os locais de referência física dentro do espaço físico de trabalho são associados com diferentes pontos de referência virtual dentro de um modelo virtual. O método também inclui gerar uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados. O método adicionalmente inclui exibir conteúdo virtual em uma tela de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.
[0006] Determinadas modalidades da presente descrição proporcionam uma ferramenta de alinhamento para registrar
Petição 870180149017, de 07/11/2018, pág. 53/104
4/39 espacialmente conteúdo virtual com um espaço físico de trabalho em uma tela que usa um dispositivo de imagem de realidade aumentada (AR) é proporcionada. A ferramenta de alinhamento inclui uma haste configurada para ser segurada por um operador, uma armação fixada à haste, e um apontador. A armação tem um lado dianteiro e um lado traseiro que é oposto ao lado dianteiro. A armação tem um marcador fiducial ao longo do lado dianteiro que é configurado para ser reconhecido pelo dispositivo de imagem AR. O apontador é disposto na parte detrás do lado traseiro da armação e se estende em afastamento a partir da armação a ponta do apontador na extremidade distal do apontador. A ponta é localizada em uma predeterminada posição fixada com relação ao marcador fiducial, de modo que o dispositivo de imagem AR determina uma posição da ponta dentro do espaço físico de trabalho por rastrear uma posição e uma orientação do marcador fiducial.
Breve Descrição dos Desenhos [0007] As referidas e outras características, aspectos, e vantagens da presente descrição se tornarão melhor entendidas quando a descrição detalhada a seguir for lida com referência aos desenhos em anexo nos quais numerais similares representam partes similares através dos desenhos, em que:
[0008] figura 1 ilustra um operador usando um sistema de alinhamento de conteúdo virtual em um espaço físico de trabalho de acordo com uma modalidade da presente descrição;
[0009] figura 2 é uma vista em perspectiva de uma ferramenta de alinhamento do sistema de alinhamento de conteúdo virtual de acordo com uma modalidade da presente descrição;
[0010] figura 3 é uma vista lateral da ferramenta de alinhamento de acordo com uma modalidade da presente descrição;
[0011] figura 4 ilustra um diagrama de bloco do sistema de alinhamento de conteúdo virtual de acordo com uma modalidade da
Petição 870180149017, de 07/11/2018, pág. 54/104
5/39 presente descrição;
[0012] figura 5 é um gráfico de fluxo de um método de alinhar conteúdo virtual com um espaço físico de trabalho em uma plataforma de realidade aumentada de acordo com uma modalidade da presente descrição;
[0013] figura 6 ilustra um dispositivo de tela que exibe um modelo virtual em um visor de tela de acordo com uma modalidade da presente descrição;
[0014] figura 7 ilustra um operador portando a ferramenta de alinhamento dentro de um espaço físico de trabalho de acordo com uma modalidade da presente descrição;
[0015] figura 8 ilustra um campo de visão de um dispositivo de imagem AR do sistema de alinhamento de conteúdo virtual que é usado pelo operador no espaço físico de trabalho mostrado na figura 7;
[0016] figura 9 ilustra uma vista em perspectiva dianteira de uma aeronave de acordo com uma modalidade da presente descrição; e [0017] figura 10 ilustra uma vista plana de topo de uma cabine interior da aeronave mostrada na figura 9 de acordo com uma modalidade da presente descrição.
Descrição Detalhada [0018] O sumário acima mencionado, assim como a descrição detalhada a seguir de determinadas modalidades serão melhor entendidas quando lidas em conjunto com os desenhos em anexo. Como usado aqui, um elemento ou etapa recitada no singular e precedido pelo termo a ou um deve ser entendido como não necessariamente excluindo o plural dos elementos ou etapas. Ademais, referências a uma modalidade não são pretendidas ser interpretadas como excluindo a existência das modalidades adicionais que também incorporam as características recitadas. Adicionalmente, a não ser que explicitamente determinado o contrário, as modalidades que
Petição 870180149017, de 07/11/2018, pág. 55/104
6/39 compreendem ou tendo um elemento ou uma pluralidade de elementos tendo uma propriedade particular pode incluir elementos adicionais não tendo essa propriedade.
[0019] Existe uma necessidade de um sistema e método que alinhe com precisão e eficiência o conteúdo virtual com o ambiente físico em uma plataforma de realidade aumentada, e pode ser usado para conteúdo virtual de qualquer tamanho sem afetar a precisão do alinhamento. Existe também uma necessidade para um sistema e método de alinhar precisamente um primeiro objeto virtual com o ambiente físico em uma plataforma de realidade aumentada, e pode ser usado para automaticamente e eficientemente alinhar objetos virtuais adicionais com o ambiente físico sem repetir o processo de alinhamento ou recalibrar.
[0020] Com as referidas necessidades em mente, determinadas modalidades da presente descrição proporcionam um sistema de alinhamento de conteúdo virtual para alinhar com precisão conteúdo virtual com um ambiente ou espaço de trabalho físico em uma plataforma de realidade aumentada. O termo espaço físico de trabalho é usado de modo amplo aqui para se referir a qualquer ambiente físico que pode ser rastreado ou mapeado por meio de um sistema de sensoriamento de dentro para fora em um dispositivo de imagem de realidade aumentada (AR) portado ou usado por um operador humano. Por exemplo, um espaço físico de trabalho pode ser um espaço confinado dentro de um veículo ou edifício que é parcialmente ou completamente encerrado por paredes, um piso, e/ou um telhado. Um espaço físico de trabalhopode também incluir espaços externos.
[0021] Como descrito em uma ou mais modalidades descritas aqui, o sistema de alinhamento de conteúdo virtual é configurado para visualmente rastrear uma ferramenta de alinhamento portátil customizada portada por um operador ao mesmo tempo em que o
Petição 870180149017, de 07/11/2018, pág. 56/104
7/39 operador usa a ferramenta de alinhamento para tocar locais particulares (por exemplo, locais de referência) no espaço físico de trabalho. Os locais de referência tocados pela ferramenta de alinhamento são particularmente selecionados pelo fato de que os locais de referência correspondem a pontos de referência associados em um modelo virtual, tal como um modelo virtual do local físico que gerou o uso de um programa de software em um dispositivo de computador. O sistema de alinhamento de conteúdo virtual é configurado para determinar coordenadas de posição dos locais físicos tocados pela ferramenta de alinhamento dentro de um sistema de coordenada físico ou espacial que mapeia o espaço físico de trabalho. Por comparar as coordenadas de posição dos locais de referência física dentro do sistema de coordenada espacial às coordenadas de posição dos pontos de referência virtuais associados dentro de um sistema de coordenada virtual, uma função de transferência é gerada para se adaptar ou alinhar o sistema de coordenada virtual com o sistema de coordenada espacial. A função de transferência pode ser usada para exibir conteúdo virtual em uma tela concomitantemente com uma visão ao vivo do espaço físico de trabalho, de modo que o conteúdo virtual é espacialmente registrado (por exemplo, alinhado) com o espaço físico de trabalho. A visão ao vivo pode ser proporcionada por um feed de vídeo ou por usar uma tela translúcida que permite que um usuário veja o espaço físico de trabalho através da tela.
[0022] Um efeito técnico das modalidades descritas aqui inclui um aprimorado corregistro de objetos vivos em um ambiente virtual. Um efeito técnico das modalidades descritas aqui inclui aprimorada redução em uma necessidade de tempo para alinhar conteúdo virtual em uma tela. Um efeito técnico das modalidades descritas aqui inclui a redução da dependência de uma habilidade de um operador para alinhar conteúdo virtual com um ambiente físico. Um efeito técnico das
Petição 870180149017, de 07/11/2018, pág. 57/104
8/39 modalidades aqui inclui mais precisamente e eficientemente alinhar conteúdo virtual com o ambiente físico em uma plataforma de realidade aumentada, e pode ser usado para conteúdo virtual de qualquer tamanho sem afetar a precisão do alinhamento. Um efeito técnico das modalidades descritas aqui inclui alinhar com precisão um primeiro objeto virtual com o ambiente físico em uma plataforma de realidade aumentada, e pode ser usado para automaticamente e eficientemente alinhar objetos virtuais adicionais com o ambiente físico sem repetir o processo de alinhamento ou de recalibrar.
[0023] A figura 1 ilustra um operador usando um sistema de alinhamento de conteúdo virtual 100 em um espaço físico de trabalho 102 de acordo com uma modalidade. O sistema de alinhamento de conteúdo virtual 100 (também referido aqui como sistema de alinhamento 100) inclui um dispositivo de imagem de realidade aumentada 104 (referido aqui como o dispositivo de imagem AR 104) e uma ferramenta de alinhamento 106. Na modalidade ilustrada, o operador está portando não só o dispositivo de imagem AR 104, mas também a ferramenta de alinhamento 106. Por exemplo, o dispositivo de imagem AR 104 é um dispositivo montado na cabeça usado na cabeça do operador, e a ferramenta de alinhamento 106 é portátil pelo operador. A ferramenta de alinhamento 106 tem uma haste 132 que é pega e segurada pelo operador para portar a ferramenta 106 dentro do espaço de trabalho 102. Na modalidade ilustrada, o dispositivo de imagem AR 104 inclui uma faixa ou tira 108 que engata e se estende em torno da cabeça do operador, mas em outras modalidades o dispositivo de imagem AR 104 pode incluir um capacete, um chapéu, membros de braço lateral (como em um óculos) com as respectivas peças de orelha, ou semelhante, em vez da faixa 108. O dispositivo de imagem AR 104 na modalidade ilustrada é também um dispositivo ótico transparente de modo que o dispositivo de imagem AR 104 inclui um
Petição 870180149017, de 07/11/2018, pág. 58/104
9/39 visor transparente ou translúcido 110 que cobre os olhos do operador. O dispositivo de imagem AR 104 não é, entretanto, limitado ao dispositivo montado na cabeças, e pode incluir outros dispositivos usáveis, portáteis, e/ou móveis, tais como computador tipo tablet, smartphones, smartwatches e semelhante que são configurados para utilizar sistemas de rastreamento de dentro para fora para plataformas de realidade aumentada. Em uma modalidade alternativa, um primeiro operador pode portar a ferramenta de alinhamento 106 no espaço físico de trabalho 102, e um segundo operador pode usar ou portar o dispositivo de imagem AR 104 no espaço físico de trabalho 102.
[0024] O dispositivo de imagem AR 104 é configurado para realizar rastreamento de posição de dentro para fora. Por exemplo, o dispositivo de imagem AR 104 inclui um ou mais sensores 406 (mostrado na figura 4), tal como uma ou mais câmeras de imagem/vídeo, localizadores de alcance (por exemplo, sensores de proximidade), sensores de infravermelho (IR), ou semelhante. À medida que o operador usa ou porta o dispositivo de imagem AR 104 dentro do espaço físico de trabalho 102, os sensores 406 coletam dados de sensor (por exemplo, dados de imagem e/ou dados de proximidade) do espaço de trabalho 102. O dispositivo de imagem AR 104 inclui um ou mais processadores 410 (mostrado na figura 4) que analisa os dados de sensor para inferir a posição e a orientação do dispositivo de imagem AR 104 (e o operador) com relação ao espaço de trabalho 102. O espaço físico de trabalho 102 pode estar dentro da fuselagem 120 de uma aeronave que tem um formato cilíndrico formado por uma série de membros de armação curvos 122. A fuselagem 120 na modalidade ilustrada também inclui um piso 124, uma janela 126, e uma parede traseira 128 que definem uma porta de entrada 130. À medida que o operador se move dentro da fuselagem 120, o dispositivo de imagem AR 104 é configurado para rastrear mudanças nas proximidades e ângulo do dispositivo de
Petição 870180149017, de 07/11/2018, pág. 59/104
10/39 imagem AR 104 com relação a determinadas características da fuselagem 120, tal como para a porta de entrada 130 e/ou a janela 126. Com base nas mudanças percebidas na fuselagem 120 ao se circundar o dispositivo de imagem AR 104, o dispositivo de imagem AR 104 calcula o movimento (por exemplo, translação e/ou rotação) do operador e determina a posição atual e a orientação do operador dentro da fuselagem 120. O dispositivo de imagem AR 104 pode realizar o rastreamento de posição de dentro para fora À medida que os sensores 406 observam a partir da posição do operador (por exemplo, a partir do lado de dentro) para fora em direção do espaço de trabalho circundante 102.
[0025] O dispositivo de imagem AR 104 é também configurado para exibir conteúdo virtual para o operador por superpor o conteúdo virtual em uma tela que mostra uma visão ao vivo do ambiente ou espaço de trabalho físico. O conteúdo virtual pode ser, ou de outro modo incluir, imagens, símbolos, glifos, objetos tridimensionais, ou semelhante. O dispositivo de imagem AR 104 pode ser um dos vários dispositivos específicos de realidade aumentada conhecidos no mercado, tal como o Microsoft™ Hololens™, o DAQRI™ Smart Helmet™, o Meta™ Meta II™, ou semelhante. Alternativamente, como descrito acima, o dispositivo de imagem AR 104 pode ser um computador tipo tablet, smartphone, ou semelhante que tem os sensores e capacidade de processamento para realizar rastreamento de posição de dentro para fora para plataformas de realidade aumentada. Em uma modalidade, a visão ao vivo pode ser proporcionada por superpor o conteúdo virtual em uma tela transparente ou translúcida que funciona similar a lentes de óculos, de modo que o operador é capaz de ver o mundo real através da tela. Em outra modalidade, a visão ao vivo pode ser proporcionada por exibir um feed de vídeo ao vivo do ambiente circunvizinho em um dispositivo de tela.
Petição 870180149017, de 07/11/2018, pág. 60/104
11/39 [0026] Embora a realidade aumentada tenha numerosas aplicações, uma ou mais das referidas aplicações utiliza realidade aumentada para fins de instrução para guiar um operador durante a tarefa. A tarefa pode se referir a fabricação, construção, manutenção, inspeção, treinamento, reparos, e semelhante. Por exemplo, realidade aumentada pode ser usada para guiar tarefas de trabalho complexo e/ou difícil por exibir de modo seletivo informação de instrução virtual que guia o operador através da tarefa. Usar realidade aumentada para guiar tarefas complexas e/ou difíceis pode aumentar a produtividade do trabalho e reduzir os custos por reduzir o número de erros e a duração da tarefa. Entretanto, se o conteúdo virtual não se alinhar adequadamente com o ambiente físico, a cena aumentada pode complicar ainda mais a tarefa. Por exemplo, o operador pode ser equivocado, ou pelo menos confundido, por conteúdo virtual de instrução que está desalinhado com o ambiente físico. O sistema de alinhamento 100 descrito aqui é configurado para alinhar de modo eficiente e preciso o conteúdo virtual com o espaço físico de trabalho em uma plataforma de realidade aumentada, o que garante que a informação virtual de instrução está espacialmente registrada de modo adequado com o espaço físico de trabalho em uma visão ao vivo exibida para o operador.
[0027] O dispositivo de imagem AR 104 é configurado para rastrear a ferramenta de alinhamento 106 dentro do espaço físico de trabalho 102. A ferramenta de alinhamento 106 inclui um marcador fiducial 112 que é usado pelo dispositivo de imagem AR 104 para rastrear a ferramenta de alinhamento 106. O marcador fiducial 112 é um indício gráfico, tal como uma cor, símbolo, imagem, texto, formato, código de barras, ou semelhante. Na modalidade ilustrada, o marcador fiducial 112 é um sinal de número (#). O dispositivo de imagem AR 104 é configurado (por exemplo, programado ou treinado) para reconhecer e
Petição 870180149017, de 07/11/2018, pág. 61/104
12/39 detectar o marcador fiducial 112 em dados de imagem capturada pelos um ou mais sensores 406. Ao se usar análise de imagem, o dispositivo de imagem AR 104 é também configurado para determinar a distância e orientação angular do marcador fiducial 112 com relação ao dispositivo de imagem AR 104. Por exemplo, o dispositivo de imagem AR 104 detecta a ferramenta de alinhamento 106 que se move em afastamento a partir do dispositivo de imagem AR 104 em resposta a um tamanho reduzido detectado do marcador fiducial 112 com relação ao tamanho do marcador fiducial 112 em dados de imagem anteriores. Em uma ou mais modalidades, o dispositivo de imagem AR 104 pode rastrear determinados objetos no espaço de trabalho 102 para determinar a posição e a orientação do dispositivo de imagem AR 104 dentro do espaço de trabalho 102, e pode rastrear o marcador fiducial 112 para determinar a posição e a orientação da ferramenta de alinhamento 106 com relação ao dispositivo de imagem AR 104. Com base nessa informação, o dispositivo de imagem AR 104 pode calcular a posição e a orientação do marcador fiducial 112 com relação ao espaço de trabalho 102.
[0028] A figura 2 é uma vista em perspectiva da ferramenta de alinhamento 106 de acordo com uma modalidade, mostrada sem o marcador fiducial 112 (Figura 1). A ferramenta de alinhamento 106 é usada para coletar locais de referência no espaço físico de trabalho 102 (Figura 1), como descrito em mais detalhes aqui. A ferramenta de alinhamento 106 inclui a haste 132, a armação 202, e um apontador 204. A armação 202 tem um lado dianteiro 206 e um lado traseiro 208 que é oposto ao lado dianteiro 206. O marcador fiducial 112 é configurado para ser montado ao longo do lado dianteiro 206 da armação 202. Por exemplo, o marcador fiducial 112 pode ser uma imagem em papel ou outro substrato que é montado ao lado dianteiro 206 da armação 202 por meio de um adesivo, um grampo, ou outro tipo
Petição 870180149017, de 07/11/2018, pág. 62/104
13/39 de prendedor. Em uma modalidade alternativa, o marcador fiducial 112 pode ser formado integralmente no lado dianteiro 206 da armação 202, tal como pintado no lado dianteiro 206, moldado ao longo do lado dianteiro 206, ou definido por retirar porções da armação 202 ao se circundar o marcador fiducial 112.
[0029] A armação 202 tem uma primeira extremidade 210 e uma segunda extremidade 212 que é oposta à primeira extremidade 210. A haste 132 é fixada à armação 202 na segunda extremidade 212 e se estende em afastamento a partir da armação 202 para a extremidade distal 214 da haste 132. Na modalidade ilustrada, a primeira extremidade 210 é a extremidade de topo da armação 202, e a segunda extremidade 212 é a extremidade de fundo. Como usado aqui, termos espaciais ou relativos tais como topo, fundo, dianteiro, traseiro, superior, e inferior são apenas usados para distinguir os elementos referenciados e não necessariamente requerem posições ou orientações particulares com relação à gravidade ou ao ambiente circunvizinho da ferramenta de alinhamento 106. Na modalidade ilustrada, a haste 132 é um eixo cilíndrico que se estende linearmente a partir da segunda (por exemplo, de fundo) extremidade 212 da armação 202 para a extremidade distal 214. A haste 132 opcionalmente tem um perímetro contornado para ergonomicamente acomodar a mão do operador. Em uma modalidade alternativa, a haste 132 pode ser curvada e/ou ter um diferente formato.
[0030] O apontador 204 é disposto na parte de trás do lado traseiro 208 da armação 202 e se estende em afastamento a partir da armação 202 para a extremidade distal 216 do apontador 204. O apontador 204 inclui a ponta 218 na extremidade distal 216 que se inclina a um ponto. O apontador 204 é mostrado em mais detalhes na figura 3.
[0031] A figura 3 é uma vista lateral da ferramenta de alinhamento 106 de acordo com uma modalidade. O apontador 204 na modalidade
Petição 870180149017, de 07/11/2018, pág. 63/104
14/39 ilustrada se estende linearmente a partir do lado traseiro 208 da armação 202 para a extremidade distal 216. Em uma modalidade, o apontador 204 se estende em geral perpendicular à orientação da haste 132. Por exemplo, o apontador 204 é em geral perpendicular à haste 132 de modo que o ângulo entre um eixo do apontador 204 e um eixo da haste 132 pode estar dentro de uma faixa de mais ou menos cinco ou dez graus a partir de um ângulo reto (por exemplo, entre 80°e 100°).
A ponta 218 do apontador 204 é fixada no lugar com relação à armação 202, e é localizada em uma predeterminada posição com relação à armação 202. Por exemplo, o apontador 204 pode se estender a uma predeterminada distância a partir da armação 202 a um predeterminado ângulo com relação ao plano do lado dianteiro 206 da armação 202, tal como 90 graus. Quando o marcador fiducial 112 é montado na armação 202, a ponta 218 do apontador 204 é localizada em uma predeterminada posição com relação ao marcador fiducial 112. Uma vez que a posição e a orientação do apontador 204 com relação ao marcador fiducial 112 é conhecida, o dispositivo de imagem AR 104 é configurado para determinar a posição da ponta 218 do apontador 204 dentro do espaço de trabalho 102 por rastrear a posição e a orientação do marcador fiducial 112. Em uma modalidade alternativa, o apontador 204 pode se estender na parte de trás diretamente a partir da haste 132 em vez de a partir da armação 202.
[0032] Em uma modalidade, a ferramenta de alinhamento 106 tem uma composição de material que inclui um ou mais plásticos ou outros materiais poliméricos. A ferramenta de alinhamento 106 pode ser composta de um ou mais metais ou outros materiais em outras modalidades. A haste 132, o apontador 204, e a armação 202 podem ser integralmente formadas um com o outro durante um processo de moldagem comum, ou podem ser formados separadamente e subsequentemente montados para definir a ferramenta de
Petição 870180149017, de 07/11/2018, pág. 64/104
15/39 alinhamento 106.
[0033] Com referência de volta agora à figura 2, a ferramenta de alinhamento 106 na modalidade ilustrada inclui um botão de seleção 220 na haste 132. O botão de seleção 220 é configurado para ser engatilhado por um polegar ou outro dedo do operador ao mesmo tempo em que segura a haste 132. O operador pode engatilhar o botão 220 por pressionar o botão 220 radialmente para dentro em direção do interior da haste cilíndrica 132. O botão de seleção 220 é opcional, e uma ou mais modalidades alternativas da ferramenta de alinhamento 106 podem ser desprovidas do botão 220.
[0034] A figura 4 ilustra um diagrama de bloco do sistema de alinhamento de conteúdo virtual 100 de acordo com uma modalidade. O diagrama de bloco mostrado na figura 4 mostra um exemplo não limitante da modalidade dos subcomponentes dentro do sistema de alinhamento 100. O sistema de alinhamento 100 em outras modalidades pode incluir menos componentes, componentes adicionais, e/ou diferentes componentes do que os componentes ilustrados na figura 4. [0035] A ferramenta de alinhamento 106 inclui o botão de seleção 220 e circuito associado, um processador 402, e um circuito de comunicação sem fio 404. O processador 402 e o circuito de comunicação sem fio 404 podem ser contidos dentro da haste 132 (mostrada na figura 3) da ferramenta de alinhamento 106. O processador 402 é configurado para controlar a operação do circuito de comunicação sem fio 404. O circuito de comunicação sem fio 404 pode incluir uma antena e circuito associado para gerar sinais de radiofrequência sem fio para comunicar (por exemplo, transmitir e/ou difusão) para o dispositivo de imagem AR 104 e/ou outro dispositivo de computador. Por exemplo, o circuito de comunicação sem fio 404 pode incluir um transceptor, um transmissor, ou semelhante. Em uma ou mais modalidades, que respondem ao operador que ativa (por exemplo,
Petição 870180149017, de 07/11/2018, pág. 65/104
16/39 pressiona, alterna, gira, etc.) o botão de seleção 220, o processador 402 controla o circuito de comunicação sem fio 404 para gerar e comunicar sem fio um sinal de comando de aquisição de dados ao dispositivo de imagem AR 104. O circuito de comunicação sem fio 404 pode comunicar o sinal de comando de aquisição de dados de acordo com a protocolo de comunicação sem fio, tal como o padrão da tecnologia Bluetooth® ou semelhante. Em uma modalidade, um sinal de comando de aquisição de dados é comunicado pelo circuito de comunicação sem fio 404 a cada vez que o botão de seleção 220 é engatilhado. O sinal de comando de aquisição de dados pode ser um sinal eletromagnético que compreende dados ou informação que indica ao dispositivo de imagem AR 104 que o botão de seleção 220 foi ativado.
[0036] O dispositivo de imagem AR 104 inclui os um ou mais sensores 406, uma unidade de controle 408 com os um ou mais processadores 410 e uma memória 412, um dispositivo de tela 414, e um circuito de comunicação sem fio 416. Os sensores 406 podem incluir uma ou mais câmeras de imagem/vídeo, localizadores de alcance (por exemplo, sensores de proximidade), sensores de infravermelho (IR), ou semelhante. Os sensores 406 são usados para monitorar o ambiente circunvizinho do dispositivo de imagem AR 104, o que permite um rastreamento de posição do dispositivo de imagem AR 104 no ambiente assim como rastrear o marcador fiducial 112 (Figura 1) da ferramenta de alinhamento 106.
[0037] O um ou mais processadores 410 de a unidade de controle 408 podem controlar a operação de pelo menos alguns dos diferentes componentes do dispositivo de imagem AR 104. Cada um dos um ou mais processadores 410 pode incluir um microprocessador, um controlador, ou circuito de controle equivalente. A memória 412 pode incluir ou representar um dispositivo de armazenamento físico, não transitório, que pode ser lido por computador que armazena os dados
Petição 870180149017, de 07/11/2018, pág. 66/104
17/39 em base temporária ou permanente para uso pelos processadores 410 e/ou para comunicação remota. Por exemplo, os um ou mais processadores 410 podem operar com base em instruções programadas (por exemplo, software) que são armazenados na memória 412 ou outro meio de armazenamento não transitório que pode ser lido por computador. A memória 412 pode incluir um ou mais dispositivos de memória volátil e/ou não volátil, tais como memória de acesso aleatório (RAM), memória de acesso aleatório estática (SRAM), RAM dinâmica (DRAM), outro tipo de RAM, memória de apenas leitura (ROM), memória flash ou semelhante. A memória 412 pode ser configurada para armazenar, pelo menos temporariamente, os dados coletados pelos sensores 406. Por exemplo, a memória 412 pode armazenar dados de imagem capturados por uma ou mais câmeras no dispositivo de imagem AR 104. A memória 412 pode também ser usada para armazenar dados de mapeamento que representam um mapa de base coordenada espacial do ambiente circunvizinho (por exemplo, o espaço físico de trabalho 102 mostrado na figura 1). A memória 412 pode também armazenar dados de posição que representam coordenadas de um ou mais locais específicos no mapa espacial do ambiente. A unidade de controle 408 é conectada em modo de operação (por exemplo, por meio de um trajeto de comunicação com fio ou sem fio) aos sensores 406, um dispositivo de tela 414, e o circuito de comunicação sem fio 416.
[0038] O circuito de comunicação sem fio 416 é configurado para remotamente comunicar sem fio (por exemplo, transmitir e/ou difundir) com a ferramenta de alinhamento 106, tal como para receber o sinal de comando de aquisição de dados a partir da ferramenta de alinhamento 106. O circuito de comunicação sem fio 416 pode também ser configurado para se comunicar com outro dispositivo, tal como um dispositivo de computador remoto. O circuito de comunicação sem fio
Petição 870180149017, de 07/11/2018, pág. 67/104
18/39
416 pode incluir uma antena e circuito associado, tal como um receptor, um transceptor, ou semelhante.
[0039] Um dispositivo de tela 414 pode ser integrado no visor transparente ou translúcido 110 (mostrado na figura 1) do dispositivo ótico transparente de imagem AR 104. Em uma modalidade alternativa na qual o dispositivo de imagem AR 104 é um computador tipo tablet, um smartphone, ou semelhante, um dispositivo de tela 414 pode ser um monitor ou um visor de tela de toque do dispositivo de imagem AR 104. Em uma modalidade, os um ou mais processadores 410 podem ser configurados para exibir conteúdo de realidade aumentada em um dispositivo de tela 414, tal como um objeto virtual superposto sobre um feed de vídeo ao vivo que mostra o espaço físico de trabalho 102 (Figura
1) ao se circundar o operador. O objeto virtual pode ser exibido em três dimensões.
[0040] É reconhecido que os sensores 406, dispositivo de tela 414, e circuito de comunicação 416 mostrado na figura 4 são meramente exemplos de componentes do dispositivo de imagem AR 104, e a unidade de controle 408 pode ser conectada em modo de operação a componentes adicionais, menos componentes, e/ou diferentes componentes em outras modalidades.
[0041] A figura 5 é um gráfico de fluxo de um método 500 de alinhar conteúdo virtual com um espaço físico de trabalho em uma plataforma de realidade aumentada de acordo com uma modalidade. O método 500 pode ser realizado pelo sistema de alinhamento 100, ou componentes do mesmo, mostrado nas figuras 1-4. Por exemplo, o método 500 pode ser realizado inteiramente, ou em parte, pelos um ou mais processadores 410 do dispositivo de imagem AR 104. Em 502, a seleção de pontos de referência virtual dentro de um modelo virtual é recebida. Os pontos de referência virtual são pontos distintos espaçados entre si do modelo virtual. Em uma modalidade, pelo menos três pontos
Petição 870180149017, de 07/11/2018, pág. 68/104
19/39 de referência virtual são selecionados. Pelo menos alguns dos pontos de referência não estão localizados em uma única linha comum. O modelo virtual pode ser um modelo de desenho auxiliado a computador (CAD). O modelo virtual pode representar um espaço físico de trabalho, tal como uma aeronave, um edifício, uma instalação industrial, ou semelhante. Os pontos de referência virtual cada um dos quais tem coordenadas de posição únicas dentro de um sistema de coordenada virtual ou armação de referência. Em uma modalidade, as coordenadas de posição são coordenadas tridimensionais de posição definidas ao longo de três eixos mutuamente perpendiculares dentro do sistema de coordenada virtual. Em uma modalidade, os pontos de referência virtual são selecionados por um operador usando um dispositivo de computador que é separado e remoto a partir do dispositivo de imagem AR 104. Os pontos de referência virtual podem ser recebidos a partir do dispositivo de computador remoto pelo circuito de comunicação sem fio 416 (Figura 4) do dispositivo de imagem AR 104. Alternativamente, os pontos de referência virtual no modelo virtual podem ser selecionados por um operador usando um dispositivo de tela 414 que é integrado no dispositivo de imagem AR 104. Em outra modalidade alternativa, os pontos de referência virtual podem ser selecionados automaticamente por meio do dispositivo de imagem AR 104 ou de um dispositivo de computador remoto.
[0042] A figura 6 ilustra um dispositivo de tela 602 que exibe um modelo virtual 604 em um visor de tela 606 de acordo com uma modalidade. Em uma modalidade, um dispositivo de tela 602 é remoto a partir do dispositivo de imagem AR 104 e usado por um operador para selecionar os três ou mais pontos de referência virtual no modelo virtual 604. Por exemplo, um dispositivo de tela 602 pode ser um computador tipo tablet, e um visor de tela 606 pode ser uma tela sensível ao toque. Um dispositivo de tela 602 pode ser distinto a partir do sistema de
Petição 870180149017, de 07/11/2018, pág. 69/104
20/39 alinhamento 100, e pode não ser necessário para receber a seleção de pontos de referência virtual em 502 do método 500. Em outra modalidade, um dispositivo de tela 602 pode representar um dispositivo de tela 414 (Figura 4) do dispositivo de imagem AR 104, de modo que o modelo virtual 604 é exibido no dispositivo de imagem AR 104.
[0043] Na modalidade ilustrada, o modelo virtual 604 representa um espaço interior dentro de uma aeronave, que inclui uma parede 608, a telhado 610, e vários componentes montado to a parede 608 e o telhado 610. Os componentes incluem dispositivos elétricos 612 e a feixe de fios 614. O feixe de fios 614 inclui múltiplos cabos elétricos 616 usados para eletricamente conectar os dispositivos elétricos 612. Três pontos de referência virtual 618, 620, 622 são ressaltados no visor de tela 606 em diferentes locais no modelo virtual 604. Por exemplo, um primeiro ponto de referência virtual 618 é localizado em um canto de um dispositivo elétrico 612 montado ao telhado 610. Um segundo ponto de referência virtual 620 é localizado em uma extremidade de um prendedor 624 montado na parede 608 que fixa um dos cabos elétricos 616 no lugar. Um terceiro ponto de referência virtual está localizado em um canto de um dispositivo elétrico 612 montado na parede 608. Um dispositivo de tela 602 mostra as coordenadas de posição de cada um dos pontos de referência virtual 618, 620, 622 próximo aos pontos 618, 620, 622. Os três eixos no sistema de coordenada virtual são identificados como A, B, e C. Os três eixos podem representar um eixo vertical, um eixo horizontal ou um eixo lateral, e um eixo longitudinal ou de profundidade. Alternativamente, os eixos podem representar eixos de aeronave, tal como uma linha de junta, uma linha de água e uma linha de estação. O primeiro ponto de referência 618 tem coordenadas de posição (A1, B1, C1), o segundo ponto de referência 620 tem coordenadas de posição (A2, B2, C2), e o terceiro ponto de referência 622 tem coordenadas de posição (A3, B3, C3). Em uma modalidade, os pontos de referência virtual
Petição 870180149017, de 07/11/2018, pág. 70/104
21/39 podem ser espaçados um a partir do outro por uma distância de pelo menos um metro, e opcionalmente pode ser separado por distâncias de pelo menos dois ou mais metros.
[0044] Com referência agora de volta ao método 500 na figura 5, em 504 um espaço físico de trabalho é mapeado para gerar um sistema de coordenada físico. Por exemplo, o dispositivo de imagem AR 104 pode ser configurado para espacialmente mapear o espaço físico de trabalho no qual o dispositivo de imagem AR 104 é localizado com base em dados de sensor recebidos a partir dos sensores 406. Por exemplo, à medida que o operador com o dispositivo de imagem AR 104 se move em torno de dentro do espaço físico de trabalho, o dispositivo de imagem AR 104 pode ser configurado para mapear as circunvizinhanças e gerar um sistema de coordenada físico ou armação de referência que representa o espaço físico de trabalho. O sistema de coordenada físico pode ser com base em uma posição do dispositivo de imagem AR 104. Por exemplo, o mapeamento estabelece uma relação entre a posição do dispositivo de imagem AR 104 e as posições de objetos específicos da vida real dentro do ambiente circunvizinho de modo que, com o mapeamento o espaço físico de trabalho, os objetos da vida real são atribuídos com coordenadas específicas de posição dentro do sistema de coordenada físico. O operador que usa o dispositivo de imagem AR 104 opcionalmente pode ser o mesmo operador que seleciona os pontos de referência virtual dentro do modelo virtual em 502.
[0045] Em 506, um marcador fiducial de uma ferramenta de alinhamento portada por um operador é rastreado dentro do espaço físico de trabalho que é mapeado. Por exemplo, a figura 7 ilustra um operador portando a ferramenta de alinhamento 106 dentro de um espaço físico de trabalho 702 de acordo com uma modalidade. O espaço físico de trabalho 702 na modalidade ilustrada é um espaço
Petição 870180149017, de 07/11/2018, pág. 71/104
22/39 interior dentro de uma aeronave. A aeronave pode estar em um estado incompleto, de modo que o espaço interior está sob construção. O espaço físico de trabalho 702 corresponde ao modelo virtual 604 mostrado na figura 6. Por exemplo, o modelo virtual 604 pode ser uma representação virtual do espaço físico de trabalho 702 no estado completo. O espaço físico de trabalho 702 inclui uma parede 704 e um telhado 706. Há diversos dispositivos elétricos 708 e prendedores 710 montados na parede 704 e no telhado 706, mas não há nenhum feixe de fios no estado intermediário.
[0046] Como mostrado na figura 7, o operador usa o dispositivo de imagem AR 104 e segura a ferramenta de alinhamento 106. Os sensores 406 (Figura 4) do dispositivo de imagem AR 104 são configurados para rastrear o marcador fiducial 112 da ferramenta de alinhamento 106 dentro do espaço físico de trabalho 702. Em uma modalidade, o operador move a ferramenta de alinhamento 106 de modo que a ponta 218 do apontador 204 é localizada em cada um de múltiplos locais de referência no espaço físico de trabalho 702 que são associados com os pontos de referência virtual 618, 620, 622 a partir do modelo virtual 604 mostrado na figura 6. Por exemplo, na figura 7, o operador posiciona a ferramenta de alinhamento 106 de modo que a ponta 218 é disposta em um local de referência 714 na extremidade de um prendedor 710 na parede 704. O local de referência 714 é um segundo local de referência que é associado com o segundo ponto de referência virtual 620 no prendedor 624 montado na parede 608 do modelo virtual 604 (mostrado na figura 6).
[0047] Com referência de volta à figura 5, em 508, uma determinação é feita se uma seleção do operador é recebida. A seleção do operador pode ser um sinal elétrico, um comando audível, um gesto, ou semelhante, comunicado ao dispositivo de imagem AR 104. A seleção do operador instrui o dispositivo de imagem AR 104 para coletar
Petição 870180149017, de 07/11/2018, pág. 72/104
23/39 e registrar as coordenadas de posição do local atual da ponta 218 do apontador 204. Por exemplo, a seleção do operador pode ser o sinal de comando de aquisição de dados comunicado a partir do circuito de comunicação 404 (Figura 4) da ferramenta de alinhamento 106 que responde ao operador que pressiona o botão de seleção 220. Alternativamente, a seleção do operador pode ser um comando de voz específico do operador que é recebido por um microfone (não mostrado) no dispositivo de imagem AR 104, ou semelhante. Se nenhuma seleção do operador é recebida, o fluxo do método 500 retorna para 506, e o marcador fiducial 112 continua a ser rastreado.
[0048] Se, por outro lado, a seleção do operador é recebida, então o fluxo do método 500 prossegue para 510. Em 510, as coordenadas de posição do apontador 204 da ferramenta de alinhamento 106 são coletados no local de referência. Por exemplo, com referência à figura 7, em resposta ao operador que pressiona o botão de seleção 220 na ferramenta de alinhamento 106, o dispositivo de imagem AR 104 pode ser configurado para coletar e registrar as coordenadas de posição que corresponde ao local atual da ponta 218 do apontador 204. O dispositivo de imagem AR 104 pode determinar o local da ponta 218 no espaço físico de trabalho 702 com base em análise de imagem para determinar a distância e a orientação do marcador fiducial 112 com relação ao dispositivo de imagem AR 104. A posição da ponta 218 com relação ao marcador fiducial 112 é predeterminada e conhecida, o que permite que o dispositivo de imagem AR 104 determine a posição relativa da ponta 218 para o dispositivo de imagem AR 104. O dispositivo de imagem AR 104 usa o rastreamento de posição de dentro para fora para determinar a posição atual e a orientação angular do dispositivo de imagem AR 104 dentro do espaço físico de trabalho 702, e por extensão determina a posição atual da ponta 218.
[0049] A posição da ponta 218 é determinada em coordenadas de
Petição 870180149017, de 07/11/2018, pág. 73/104
24/39 posição dentro do sistema de coordenada físico mapeado pelo dispositivo de imagem AR 104. Na modalidade ilustrada, o sistema de coordenada físico é tridimensional e inclui três eixos mutuamente perpendiculares representados por X, Y, e Z. Os eixos X, Y, e Z podem representar eixos de coordenada da aeronave, tal como linha de junta, linha de água, e linha de estação. As coordenadas de posição do segundo local de referência 714 que apontam para o prendedor 710 mostrado na figura 7 são determinadas para ser (X2, Y2, Z2). O dispositivo de imagem AR 104 pode registrar as coordenadas de posição do segundo local de referência 714 dentro da memória 412 (Figura 4) ou de outro dispositivo de armazenamento.
[0050] Após coletar as coordenadas de posição do local de referência, o método 500 prossegue para 512 e uma determinação é feita de se repetir para outro local de referência. O processo de coleta pode ser repetido para coletar as coordenadas de posição de cada local de referência que é associado com um dos pontos de referência virtual selecionados no modelo virtual recebido em 502. Por exemplo, o processo de coleta é repetido para coletar as coordenadas de posição em cada local de referência no espaço físico de trabalho 702 associado com os pontos de referência virtual 618, 620, 622 mostrados na figura
6. Por exemplo, o processo de coleta pode repetir até que as coordenadas de posição em três ou mais locais de referência no espaço físico de trabalho 702 sejam coletados.
[0051] Com referência à figura 7, após coletar as coordenadas de posição no segundo local de referência 714, o operador pode mover a ferramenta de alinhamento 106 dentro do espaço físico de trabalho 702 em direção de outro local de referência 716 que é associado com o terceiro ponto de referência virtual 622 no modelo virtual 604. O operador move a ferramenta de alinhamento 106 de modo que a ponta 218 do apontador 204 se encontra em um canto do dispositivo elétrico
Petição 870180149017, de 07/11/2018, pág. 74/104
25/39
708 na parede 704 que corresponde ao dispositivo elétrico 612 montado na parede 608 no modelo virtual 604 mostrado na figura 6. O dispositivo de imagem AR 104 continua a rastrear o marcador fiducial 112 (em 506), e em resposta ao recebimento da seleção do operador (em 508), determina as coordenadas de posição do local de referência 716 dentro do sistema de coordenada físico. Por exemplo, as coordenadas de posição para o terceiro local de referência 716 são mostradas como (X3, Y3, Z3). O processo de coleta é repetido mais uma vez para coletar as coordenadas de posição em um primeiro local de referência 718 que é associado com o primeiro ponto de referência virtual 618 no modelo virtual 604. As coordenadas no primeiro local de referência 718 são (X1, Y1, Z1). As coordenadas de posição dos locais de referência física 714, 716, 718 podem ser coletadas em qualquer ordem (desde que cada um dos locais de referência física 714, 716, 718 seja associado com o ponto de referência virtual correspondente 620, 622, 618).
[0052] Com referência ao método 500 na figura 5, uma vez que as coordenadas de posição de cada um dos locais de referência 714, 716, 718 que correspondem aos diferentes pontos de referência virtual 618, 620, 622 são determinadas, o método 500 prossegue para 514 e as coordenadas de posição dos locais de referência física são agrupadas com as coordenadas de posição dos pontos de referência virtual correspondentes. Por exemplo, o um ou mais processadores 410 do dispositivo de imagem AR 104 podem agrupar as coordenadas de posição (A1, B1, C1) do primeiro ponto de referência virtual 618 no modelo virtual 604 com as coordenadas de posição (X1, Y1, Z1) do primeiro local de referência 718 no espaço físico de trabalho 702. Os um ou mais processadores 410 também agrupam as coordenadas de posição (A2, B2, C2) com as coordenadas (X2, Y2, Z2), e as coordenadas de posição (A3, B3, C3) com as coordenadas (X3, Y3, Z3). É reconhecido que as coordenadas de posição dos pontos de referência virtual 618,
Petição 870180149017, de 07/11/2018, pág. 75/104
26/39
620, 622 são definidas dentro do sistema de coordenada virtual, que é diferente do que o sistema de coordenada físico na qual as coordenadas de posição dos locais de referência física 714, 716, 718 são definidos. [0053] Em 516, uma função de transferência é gerada para se adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física. Por exemplo, os um ou mais processadores 410 do dispositivo de imagem AR 104 podem utilizar um algoritmo, tal como um algoritmo de ajuste de quadrados mínimos ou semelhante, aos pares de ponto. Os um ou mais processadores 410 podem determinar uma transformação ou função de transferência que inclui rotação e translação do sistema de coordenada virtual de modo a reduzir os erros entre pares de ponto individual, e desse modo alinhar ou espacialmente registrar o sistema de coordenada virtual ao sistema de coordenada físico.
[0054] Em 518, o modelo virtual 604 mostrado na figura 6 e/ou outro conteúdo virtual é exibido de acordo com a função de transferência de modo que o modelo virtual e/ou conteúdo se alinha com o espaço físico de trabalho na tela. Por exemplo, pelo menos uma porção do modelo virtual 604 pode ser superposta em uma visão ao vivo do espaço físico de trabalho. Embora o modelo virtual 604 seja usado para gerar uma função de transferência, a função de transferência pode ser usada para exibir conteúdo virtual que é diferente a partir do modelo virtual 604 em vez de, ou em adição a exibir o modelo virtual 604. O modelo virtual 604 e/ou outro conteúdo virtual pode ser exibido como imagens ou objetos tridimensionais. A tela pode ser um dispositivo de tela 414 que é integrado no visor 110 do dispositivo de imagem AR 104 e visto pelo operador que está usando o dispositivo de imagem AR 104. Alternativamente, o modelo virtual 604 e/ou outro conteúdo virtual pode ser exibido em um dispositivo de tela distinto e separado em vez de, ou em adição a exibir
Petição 870180149017, de 07/11/2018, pág. 76/104
27/39 o conteúdo virtual no dispositivo de tela integrado 414.
[0055] Por exemplo, a figura 8 ilustra um campo de visão 802 do dispositivo de imagem AR 104 usado pelo operador no espaço físico de trabalho 702 mostrado na figura 7. O campo de visão 802 indica o que o operador vê no dispositivo de tela integrado 414 (Figura 4) do dispositivo de imagem AR 104. O campo de visão 802 mostra o espaço físico de trabalho 702 no estado intermediário, como mostrado na figura 7, com a adição do feixe de fios 614 do modelo virtual 604 mostrado na figura 6. Por exemplo, o espaço físico de trabalho 702 no campo de visão 802 pode ser um feed de vídeo ao vivo, e o feixe de fios 614 pode ser uma imagem ou objeto tridimensional virtual que é superposto no feed de vídeo ao vivo. O feixe de fios virtual 614 é mostrado em linhas pontilhadas na figura 8. O feixe de fios virtual 614 é superposto por aplicar a função de transferência para alinhar e espacialmente registrar o feixe de fios 614 a partir do sistema de coordenada virtual para o sistema de coordenada físico. Como mostrado na figura 8, o feixe de fios virtual 614 se alinha precisamente com os dispositivos elétricos 708 e os prendedores 710 no espaço físico de trabalho 702, embora o feixe de fios 614 seja virtual (por exemplo, não fisicamente localizado no espaço físico de trabalho 702). Por exibir o feixe de fios 614 no espaço físico de trabalho 702 durante a construção do espaço físico de trabalho 702, o dispositivo de imagem AR 104 pode instruir o operador de como instalar cabos elétricos atuais de vida real de um feixe de fios dentro do espaço físico de trabalho 702.
[0056] É reconhecido que a função de transferência gerada em 516 do método 500 pode ser usada para exibir conteúdo virtual adicional diferente de o modelo virtual 604. Por exemplo, embora os pontos de referência virtual usados para gerar a função de transferência tenham sido selecionados a partir do modelo virtual, a função de transferência pode ser usada para alinhar qualquer conteúdo virtual que usa o sistema
Petição 870180149017, de 07/11/2018, pág. 77/104
28/39 de coordenada virtual com o sistema de coordenada físico do espaço físico de trabalho. A função de transferência calibra o sistema de coordenada virtual para o sistema de coordenada físico. Uma vez que a calibragem é conhecida, a função de transferência pode ser aplicada a outros modelos virtuais que representam diferentes partes de uma aeronave, por exemplo, de modo a espacialmente registrar conteúdo virtual a partir dos referidos outros modelos virtuais com o espaço físico de trabalho.
[0057] Com referência de volta à figura 5, em 520 é determinado se o operador se moveu dentro do espaço físico de trabalho. Por exemplo, os sensores 406 (Figura 4) do dispositivo de imagem AR 104 continuamente monitoram a posição do dispositivo de imagem AR 104 dentro do espaço físico de trabalho usando rastreamento de posição de dentro para fora. Com base em um rastreamento de posição, o dispositivo de imagem AR 104 pode determinar quando o operador se move com relação ao espaço físico de trabalho, tal como por girar (por exemplo, girar) ou andar (por exemplo, transladar). Se é determinado que o operador se moveu, então o fluxo prossegue para 522 e a posição e/ou orientação do conteúdo virtual exibido é modificado. Por exemplo, com referência à figura 8, o dispositivo de imagem AR 104 é configurado para modificar a posição exibida e a orientação do feixe de fios virtual 614 com relação ao espaço físico de trabalho 702 com base na rotação e/ou translação percebida do dispositivo de imagem AR 104, de modo que o feixe de fios virtual 614 aparece realístico para o operador no campo de visão 802. Por exemplo, o dispositivo de imagem AR 104 pode determinar a posição e a orientação angular atualizada do dispositivo de imagem AR 104 dentro do sistema de coordenada físico, e pode realizar mudanças similares à posição e à orientação do conteúdo virtual (por exemplo, o feixe de fios 614) uma vez que o conteúdo virtual já está espacialmente registrado dentro do sistema de
Petição 870180149017, de 07/11/2018, pág. 78/104
29/39 coordenada físico.
[0058] É reconhecido que quaisquer mudanças em como o conteúdo virtual é exibido são baseadas unicamente em um rastreamento de posição do dispositivo de imagem AR 104 com relação ao espaço físico de trabalho. Diferente de alguns métodos conhecidos para alinhar conteúdo virtual em uma plataforma de realidade aumentada, o sistema de alinhamento 100 descrito aqui não se baseia em rastrear uma posição e uma orientação de um marcador físico no espaço de trabalho para determinar como alinhar o conteúdo virtual com o espaço físico de trabalho. Por exemplo, os sistemas de AR que visualmente rastreiam um marcador designado no ambiente físico se baseiam em rastrear não só a posição, mas também a rotação do marcador. Mas, os sistemas de AR automatizados são propensos a rastrear erros, especialmente com relação a rotação do marcador. Os referidos erros de rastreio resultam em conteúdo virtual AR que está desalinhado com relação ao ambiente físico. Os erros de alinhamento de conteúdo virtual são ampliados para conteúdo virtual realizado a significantes distâncias (por exemplo, pelo menos três metros) a partir do marcador de origem em virtude de efeitos de braço de alavanca cada vez mais pronunciados (por exemplo, pequenos erros de rastreio são ampliados proporcionais à distância a partir do marcador). O sistema de alinhamento 100 descrito aqui não se baseiam em rastreamento de posição e de rotação de um marcador físico, de modo que o sistema de alinhamento 100 não sofre de desalinhamento do conteúdo virtual causado por erros de rastreio do marcador.
[0059] A figura 9 ilustra uma vista em perspectiva dianteira de uma aeronave 10 de acordo com uma modalidade da presente descrição. A aeronave 10 pode ser uma implementação da aeronave mostrada e descrita acima com referência às Figuras 7 e 8. A aeronave 10 inclui um sistema de propulsão 12 que pode incluir dois motores turbo jato com
Petição 870180149017, de 07/11/2018, pág. 79/104
30/39 indução de ar 14, por exemplo. Opcionalmente, o sistema de propulsão 12 pode incluir mais motores 14 do que os mostrados. Os motores 14 são portados pelas asas 16 da aeronave 10. Em outras modalidades, os motores 14 podem ser portados pela fuselagem 18 e/ou uma empenagem 20. A empenagem 20 pode também suportar estabilizadores horizontais 22 e um estabilizador vertical 24. A fuselagem 18 da aeronave 10 define uma cabine interior.
[0060] A figura 10 ilustra uma vista plana de topo de uma cabine interior 30 da aeronave 10 (mostrada na figura 9) de acordo com uma modalidade da presente descrição. A cabine interior 30 está dentro da fuselagem 18. Por exemplo, um ou mais membros de parede da fuselagem 62 pode definir a cabine interior 30. A cabine interior 30 inclui múltiplas seções ou zonas, que incluem uma seção dianteira 33, uma seção primeira classe 34, uma seção de classe executiva 36, uma estação de galeria dianteira 38, uma seção executiva 40 (por exemplo, uma seção de carrinho ou de economia expandida), uma seção de carrinho ou de economia padrão 42, e uma seção traseira 44, que pode incluir múltiplos lavatórios e estações de cozinha. Deve ser entendido que a cabine interior 30 pode incluir mais ou menos seções e zonas do que o mostrado. Por exemplo, a cabine interior 30 pode não incluir uma seção de primeira classe, e pode incluir mais ou menos estações de cozinha do que o mostrado. Cada uma das seções pode ser separada por uma área de transição de cabine 46, que pode incluir conjuntos divisores de classe. Conjuntos de compartimentos de arrumação suspensos podem ser posicionados através da cabine interior 30.
[0061] Como mostrado na figura 10, a cabine interior 30 inclui dois corredores 50 e 52 que levam à seção traseira 44. Opcionalmente, a cabine interior 30 pode ter menos ou mais corredores do que o mostrado. Por exemplo, a cabine interior 30 pode incluir um único corredor que se estende através do centro da cabine interior 30 que leva
Petição 870180149017, de 07/11/2018, pág. 80/104
31/39 a seção traseira 44. A cabine interior 30 inclui fileiras 53 de assentos 54 que se espalham através da cabine interior 30 e em geral se estende através dos corredores 50 e 52. Colunas 55, 57, e 59 de seções de assento se estendem perpendiculares às fileiras 53. Cada seção de assento pode incluir um ou mais assentos 54. As colunas 55, 57, e 59 em geral estão posicionadas paralelas aos corredores 50 e 52. Uma seção ou zona particular pode incluir qualquer número de colunas 55, 57, e 59 de seções de assento. Como mostrado na figura 10, pelo menos uma zona inclui três colunas 55, 57, e 59 de seções de assento. Entretanto, cada zona pode incluir mais ou menos do que três colunas. [0062] A cabine interior 30 pode ser construída usando uma ou mais modalidades do sistema de alinhamento 100 e método 500 de alinhar conteúdo virtual em uma plataforma de realidade aumentada descrito aqui. Por exemplo, um operador pode usar o dispositivo de imagem AR 104 e portar a ferramenta de alinhamento 106 dentro da fuselagem 10 durante a construção da fuselagem 10 e/ou a cabine interior 30 do mesmo. A parede 704 e o telhado 706 do espaço físico de trabalho 702 mostrado na figura 7 podem ser membros de parede da fuselagem 62 mostrada na figura 10.
[0063] Alternativamente, em vez de uma aeronave, modalidades do sistema de alinhamento 100 podem ser usadas com vários outros veículos (por exemplo, automóveis, ônibus, locomotivas e vagões de trens, embarcações, e espaçonaves), em instalações industriais, em residências e semelhante.
[0064] Com referência agora às figuras 1-10, as modalidades da presente descrição proporcionam um sistema de alinhamento de conteúdo virtual e método, assim como uma ferramenta de alinhamento usada pelo sistema durante o desempenho de método. As modalidades do sistema e método são configuradas para proporcionar alinhamento preciso de conteúdo virtual com o ambiente do mundo real em
Petição 870180149017, de 07/11/2018, pág. 81/104
32/39 plataformas de realidade aumentada. O sistema de alinhamento pode ser usado para conteúdo virtual de qualquer tamanho sem afetar a precisão do alinhamento. Por exemplo, o sistema e método geram uma função de transferência para calibrar o sistema de coordenada virtual com um sistema de coordenada físico do ambiente físico, de modo que o tamanho e a distância de um objeto virtual a partir de uma origem do sistema de coordenada físico não tem efeito na precisão do alinhamento. A função de transferência pode ser subsequentemente aplicada a conteúdo virtual adicional se alinhar com precisão o conteúdo virtual ao ambiente físico sem realizar mais uma vez o método de alinhamento. Por exemplo, o operador não precisa utilizar a ferramenta de alinhamento para coletar as coordenadas de posição de locais de referência física adicionais após gerar a função de transferência, à medida que a função de transferência pode ser usada para alinhar qualquer conteúdo virtual dentro do mesmo sistema de coordenada virtual para o ambiente físico.
[0065] Embora diversos termos espaciais e de direção, tais como topo, fundo, inferior, meio, lateral, horizontal, vertical, dianteiro e semelhante possam ser usados para descrever as modalidades da presente descrição, é entendido que os referidos termos são meramente usados com relação às orientações mostradas nos desenhos. As orientações podem ser invertidas, giradas, ou de outro modo mudadas, de modo que uma porção superior seja uma porção inferior, e viceversa, horizontal se torna vertical, e semelhante.
[0066] Como usado aqui, a estrutura, limitação, ou elemento que é configurado para realiza a tarefa ou operação é particularmente estruturalmente formado, construído, ou adaptado em um modo que corresponde à tarefa ou à operação. Por questões de maior clareza e de evitar dúvidas, um objetivo que é meramente capaz de ser modificado para realizar a tarefa ou operação não é configurado para
Petição 870180149017, de 07/11/2018, pág. 82/104
33/39 realizar a tarefa ou a operação como usado aqui.
[0067] Várias modalidades serão melhor entendidas quando lidas em conjunto com os desenhos em anexo. À medida que as figuras ilustram diagramas de blocos funcionais de várias modalidades, os blocos funcionais não são necessariamente indicativos de divisão entre circuito de hardware. Assim, por exemplo, um ou mais dos blocos funcionais (por exemplo, processadores, controladores ou memórias) podem ser implementados em uma única peça de hardware (por exemplo, um processador de sinal de objetivo geral ou memória de acesso aleatório, disco rígido ou semelhante) ou múltiplas peças de hardware. De modo similar, quaisquer programas podem ser programas independentes, podem ser incorporados como sub-rotinas em um sistema operacional, podem ser funções em um pacote de software instalado, e semelhante. Deve ser entendido que as várias modalidades não são limitadas aos arranjos e instrumentalidades mostradas nos desenhos.
[0068] Deve ser entendido que a descrição acima pretende ser ilustrativa e não restritiva. Por exemplo, as modalidades acima descritas (e/ou os aspectos das mesmas) podem ser usadas em combinação uma com a outra. Ademais, muitas modificações podem ser produzidas para adaptar uma situação particular ou material aos ensinamentos das várias modalidades da descrição sem se desviar a partir de seu âmbito. Embora as dimensões e os tipos de materiais descritos aqui sejam pretendidos definir os parâmetros das várias modalidades da descrição, as modalidades não são de modo algum limitantes e são exemplos de modalidades. Muitas outras modalidades serão aparentes para aqueles versados na técnica com a revisão da descrição acima. O âmbito das várias modalidades da descrição deve, portanto, ser determinado com referência às reivindicações em anexo, junto com o âmbito total de equivalentes aos quais as referidas reivindicações são intituladas. Nas
Petição 870180149017, de 07/11/2018, pág. 83/104
34/39 reivindicações em anexo, os termos que inclui e no qual são usados como os equivalentes em inglês simples dos respectivos termos que compreende e em que. Adicionalmente, os termos primeiro, segundo, e terceiro, etc. são usados meramente como marcações, e não se pretende impor exigências numéricas em seus objetos. Ademais, as limitações das reivindicações a seguir não são escritas em formato de meios-mais-função e não são pretendidos ser interpretados com base em 35 U.S.C. § 112(f), a não ser que e até que as referidas limitações da reivindicação expressamente utilizem a expressão significa para seguido de uma declaração de função sem estrutura adicional.
[0069] Esta descrição escrita utiliza exemplos para divulgar as várias modalidades da descrição, incluindo o melhor modo, e também para permitir a qualquer pessoa versada na técnica praticar as várias modalidades da descrição, incluindo a criação e a utilização de quaisquer dispositivos ou sistemas e quaisquer métodos incorporados. O âmbito patenteável das várias modalidades da descrição é definido pelas reivindicações, e pode incluir outros exemplos que ocorram para aqueles versados na técnica geral. É pretendido que estes outros exemplos estejam no âmbito das reivindicações, se os exemplos tiverem elementos estruturais que não diferem da linguagem literal das reivindicações, ou se os exemplos incluírem elementos estruturais equivalentes com diferenças não substanciais da linguagem literal das reivindicações.
[0070] Ademais, a descrição compreende modalidades de acordo com as cláusulas a seguir:
[0071] 1. Um sistema que compreende:
[0072] uma ferramenta de alinhamento tendo um apontador e um marcador fiducial, a ferramenta de alinhamento configurada para ser portada por um operador dentro de um espaço físico de trabalho; e
Petição 870180149017, de 07/11/2018, pág. 84/104
35/39 [0073] um dispositivo de imagem de realidade aumentada (AR) que inclui um ou mais sensores e um ou mais processadores, os um ou mais processadores configurados para rastrear o marcador fiducial no espaço físico de trabalho usando os um ou mais sensores, e determinar coordenadas de posição do apontador em locais de referência física dentro do espaço físico de trabalho com base em uma posição e uma orientação do marcador fiducial que é rastreada, os locais de referência física sendo associados com diferentes pontos de referência virtual dentro de um modelo virtual, [0074] em que os um ou mais processadores são adicionalmente configurados para gerar uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados, e exibir conteúdo virtual em uma tela de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.
[0075] 2. Sistema, de acordo com a cláusula 1, em que as coordenadas de posição dos locais de referência física são definidas ao longo de três eixos mutuamente perpendiculares em um sistema de coordenada espacial.
[0076] 3. Sistema, de acordo com a cláusula 1, em que os um ou mais processadores são configurados para gerar um sistema de coordenada espacial que mapeia o espaço físico de trabalho com base em dados de sensor adquiridos pelos um ou mais sensores, as coordenadas de posição do apontador nos locais de referência física sendo definidas dentro do sistema de coordenada espacial.
[0077] 4. Sistema, de acordo com a cláusula 1, em que o dispositivo de imagem AR é um dispositivo ótico transparente montado na cabeça configurada para ser usado pelo operador que porta a ferramenta de alinhamento dentro do espaço físico de trabalho, a tela
Petição 870180149017, de 07/11/2018, pág. 85/104
36/39 sendo integrada no dispositivo de imagem AR e visível para o operador que está usando o dispositivo de imagem AR.
[0078] 5. Sistema, de acordo com a cláusula 1, em que o espaço físico de trabalho é um espaço interior de uma aeronave, e o conteúdo virtual que é exibido na tela é a representação virtual de uma ou mais partes da aeronave.
[0079] 6. Sistema, de acordo com a cláusula 1, em que a ferramenta de alinhamento inclui um botão de seleção e um circuito de comunicação sem fio, a ferramenta de alinhamento configurada para comunicar sem fio um sinal de comando de aquisição de dados que responde ao operador que pressiona o botão de seleção.
[0080] 7. Sistema, de acordo com a cláusula 6, em que os um ou mais processadores do dispositivo de imagem AR são configurados para determinar as coordenadas de posição do apontador em cada um dos locais de referência física em resposta a receber o sinal de comando de aquisição de dados a partir da ferramenta de alinhamento.
[0081] 8. Sistema, de acordo com a cláusula 1, em que os locais de referência física incluem pelo menos três locais dentro do espaço físico de trabalho que são espaçados um a partir do outro por pelo menos dois metros.
[0082] 9. Sistema, de acordo com a cláusula 1, em que a ferramenta de alinhamento adicionalmente inclui uma armação e uma haste que é fixada a e se estende a partir da armação, a haste configurada para ser segurada pelo operador que porta a ferramenta de alinhamento, a armação que inclui um lado dianteiro e um lado traseiro que é oposto ao lado dianteiro, o marcador fiducial sendo montado em um primeiro lado da armação, o apontador da ferramenta de alinhamento disposto na parte de trás do lado traseiro da armação e que se estende em afastamento a partir da armação para a ponta do apontador na extremidade distal do apontador, a ponta localizada em
Petição 870180149017, de 07/11/2018, pág. 86/104
37/39 uma predeterminada posição fixada com relação ao marcador fiducial de modo que o dispositivo de imagem AR determina uma posição da ponta dentro do espaço físico de trabalho com base na posição e na orientação do marcador fiducial.
[0083] 10. Método, que compreende:
[0084] rastrear, usando um dispositivo de imagem de realidade aumentada (AR), um marcador fiducial em uma ferramenta de alinhamento portada por um operador dentro de um espaço físico de trabalho;
[0085] determinar coordenadas de posição de uma ponta do apontador da ferramenta de alinhamento em múltiplos locais de referência física dentro do espaço físico de trabalho, as coordenadas de posição determinadas com base em uma posição e uma orientação do marcador fiducial rastreada pelo dispositivo de imagem AR, os locais de referência física dentro do espaço físico de trabalho sendo associados com diferentes pontos de referência virtual dentro de um modelo virtual; [0086] gerar uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados; e [0087] exibir conteúdo virtual em uma tela de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.
[0088] 11. Método, de acordo com a cláusula 10, em que a tela é integrada no dispositivo de imagem AR.
[0089] 12. Método, de acordo com a cláusula 10, em que o conteúdo virtual que é exibido na tela é diferente a partir do modelo virtual.
[0090] 13. Método, de acordo com a cláusula 10, que adicionalmente compreende mapear o espaço físico de trabalho usando o dispositivo de imagem AR para gerar um sistema de coordenada
Petição 870180149017, de 07/11/2018, pág. 87/104
38/39 espacial antes de rastrear o marcador fiducial na ferramenta de alinhamento, as coordenadas de posição dos locais de referência física sendo definidas dentro do sistema de coordenada espacial.
[0091] 14. Método, de acordo com a cláusula 10, em que as coordenadas de posição da ponta do apontador nos locais de referência física são cada uma das quais coletadas em resposta ao recebimento da seleção pelo operador.
[0092] 15. Método, de acordo com a cláusula 10, em que os locais de referência física incluem pelo menos três locais dentro do espaço físico de trabalho.
[0093] 16. Método, de acordo com a cláusula 10, em que o dispositivo de imagem AR é um dispositivo ótico transparente montado na cabeça que inclui um ou mais processadores, os um ou mais processadores determinando as coordenadas de posição da ponta do apontador em múltiplos locais de referência física e gerando a função de transferência.
[0094] 17. Ferramenta de alinhamento para registrar espacialmente conteúdo virtual com um espaço físico de trabalho em uma tela usando um dispositivo de imagem de realidade aumentada (AR), a ferramenta de alinhamento compreendendo:
[0095] uma haste configurada para ser segurada por um operador; [0096] a armação fixada à haste, a armação tendo um lado dianteiro e um lado traseiro que é oposto ao lado dianteiro, a armação tendo um marcador fiducial ao longo do lado dianteiro que é configurado para ser reconhecido pelo dispositivo de imagem AR; e [0097] um apontador disposto na parte de trás do lado traseiro da armação e que se estende em afastamento a partir da armação para a ponta do apontador na extremidade distal do apontador, a ponta localizada em uma predeterminada posição fixada com relação ao marcador fiducial, de modo que o dispositivo de imagem AR determina
Petição 870180149017, de 07/11/2018, pág. 88/104
39/39 uma posição da ponta dentro do espaço físico de trabalho por rastrear uma posição e uma orientação do marcador fiducial.
[0098] 18. Ferramenta de alinhamento, de acordo com a cláusula
17, em que o apontador se estende linearmente e a ponta é inclinada.
[0099] 19. Ferramenta de alinhamento, de acordo com a cláusula
17, que adicionalmente compreende um botão de seleção na haste e um circuito de comunicação sem fio que é conectado em modo de operação ao botão de seleção, o circuito de comunicação sem fio configurado para comunicar sem fio um sinal de comando de aquisição de dados para o dispositivo de imagem AR em resposta à ativação do botão de seleção.
[0100] 20. Ferramenta de alinhamento, de acordo com a cláusula
17, em que a haste é linear e se estende em geral perpendicular ao apontador.

Claims (15)

1. Sistema (100), caracterizado pelo fato de que compreende:
uma ferramenta de alinhamento (106) tendo um apontador (204) e um marcador fiducial (112), a ferramenta de alinhamento configurada para ser portada por um operador dentro de um espaço físico de trabalho (102); e um dispositivo de imagem de realidade aumentada (AR) (104) que inclui um ou mais sensores (406) e um ou mais processadores (410), o um ou mais processadores configurados para rastrear o marcador fiducial no espaço físico de trabalho usando o um ou mais sensores, e determinar as coordenadas de posição do apontador em locais de referência física (714, 716, 718) dentro do espaço físico de trabalho com base em uma posição e uma orientação do marcador fiducial que é rastreada, os locais de referência física sendo associados com diferentes pontos de referência virtual (618, 620, 622) dentro de um modelo virtual (604), em que o um ou mais processadores são adicionalmente configurados para gerar uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados, e exibir conteúdo virtual em uma tela (606) de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.
2. Sistema (100), de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que as coordenadas de posição dos locais de referência física (714, 716, 718) são definidas ao longo de três eixos mutuamente perpendiculares em um sistema de coordenada espacial.
3. Sistema (100), de acordo com qualquer uma das
Petição 870180149017, de 07/11/2018, pág. 90/104
2/5 reivindicações precedentes, caracterizado pelo fato de que os um ou mais processadores (410) são configurados para gerar um sistema de coordenada espacial que mapeia o espaço físico de trabalho (102) com base em dados de sensor adquiridos pelos um ou mais sensores (406), as coordenadas de posição do apontador (204) nos locais de referência física (714, 716, 718) sendo definidas dentro do sistema de coordenada espacial.
4. Sistema (100), de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o dispositivo de imagem AR (104) é um dispositivo ótico transparente montado na cabeça configurada para ser usado pelo operador que porta a ferramenta de alinhamento (106) dentro do espaço físico de trabalho (102), a tela (606) sendo integrada no dispositivo de imagem AR e visível para o operador que usa o dispositivo de imagem AR.
5. Sistema (100), de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o espaço físico de trabalho (102) é um espaço interior de uma aeronave (10), e o conteúdo virtual que é exibido na tela (606) é a representação virtual de uma ou mais partes da aeronave.
6. Sistema (100), de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que a ferramenta de alinhamento (106) inclui um botão de seleção (220) e um circuito de comunicação sem fio (404), a ferramenta de alinhamento configurada para comunicar sem fio um sinal de comando de aquisição de dados que responde ao operador que pressiona o botão de seleção.
7. Sistema (100), de acordo com a reivindicação 6, caracterizado pelo fato de que os um ou mais processadores (410) do dispositivo de imagem AR (104) são configurados para determinar as coordenadas de posição do apontador (204) em cada um dos locais de referência física (714, 716, 718) em resposta a receber o sinal de
Petição 870180149017, de 07/11/2018, pág. 91/104
3/5 comando de aquisição de dados a partir da ferramenta de alinhamento (106).
8. Sistema (100), de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que os locais de referência física (714, 716, 718) incluem pelo menos três locais dentro do espaço físico de trabalho (102) que são espaçados um a partir do outro por pelo menos dois metros.
9. Sistema (100), de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que a ferramenta de alinhamento (106) adicionalmente inclui uma armação (202) e uma haste (132) que é fixada a e se estende a partir da armação, a haste configurada para ser segurada pelo operador que porta a ferramenta de alinhamento, a armação que inclui um lado dianteiro (206) e um lado traseiro (208) que é oposto ao lado dianteiro, o marcador fiducial (112) sendo montado no lado dianteiro da armação, o apontador (204) da ferramenta de alinhamento disposta na parte de trás do lado traseiro da armação e que se estende em afastamento a partir da armação a ponta (218) do apontador na extremidade distal (216) do apontador, a ponta localizada em uma predeterminada posição fixada com relação ao marcador fiducial de modo que o dispositivo de imagem AR (104) determina uma posição da ponta dentro do espaço físico de trabalho (102) com base na posição e na orientação do marcador fiducial.
10. Método (500), caracterizado pelo fato de que compreende:
rastrear (506), usando um dispositivo de imagem de realidade aumentada (AR) (104), um marcador fiducial (112) em uma ferramenta de alinhamento (106) portada por um operador dentro de um espaço físico de trabalho (102);
determinar (510) coordenadas de posição de um apontador (204) da ferramenta de alinhamento em múltiplos locais de referência
Petição 870180149017, de 07/11/2018, pág. 92/104
4/5 física (714, 716, 718) dentro do espaço físico de trabalho, as coordenadas de posição determinadas com base em uma posição e uma orientação do marcador fiducial rastreada pelo dispositivo de imagem AR, os locais de referência física dentro do espaço físico de trabalho sendo associados com diferentes pontos de referência virtual (618, 620, 622) dentro de um modelo virtual (604);
gerar (516) uma função de transferência para adaptar as coordenadas de posição dos pontos de referência virtual com as coordenadas de posição dos locais de referência física associados; e exibir (518) conteúdo virtual em uma tela (606) de acordo com a função de transferência de modo que o conteúdo virtual é espacialmente registrado com o espaço físico de trabalho.
11. Método, de acordo com a reivindicação 10, caracterizado pelo fato de que a tela é integrada ao dispositivo de imagem AR (104).
12. Método, de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que o conteúdo virtual que é exibido na tela é diferente a partir do modelo virtual.
13. Método, de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que adicionalmente compreende mapear o espaço físico de trabalho usando o dispositivo de imagem AR para gerar um sistema de coordenada espacial antes de rastrear o marcador fiducial na ferramenta de alinhamento, as coordenadas de posição dos locais de referência física sendo definidas dentro do sistema de coordenada espacial.
14. Método, de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que as coordenadas de posição da ponta do apontador nos locais de referência física são cada uma das quais coletadas em resposta ao recebimento da seleção pelo operador.
Petição 870180149017, de 07/11/2018, pág. 93/104
5/5
15. Método, de acordo com qualquer uma das reivindicações precedentes, caracterizado pelo fato de que os locais de referência física incluem pelo menos três locais dentro do espaço físico de trabalho.
BR102018072910-1A 2017-11-09 2018-11-07 Sistemas, métodos, e ferramentas para registrar espacialmente conteúdo virtual com ambiente físico em plataformas de realidade aumentada BR102018072910A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/808,074 2017-11-09
US15/808,074 US10573089B2 (en) 2017-11-09 2017-11-09 Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms

Publications (1)

Publication Number Publication Date
BR102018072910A2 true BR102018072910A2 (pt) 2019-06-18

Family

ID=64316278

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102018072910-1A BR102018072910A2 (pt) 2017-11-09 2018-11-07 Sistemas, métodos, e ferramentas para registrar espacialmente conteúdo virtual com ambiente físico em plataformas de realidade aumentada

Country Status (7)

Country Link
US (1) US10573089B2 (pt)
EP (1) EP3483703A1 (pt)
JP (1) JP7336184B2 (pt)
KR (1) KR102521978B1 (pt)
CN (1) CN109765992B (pt)
BR (1) BR102018072910A2 (pt)
CA (1) CA3023417C (pt)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL245339A (en) * 2016-04-21 2017-10-31 Rani Ben Yishai Method and system for verification of registration
US11029671B1 (en) * 2018-08-22 2021-06-08 Automated Wiring Systems, LLC Integrated wire harness batch production using augmented reality
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
US11562598B2 (en) * 2019-03-25 2023-01-24 Microsoft Technology Licensing, Llc Spatially consistent representation of hand motion
US10699087B1 (en) * 2019-07-10 2020-06-30 Zebra Technologies Corporation Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display
KR102208708B1 (ko) * 2019-08-14 2021-01-28 한국과학기술연구원 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
WO2021058467A1 (de) * 2019-09-23 2021-04-01 Siemens Aktiengesellschaft Applikation zur ar-unterstützten, geführten befundung eines prüfobjekts mit entsprechender visualisierung in einem cad-system
CN110750190B (zh) * 2019-10-17 2024-01-23 辽宁中航信诺科技有限公司 基于ar设备的人工智能物体注册识别后虚拟提示信息的叠加方法
CN110667880B (zh) * 2019-10-17 2023-02-03 辽宁中航信诺科技有限公司 智能化飞机保障维修系统
CN111338474B (zh) * 2020-02-19 2022-11-08 Oppo广东移动通信有限公司 虚拟对象位姿校准方法及装置、存储介质和电子设备
US11308700B2 (en) * 2020-04-06 2022-04-19 Saudi Arabian Oil Company Augmented reality visualization of underground pipelines using geospatial databases and KM markers
KR102209025B1 (ko) * 2020-04-07 2021-01-28 한밭대학교 산학협력단 스마트 팩토리 구축을 위한 마커리스 기반의 ar 구현 방법 및 시스템
US11043039B1 (en) * 2020-04-22 2021-06-22 The Boeing Company 3D point cluster correlation for content alignment on augmented reality platforms
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
CN112318653B (zh) * 2020-09-28 2021-12-21 同济大学 一种无模具曲木构件加工系统及加工方法
EP4272051A1 (en) * 2020-12-30 2023-11-08 Snap, Inc. Augmented reality precision tracking and display
US20220245898A1 (en) * 2021-02-02 2022-08-04 Unisys Corporation Augmented reality based on diagrams and videos
US11776420B2 (en) * 2021-02-12 2023-10-03 B/E Aerospace, Inc. Augmented reality in wire harness installation
CN113138666B (zh) * 2021-04-15 2023-04-25 潍坊歌尔电子有限公司 手柄校准方法、手柄、头戴式显示器及存储介质
FR3124007A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de visualisation d’au moins un critère d’acceptation en fonction d’un point d’une pièce ciblé
FR3123984A1 (fr) * 2021-06-14 2022-12-16 Airbus Operations (S.A.S.) Procédé de localisation d’au moins un point d’une pièce réelle sur une maquette numérique
CN113934294A (zh) * 2021-09-16 2022-01-14 珠海虎江科技有限公司 虚拟现实显示设备及其对话窗口显示方法、计算机可读存储介质
CN115496798B (zh) * 2022-11-08 2023-03-24 中国电子科技集团公司第三十八研究所 用于系留气球装备模拟训练的协同定位方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP4847195B2 (ja) * 2006-04-21 2011-12-28 キヤノン株式会社 画像からの色情報の取得方法
US20080123910A1 (en) 2006-09-19 2008-05-29 Bracco Imaging Spa Method and system for providing accuracy evaluation of image guided surgery
US8525830B2 (en) * 2010-09-17 2013-09-03 The Boeing Company Point cloud generation system
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US9641569B2 (en) * 2013-01-22 2017-05-02 General Electric Company Systems and methods for collaborating in a non-destructive testing system using location information
US9432636B2 (en) * 2013-11-26 2016-08-30 Microsoft Technology Licensing, Llc Large-scale surface reconstruction that is robust against tracking and mapping errors
US10043319B2 (en) * 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US10350839B2 (en) * 2015-05-21 2019-07-16 The Boeing Company Remote advanced repair guidance
WO2017015738A1 (en) 2015-07-27 2017-02-02 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint

Also Published As

Publication number Publication date
EP3483703A1 (en) 2019-05-15
CA3023417A1 (en) 2019-05-09
US20190139320A1 (en) 2019-05-09
KR102521978B1 (ko) 2023-04-13
KR20190053119A (ko) 2019-05-17
US10573089B2 (en) 2020-02-25
CA3023417C (en) 2023-02-14
JP7336184B2 (ja) 2023-08-31
JP2019087241A (ja) 2019-06-06
CN109765992A (zh) 2019-05-17
CN109765992B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
BR102018072910A2 (pt) Sistemas, métodos, e ferramentas para registrar espacialmente conteúdo virtual com ambiente físico em plataformas de realidade aumentada
Daponte et al. State of the art and future developments of the Augmented Reality for measurement applications
US20220233224A1 (en) Alignment apparatus for use in hip arthroplasty
EP2576156B1 (en) Methods and systems for inspection sensor placement
US10482659B2 (en) System and method for superimposing spatially correlated data over live real-world images
JP6242591B2 (ja) 仮想環境および物理環境における強化センサーによる位置特定
EP2876624B1 (en) Maintenance assistant system
CN103793936A (zh) 用于增强现实的自动化参考框架校准
US11594150B1 (en) System and method for extended spectrum ultrasound training using animate and inanimate training objects
CN110174903A (zh) 用于在环境内控制可移动物体的系统和方法
AU2012206598A1 (en) Measuring appliance comprising an automatic representation-changing functionality
GB2506239A (en) Projecting maintenance history using optical reference points
BRPI1105955A2 (pt) Dispositivo de representação do campo periférico bem como um veículo com esse dispositivo de representação do campo periférico e processo para a representação de uma imagem panorâmica
BR102016012420A2 (pt) sistema e método para pareamento eletrônico de uma da pluralidade de unidades de assento com uma pluralidade de dispositivos controláveis
US11395102B2 (en) Field cooperation system and management device
CN104978476B (zh) 利用智能手机进行室内地图现场补测的方法
JP2013234971A (ja) ３軸標識計測方法、３軸標識計測プログラム、及び３軸標識計測装置
US20140292642A1 (en) Method and device for determining and reproducing virtual, location-based information for a region of space
Hew et al. Markerless Augmented Reality for iOS Platform: A University Navigational System
NL2007013C2 (en) Transforming geo-coordinates to a position on an electronic topological map.
US20230214004A1 (en) Information processing apparatus, information processing method, and information processing program
JP4259910B2 (ja) ロボットの教示方法および教示装置
US20220276050A1 (en) Survey information managing system
CN108072374A (zh) 导航系统及导航方法
Nuelle et al. Mobile Augmented Reality System for Craftsmen

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]