BR112020020033A2 - Sobreposições visuais baseadas em características de operador - Google Patents
Sobreposições visuais baseadas em características de operador Download PDFInfo
- Publication number
- BR112020020033A2 BR112020020033A2 BR112020020033-6A BR112020020033A BR112020020033A2 BR 112020020033 A2 BR112020020033 A2 BR 112020020033A2 BR 112020020033 A BR112020020033 A BR 112020020033A BR 112020020033 A2 BR112020020033 A2 BR 112020020033A2
- Authority
- BR
- Brazil
- Prior art keywords
- operator
- physical environment
- task
- information
- instructions
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 100
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012423 maintenance Methods 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 11
- 238000009434 installation Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000003153 chemical reaction reagent Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 239000006227 byproduct Substances 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000843 powder Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000035939 shock Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000009043 Chemical Burns Diseases 0.000 description 1
- 208000018380 Chemical injury Diseases 0.000 description 1
- 206010053487 Exposure to toxic agent Diseases 0.000 description 1
- 208000020564 Eye injury Diseases 0.000 description 1
- 208000004852 Lung Injury Diseases 0.000 description 1
- 206010069363 Traumatic lung injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010616 electrical installation Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 239000000976 ink Substances 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 231100000515 lung injury Toxicity 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000009428 plumbing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000003507 refrigerant Substances 0.000 description 1
- 230000000246 remedial effect Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000035882 stress Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063112—Skill-based matching of a person or a group to a task
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063114—Status monitoring or status determination for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
sobreposições visuais baseadas em características de operador. um sistema pode incluir um recurso de processamento e um dispositivo de computação que compreende instruções executáveis para: extrair dados a partir de objetos em uma imagem digital de um ambiente físico; utilizar os dados extraídos para identificar informação referente a uma tarefa a ser realizada por um operador no ambiente físico; e selecionar, com base em uma característica do operador, uma porção da informação identificada referente à tarefa para incluir em uma sobreposição visual a ser exibida ao operador no ambiente físico.
Description
[001] Realidade Aumentada (AR) pode incluir uma visualização ao vivo de um ambiente físico do mundo real. Elementos do ambiente físico, tais como objetos, pessoas, ou outros componentes físicos, podem ser aumentados por sistemas AR. Por exemplo, os elementos do ambiente físico podem ser aumentados por informação perceptiva gerada por computador através de múltiplas modalidades sensoriais tais como visuais, auditivas, hápticas, somatossensoriais e olfativas aplicadas à visualização ao vivo do ambiente físico.
[002] A Figura 1 ilustra um diagrama de um exemplo de um sistema para produzir uma sobreposição visual baseada em características de operador de acordo com a presente divulgação.
[003] A Figura 2 ilustra um diagrama de um exemplo de um recurso de processamento e de um meio não transitório legível por computador para produzir uma sobreposição visual baseada em características de operador de acordo com a presente divulgação.
[004] A Figura 3 ilustra um diagrama de um exemplo de um método para produzir uma sobreposição visual baseada em características de operador de acordo com a presente divulgação.
[005] Um dispositivo de realidade aumentada (AR) pode incluir um dispositivo computacional. Em alguns exemplos, o dispositivo AR pode incluir um recurso de processamento. O dispositivo AR pode incluir um recurso de memória. O recurso de memória pode incluir um meio não transitório legível por máquina. O recurso de memória pode incluir instruções. As instruções podem incluir instruções executáveis por um recurso de processamento para realizar diversas funções tais como aquelas associadas a aumentar uma visualização substancialmente ao vivo de um ambiente físico.
[006] Um dispositivo AR pode incluir componentes de entrada. Os componentes de entrada podem capturar dados do ambiente físico e/ou dados de um operador. Um componente de entrada pode incluir um dispositivo digital de captura de imagens, tal como uma câmera digital. A câmera digital pode ser utilizada para capturar imagens digitais do ambiente físico que pode ser analisado com visão computacional. O dispositivo de entrada pode incluir sistemas de reconhecimento de voz, sistemas de reconhecimento de gestos, varinhas, estiletes, luvas, apontadores, teclados, etc. O dispositivo de entrada pode incluir sistemas de rastreamento ocular, sensores óticos, acelerômetros, sistemas de posicionamento global (GPS), giroscópios, etc.
[007] O dispositivo AR pode incluir um visor. O visor pode incluir um sistema ótico de projeção, um projetor digital de realidade aumentada espacial, um monitor, um dispositivo portátil, um visor vestível, óculos de exibição, contatos de exibição, um visor virtual de retina, um Eye Tap, um visor de cabeça (HUD), etc. O dispositivo AR pode apresentar informação digital sobre e/ou através do visor para ser percebida pelo operador do dispositivo.
[008] Em alguns exemplos, um dispositivo AR pode utilizar uma sobreposição visual para aumentar os elementos do ambiente físico. Como descrito acima, o dispositivo AR pode aumentar elementos do ambiente físico com informação gerada por computador. Em alguns exemplos, a informação aumentada pode ser apresentada sobre um visor que inclui a visualização ao vivo do ambiente físico. Em alguns exemplos, a visualização ao vivo do ambiente físico pode ser ele mesmo apresentado no visor com a informação aumentada apresentada em correspondentes posições da visualização ao vivo apresentada do ambiente físico. Em alguns exemplos, a visualização ao vivo do ambiente físico pode ser uma visualização direta vista pelo operador diretamente através de, por exemplo, um visor ocular do dispositivo AR. Em tais exemplos a informação aumentada pode ser apresentada sobre o, refletida no e/ou projetada através do óculo de modo que a informação apareça para o operador apresentada em correspondentes posições da visualização ao vivo vista diretamente do ambiente físico. Isto é, o dispositivo AR pode projetar dados em uma linha de visão do operador de modo que se alinhem com posições ou elementos do ambiente físico.
[009] O dispositivo AR pode determinar onde apresentar informação tal que corresponda a uma posição em um elemento do ambiente físico diretamente visualizado ou apresentado. A determinação pode ser feita pela análise do ambiente físico diretamente visualizado ou apresentado. Esta análise pode ser realizada utilizando dados coletados das entradas que fornecem dados referentes ao ambiente ao dispositivo AR. Por exemplo, o dispositivo AR pode utilizar imagens digitais do ambiente físico capturado por um componente digital de imagens de um dispositivo AR para determinar se informação aumentada será apresentada em um visor de modo que coincida com uma posição ou elemento específico do ambiente físico como visualizado pelo operador.
[0010] Um dispositivo AR pode ser utilizado para fornecer uma informação ou instruções suplementares de operador referentes ao ambiente físico e/ou elementos no ambiente físico. Por exemplo, um dispositivo AR pode ser utilizado para fornecer instruções a um operador para realizar uma tarefa em um ambiente físico. Contudo, utilizar um dispositivo AR para fornecer instruções a um operador pode resultar em fornecer instruções inadequadas, repetitivas e/ou desnecessárias a um operador. Isto é, um dispositivo AR pode fornecer instruções escritas que são genéricas para execução de uma tarefa. Dispositivos AR podem não ser familiares ao operador e/ou às características do operador. O dispositivo AR pode não possuir os recursos de memória e/ou os recursos de processamento para registrar o operador e/ou as características do operador, com a finalidade de manter o dispositivo AR a fim de reduzir o peso, custo, consumo de energia, etc. do dispositivo AR. Deste modo, o dispositivo AR pode fornecer ao operador instruções para uma tarefa com a qual este já está intimamente familiar e/ou com instruções para uma tarefa que estão fora do seu nível de familiaridade e/ou sua capacidade de compreensão. Além disso, um dispositivo AR pode não ser capaz de compreender coisas referentes aos elementos de um ambiente físico para além de simplesmente identificar posições de objetos.
[0011] Em contraste, exemplos da presente divulgação podem incluir sistemas, meios não transitórios legíveis por computador, e/ou métodos que podem extrair dados a partir de objetos em uma imagem digital de um ambiente físico, utilizar os dados extraídos para identificar informação referente a uma tarefa a ser realizada por um operador no ambiente físico, e selecionar, com base em uma característica do operador, uma porção da informação identificada referente à tarefa para incluir em uma sobreposição visual a ser exibida ao operador no ambiente físico. Deste modo, os exemplos da presente divulgação podem fornecer aos operadores uma compreensão mais profunda sob medida de objetos e tarefas na cena física. Deste modo, exemplos da presente divulgação podem permitir a expansão de dispositivos AR a aplicações adicionais e a operadores adicionais com uma variedade de características.
[0012] A Figura 1 ilustra um diagrama de um exemplo de um sistema 100 para produção de uma sobreposição visual baseada em características de operador de acordo com a presente divulgação. O sistema 100 pode incluir um ambiente físico 102. Um ambiente físico 102 pode incluir o ambiente do mundo real. O ambiente físico 102 pode não incluir um ambiente virtual. O ambiente físico pode incluir objetos e condições tangíveis, materiais, físicos e/ou naturais.
[0013] O ambiente físico 102 pode incluir objetos 103-1...103-N. Os objetos 103-1...103-N podem incluir objetos físicos presentes no ambiente físico 102. Os objetos 103-1...103-N podem incluir objetos que se encaixam e/ou são componentes de um conjunto maior. Em alguns exemplos, os objetos 103-1...103-N podem incluir peças de uma máquina no ambiente físico 102. Os objetos 103-1...103-N podem incluir peças instaladas em e/ou ser componentes de uma máquina. Por exemplo, os objetos 103-1...103-N podem incluir peças instaladas em um automóvel, uma impressora, uma máquina de controle de instalação, uma instalação de canalizações, uma instalação elétrica, uma sala de servidores, um centro de dados, uma imprensa da web, um gerador elétrico a diesel, uma subestação de energia elétrica, etc.
[0014] O ambiente físico 102 pode incluir um dispositivo AR 104 presente no ambiente físico 102. O dispositivo AR 104 pode ser um dispositivo AR que capture uma visualização ao vivo do ambiente físico 102 e/ou dos objetos 103-1...103-N presentes no ambiente físico. Por exemplo, o dispositivo AR 104 pode incluir uma câmera digital que capture vídeo e/ou retratos de uma porção do ambiente físico 102 e/ou dos objetos 103-1...103-N presentes no campo de visão da câmera.
[0015] Em alguns exemplos, o dispositivo AR 104 pode estar associado a um operador. O operador pode ser uma pessoa que está fisicamente localizada e/ou um representante mecânico para uma pessoa que está fisicamente localizada no ambiente físico 102. O operador pode ser um técnico. O operador pode ser um técnico designado para realizar uma tarefa referente a uma porção dos objetos 103-1...103-N e/ou uma porção do ambiente físico 102. Por exemplo, o operador pode ser uma pessoa de serviço enviada para realizar uma operação de manutenção. Uma operação de manutenção pode incluir inspeção, reparação, substituição e/ou análise de uma porção dos objetos 103-1...103-N, uma máquina da qual os objetos 103-1...103-N fazem parte, e/ou uma porção do ambiente físico 102.
[0016] Um dispositivo AR 104 que está associado a um operador pode incluir um dispositivo AR 104 que serve para fornecer ao operador uma visualização ao vivo do ambiente físico 102 e/ou para fornecer ao operador informação que aumente a sua visualização do ambiente físico 102. Em um exemplo, o dispositivo AR 104 pode estar associado a um operador pelo fato de que é usado ou mantido pelo operador e fornece ao operador informação aumentada sobreposta à sua visualização do ambiente físico 102. Em alguns exemplos, o dispositivo AR 104 pode incluir um visor que fornecerá informação que aumentará os objetos 103-1...103-N e/ou o ambiente físico 102 utilizando uma sobreposição visual. Uma sobreposição visual pode incluir gráficos gerados por computador que são projetados ou de outro modo tornados visíveis ao olho humano do operador com posicionamento específico para fazer com que os gráficos apareçam ao operador como se fossem sobrepostos sobre correspondentes porções dos objetos 103-1...103-N e/ou o ambiente físico 102 que é visível ao olho humano do operador. Em alguns exemplos, o dispositivo AR 104 pode incluir um visor ocular ou outro HUD usado pelo operador que pode fazer com que um gráfico gerado por computador apareça no campo de visão do operador entre seus olhos humanos e as correspondentes porções dos objetos 103-1...103-N ou o ambiente físico 102 de modo que os gráficos e os objetos físicos 103-1...103-N ou ambiente físico 102 pareçam coincidir visualmente a partir da perspectiva do operador.
[0017] O sistema 100 pode incluir um gerenciador de informações 106. Um gerenciador de informações 106 pode incluir um dispositivo computacional. Em alguns exemplos, o gerenciador de informações 106 pode incluir componentes tais como um recurso de processamento, um recurso de memória e/ou instruções executáveis pelo recurso de processamento para realizar funções referentes à produção de sobreposições visuais baseadas em características de operador. O gerenciador 106 pode estar parcial ou completamente localizado remotamente do ambiente físico 102 e/ou do dispositivo AR 104. Por exemplo, o gerenciador de informações 106 pode estar localizado em um servidor, uma máquina virtual e/ou nos outros recursos computacionais que estão distribuídos ou centralizados e estão em comunicação com o dispositivo AR 104. Por exemplo, o gerenciador de informações 106 pode ser um serviço baseado na nuvem que utiliza um recurso de processamento, um recurso de memória e/ou instruções executáveis pelo recurso de processamento que estão remotas do ambiente físico 102 e estão em comunicação com fio ou sem fio com o dispositivo de realidade aumentada
104.
[0018] Em alguns exemplos, o gerenciador de informações 106 pode estar parcial ou completamente localizado localmente no ambiente físico 102 e/ou localmente no dispositivo AR 104. Em alguns exemplos, o gerenciador de informações 106 pode ser um componente do dispositivo AR
104. Em tais exemplos, o gerenciador de informações 106 pode utilizar um recurso de processamento do dispositivo AR 104, um recurso de memória do dispositivo AR 104 e/ou instruções executáveis pelo recurso de processamento do dispositivo AR
104.
[0019] O sistema 100 pode operar para extrair dados de objetos 103-1...103-N e/ou de outras porções do ambiente físico 102 que aparecem em uma imagem digital do ambiente físico 102. Como descrito acima, o dispositivo AR 104 pode incluir e/ou estar em comunicação com um dispositivo digital de captura de imagens. Deste modo, o dispositivo digital de captura de imagens pode capturar imagens ao vivo do ambiente físico 102 em que estão presentes. Em alguns exemplos, o dispositivo digital de captura de imagens pode estar posicionado em relação a um dispositivo AR 104 usado ou mantido por um operador de modo que o dispositivo digital de captura de imagens capture imagens digitais de pelo menos a porção do ambiente 102 que é visível ao e/ou dentro do campo de visão do operador.
[0020] A extração de dados dos objetos 103-1...103- N e/ou do ambiente físico 102 pode incluir aquisição, processamento e análise de imagens digitais dos objetos 103-
1...103-N e/ou do ambiente físico 102 e extração a partir destas imagens de dados existentes no ambiente físico 102 e/ou nos objetos 103-1...103-N presentes no ambiente físico
102. A extração dos dados dos objetos 103-1...103-N e/ou do ambiente físico 102 pode incluir a utilização de um sistema de visão computacional que implementa uma rede neural e/ou imagem baseada em aprendizagem profunda e análise e classificação de recursos para obter uma compreensão visual digitalizada do conteúdo da imagem digital.
[0021] A extração de dados dos objetos 103-1...103- N e/ou do ambiente físico 102 pode utilizar reconhecimento de padrões, modelagem e diversas outras técnicas conduzidas por computador para identificar os objetos 103-1...103-N e/ou o ambiente físico 102. Contudo, exemplos da presente divulgação podem utilizar marcações existentes nos objetos
103-1...103-N e/ou no ambiente físico 102 para fornecer dados adicionais, além de simplesmente o que um objeto é, que podem ser extraídas de uma imagem digital. Por exemplo, os objetos 103-1...103-N e/ou porções do ambiente físico 102 podem incluir marcações.
[0022] As marcações podem incluir indicações que são visíveis a e/ou capazes de serem capturadas por um dispositivo digital de imagens. As marcações podem incluir indicações que são detectáveis e/ou transmissíveis pelo gerenciador de informações 106. As marcações podem ser um código de barras unidimensional, um código de barras bidimensional, um código de barras tridimensional, um número de série, etc. As marcações podem ter uma cor específica ou uma textura específica. As marcações podem ser propositadamente introduzidas nos objetos 103-1...103-N e/ou no ambiente físico 102 e/ou podem ser inerentes à produção ou existência dos objetos 103-1...103-N e/ou do ambiente físico 102. Por exemplo, uma textura ou cor dos objetos 103-
1...103-N pode ser um subproduto não intencional ou um subproduto intencional do processo de produção para criar os objetos 103-1...103-N. Em um exemplo, as marcações podem incluir uma textura intencional ou não intencional que inclui um padrão específico introduzido durante um processo de impressão tridimensional que produziu os objetos 103-
1...103-N.
[0023] Em alguns exemplos, as marcações podem ser únicas. Por exemplo, a marcação em cada um dos objetos 103-
1...103-N pode ser uma marcação única com um significado único. Em alguns exemplos, uma porção das marcações pode ser não única e pode compartilhar pelo menos uma porção de um significado com outras marcações. Por exemplo, dois objetos únicos 103-1...103-N podem compartilhar uma marcação que indica que foram instalados na mesma data e que ambos estão sujeitas a estresse de aquecimento.
[0024] Em alguns exemplos, as marcações podem ser reativas. Por exemplo, a marcação pode mudar em resposta a exposição a condições ambientais ou estímulos. Em alguns exemplos, as marcações podem mudar de cor, forma, padrão, aparência, propriedades refletivas, opacidade, ou outras características físicas capazes de serem capturadas pelo dispositivo digital de imagens e/ou interpretadas pelo gerenciador de informações 106. As condições ambientais ou estímulos que podem provocar estas mudanças podem incluir exemplos como exposição à radiação UV, exposição a calor, exposição a produtos químicos, envelhecimento, exposição a umidade, exposição a pressão, exposição a choque físico, exposição a condições luminosas, exposição à atmosfera, exposição a toque de manuseio, exposição a tensão, exposição a qualquer estímulo que esteja fora de uma faixa aceitável para aquele estímulo, etc. Deste modo, as marcações podem comunicar informação referente às condições e/ou história de condições a que os objetos 103-1...103-N e/ou o ambiente físico 102 foram expostos.
[0025] Em um exemplo, as marcações e/ou a mudança das marcações podem ser instigadas pelo operador no ambiente físico. Por exemplo, o operador pode ser instruído pelo dispositivo AR 104 (por exemplo, por sobreposição visual de instruções, instruções auditivas, instruções de realimentação háptica, etc.) a introduzir estímulos ambientais que podem mudar a marcação ou revelar as marcações. Por exemplo, o operador pode introduzir uma fonte luminosa, um reagente químico, uma força mecânica, etc. que pode expor ou alterar as marcações sobre os objetos 103-
1...103-N e/ou o ambiente físico 102. Em um exemplo, um operador pode introduzir um reagente químico na superfície de um dos objetos 103-1...103-N que constituem uma máquina em que o operador acabou de realizar uma tarefa e o reagente químico pode revelar ou alterar uma marcação em um modo que seja capaz de ser capturado pelo dispositivo digital de imagens e/ou interpretado pelo gerenciador de informações 106 para revelar se o objeto é um objeto genuíno ou falsificado em relação a um provedor de objetos genuínos para a máquina ou objetos 103-1...103-N que constituem a máquina.
[0026] Em alguns exemplos, as marcações podem ser introduzidas, reveladas, ou substituídas por um operador. Por exemplo, um operador pode descascar as marcações em camadas que estão aderidas aos objetos 103-1...103-N para revelar diferentes marcações. Em outros exemplos, o operador pode aderir uma marcação a um objeto uma vez que tenha instalado, inspecionado, substituído, atendido e/ou de outro modo endereçado o objeto. O operador pode também física e/ou virtualmente riscar ou de outro modo marcar uma marcação de modo que a marcação ou deixe de ser uma marcação interpretável pelo gerenciador de informações 106 ou seja interpretável pelo gerenciador de informações 106 para ter um diferente significado que a marcação tinha antes de ser riscada.
[0027] O gerenciador de informações 106 pode utilizar os dados extraídos para identificar informação referente aos objetos 103-1...103-N, ao ambiente físico 102 e/ou a uma tarefa a ser realizada pelo operador no ambiente físico 102. O gerenciador de informações 106 pode referenciar dados 108 armazenados em uma estrutura de dados. Os dados 108 podem ser dados que foram registrados em uma estrutura de dados acessível ao gerenciador de informações 106.
[0028] Os dados 108 podem incluir uma história dos objetos 103-1...103-N e/ou do ambiente físico 102. Por exemplo, cada vez que um objeto 103-1...103-N, tal como uma peça de uma máquina, é inspecionado, substituído, instalado, reparado, identificado, etc., a data, hora e operador associado àquela ação podem ser registrados nos dados 108. Deste modo, uma história de que os objetos 103-1...103-N foram inspecionados, substituídos, instalados, reparados, identificados, etc., quando aquela ação ocorreu, e a identidade do operador que executou a tarefa podem ser registrados como dados 108 que podem ser associados a uma marcação ou marcações. Deste modo, o gerenciador de informações pode recuperar tais dados 108 após reconhecer a marcação e atribuir os dados 108 a cada um dos objetos 103-
1...103-N e/ou ao ambiente físico 102 baseado nas suas correspondentes marcações ou posições relativas a marcações em outros objetos 103-1...103-N e/ou outras porções do ambiente físico 102.
[0029] Em alguns exemplos, a história dos objetos 103-1...103-N e/ou do ambiente físico 102 pode incluir dados 108 de uma história de objetos 103-1...103-N frágeis, perigosos e caros e/ou porções do ambiente físico 102. Um objeto frágil pode incluir uma peça que possa ser danificada, quebrada ou arruinada pelo manuseio do operador que não seria considerado rude ou fora do comum para manusear outros objetos 103-1...103-N em uma mesma máquina. Isto é, um objeto frágil pode incluir uma peça que necessite de manuseio delicado para permanecer intacta em relação a outras peças na mesma máquina. Um objeto perigoso pode incluir uma peça de uma máquina que represente um perigo físico ao operador quando o operador está em uma proximidade da peça que seria alcançada durante desempenho de uma tarefa tal como uma operação de manutenção. O perigo físico pode incluir uma queimadura de calor, uma queimadura química, um ferimento de força mecânica, um ferimento de exposição a gás ou produto químico, uma lesão pulmonar, uma lesão ocular, etc. devido à entrada em contato com o, e/ou entrada dentro de uma proximidade limite do objeto perigoso. Um objeto caro pode incluir um objeto que tenha um custo monetário acima de um nível limite, tenha um custo monetário que seja relativamente mais caro que outros objetos 103-1...103-N em uma mesma máquina, e/ou envolva quantidade de trabalho para reparar ou substituir acima de um limite.
[0030] A história de objetos frágeis, perigosos e/ou caros 103-1...103-N e/ou porções do ambiente físico 102 pode ser registrada como dados 108 e associada a uma marcação ou marcações. Deste modo, o gerenciador de informações pode recuperar tais dados 108 após reconhecer a marcação e atribuir os dados 108 a cada um dos objetos 103-1...103-N e/ou ao ambiente físico 102 baseado nas suas correspondentes marcações ou posição em relação a marcações nos outros objetos 103-1...103-N e/ou nas outras porções do ambiente físico 102.
[0031] Os dados 108 podem incluir uma definição de uma relação espacial que deveria existir entre um objeto marcado e outro objeto ou objetos, um objeto marcado e outra marcação, uma marcação e outra marcação, uma marcação e outro objeto, e/ou uma marcação e outra porção do ambiente físico
102. Deste modo, um arranjo ou instalação adequado de um objeto tal como uma peça de uma máquina, entre outros objetos, tais como outras peças da máquina pode ser acessado pela localização relativa das marcações, dos objetos 103-
1...103-N e/ou das porções do ambiente físico 102. Por exemplo, se uma peça é apertada com uma determinada especificação de torque, a marcação naquela peça pode estar alinhada com uma marca de uma peça adjacente.
[0032] Os dados 108 podem incluir informação referente aos objetos 103-1...103-N e/ou às porções do ambiente físico 102 com os quais a marcação está associada. Por exemplo, os dados 108 podem incluir as origens de um objeto em que a marca aparece, dimensões exatas de um objeto no qual a marca aparece, outras especificações de um objeto em que a marca aparece, as propriedades do material de um objeto em que a marca aparece, as condições ambientais durante produção de um objeto em que a marca aparece, as condições durante produção de um objeto em que a marca aparece, os limites de desempenho de um objeto em que a marca aparece, etc. Por exemplo, as condições exatas e os materiais utilizados para produzir os objetos 103-1...103-N podem ser conhecidos pelo fabricante. Por exemplo, quando um objeto é produzido utilizando impressão tridimensional, o material fonte usado, as condições de temperatura, as condições de umidade, a quantidade de energia gasta em cada porção do objeto, a química dos pós ou tintas usados para produzir cada porção do objeto, e/ou a idade dos pós ou tintas usados para produzir cada porção do objeto podem ser conhecidos e/ou determináveis. Tais informações podem ser registradas como dados 108 e associados a uma marcação ou marcações que são elas mesmas associadas a cada um dos objetos 103-1...103- N e/ou das porções do ambiente físico 102. Deste modo, o gerenciador de informações 106 pode recuperar dados 108 após reconhecer a marcação e atribuir os dados 108 a cada um dos objetos 103-1...103-N e/ou do ambiente físico 102 que têm as marcações.
[0033] Os dados 108 podem incluir informação referente às condições ambientais e/ou estímulos que produzem e/ou alteram marcações. Deste modo, uma marcação ou mudança em uma marcação associada aos objetos 103-1...103-N e/ou às porções do ambiente físico 102 pode ser capaz de ser ligada a condições ambientais e/ou estímulos aos quais os objetos 103-1...103-N e/ou as porções do ambiente físico 102 foram submetidos. Tal informação pode ser registrada como dados 108 e associada a uma marcação ou mudança em uma marcação que está associada a cada um dos objetos 103-
1...103-N e/ou das porções do ambiente físico 102. Deste modo, o gerenciador de informações 106 pode recuperar tais dados 108 após reconhecer a marcação ou a mudança na marcação e atribui os dados 108 a cada um dos objetos 103-1...103-N e/ou às porções do ambiente físico 102 que têm as marcações. Deste modo, pode ser identificado um contexto de produção dos objetos subjacentes 103-1...103-N e/ou das porções do ambiente físico 102 que têm as marcações.
[0034] Como descrito acima, o gerenciador de informações 106 pode utilizar os dados extraídos para identificar informação referente aos objetos 103-1...103-N e/ou às porções do ambiente físico 102. Por exemplo, o gerenciador de informações 106 pode identificar uma marcação. A marcação pode estar associada a e/ou presente em um objeto e/ou uma porção do ambiente físico 102. A marcação identificada pode ser utilizada para identificar e/ou recuperar a porção dos dados 108 associados à marcação e aquela porção dos dados 108 pode estar associada ao objeto e/ou a uma porção do ambiente físico 102. A associação entre os dados 108 e os objetos 103-1...103-N e/ou o ambiente físico 102 serve para a obtenção de uma compreensão computacional dos objetos 103-1...103-N e/ou do ambiente físico 102. Uma compreensão computacional pode incluir uma representação digital do que está ocorrendo no ambiente físico 102 tal como o que está sendo visto, o que está ocorrendo, o que necessita ser feito em seguida, quais são as condições do ambiente físico 102, quais são as condições dos objetos 103-1...103-N, etc.
[0035] Além disso, o gerenciador de informações 106 pode utilizar os dados extraídos para identificar informação referente a uma tarefa a ser realizada pelo operador no ambiente físico. Como descrito acima, uma tarefa pode incluir uma operação de manutenção a ser realizada pelo operador. A informação referente à tarefa a ser realizada pode ser identificada por referência aos dados 108 associados às marcações, aos objetos marcados 103-1...103-N e/ou às porções marcadas do ambiente físico 102.
[0036] Adicionalmente, a informação referente à tarefa a ser realizada pode ser obtida a partir de ordens de trabalho, comandos do operador e/ou comandos para um operador. Por exemplo, a informação pode incluir se a ordem de trabalho associada à tarefa é uma notificação de problema reativa em resposta a uma solicitação de reparo ou uma notificação proativa de manutenção planejada. Tais ordens de trabalho, comandos do operador e/ou comandos para um operador podem estar incluídos nos dados 108.
[0037] A informação referente à tarefa pode incluir uma localização do ambiente físico 102 onde a tarefa será realizada. Por exemplo, a informação referente à tarefa pode incluir localização e/ou dados de sistema de informação geográfica para o ambiente físico 102 que pode sugerir onde o ambiente físico 102 está e, portanto, que objetos 103-
1...103-N estão presentes no ambiente físico 102.
[0038] A informação referente à tarefa pode incluir instruções ao operador para execução da tarefa. As instruções para execução da tarefa podem incluir um conjunto compreensivo de instruções que incluem instruções que identificam uma variedade de detalhes referentes a cada um dos objetos 103-1...103-N e/ou às porções do ambiente físico 102 envolvidos na tarefa. Por exemplo, as instruções podem incluir detalhes tais como como um objeto é chamado, qual é uma função de um objeto, um número de série do objeto, quais são as especificações do objeto, quais são as propriedades físicas do objeto, e detalhes de uma variedade de diferentes níveis de complexidade.
[0039] As instruções podem incluir um conjunto compreensivo de instruções sobre como completar a tarefa que poderia ser utilizada por um operador não familiarizado com a tarefa, os objetos 103-1...103-N, e/ou o ambiente físico 102 até um operador experiente que tenha realizado múltiplas vezes a tarefa e/ou trabalhado com os objetos 103-1...103-N e/ou o ambiente físico 102. As instruções podem incluir múltiplos conjuntos de instruções que são adaptados para instruir operadores com correspondentes diferentes níveis de habilidades ou experiência. Porções das instruções podem incluir informação simplista que seria repetitiva, não utilizada, indesejada e/ou distrativa para operadores de um nível específico de experiência. Porções das instruções podem incluir informação complexa que seria sufocante, confusa, dispersa, indesejada e/ou não utilizada por operadores de outro nível de experiência. Isto é, as instruções podem ser um conjunto mestre genérico de instruções que contêm tais níveis variáveis de detalhe, informação técnica e complexidade de modo a serem compreensivas em relação à variedade de níveis de habilidade de operadores, mas não universalmente aplicáveis na sua totalidade à variedade de níveis de habilidade do operador.
[0040] Como descrito acima, os dados 108 podem incluir informação que descreve os objetos 103-1...103-N e/ou o ambiente físico 102 e informação que descreve a tarefa a ser realizada pelo operador em relação aos objetos 103-
1...103-N e/ou ao ambiente físico 102. Os dados 108 podem ser utilizados para informar o gerenciador de informações 106 a compreensão dos objetos 103-1...103-N e/ou do ambiente físico 102 capturados na imagem digital. As marcações extraídas da imagem digital dos objetos 103-1...103-N e/ou do ambiente físico 102 podem ser utilizadas pelo gerenciador de informações 106 para atribuir ou associar porções dos dados 108 aos objetos 103-1...103-N e/ou ao ambiente físico
102. Isto pode incluir atribuir ou associar porções das instruções dos objetos 103-1...103-N e/ou do ambiente físico 102 que aparecem na imagem digital.
[0041] Para reiterar, os dados 108 podem incluir informação que descreve as propriedades, história, orientação e/ou condições dos objetos 103-1...103-N e/ou do ambiente físico 102. Tais dados 108 podem ser extraídos da imagem digital dos objetos 103-1...103-N e/ou do ambiente físico 102 e podem ser preenchidos a partir de outras fontes externas. Os dados 108 podem ser utilizados para acessar uma imagem digital dos objetos 103-1...103-N e/ou do ambiente físico 102 e identificar instruções para completar uma tarefa que envolve os objetos 103-1...103-N e/ou o ambiente físico
102. Como descrito acima, marcações extraídas dos objetos 103-1...103-N e/ou do ambiente físico 102 podem facilitar a identificação das porções relevantes dos dados 108 para os objetos 103-1...103-N, o ambiente físico 102 e/ou a identificação das instruções relevantes para um operador realizar uma tarefa que envolva os objetos 103-1...103-N ou o ambiente físico 102. Contudo, uma porção das instruções identificadas pode não ser aplicável ou desejável para cada um de uma pluralidade de operadores distintos que têm características distintas.
[0042] O gerenciador de informações 106 pode incluir características de operador 110 armazenadas em uma estrutura de dados. Embora as características de operador 110 sejam ilustradas fora dos dados 108, exemplos são adicionalmente contemplados onde as características de operador são parte dos dados e/ou são armazenados em uma estrutura de dados comum ou recurso de memória como dados 108. As características de operador 110 podem incluir um perfil individual para cada um de uma pluralidade de operadores. Por exemplo, as características de operador 110 podem incluir um perfil de características individuais para cada um de uma pluralidade de operadores que trabalham para uma empresa. Deste modo, as características de operador 110 podem ser preenchidas a partir de sistema de registro de recursos humanos e/ou mantidas por gerenciadores de recursos humanos. Adicionalmente, as características de operador 110 podem ser preenchidas a partir de realimentação ou entrada a partir de cada operador individual. Além disso, as características de operador 110 podem ser preenchidas a partir do conteúdo de imagens digitais capturadas por um componente de imagem digital do dispositivo AR 104 e identificadas pelo gerenciador de informações 106.
[0043] As características de operador 110 de um operador podem incluir uma informação de identificação do operador tal como o nome do operador, o número de identificação de funcionário do operador, o número de telefone do operador, o endereço residencial do operador, o endereço eletrônico do operador. As características de operador 110 de um operador podem incluir a idade, altura, peso e/ou outras dimensões físicas do operador.
[0044] As características de operador 110 podem incluir uma métrica de uma habilidade física do operador para realizar diversas atividades físicas (por exemplo, operador pode levantar 9 kg (20 libras), operador pode ficar em pé por 30 minutos, operador pode trabalhar ajoelhado por 30 minutos, operador pode estender completamente os braços, operador pode apertar uma porca até um torque especificado, etc.).
[0045] As características de operador 110 podem incluir uma localização do operador. Uma localização do operador pode incluir localização e/ou dados de sistemas de informação geográfica que sugerem uma localização do operador, que podem sugerir a localização do ambiente físico 102 onde o operador está localizado, os objetos 103-1...103- N que estão presentes no ambiente físico 102 e/ou condições ambientais relevantes onde o operador está localizado. A localização do operador pode ser recuperada a partir de um sistema de rastreamento de operador e/ou um sistema de posicionamento do dispositivo AR 104.
[0046] As características de operador 110 podem incluir um nível de expertise do operador. Um nível de expertise do operador pode incluir um montante de experiência que um operador possui. Em alguns exemplos, o nível de expertise pode ser o nível de expertise do operador em relação à tarefa a ser realizada e/ou o nível de expertise do operador em relação aos objetos 103-1...103-N e/ou a porções do ambiente físico 102 identificado na imagem digital do ambiente físico 102. Em alguns exemplos, o nível de expertise pode ser o nível de expertise em relação ao trabalho mantido pelo operador. O nível de expertise do operador pode ser baseado no título de trabalho do operador, os anos de experiência do operador, o nível de habilidade (por exemplo, estagiário, principiante, novato, intermediário, avançado, especialista, etc.) do operador, a condição do operador em relação a teste e/ou treinamento (por exemplo, data em que o treinamento mais recente foi completado, tipo de treinamento completado, nível mais elevado de treinamento completado, certificação de maior nível de habilidade alcançado, etc.).
[0047] O nível de expertise do operador pode ser baseado em desempenhos históricos do operador. Os desempenhos históricos podem ser desempenhos capturados digitalmente, identificados e/ou registrados através do dispositivo AR 104 e/ou do gerenciador de informações 106. Um exemplo de desempenho histórico do operador pode incluir uma notificação de solicitação de manutenção prévia e/ou fechada pelo operador. O desempenho histórico do operador pode incluir objetos prévios 103-1...103-N inspecionados, reparados ou substituídos pelo operador. O desempenho histórico do operador pode incluir objetos 103-1...103-N frágeis, perigosos e/ou caros inspecionados, reparados ou substituídos pelo operador. Um desempenho histórico pode incluir experiência do operador como observado através do dispositivo AR 104 tal como tempo que o operador dispendeu realizando tarefas específicas, informação virtual e/ou etiquetas exibidas ao operador que o operador reconheceu e/ou dispensou, e/ou solicitações para informação adicional feita pelo operador quando realizando previamente a tarefa de manutenção. O desempenho histórico pode incluir uma postura corporal ou posição utilizada pelo operador quando realizando previamente a tarefa de manutenção. O desempenho histórico pode incluir análise de rastreamento ocular coletado pelo monitoramento do olho do operador quando realizando previamente a tarefa de manutenção. O desempenho histórico pode incluir tarefas de manutenção e/ou treinamento que o operador completou previamente com sucesso, pulou e/ou falhou em completar com sucesso. O desempenho histórico pode incluir entrada fornecida diretamente pelo operador tal como comandos para “mostre-me mais” ou “mostre-me menos”. O desempenho histórico pode incluir comandos prévios de navegação de voz recebidos do operador referentes aos objetos 103-1...103-N, porções do ambiente físico 102, tarefas de manutenção e/ou instruções para execução das tarefas de manutenção, tais como “página seguinte”, “página anterior”, “avançar 15 segundos”, “rebobinar 15 segundos”, etc. Os dados de desempenho histórico podem incluir marcações que o operador atingiu completamente, substituiu e/ou aplicou a objetos 103-
1...103-N e/ou a porções do ambiente físico 102 quando realizando tarefas de manutenção prévias.
[0048] As características de operador 110 podem incluir preferências indicadas pelo operador. As preferências podem ser preferências que são digitalmente capturadas, identificadas e/ou registradas através do dispositivo AR 104 e/ou do gerenciador de informações 106. As preferências podem incluir as preferências de um operador para o tipo de informação a incluir em uma sobreposição visual e/ou apresentação de áudio ao operador. Por exemplo, as preferências podem incluir se o operador prefere etiquetas virtuais para objetos específicos 103-1...103-N aparecerem em uma sobreposição visual no dispositivo AR 104 presente no ambiente físico 102. As etiquetas virtuais podem ser etiquetas que descrevem um nome ou outro identificador dos objetos específicos 103-1...103-N, tais como “tubo de suprimento de refrigerante”, “fonte de alimentação”, “saída de conexão A”, etc. Em alguns exemplos, as etiquetas virtuais podem incluir datas associadas a objetos específicos 103-
1...103-N, tais como dados de instalação, uma data de instalação, uma data de reparação, uma data esperada de manutenção, uma data esperada de substituição, uma última data de inspeção, etc. As etiquetas virtuais podem incluir etiquetas virtuais que incluem as condições ambientais e/ou a condição física dos objetos específicos 103-1...103-N, tais como “úmido”, “quente”, “frio”, “sob pressão”, “rotativo”, etc.
[0049] Adicionalmente, as características de operador 110 podem incluir preferências tais como preferências para uma aparência de uma sobreposição visual. Por exemplo, uma preferência de uma aparência de uma sobreposição visual pode incluir uma preferência por um operador para uma fonte de uma sobreposição visual, um brilho de uma sobreposição visual, uma linguagem ou texto e/ou uma disposição ou esboço de elementos da sobreposição visual.
[0050] Em alguns exemplos, as características de operador 110 podem incluir preferências tais como preferências de um operador para o modo como a informação específica é entregue ao operador. Por exemplo, as preferências podem incluir preferências do operador para receber alguns tipos ou pedaços de informação como informação digital apresentada no visor do dispositivo AR 104, como uma sobreposição visual e outros tipos ou pedaços de informação como informação auditiva por meio de alto-falantes ou fones de ouvido. A preferência pode também incluir preferências de uma linguagem e/ou volume com que a informação auditiva deveria ser entregue.
[0051] Em alguns exemplos, as características de operador 110 podem incluir preferências para fornecer as instruções para realizar uma tarefa de manutenção. Por exemplo, as preferências podem incluir preferências quanto a uma linguagem de entrega de instruções, uma velocidade de entrega de instruções, um comando de entrega de instruções, comandos de voz para instruções de navegação e/ou um formato de instruções. As preferências podem também incluir a seleção de instruções específicas quanto a incluir ou não incluir quando entregar instruções sobre uma tarefa específica de manutenção. Em alguns exemplos, as instruções específicas a serem entregues ou não entregues podem ser particularmente selecionadas a partir de um roteiro de instruções de tarefas de manutenção para uma tarefa de manutenção. Em alguns exemplos, as instruções específicas a serem entregues ou não entregues a partir de um roteiro específico de instruções de tarefas de manutenção podem ser baseadas em um nível de habilidade, nível de dificuldade ou nível de treinamento correspondente a um nível selecionado pelo operador para especificamente incluir ou não incluir na entrega de instruções.
[0052] As características de operador 110 descritas acima podem ser armazenadas em perfis únicos para cada operador de uma pluralidade de operadores. Por exemplo, uma empresa pode empregar uma pluralidade de técnicos que podem individualmente agir como um operador em um ambiente físico
102. Cada um dos técnicos da pluralidade de técnicos pode ter um correspondente perfil acessível ao gerenciador de informações 106. Deste modo, o gerenciador de informações 106 pode receber uma indicação do dispositivo AR 104 e/ou do operador de uma identidade do operador. O gerenciador de informações 106 pode fazer referência às características específicas de operador 110 do operador específico identificado.
[0053] Como descrito acima, a informação identificada pelo gerenciador de informações 106 referente aos objetos 103-1...103-N, às porções do ambiente físico 102 e/ou à tarefa a ser realizada pelo operador no ambiente físico pode ser cara, compreensiva e, abreviado, demais para ser processada por e ser útil a cada operador da pluralidade de operadores. Além disso, a informação identificada pode ter uma variedade expansiva de potenciais modalidades de entrega e/ou formatos que também não são adequados para ou desejados por cada operador de uma pluralidade de operadores.
[0054] O gerenciador de informações 106, em contraste com sistemas que aplicam roteiros genéricos de instruções de tarefas, pode selecionar uma porção da informação identificada referente aos objetos 103-1...103- N, às porções do ambiente físico 102 e/ou à tarefa a ser realizada pelo operador no ambiente físico para ser exibida ao operador no ambiente físico 102. A porção pode ser menor que toda a informação identificada referente aos objetos 103-1...103-N, às porções do ambiente físico 102 e/ou à tarefa a ser realizada pelo operador. Por exemplo, a porção pode ser um subconjunto de um conjunto ou roteiro de instruções para realizar a tarefa.
[0055] A porção selecionada da informação identificada pode ser selecionada com base nas características de operador 110 do operador que estará realizando a tarefa de manutenção no ambiente físico 102. Isto é, a porção da informação identificada que será exibida ao operador no ambiente físico 102 por meio de uma sobreposição visual no dispositivo AR 104 pode ser adaptada para o operador com base nas características de operador
110. Por exemplo, alguma informação referente à realização da tarefa pode ser adicionada, alguma informação referente à realização da tarefa pode ser omitida, alguma informação referente à realização da tarefa pode ser suplementada, alguma informação referente à realização da tarefa pode ser reduzida, alguma informação referente à realização da tarefa pode ser reformatada e/ou alguma informação referente à realização da tarefa pode ser realçada com base nas características de operador 110 do operador que realizará a tarefa no ambiente físico.
[0056] Por exemplo, as instruções fornecidas ao operador para realização de uma tarefa de manutenção no ambiente físico 102 podem ser adaptadas para o operador pela adaptação das instruções que são entregues ao operador às suas habilidades, limitações e/ou preferências identificadas nas características de operador 110 para o operador. Como resultado, diferentes operadores podem ser exibidos com diferentes sobreposições visuais que incluem distintas etiquetas de objetos, instruções de tarefas e/ou formatos e modalidades de comunicação para uma mesma tarefa de manutenção. Uma sobreposição visual que inclui a porção da informação identificada que o operador deseja e/ou utilizará para completar a tarefa de manutenção pode ser exibida ao operador, mas a porção da informação identificada que não deseja ou não será utilizada mesmo se estiver presente na sobreposição visual não pode ser exibida ao operador.
[0057] Adicionalmente, a porção da informação identificada pode ser selecionada com base nos dados 108 extraídos dos objetos 103-1...103-N e/ou do ambiente físico
102. Por exemplo, se os dados 108 incluem informação de que um objeto específico no ambiente físico 102 tem uma temperatura fora das especificações de calor, tem um nível de umidade fora das especificações de umidade, experimentou um choque, etc., então o gerenciador de informações 106 pode selecionar uma porção da informação identificada referente à tarefa que fornecerá ao operador uma indicação da condição e/ou instruções de como realizar a operação de manutenção dado que aquela condição foi detectada.
[0058] O operador pode utilizar o dispositivo AR 104 e as sobreposições visuais apresentadas por aquele para realizar a tarefa de manutenção. Por exemplo, o operador pode utilizar a informação e instruções fornecidas na sobreposição visual para conduzir a tarefa de manutenção. O operador pode utilizar informação tal como etiquetas de objetos fornecidas na sobreposição visual que se sobrepõe aos objetos 103-1...103-N para identificar uma porção dos objetos 103-1...103-N. O operador pode utilizar informação tal como uma história dos objetos 103-1...103-N fornecida na sobreposição visual que se sobrepõe aos objetos 103-1...103- N para determinar peças mais recentemente reparadas e/ou peças que se aproximam das datas de manutenção recomendadas que podem justificar inspeção na tarefa de manutenção. O operador pode utilizar informação tal como uma indicação fornecida na sobreposição visual que se sobrepõe a objetos 103-1...103-N específicos que indica que os objetos 103-
1...103-N específicos estão quentes e/ou são frágeis e deve prosseguir com cuidado em torno dos objetos 103-1...103-N específicos enquanto realizando a tarefa de manutenção. O operador pode utilizar informação tal como instrução para realizar a tarefa fornecida na sobreposição visual e/ou por meio de outras modalidades de comunicação do dispositivo AR 104 como um roteiro para execução da tarefa de manutenção.
[0059] Como descrito acima, a informação referente aos objetos 103-1...103-N, ao ambiente físico 102 e/ou à tarefa de manutenção pode ser adaptada às habilidades e/ou preferências do operador do dispositivo AR 104 a quem a informação será comunicada por meio de uma sobreposição visual. Por exemplo, a informação referente aos objetos 103-
1...103-N, ao ambiente físico 102 e/ou à tarefa de manutenção pode ser adaptada às habilidades e/ou preferências do operador por uma seleção parcial da informação identificada. Por exemplo, uma porção não selecionada da informação identificada pode incluir uma porção da informação identificada com a qual o operador demonstrou previamente familiaridade e/ou domínio, tal como uma técnica que o operador executou antes muitas vezes com sucesso. Deste modo, a experiência de realidade aumentada do operador será adaptada ao operador em uma maneira que é não distrativa, complementar e ótima para o operador específico.
[0060] Contudo, em alguns exemplos, a seleção da porção da informação identificada referente à tarefa para incluir em uma sobreposição visual a ser exibida ao operador no ambiente físico 102 pode não ser um evento singular que ocorre antes de uma comunicação singular da porção da informação para completar a tarefa de manutenção. A sobreposição visual que é exibida ao operador pode ser continuamente atualizada à medida que o desempenho da tarefa de manutenção pelo operador prossegue. A informação referente à tarefa de manutenção que é incluída em sucessivas sobreposições visuais comunicada durante o desempenho da tarefa de manutenção subsequente a uma primeira sobreposição visual pode não ser estática.
[0061] Ao invés, o gerenciador de informações 106 pode continuar a adaptar a informação identificada que é incluída nas subsequentes sucessivas sobreposições visuais, baseada em dados dos objetos 103-1...103-N, das porções do ambiente físico 102 e/ou das ações ou realimentação do operador que ocorrem durante o desempenho da tarefa de manutenção. Por exemplo, o gerenciador de informações pode selecionar uma segunda porção da informação identificada referente à tarefa e/ou informação adicional referente à tarefa, capturada desde que a última iteração geral visual da sobreposição visual foi enviada, para incluir na subsequente sucessiva sobreposição visual baseada nos dados extraídos dos objetos 103-1...103-N, das porções do ambiente físico 102 e/ou das ações ou realimentação do operador desde que uma iteração anterior de uma sobreposição visual foi comunicada ao dispositivo AR 104.
[0062] Deste modo, uma malha de realimentação pode ser criada por meio da qual o sistema 100 contínua ou semicontinuamente extrai dados dos objetos 103-1...103-N, das porções do ambiente físico 102 e de um operador que utiliza o dispositivo AR 102 na execução da tarefa de manutenção no ambiente físico 102 em imagens digitais. Os dados extraídos podem ser utilizados para identificar informação adicional referente aos objetos 103-1...103-N, às porções do ambiente físico 102 e ao operador que utiliza o dispositivo AR 102 na execução da tarefa de manutenção. A informação adicional pode ser utilizada pelo gerenciador de informações 106 para gerar as sucessivas iterações da sobreposição visual a ser exibida ao operador subsequente à primeira sobreposição visual durante desempenho da tarefa de manutenção. Deste modo, a informação referente à tarefa de manutenção pode ser contínua ou semicontinuamente adaptada ao operador específico pela inclusão de diferentes porções da informação identificada e/ou de porções da informação adicional como informada pela malha de realimentação acima mencionada. A informação adicional identificada referente aos objetos 103-1...103-N, às porções do ambiente físico 102 e ao operador que utiliza o dispositivo AR 102 pode ser adicionada aos dados 108 e/ou às características de operador
110.
[0063] Por exemplo, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, as ações de um operador podem ser monitoradas e/ou analisadas. O gerenciador de informações 106 pode analisar uma duração de tempo que o operador está dispendendo ao realizar porções da tarefa de manutenção. Tal tempo dispendido nas observações de tarefa pode ser utilizado pelo gerenciador de tarefas 106 para fazer uma determinação de uma familiaridade ou nível de expertise que o operador tem para aquela porção da tarefa. Em alguns exemplos, um tempo dispendido em tarefa que é menor que um montante de tempo limite pode ser indicativo de que o operador é familiar com ou dominou a técnica. Em tais exemplos, o gerenciador de informações 106 pode reduzir o montante de informação que é incluída em uma sobreposição visual da próxima vez que o operador realizar a mesma tarefa, em subsequentes iterações da sobreposição visual para realizar a tarefa manualmente e/ou pode indicar ao operador que ele dominou a porção da tarefa e perguntar se gostaria de alterar o montante de informação apresentada por meio da sobreposição visual como resultado. Em alguns exemplos, um tempo dispendido na tarefa que é maior que um montante de tempo limite pode ser indicativo de que o operador tem falta de familiaridade com ou está se esforçando para completar uma porção da tarefa. Em resposta a esta determinação, o gerenciador de informações 106 pode fornecer informação adicional na sobreposição visual e/ou pode solicitar que um operador decida se gostaria de informação adicional e/ou de ser conectado a uma fonte externa de informação tal como uma linha de ajuda.
[0064] Em alguns exemplos, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, o gerenciador de informações 106 pode utilizar análise de rastreamento visual ou reconhecimento/rejeição direto pelo operador para aferir se o operador interagiu com porções específicas da sobreposição visual. Por exemplo, o gerenciador de informações pode determinar se um operador leu uma etiqueta de um objeto 103-1...103-N na sobreposição visual. Em alguns exemplos, uma vez o operador tenha lido uma etiqueta, então o gerenciador de informações 106 pode fazer a etiqueta desaparecer ou diminuir em tamanho nas subsequentes iterações da sobreposição visual. Em alguns exemplos, se o operador não leu uma etiqueta, então o gerenciador de informações 106 pode concluir que o operador é familiarizado com a etiqueta e o gerenciador de informações 106 pode fazer a etiqueta desaparecer ou diminuir em tamanho nas subsequentes iterações da sobreposição visual. Em alguns exemplos, se o operador não leu uma etiqueta e aquela etiqueta está associada a um aviso tal como “PERIGO: QUENTE”, então o gerenciador de informações 106 pode fazer a etiqueta aumentar em tamanho, pulsar e/ou brilhar nas subsequentes iterações da sobreposição visual.
[0065] Em alguns exemplos, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, porções da tarefa de manutenção que são completadas com sucesso e/ou etapas que foram puladas na execução da tarefa podem ser monitoradas e/ou determinadas. Em alguns exemplos, quando um operador completou com sucesso uma porção da tarefa de manutenção, o gerenciador de informações 106 pode fazer com que informação referente à tarefa a ser exibida nas subsequentes iterações da sobreposição visual possa ser reduzida. Em alguns exemplos, se uma etapa é pulada, o gerenciador de informações 106 pode fazer com que uma maior quantidade ou diferente porção de informação referente à tarefa seja exibida nas subsequentes iterações da sobreposição visual e/ou fazer com que uma sugestão para treinamento corretivo seja emitida ao operador.
[0066] Em alguns exemplos, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, o gerenciador de informações 106 pode determinar que marcações nos objetos 103-1...103-N e/ou no ambiente físico 102 foram aplicadas, alteradas, removidas e/ou substituídas pelo operador. O gerenciador de informações 106 pode determinar que modificação de marcação aciona uma mudança no contexto resultante em uma porção mais avançada e/ou refinada de informação identificada a ser incluída na sobreposição visual. Por exemplo, o gerenciador de informações 106 pode determinar que o operador física e/ou virtualmente atingiu uma marcação em uma linha de vapor pressurizado. Isto pode ser um sinal do operador de que estão cientes da localização da linha de vapor pressurizado no ambiente físico 102. Deste modo, o gerenciador de informações 106 pode fazer com que subsequentes iterações da sobreposição visual incluam um texto “agora que você sabe onde está a linha de vapor pressurizado, vamos aprender onde estão localizadas as válvulas primária e secundária de controle” ao invés de outras indicações da posição da linha de vapor pressurizado.
[0067] Em alguns exemplos, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, o gerenciador de informações 106 pode monitorar e/ou determinar uma relação espacial entre marcações nos diversos objetos 103-1...103-N e/ou porções do ambiente físico 102. Por exemplo, um sistema de visão computacional pode ser utilizado para analisar relações espaciais entre as marcações. Em um exemplo, o gerenciador de informações 106 pode utilizar a relação espacial entre marcações de respectivos objetos 103-1...103-N para determinar uma instalação adequada dos objetos 103-1...103-N. Por exemplo, quando duas marcações em objetos adjacentes 103-1...103-N se alinham para formar uma linha reta, então o gerenciador de informações 106 pode determinar que os objetos adjacentes 103-1...103-N estão adequadamente instalados. Em exemplos onde as marcações se alinham adequadamente, o gerenciador de informações pode fazer com que subsequentes iterações da sobreposição visual incluam texto ou gráficos que confirmam uma instalação com sucesso. Em exemplos onde as marcações não se alinham adequadamente, o gerenciador de informações pode fazer com que subsequentes iterações da sobreposição visual incluam texto ou gráficos avisando que os objetos adjacentes 103-1...103-N não estão adequadamente instalados e/ou fornecer instruções adicionais de instalação.
[0068] Como descrito acima, algumas das marcações podem ser marcações reativas e/ou marcações que de outro modo indicam uma condição do correspondente objeto 103-
1...103-N e/ou da porção do ambiente físico 102. Em alguns exemplos, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, o gerenciador de informações 106 pode monitorar e/ou determinar que uma marcação reativa está indicando que a condição de um objeto correspondente está fora de uma especificação. O gerenciador de informações 106 pode fazer com que subsequentes iterações da sobreposição visual incluam texto ou gráficos avisando que o objeto correspondente está fora de especificações e/ou fornecer instruções adicionais sobre como abordar, inspecionar, reparar, substituir, manusear, modificar, etc. o objeto correspondente.
[0069] Em alguns exemplos, a informação referente à tarefa de manutenção fornecida em uma primeira sobreposição visual pode incluir instruções para o operador verificar a autenticidade de um objeto 103-1...103-N suspeito. Por exemplo, se é suspeito que uma peça em uma máquina tenha falhado, o operador pode ser confrontado com uma sobreposição visual no dispositivo AR 104 instruindo o operador a verificar a autenticidade da peça. As instruções podem incluir instruções para aplicar uma fonte luminosa, um produto químico e/ou outro mecanismo de teste à peça. Em resposta ao monitoramento e/ou determinação do resultado do teste através de visão computacional, o gerenciador de informações 106 pode fazer com que subsequentes iterações da sobreposição visual incluam texto ou gráficos avisando que o objeto correspondente não é autêntico ou, alternativamente, confirmando que o objeto correspondente é autêntico.
[0070] Em alguns exemplos, enquanto utilizando o dispositivo AR 104 para completar uma tarefa de manutenção, o gerenciador de informações 106 pode monitorar e/ou determinar uma posição do corpo do operador, orientação do corpo, postura do corpo e/ou técnica enquanto realizando a tarefa de manutenção no ambiente físico 102. Alguns ambientes físicos 102 podem ser cenas complexas e/ou perigosas onde o posicionamento do corpo do operador é crítico para a segurança do operador. Em tais ambientes físicos 102, o gerenciador de informações 106 pode utilizar as marcações e/ou rastreamento do corpo do operador para identificar posicionamento incorreto ou perigoso do corpo e o gerenciador de informações 106 pode fazer com que subsequentes iterações da sobreposição visual incluam texto ou gráficos avisando do posicionamento incorreto ou perigoso do corpo e oferecendo instruções ou corrigindo o posicionamento do corpo.
[0071] O ambiente físico 102 e os objetos 103-
1...103-N naquele podem ser um ambiente em evolução. Os exemplos descritos acima podem permitir que a informação referente aos objetos 103-1...103-N, às porções do ambiente físico 102 e/ou a uma tarefa de manutenção a ser realizada no ambiente físico 102 por um operador, evoluam junto com as condições do mundo real. Adicionalmente, os exemplos descritos acima podem permitir que a informação em constante evolução continue a ser refinada e adaptada para o operador individual que realiza a tarefa no ambiente físico 102. Como resultado, um dispositivo AR 104 pode fornecer a um operador uma sobreposição visual que é contínua ou semicontinuamente adaptativa às condições do mundo real e eventos do ambiente físico 102 e/ou às características de operador 110 em evolução do operador.
[0072] O sistema 100 não se destina a ser limitado a qualquer exemplo mencionado neste documento. O sistema 100 pode utilizar e/ou incluir elementos do meio não transitório legível por máquina da Figura 2 e/ou do método da Figura 3.
[0073] A Figura 2 ilustra um diagrama 220 de um recurso de processamento 222 e um meio não transitório legível por máquina 224 para produzir uma sobreposição visual baseada em características de operador de acordo com a presente divulgação. Um recurso de memória, tal como o meio não transitório legível por máquina 224 pode ser usado para armazenar instruções (por exemplo, 226, 228, 230, 232) executadas pelo recurso de processamento 222 para realizar as operações como descritas neste documento. As operações não são limitadas a um exemplo específico descrito neste documento e podem incluir operações adicionais tais como aquelas descritas em relação ao sistema 100 descrito na Figura 1 e ao método 340 descrito na Figura 3.
[0074] Um recurso de processamento 222 pode executar as instruções armazenadas no meio não transitório legível por máquina 224. O meio não transitório legível por máquina 224 pode ser qualquer tipo de memória ou armazenamento volátil ou não volátil, tal como memória de acesso aleatório (RAM), memória flash, memória apenas de leitura (ROM), volumes de armazenamento, um disco rígido, ou uma combinação destes.
[0075] O meio legível por máquina 224 armazena instruções 226 executáveis pelo recurso de processamento 222 para identificar marcações em um objeto físico em um ambiente físico. As marcações podem ser identificadas utilizando análise de visão computacional de uma imagem digital dos objetos físicos no ambiente físico.
[0076] O ambiente físico pode incluir um ambiente físico onde um dispositivo AR, tal como um par de óculos AR, está presente. O dispositivo AR pode ser operado por um operador específico. O dispositivo AR pode incluir e/ou estar em comunicação com um dispositivo de captura de imagem digital presente no ambiente físico para capturar as imagens digitais acima mencionadas dos objetos e/ou do ambiente físico.
[0077] O dispositivo AR pode ser utilizado pelo operador na execução de uma tarefa no ambiente físico. A tarefa pode ser uma tarefa de manutenção que envolve os objetos no ambiente físico. Em alguns exemplos, os objetos podem ser peças de uma máquina no ambiente físico e a tarefa pode ser uma tarefa de manutenção para manutenção da máquina.
[0078] As instruções 226 para identificar as marcações podem incluir instruções para identificar características das marcações. Por exemplo, o padrão, cor, texto, números, etc. das marcações podem ser identificados por visão computacional. Além disso, as instruções 226 podem incluir instruções para identificar uma modificação de uma característica da marcação. Por exemplo, as marcações podem ser marcações reativas que mudam características quando expostas a determinadas condições. Deste modo, as instruções podem incluir instruções para comparar as características da marcação com características anteriores previamente armazenadas da marcação e determinar se aquelas características foram modificadas. Por exemplo, as instruções podem incluir instruções para determinar que uma peça de uma máquina aqueceu para além de uma especificação de fabricante com base em uma determinação de que a cor da marcação se alterou desde que foi registrada e/ou observada por último.
[0079] O meio legível por máquina 224 pode armazenar instruções 228 executáveis pelo recurso de processamento 222 para utilizar as marcações identificadas para identificar informação referente ao objeto físico que foi marcado pela marcação. A informação referente ao objeto físico pode cobrir uma gama de complexidades. Por exemplo, a informação referente ao objeto físico pode simplesmente referir-se à sua etiqueta, seu número de série e/ou sua finalidade em uma máquina. A informação simples pode ser recuperada dos dados armazenados ligados às e/ou referenciados pelas marcações nos objetos.
[0080] Contudo, a informação referente ao objeto físico pode incluir informação mais complexa referente ao objeto físico. Por exemplo, a informação pode incluir especificações detalhadas para o objeto, diagramas intricados, páginas de material de manuais referentes ao objeto e/ou diagramas detalhados de seu papel em um sistema geral. A informação mais complexa pode também ser recuperada a partir de dados armazenados ligados às e/ou referenciados pelas marcações nos objetos.
[0081] Em alguns exemplos, a informação referente ao objeto físico pode incluir informação referente a quando a peça foi instalada em uma máquina presente no ambiente físico. Adicionalmente, a informação pode incluir o momento da reparação, substituição, inspeção e/ou limpeza mais recente da peça no ambiente físico. Outros exemplos podem incluir informação referente aos objetos físicos tais como um prazo de validade do objeto, uma vida útil do objeto, montante de tempo decorrido desde que o objeto deveria ser reparado, substituído, inspecionado e/ou limpo. Estes diversos aspectos de tempo podem ser baseados em uma data em que a marcação foi primeiro observada pelo sistema de visão computacional do dispositivo AR e/ou por dados ligados a cada marcação.
[0082] Em alguns exemplos, a informação referente ao objeto físico pode incluir uma determinação de que o objeto físico foi submetido a uma condição ambiental específica. Como descrito acima, as marcações em tal objeto podem ser marcações reativas. Em tais exemplos, a determinação de que o objeto físico foi submetido a uma condição ambiental específica pode ser baseada na modificação da característica de sua correspondente marcação reativa.
[0083] Em alguns exemplos, a informação referente ao objeto físico pode incluir a determinação de se uma porção de uma máquina da qual o objeto físico é um componente está fora de uma especificação para a máquina. Tal determinação pode ser baseada na relação espacial entre diversos objetos na máquina e/ou suas correspondentes marcações.
[0084] O meio legível por máquina 224 pode armazenar instruções 230 executáveis pelo recurso de processamento 222 para referenciar um perfil de características do operador.
O operador pode incluir um operador humano. O operador humano pode incluir um técnico.
[0085] As características do operador podem incluir os atributos, habilidades, proficiências demonstradas, registros de treinamento, preferências, etc. do operador. As características podem ser determinadas a partir de armazenamento de dados, dados HR, dados coletados do operador, dados expressos pelo operador, observações do operador e/ou observações de desempenho de tarefas e utilização de dispositivo AR pelo operador enquanto utilizando o dispositivo AR para realizar tarefas de manutenção.
[0086] Cada um de uma pluralidade de operadores pode ter seu próprio perfil distinto de operador. Deste modo, pode ser feita uma determinação quanto a que operador da pluralidade de operadores vai realizar a tarefa no ambiente físico. O perfil daquele operador específico pode ser o perfil que é referenciado.
[0087] O meio legível por máquina 224 pode armazenar instruções 232 executáveis pelo recurso de processamento 222 para selecionar, baseado no perfil, uma porção da informação referente ao objeto físico que será incluído em uma sobreposição visual que será exibida ao operador no ambiente físico. Por exemplo, a porção de um corpo de dados compreensivo, exaustivo e reiterativo referente ao objeto físico e a uma tarefa a ser realizada pelo operador envolvendo o objeto pode ser selecionada para ser apresentada ao operador por meio de uma sobreposição visual no dispositivo AR. Alguns dos corpos de dados podem ser excluídos da sobreposição visual.
[0088] As porções dos dados que são incluídos e/ou excluídos da sobreposição visual podem ser determinadas, baseadas pelo menos em parte, no perfil do operador. Isto é, a porção da informação referente ao objeto físico que é selecionada para ser incluída na sobreposição visual pode ser adaptada aos atributos, habilidades, proficiências demonstradas, registros de treinamentos, preferências, etc. do operador.
[0089] Os objetos, o ambiente físico, o desempenho de tarefas e/ou as características de operador podem continuar a ser observadas, analisadas e coletadas por monitoramento, por meio do dispositivo AR, dos objetos, do ambiente físico, do desempenho de tarefas e/ou do operador enquanto o operador realiza a tarefa no ambiente físico. Os dados coletados pelo monitoramento dos objetos, do ambiente físico, do desempenho de tarefas e/ou do operador enquanto o operador realiza a tarefa podem ser utilizados como dados de realimentação para refinar ainda mais a informação que está sendo oferecida ao operador. Isto é, como nova informação referente aos objetos, ao ambiente físico, ao desempenho da tarefa e/ou ao operador é aprendida durante desempenho da tarefa, a informação pode ser incorporada nas adaptações à informação incluída na sobreposição visual. A informação fornecida ao operador pode, portanto ser persistentemente adaptada às evoluções dos objetos, do ambiente físico, do desempenho de tarefa e/ou das características do operador.
[0090] Por exemplo, quando uma modificação a uma característica de uma marcação é detectada pelo monitoramento de imagens digitais do ambiente físico durante desempenho de tarefa, e aquela modificação indica que o objeto físico foi submetido a uma condição ambiental específica, um conjunto de instruções pode ser incluído em uma sobreposição visual a ser exibida ao operador no ambiente físico. Por exemplo, o conjunto de instruções pode incluir instruções sobre como manusear o objeto ou que manutenção pode ser administrada ao objeto à luz da revelação de sua exposição à condição ambiental. Por exemplo, se foi verificado que uma peça elétrica está molhada com base em uma modificação à sua marcação, pode ser incluída na sobreposição visual uma instrução para cortar a energia para a peça e substituir a peça na máquina. Tal instrução poderia não ter sido incluída na sobreposição visual se não fosse pelo reconhecimento da marcação modificada.
[0091] Em outros exemplos, quando uma marcação em um objeto revela uma data em que um objeto foi instalado em uma máquina e aquela data está em ou para além de uma duração de tempo para um serviço recomendado, pode ser incluído um conjunto de instruções em uma sobreposição visual a ser exibida ao operador no ambiente físico. Por exemplo, o conjunto de instruções pode incluir um alerta de que é devida manutenção à peça, tarefas de manutenção recomendadas para realizar na peça, o custo da manutenção recomendada à peça e/ou instruções para realizar a manutenção. Tal instrução poderia não ter sido incluída na sobreposição visual se não fosse pelo reconhecimento de que a data de instalação está fora de um prazo de serviço.
[0092] Em ainda outro exemplo, quando duas marcações em peças adjacentes e/ou conectadas em uma máquina não estão dentro de um alinhamento especificado, pode ser incluído um conjunto de instruções em uma sobreposição visual a ser exibida ao operador no ambiente físico. O conjunto de instruções pode incluir um alerta de que as marcações não estão alinhadas, um alinhamento sugerido para as marcações, um alerta de que as peças estão fora de uma especificação para a máquina, instruções sobre como conectar as peças e/ou instruções sobre como obter um alinhamento adequado entre as duas marcações. Tal instrução poderia não ter sido incluída na sobreposição visual se não fosse pelo reconhecimento da relação espacial entre o objeto físico e outro componente da máquina evidenciado pelo desalinhamento das marcações. Uma vez obtido o alinhamento adequado, pode ser incluída uma confirmação da conexão com sucesso na sobreposição visual.
[0093] A Figura 3 ilustra um diagrama de um método 340 para produzir uma sobreposição visual baseada em características de operador de acordo com a presente divulgação. O método 340 não é limitado a qualquer conjunto específico e/ou ordem de operações. O método 340 pode incluir operações adicionais tais como aquelas descritas em relação ao sistema 100 descrito na Figura 1 e ao meio legível por máquina 224 descrito na Figura 2.
[0094] Em 342, o método 340 pode incluir a captura de uma imagem digital de um ambiente físico. O ambiente físico pode ser um ambiente onde o operador vai realizar uma tarefa. Por exemplo, o ambiente físico pode ser um ambiente onde um operador de um dispositivo AR vai realizar uma tarefa de manutenção em componentes de máquina no ambiente físico.
[0095] A imagem digital pode ser uma fonte de vídeo e/ou uma imagem de uma fonte de vídeo do ambiente físico. A imagem digital pode ser capturada por um dispositivo de captura de imagens digitais presente no ambiente físico.
[0096] Em 344, o método 340 pode incluir instruções de identificação referentes ao desempenho da tarefa. As instruções podem ser identificadas com base na marcação reconhecida a partir da imagem digital. As instruções podem incluir um conjunto compreensivo de instruções para realizar a tarefa. Porções do conjunto de instruções podem ser complexas e outras porções podem ser simplificadas. Em alguns exemplos, as mesmas etapas para realizar uma tarefa podem ser mencionadas diferentemente em diferentes porções das instruções. Uma porção pode incluir instruções simplistas que etiquetam cada objeto e listam em detalhe extenso as etapas para completar a tarefa. Outra porção pode incluir instruções complexas que não etiquetam os objetos e listam as etapas em menor detalhe com mais informações de suporte técnico disponível. Em alguns exemplos, as instruções podem incluir um catálogo compreensivo de dados sobre os objetos, o ambiente físico e/ou as tarefas, onde cada peça de dados pode ser selecionada aos poucos para formar um conjunto de instruções.
[0097] Em 346, o método 340 pode incluir selecionar uma primeira porção das instruções a ser incluída em uma primeira sobreposição visual a ser exibida ao operador no ambiente físico. A primeira porção das instruções pode ser selecionada baseada nas características do operador. Deste modo, as instruções podem ser adaptadas aos atributos, habilidades e/ou preferências únicos do operador que realiza a tarefa.
[0098] Em 348, o método pode incluir rastrear um desempenho da tarefa pelo operador no ambiente físico. Por exemplo, o dispositivo AD e/ou um dispositivo de captura de imagens digitais podem ser utilizados para monitorar os objetos, ambiente físico, desempenho da tarefa e/ou ação do operador enquanto a tarefa é realizada. Informação adicional referente aos objetos, ao ambiente físico, ao desempenho da tarefa e/ou ao operador pode ser capturada a partir deste monitoramento durante o desempenho da tarefa enquanto uma sobreposição visual é apresentada ao operador.
[0099] Uma segunda porção das instruções, que pode incluir uma porção não selecionada das instruções que não foi incluída na primeira sobreposição visual e/ou em algumas das informações adicionais descritas acima, pode ser incluída em uma segunda sobreposição visual a ser exibida ao operador no ambiente físico. A segunda porção das instruções pode ser selecionada baseada no desempenho rastreado da tarefa. Isto é, a segunda porção das instruções pode ser um segundo conjunto de instruções adaptado à informação adicional e/ou às características adicionais de operador.
[00100] Em alguns exemplos, o olhar do operador pode ser rastreado. Por exemplo, enquanto a primeira sobreposição visual é exibida a um operador por meio de um visor de um dispositivo AR, o olhar dos operadores pode ser rastreado. Os objetos, porções do ambiente físico e/ou porções da sobreposição virtual que o operador reconheceu ou leu podem ser rastreados desta maneira. Em alguns exemplos, a primeira sobreposição visual pode ser modificada com base no olhar rastreado. Por exemplo, se o rastreamento de olhar revelar que o operador não leu uma etiqueta virtual em uma sobreposição visual e aquela etiqueta está associada a um aviso tal como “PERIGO: CONTEÚDO SOB PRESSÃO”, então a sobreposição virtual pode ser modificada para fazer com que a etiqueta virtual aumente em tamanho, pulsação e/ou brilho.
[00101] Em outros exemplos, o progresso feito por um operador no sentido de completar uma tarefa pode ser rastreado. Em resposta ao operador completar determinadas porções da tarefa, as instruções exibidas ao operador por meio da sobreposição visual podem ser modificadas. Por exemplo, a sobreposição visual pode ser modificada para incluir instruções para completar a etapa seguinte na tarefa. Com base no tempo que o operador leva para realizar a etapa anterior, mais ou menos atraso pode ser incluído nas instruções para completar a etapa seguinte na tarefa.
[00102] Na descrição detalhada precedente da presente divulgação, é feita referência aos desenhos anexos que formam uma parte daquela, e nos quais são mostrados como ilustração como exemplos da divulgação podem ser executados. Estes exemplos são descritos em detalhe suficiente para permitir que aqueles versados na técnica executem os exemplos desta divulgação, e deve ser compreendido que outros exemplos podem ser utilizados e que mudanças de processo, elétricas e/ou estruturais podem ser feitas sem divergir do âmbito da presente divulgação.
[00103] As figuras neste documento seguem uma convenção de numeração na qual o primeiro dígito corresponde ao número de figura do desenho e os dígitos restantes identificam um elemento ou componente no desenho. Elementos mostrados nas diversas figuras neste documento podem ser adicionados, trocados e/ou eliminados de modo a fornecer um número de exemplos adicionais da presente divulgação. Além disso, a proporção e a escala relativa dos elementos fornecidos nas figuras destinam-se a ilustrar os exemplos da presente divulgação e não devem ser considerados em um sentido limitativo.
Além disso, como usado neste documento, “um” elemento e/ou recurso pode referir-se a um ou mais de tais elementos e/ou recursos.
Claims (15)
1. Sistema caracterizado pelo fato de que compreende: um recurso de processamento; e um dispositivo de computação que compreende instruções executáveis pelo recurso de processamento para: extrair dados a partir de objetos em uma imagem digital de um ambiente físico; utilizar os dados extraídos para identificar informação referente a uma tarefa a ser realizada por um operador no ambiente físico; e selecionar, com base em uma característica do operador, uma porção da informação identificada referente à tarefa para incluir em uma sobreposição visual a ser exibida ao operador no ambiente físico.
2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que a característica do operador inclui uma preferência indicada pelo operador para um tipo de informação ser incluída na sobreposição visual.
3. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que a característica do operador inclui um nível de expertise associado ao operador.
4. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que a tarefa inclui uma operação de manutenção que envolve os objetos na imagem digital.
5. Sistema, de acordo com a reivindicação 4, caracterizado pelo fato de que a porção selecionada da informação identificada inclui informação para conclusão da operação de manutenção que é adaptada ao nível de expertise do operador para a operação de manutenção.
6. Sistema, de acordo com a reivindicação 5,
caracterizado pelo fato de que uma porção não selecionada da informação identificada inclui informação de que o operador demonstrou anteriormente uma familiaridade com a operação de manutenção.
7. Meio não transitório legível por máquina, caracterizado pelo fato de que contém instruções executáveis por um processador para fazer com que o processador: identifique marcações em um objeto físico que aparece em uma imagem digital de um ambiente físico onde um operador vai realizar uma tarefa; utilize as marcações identificadas para identificar informação referente ao objeto físico; referencie um perfil de características do operador; e selecione, baseado no perfil, uma porção da informação referente ao objeto físico a ser incluída em uma sobreposição visual a ser exibida ao operador no ambiente físico.
8. Meio não transitório legível por máquina, de acordo com a reivindicação 7, caracterizado pelo fato de que as instruções para identificar as marcações incluem instruções para identificar uma modificação de uma característica da marcação.
9. Meio não transitório legível por máquina, de acordo com a reivindicação 7, caracterizado pelo fato de que as instruções para utilizar as marcações identificadas para identificar informação referente ao objeto físico incluem instruções para identificar que o objeto físico foi submetido a uma condição ambiental específica com base na modificação da característica da marcação.
10. Meio não transitório legível por máquina, de acordo com a reivindicação 7, caracterizado pelo fato de que as instruções para identificar a informação referente ao objeto físico incluem instruções para determinar quando o objeto foi instalado em uma máquina presente no ambiente físico e para selecionar a porção da informação que inclui uma manutenção recomendada para o objeto com base em quando o objeto foi instalado.
11. Meio não transitório legível por máquina, de acordo com a reivindicação 7, caracterizado pelo fato de que as instruções para identificar a informação referente ao objeto físico incluem instruções para determinar se uma porção de uma máquina da qual o objeto físico é um componente está fora de uma especificação para a máquina com base em uma relação entre o objeto físico e outro componente da máquina.
12. Método, caracterizado pelo fato de que compreende: capturar uma imagem digital de um ambiente físico onde um operador vai realizar uma tarefa; identificar instruções relacionadas com a realização da tarefa com base em marcações reconhecidas na imagem digital; selecionar, com base em uma característica do operador, uma primeira porção das instruções a serem incluídas em uma primeira sobreposição visual a ser exibida ao operador no ambiente físico; e rastrear um desempenho da tarefa pelo operador no ambiente físico.
13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que compreende modificar a característica do operador com base no desempenho rastreado da tarefa.
14. Método, de acordo com a reivindicação 12,
caracterizado pelo fato de que compreende selecionar, com base no desempenho rastreado, uma segunda porção das instruções a serem incluídas em uma segunda sobreposição visual a ser exibida ao operador no ambiente físico.
15. Método, de acordo com a reivindicação 12, caracterizado pelo fato de que compreende: rastrear um olhar do operador quando a primeira sobreposição visual é exibida ao operador; e modificar a primeira sobreposição visual com base no olhar rastreado.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2018/030244 WO2019212495A1 (en) | 2018-04-30 | 2018-04-30 | Operator characteristic-based visual overlays |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112020020033A2 true BR112020020033A2 (pt) | 2021-01-05 |
Family
ID=68386711
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112020020033-6A BR112020020033A2 (pt) | 2018-04-30 | 2018-04-30 | Sobreposições visuais baseadas em características de operador |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11455750B2 (pt) |
| EP (1) | EP3788510A4 (pt) |
| BR (1) | BR112020020033A2 (pt) |
| WO (1) | WO2019212495A1 (pt) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11423583B2 (en) | 2020-07-06 | 2022-08-23 | International Business Machines Corporation | Augmented reality enabled handling and risk mitigation |
| US20220414571A1 (en) * | 2021-06-25 | 2022-12-29 | International Business Machines Corporation | Incident management in information technology systems |
| WO2023205502A1 (en) * | 2022-04-22 | 2023-10-26 | Meta Platforms Technologies, Llc | Task optimization in an extended reality environment |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2920086A1 (fr) | 2007-08-24 | 2009-02-27 | Univ Grenoble 1 | Systeme et procede d'analyse pour une operation chirurgicale par endoscopie |
| US7676294B2 (en) | 2007-09-27 | 2010-03-09 | Rockwell Automation Technologies, Inc. | Visualization of workflow in an industrial automation environment |
| US20100013812A1 (en) | 2008-07-18 | 2010-01-21 | Wei Gu | Systems for Controlling Computers and Devices |
| US8982156B2 (en) | 2010-06-10 | 2015-03-17 | Sartorius Stedim Biotech Gmbh | Assembling method, operating method, augmented reality system and computer program product |
| US8761811B2 (en) | 2012-04-27 | 2014-06-24 | Oracle International Corporation | Augmented reality for maintenance management, asset management, or real estate management |
| US10573037B2 (en) | 2012-12-20 | 2020-02-25 | Sri International | Method and apparatus for mentoring via an augmented reality assistant |
| US9538131B2 (en) * | 2013-10-25 | 2017-01-03 | National Institute Of Advanced Industrial Science And Technology | Remote behavior navigation system and processing method thereof |
| JP6323040B2 (ja) | 2014-02-12 | 2018-05-16 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
| US9342743B2 (en) | 2014-06-02 | 2016-05-17 | Tesa Sa | Method for supporting an operator in measuring a part of an object |
| US9697432B2 (en) | 2014-12-09 | 2017-07-04 | International Business Machines Corporation | Generating support instructions by leveraging augmented reality |
| US10142596B2 (en) * | 2015-02-27 | 2018-11-27 | The United States Of America, As Represented By The Secretary Of The Navy | Method and apparatus of secured interactive remote maintenance assist |
| US9838844B2 (en) | 2015-09-25 | 2017-12-05 | Ca, Inc. | Using augmented reality to assist data center operators |
| EP3413774A4 (en) | 2015-12-07 | 2019-11-13 | M.S.T. Medical Surgery Technologies Ltd. | DATABASE MANAGEMENT FOR LAPAROSCOPIC SURGERY |
| US11250947B2 (en) * | 2017-02-24 | 2022-02-15 | General Electric Company | Providing auxiliary information regarding healthcare procedure and system performance using augmented reality |
| US20190187471A1 (en) * | 2017-12-18 | 2019-06-20 | Flex Ltd. | Dynamically controlled focal plane for optical waveguide-based displays |
| US11326886B2 (en) * | 2018-04-16 | 2022-05-10 | Apprentice FS, Inc. | Method for controlling dissemination of instructional content to operators performing procedures at equipment within a facility |
-
2018
- 2018-04-30 BR BR112020020033-6A patent/BR112020020033A2/pt unknown
- 2018-04-30 EP EP18917191.1A patent/EP3788510A4/en not_active Withdrawn
- 2018-04-30 US US16/978,602 patent/US11455750B2/en active Active
- 2018-04-30 WO PCT/US2018/030244 patent/WO2019212495A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019212495A1 (en) | 2019-11-07 |
| EP3788510A4 (en) | 2021-12-08 |
| US20210035333A1 (en) | 2021-02-04 |
| EP3788510A1 (en) | 2021-03-10 |
| US11455750B2 (en) | 2022-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7184511B2 (ja) | 対話形式で認知する作業支援システム及び方法 | |
| US20210005044A1 (en) | Adaptive training system, method and apparatus | |
| JP7506224B2 (ja) | コンテンツ提示システム | |
| BR112020020033A2 (pt) | Sobreposições visuais baseadas em características de operador | |
| US9824601B2 (en) | Symbiotic helper | |
| KR101646720B1 (ko) | 원자력 발전소 운전에 영향을 미치는 인적요소에 대한 분석 및 평가 시스템 | |
| CN104244859A (zh) | 通用微手术模拟器 | |
| JP7048489B2 (ja) | 人の視覚挙動を検査する機器及びそのような装置を用いて眼鏡レンズの少なくとも１個の光学設計パラメータを決定する方法 | |
| US20220392361A1 (en) | Learning system and learning method | |
| CN108399276A (zh) | 基于HoloLens虚实结合技术的船舶主机拆装系统及其拆装方法 | |
| JP2018180090A (ja) | 作業教育システム | |
| JP2012511751A5 (pt) | ||
| AU2022200139A1 (en) | Adaptive training system, method and apparatus | |
| Wild | The future of learning at the workplace is augmented reality | |
| US20210264813A1 (en) | Work support device and work supporting method | |
| US20230298477A1 (en) | Methods and systems for adaptive apparel design and apparel information architecture | |
| JP2020057248A (ja) | 表札受注システム | |
| DE19751273A1 (de) | Verfahren zum computergestützten Erstellen und Handhaben einer auf Produkt- oder Prozesslebenszyklen bezugnehmenden technischen Datenbank | |
| CN207259864U (zh) | 纤维幅材机的信息装置 | |
| KR102561913B1 (ko) | 가상 현실 기반 컨텐츠를 이용한 gmp 실습 교육 시스템 | |
| WO2023123718A1 (zh) | 基于vr技术的机房隐患排查培训和/或考核方法和系统 | |
| JP2016071109A (ja) | ヒューマンエラー体験型教育システムおよび教育プログラム | |
| JP2005108002A5 (pt) | ||
| CN113470448A (zh) | 基于生成对抗网络的科学实验的模拟方法、系统及设备 | |
| JPWO2021172160A5 (pt) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Free format text: A CLASSIFICACAO ANTERIOR ERA: G06F 17/00 Ipc: G06F 3/01 (2006.01), G06Q 10/0631 (2023.01), G06Q |