BR102019016789A2

BR102019016789A2 - Método para realizar supervisão e inspeção automatizadas de um processo de montagem, e, sistema para supervisão e inspeção automatizadas de um processo de montagem

Info

Publication number: BR102019016789A2
Application number: BR102019016789-0A
Authority: BR
Inventors: Daniel S. ReMine; Huafeng Yu
Original assignee: The Boeing Company
Priority date: 2018-08-14
Filing date: 2019-08-13
Publication date: 2020-02-18
Also published as: CN110874832A; JP7377646B2; US11568597B2; RU2019124085A; CA3050966C; CA3050966A1; JP2020064048A; AU2019210607A1; KR20200019579A; US20200058161A1; AU2019210607B2

Abstract

método para realizar supervisão e inspeção automatizadas de um processo de montagem, e, sistema para supervisão e inspeção automatizadas de um processo de montagem um método e aparelho para realizar supervisão e inspeção automatizadas de um processo de montagem. o método é implementado usando um sistema de computador. dado de sensor é gerado em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem. um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem é gerado usando os dados de sensor. um estágio atual de um processo de montagem para construir uma montagem no local de montagem é identificado usando o mapa global tridimensional. um contexto para o estágio atual é identificado. um relatório de qualidade para a montagem é gerado com base no mapa global tridimensional e o contexto para o estágio atual.

Description

MÉTODO PARA REALIZAR SUPERVISÃO E INSPEÇÃO AUTOMATIZADAS DE UM PROCESSO DE MONTAGEM, E, SISTEMA PARA SUPERVISÃO E INSPEÇÃO AUTOMATIZADAS DE UM PROCESSO DE MONTAGEM

CAMPO [001] A presente invenção se refere geralmente à inspeção de locais de montagem. Mais particularmente, a presente invenção se refere a métodos e sistemas para supervisão e inspeção automatizadas de um processo de montagem em um local de montagem.

FUNDAMENTOS [002] Estruturas complexas, como estruturas de aeronaves, podem requerer a montagem de centenas, milhares, dezenas de milhares, ou até mesmo centenas de milhares de componentes. A montagem desses tipos de estruturas complexas pode apresentar certos desafios no ambiente de fabricação. Por exemplo, diferentes tipos ou níveis de inspeções podem ser necessários em vários estágios de um processo de montagem. Uma etapa de inspeção pode incluir determinar se as partes sendo montadas em um estágio particular são, na verdade, as partes esperadas a serem montadas. Outra etapa de inspeção pode incluir determinar se partes foram montadas no local correto. Ainda outra etapa de inspeção pode incluir determinar se partes foram montadas no tempo correto durante um processo de montagem. Uma etapa de inspeção pode incluir determinar se a montagem de partes satisfaz exigências de segurança, exigências de qualidade, ou ambas.

[003] Alguns métodos de inspeção atualmente disponíveis envolvem a inspeção manual de montagens por um operador humano. Todavia, esse tipo de inspeção manual pode ser incidente a erro humano e pode ser menos preciso que o desejado. Adicionalmente, inspeção manual pode levar mais tempo que o desejado e pode ser mais cara que o desejado. Por exemplo, quando uma característica indesejada é identificada por intermédio de

Petição 870190078335, de 13/08/2019, pág. 10/96 / 58 inspeção manual, desmontagem pode ser requerida a fim de identificar a causa da característica indesejada. Esse processo de desmontagem pode ser mais demorado e caro que o desejado. Assim, um ou mais aparelhos e métodos para abordar as questões acima descritas podem ser desejados. SUMÁRIO [004] Em uma modalidade de exemplo, um método é provido para realizar supervisão e inspeção automatizadas de um processo de montagem. O método é implementado usando um sistema de computador. Dado de sensor é gerado em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem. Um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem é gerado usando os dados de sensor. Um estágio atual de um processo de montagem para construir uma montagem no local de montagem é identificado usando o mapa global tridimensional. Um contexto para o estágio atual é identificado. Um relatório de qualidade para a montagem é gerado com base no mapa global tridimensional e o contexto para o estágio atual.

[005] Em outra modalidade de exemplo, um método é provido para realizar supervisão e inspeção automatizadas de um processo de montagem. O método é implementado usando um sistema de computador. Dado de sensor é gerado em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem. Um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem é gerado usando os dados de sensor. Um estágio atual de um processo de montagem para construir uma montagem no local de montagem é identificado usando o mapa global tridimensional e informação de montagem armazenada em um repositório de dados. Um contexto é identificado para o estágio atual. Um relatório de qualidade correspondente ao estágio atual do processo de montagem é gerado com base no mapa global tridimensional, a informação de montagem, e o contexto para o estágio atual. Uma gravação correspondente

Petição 870190078335, de 13/08/2019, pág. 11/96 / 58 ao estágio atual do processo de montagem é armazenada no repositório de dados para construir assim um histórico de gravações para um processo de montagem. A gravação inclui pelo menos uma porção dos dados de sensor e o relatório de qualidade.

[006] Em outra modalidade de exemplo, um sistema para supervisão e inspeção automatizadas de um processo de montagem inclui um sistema de sensores e um sistema de computador. O sistema de sensores é posicionado em relação a um local de montagem e uma montagem sendo construída no local de montagem. O sistema de computador gera um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem usando dados de sensor gerados pelo sistema de sensores. O sistema de computador identifica um estágio atual do processo de montagem para construir a montagem em um local de montagem com base no global tridimensional. O sistema de computador identifica um contexto para o estágio atual. O sistema de computador gera um relatório de qualidade para a montagem com base no global tridimensional e o contexto para o estágio atual.

[007] As características e funções podem ser obtidas independentemente nas várias modalidades da presente invenção ou podem ser combinadas em ainda outras modalidades nas quais outros detalhes podem ser vistos com referência à descrição e desenhos precedentes.

BREVE DESCRIÇÃO DOS DESENHOS [008] As características que se acredita serem características novas das modalidades de exemplo são expostas nas reivindicações anexas. As modalidades de exemplo, todavia, bem como um modo de uso preferido, outros objetivos e características dos mesmos, serão melhor entendidos por referência à seguinte descrição detalhada de modalidade de exemplos quando lida em conjunção com os desenhos anexos, nos quais:

A figura 1 é um diagrama de blocos de um ambiente de

Petição 870190078335, de 13/08/2019, pág. 12/96 / 58 fabricação de acordo com uma modalidade de exemplo.

[009] A figura 2 é um diagrama de blocos do gerenciador de treinamento e repositório de dados da figura 1 de acordo com uma modalidade de exemplo.

[0010] A figura 3 é um diagrama de blocos do gerenciador de montagem da figura 1 de acordo com uma modalidade de exemplo.

[0011] A figura 4 é uma ilustração de um local de montagem de acordo com uma modalidade de exemplo.

[0012] A figura 5 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo.

[0013] A figura 6 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo.

[0014] A figura 7 é um fluxograma de um processo para identificar um estágio atual do processo de montagem de acordo com uma modalidade de exemplo.

[0015] A figura 8 é um fluxograma de um processo para realizar uma verificação de retrocesso de acordo com uma modalidade de exemplo.

[0016] A figura 9 é um fluxograma de um processo para supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo.

[0017] A figura 10 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo.

[0018] A figura 11 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo.

[0019] A figura 12 é um fluxograma de um processo para gerar um

Petição 870190078335, de 13/08/2019, pág. 13/96 / 58 mapa global tridimensional de um local de montagem e uma montagem de acordo com uma modalidade de exemplo.

[0020] A figura 13 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo.

[0021] A figura 14 é uma ilustração de uma nuvem de pontos tridimensionais de acordo com uma modalidade ilustrativa [0022] A figura 15 é uma ilustração de pontos na nuvem de pontos tridimensionais da figura 14 com pontos agrupados de acordo com uma modalidade ilustrativa.

[0023] A figura 16 é uma ilustração de remendos de superfície formados usando os agrupamentos da figura 15 de acordo com uma modalidade ilustrativa.

[0024] A figura 17 é uma ilustração de um mapa global tridimensional de acordo com uma modalidade ilustrativa.

[0025] A figura 18 é uma ilustração de objetos e elementos de posição que foram detectados em um mapa global tridimensional de acordo com uma modalidade ilustrativa.

[0026] A figura 19 é um diagrama de blocos de um sistema de processamento de dados de acordo com uma modalidade de exemplo.

[0027] A figura 20 é uma ilustração de um método de fabricação e serviço de aeronave de acordo com uma modalidade ilustrativa de acordo com uma modalidade de exemplo.

[0028] A figura 21 é um diagrama de blocos de uma aeronave de acordo com uma modalidade de exemplo.

DESCRIÇÃO DETALHADA [0029] As modalidades de exemplo descritas abaixo proveem métodos e sistemas para automatizar a supervisão e inspeção de um processo de montagem em um local de montagem. Esses métodos e sistemas usam

Petição 870190078335, de 13/08/2019, pág. 14/96 / 58 aprendizagem automática, visão por computador, e outras tecnologias de inteligência artificial para automatizar a supervisão e inspeção de um processo de montagem. Adicionalmente, esses métodos e sistemas proveem uma maneira automatizada de identificação de quais partes são montadas de acordo com as exigências de qualidade predefinidas, nos locais corretos, e nos tempos corretos durante um processo de montagem.

[0030] O sistema de supervisão e inspeção automatizadas, provido pelas modalidades de exemplo, melhora o controle de qualidade de um processo de montagem de uma maneira que reduza a necessidade de intervenção humana no processo de inspeção. Por redução dessa necessidade de intervenção humana, erros relacionados aos humanos podem ser reduzidos. Adicionalmente, o sistema de supervisão e inspeção automatizadas provê economias de custo e tempo. Por exemplo, o sistema de supervisão e inspeção automatizadas provê um método para identificar a causa raiz de um problema que requer a desmontagem extensiva ou a reversão das etapas de montagem atuais.

[0031] A figura 1 é um diagrama de blocos de um ambiente de fabricação de acordo com uma modalidade de exemplo. O ambiente de fabricação 100 é um exemplo de um tipo de ambiente de fabricação no qual uma pluralidade de partes 102 pode ser montada para formar a estrutura 104. A estrutura 104 pode assumir um número de formas diferente. Por exemplo, a estrutura 104 pode ser uma aeronave, uma asa, uma estrutura de asa, uma célula, uma estrutura de célula, uma armação, um estabilizador, ou algum outro tipo da estrutura 104. Em alguns casos, uma parte da pluralidade de partes 102 pode também ser referida como uma peça, um componente, um elemento, um membro, ou algum outro tipo de unidade.

[0032] A pluralidade de partes 102 pode ser montada no local de montagem 105 dentro do ambiente de fabricação 100. Em alguns exemplos ilustrativos, o local de montagem 105 pode ser um de múltiplos locais de

Petição 870190078335, de 13/08/2019, pág. 15/96 / 58 montagem dentro do ambiente de fabricação 100. O local de montagem 105 pode incluir, por exemplo, uma área de chão, uma plataforma, andaime, ou algum outro tipo de local no qual a pluralidade de partes 102 é montada. [0033] A pluralidade de partes 102 pode ser montada para formar a estrutura 104 de acordo com processo de montagem 106. O processo de montagem 106 pode incluir a pluralidade de estágios 108. Quando usado aqui, um estágio da pluralidade de estágios 108 pode ser um único estágio de processo de montagem 106, uma sequência de estágios, uma sequência de subestágios, um estágio em um subprocesso de montagem, uma etapa no processo de montagem 106 ou a subprocesso de montagem, ou duas ou mais etapas a serem realizadas em paralelo durante o processo de montagem 106. Em qualquer dado estágio de processo de montagem 106, antes e até a conclusão, a estrutura 104 pode ser referida como montagem 110. Em alguns casos, a montagem 110 pode também ser referida como uma “construção”. [0034] O sistema de supervisão e inspeção 112 é usado para supervisionar o processo de montagem 106 e para realizar inspeções durante processo de montagem 106. O sistema de supervisão e inspeção 112 pode ser um sistema automático. Em particular, o sistema de supervisão e inspeção 112 automatiza a supervisão de processo de montagem 106 e automatiza inspeções durante processo de montagem 106 para reduzir ou, em alguns casos, até mesmo eliminar a necessidade de intervenção humana.

[0035] Nesses exemplos ilustrativos, o sistema de supervisão e inspeção 112 inclui o sistema de sensores 114, o gerenciador de treinamento 116, o gerenciador de montagem 118, o verificador de retrocesso 120, o repositório de dados 121, e o sistema de saída 122. O sistema de sensores 114 pode incluir qualquer número de ou combinação de sensores. Por exemplo, o sistema de sensores 114 pode incluir pelo menos um de um dispositivo de formação de imagem, um sensor de radar, um sensor de sonar, um sensor de detecção e telemetria por luz (LiDAR), ou algum outro tipo de sensor. Um

Petição 870190078335, de 13/08/2019, pág. 16/96 / 58 dispositivo de formação de imagem pode incluir, por exemplo, sem limitação, uma câmera, uma câmera estéreo, uma câmera de vídeo, uma câmara a infravermelhos, algum outro tipo de dispositivo de formação de imagem, ou uma combinação dos mesmos. Em um exemplo ilustrativo, o sistema de sensores 114 inclui um conjunto de sistemas de formação de imagens, cada sistema de formação de imagens incluindo um ou mais dispositivo de formação de imagens. Um conjunto de itens, tal como um conjunto de sistemas de formação de imagens, pode incluir um ou mais itens.

[0036] O gerenciador de treinamento 116, o gerenciador de montagem 118, e o verificador de retrocesso 120 podem ser implementados usando software, hardware, firmware, ou uma combinação dos mesmos. Quando software é usado, as operações realizadas por cada um do gerenciador de treinamento 116, do gerenciador de montagem 118, ou verificador de retrocesso 120, podem ser implementadas usando, por exemplo, sem limitação, o código de programa configura do para rodar em uma unidade de processador. Quando firmware é usado, as operações realizadas por cada um do gerenciador de treinamento 116, do gerenciador de montagem 118, ou verificador de retrocesso 120 podem ser implementadas usando, por exemplo, sem limitação, o código e dados de programa e armazenadas em memória persistente para rodar em uma unidade de processador.

[0037] Quando hardware é empregado, o hardware pode incluir um ou mais circuitos que operam para realizar as operações realizadas por cada um do gerenciador de treinamento 116, do gerenciador de montagem 118, ou verificador de retrocesso 120. Dependendo da implementação, o hardware pode assumir a forma de um sistema de circuitos, um circuito integrado, um circuito integrado específico de aplicação (ASIC), um dispositivo de lógica programável, ou algum outro tipo apropriado de dispositivo de hardware configura do para realizar qualquer número de operações. Um dispositivo de lógica programável pode ser configura do para realizar certas operações. O

Petição 870190078335, de 13/08/2019, pág. 17/96 / 58 dispositivo pode ser permanentemente configura do para realizar essas operações ou pode ser reconfigurável. Um dispositivo de lógica programável pode assumir a forma de, por exemplo, sem limitação, um arranjo de lógica programável, uma lógica de arranjo programável, uma matriz de lógica programável pelo utilizador, uma rede de portas lógicas programáveis, ou algum outro tipo de dispositivo de hardware programável.

[0038] Nesses exemplos ilustrativos, o gerenciador de montagem 118 e o verificador de retrocesso 120 podem ser implementados usando o sistema de computador 124. O sistema de computador 124 pode incluir um único computador ou múltiplos computadores em comunicação uns com os outros. Em algumas modalidades, o sistema de computador 124 pode incluir um computador portátil, um computador tipo tablete, um telefone inteligente, ou algum outro tipo de dispositivo móvel.

[0039] Em algumas modalidades, uma porção de sistema de computador 124 pode estar localizada remotamente com relação à outra porção do sistema de computador 124. Por exemplo, o sistema de computador 124 pode incluir um computador posicionado no, ou em torno do, local de montagem 105 dentro do ambiente de fabricação 100 e um sistema de servidor posicionado remotamente com relação ao computador. O sistema de servidor pode ser localizado dentro ou fora do ambiente de fabricação 100. Em alguns casos, o gerenciador de treinamento 116 pode ser implementado usando um primeiro computador, o gerenciador de montagem 118 pode ser implementado usando um segundo computador, e o verificador de retrocesso 120 pode ser implementado usando um terceiro computador. Assim, o sistema de computador 124 pode ser usado em um número de maneiras diferentes para implementar o gerenciador de montagem 118 e o verificador de retrocesso 120.

[0040] O repositório de dados 121 pode incluir um ou mais bancos de dados, memória associativa, algum outro tipo de estrutura de dado, ou uma

Petição 870190078335, de 13/08/2019, pág. 18/96 / 58 combinação dos mesmos. O repositório de dados121pode estar em comunicação com o gerenciador de treinamento 116, o gerenciador de montagem 118, o verificador de retrocesso 120, ou uma combinação dos mesmos. O repositório de dados 121 pode fazer parte do sistema de computador 124 em alguns exemplos. Em alguns exemplos, o repositório de dados 121 ou pelo menos uma porção de repositório de dados 121 é posicionada remotamente com relação ao local de montagem 105.

[0041] O repositório de dados 121 armazena informação de montagem 126. Exemplos dos tipos de informação de montagem 126, que podem ser armazenados no repositório de dados 121, são descritos na figura 2 abaixo.

[0042] O sistema de saída 122 pode estar em comunicação com o gerenciador de treinamento 116, o gerenciador de montagem 118, o verificador de retrocesso 120, ou uma combinação dos mesmos. O sistema de saída 122 pode incluir um ou mais dispositivos de saída. Em alguns exemplos ilustrativos, uma porção ou todo do sistema de saída 122 pode ser considerado parte do sistema de computador 124. Nesses exemplos ilustrativos, o sistema de saída 122 pode incluir pelo menos um dentre sistema de exibição 128, sistema de áudio 130, ou algum outro tipo de dispositivo de saída. O sistema de exibição 128 pode incluir, por exemplo, pelo menos um dentre uma tela, uma tela sensível ao toque, um dispositivo de exibição montado na cabeça, ou algum outro tipo de dispositivo de exibição. O sistema de áudio 130 pode incluir, por exemplo, pelo menos um dentre um microfone, um alto-falante, ou algum outro tipo de dispositivo de áudio.

[0043] O sistema de sensores 114 pode ser usado para gerar dados de sensor 132antes do processo de montagem 106, durante processo de montagem 106, ou ambas. Os dados de sensor 132 podem incluir dados de formação de imagens bidimensionais (2D), os dados de formação de imagens tridimensionais (3D), um ou mais outros tipos de dados de sensor, ou uma

Petição 870190078335, de 13/08/2019, pág. 19/96 / 58 combinação dos mesmos. Os dados de sensor 132 são enviados para o gerenciador de treinamento 116 e gerenciador de montagem 118 para o processamento. Em alguns exemplos ilustrativos, uma porção ou todos dos dados de sensor 132 são armazenados no repositório de dados 121.

[0044] Antes do processo de montagem 106 começar, o gerenciador de treinamento 116 usa informação de montagem 126, e, opcionalmente, os dados de sensor 132, para treinar o gerenciador de montagem 118 para identificar as várias partes da pluralidade de partes 102 a serem montadas para formar a estrutura 104 e os vários estágios da pluralidade de estágios 108. Adicionalmente, o gerenciador de treinamento 116 usa informação de montagem 126, e, opcionalmente, os dados de sensor 132, para treinar o gerenciador de montagem 118 para avaliar as métricas de qualidade para montagem 110.

[0045] O gerenciador de montagem 118 processa dados de sensor 132 para identificar o estágio atual 134do processo de montagem 106. O gerenciador de montagem 118 então identifica o contexto 136 para o estágio atual 134. O contexto 136 pode incluir, por exemplo, pelo menos uma dentre uma condição nominal para montagem 110 no estágio atual 134, uma condição nominal para cada parte esperada que esteja presente no estágio atual 134, tolerâncias selecionadas para a condição nominal para montagem 110 no estágio atual 134, tolerâncias selecionadas para as métricas de qualidade pré-identificadas para a montagem 110, uma identificação de etapa(s) completada(s) antes do estágio atual 134, uma identificação de etapa(s) a ser(em) completada(s) durante o estágio atual 134, uma identificação da(s) próxima(s) etapa(s) a ser(em) completada(s) depois do estágio atual 134, ou outra informação.

[0046] O contexto 136 pode incluir informação que um operador humano seria ou completamente incapaz de identificar ou seria incapaz de identificar rapidamente e facilmente com base na visualização ou visualização

Petição 870190078335, de 13/08/2019, pág. 20/96 / 58 do de montagem 105. Por exemplo, quando processo de montagem 106 inclui uma multiplicidade de estágios, um operador humano pode ser incapaz de identificar facilmente o estágio atual 134 ou as tolerâncias selecionadas para as métricas de qualidade pré-identificadas para a montagem 110 para o estágio atual 134, a(s) etapa(s) completada(s) antes do estágio atual 134, a(s) etapa(s) a ser(em) completada(s) durante o estágio atual 134, ou próxima(s) etapa(s) a ser(em) completada(s) depois do estágio atual 134.

[0047] Com base no contexto 136 identificado para o estágio atual 134, o gerenciador de montagem 118 pode fornecer informação de guia 138 por intermédio do sistema de saída 122. A informação de guia 138 pode incluir, por exemplo, uma listagem das etapas a serem realizadas durante o estágio atual 134, uma listagem das próximas etapas a serem realizadas depois do estágio atual 134, ou ambas. A informação de guia 138 é usada para informar um ou mais operadores humanos sobre as tarefas a serem realizadas durante processo de montagem 106.

[0048] Adicionalmente, com base no contexto 136 identificado para o estágio atual 134, o gerenciador de montagem 118 pode avaliar a montagem 110 no estágio atual 134 e gerar o relatório de qualidade 140. O relatório de qualidade140 pode também ser referido como uma avaliação de qualidade. O relatório de qualidade 140 indica se quaisquer questões de interesse relevantes, relacionadas à qualidade da montagem, 110, estão presentes.

[0049] Para cada estágio do processo de montagem 106, identificado pelo gerenciador de montagem 118, o gerenciador de montagem 118 armazena o correspondente relatório de qualidade 140 no repositório de dados 121 para criar o histórico 142 de relatórios para um processo de montagem 106. Se, no estágio atual 134, o gerenciador de montagem 118 detectar uma questão de interesse, o verificador de retrocesso 120 pode retroceder através do histórico 142 dos relatórios de qualidade armazenados no repositório de dados 121 em ordem reversa para identificar a causa raiz da questão de

Petição 870190078335, de 13/08/2019, pág. 21/96 / 58 interesse.

[0050] A figura 2 é um diagrama de blocos do gerenciador de treinamento 116 e repositório de dados 121 da figura 1 de acordo com uma modalidade de exemplo. Antes do processo de montagem 106 da figura 1 ser realizado no local de montagem 105, o gerenciador de treinamento 116 usa informação de montagem 126 armazenada no repositório de dados 121 para treinar o gerenciador de montagem 118 na figura 1 para avaliar cada um da pluralidade de estágios 108 na figura 1.

[0051] O gerenciador de treinamento 116 pode usar qualquer número de algoritmos e técnicas para realizar esse treinamento. Por exemplo, o gerenciador de treinamento 116 pode usar pelo menos um dentre aprendizagem automática, aprendizagem profunda, visão por computador, algum outro tipo de aprendizagem computacional, algum outro tipo de aprendizagem por inteligência artificial, ou uma combinação dos mesmos.

[0052] A informação de montagem 126 armazenada no repositório de dados 121 pode incluir vários tipos de informação. Por exemplo, informação de montagem 126 pode incluir biblioteca de imagens de partes202, a biblioteca de modelos de partes 204, os dados de fluxo de processos de montagem 206, os dados de modelo de local de montagem 208, os dados de modelos de montagem 210, e dados de vídeos de montagem 212, os dados de características 214, ou uma combinação dos mesmos.

[0053] A biblioteca de imagens de partes 202 pode incluir, por exemplo, uma ou mais imagens para pelo menos uma porção das partes da pluralidade de partes 102 na figura 1. Em alguns casos, a biblioteca de imagens de partes 202 pode incluir uma imagem para cada uma da pluralidade de partes 102. Nesses exemplos ilustrativos, a biblioteca de imagens de partes 202 pode também incluir imagens de partes capturadas de processos de montagem previamente completados.

[0054] A biblioteca de modelos de partes 204 pode incluir, por

Petição 870190078335, de 13/08/2019, pág. 22/96 / 58 exemplo, um ou mais modelos para pelo menos uma porção das partes da pluralidade de partes 102 na figura 1. Em alguns casos, a biblioteca de modelos de partes 204 pode incluir um modelo para cada uma da pluralidade de partes 102. Um modelo de uma parte pode ser, por exemplo, um modelo de projeto (CAD) assistido por computador.

[0055] Os dados de fluxo de processos de montagem 206 podem incluir informação acerca do fluxo ou sequência da pluralidade de estágios 108 no processo de montagem 106 da figura 1. Em um exemplo ilustrativo, os dados de fluxo de processos de montagem 206 assumem a forma de gráfico de montagem direta 216 que representa o fluxo ou sequência, de acordo com o qual a pluralidade de estágios 108 de processo de montagem 106 deve progredir. Em alguns casos, esse gráfico de montagem direta 216 pode incluir subfluxos que representam subestágios que atuam em paralelo uns aos outros. [0056] O local de dados de modelos de montagem 208 pode incluir, por exemplo, um modelo de linha de base do local de montagem 105 da figura 1 e atualiza para o modelo de linha de base para cada uma da pluralidade de estágios 108 de processo de montagem 106. Em alguns exemplos ilustrativos, os dados de modelo de local de montagem 208 incluem um modelo de local de montagem 105 para cada estágio da pluralidade de estágios 108. Os modelos incluídos nos locais de dados de modelos de montagem 208 podem ser, por exemplo, modelos tridimensionais. Adicionalmente, em alguns casos, esses modelos podem incluir representações das partes envolvidas em, e que já fazem parte, de cada estágio da pluralidade de estágios 108. Em outros casos, os modelos são ligados aos modelos CAD das partes.

[0057] Dados de modelos de montagem 210 podem incluir qualquer número de modelos que representam os vários estados de montagem 110 na pluralidade de estágios 108. Em um exemplo ilustrativo, os dados de modelos de montagem 210 incluem um modelo de linha de base para montagem 110

Petição 870190078335, de 13/08/2019, pág. 23/96 / 58 em um primeiro estágio da pluralidade de estágios 108 e atualiza para o modelo de linha de base refletindo a adição de uma ou mais partes à montagem 110 em cada um da pluralidade de estágios 108. Os dados de vídeos de montagem 212 podem incluir um vídeo do processo inteiro de montagem 106 ou múltiplos vídeos para os vários estágios de processo de montagem 106 capturados durante um processo de montagem 106, previamente realizado.

[0058] Dados de característica 214 podem incluir informação acerca de várias características. As características podem incluir fissuras, indentações, torções, uma característica de nível de superfície, outros tipos de características, ou uma combinação dos mesmos. Os dados de características 214 podem incluir imagens dessas características. Nesses exemplos ilustrativos, os dados de características 214 incluem tolerâncias selecionadas para cada uma das características. Como um exemplo ilustrativo, os dados de características 214 podem incluir tolerâncias selecionadas para um comprimento de fissura, tolerâncias selecionadas para uma profundidade de uma indentação, e outros tipos de tolerâncias selecionadas.

[0059] Nesses exemplos ilustrativos, o gerenciador de treinamento 116 pode usar dados de sensor 132 que são gerados sobre o tempo para atualizar a informação de montagem 126. Esse tipo de atualização melhora a precisão e eficiência globais, com as quais a análise de dados de sensor 132 pode ser realizada.

[0060] A figura 3 é um diagrama de blocos de gerenciador de montagem 118 da figura 1de acordo com uma modalidade de exemplo. O gerenciador de montagem 118 pode incluir analisador de dados 302 e gerador de saída 304.

[0061] O analisador de dados 302 usa dados de sensor 132 e informação de montagem 126 armazenados no repositório de dados 121para identificar cada estágio da pluralidade de estágios 108 durante processo de

Petição 870190078335, de 13/08/2019, pág. 24/96 / 58 montagem 106. Por exemplo, em qualquer dado ponto no tempo durante processo de montagem 106, o analisador de dados 302 pode usar qualquer número de algoritmos ou técnicas para identificar o estágio atual 134 de processo de montagem 106.

[0062] Em um exemplo ilustrativo, os dados de sensor 132 incluem dados de formação de imagens 306 para o local de montagem 105. Os dados de formação de imagens 306 incluem imagens bidimensionais, imagens tridimensionais, vídeo, ou uma combinação dos mesmos de local de montagem 105. Por exemplo, os dados de sensor 132 podem incluir dados de formação de imagens 306 na forma de dados de formação de imagens bidimensionais 307, que podem incluir imagens bidimensionais, vídeo bidimensional, ou ambos. Em outros exemplos ilustrativos, os dados de sensor 132 incluem dados tridimensionais 305, que podem incluir dados gerados por pelo menos um dentre um sensor de LiDAR, um sensor de radar, um sensor de sonar, ou uma câmera estéreo. Os dados tridimensionais 305 podem incluir range data. Consequentemente, qualquer número de, ou combinação, desses tipos de sensores pode ser posicionado em relação ao local de montagem 105 e usado para gerar dados tridimensionais 305.

[0063] Quando dados de formação de imagens 306 incluem dados de formação de imagens bidimensionais 307, o analisador de dados 302 pode usar pelo menos um dentre aprendizagem automática, aprendizagem profunda, visão por computador, uma técnica de aprendizagem personalizada, algum outro tipo de aprendizagem computacional, algum outro tipo de aprendizagem por inteligência artificial, ou uma combinação dos mesmos em combinação com informação de montagem 126 para detectar e identificar objetos 308 nos dados de formação de imagens 306.

[0064] O analisador de dados 302 conjuga os objetos detectados 308 às partes com base em informação de montagem 126. Por exemplo, o analisador de dados 302 pode usar biblioteca de imagens de partes 202, a

Petição 870190078335, de 13/08/2019, pág. 25/96 / 58 biblioteca de modelos de partes 204, ou ambas para conjugar os objetos 308 às partes. Essa conjugação pode ser realizada com base em, por exemplo, forma, tamanho, cor, marcas de identificação, ou algum outro tipo de ponto de comparação.

[0065] Uma vez que os objetos 308 estão com partes conjugadas, eles podem ser referidos como objetos conjugados 309. Em alguns casos, nem todos dos objetos 308 são capazes de ser conjugados às partes correspondentes. Assim, os objetos conjugados 309 podem incluir todos ou um subconjunto de objetos 308.

[0066] O analisador de dados 302 identifica locais 310 e orientações 312 de objetos conjugados 309 com relação a um sistema de coordenadas de referência para o local de montagem 105. Por exemplo, o analisador de dados 302 pode primeiro identificar os locais 310 de objetos conjugados 309 em uma imagem particular. O analisador de dados 302 pode sincronizar um ponto de visão, a partir do qual essa imagem foi gerada, com uma correspondente localização do dispositivo de formação de imagem que gerou a imagem em relação a um modelo de local de montagem 105. O seguimento de raios luminosos ou alguma outra técnica pode ser usado para determinar então o local de cada objeto conjugado. A orientação desse objeto conjugado pode então ser determinada. Em outros exemplos ilustrativos, o analisador de dados 302 identifica locais 310 e orientações 312 de objetos conjugados 309 em relação a um sistema de coordenadas de referência para montagem 110.

[0067] O analisador de dados 302 pode identificar uma ou mais características 314 nos dados de formação de imagens 306. As características 314 podem ser características de uma particular parte, superfície, ou outra porção de montagem 110. As características 314 podem incluir, por exemplo, sem limitação, fissuras, indentações, torções, uma característica de nível de superfície, ou algum outro tipo de característica. A característica de nível de superfície pode ser, por exemplo, um nível de nivelamento, um nível de

Petição 870190078335, de 13/08/2019, pág. 26/96 / 58 alisamento, ou algum outro tipo de característica de superfície. A característica pode ser considerada uma característica indesejada ou inconsistência quando esta característica está fora das tolerâncias selecionadas.

[0068] O analisador de dados 302 pode usar pelo menos um dentre aprendizagem automática, aprendizagem profunda, visão por computador, e uma técnica de aprendizagem personalizada, algum outro tipo de aprendizagem computacional, algum outro tipo de aprendizagem por inteligência artificial, ou uma combinação dos mesmos em combinação com informação de montagem 126 para detectar e identificar objetos 308 nos dados de formação de imagens 306.

[0069] Em alguns exemplos ilustrativos, o analisador de dados 302 também identifica elementos de locais 315nos dados de formação de imagens 306. Os elementos de locais 315 podem incluir ferramentas, marcas de identificação, rótulos, robôs, e elementos diferentes de partes que podem estar presentes no local de montagem 105.

[0070] Usando alguma combinação da identificação de objetos conjugados 309, locais 310 de objetos conjugados 309, orientações 312 de objetos conjugados 309, e elementos de locais 315, o analisador de dados 302 é então capaz de identificar o estágio atual 134 de processo de montagem 106. Por exemplo, o analisador de dados 302 pode usar informação de montagem 126 em combinação com a informação acima para identificar o estágio atual 134. Mais especificamente, o analisador de dados 302 pode usar dados de fluxo de processos de montagem 206, os dados de modelo de local de montagem 208, os dados de modelos de montagem 210, os dados de vídeos de montagem 212, algum outro tipo de informação, ou uma combinação dos mesmos da figura 2 para identificar o estágio atual 134. Em alguns casos, a identificação do estágio atual 134 pode ser referida como uma calibração de localização de montagem ou uma calibração de estágio de montagem.

Petição 870190078335, de 13/08/2019, pág. 27/96 / 58 [0071] O estágio atual 134 pode também ser identificado o uso de dados de sensor 132 na forma de dados tridimensionais 305. Quando dados de sensor 132 incluem dados tridimensionais 305, o analisador de dados 302 usa dados tridimensionais 305 para gerar nuvem de pontos tridimensionais 317 de local de montagem 105 e a montagem 110 sendo construída no local de montagem 105. O analisador de dados 302 então usa a nuvem de pontos tridimensionais 317 para gerar o mapa global tridimensional 319. O mapa global tridimensional 319 pode ser a representação do local de montagem 105 e da montagem 110 sendo construída no local de montagem 105. Essa representação integra informação de dados tridimensionais 305 com, por exemplo, um ou mais modelos tridimensionais (por exemplo, Modelos CAD) incluídos na informação de montagem 126 armazenada no repositório de dados 121.

[0072] Analisador de dados 302 usa mapa global tridimensional 319 para detectar objetos 308 e, em alguns casos, elementos de locais 315. O analisador de dados 302 pode então conjugar os objetos 308 usando processos similares àqueles descritos acima para identificar objetos conjugados 309. O analisador de dados 302 pode então identificar o estágio atual 134 com base em objetos conjugados 309 de uma maneira similar à maneira descrita acima.

[0073] Nessas modalidades de exemplo, os objetos 308, características 314, e elementos de locais 315 podem ser identificados usando o mapa global tridimensional 319 e pelo menos um algoritmo de comparação tridimensional. Por exemplo, o mapa global tridimensional 319 pode ser comparado com modelos armazenados como parte de locais de dados de modelos de montagem 208, os dados de modelos de montagem 210, ou ambas na figura 2. Adicionalmente, o mapa global tridimensional 319 pode ser analisado o uso de dados de vídeos de montagem 212, os dados de características 214, ou ambos, na figura 2.

[0074] O uso do mapa global tridimensional 319 pode permitir que

Petição 870190078335, de 13/08/2019, pág. 28/96 / 58 diferentes ou adicionais objetos, características, ou elementos de locais sejam identificados, em comparação com o uso de dados de formação de imagens bidimensionais 307. Por exemplo, algumas características que podem ser mais difíceis de detectar através do processamento de dados de formação de imagens bidimensionais 307 podem ser mais fáceis ou mais facilmente detectáveis usando o mapa global tridimensional 319, gerado através do processamento de dados tridimensionais 305.

[0075] Como um exemplo ilustrativo, certos tipos de indentações, calços, conexões, fixações, carenagens, e soldas, podem ser detectados mais facilmente, ou de melhor maneira, usando o mapa global tridimensional 319. Em alguns casos, pelo menos um dentre um objeto, uma característica, ou elemento de local que não é capaz de ser detectado através do processamento de dados de formação de imagens bidimensionais 307 pode ser detectado usando o mapa global tridimensional 319.

[0076] Uma vez que o estágio atual 134 for identificado, o analisador de dados 302 usa a informação de contexto 316 armazenada no repositório de dados 121 para identificar, o contexto 136 para o estágio atual 134. A informação do contexto 316 pode também incluir uma porção de informação de montagem 126. Por exemplo, informação do contexto 316 pode incluir métricas de qualidade para cada estágio da pluralidade de estágios 108 de processo de montagem 106.

[0077] Como discutido acima, o contexto 136 para o estágio atual 134 pode incluir pelo menos uma dentre uma condição nominal para montagem 110 no estágio atual 134, uma condição nominal para cada parte esperada que esteja presente no estágio atual 134, tolerâncias selecionadas para a condição nominal para montagem 110 no estágio atual 134, tolerâncias selecionadas para as métricas de qualidade pré-identificadas para a montagem 110, uma identificação de etapa(s) completada(s) antes do estágio atual 134, uma identificação de etapa(s) a ser(em) completada(s) durante o estágio atual 134,

Petição 870190078335, de 13/08/2019, pág. 29/96 / 58 uma identificação da(s) próxima(s) etapa(s) a ser(em) completada(s) depois do estágio atual 134, ou outra informação.

[0078] Uma vez que contexto 136 for identificado, gerador de saída 304 gera informação de guia 138 e relatório de qualidade 140. A informação de guia 138 é usada para informar o um ou mais operadores humanos envolvidos no processo de montagem 106. A informação de guia 138 pode incluir, por exemplo, a guia de estágio atual 318, a guia de próximo estágio 320, ou ambas.

[0079] A guia de estágio atual 318 pode incluir, por exemplo, uma listagem das etapas a serem realizadas durante o estágio atual 134. Em alguns casos, a guia de estágio atual 318 inclui instruções sobre como para realizar certas tarefas para o estágio atual 134. A guia de estágio atual 318 pode incluir uma ou mais imagens, vídeo, ou ambas para ajudar a guiar um operador humano sobre como para realizar uma tarefa particular. A informação de guia 138 pode ser exibida através do sistema de exibição 128 da figura 1. Em alguns casos, a guia de estágio atual 318 inclui guia de áudio, como instruções de áudio sobre como para realizar certas tarefas durante o estágio atual 134 de processo de montagem 106. Essas instruções de áudio podem ser reproduzidas para um operador humano através do sistema de áudio 130 da figura 1.

[0080] A guia de próximo estágio 320 pode incluir, por exemplo, uma listagem das etapas a serem realizadas durante um próximo estágio, que irá seguir o estágio atual 134. O analisador de dados 302, gerador de saída 304, ou ambos, pode identificar esse próximo estágio usando, por exemplo, o gráfico de montagem direta 216 da figura 2. Em alguns exemplos ilustrativos, a guia de próximo estágio 320 inclui instruções sobre como para realizar certas tarefas para o próximo estágio. A guia de próximo estágio 320 pode incluir uma ou mais imagens, vídeo, ou ambos, para ajudar a guiar um operador humano sobre como para realizar uma tarefa particular.

Petição 870190078335, de 13/08/2019, pág. 30/96 / 58 [0081] Informação de guia 138 pode ser apresentada para um operador humano através do sistema de saída 122 descrito na figura 1. Por exemplo, informação de guia 138 pode ser exibida através do sistema de exibição 128 da figura 1. Em alguns casos, a guia de estágio atual 318 pode incluir guia de áudio, como instruções de áudio sobre como para realizar certas tarefas durante o estágio atual 134 de processo de montagem 106. Essas instruções de áudio podem ser reproduzidas para um operador humano através do sistema de áudio 130 da figura 1.

[0082] Adicionalmente, com base no contexto 136 identificado para o estágio atual 134, os objetos conjugados 309, locais 310, orientações 312, e elementos de locais 315, o gerador de saída 304 avalia a montagem 110 no estágio atual 134 e gera o relatório de qualidade 140. O relatório de qualidade 140 indica se quaisquer questões de interesse relevantes, relacionadas à qualidade da montagem, 110, estão presentes. Por exemplo, o relatório de qualidade 140 inclui pelo menos uma dentre avaliação de conjugação 322, a avaliação de localização 324, a avaliação de inconsistência 326, ou algum outro tipo de avaliação.

[0083] A avaliação de conjugação 322 pode indicar se um ou mais de objetos 308 foram incapazes de ser conjugados a uma parte correspondente. Em alguns exemplos ilustrativos, a avaliação de conjugação 322 pode também indicar se um ou mais de objetos conjugados 309 não se conjuguem às partes esperadas que estejam presentes no estágio atual 134 do processo de montagem 106. A avaliação de localização 324 indica se objetos conjugados 309 foram montados nos locais corretos ou incorretos em relação à montagem 110. A avaliação de inconsistência 326 indica se as características 314 foram identificadas e, se foram, se as características 314 estão fora das tolerâncias selecionadas. O analisador de dados 302, o gerador de saída 304, ou ambos, podem usar dados de características 214 da figura 2 para determinar se características 314 estão fora das tolerâncias selecionadas.

Petição 870190078335, de 13/08/2019, pág. 31/96 / 58 [0084] Em alguns casos, o relatório de qualidade 140 pode incluir a avaliação de estágio global 328. A avaliação de estágio global 328 pode ser, por exemplo, uma indicação de se o estágio atual 134 está progredindo dentro de tolerâncias selecionadas. Em alguns casos, a avaliação de estágio global 328 pode ser um grau selecionado a partir de um dentre “passou”, “limite”, e “falhou”.

[0085] O relatório de qualidade 140 pode ser apresentado para um operador humano por intermédio de um sistema de saída 122 de diferentes maneiras. Em um exemplo ilustrativo, o relatório de qualidade 140 pode ser apresentado usando indicadores gráficos sobrepostos sobre uma imagem de local de montagem 105 ou montagem 110 exibida no sistema de exibição 128. Por exemplo, os objetos identificados na imagem, que foram conjugados às partes corretas e aos corretos locais e orientações, podem ser indicados com um primeiro tipo de indicador gráfico (por exemplo, círculo verde em torno do objeto, seta verde, etc.). Os objetos identificados na imagem que foram incorretamente conjugados, estão nos locais incorretos, ou têm orientações errôneas, podem ser indicados com um segundo tipo de indicador gráfico (por exemplo, círculo vermelho em torno do objeto, seta vermelha, etc.). Como descrito acima, um objeto incorretamente conjugado pode ser um que está conjugado a uma parte que não deve estar presente no estágio atual 134 ou que não se conjuga a qualquer parte.

[0086] Dados de sensor 132 e das várias peças de informação geradas pelo gerenciador de montagem 118 são armazenados no repositório de dados 121. Por exemplo, a gravação de estágio 330 pode ser armazenada no repositório de dados 121 em associação com o estágio atual 134. A gravação de estágio 330 pode incluir dados de sensor 132, uma identificação de objetos 308, uma identificação de objetos conjugados 309, locais 310, orientações 312, e relatório de qualidade 140. Em alguns casos, a gravação de estágio 330 pode incluir informação de guia 138. Uma vez armazenada no repositório de

Petição 870190078335, de 13/08/2019, pág. 32/96 / 58 dados 121, a gravação de estágio 330 torna-se parte do histórico 142. Assim, esse tipo do histórico 142 de gravações inclui uma gravação para cada estágio da pluralidade de estágios 108 identificado e analisado.

[0087] As ilustrações nas figuras 1 a 3 não são destinadas a implicar limitações físicas ou de arquitetura à maneira na qual uma modalidade de exemplo pode ser implementada. Outros componentes, em adição a, ou em lugar de, aqueles ilustrados, podem ser usados. Alguns componentes podem ser opcionais. Adicionalmente, os blocos são apresentados para ilustrar alguns componentes funcionais. Um ou mais desses blocos podem ser combinados, divididos, ou combinados e divididos em diferentes blocos, quando implementados em uma diferente modalidade de exemplo.

[0088] A figura 4 é uma ilustração de um local de montagem de acordo com uma modalidade de exemplo. O local de montagem 400 pode ser um exemplo de uma implementação para o local de montagem 105 descrito na figura 1. A montagem da asa 402 está sendo construída no local de montagem 400 para formar finalmente uma asa. A montagem da asa 402 é um exemplo de uma implementação para a montagem 110 descrita na figura 1. A montagem da asa 402 é composta de uma pluralidade de partes 404.

[0089] Como representado, o sistema de supervisão e inspeção 406 está pelo menos parcialmente presente no local de montagem 400. O sistema de supervisão e inspeção 406 é um exemplo de uma implementação para o sistema de supervisão e inspeção 112 na figura 1. O sistema de supervisão e inspeção 406 inclui a plataforma de inspeção 408 e plataforma de inspeção 410. Nesse exemplo ilustrativo, a plataforma de inspeção 408 e a plataforma de inspeção 410 podem ser implementadas usando plataformas estacionárias. Em outros exemplos ilustrativos, a plataforma de inspeção 408 e a plataforma de inspeção 410 podem ser implementadas usando plataformas móveis. Embora somente duas plataformas sejam mostradas na figura 4, qualquer número de plataformas pode estar presente no local de montagem 400.

Petição 870190078335, de 13/08/2019, pág. 33/96 / 58 [0090] Nesse exemplo ilustrativo, a plataforma de inspeção 408 inclui a câmera rotativa 412 e o sistema de controle 414. Similarmente, a plataforma de inspeção 410 inclui a câmera rotativa 416 e o sistema de controle 418. A câmera rotativa 412 e a câmera rotativa 416 são um exemplo de uma implementação para o sistema de sensores 114 na figura 1. A câmera rotativa 412 e a câmera rotativa 416 podem gerar imagens bidimensionais. Em outros exemplos ilustrativos, a plataforma de inspeção 408 e plataforma de inspeção 410 podem ser equipadas com sistemas de câmeras tridimensionais, os sistemas de sensores LiDAR, ou outros tipos de sensores.

[0091] O sistema de controle 414 e o sistema de controle 418 podem, cada, incluir um processador, memória, e unidades de comunicação. O sistema de controle 414 e o sistema de controle 418 podem controlar a operação da câmera rotativa 412 e a câmera rotativa 416, respectivamente. Adicionalmente, o sistema de controle 414 e o sistema de controle 418 podem processar os dados de formação de imagens gerados por essas câmeras e enviar os dados processados para um sistema de computador remoto (por exemplo, o sistema de computador 124 na figura 1) para o ulterior processamento. Em outros exemplos ilustrativos, os processadores do sistema de controle 414 e do sistema de controle 418 se comunicam uns com os outros como parte do sistema de computador 124 descrito na figura 1.

[0092] Em alguns casos, um dispositivo de iluminação (não mostrado) pode ser afixado a, ou integral com, cada uma da plataforma de inspeção 408 e da plataforma de inspeção 410. O dispositivo de iluminação pode ajudar a câmera rotativa 412 e a câmera rotativa 416 a capturar imagens de qualidade mais alta.

[0093] Os dados de formação de imagens gerados pela câmera rotativa 412 e a câmera rotativa 416 incluem imagens do local de montagem 400 e da montagem da asa 402, que são usadas para realizar inspeções automatizadas durante a construção da montagem da asa 402.

Petição 870190078335, de 13/08/2019, pág. 34/96 / 58

Adicionalmente, os dados de formação de imagens são usados para prover guia para o operador humano 420 com base no estágio atual de montagem. [0094] A figura 5 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo. O processo 500 ilustrado na figura 5 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. O processo 500 pode ser usado para automatizar a supervisão e inspeção de processo de montagem 106 no local de montagem 105 na figura

1.

[0095] O processo 500 pode começar gerando dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem (operação 502). Em um exemplo ilustrativo, o sistema de sensores inclui uma pluralidade de câmeras que são posicionadas em relação a um local de montagem e a montagem sendo construída no local de montagem. Em alguns casos, um ou mais das câmeras podem ser câmeras rotativas.

[0096] Um estágio atual do processo de montagem para construir a montagem em um local de montagem é identificado usando os dados de sensor (operação 504). Depois disso, um contexto é identificado para o estágio atual do processo de montagem (operação 506). Como descrito acima, um estágio de um processo de montagem pode ser um único estágio, uma sequência de estágios, uma sequência de subestágios, um estágio em um subprocesso de montagem, a etapa em um processo de montagem, a etapa em um subprocesso de montagem, ou duas ou mais etapas ou subestágios a serem realizados em paralelo durante um processo de montagem.

[0097] Um relatório de qualidade é então gerado para a montagem com base nos dados de sensor e no contexto para o estágio atual (operação 508), com o processo terminando depois disso. O relatório de qualidade é um relatório automático que inclui avaliações indicando se pelo menos uma de questões de interesse está presente. As questões de interesse podem ser uma

Petição 870190078335, de 13/08/2019, pág. 35/96 / 58 parte imprópria, um local de parte impróprio, uma orientação imprópria, uma fissura, uma indentação, uma torção, uma inconsistência superficial, ou uma combinação dos mesmos. O processo 500 pode ser repetido para cada estágio de um processo de montagem.

[0098] A figura 6 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo. O processo 600 ilustrado na figura 6 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. O processo 600 pode ser usado para automatizar a supervisão e inspeção de processo de montagem 106 no local de montagem 105 na figura

1.

[0099] O processo 600 começa gerando dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem (operação 602). Nesses exemplos ilustrativos, o sistema de sensores inclui múltiplas câmeras que são colocadas em predeterminadas posições fixas em relação à montagem sendo construída no local de montagem. Essas posições são selecionadas para prover imagens que proveem a maioria das informações e ângulos ótimos para avaliar um processo de montagem. As câmeras podem gerar imagens, vídeo, ou ambos.

[00100] A seguir, um estágio atual de um processo de montagem para construir uma montagem no local de montagem é identificado usando os dados de sensor, informação de montagem armazenada em um repositório de dados, e pelo menos um dentre aprendizagem automática, aprendizagem profunda, visão por computador, uma técnica de aprendizagem personalizada, aprendizagem computacional, ou aprendizagem por inteligência artificial (operação 604). Depois disso, um contexto é identificado para o estágio atual (operação 606).

[00101] Um relatório de qualidade correspondente ao estágio atual do processo de montagem é gerado com base nos dados de sensor e no contexto

Petição 870190078335, de 13/08/2019, pág. 36/96 / 58 para o estágio atual (operação 608). Uma gravação correspondente ao estágio atual do processo de montagem é armazenada no repositório de dados para construir assim um histórico de gravações para um processo de montagem (operação 610), com o processo terminando depois disso. A gravação inclui pelo menos uma porção dos dados de sensor e o relatório de qualidade.

[00102] A figura 7 é um fluxograma de um processo para identificar um estágio atual do processo de montagem de acordo com uma modalidade de exemplo. O processo 700 ilustrado na figura 7 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. Mais particularmente, o processo 700 pode ser realizado usando gerenciador de montagem 118 descrito nas figuras 1 e 3.

[00103] O processo 700 começa por detectar uma pluralidade de objetos usando dados de formação de imagens gerados por um sistema de formação de imagens (operação 702). O sistema de formação de imagens pode incluir um ou mais câmeras posicionadas em relação a um local de montagem e uma montagem em um local de montagem.

[00104] A seguir, pelo menos uma porção da pluralidade de objetos é conjugada às partes para a montagem para estabelecer assim uma pluralidade de objetos conjugados (operação 704). A operação 704 pode ser realizada usando pelo menos uma dentre imagens das partes ou modelos das partes. Por exemplo, a operação 704 pode ser realizada usando biblioteca de imagens de partes 202 e biblioteca de modelos de partes 204 na figura 2. Na operação 704, cada objeto é comparado com partes conhecidas para a montagem e é ou conjugado com uma parte conhecida ou sinalizado como não conjugado. Nesses exemplos ilustrativos, a conjugação de pelo menos uma porção da pluralidade de objetos às partes conhecidas para a montagem pode ser realizada usando pelo menos uma dentre aprendizagem automática, aprendizagem profunda, visão por computador, uma técnica de aprendizagem personalizada, aprendizagem computacional, ou aprendizagem por

Petição 870190078335, de 13/08/2019, pág. 37/96 / 58 inteligência artificial.

[00105] Depois disso, pelo menos um dentre uma pluralidade de locais ou uma pluralidade de orientações é identificado para a pluralidade de objetos conjugados com relação a um sistema de coordenadas de referência para um local de montagem (operação 706). Por exemplo, para cada objeto conjugado a uma parte conhecida para a montagem sendo construída, uma localização, uma orientação, ou ambas em relação a um sistema de coordenadas de referência para um local de montagem é computada. Em alguns exemplos ilustrativos, o sistema de coordenadas de referência pode ser com relação à montagem propriamente dita. Os locais dos objetos conjugados podem ser identificados por uso das posições conhecidas das câmeras com relação a um local de montagem e, assim, das posições conhecidas das câmeras com relação a um modelo (por exemplo, modelo CAD) da montagem ou de um local de montagem).

[00106] O estágio atual do processo de montagem é determinado com base na identificação da pluralidade de objetos conjugados e do pelo menos um dentre a pluralidade de locais ou a pluralidade de orientações identificadas para a pluralidade de objetos conjugados (operação 708), com o processo terminando depois disso. A operação 708 pode ser realizada por comparação dos locais, orientações, ou ambos, dos objetos conjugados, com os modelos da montagem em vários estágios durante um processo de montagem, modelos de um local de montagem em vários estágios durante um processo de montagem, ou ambos. Os dados de fluxo de processos de montagem 206, os dados de modelo de local de montagem 208, os dados de modelos de montagem 210, os dados de vídeos de montagem 212, ou uma combinação dos mesmos, da figura 2, podem ser usados para determinar o estágio atual do processo de montagem.

[00107] A figura 8 é um fluxograma de um processo para realizar uma verificação de retrocesso de acordo com uma modalidade de exemplo. O

Petição 870190078335, de 13/08/2019, pág. 38/96 / 58 processo 800 ilustrado na figura 8 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. Mais particularmente, o processo 800 pode ser realizado usando o verificador de retrocesso 120 descrito na figura 1.

[00108] O processo 800 pode começar por determinar se um relatório de qualidade para um estágio atual do processo de montagem indica que uma questão de interesse está presente (operação 802). As questões de interesse podem ser uma de uma parte imprópria, um local de parte impróprio, uma orientação imprópria, uma fissura, uma indentação, uma torção, uma inconsistência superficial, ou algum outro tipo de questões de interesse. Uma parte imprópria significa que a parte errada foi adicionada à montagem. Um local de parte impróprio pode significar que uma parte correta foi montada ou adicionada à montagem no local errado. Uma orientação imprópria pode significar que uma parte correta tem a orientação errada em relação à montagem.

[00109] Se uma questão de interesse não estiver presente, o processo termina. Caso contrário, se uma questão de interesse estiver presente, o estágio atual do processo de montagem é selecionado para o processamento (operação 804). Uma gravação correspondente ao estágio selecionado é recuperada de um histórico em um repositório de dados e analisada (operação 806).

[00110] Depois disso, a determinação é feita se a causa raiz da questão de interesse ocorreu durante o estágio selecionado de um processo de montagem (operação 808). Se a causa raiz ocorreu durante o estágio selecionado de um processo de montagem, um relatório é gerado (operação 810), com o processo terminando depois disso. O relatório pode ser um alerta ou uma notificação de informação relacionada às questões de interesse. Em alguns casos, o relatório inclui imagens, vídeo, ou ambos, para informar de melhor maneira um operador humano acerca das questões.

Petição 870190078335, de 13/08/2019, pág. 39/96 / 58 [00111] Se, todavia, a causa raiz não ocorreu durante o estágio selecionado de um processo de montagem, a determinação é feita de se o estágio selecionado foi o estágio inicial de um processo de montagem (operação 812). Se o estágio selecionado foi o estágio inicial de um processo de montagem, o processo prossegue para a operação 810 descrita acima. Aqui, o relatório pode assumir a forma de uma notificação, um alerta, ou um relatório substantivo indicando que a causa raiz não pôde ser identificada.

[00112] Se o estágio selecionado não foi o estágio inicial de um processo de montagem, então um estágio de um processo de montagem que ocorreu imediatamente antes do estágio selecionado ser selecionado para o processamento (operação 814), com o processo então retornando para a operação 806, como descrito acima. Dessa maneira, o processo 800 retrocede através do histórico de gravações armazenadas no repositório de dados de uma maneira eficiente. A informação acerca das etapas de montagem anteriores pode ser analisada e avaliada sem requerer intervenção humana ou requerer desmontagem extensiva (por exemplo, uma reversão das etapas de montagem já realizadas).

[00113] Consequentemente, esse tipo de verificação de retrocesso permite a inspeção e o controle de qualidade automatizados de um processo de montagem de uma maneira que pode ser demasiadamente difícil ou demorada de realização por um operador humano. Um operador humano deveria ter que reverter um processo de montagem e desmontar uma porção da montagem a fim de identificar um caso-raiz de uma questão. Todavia, a verificação de retrocesso do processo descrito acima é um método automático para identificar a causa raiz de uma questão que ocorreu antes do estágio atual de montagem facilmente, rapidamente, e eficientemente.

[00114] A figura 9 é um fluxograma de um processo para supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo. O processo 900 ilustrado na figura 9 pode ser

Petição 870190078335, de 13/08/2019, pág. 40/96 / 58 realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3.

[00115] O processo 900 pode começar por identificar um estágio atual do processo de montagem e um contexto para o estágio atual do processo de montagem (operação 902). A seguir, uma parte ativa é identificada com base em dados de formação de imagens (operação 904). Os dados de formação de imagens podem ser gerados por uma ou mais câmeras em posições fixas em relação a um local de montagem. A parte ativa pode ser, por exemplo, a parte sendo segura por um operador humano ou um robô para a instalação. A identificação realizada na operação 904 pode ser realizada usando aprendizagem automática, visão por computador, ou outros tipos de técnicas de aprendizagem.

[00116] Depois disso, um local alvo ativo é identificado para a parte ativa com base em dados de formação de imagens (operação 906). O local alvo ativo pode ser identificado usando aprendizagem automática, visão por computador, ou outros tipos de técnicas de aprendizagem e modelos 3D do local de montagem ou a montagem a ser construída. Em alguns exemplos ilustrativos, o local alvo pode ser identificado através de detecções baseadas em proximidade, combinadas com detecções de montagem ativa, uma vez que o operador começa a tarefa de instalar a parte.

[00117] A seguir, a parte ativa e o local alvo ativo são conjugados às partes conhecidas para a montagem (operação 908). A determinação é feita de se essa conjugação é apropriada (operação 910). A conjugação pode ser considerada apropriada quando a combinação da parte ativa e do local alvo ativo está correta para o estágio atual do processo de montagem.

[00118] Se a conjugação for apropriada, dados de formação de imagens são usados para determinar se uma questão de interesse estiver presente (operação 912). Essa determinação pode ser feita com base em aprendizagem automática, visão por computador, ou outros tipos de algoritmos de

Petição 870190078335, de 13/08/2019, pág. 41/96 / 58 aprendizagem. Na operação 912, a determinação é feita com base em tipos conhecidos de questões e métricas de qualidade predefinidas.

[00119] Se uma questão estiver presente, uma verificação de retrocesso do processo é realizada para identificar a causa raiz da questão e um correspondente relatório é gerado (operação 914). O processo então determina se o estágio atual do processo de montagem está ainda ativo (operação 916). O estágio atual é considerado ainda ativo se existirem etapas ou tarefas adicionais a serem realizadas como parte desse estágio de um processo de montagem. Se o estágio atual estiver ainda ativo, o processo retorna para a operação 904 descrita acima. Caso contrário, o processo retorna para a operação 902 descrita acima.

[00120] Com referência novamente à operação 912, se nenhuma questão de interesse estiver presente, o processo prossegue para a operação 916. Com referência novamente à operação 910, se a conjugação não for apropriada, um relatório é gerado (operação 918), com o processo então prosseguindo para a operação 904, como descrito acima. Isso permite que o operador humano ou robô selecione ou uma nova parte ativa ou um novo local alvo altivo.

[00121] Pelo retorno para a operação 902 depois da operação 918, o processo pode “avançar” o estágio ativo de um processo de montagem e usar um novo contexto para tomada de decisão. Quando não existe próximo estágio a ser avançado, um processo de montagem está completo. Assim, o processo interage até um processo de montagem ter sido completado.

[00122] A figura 10 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo. O processo 1000 ilustrado na figura 10 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. O processo 1000 pode ser usado para automatizar a supervisão e inspeção de processo de montagem 106.

Petição 870190078335, de 13/08/2019, pág. 42/96 / 58 [00123] O processo 1000 pode começar gerando dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem (operação 1002). Um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem é gerado usando os dados de sensor (operação 1004).

[00124] Depois disso, um estágio atual do processo de montagem para construir a montagem é identificado com base no mapa global tridimensional (operação 1006). Um contexto é então identificado para o estágio atual (operação 1008). Um relatório de qualidade para a montagem pode então ser gerado usando o mapa global tridimensional e o contexto para o estágio atual (operação 1010), com o processo terminando depois disso. O processo 1000 pode ser repetido em vários estágios ou cada estágio de um processo de montagem.

[00125] A figura 11 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo com uma modalidade de exemplo. O processo 1100 ilustrado na figura 11 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. O processo 1100 pode ser usado para automatizar a supervisão e inspeção de processo de montagem 106 no local de montagem 105 na figura

1.

[00126] O processo 1100 começa gerando dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem (operação 1102). Nesses exemplos ilustrativos, o sistema de sensores inclui múltiplas câmeras que são colocadas em predeterminadas posições fixas em relação à montagem sendo construída no local de montagem. Essas posições são selecionadas para prover imagens que proveem a maioria da informação e ângulos ótimos para a avaliação de um processo de montagem. As câmeras podem gerar imagens, vídeo, ou ambos.

[00127] A seguir, um mapa global tridimensional para o local de

Petição 870190078335, de 13/08/2019, pág. 43/96 / 58 montagem e uma montagem sendo construída no local de montagem é gerado usando os dados de sensor (operação 1104). A operação 1104 pode ser realizada em um número de maneiras diferentes. Como um exemplo ilustrativo, os dados de sensor podem incluir dados de nuvem de pontos. Esses dados de nuvem de pontos podem ser ou usados de forma bruta ou processados para formar uma nuvem de pontos tridimensionais para um local de montagem. Um ou mais algoritmos de processamento (por exemplo, detecção de borda, segmentação, mapeamento, etc.) podem ser usados para processar os dados de nuvem de pontos e gerar uma nuvem de pontos tridimensionais para o uso na geração do mapa global tridimensional.

[00128] Um estágio atual de um processo de montagem para construir uma montagem no local de montagem é então identificado usando o mapa global tridimensional e informação de montagem armazenada em um repositório de dados (operação 1106). A operação 1106 pode ser realizada por, por exemplo, detecção de objetos e elementos de locais no mapa global tridimensional.

[00129] Depois disso, um contexto é identificado para o estágio atual (operação 1108). Um relatório de qualidade correspondente ao estágio atual do processo de montagem é gerado com base no mapa global tridimensional, a informação de montagem, e o contexto para o estágio atual (operação 1110). Uma gravação correspondente ao estágio atual do processo de montagem é armazenada no repositório de dados para construir assim um histórico de gravações para um processo de montagem (operação 1112), com o processo terminando depois disso. A gravação pode incluir pelo menos uma porção dos dados de sensor, o mapa global tridimensional, o relatório de qualidade, ou uma combinação dos mesmos.

[00130] Embora o processo 1100 seja descrito como usando um mapa global tridimensional para identificar o estágio atual da montagem, outras técnicas podem também ser usadas. Em alguns exemplos ilustrativos, a

Petição 870190078335, de 13/08/2019, pág. 44/96 / 58 operação 1104 pode ser opcionalmente omitida e o estágio atual da montagem pode ser identificado pelo processamento da nuvem de pontos tridimensionais, descrita acima. A nuvem de pontos tridimensionais pode ser processada usando qualquer número ou combinação de algoritmos ou técnicas para detectar objetos e elementos de locais. Por exemplo, detecção de borda, segmentação, mapeamento, extração de características, outras de tais técnicas, ou uma combinação das mesmas pode ser usada para processar a nuvem de pontos tridimensionais. A informação gerada por essas técnicas pode então ser comparada com a informação esperada ou ótima correspondente ao mesmo estágio atual de montagem, como definido pelo contexto para o estágio atual. Os resultados dessa comparação podem fazer parte do relatório de qualidade gerado na operação 1110.

[00131] A figura 12 é um fluxograma de um processo para gerar um mapa global tridimensional de um local de montagem e uma montagem de acordo com uma modalidade de exemplo. O processo 1200 ilustrado na figura 12 pode ser realizado usando o sistema de supervisão e inspeção 112 descrito nas figuras 1 a 3. Mais especificamente, o processo 1200 pode ser realizado usando o analisador de dados 302 descrito na figura 3. Adicionalmente, o processo 1200 é um exemplo de uma implementação para operação 1004 na figura 10and operação 1104 na figura 11.

[00132] O processo 1200 pode começar gerando uma nuvem de pontos tridimensionais do local de montagem e a montagem sendo construída no local de montagem usando dados tridimensionais (operação 1202). Os dados tridimensionais podem ser gerados por, por exemplo, pelo menos um dentre um sensor de detecção e telemetria por luz, um sensor de radar, um sensor de sonar, ou uma câmera estéreo, posicionado em relação a um local de montagem e a montagem em um local de montagem. Adicionalmente, os dados tridimensionais podem ser gerados em substancialmente tempo real e podem ser gerados continuamente ou periodicamente. Os dados

Petição 870190078335, de 13/08/2019, pág. 45/96 / 58 tridimensionais podem ser, por exemplo, os dados tridimensionais 305 descritos na figura 3. A operação 1202 pode incluir o uso dos dados a partir dos múltiplos sensores para gerar a nuvem de pontos tridimensionais. A nuvem tridimensional pode ser, por exemplo, a nuvem de pontos tridimensionais 317 na figura 3.

[00133] A seguir, pontos na nuvem de pontos tridimensionais são agrupados para formarem assim um conjunto de remendos de superfície (operação 1204). A operação 1204 pode ser realizada usando, por exemplo, pelo menos um dentre um algoritmo de agrupamento ou um algoritmo de reconstrução de superfície. Cada remendo de superfície é formado por um agrupamento localizado de pontos na nuvem tridimensional. Em um exemplo ilustrativo, a operação 1204 é realizada por agrupamento dos pontos na nuvem de pontos tridimensionais e então conversão desses agrupamentos em superfícies tridimensionais. Um remendo de superfície pode incluir um ou mais dessas superfícies tridimensionais.

[00134] Depois disso, o conjunto de remendos de superfície é ajustado com superfícies em um modelo tridimensional de um local de montagem e a montagem sendo construída no local de montagem (operação 1206). Na operação 1206, o modelo tridimensional pode incluir um ou mais Modelos CAD. Em alguns exemplos ilustrativos, a operação 1206 pode ser realizada por determinar quais superfícies no modelo tridimensional são mais estreitamente conjugadas pelos remendos de superfície. A provisão na operação 1206 pode ser realizada usando pelo menos uma dentre funções básicas radiais, aproximações de coluna vertebral, ou interpolações de malha.

[00135] Na operação 1206, a provisão de um remendo de superfície à superfície de um modelo tridimensional pode incluir modificar ou atualizar a superfície do modelo tridimensional com base no remendo de superfície ou os correspondentes pontos da nuvem de pontos tridimensionais usada para formar o remendo de superfície, para formar assim um remendo de superfície

Petição 870190078335, de 13/08/2019, pág. 46/96 / 58 ajustado. Em outros exemplos ilustrativos, o ajuste pode incluir modificar ou atualizar o remendo de superfície com base no modelo tridimensional para formar assim um remendo de superfície ajustado. Em alguns casos, esse ajuste inclui identificar a posição (localização e orientação) para o remendo de superfície com relação a um sistema de coordenadas de referência para o modelo tridimensional.

[00136] O conjunto de remendos de superfície ajustados é então organizado no mapa global tridimensional (operação 1208), com o processo terminando depois disso. Em um exemplo ilustrativo, a operação 1208 pode ser realizada por, por exemplo, sobreposição de remendos de superfície sobre suas superfícies correspondentes no modelo tridimensional para formar o mapa global tridimensional. Em outros exemplos ilustrativos, os remendos de superfície podem ser alinhados com relação ao sistema de coordenadas de referência para o modelo tridimensional para formar o mapa global tridimensional.

[00137] O mapa global tridimensional gerado na operação 1208 pode ser usado para identificar o estágio atual do processo de montagem e para gerar avaliações acerca da qualidade de um processo de montagem e da montagem sendo construída no local de montagem por intermédio de um processo de montagem. Nessas modalidades de exemplo, características, tais como as características 314 na figura 3, podem ser identificadas usando o mapa global tridimensional. O uso do mapa global tridimensional pode permitir que diferentes características, características adicionais, ou ambas, sejam identificadas. Por exemplo, algumas características que podem ser mais difícil de detectar através do processamento de dados de formação de imagens bidimensionais podem ser facilmente ou mais imediatamente detectáveis através do processamento de dados tridimensionais.

[00138] A figura 13 é um fluxograma de um processo para realizar supervisão e inspeção automatizadas de um processo de montagem de acordo

Petição 870190078335, de 13/08/2019, pág. 47/96 / 58 com uma modalidade de exemplo. O processo 1300 pode ser usado para automatizar a supervisão e inspeção de processo de montagem 106.

[00139] O processo 1300 pode começar gerando dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem, os dados de sensor incluindo dados de formação de imagens bidimensionais e dados tridimensionais (operação 1302). O sistema de sensores pode incluir qualquer número de ou combinação de sensores posicionados em relação a um local de montagem. Os sensores podem continuamente ou periodicamente gerar os dados de sensor.

[00140] Por exemplo, o sistema de sensores pode incluir uma ou mais plataformas estacionárias nas posições fixas em torno de um local de montagem, dentro de um local de montagem, ou ambos, para a geração dos dados de formação das imagens bidimensionais. Essas plataformas estacionárias podem ser equipadas com câmeras, que, em alguns casos, podem ser câmeras rotativas. O sistema de sensores pode também incluir um ou mais dispositivos sensores capazes de gerar dados tridimensionais. Por exemplo, o sistema de sensores pode incluir pelo menos um dentre um sensor de LiDAR, um sensor de radar, um sensor de sonar, ou uma câmera estéreo.

[00141] Pelo menos um dentre os dados de formação de imagens bidimensionais ou os dados tridimensionais é usado para identificar um estágio atual do processo de montagem e um contexto para o estágio atual (operação 1304). Depois disso, um relatório de qualidade é gerado usando os dados de formação de imagens bidimensionais e o contexto para o estágio atual (operação 1306). Um relatório de qualidade é gerado usando o contexto para o estágio atual e um mapa global tridimensional gerado com base nos dados tridimensionais (operação 1308).

[00142] Os dois relatórios de qualidade são então integrados para formar um relatório mestre de qualidade (operação 1310). Em um exemplo ilustrativo, a operação 1310 pode ser realizada por comparação dos dois

Petição 870190078335, de 13/08/2019, pág. 48/96 / 58 relatórios de qualidade. As várias avaliações incluídas em cada relatório de qualidade podem ser usadas. Por exemplo, a avaliação de inconsistências em ambos os relatórios de qualidade pode ser usada para remover detecções redundantes de características indesejadas e consolidar detecções como uma única detecção, onde apropriado.

[00143] O relatório mestre de qualidade é fornecido para visualização por pelo menos um operador humano (operação 1312). A operação 1312 pode ser realizada de várias maneiras. Como um exemplo, um relatório detalhando os resultados da avaliação do estágio atual do processo de montagem pode ser fornecido em um arquivo. Em outros exemplos, a informação no relatório mestre de qualidade pode ser exibida em uma interface de usuário gráfica em um sistema de exibição de uma maneira que transmita visualmente os resultados da avaliação. Por exemplo, indicadores gráficos sobrepostos sobre um modelo tridimensional da montagem em um local de montagem podem ser usados para indicar questões de interesse. Por exemplo, círculos coloridos, setas, ou outros tipos de indicadores gráficos podem ser usados para indicar partes que estão erradas, partes que foram montadas no local errado, indentações, fissuras, torções, inconsistências superficiais, outros tipos de questões, ou uma combinação dos mesmos.

[00144] Em um exemplo ilustrativo, o relatório mestre de qualidade pode ser enviado para pelo menos um dispositivo remoto sobre pelo menos uma ligação de comunicações para visualização por pelo menos um operador humano. Por exemplo, as operações 1304 através de 1310 podem ser realizadas em um servidor remoto posicionado fora do ambiente de fabricação. Uma vez que o relatório mestre de qualidade for gerado, o relatório mestre de qualidade pode ser enviado para um dispositivo posicionado em um local de montagem (por exemplo, dispositivo móvel, tal como um computador portátil, tablete, telefone inteligente, etc.) de forma que um operador humano em um local de montagem possa usar a informação no

Petição 870190078335, de 13/08/2019, pág. 49/96 / 58 relatório mestre de qualidade para resolver muitas questões de interesse. Em outros exemplos ilustrativos, a operação 1310 é omitida de forma que operação 1312 seja modificada de modo que ambos os relatórios de qualidade sejam fornecidos para o(s) operador(es) humano(s) para visualização.

[00145] A determinação é feita de se um processo de montagem está completado (operação 1314). Se um processo de montagem não estiver completo, o processo retorna para a operação 1304 descrita acima. Caso contrário, o processo termina.

[00146] Os fluxogramas e diagramas de blocos nas diferentes modalidades representadas ilustram a arquitetura, funcionalidade, e operação de algumas possíveis implementações de aparelhos e métodos em uma modalidade ilustrativa nesse respeito, cada bloco nos fluxogramas ou diagramas de blocos pode representar um módulo, um segmento, uma função, e/ou uma porção de uma operação ou etapa.

[00147] Em algumas implementações alternativas de uma modalidade ilustrativa, a função ou funções notadas nos blocos podem ocorrer fora da ordem notada nas figuras. Por exemplo, em alguns casos, dois blocos mostrados em sucessão podem ser executados substancialmente simultaneamente, ou os blocos podem algumas vezes ser realizados na ordem reversa, dependendo da funcionalidade envolvida. Também, outros blocos podem ser acrescentados em adição aos blocos ilustrados em um fluxograma ou diagrama de blocos.

[00148] A figura 14 é uma ilustração de uma nuvem de pontos tridimensionais de acordo com uma modalidade ilustrativa. Uma nuvem de pontos tridimensionais 1400 é um exemplo de uma implementação para a nuvem de pontos tridimensionais 317 na figura 3. Adicionalmente, nuvem de pontos tridimensionais 1400 pode ser um exemplo da nuvem de pontos tridimensionais gerados na operação 1202 da figura 12. A nuvem de pontos tridimensionais 1400 é criada usando os dados dos múltiplos sensores

Petição 870190078335, de 13/08/2019, pág. 50/96 / 58

LiDAR.

[00149] A figura 15 é uma ilustração de pontos em nuvem de pontos tridimensionais 1400 da figura 14 com pontos agrupados de acordo com uma modalidade ilustrativa. Os pontos 1500 da nuvem de pontos tridimensionais 1400 foram agrupados em agrupamentos 1502. Os agrupamentos 1502 de pontos 1500 podem representar o tipo de agrupamento que pode ser realizado na operação 1204 na figura 1.

[00150] A figura 16 é uma ilustração de remendos de superfície formados usando agrupamentos 1502 da figura 15 de acordo com uma modalidade ilustrativa. Os remendos de superfície 1600 podem ser exemplos do tipo de remendos de superfície que podem ser formados na operação 1204 na figura 1.

[00151] A figura 17 é uma ilustração de um mapa global tridimensional de acordo com uma modalidade ilustrativa. O mapa global tridimensional 1700 é um exemplo de uma implementação para o mapa global tridimensional 319 na figura 3. Adicionalmente, o mapa global tridimensional 1700 pode ser um exemplo do mapa global tridimensional 1700 gerado na operação 1208 na figura 12. Os remendos de superfície 1600 na figura 16 são montados em um modelo tridimensional (por exemplo, Modelo CAD) para formar mapa global tridimensional 1700.

[00152] A figura 18 é uma ilustração de objetos e elementos de posição que foram detectados em um mapa global tridimensional de acordo com uma modalidade ilustrativa Objetos 1800 e elementos de locais 1802 foram detectados dentro do mapa global tridimensional 1700.

[00153] Voltando-se agora para a figura 19, uma ilustração de um sistema de processamento de dados na forma de um diagrama de blocos é representada de acordo com uma modalidade ilustrativa. O sistema de processamento de dados 1900 pode ser usado para implementar o sistema de computador 124 na figura 1. Como representado, o sistema de processamento

Petição 870190078335, de 13/08/2019, pág. 51/96 / 58 de dados 1900 inclui a estrutura de comunicações 1902, que provê comunicações entre a unidade de processador 1904, os dispositivos de armazenamento 1906, a unidade de comunicações 1908, a unidade de entrada/saída 1910, e a exibição 1912. Em alguns casos, a estrutura de comunicações 1902 pode ser implementada como um sistema de barramento. [00154] A unidade de processador 1904 é configura da para executar instruções para software para realizar um número de operações. A unidade de processador 1904 pode compreender um número de processadores, um núcleo de multiprocessador, e/ou algum outro tipo de processador, dependendo da implementação. Em alguns casos, unidade de processador 1904 pode assumir a forma de uma unidade de hardware, tal como um sistema de circuitos, um circuito integrado específico de aplicação (ASIC), um dispositivo de lógica programável, ou algum outro tipo apropriado de unidade de hardware.

[00155] As instruções para o sistema de operação, aplicativos, e/ou programas rodadas pela unidade de processador 1904 podem estar localizadas nos dispositivos de armazenamento 1906. Os dispositivos de armazenamento 1906 podem estar em comunicação com unidade de processador 1904 através da estrutura de comunicações 1902. Quando usado aqui, um dispositivo de armazenamento, também referido como um dispositivo de armazenamento legível por computador, é qualquer peça de hardware capaz de armazenar informação em uma base temporária e/ou permanente. Essa informação pode incluir, mas não é limitada a, dados, código de programa, e/ou outra informação.

[00156] A memória 1914 e o armazenamento persistente 1916 são exemplos dos dispositivos de armazenamento 1906. A memória 1914 pode assumir a forma de, por exemplo, uma memória de acesso aleatório ou algum tipo de dispositivo de armazenamento volátil ou não volátil. O armazenamento persistente 1916 pode compreender qualquer número de componentes ou dispositivos. Por exemplo, o armazenamento persistente

Petição 870190078335, de 13/08/2019, pág. 52/96 / 58

1916 pode compreender uma unidade de disco rígido, uma memória Flash, um disco óptico regravável, uma fita magnética regravável, ou alguma combinação dos acima. O meio usado por o armazenamento persistente 1916 pode, ou não pode, ser removível.

[00157] A unidade de comunicações 1908 permite que o sistema de processamento de dados 1900 se comunique com outros sistemas e/ou dispositivos de processamento de dados. A unidade de comunicações 1908 pode prover comunicações usando ligações de comunicações físicas e/ou sem fios.

[00158] A unidade de entrada/saída 1910 permite que entrada seja recebida de, e saída seja enviada para, outros dispositivos conectados ao sistema de processamento de dados 1900. Por exemplo, a unidade de entrada/saída1910 pode permitir que entrada de usuário seja recebida através de um teclado, um mouse, e/ou algum outro tipo de dispositivo de entrada. Como outro exemplo, a unidade de entrada/saída1910 pode permitir que saída seja enviada para uma impressora conectada ao sistema de processamento de dados 1900.

[00159] A exibição 1912 é configura da para a exibição de informação a um usuário. A exibição 1912 pode compreender, por exemplo, sem limitação, um monitor, uma tela sensível a toques, uma exibição a laser, uma exibição holográfica, um dispositivo de exibição virtual, e/ou algum outro tipo de dispositivo de exibição.

[00160] Nesse exemplo ilustrativo, os processos das diferentes modalidades ilustrativas podem ser realizados por unidade de processador 1904 usando instruções implementadas por computador. Essas instruções podem ser referidas como código de programa, o código de programa usável por computador, ou código de programa legível por computador e podem ser lidas e executadas por um ou mais processadores na unidade de processador 1904.

Petição 870190078335, de 13/08/2019, pág. 53/96 / 58 [00161] Nesses exemplos, o código de programa 1918 é posicionado em uma forma funcional no meio legível por computador 1920, que é seletivamente removível, e pode ser carregado no, ou transferido para, o sistema de processamento de dados 1900 para execução por unidade de processador 1904. O código de programa 1918 e meio legível por computador 1920 formam, conjuntamente, o produto de programa de computador 1922. Nesse exemplo ilustrativo, o meio legível por computador 1920 pode ser o meio de armazenamento legível por computador 1924 ou o meio de sinal legível por computador 1926.

[00162] O meio de armazenamento legível por computador 1924 é um dispositivo de armazenamento físico ou tangível usado para armazenar código de programa 1918, ao invés de um meio que propaga ou transmite código de programa 1918. O meio de armazenamento legível por computador 1924 pode ser, por exemplo, sem limitação, um disco óptico ou magnético ou um dispositivo de armazenamento persistente que é conectado ao sistema de processamento de dados 1900.

[00163] Alternativamente, o código de programa 1918 pode ser transferido para o sistema de processamento de dados 1900 usando o meio de sinal legível por computador 1926. O meio de sinal legível por computador 1926 pode ser, por exemplo, um sinal de dado propagado contendo o código de programa 1918. Esse sinal de dado pode ser um sinal eletromagnético, um sinal óptico, e/ou algum outro tipo de sinal que pode ser transmitido sobre ligações de comunicações físicas e/ou sem fios.

[00164] A ilustração do sistema de processamento de dados 1900 na figura 19 não é destinada a prover limitações de arquitetura à maneira na qual as modalidades ilustrativas podem ser implementadas. As diferentes modalidades ilustrativas podem ser implementadas em um sistema de processamento de dados que inclui componentes em adição a, ou em lugar, daqueles ilustrados para o sistema de processamento de dados 1900.

Petição 870190078335, de 13/08/2019, pág. 54/96 / 58

Adicionalmente, os componentes mostrados na figura 19 podem ser variados dos exemplos ilustrativos mostrados.

[00165] Modalidades ilustrativas da exposição podem ser descritas no contexto de método de fabricação e serviço de aeronave 2000, como mostrado na figura 20, e aeronave 2100, como mostrada na figura 21. Voltando-se primeiro para a figura 20, uma ilustração de um método de fabricação e serviço de aeronave é representada de acordo com uma modalidade ilustrativa Durante a pré-produção, método de fabricação e serviço de aeronave 2000 pode incluir especificação e projeto 2002 de aeronave 2100 na figura 21 e aquisição de material 2004.

[00166] Durante a produção, a fabricação de componentes e subconjuntos 2006 e a integração de sistemas 2008 de aeronave 2100 na figura 21 são efetuadas. Depois disso, aeronave 2100 na figura 21 pode ir através de certificação e fornecimento 2010 a fim de ser colocada no serviço 2012. Enquanto no serviço 2012 por um cliente, aeronave 2100 na figura 21 é programada para manutenção de rotina e serviço 2014, que pode incluir modificação, reconfiguração, remodelação, e outra manutenção ou serviço.

[00167] Cada um dos processos de método de fabricação e serviço de aeronave 2000 pode ser realizado ou executado por um integrador de sistema, um terceirizado, e/ou um operador. Nesses exemplos, o operador pode ser um cliente. Para as finalidades dessa descrição, um integrador de sistema pode incluir, sem limitação, qualquer número de fabricantes de aeronaves e subcontratados para o sistema principal; um terceirizado pode incluir, sem limitação, qualquer número de vendedores, subcontratados, e fornecedores; e uma operador pode ser uma empresa de transporte aéreo, uma companhia de arrendamento, uma organização militar, uma organização de serviço, e outros. [00168] Com referência agora à figura 21, uma ilustração de uma aeronave é representada, em que uma modalidade ilustrativa pode ser implementada. Nesse exemplo, a aeronave 2100 é produzida pelo método de

Petição 870190078335, de 13/08/2019, pág. 55/96 / 58 fabricação e serviço de aeronave 2000 na figura 20 e pode incluir célula 2102 com a pluralidade de sistemas 2104 e interior 2106. Exemplos dos sistemas 2104 incluem um ou mais de sistema de propulsão 2108, sistema elétrico 2110, sistema hidráulico 2112, e o sistema ambiental 2114. Qualquer número de outros sistemas pode ser incluído. Embora um exemplo de espaçonave seja mostrado, diferentes modalidades ilustrativas podem ser aplicadas a outras indústrias, tais como a indústria automotiva.

[00169] Os aparelhos e métodos incorporados aqui podem ser empregados durante pelo menos um dentre os estágios de método de fabricação e serviço de aeronave 2000 na figura 20. Em particular, a estrutura 104 da figura 1 pode ser fabricada durante qualquer um dos estágios de método de fabricação e serviço de aeronave 2000. Por exemplo, sem limitação, a montagem 110 pode ser construída usando a pluralidade de partes 102 durante pelo menos um dentre a fabricação de componentes e subconjuntos 2006, a integração de sistemas 2008, manutenção de rotina e serviço 2014, ou algum outro estágio do método de fabricação e serviço de aeronave 2000. Adicionalmente, o sistema de supervisão e inspeção 112 pode prover supervisão e inspeção automatizadas de um processo de montagem 106 para construir a montagem 110. O sistema de supervisão e inspeção 112 pode ser usado para automatizar a supervisão e inspeção de uma estrutura que faz parte da célula 2102, interior 2106, ou alguma outra porção da aeronave 2100.

[00170] Em um exemplo ilustrativo, os componentes ou os subconjuntos produzidos na fabricação de componentes e subconjuntos 2006 na figura 20 podem ser fabricados ou produzidos de uma maneira similar aos componentes ou aos subconjuntos produzidos enquanto a aeronave 2100 está no serviço 2012, na figura 20. Como ainda outro exemplo, uma ou mais modalidades de aparelho, modalidades de método, ou uma combinação das mesmas podem ser utilizadas durante os estágios de produção, tais como a

Petição 870190078335, de 13/08/2019, pág. 56/96 / 58 fabricação de componentes e subconjuntos 2006 e a integração de sistemas 2008 na figura 20. Uma ou mais modalidades de aparelho, modalidades de método, ou uma combinação das mesmas podem ser utilizadas enquanto a aeronave 2100 está no serviço 2012 e/ou durante manutenção e serviço 2014 na figura 20. O uso de um número das diferentes modalidades ilustrativas pode substancialmente acelerar a montagem de e/ou reduzir o custo da aeronave 2100.

[00171] Assim, as modalidades de exemplo proveem sistemas e métodos automáticos para a supervisão e inspeção de um processo de montagem. Embora os sistemas e métodos automáticos para a supervisão e inspeção possam ser usados para a montagem de outros tipos de veículos e estruturas de veículo (por exemplo, montagem de automóveis, montagem de espaçonaves, etc.).

[00172] As modalidades de exemplo proveem sistemas e métodos para mapeamento de um ambiente de fabricação para a compreensão da fabricação na forma tridimensional. Adicionalmente, os sistemas e métodos descritos realizam a geração de mapas tridimensionais, a detecção de objetos tridimensionais, a detecção de elementos de local tridimensionais, e a detecção de características tridimensionais com base em dados tridimensionais de sensor para avaliar a qualidade do processo de montagem e da montagem sendo construída. Em alguns exemplos ilustrativos, o uso de dados tridimensionais da maneira descrita acima permite que certas características que não são detectáveis ou não fortemente detectáveis usando somente dados de formação de imagens bidimensionais sejam mais facilmente e fortemente detectadas. Assim, em alguns casos, o uso de dados tridimensionais pode melhorar a precisão global da avaliação de qualidade do processo de montagem e da montagem.

[00173] Quando usada aqui, a frase “pelo menos um de”, quando usada com uma lista de itens, significa que diferentes combinações de um ou mais

Petição 870190078335, de 13/08/2019, pág. 57/96 / 58 dos itens listados podem ser usadas e somente um dos itens na lista pode ser necessário. O item pode ser um objeto particular, coisa, etapa, operação, processo, ou categoria. Em outras palavras, “pelo menos um de” significa que qualquer combinação de itens ou número de itens pode ser usado a partir da lista, mas nem todos dos itens na lista podem ser requeridos. Por exemplo, sem limitação, “pelo menos um dentre o item A, item B, ou item C” ou “pelo menos um dentre o item A, item B, e item C” pode significar o item A; item A e item B; item B; item A, item B, e item C; item B e item C; ou item A e C. Em alguns casos, “pelo menos um dentre o item A, item B, ou item C” ou “pelo menos um dentre o item A, item B, e item C” pode significar, mas não é limitado a, dois do item A, um do item B, e dez do item C; quatro do item B e sete do item C; ou alguma outra combinação apropriada.

[00174] Adicionalmente, a descrição compreende modalidades de acordo com as seguintes cláusulas:

Cláusula 1. Método para realizar supervisão e inspeção automatizadas de um processo de montagem, o método sendo implementado usando um sistema de computador e compreendendo:

gerar dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem;

gerar, pelo sistema de computador, um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem usando os dados de sensor;

identificar, pelo sistema de computador, um estágio atual do processo de montagem para construir a montagem com base no mapa global tridimensional;

identificar, pelo sistema de computador, um contexto para o estágio atual; e gerar, pelo sistema de computador, um relatório de qualidade para a montagem usando o mapa global tridimensional e o contexto para o

Petição 870190078335, de 13/08/2019, pág. 58/96 / 58 estágio atual.

[00175] Cláusula 2. Método de acordo com a cláusula 1, compreendendo adicionalmente:

enviar, pelo sistema de computador, o relatório de qualidade para pelo menos um dispositivo remoto sobre pelo menos uma ligação de comunicações para visualização por pelo menos um operador humano. [00176] Cláusula 3. Método de acordo com qualquer cláusula anterior, em que gerar os dados de sensor compreende:

gerar dados tridimensionais para um local de montagem e a montagem usando pelo menos um dentre um sensor de detecção e telemetria por luz, um sensor de radar, um sensor de sonar, ou uma câmera estéreo posicionada em relação a um local de montagem e a montagem em um local de montagem.

[00177] Cláusula 4. Método de acordo com a cláusula 3, em que gerar, pelo sistema de computador, o mapa global tridimensional compreende:

gerar, pelo sistema de computador, uma nuvem de pontos tridimensionais de um local de montagem e a montagem sendo construída no local de montagem usando os dados tridimensionais.

[00178] Cláusula 5. Método de acordo com a cláusula 4, em que gerar o mapa global tridimensional compreende adicionalmente:

agrupar, pelo sistema de computador, pontos na nuvem de pontos tridimensionais para formar um conjunto de remendos de superfície. [00179] Cláusula 6. Método de acordo com a cláusula 5, em que gerar o mapa global tridimensional compreende adicionalmente:

ajustar, pelo sistema de computador, o conjunto de remendos de superfície com superfícies em um modelo tridimensional de um local de montagem e a montagem sendo construída no local de montagem.

[00180] Cláusula 7. Método de acordo com a cláusula 6, em que prover o conjunto de remendos de superfície com as superfícies no modelo

Petição 870190078335, de 13/08/2019, pág. 59/96 / 58 tridimensional compreende:

ajustar, pelo sistema de computador, o conjunto de remendos de superfície com as superfícies no modelo tridimensional usando pelo menos uma dentre funções básicas radiais, aproximações de coluna vertebral, ou interpolações de malha.

[00181] Cláusula 8. Método de acordo com a cláusula 6, em que gerar, pelo sistema de computador, o mapa global tridimensional compreende adicionalmente:

organizar, pelo sistema de computador, o conjunto de remendos de superfície que foram ajustados às superfícies no modelo tridimensional no mapa global tridimensional.

[00182] Cláusula 9. Método de acordo com qualquer cláusula anterior, em que identificar, pelo sistema de computador, o estágio atual do processo de montagem compreende:

detectar, pelo sistema de computador, uma pluralidade de objetos usando o mapa global tridimensional; e conjugar, pelo sistema de computador, pelo menos uma porção da pluralidade de objetos às partes para a montagem usando pelo menos uma dentre imagens das partes ou modelos das partes, em que a porção da pluralidade de objetos conjugados às partes é uma pluralidade de objetos conjugados.

[00183] Cláusula 10. Método de acordo com a cláusula 9, em que identificar, pelo sistema de computador, o estágio atual do processo de montagem com base na pluralidade de objetos conjugados compreende:

detectar, pelo sistema de computador, uma pluralidade de elementos de locais dentro do mapa global tridimensional; e identificar, pelo sistema de computador, o estágio atual do processo de montagem com base na pluralidade de objetos conjugados e a pluralidade de elementos de locais.

Petição 870190078335, de 13/08/2019, pág. 60/96 / 58 [00184] Cláusula 11. Método de acordo com a cláusula 9, em que identificar, pelo sistema de computador, o estágio atual do processo de montagem compreende adicionalmente:

determinar, pelo sistema de computador, pelo menos um dentre uma pluralidade de locais ou uma pluralidade de orientações para a pluralidade de objetos conjugados com relação a um sistema de coordenadas de referência para um local de montagem; e determinar, pelo sistema de computador, o estágio atual do processo de montagem com base em uma identificação da pluralidade de objetos conjugados e o pelo menos um dentre a pluralidade de locais ou a pluralidade de orientações para a pluralidade de objetos conjugados.

[00185] Cláusula 12. Método de acordo com a cláusula 11, em que identificar, pelo sistema de computador, o contexto compreende:

determinar, pelo sistema de computador, o contexto para o estágio atual do processo de montagem usando informação de contexto armazenada em um repositório de dados, em que o contexto inclui pelo menos uma dentre uma condição nominal para a montagem no estágio atual, uma condição nominal para cada parte esperada que esteja presente no estágio atual, tolerâncias selecionadas para a condição nominal para a montagem no estágio atual, uma identificação de etapas completadas antes do estágio atual, uma identificação de etapas a serem completadas durante o estágio atual, ou uma identificação de etapas a serem completadas depois do estágio atual. [00186] Cláusula 13. Método de acordo com a cláusula 11, em que gerar, pelo sistema de computador, o relatório de qualidade compreende:

gerar, pelo sistema de computador, a avaliação de conjugação que indica se um ou mais da pluralidade de objetos detectados é incapaz de ser conjugado a uma parte correspondente e se um ou mais da pluralidade de objetos conjugados não conjuga uma parte que é esperada que esteja presente no estágio atual do processo de montagem.

Petição 870190078335, de 13/08/2019, pág. 61/96 / 58 [00187] Cláusula 14. Método de acordo com a cláusula 11, em que gerar, pelo sistema de computador, o relatório de qualidade compreende:

gerar, pelo sistema de computador, uma avaliação de localização que indica se cada um da pluralidade de objetos conjugados foi montado em um local correto ou incorreto com base no contexto para o estágio atual do processo de montagem.

[00188] Cláusula 15. Método de acordo com a cláusula 11, em que gerar, pelo sistema de computador, o relatório de qualidade compreende:

gerar, pelo sistema de computador, uma avaliação de inconsistência que indica se quaisquer características foram identificadas e se quaisquer características identificadas estão fora das tolerâncias selecionadas, em que uma característica é selecionada a partir de um dentre uma fissura, uma indentação, uma torção, ou uma característica de nível de superfície. [00189] Cláusula 16. Método de acordo com a cláusula 15, compreendendo adicionalmente:

detectar, pelo sistema de computador, uma ou mais características na montagem usando pelo menos um algoritmo de comparação tridimensional.

[00190] Cláusula 17. Método de acordo com qualquer cláusula anterior, compreendendo adicionalmente:

gerar, pelo sistema de computador, informação de guia para guiar um operador humano durante um processo de montagem com base no contexto para o estágio atual do processo de montagem.

[00191] Cláusula 18. Método de acordo com a cláusula 17, em que gerar a informação de guia compreende:

gerar, pelo sistema de computador, a guia de estágio atual para o uso pelo operador humano para realizar uma ou mais tarefas durante o estágio atual do processo de montagem.

[00192] Cláusula 19. Método de acordo com a cláusula 17, em que

Petição 870190078335, de 13/08/2019, pág. 62/96 / 58 gerar a informação de guia compreende:

gerar, pelo sistema de computador, a guia de próximo estágio para o uso pelo operador humano para realizar uma ou mais tarefas durante um próximo estágio de um processo de montagem.

[00193] Cláusula 20. Método de acordo com a cláusula 17, compreendendo adicionalmente:

exibir, pelo sistema de computador, a informação de guia em um sistema de exibição posicionado em relação a um local de montagem. [00194] Cláusula 21. Método de acordo com qualquer cláusula anterior, compreendendo adicionalmente:

armazenar, pelo sistema de computador, o relatório de qualidade como parte de uma gravação correspondente ao estágio atual do processo de montagem em um repositório de dados para construir assim um histórico de gravações para um processo de montagem.

[00195] Cláusula 22. Método de acordo com a cláusula 21, compreendendo adicionalmente:

determinar, pelo sistema de computador, se o relatório de qualidade para o estágio atual do processo de montagem indica que uma questão de interesse está presente; e retroceder através do histórico de gravações, por intermédio do sistema de computador, para identificar uma causa raiz da questão de interesse.

[00196] Cláusula 23. Método para realizar supervisão e inspeção automatizadas de um processo de montagem, o método sendo implementado usando um sistema de computador e compreendendo:

gerar, pelo sistema de computador, um mapa global tridimensional para o local de montagem e uma montagem sendo construída

Petição 870190078335, de 13/08/2019, pág. 63/96 / 58 no local de montagem usando os dados de sensor;

identificar, pelo sistema de computador, um estágio atual de um processo de montagem para construir uma montagem no local de montagem usando o mapa global tridimensional e informação de montagem armazenada em um repositório de dados;

identificar, pelo sistema de computador, um contexto para o estágio atual;

gerar, pelo sistema de computador, um relatório de qualidade correspondente ao estágio atual do processo de montagem com base no mapa global tridimensional, a informação de montagem, e o contexto para o estágio atual; e armazenar, pelo sistema de computador, uma gravação correspondente ao estágio atual do processo de montagem no repositório de dados para construir assim um histórico de gravações para um processo de montagem, em que a gravação inclui pelo menos um dentre o mapa global tridimensional, pelo menos uma porção dos dados de sensor, ou o relatório de qualidade.

[00197] Cláusula 24. Método de acordo com a cláusula 23, compreendendo adicionalmente:

determinar, pelo sistema de computador, se o relatório de qualidade para o estágio atual do processo de montagem indica que pelo menos uma questão de interesse está presente, em que a pelo menos uma questão de interesse é selecionada a partir de um dentre uma parte imprópria, um local de parte impróprio, uma orientação imprópria, uma fissura, uma indentação, uma torção, e uma inconsistência superficial.

[00198] Cláusula 25. Método de acordo com a cláusula 24, compreendendo adicionalmente:

retroceder através do histórico de gravações, por intermédio do sistema de computador, para identificar uma causa raiz da pelo menos uma

Petição 870190078335, de 13/08/2019, pág. 64/96 / 58 questão de interesse.

[00199] Cláusula 26. Método de acordo com qualquer das cláusulas 23 a 25, compreendendo adicionalmente:

gerar, pelo sistema de computador, pelo menos um dentre guia de estágio atual ou guia de próximo estágio para usam por um operador humano durante um processo de montagem.

[00200] Cláusula 27. Método de acordo com a cláusula 26, compreendendo adicionalmente:

exibir, pelo sistema de computador, o pelo menos um dentre a guia de estágio atual ou a guia de próximo estágio em um sistema de exibição. [00201] Cláusula 28. Método de acordo com qualquer das cláusulas 23 a 27, compreendendo adicionalmente:

apresentar, pelo sistema de computador, pelo menos uma porção do relatório de qualidade em um sistema de exibição para informar um operador humano do relatório de qualidade.

[00202] Cláusula 29. Sistema para supervisão e inspeção automatizadas de um processo de montagem, o sistema compreendendo:

um sistema de sensores posicionado em relação ao local de montagem e uma montagem sendo construída no local de montagem; e um sistema de computador que gera um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem usando dados de sensor gerados pelo sistema de sensores; identifica um estágio atual do processo de montagem para construir a montagem em um local de montagem com base no mapa global tridimensional; identifica um contexto para o estágio atual; e gera um relatório de qualidade para a montagem usando o mapa global tridimensional e o contexto para o estágio atual.

[00203] Cláusula 30. Sistema de acordo com a cláusula 29, em que o sistema de sensores inclui pelo menos um dentre um sensor de detecção e

Petição 870190078335, de 13/08/2019, pág. 65/96 / 58 telemetria por luz, um sensor de radar, um sensor de sonar, ou uma câmera estéreo e em que o sistema de sensores gera dados tridimensionais.

[00204] Cláusula 31. O sistema de acordo com as cláusulas 29 a 30, em que o sistema de computador identifica o estágio atual do processo de montagem usando o mapa global tridimensional e informação de montagem armazenada em um repositório de dados.

[00205] Cláusula 32. Sistema de acordo com a cláusula 31, em que a informação de montagem inclui pelo menos um dentre uma biblioteca de imagens de partes, uma biblioteca de modelos de partes, os dados de fluxo de processos de montagem, os dados de modelo de local de montagem, os dados de modelos de montagem, os dados de vídeos de montagem, ou dados de características.

[00206] Cláusula 33. Sistema de acordo com as cláusulas 29 a 32, em que o contexto inclui pelo menos uma dentre uma condição nominal para a montagem no estágio atual, uma condição nominal para cada parte esperada que esteja presente no estágio atual, tolerâncias selecionadas para a condição nominal para a montagem no estágio atual, uma identificação de etapas completadas antes do estágio atual, uma identificação de etapas a serem completadas durante o estágio atual, ou uma identificação de etapas a serem completadas depois do estágio atual.

[00207] A descrição das diferentes modalidades ilustrativas foi apresentada para finalidades de ilustração e descrição, e não é destinada a ser exaustiva ou limitada às modalidades na forma descrita. Muitas modificações e variações serão aparentes para aqueles de conhecimento comum na arte. Adicionalmente, diferentes modalidades ilustrativas podem prover diferentes características em comparação com outras modalidades desejáveis. A modalidade ou modalidades selecionadas são escolhidas e descritas a fim de melhor explicar os princípios das modalidades, a aplicação prática, e para permitir que outros de conhecimento comum na arte compreendam a

Petição 870190078335, de 13/08/2019, pág. 66/96 / 58 descrição para as várias modalidades com várias modificações, quando forem apropriadas para o uso particular contemplado.

Claims

REIVINDICAÇÕES

1. Método para realizar supervisão e inspeção automatizadas de um processo de montagem, o método sendo implementado usando um sistema de computador e caracterizado pelo fato de que compreende:

gerar dados de sensor em um local de montagem usando um sistema de sensores posicionado em relação ao local de montagem;

gerar, pelo sistema de computador, um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem usando os dados de sensor;

identificar, pelo sistema de computador, um estágio atual do processo de montagem para construir a montagem com base no mapa global tridimensional;

identificar, pelo sistema de computador, um contexto para o estágio atual; e gerar, pelo sistema de computador, um relatório de qualidade para a montagem usando o mapa global tridimensional e o contexto para o estágio atual.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que o contexto inclui tolerâncias selecionadas para uma condição nominal para a montagem no estágio atual identificado; e/ou em que o relatório de qualidade inclui avaliações indicando se pelo menos uma questão de interesse está presente.
3. Método de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que compreende adicionalmente:

enviar, pelo sistema de computador, o relatório de qualidade para pelo menos um dispositivo remoto sobre pelo menos uma ligação de comunicações para visualização por pelo menos um operador humano.
4. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que gerar os dados de sensor

Petição 870190078335, de 13/08/2019, pág. 68/96

2 / 8 compreende:

gerar dados tridimensionais para um local de montagem e a montagem usando pelo menos um dentre um sensor de detecção e telemetria por luz, um sensor de radar, um sensor de sonar, ou uma câmera estéreo, posicionada em relação a um local de montagem e a montagem em um local de montagem, preferencialmente em que gerar, pelo sistema de computador, o mapa global tridimensional compreende:

gerar, pelo sistema de computador, uma nuvem de pontos tridimensionais de um local de montagem e a montagem sendo construída no local de montagem usando os dados tridimensionais, mais preferencialmente, em que gerar o mapa global tridimensional compreende adicionalmente:

agrupar, pelo sistema de computador, pontos na nuvem de pontos tridimensionais para formar um conjunto de remendos de superfície, ainda mais preferencialmente, em que gerar o mapa global tridimensional compreende adicionalmente:

ajustar, pelo sistema de computador, o conjunto de remendos de superfície com superfícies em um modelo tridimensional de um local de montagem e a montagem sendo construída no local de montagem.
5. Método de acordo com a reivindicação 4, caracterizado pelo fato de que ajustar o conjunto de remendos de superfície com as superfícies no modelo tridimensional compreende:

ajustar, pelo sistema de computador, o conjunto de remendos de superfície com as superfícies no modelo tridimensional usando pelo menos uma dentre funções básicas radiais, aproximações de coluna vertebral, ou interpolações de malha e/ou em que gerar, pelo sistema de computador, o mapa global tridimensional compreende adicionalmente:

organizar, pelo sistema de computador, o conjunto de remendos de superfície que foram ajustados às superfícies no modelo tridimensional no mapa global tridimensional.

Petição 870190078335, de 13/08/2019, pág. 69/96

3 / 8
6. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que identificar, pelo sistema de computador, o estágio atual do processo de montagem compreende:

detectar, pelo sistema de computador, uma pluralidade de objetos usando o mapa global tridimensional; e conjugar, pelo sistema de computador, pelo menos uma porção da pluralidade de objetos às partes para a montagem usando pelo menos uma dentre imagens das partes ou modelos das partes, em que a porção da pluralidade de objetos conjugados às partes é uma pluralidade de objetos conjugados, preferencialmente em que identificar, pelo sistema de computador, o estágio atual do processo de montagem com base na pluralidade de objetos conjugados compreende:

detectar, pelo sistema de computador, uma pluralidade de elementos de locais dentro do mapa global tridimensional; e identificar, pelo sistema de computador, o estágio atual do processo de montagem com base na pluralidade de objetos conjugados e a pluralidade de elementos de locais e/ou em que identificar, pelo sistema de computador, o estágio atual do processo de montagem compreende adicionalmente:

determinar, pelo sistema de computador, pelo menos um dentre uma pluralidade de locais ou uma pluralidade de orientações para a pluralidade de objetos conjugados com relação a um sistema de coordenadas de referência para um local de montagem; e determinar, pelo sistema de computador, o estágio atual do processo de montagem com base em uma identificação da pluralidade de objetos conjugados e o pelo menos um dentre a pluralidade de locais ou a pluralidade de orientações para a pluralidade de objetos conjugados.
7. Método de acordo com a reivindicação 6, caracterizado pelo fato de que identificar, pelo sistema de computador, o contexto compreende:

Petição 870190078335, de 13/08/2019, pág. 70/96

4 / 8 determinar, pelo sistema de computador, o contexto para o estágio atual do processo de montagem usando informação de contexto armazenada em um repositório de dados, em que o contexto inclui pelo menos uma dentre uma condição nominal para a montagem no estágio atual, uma condição nominal para cada parte esperada que esteja presente no estágio atual, tolerâncias selecionadas para a condição nominal para a montagem no estágio atual, uma identificação de etapas completadas antes do estágio atual, uma identificação de etapas a serem completadas durante o estágio atual, ou uma identificação de etapas a serem completadas depois do estágio atual e/ou em que gerar, pelo sistema de computador, o relatório de qualidade compreende:

gerar, pelo sistema de computador, a avaliação de conjugação que indica se um ou mais da pluralidade de objetos detectados é incapaz de ser conjugado a uma parte correspondente e se um ou mais da pluralidade de objetos conjugados não conjuga uma parte que é esperada que esteja presente no estágio atual do processo de montagem e/ou em que gerar, pelo sistema de computador, o relatório de qualidade compreende:

gerar, pelo sistema de computador, uma avaliação de localização que indica se cada um da pluralidade de objetos conjugados foi montado em um local correto ou incorreto com base no contexto para o estágio atual do processo de montagem. e/ou em que gerar, pelo sistema de computador, o relatório de qualidade compreende:

gerar, pelo sistema de computador, uma avaliação de inconsistência que indica se quaisquer características foram identificadas e se quaisquer características identificadas estão fora das tolerâncias selecionadas, em que uma característica é selecionada a partir de um dentre uma fissura, uma indentação, uma torção, ou uma característica de nível de superfície.
8. Método de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente:

Petição 870190078335, de 13/08/2019, pág. 71/96

5 / 8 detectar, pelo sistema de computador, uma ou mais características na montagem usando pelo menos um algoritmo de comparação tridimensional.
9. Método de acordo com a reivindicação anterior, caracterizado pelo fato de que compreende adicionalmente:

gerar, pelo sistema de computador, informação de guia para guiar um operador humano durante um processo de montagem com base no contexto para o estágio atual do processo de montagem, preferencialmente em que gerar a informação de guia compreende:

gerar, pelo sistema de computador, a guia de estágio atual para uso pelo operador humano para realizar uma ou mais tarefas durante o estágio atual do processo de montagem e/ou em que gerar a informação de guia compreende:

gerar, pelo sistema de computador, a guia de próximo estágio para uso pelo operador humano para realizar uma ou mais tarefas durante um próximo estágio de um processo de montagem e/ou compreendendo adicionalmente:

exibir, pelo sistema de computador, a informação de guia em um sistema de exibição posicionado em relação a um local de montagem.
10. Método de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que compreende adicionalmente:

armazenar, pelo sistema de computador, o relatório de qualidade como parte de uma gravação correspondente ao estágio atual do processo de montagem em um repositório de dados para construir assim um histórico de gravações para um processo de montagem, preferencialmente compreendendo adicionalmente:

determinar, pelo sistema de computador, se o relatório de qualidade para o estágio atual do processo de montagem indica que uma questão de interesse está presente; e

Petição 870190078335, de 13/08/2019, pág. 72/96

6 / 8 retroceder através do histórico de gravações, por intermédio do sistema de computador, para identificar uma causa raiz da questão de interesse.
11. Método de acordo com qualquer uma das reivindicações anteriores:

caracterizado pelo fato de que identificar, pelo sistema de computador, um estágio atual de um processo de montagem para construir uma montagem no local de montagem é realizada usando o mapa global tridimensional e informação de montagem armazenada em um repositório de dados; o método compreendendo adicionalmente:

gerar, pelo sistema de computador, um relatório de qualidade correspondente ao estágio atual do processo de montagem com base no mapa global tridimensional, a informação de montagem, e o contexto para o estágio atual; e armazenar, pelo sistema de computador, uma gravação correspondente ao estágio atual do processo de montagem no repositório de dados para construir assim um histórico de gravações para um processo de montagem, em que a gravação inclui pelo menos um dentre o mapa global tridimensional, pelo menos uma porção dos dados de sensor, ou o relatório de qualidade.
12. Método de acordo com a reivindicação 11, caracterizado pelo fato de que compreende adicionalmente:

determinar, pelo sistema de computador, se o relatório de qualidade para o estágio atual do processo de montagem indica que pelo menos uma questão de interesse está presente, em que a pelo menos uma questão de interesse é selecionada a partir de um dentre uma parte imprópria, um local de parte impróprio, uma orientação imprópria, uma fissura, uma indentação, uma torção, e uma inconsistência superficial, preferencialmente compreendendo adicionalmente:

Petição 870190078335, de 13/08/2019, pág. 73/96

7 / 8 retroceder através do histórico de gravações, por intermédio do sistema de computador, para identificar uma causa raiz da pelo menos uma questão de interesse e/ou compreendendo adicionalmente:

gerar, pelo sistema de computador, pelo menos um dentre guia de estágio atual ou guia de próximo estágio para usam por um operador humano durante um processo de montagem.
13. Método de acordo com a reivindicação 12, caracterizado pelo fato de que compreende adicionalmente:

exibir, pelo sistema de computador, a pelo menos uma dentre a guia de estágio atual ou a guia de próximo estágio em um sistema de exibição e/ou apresentar, pelo sistema de computador, pelo menos uma porção do relatório de qualidade em um sistema de exibição para informar um operador humano do relatório de qualidade.
14. Sistema para supervisão e inspeção automatizadas de um processo de montagem, o sistema caracterizado pelo fato de que compreende:

um sistema de sensores posicionado em relação ao local de montagem e uma montagem sendo construída no local de montagem; e um sistema de computador que gera um mapa global tridimensional para o local de montagem e uma montagem sendo construída no local de montagem usando dados de sensor gerados pelo sistema de sensores; identifica um estágio atual do processo de montagem para construir a montagem em um local de montagem com base no mapa global tridimensional; identifica um contexto para o estágio atual; e gera um relatório de qualidade para a montagem usando o mapa global tridimensional e o contexto para o estágio atual, preferencialmente em que o sistema de sensores inclui pelo menos um dentre um sensor de detecção e telemetria por luz, um sensor de radar, um sensor de sonar, ou uma câmera estéreo e em que o sistema de sensores gera dados tridimensionais e/ou em que o sistema de computador identifica o estágio atual do processo de montagem usando o

Petição 870190078335, de 13/08/2019, pág. 74/96

8 / 8 mapa global tridimensional e informação de montagem armazenada em um repositório de dados.
15. Sistema de acordo com a reivindicação 14, caracterizado pelo fato de que a informação de montagem inclui pelo menos um dentre uma biblioteca de imagens de partes, uma biblioteca de modelos de partes, os dados de fluxo de processos de montagem, os dados de modelo de local de montagem, os dados de modelos de montagem, os dados de vídeos de montagem, ou dados de características e/ou em que o contexto inclui pelo menos uma dentre uma condição nominal para a montagem no estágio atual, uma condição nominal para cada parte esperada que esteja presente no estágio atual, tolerâncias selecionadas para a condição nominal para a montagem no estágio atual, uma identificação de etapas completadas antes do estágio atual, uma identificação de etapas a serem completadas durante o estágio atual, ou uma identificação de etapas a serem completadas depois do estágio atual.