BR112018072687B1 - Sistema de saúde estrutural segundo a identificação dos danos através de um dispositivo baseado em tecnologia de realidade aumentada - Google Patents

Sistema de saúde estrutural segundo a identificação dos danos através de um dispositivo baseado em tecnologia de realidade aumentada Download PDF

Info

Publication number
BR112018072687B1
BR112018072687B1 BR112018072687-7A BR112018072687A BR112018072687B1 BR 112018072687 B1 BR112018072687 B1 BR 112018072687B1 BR 112018072687 A BR112018072687 A BR 112018072687A BR 112018072687 B1 BR112018072687 B1 BR 112018072687B1
Authority
BR
Brazil
Prior art keywords
structural
augmented reality
health monitoring
sensors
damage
Prior art date
Application number
BR112018072687-7A
Other languages
English (en)
Other versions
BR112018072687A2 (pt
Inventor
Paulo ANCHIETA DA SILVA
Marcelo Rosa Suzuki
Ricardo Rogulski
Andre Koji Fujimoto Tamba
Luís Gustavo Dos Santos
Original Assignee
Embraer S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Embraer S.A. filed Critical Embraer S.A.
Publication of BR112018072687A2 publication Critical patent/BR112018072687A2/pt
Publication of BR112018072687B1 publication Critical patent/BR112018072687B1/pt

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10366Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
    • G06K7/10376Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable
    • G06K7/10386Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications the interrogation device being adapted for being moveable the interrogation device being of the portable or hand-handheld type, e.g. incorporated in ubiquitous hand-held devices such as PDA or mobile phone, or in the form of a portable dedicated RFID reader

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An inspection system for assessing and visualizing structural damage to a structural platform comprises sensors operatively coupled to the structural platform that assess structural damage to or failure of the structural platform. A structural health monitoring processor operatively coupled to the sensors determines structural damage in response to the sensors. At least one RF transponder and associated reader determines the position of the structural platform relative to a user augmented reality viewing device. The user augmented reality viewing device includes a camera that captures images of the structural platform. The user augmented reality viewing device displays real world images of the structural platform and virtual indications of determined structural damage that are dependent on the position and orientation of the user augmented reality viewing device relative to the structural platform.

Description

CAMPO DA INVENÇÃO
[0001] As tecnologias aqui relacionadas referem-se ao Monitoramento de Saúde Estrutural (aqui denominada "SHM"), incluindo sistemas de sensores que detectam automaticamente danos em estruturas, incluindo, mas não se limitando a aeronaves.
ANTECEDENTES DA INVENÇÃO
[0002] As plataformas estruturais estão sujeitas a condições de uso que podem gerar cargas acima das especificadas. Essas condições, se não monitoradas, podem induzir danos estruturais após algum tempo de serviço ter passado. Além disso, as plataformas estruturais são suscetíveis à corrosão, fadiga e danos acidentais, que podem ser induzidos por cargas de serviço, condições ambientais ou impactos acidentais. Esse dano estrutural pode ser detectado durante a manutenção programada, com base no plano de manutenção que deve ser seguido pelos operadores ou durante a operação.
BREVE DESCRIÇÃO DOS DESENHOS
[0003] A seguinte descrição detalhada de formas de realização ilustrativas não limitativas exemplares deve ser lida em conjunto com os desenhos, dos quais:
[0004] A Figura 1 mostra um exemplo de modalidade não limitativa de um sistema SHM integrado com AR;
[0005] A Figura 2 mostra um exemplo de processo de técnica de monitoramento de saúde estrutural não limitativo baseado em AR;
[0006] A Figura 2A mostra um exemplo de identificação entre os sistemas SHM e AR (Realidade Aumentada);
[0007] A Figura 2B mostra um exemplo de ação dos sensores do sistema SHM, como atuadores ou receptores e comunicação com um servidor de aplicativos;
[0008] A Figura 2C mostra um exemplo de comparação de sinal entre a assinatura da linha de base e uma assinatura de dano;
[0009] A figura 2D mostra exemplos de resultados de uma comunicação entre um servidor de aplicativos e um sistema AR;
[0010] A Figura 2E mostra exemplos de resultados de uma ação de um sistema AR que define usuários e posições de sensores e posições relativas entre eles;
[0011] A Figura 2F mostra exemplos de imagens representativas de visualização não limitativa no sistema AR do sistema SHM;
[0012] A figura 2G mostra exemplo visualizando imagens representativas no sistema AR do sistema SHM sem danos estruturais;
[0013] A figura 2H mostra exemplo visualizando imagens representativas no sistema AR do sistema SHM com danos estruturais;
[0014] As Figuras 3A, 3B, 3C, 3D mostram comparações entre a inspeção detalhada tradicional das emendas longitudinais da fuselagem e uma inspeção equivalente realizada com o método SHM-AR (observe a Figura 3D indicação de dano virtual); e
[0015] A Figura 4 mostra diferentes fases de exemplo de operação não limitativa.
DESCRIÇÃO DETALHADA DE EXEMPLOS DE FORMAS DE REALIZAÇÃO NÃO LIMITATIVAS
[0016] As tecnologias aqui relacionadas referem-se ao Monitoramento de Saúde Estrutural (aqui chamado "SHM"), incluindo sistemas de sensores que detectam automaticamente danos em estruturas, incluindo mas não limitado a aeronaves. Tais sensores SHM podem compreender sensores de fibra ótica ou sensores piezoelétricos; sensores usando ondas “Lamb” ou impedância eletromecânica ou redes de Bragg em fibra ou emissão acústica: e / ou podem estar embutidos na estrutura ou não embutidos na plataforma estrutural sendo monitorada.
[0017] Exemplo de tecnologia não limitativa aqui obtida obtém uma resposta rápida dos resultados através do uso de aplicações de Realidade Aumentada (aqui denominada "AR") para melhorar o processo de inspeção nas ações de manutenção. Os tags RFiD instalados em uma rede de sensores SHM e nos dispositivos móveis AR podem ser usados para reconhecer simultaneamente a localização do usuário e a localização do sensor e, portanto, a posição do usuário em relação ao sensor. Essa posição relativa (que pode ser detectada independentemente de marcadores e reconhecimento de imagem) pode ser usada para exibir objetos virtuais por um dispositivo portátil, como um tablet, um dispositivo de ouvido como óculos ou óculos AR ou outros dispositivos de visualização AR nas posições corretas relativo à estrutura do mundo real que o usuário está visualizando, baseado, por exemplo, na posição detectada e na orientação do dispositivo de visualização AR e / ou da cabeça do usuário (que pode ser determinado usando um MARG, Flock baseado em acelerômetro, ótico, baseado em acelerômetro) Aves, ou outra tecnologia de rastreamento convencional).
[0018] Buscando melhoria de segurança e redução do custo de manutenção e erro humano, esforços estão em andamento para desenvolver sistemas automáticos de SHM (Structural Health Monitoring) capazes de inspecionar e detectar danos em tempo real sem necessidade de interferência humana. Portanto, as novas tecnologias de SHM levarão à detecção precoce de danos que, no passado, eram identificados apenas por meio de inspeções programadas.
[0019] O desenvolvimento de monitoramento de saúde estrutural em serviço (SHM) e técnicas de detecção de danos tem atraído um grande número de pesquisadores acadêmicos e industriais. O objetivo final é monitorar a integridade de uma estrutura em condições operacionais durante toda a sua vida útil. A redução dos custos de manutenção, minimizando a manutenção preventiva explícita e a prevenção de falhas catastróficas, é altamente desejável.
[0020] Uma vez detectado o dano na plataforma estrutural, em geral, um processo de gerenciamento é realizado através da identificação de danos para determinar se deve continuar a operação ou parar a operação para executar o reparo estrutural.
EXEMPLO DE TRANSPONDERS SEM FIO NÃO-LIMITANTES
[0021] A identificação automática pode ser feita por sistemas sem fio. Um exemplo simples é o transponder. O transponder é um equipamento transceptor que responde automaticamente a um sinal de interrogação, como um sinal de identificação, um sinal de radar ou um repetidor de freqüência de rádio, por exemplo.
[0022] Um exemplo de identificação sem fio é RRD (Radio Frequency! Dentification), Hear Field Communications (NFC) ou Bluetooth Low Energy (BLE). Essa tecnologia fornece identificação fácil e automática de objetos, pacotes, animais, pessoas, produtos e outros objetos e coisas usando ondas de rádio para ativar e ler o armazenamento de dados em tags eletrônicas para facilitar a conexão com objetos. O sistema RFSD / NFC / BLE é composto por:
[0023] • Leitor: Equipamento eletrônico responsável por gerar e enviar ondas de rádio para interrogar, receber e processar dados. O leitor transmite um sinal de rádio codificado e recebe de volta o sinal de identificação ou outra informação enviada por tags.
[0024] • Tag: Transponder responsável por responder uma interrogação do leitor enviando dados para o processo. As etiquetas RFID / NFC compreendem tipicamente pelo menos duas partes: (1) um circuito integrado para armazenar e processar informação, modulando e desmodulando um sinal de radiofrequência (RF), recolhendo a energia DC do sinal da leitora; (2) uma antena para receber e transmitir; e (3) uma bateria em alguns casos. A tag pode ser passiva, ativa ou assistida por bateria:
[0025] o Os tags passivos são ativados pelo leitor e convertem campos eletromagnéticos por ondas de rádio do leitor em energia usada para responder enviando um ID ou outro sinal.
[0026] o Um tag passivo assistido por bateria tem uma pequena bateria a bordo e quando ativado pela presença de um leitor RFiD envia de volta um sinal iD
[0027] o Um tag ativo possui uma bateria onboard e transmite periodicamente seu sinal iD (pode operar com leitores passivos ou leitores ativos, como BLE).
[0028] A comunicação entre tags e leitores pode ser através de várias frequências divididas em três classes: Baixa frequência, Alta frequência e Ultra alta frequência, de acordo com os padrões internacionais estabelecidos. A frequência determina o intervalo de operação e velocidade de dados. Em tags ativas e assistidas por bateria, o alcance e a velocidade dos dados são geralmente mais altos.
[0029] Tags podem ser combinadas com outros elementos eletrônicos para detectar e monitorar a temperatura, tensão, radiação, informações de saúde e outros. Outra aplicação possível é integrar RFiD com outros sistemas a componentes de espera ativos quando necessário, rastreando e monitorando pacotes sensíveis, armazenando dados de impacto e temperatura, por exemplo, monitorando pacientes em casa e muitas outras possibilidades.
EXEMPLO DE TECNOLOGIA DE REALIDADE AUMENTADA SEM LIMITE
[0030] A Realidade Aumentada (AR) é, em geral, uma visão de um ambiente físico, do mundo real, onde alguns elementos são realçados ou aumentados por imagens geradas por computador.
[0031] A imagem gerada por computador pode incluir outros elementos ou dados, em tempo real, relacionados com a cena do mundo real. Basicamente, a Realidade Aumentada toma a visão existente do mundo real e sobrepõe-lhe novas informações geradas por computador. Como resultado, a tecnologia aumenta a percepção da visão do mundo real, acrescentando informações periféricas e possibilidades de interação.
[0032] Realidade aumentada, muitas vezes usa hardware para capturar as imagens do mundo real e traçar elementos adicionais, e software que reconhece cenas, processa as informações e adiciona elementos relacionados a imagens do mundo real.
[0033] Para reconhecer ou rastrear um objeto em uma cena, existem basicamente dois métodos: Realidade Aumentada Baseada em Marcador e Realidade Aumentada sem Marca. Um sistema AR baseado em marcadores depende do uso de um marcador na cena para reconhecer a posição da cena. Na Realidade Aumentada sem Marca, qualquer elemento do mundo real pode ser usado como alvo para interpretar a cena e adicionar informações relacionadas. Qualquer um ou ambos podem ser usados aqui.
MONITORAMENTO APRIMORADO DA SAÚDE ESTRUTURAL USANDO AR
[0034] Exemplo de tecnologia não limitativa proporciona um monitoramento aprimorado da saúde estrutural de maneira integrada, associando acessos eficientes de bancos de dados coletados de redes de sensores que são distribuídas nas estruturas onde as informações de detecção de falhas estruturais e danos acidentais são obtidas. Isso fornece respostas rápidas dos usuários de dispositivos de realidade aumentada, onde as etiquetas RFiD são instaladas nas redes de sensores SHM e nos dispositivos móveis AR para identificar simultaneamente as posições do usuário e do sensor. Tais arranjos podem ser usados como ferramentas para interação dinâmica, possibilitando melhores processos de inspeção de ações de manutenção estrutural. As formas de realização do presente exemplo não limitativo podem ultrapassar as tecnologias existentes para tarefas de inspeções disponíveis no mercado, proporcionando informação e análise adicionais a sistemas existentes, tais como a administração de saúde do veículo integrado (IVHM) e sistemas de gestão de saúde e uso (HUMS).
[0035] Um sistema e método para detecção de danos para plataformas estruturais usando monitoramento de integridade estrutural pode ser integrado a um sistema de Realidade Aumentada de modo que as posições e localizações das plataformas estruturais sejam reconhecidas simultaneamente por um transponder (exemplo não limitante: tag RFiD), permitindo uma resposta rápida dos resultados e consequente capacidade de proporcionar melhor desempenho do processo de inspeção nas ações de manutenção da plataforma estrutural.
[0036] Utilizando uma rede sensorial baseada em um sistema de Monitoramento da Saúde Estrutural (SHM), o sistema informa a avaliação de danos com maturidade e robustez.
[0037] Um exemplo de saída não limitativa do sistema SHM é a caracterização de danos, que pode ser baseada em:
[0038] • Detecção;
[0039] • Localização; e / ou
[0040] • Quantificação (dimensionamento).
[0041] Após determinar a caracterização do dano, é utilizado um Sistema de Realidade Aumentada (AR) que pode ser independente ou integrado ao sistema SHM para visualizar o dano. A AR integrada fornece uma avaliação rápida e fácil da integridade estrutural que fornece benefícios de redução de custos operacionais devido a qualquer combinação de alguns ou todos os itens descritos abaixo:
[0042] • Superar as limitações de acessibilidade;
[0043] • Profundidade de dano oculto;
[0044] • Elimina a desmontagem dispendiosa e potencialmente danosa;
[0045] • Minimiza fatores humanos com análise automatizada de dados;
[0046] • Reduz os custos de manutenção.
[0047] Como o componente estrutural mostrado na Figura 1, no exemplo não limitativo de exemplo, um transponder que identifica os recursos SHM e AR do sistema inicia o processo de ambos os sistemas. Como o sistema SHM não limitante detecta a presença de dano, o sistema AR não limitante realiza uma apresentação de imagens representativas do dano e da gravidade, em uma abordagem não limitativa, esses sistemas são independentes, mas integrados, trocando informação (ver Figura 1).
[0048] Na Figura 1, um usuário visualizando um sistema AR (que neste caso é um tablet de mão, smartphone ou outro dispositivo de visualização incluindo uma câmera, RFiD ou outro transponder, e girosensor) pode ver tanto a "visão real" de uma estrutura e, sobreposta a ela, uma falha estrutural virtual para fornecer uma visão de realidade aumentada. O usuário pode então digitalizar a estrutura para inspecioná-la e procurar defeitos. Quando o sistema detecta (usando a câmera, o girosensor e / ou o transponder) da posição e orientação do sistema de visualização AR no espaço 3D que o usuário está olhando para uma parte da estrutura que o sistema SHM determinou estar danificada, o sistema pode sobrepor uma indicação virtual de dano estrutural ou falha em uma posição apropriada em uma exibição do sistema AR.
[0049] Cógido de cor, tamanho, simbologia e similares podem ser usados para indicar ao usuário o tipo de dano, a severidade do dano, se o dano está na superfície ou profundamente dentro da estrutura, etc.
[0050] A tecnologia pode ser incorporada como um método, hardware de sistema, firmware embutido e / ou software como um produto inteiro ou como um conjunto de partes que trabalham em conjunto para atingir o mesmo ou outros objetivos desejados.
[0051] De acordo com o fluxograma da Figura 2, um sistema e método suporta um inspetor de manutenção durante uma tarefa de inspeção para avaliar e visualizar em tempo real a detecção de danos estruturais usando um sistema SHM em uma plataforma estrutural. Exemplos de etapas não limitativas compreendem:
[0052] A-Identificação e reconhecimento entre a rede de sensores do sistema SHM e do dispositivo AR (ver também Fig. 2A);
[0053] B-Avaliação de Integridade Estrutural (ver também Fig. 2C);
[0054] C- Definição da posição e localização da rede de sensores do sistema SHM e do dispositivo AR (ver também Fig. 2B);
[0055] D- Visualização dos resultados em tempo real (ver também Fig. 2D-2H).
FASE A - IDENTIFICAÇÃO E RECONHECIMENTO ENTRE A REDE DE SENSORES DO SISTEMA SHM E DO DISPOSITIVO AR (REF. TAMBÉM PARA A FIG. 4)
[0056] Nesta etapa do método, já se assumiu que os transponders e os sensores do sistema SHM estão ligados na superfície do componente estrutural, que será o objeto de inspeção para a detecção de danos estruturais.
[0057] Além disso, já foi considerado que um banco de dados é fornecido com todos os transponders associados com os conjuntos de redes de sensores do sistema SHM, com a localização do transponder e cada sensor (coordenada: x, y, z) relativa para um ponto de origem (coordenadas: x, y e z é igual a zero) definido na plataforma estrutural, onde o sistema está instalado. Em outras palavras, é desejável que os transponders sejam usados para localizar o dispositivo AR (e o usuário associado) dentro do sistema de coordenadas 3D da estrutura que está sendo inspecionada.
[0058] Também tem sido considerado que os transponders estão ligados ou de outra forma afixados ou associados ao dispositivo AR, a fim de fornecer informações de localização do usuário em relação à estrutura a ser inspecionada.
[0059] O inspetor de manutenção inicia uma varredura na plataforma estrutural usando o dispositivo AR.
[0060] Se não houver identificação e reconhecimento entre os transponders ligados nos conjuntos de sistemas SHM e no dispositivo AR, então uma imagem em tempo real da superfície estrutural aparece apenas na exibição do dispositivo AR sem objetos virtuais adicionais. indicando danos na estrutura.
[0061] Se houver identificação e reconhecimento entre os transponders ligados nos conjuntos de sistemas SHM e no dispositivo AR, então os transponders transmitem preferencialmente um sinal sem fio realizado através de Bluetooth, uma rede Wi-Fi ou outras opções. Isso inicia o processo da Fase B: Avaliação da integridade estrutural e Fase C: Definição da posição e localização da rede de sensores do sistema SHM e do dispositivo AR simultaneamente.
FASE B - AVALIAÇÃO DA INTEGRIDADE ESTRUTURAL
[0062] O início do sistema SHM é realizado por um transponder ligado perto da rede de sensores. O processo então ativa a rede de sensores do sistema SHM colada na estrutura.
[0063] Considerando a rede de sensores do sistema SHM, qualquer um ou todos os sensores, atuando como atuadores, geram ondas guiadas na superfície do componente estrutural a ser inspecionado. Qualquer um ou todos os sensores, atuando como receptores, recebem os resultados depois que essas ondas guiadas se propagam através da superfície do componente estrutural (ver Figura 26).
[0064] A ação dos sensores do sistema SHM, como atuadores ou receptores, pode ser realizada em qualquer um, ou em todos os sensores simultaneamente, ou em cada sensor um por um ou somente em um sensor único (ver Figura 2B).
[0065] Os sinais adquiridos pelos sensores são então enviados para um servidor de aplicação que pode ser integrado ao sistema SHM, ou pode ser um servidor de aplicação que pode ser integrado ao sistema AR ou pode ser um servidor de aplicação independente (ver Figura 2B).
[0066] Estes sinais adquiridos são transmitidos para o servidor da aplicação por fio ou por sinal sem fio realizado através de Bluetooth, uma rede WiFi ou outras opções.
[0067] O algoritmo de processamento de sinal é então aplicado para compensar os efeitos de dispersão adquiridos por ondas guiadas devido à influência de algumas variáveis (por exemplo, temperatura ambiente, complexidade da geometria do componente estrutural, etc.).
[0068] A base de dados do servidor de aplicação lê a aquisição dos sinais adquiridos de todos os sensores do sistema SHM após o tempo em que a rede de sensores foi ligada no componente estrutural, gerando uma assinatura com uma condição sem falha estrutural (aqui denominada " linha de base").
[0069] O sistema considera mais tarde a assinatura da linha de base com a compensação dos efeitos de dispersão realizados para um algoritmo de processamento de sinal.
[0070] Vários algoritmos realizam análise matemática comparando as diferenças entre as assinaturas (assinatura de linha de base e assinatura em sinais coletados em tempo real). Esses algoritmos avaliam se há danos no componente estrutural (consulte a Figura 2C).
[0071] Se houver danos estruturais, o sistema SHM executa outros algoritmos que calculam a localização desse dano em relação a um ponto de origem previamente definido (por exemplo, coordenadas cartesianas: x, y e z é igual a zero) e determinam uma estimativa do dano, tamanho, gravidade ou outras características deste dano estrutural.
[0072] Os resultados são enviados do servidor de aplicação para o sistema AR e podem ser transmitidos ou por fio ou por sinal sem fio executado através de Bluetooth, uma rede Wi-Fi ou outras opções (ver Figura 2D).
FASE C - DEFINIÇÃO DA POSIÇÃO E LOCALIZAÇÃO DA REDE DE SENSORES DO SISTEMA SHM E DO DISPOSITIVO AR
[0073] O início do sistema AR é realizado por um transponder ligado perto da rede de sensores.
[0074] Uma representação 3D do componente estrutural é registrada anteriormente no banco de dados do servidor de aplicativos.
[0075] O processo identifica quais são os conjuntos de sensores dos sistemas SHM.
[0076] O processo seguinte extrai da base de dados as informações relativas às coordenadas (x, y, z) do sistema de sensores SHM e um modelo 3D representativo do componente estrutural.
[0077] Alguns algoritmos do sistema AR determinam a posição do usuário e a posição do sistema SHM (ver Figura 2E).
FASE D - VISUALIZAÇÃO DOS RESULTADOS EM TEMPO REAL
[0078] O sistema AR realiza processamento de imagem com uma vista representativa do sistema SHM com rede de sensores e transponder no componente estrutural (ver Figura 2F).
[0079] Se o Sistema SHM não encontrar danos, o Sistema AR realiza processamento de imagem com uma vista representativa do sistema SHM com rede de sensores e transponder no componente estrutural incluindo a mensagem: "Não há evidência de identificação de danos" ( veja a Figura 2G).
[0080] Se o Sistema SHM encontrar danos, o Sistema AR realiza processamento de imagem com uma vista representativa do sistema SHM com rede de sensores e transponder no componente estrutural com imagens representativas do dano e gravidade incluindo a mensagem: "Existe identificação de dano evidência "(ver Figura 2H).
[0081] O Sistema AR inclui uma ação para o usuário para confirmar a tarefa de inspeção executada. O sistema AR fornece ao usuário informações como os resultados da inspeção, data, erros do sistema, etc. Essas informações são armazenadas no servidor de aplicativos externo, que compreende um banco de dados do plano de manutenção.
[0082] Como exemplo, para uma inspeção detalhada das emendas longitudinais da fuselagem de uma aeronave, é desejável realizar uma série de remoções para obter acesso às estruturas reais, como indicado nas Figuras 3A-3C. Após mais de 50 horas de inspeção tradicional detalhada das emendas longitudinais de uma aeronave, ainda é desejável reaplicar o CIC (Composto Inibidor de Corrosão), substituir alguns componentes danificados durante o processo (Amortecedores Sonoros) e reinstalar todo o isolamento, anteparas, painéis e todos os monumentos.
[0083] Usando o sistema SHM-AR, nenhuma remoção seria necessária para a inspeção das emendas longitudinais. Ao percorrer a cabine principal de um avião equipado com o sistema SHM proposto neste documento, um operador com o dispositivo AR pode inspecionar em menos de uma hora.
[0084] Uma vez que o sistema de transponder identifica o dispositivo AR com o operador e uma rede de sensores SHM próxima, ele iniciará uma avaliação de integridade automática da estrutura correspondente, bem como indicará ao Sistema AR as localizações de usuário e SHM, se houver qualquer evidência de dano ou degradação na estrutura, os resultados do sistema SHM permitirão que o dispositivo AR gere uma representação virtual do dano e sua gravidade (ver Fig. 3D). Além disso, uma mensagem como "Evidência de dano identificada" será exibida. O mesmo processo ocorreria dentro do equipamento de bagagem para a frente, completando a inspeção de todas as emendas longitudinais.
[0085] Embora a invenção tenha sido descrita em conexão com o que é presentemente considerado como sendo as formas de realização mais práticas e preferidas, é para ser entendido que a invenção não é para ser limitada às formas de realização divulgadas, mas, pelo contrário, se destina para cobrir várias modificações e arranjos equivalentes incluídos dentro do espírito e escopo das reivindicações apenças.

Claims (16)

1. Método de avaliação de uma condição e obtenção de uma resposta rápida de resultados de tarefas de inspeção em ações de manutenção de uma plataforma estrutural através do uso de um Sistema de Monitoramento da Saúde Estrutural e um dispositivo portátil de realidade aumentada compreendendo uma janela de exibição, o método sendo caracterizado por compreender: (A) identificar e reconhecer uma rede de sensores do sistema de monitoramento da saúde estrutural e do dispositivo portátil de realidade aumentada; (B) avaliar uma integridade estrutural da plataforma estrutural em resposta aos sinais adquiridos por sensores do sistema de monitoramento da saúde estrutural, em que os sinais são processados para gerar assinaturas; (C) determinar localizações de mudança a da rede de sensores do sistema de monitoramento da saúde estrutural em relação ao dispositivo portátil de realidade aumentada; e (D) geração de uma representação virtual de um dano e sua severidade pelo dispositivo portátil de realidade aumentada em tempo real em resposta ao sistema de monitoramento da saúde estrutural.
2. Método de acordo com a reivindicação 1, caracterizado por incluir ainda a associação de transponders e os sensores do sistema de monitoramento da saúde estrutural já ligados ou afixados ou de outro modo associados à superfície do componente estrutural que será o objeto de inspeção, e transponders dispostos no dispositivo portátil de realidade aumentada.
3. Método de acordo com a reivindicação 1, caracterizado pelo fato de que antes de (A), armazenar em memórias de um servidor de aplicação um nome de identificação e coordenar dados definindo as posições dos sensores do sistema de monitoramento da saúde estrutural e de um transponder.
4. Método de acordo com a reivindicação 1, caracterizado pelo fato de que, em (A), a identificação e reconhecimento entre a rede de sensores do sistema de monitoramento da saúde estrutural e do dispositivo portátil de realidade aumentada é realizada entre transponders ligados nos conjuntos de sistemas de monitoramento da saúde estrutural e no dispositivo portátil de realidade aumentada através da transmissão de um sinal sem fio.
5. Método, de acordo com a reivindicação 1, caracterizado pelo fato de que em (B) a avaliação da integridade estrutural é realizada utilizando o sistema de monitoramento da saúde estrutural, que realiza automaticamente detecção, localização e estimativa de tamanho do dano estrutural.
6. Método, de acordo com a reivindicação 5, caracterizado por, antes de avaliar a condição estrutural, os sinais adquiridos serem enviados e armazenados em um servidor de aplicação integrado ao sistema de monitoramento da saúde estrutural, ou integrado ao sistema portátil de realidade aumentada ou independente dos sistemas portátil de realidade aumentada e de monitoramento da saúde estrutural.
7. Método, de acordo com a reivindicação 5, caracterizado pelo fato de que, antes de avaliar a condição estrutural, os sinais adquiridos são enviados ao servidor da aplicação por fio ou sem fio.
8. Método de acordo com a reivindicação 5, caracterizado pelo fato de que, antes de avaliar a condição estrutural, é realizada uma filtragem de sinais espúrios.
9. Método de acordo com a reivindicação 1, caracterizado pelo fato de que em (C) a determinação das localizações de mudança da rede de sensores do sistema de monitoramento da saúde estrutural e do dispositivo portátil de realidade aumentada é realizada usando algoritmos de tecnologias de realidade aumentada considerando o armazenamento de informações antes da etapa (A) em um banco de dados do servidor de aplicativos, coordenadas (x, y, z) do sistema de sensores do sistema de monitoramento da saúde estrutural e um modelo 3D representativo de um componente estrutural.
10. Método de acordo com a reivindicação 1, caracterizado pelo fato de que em (D) a visualização dos resultados em tempo real é realizada usando algoritmos de tecnologias de realidade aumentada considerando o armazenamento de informações em um banco de dados do servidor de aplicativos gerado por (B) e (C).
11. Sistema para avaliar uma condição e obter uma resposta rápida de resultados de tarefas de inspeção em ações de manutenção de uma plataforma estrutural, o sistema caracterizado por compreender: um sistema de monitoramento da saúde estrutural compreendendo uma pluralidade de transdutores, incluindo uma pluralidade de sensores ou pares de atuadores e sensores, um dispositivo para interrogar pelo menos um dos ditos sensores para produzir sinais e software para realizar análises para identificação de danos; transponders compreendendo transdutores passivos ou ativos; um dispositivo portátil que compreende uma janela de exibição para visualizar e editar imagens, vídeos, textos e planilhas com poder computacional para executar uma exibição 3D com realidade aumentada, o dispositivo portátil sendo adaptado para exibir indicações de danos identificados pelo sistema de monitoramento da saúde estrutural em realidade aumentada; e um servidor de aplicativos que inclui poder de computação e memórias para armazenar dados.
12. Sistema de acordo com a reivindicação 11, caracterizado pelo fato de que os sensores compreendem sensores de fibra óptica ou sensores piezoeléctricos.
13. Sistema de acordo com a reivindicação 11, caracterizado pelo fato de que o monitoramento da saúde estrutural pode ser ondas Lamb ou impedância eletromecânica ou redes de Bragg em fibra ou emissões acústicas.
14. Sistema de acordo com a reivindicação 11, caracterizado pelo fato de que os sensores de rede podem ser incorporados na estrutura ou não embutidos na estrutura.
15. Sistema de acordo com a reivindicação 11, caracterizado pelo fato de que a comunicação entre os sistemas pode ser realizada por fio ou por sinais sem fio realizados através de Bluetooth, rede Wi-Fi ou outras tecnologias sem fio.
16. Sistema de inspeção para avaliar e visualizar danos estruturais a uma plataforma estrutural, caracterizado por compreender: sensores operacionalmente acoplados ou embutidos na plataforma estrutural que avaliam danos estruturais ou falha da plataforma estrutural; um processador de monitoramento da saúde estrutural operativamente acoplado aos sensores, o processador de monitoramento da saúde estrutural determinando danos estruturais em resposta aos sensores; pelo menos um transponder de RF e um leitor associado, o transponder e o leitor sendo adaptado para determinarem a posição de um usuário por um dispositivo de realidade aumentada em relação à da plataforma estrutural; o dispositivo de realidade aumentada sendo adaptado para gerar uma representação virtual de um dano e sua severidade em tempo real; o dispositivo de realidade aumentada sendo operacionalmente acoplado ao processador de monitoramento da saúde estrutural e/ou a uma base de dados a ele associada, o dispositivo de realidade aumentada incluindo uma câmera que captura imagens da plataforma estrutural, o dispositivo de realidade aumentada exibindo imagens do mundo real da plataforma estrutural e indicações virtuais de determinados danos estruturais que são dependentes da posição e orientação do dispositivo de realidade aumentada em relação à plataforma estrutural.
BR112018072687-7A 2016-05-04 2017-04-27 Sistema de saúde estrutural segundo a identificação dos danos através de um dispositivo baseado em tecnologia de realidade aumentada BR112018072687B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/146,711 US10222301B2 (en) 2016-05-04 2016-05-04 Structural health monitoring system with the identification of the damage through a device based in augmented reality technology
US15/146,711 2016-05-04
PCT/BR2017/000046 WO2017190205A1 (en) 2016-05-04 2017-04-27 Structural health monitoring system with the identification of the damage through a device based in augmented reality technology

Publications (2)

Publication Number Publication Date
BR112018072687A2 BR112018072687A2 (pt) 2019-02-19
BR112018072687B1 true BR112018072687B1 (pt) 2022-10-11

Family

ID=59053844

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112018072687-7A BR112018072687B1 (pt) 2016-05-04 2017-04-27 Sistema de saúde estrutural segundo a identificação dos danos através de um dispositivo baseado em tecnologia de realidade aumentada

Country Status (5)

Country Link
US (1) US10222301B2 (pt)
EP (1) EP3452798A1 (pt)
CN (1) CN109477771B (pt)
BR (1) BR112018072687B1 (pt)
WO (1) WO2017190205A1 (pt)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354133B1 (ko) * 2013-12-12 2014-02-05 한라아이엠에스 주식회사 증강현실을 이용한 원격관리형 선박평형수 처리장치
US10578880B2 (en) * 2016-06-21 2020-03-03 Intel Corporation Augmenting reality via antenna and interaction profile
US10831945B2 (en) 2017-02-22 2020-11-10 Middle Chart, LLC Apparatus for operation of connected infrastructure
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US10671767B2 (en) 2017-02-22 2020-06-02 Middle Chart, LLC Smart construction with automated detection of adverse structure conditions and remediation
US11436389B2 (en) 2017-02-22 2022-09-06 Middle Chart, LLC Artificial intelligence based exchange of geospatial related digital content
US11900022B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Apparatus for determining a position relative to a reference transceiver
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US10872179B2 (en) 2017-02-22 2020-12-22 Middle Chart, LLC Method and apparatus for automated site augmentation
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US10467353B2 (en) 2017-02-22 2019-11-05 Middle Chart, LLC Building model with capture of as built features and experiential data
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US10762251B2 (en) 2017-02-22 2020-09-01 Middle Chart, LLC System for conducting a service call with orienteering
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10949579B2 (en) 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US10733334B2 (en) * 2017-02-22 2020-08-04 Middle Chart, LLC Building vital conditions monitoring
US10620084B2 (en) 2017-02-22 2020-04-14 Middle Chart, LLC System for hierarchical actions based upon monitored building conditions
US10268782B1 (en) 2017-02-22 2019-04-23 Middle Chart, LLC System for conducting a service call with orienteering
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US10628617B1 (en) 2017-02-22 2020-04-21 Middle Chart, LLC Method and apparatus for wireless determination of position and orientation of a smart device
CN108509824B (zh) * 2017-02-24 2020-08-18 亮风台(上海)信息科技有限公司 基于ar设备的物品特征标识方法以及检查物品的系统
US10515486B1 (en) * 2017-05-03 2019-12-24 United Services Automobile Association (Usaa) Systems and methods for employing augmented reality in appraisal and assessment operations
US10832476B1 (en) * 2018-04-30 2020-11-10 State Farm Mutual Automobile Insurance Company Method and system for remote virtual visualization of physical locations
CN108647712A (zh) * 2018-05-08 2018-10-12 阿里巴巴集团控股有限公司 车辆损伤识别的处理方法、处理设备、客户端及服务器
CN108665373B (zh) * 2018-05-08 2020-09-18 阿里巴巴集团控股有限公司 一种车辆定损的交互处理方法、装置、处理设备及客户端
EP3617849A1 (en) * 2018-08-27 2020-03-04 Airbus Operations, S.L.U. A real time virtual reality (vr) system and related methods
CA3114093C (en) 2018-09-26 2024-06-18 Middle Chart, LLC Method and apparatus for augmented virtual models and orienteering
US11151380B2 (en) 2019-01-30 2021-10-19 International Business Machines Corporation Augmented reality risk vulnerability analysis
JP7193728B2 (ja) * 2019-03-15 2022-12-21 富士通株式会社 情報処理装置および蓄積画像選択方法
JP7156152B2 (ja) * 2019-04-17 2022-10-19 日本電信電話株式会社 危険予知方法及び危険予知装置
US10764717B1 (en) * 2019-08-07 2020-09-01 Enlighted, Inc. Location determination of mobile devices
US11640486B2 (en) 2021-03-01 2023-05-02 Middle Chart, LLC Architectural drawing based exchange of geospatial related digital content
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
US11665249B2 (en) 2020-06-19 2023-05-30 Peter L. Rex Service trust chain
EP4168950A1 (en) 2020-06-19 2023-04-26 Rex, Peter, L. Blue taping and scoping via 360-degree camera technology

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226532A1 (en) * 2004-04-01 2005-10-13 Thompson Robert L System and method for determining the size of an object
US8485038B2 (en) * 2007-12-18 2013-07-16 General Electric Company System and method for augmented reality inspection and data visualization
JP5489444B2 (ja) * 2008-10-17 2014-05-14 オリンパス株式会社 内視鏡装置の受像機と、その受像機の画像データ表示方法及び画像データ表示プログラム
US20130335200A1 (en) * 2012-06-18 2013-12-19 Master Lock Company Rfid detection system
US20170307672A9 (en) * 2013-01-29 2017-10-26 Smart Drilling And Completion, Inc. Stable grounding system to avoid catastrophic electrical failures in fiber-reinforced composite aircraft
WO2014128760A1 (ja) * 2013-02-21 2014-08-28 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
KR20150138958A (ko) * 2014-05-30 2015-12-11 성균관대학교산학협력단 Nfc 기반 플랜트 관리 시스템
US9646431B2 (en) * 2014-10-22 2017-05-09 The Boeing Company Augmented reality system for assessing an affected area of an aircraft
CN104537401B (zh) * 2014-12-19 2017-05-17 南京大学 基于射频识别和景深感知技术的现实增强系统及工作方法
US10642560B2 (en) * 2015-02-13 2020-05-05 Position Imaging, Inc. Accurate geographic tracking of mobile devices

Also Published As

Publication number Publication date
EP3452798A1 (en) 2019-03-13
CN109477771A (zh) 2019-03-15
CN109477771B (zh) 2021-08-27
US20170322119A1 (en) 2017-11-09
BR112018072687A2 (pt) 2019-02-19
WO2017190205A1 (en) 2017-11-09
US10222301B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
BR112018072687B1 (pt) Sistema de saúde estrutural segundo a identificação dos danos através de um dispositivo baseado em tecnologia de realidade aumentada
US10871444B2 (en) Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
CA3045197C (en) Systems and methods for data acquisition and asset inspection in presence of magnetic interference
CN112669316B (zh) 电力生产异常监控方法、装置、计算机设备和存储介质
Poulimenos et al. A transmittance-based methodology for damage detection under uncertainty: An application to a set of composite beams with manufacturing variability subject to impact damage and varying operating conditions
WO2018078868A1 (ja) コンピュータシステム、物体の診断方法及びプログラム
US8682508B2 (en) Methods of identifying flight profiles in aircraft maintenance operations
US11048917B2 (en) Method, electronic device, and computer readable medium for image identification
KR101792435B1 (ko) 화재 피해를 입은 구조물의 손상 정도를 평가하는 방법
AU2017225040B2 (en) Lightning strike inconsistency aircraft dispatch mobile disposition tool
WO2019028852A1 (zh) 一种安检物品的检测方法、装置及电子设备
WO2020123505A1 (en) Inspection and failure detection of corrosion under fireproofing insulation using a hybrid sensory system
JP2019087250A5 (pt)
WO2021061783A1 (en) System and method for assessing an operating condition of an asset
JP2012197136A (ja) 物流品質検査システム及びその構成装置
Xu Photogrammetry-based structural damage detection by tracking a visible laser line
do Cabo et al. Motion magnification for optical-based structural health monitoring
CN113962404A (zh) 信息处理装置、信息处理方法以及信息处理系统
KR101281597B1 (ko) 균열 검사 시스템
KR20170124231A (ko) 디스플레이 장치의 표시부 정상상태를 무인 검사하는 방법 및 시스템
WO2018051507A1 (ja) 物体識別システム及び物体識別方法
US20150145688A1 (en) Pipeline Sensor System and Method
US20200005421A1 (en) Inspection assistance device, inspection assistance method, and recording medium
KR20190062874A (ko) 기계 학습 기반 지반 및 구조물의 건전도 평가 방법 및 장치
RU2793797C2 (ru) Интеллектуальное аудиоаналитическое устройство и способ для космического аппарата

Legal Events

Date Code Title Description
B350 Update of information on the portal [chapter 15.35 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 27/04/2017, OBSERVADAS AS CONDICOES LEGAIS