BR102018012662A2 - Sistema de posicionamento para inspeção aérea não destrutiva - Google Patents

Sistema de posicionamento para inspeção aérea não destrutiva Download PDF

Info

Publication number
BR102018012662A2
BR102018012662A2 BR102018012662-8A BR102018012662A BR102018012662A2 BR 102018012662 A2 BR102018012662 A2 BR 102018012662A2 BR 102018012662 A BR102018012662 A BR 102018012662A BR 102018012662 A2 BR102018012662 A2 BR 102018012662A2
Authority
BR
Brazil
Prior art keywords
unmanned aerial
aerial vehicle
image
laser
location
Prior art date
Application number
BR102018012662-8A
Other languages
English (en)
Other versions
BR102018012662B1 (pt
BR102018012662A8 (pt
Inventor
James J. Troy
Gary E. Georgeson
Scott W. Lea
Original Assignee
The Boeing Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The Boeing Company filed Critical The Boeing Company
Publication of BR102018012662A2 publication Critical patent/BR102018012662A2/pt
Publication of BR102018012662A8 publication Critical patent/BR102018012662A8/pt
Publication of BR102018012662B1 publication Critical patent/BR102018012662B1/pt

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0008—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Bridges Or Land Bridges (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

sistemas e métodos para medição da distância para um objeto-alvo (102) e aquisição de informação de escalonamento e distância ponto a ponto para o objeto-alvo em um ambiente utilizando uma plataforma de voo operada remotamente, tal como um veículo aéreo não tripulado (uav, 20). o sistema utiliza sensores a bordo (132, 138, 166) e técnicas de processamento para fornecer medições discretas e contínuas das distâncias entre os pontos no objeto-alvo ou escala do objeto-alvo. a adição das capacidades de medição tridimensional a bordo aos uavs (ou outras plataformas de voo) permite a coleta de dados à distância. ter essa capacidade permite que esses sistemas adquiram distâncias entre os pontos em um único objeto, tal como a determinação de fatores de escala verdadeira dos itens nas imagens capturadas pelo uav, no curso de realização das tarefas relacionadas com metrologia.

Description

[0001] Essa descrição se refere geralmente a sistemas e métodos para a realização de atividades de inspeção, e, mais particularmente a sistemas e métodos para permitir a inspeção remota das estruturas ou objetos por um veículo aéreo não tripulado.
[0002] As inspeções humanas presenciais das estruturas e vários tipos de objetos podem ser demoradas, caras e difíceis para que um indivíduo as realize. Exemplos das estruturas que impõem desafios significativos de inspeção incluem pontes, represas, barragem, instalações de energia, linhas de transmissão de energia ou instalações de energia elétrica, instalações de tratamento de água; refinarias de petróleo, instalações de processamento químico, arranha-céus, infraestrutura associada com trens elétricos e estruturas de suporte de monotrilho e estruturas para aeronaves em aeroportos.
[0003] Utilizando-se um veículo aéreo não tripulado (UAV), um operador pode adquirir, com segurança, imagens ou outros dados de sensor a partir das estruturas. O operador UAV pode iniciar um processo de digitalização automática de estruturas sem ser colocado em perigo e sem exigir equipamento trabalhoso e dispendioso, tal como guindastes ou plataformas. Um veículo aéreo não tripulado típico, no entanto, não tem a capacidade de adquirir dados precisos representando as distâncias entre os pontos em um objeto que podem ser encontrados durante o voo ou a escala relativa dos objetos observados pela câmera a bordo. Por exemplo, UAVs equipados com GPS podem fornecer uma estimativa aproximada o suficiente da localização para inspeção visual. O rastreamento GPS não é preciso o suficiente para ser utilizado em outros métodos de inspeção não destrutivos.
Petição 870180053157, de 20/06/2018, pág. 8/272
2/60 [0004] O método primário de ciência situacional atualmente disponível para usuários de plataformas móveis operadas remotamente tal como UAVs é se observar um monitor de exibição apresentando o vídeo da câmera a bordo. Uma das preocupações da utilização com essa abordagem é que o operador não possui um quadro de referência para determinar o tamanho dos objetos exibidos na tela, o que limita a utilidade dos aplicativos de inspeção com essas plataformas. Outra abordagem para se obter a informação de escala é se utilizar um aplicativo de processamento de imagem para identificar os objetos na cena, mas isso só funciona se a informação sobre os objetos na cena estiver disponível e o software for capaz de identificar adequadamente os mesmos. Uma abordagem adicional é se utilizar as câmeras de profundidade para medir a distância até o objeto-alvo, mas as câmeras de profundidade podem saturar com luz de muita intensidade e possuem uma faixa limitada. Outra abordagem adicional é se utilizar um digitalizador rotativo a laser a bordo da plataforma móvel para fornecer uma nuvem pontual com dados de distância, mas essa metodologia adquire mais dados e é mais complexa do que o necessário para se medir a distância até o objeto-alvo.
[0005] De acordo, seria desejável fornecer a capacidade de determinar distâncias entre pontos em ou tamanhos de objetos que aparecem em imagens capturadas durante a inspeção não destrutiva com base em UAV.
Sumário [0006] A presente matéria descrita em alguns detalhes abaixo é direcionada para sistemas e métodos para aquisição de informação de escala e distância ponto a ponto para objetos que sofrem inspeção não destrutiva utilizando uma plataforma aérea operada remotamente, tal como um UAV. O sistema utiliza sensores a bordo e técnicas de processamento para fornecer medições discretas ou contínuas das
Petição 870180053157, de 20/06/2018, pág. 9/272
3/60 distâncias entre os pontos em um objeto-alvo ou a escala do objetoalvo. A adição das capacidades de medição tridimensional (3-D) a bordo aos UAVs (ou outras plataformas aéreas) permite a coleta de dados objetivos de distância que estão atualmente faltando nesses sistemas. Ter essa capacidade permite que esses sistemas adquiram as distâncias entre os objetos no ambiente ou distâncias entre pontos em um único objeto, tal como a determinação de fatores verdadeiros de escala dos itens nas imagens capturadas pelo UAV, no curso da realização das tarefas relacionadas com metrologia, que resulta em um aumento significativo na utilidade de alguns tipos de plataformas aéreas para aplicativos de inspeção.
[0007] De acordo com alguns exemplos de um sistema para inspeção aérea não destrutiva, a distância que separa um UAV equipado por câmera e a estrutura a ser inspecionada é medida repetidamente por equipamento a bordo à medida que o UAV voa na direção da estrutura e quando a distância de separação é igual a um desvio-alvo, o UAV para de voar na direção da estrutura. Opcionalmente, o UAV, então, orienta a si mesmo de modo que o eixo geométrico focal da câmera seja normal com relação à superfície da estrutura que está tendo sua imagem capturada e a câmera é ativada para capturar uma imagem para exibição posterior. De acordo com um exemplo, a informação de distância é utilizada para gerar um indicador de escala que é sobreposto à imagem exibida. De acordo com outro exemplo, a informação de distância é utilizada para medir a distância entre dois pontos na superfície da estrutura tendo sua imagem capturada, valor de distância ponto a ponto esse que é sobreposto à imagem exibida.
[0008] Os conceitos descritos aqui fornecem capacidades de medição e controle para UAVs e outras plataformas móveis operadas remotamente. A aquisição dos dados de medição será dividida em três
Petição 870180053157, de 20/06/2018, pág. 10/272
4/60 categorias a seguir.
[0009] Em uma categoria de exemplos, dois ou mais apontadores a laser e uma câmera de vídeo digital são utilizados para adquirir a informação para computar: a distância até o alvo, uma escala de referência para a visualização do alvo, e, em alguns exemplos, a distância entre pontos de interesse no alvo. Essa categoria de exemplos é aplicável a situações nas quais a superfície-alvo é relativamente plana e perpendicular à direção da mira dos apontadores a laser e câmera. Como utilizado aqui, o termo apontador de laser significa um dispositivo que emite o feixe de laser e não detecta a luz de laser retornada.
[0010] Outra categoria dos exemplos dos conceitos são configurações nas quais o UAV contém dois ou mais medidores de faixa de laser que permite: a medição direta da distância até o alvo, escala de referência, além de um ou mais ângulos de orientação do UAV com relação ao alvo. Se três medidores de faixa de laser montados de forma não colinear forem utilizados (não ilustrados aqui), mais de um ângulo de orientação pode ser medido (por exemplo, guinada e inclinação). Como utilizado aqui, o termo medidores de faixa de laser (também conhecido como rangefinder) significa um dispositivo que emite um feixe de laser e detecta a luz de laser retornada.
[0011] Uma terceira categoria de exemplos inclui um medidor de faixa de laser com gimbal utilizado para adquirir informação de distância e direção de mira a partir da plataforma móvel (por exemplo, UAV) para objetos no ambiente. Esse conceito alavanca alguns aspectos dos algoritmos de medição com base em vetor descritos na patente U.S. No. 7.859.655 (a descrição dos quais é incorporada por referência aqui em sua totalidade), juntamente com a adição de sensores, tal como uma unidade de medição inercial, para determinar o movimento relativo da plataforma. Esses dados de movimento de plataforma, juntamente com
Petição 870180053157, de 20/06/2018, pág. 11/272
5/60 dados de direção de mira e distância do medidor de faixa de laser gimbaled podem ser utilizados para adquirir medições de objetos no ambiente.
[0012] Apesar de vários exemplos de sistemas e métodos para aquisição de informação de escala e distância ponto a ponto para objetos sofrendo inspeção não destrutiva serem descritos em alguns detalhes posteriormente aqui, um ou mais desses exemplos podem ser caracterizados por um ou mais dos seguintes aspectos.
[0013] Um aspecto da presente matéria descrita em detalhes abaixo é um método de operação de um veículo aéreo não tripulado, compreendendo: (a) o controle de um veículo aéreo não tripulado para voar na direção de uma estrutura; (b) a utilização de primeiro e segundo medidores de faixa de laser a bordo do veículo aéreo não tripulado para medir repetidamente as primeira e segunda distâncias separando respectivamente os primeiro e segundo medidores de faixa de laser dos primeiro e segundo pontos respectivos em uma superfície da estrutura enquanto o veículo aéreo não tripulado está voando; (c) o cálculo de uma primeira distância de separação separando o veículo aéreo não tripulado da estrutura com base, pelo menos na primeira e segunda distâncias; (d) a determinação de se a primeira distância de separação é igual a um desvio-alvo; (e) o controle do veículo aéreo não tripulado para pairar sobre uma primeira localização separada da estrutura pela primeira distância de separação em resposta a uma determinação na etapa (d) de que a distância de separação é igual ao desvio-alvo; (f) a utilização de uma câmera a bordo do veículo aéreo não tripulado para capturar uma imagem da estrutura enquanto o veículo aéreo não tripulado está pairando sobre a primeira localização; e (g) a exibição da imagem na tela de exibição. De acordo com um exemplo, o método compreende adicionalmente: a computação de um ângulo de orientação de um eixo geométrico focal da câmera com relação a uma linha que
Petição 870180053157, de 20/06/2018, pág. 12/272
6/60 conecta os primeiro e segundo pontos na superfície da estrutura com base na primeira e segunda distâncias; o cálculo de um fator de escalonamento para a primeira imagem quando exibida na tela de exibição com base pelo menos em parte na distância de separação e no ângulo de orientação; e a exibição de um indicador de escalonamento sobreposto à imagem, um valor ou um comprimento do indicador de escala representando o fator de escalonamento.
[0014] Outro aspecto da presente matéria descrita em detalhes abaixo é um método de operação de um veículo aéreo não tripulado, compreendendo: (a) o controle de um veículo aéreo não tripulado para pairar sobre um local separado de uma estrutura a ser inspecionada; (b) o direcionamento dos primeiro e segundo apontadores a laser montados de forma articulada a bordo do veículo aéreo não tripulado, em paralelo na direção de uma superfície da estrutura, os eixos geométricos articulados respectivos dos primeiro e segundo apontadores a laser sendo separados por uma distância fixa; (c) a utilização de primeiro e segundo apontadores a laser mutuamente paralelos para transmitir feixes a laser mutuamente paralelos nos primeiro e segundo pontos respectivamente enquanto o veículo aéreo não tripulado está pairando sobre o local; (d) a utilização de uma câmera a bordo do veículo aéreo não tripulado, em um primeiro momento para capturar uma primeira imagem de uma parte da superfície da estrutura que inclui o primeiro e segundo pontos; (e) a articulação dos primeiro e segundo apontadores a laser por um ângulo predefinido, enquanto o veículo aéreo não tripulado está pairando de modo que os primeiro e o segundo apontadores a laser não sejam mais paralelos; (f) a utilização do primeiro e segundo apontadores a laser articulados para transmitir feixes de laser não paralelos para os terceiro e quarto pontos respectivos na superfície da estrutura, enquanto o veículo aéreo não tripulado está pairando sobre o local; (g) a utilização da câmera em um
Petição 870180053157, de 20/06/2018, pág. 13/272
7/60 segundo momento para capturar uma segunda imagem da parte da superfície da estrutura que inclui os terceiro e quarto pontos; e (h) o processamento da primeira e segunda imagens para calcular uma primeira distância de separação que separa o veículo aéreo não tripulado da estrutura com base nas posições do terceiro e quarto pontos nas imagens, o ângulo predefinido e a distância fixa que separam os eixos geométricos articulados dos apontadores a laser. De acordo com um exemplo, a etapa (h) compreende adicionalmente o cálculo de uma segunda distância de separação que separa os centros respectivos dos terceiro e quarto pontos, o método compreendendo adicionalmente o cálculo de um fator de escalonamento para as primeira e segunda imagens quando exibidas em uma tela de exibição do sistema de computação na estação de trabalho terrestre com base na segunda distância de separação.
[0015] Um aspecto adicional da presente matéria descrita em detalhes abaixo é um método de dimensionamento de uma característica de uma estrutura utilizando um veículo aéreo não tripulado compreendendo um mecanismo de inclinação e giro que suporta uma câmera e um medidor de faixa de laser e uma unidade de medição inércia, o método compreendendo: (a) o controle do veículo aéreo não tripulado para voar na direção de e, então, pairar sobre um primeiro local que é separado de uma estrutura a ser inspecionada; (b) o foco do medidor de faixa de laser em um primeiro ponto correspondendo a uma primeira característica visível em uma superfície da estrutura enquanto que o veículo aéreo não tripulado está pairando sobre o primeiro local e adquirindo uma primeira medição de distância; (c) a utilização do mecanismo de inclinação e giro para medir os ângulos de giro e inclinação respectivos do medidor de faixa de laser quando o medidor de faixa de laser está mirando o primeiro ponto; (d) a conversão das medições de distância e ângulo adquiridas nas etapas (b) e (c) em
Petição 870180053157, de 20/06/2018, pág. 14/272
8/60 um primeiro vetor representado a localização do primeiro ponto no quadro de referência do veículo aéreo não tripulado na primeira localização; (e) o foco do medidor de faixa de laser em um segundo ponto correspondendo a uma segunda característica visível na superfície da estrutura enquanto o veículo aéreo não tripulado está pairando sobre um segundo local e adquirindo uma medição de segunda distância; (f) a utilização do mecanismo de inclinação e giro para medir os ângulos de inclinação e giro respectivos do medidor de faixa de laser quando o medidor de faixa de laser está focado no segundo ponto; (g) a conversão das medições de distância e ângulo adquiridas nas etapas (e) e (f) em um segundo vetor representando a localização do segundo ponto no quadro de referência do veículo aéreo não tripulado na segunda localização; (h) a utilização de uma unidade de medição inercial para medir a taxa de aceleração e rotação do veículo aéreo não tripulado durante o voo a partir da primeira localização para a segunda localização; (i) a geração de uma matriz de transformação representando uma diferença de posição e uma diferença de orientação entre a primeira e segunda localizações do veículo aéreo não tripulado com base na informação adquirida na etapa (h); (j) a multiplicação do segundo vetor pela matriz de transformação para formar um terceiro vetor representando a localização do segundo ponto no quadro de referência do veículo aéreo não tripulado na primeira localização; e (k) o cálculo de uma distância entre o primeiro e o segundo pontos utilizando o primeiro e o terceiro vetores.
[0016] De acordo com um exemplo, o método descrito no parágrafo anterior compreende adicionalmente: (l) a transmissão de uma ou mais mensagens contendo dados de medição adquiridos nas etapas (b), (c), (e), (f) e (h) a partir do veículo aéreo não tripulado; (m) o recebimento de uma ou mais mensagens em um sistema de computador em uma estação terrestre; e (n) a extração dos dados de medição a partir da
Petição 870180053157, de 20/06/2018, pág. 15/272
9/60 mensagem, onde as etapas (d), (g) e (i) a (k) são realizadas pelo sistema de computador na estação de trabalho terrestre. Esse método pode compreender adicionalmente: a utilização da câmera para capturar uma imagem de uma parte da superfície da estrutura que inclui a primeira e segunda características visíveis enquanto o veículo aéreo não tripulado está pairando sobre a primeira localização; e a exibição da imagem e simbologia representando um valor da distância calculada na etapa (k) sobreposta na imagem de uma tela de exibição do sistema de computador na estação de trabalho terrestre. Por exemplo, a primeira e segunda características visíveis podem ser pontos finais respectivos de uma anomalia na estrutura.
[0017] Outro aspecto da presente matéria descrito aqui é um veículo aéreo não tripulado compreendendo: um quadro; uma pluralidade de rotores montados de forma rotativa ao quadro; uma pluralidade de motores acoplada de forma respectiva para acionar a rotação de rotores dentre a pluralidade de rotores; uma pluralidade de controladores de motor para controlar a operação dentre a pluralidade de motores; um mecanismo de inclinação e giro montado no quadro; uma câmera montada no mecanismo de inclinação e giro; um medidor de faixa de laser montado no mecanismo de inclinação e giro; um sistema de computador configurado para enviar os comandos para os controladores de motor, operação de controle do mecanismo de inclinação e giro, e ativação seletiva da câmera e do medidor de faixa de laser; uma unidade de medição inercial montada no quadro e configurada para enviar os dados de aceleração linear e taxa de rotação para o sistema de computador; e um transceptor configurado para permitir a comunicação entre o sistema de computador e uma estação terrestre. De acordo com alguns exemplos, o sistema de computador é adicionalmente configurado para: receber dados de imagem da câmera, dados de ângulo de inclinação e giro a partir do mecanismo de
Petição 870180053157, de 20/06/2018, pág. 16/272
10/60 inclinação e giro, dados de distância do medidor de faixa de laser, e dados de aceleração linear e taxa de rotação a partir da unidade de medição inercial; determinar uma primeira localização do veículo não tripulado com relação a uma estrutura; enviar um primeiro comando para os controladores de motor para voar o veículo aéreo não tripulado a partir do primeiro local para um segundo local onde a câmera é separada de uma superfície da estrutura por um desvio-alvo; e enviar um segundo comando para os controladores de motor para voar o veículo aéreo não tripulado da segunda localização para uma terceira localização na qual a câmera é separada de uma superfície da estrutura pelo desvio-alvo e um eixo geométrico focal da câmera é perpendicular à superfície da estrutura.
[0018] Um aspecto adicional é um veículo aéreo não tripulado compreendendo: um quadro; uma pluralidade de rotores montados de forma rotativa ao quadro; uma pluralidade de motores acoplada respectivamente para acionar a rotação dos rotes dentre a pluralidade de rotores; uma pluralidade de controladores de motor para controlar a operação da pluralidade de motores; uma câmera; primeiro, segundo e terceiro apontadores a laser; um sistema de computação configurado para enviar comandos para os controladores de motor e ativar seletivamente a câmera e o primeiro a terceiro apontadores a laser; e um transceptor configurado para permitir a comunicação entre o sistema de computação e uma estação de controle, onde o primeiro e segundo apontadores a laser são fixados ao quadro em uma relação mutuamente paralela e o terceiro apontador a laser é acoplado de forma articulada ao quadro.
[0019] Outros aspectos dos sistemas e métodos para aquisição de informação de escalonamento e distância ponto a ponto para objetos em um ambiente utilizando uma plataforma aérea operada remotamente são descritos abaixo.
Petição 870180053157, de 20/06/2018, pág. 17/272
11/60
Breve Descrição dos Desenhos [0020] As características, funções e vantagens discutidas na seção anterior podem ser alcançadas independentemente em vários exemplos ou podem ser combinadas em outros exemplos. Vários exemplos serão descritos doravante com referência aos desenhos para fins de ilustração dos aspectos descritos acima e outros aspectos. Nenhum dos diagramas descritos de forma resumida nessa seção está em escala.
[0021] A figura 1 é um diagrama ilustrando um sistema de inspeção de uma ponte utilizando um UAV aéreo possuindo um par de dispositivos a laser e uma câmera a bordo, de acordo com alguns exemplos.
[0022] A figura 2 é um diagrama ilustrando uma vista superior de um UAV aéreo possuindo um par de apontadores a laser fixos direcionados para um objeto-alvo de acordo com um exemplo. Uma câmera a bordo do UAV não é ilustrada.
[0023] A figura 3 é um diagrama em bloco identificando alguns componentes de um sistema para a realização de inspeção não destrutiva de uma estrutura utilizando um UAV controlado remotamente possuindo dois ou mais apontadores a laser. A configuração dos apontadores a laser pode ser selecionada a partir de exemplos alternativos apresentados nas figuras 2, 6 e 8.
[0024] A figura 4A é um diagrama ilustrando uma câmera de vídeo e um par de apontadores a laser fixos separados de um objeto-alvo pela distância D, apontadores a laser esses que produzem pontos de laser respectivos separados por uma distância d na superfície do objeto-alvo. [0025] A figura 4B é um diagrama representando uma imagem adquirida pela câmera de vídeo apresentada na figura 4A, imagem essa que contém uma representação do objeto-alvo.
[0026] A figura 5 é um diagrama representando uma imagem contendo uma representação de uma parte de uma estrutura possuindo
Petição 870180053157, de 20/06/2018, pág. 18/272
12/60 uma anomalia visível e possuindo uma barra de escala sobreposta à mesma.
[0027] A figura 6 é um diagrama ilustrando uma vista superior de um UAV aéreo possuindo um par de apontadores a laser articuláveis direcionados para um objeto-alvo de acordo com outro exemplo. Uma câmera a bordo do UAV não é ilustrada.
[0028] A figura 7A é um diagrama ilustrando uma câmera de vídeo e um par de apontadores a laser articuláveis separados de um objetoalvo pela distância D, apontadores a laser esses que produzem os pontos a laser respectivos separados por uma distância d na superfície do objeto-alvo.
[0029] A figura 7B é um diagrama representando uma imagem adquirida pela câmera de vídeo apresentada na figura 7A, imagem essa que contém uma representação do objeto-alvo.
[0030] A figura 8 é um diagrama ilustrando uma vista superior de um UAV aéreo possuindo um par de apontadores a laser fixos (uma primeira cor) e um terceiro apontador a laser articulável (em torno de um eixo geométrico singular) (de uma segunda cor) direcionado a um objeto-alvo de acordo com um exemplo adicional. Uma câmera a bordo do UAV não é ilustrada.
[0031] A figura 9A é um diagrama ilustrando uma câmera de vídeo e três apontadores a laser configurados como apresentado na figura 8 e separados de um objeto-alvo pela distância D, apontadores a laser esses que produzem os pontos a laser respectivos, o mais distante dos quais são separados por uma distância d na superfície do objeto-alvo.
[0032] A figura 9B é um diagrama representando uma imagem adquirida pela câmera de vídeo apresentada na figura 9A, imagem essa que contém uma apresentação do objeto-alvo.
[0033] A figura 10 é um diagrama ilustrando as etapas de um método de processamento de imagens para determinar a distância em
Petição 870180053157, de 20/06/2018, pág. 19/272
13/60 pixels entre os pontos de laser em um objeto-alvo de acordo com um exemplo.
[0034] A figura 11 é um diagrama ilustrando as etapas de um método para processamento de imagens para determinar a distância em pixels entre os pontos de laser em um objeto-alvo de uma forma que aperfeiçoe a eficiência de processamento de imagem.
[0035] A figura 12 é um diagrama ilustrando uma vista superior de um UAV aéreo possuindo um par de medidores de faixa de laser fixos direcionados para um objeto-alvo de acordo com outro exemplo. Uma câmera a bordo do UAV não é ilustrada.
[0036] A figura 13 é um fluxograma identificando as etapas de um método de operação de um veículo aéreo não tripulado durante a inspeção não destrutiva de um objeto-alvo de acordo com um exemplo. [0037] A figura 14 é um diagrama ilustrando um UAV aéreo controlado remotamente possuindo um sistema de posicionamento local a bordo que inclui uma câmera e um medidor de faixa de laser focado em um feixe estrutural.
[0038] A figura 15 é um diagrama em bloco identificando alguns componentes de um sistema para a realização de inspeção não destrutiva de uma estrutura utilizando um UAV controlado remotamente possuindo um sistema de posicionamento local a bordo.
[0039] A figura 16 é um diagrama ilustrando uma vista superior de um UAV aéreo possuindo um sistema de posicionamento local compreendendo uma câmera de vídeo e um medidor de faixa de laser gimbaled direcionado para um objeto-alvo. Uma unidade de medição inercial a bordo do UAV não é ilustrada.
[0040] A figura 17 é um fluxograma identificando as etapas de um método para dimensionamento de uma característica de uma estrutura utilizando um UAV portando um sistema de posicionamento local.
[0041] A figura 18 é um diagrama de vetor ilustrando um método
Petição 870180053157, de 20/06/2018, pág. 20/272
14/60 para a geração de um vetor representando a distância e a direção a partir de um primeiro ponto em um objeto-alvo para um segundo ponto no objeto-alvo utilizando o UAV parcialmente apresentado na figura 16. [0042] A figura 19 é um diagrama em bloco identificando as etapas de um processo de controle de retorno para controlar o movimento de um UAV com base nos dados de medição adquiridos pelo equipamento a bordo do UAV.
[0043] Referência será feita doravante aos desenhos nos quais elementos similares em desenhos diferentes portam a mesma referência numérica.
Descrição Detalhada [0044] Para fins de ilustração, sistemas e métodos de aquisição de informação de escalonamento e distância ponto a ponto, para objetos sofrendo inspeção não destrutiva aérea utilizando um UAV, serão descritos agora em detalhes. No entanto, nem todas as características de uma implementação real são descritas nesse relatório. Uma pessoa versada na técnica apreciará que no desenvolvimento de qualquer exemplo, inúmeras decisões específicas de implementação devem ser feitas para se alcançar os objetivos específicos do projetista, tal como conformidade a restrições relacionadas com sistema e negócio, que variarão de uma implementação para outra. Ademais, será apreciado que tal esforço de desenvolvimento pode ser complexo e demorado, mas, não obstante, representaria uma rotina para os versados na técnica tendo o benefício dessa descrição.
[0045] A figura 1 é um diagrama ilustrando um sistema de acordo com alguns exemplos para inspeção de uma ponte 18. O sistema inclui um veículo aéreo não tripulado 20 (doravante UAV 20) que pode ser movido (voado) em torno de uma estrutura exigindo inspeção periódica. Nesse exemplo, o UAV 20 é um helicóptero. Enquanto a estrutura sendo inspecionada é ilustrada como uma ponte 18, o sistema é igualmente
Petição 870180053157, de 20/06/2018, pág. 21/272
15/60 bem adaptado para uso na inspeção de uma faixa ampla de outras estruturas incluindo, mas não limitadas a linhas de transmissão de energia, instalações de geração de energia, instalações de energia, represas, barragens, estádios, grandes edifícios, antenas e telescópios grandes, instalações de tratamento de água, refinarias de petróleo, instalações de processamento químico, arranha-céus, e infraestrutura associada com trens elétricos e estruturas de suporte de monotrilho. O sistema também é particularmente bem adequado para uso dentro de edifícios grandes tal como as instalações de fabricação e armazéns. Virtualmente qualquer estrutura que seria difícil, cara ou muito perigosa de se inspecionar por um ser humano controlando o dispositivo de inspeção ou plataforma portando o dispositivo de inspeção, pode ser potencialmente inspecionada utilizando-se o sistema apresentado na figura 1.
[0046] Para aplicativos de inspeção, um helicóptero é preferido devido à sua capacidade de pairar e mover a velocidades muito baixas. A capacidade de pouso e decolagem verticais do helicóptero não tripulado controlado remotamente também pode ser altamente vantajosa em muitas aplicações, especialmente quando da operação dentro de estruturas ou instalações tal como instalações de fabricação, armazéns, etc., ou quando inspecionando as instalações complexas tal como refinarias de petróleo, ou de processamento químico que podem apresentar muitas estruturas altas (por exemplo, chaminés de fumaça) agrupadas. A capacidade de pairar e/ou mover apenas verticalmente permite que o helicóptero não tripulado controlado remotamente voe perto de e inspecione grandes estruturas verticais tal como vigas de suporte vertical das pontes, antenas ou superfícies verticais das represas.
[0047] De acordo com alguns exemplos, (descritos em maiores detalhes abaixo), o UAV 20 compreende um quadro 22 que suporta um
Petição 870180053157, de 20/06/2018, pág. 22/272
16/60 par de dispositivos a laser 24a e 24b disposto em lados opostos de uma câmera 30. A câmera 30 pode compreender uma câmera estática (a cores e/ou em preto e branco) para obter imagens estáticas, uma câmera de vídeo para obter vídeo colorido e/ou em preto e branco, ou uma câmera infravermelha para obter imagens estáticas de infravermelho ou vídeo infravermelho de partes da ponte 18. Os dispositivos de laser 24a e 24b emitem os feixes de laser respectivos 26a e 26b que são direcionados para uma parte da ponte 18. Como será explicado em alguns detalhes abaixo, o impacto dos feixes de laser 26a e 26b em uma superfície da ponte permite a aquisição de informação referente à localização do UAV 20 com relação à ponte 18.
[0048] O sistema apresentado na figura 1 compreende adicionalmente uma estação de controle remoto 10 para enviar e receber comunicações sem fio para e do UAV 20. De acordo com um exemplo, a estação de controle remoto 10 compreende um computador laptop 12, um transceptor 14 e uma antena 16. O transceptor 14 está em comunicação com a antena 16 para permitir a comunicação entre o computador laptop 12 e o UAV 20.
[0049] O sistema a bordo do UAV 20 pode compreender adicionalmente um sistema de hardware e software de orientação e controle (não ilustrados na figura 1) que pode implementar um ou mais planos de voo armazenados diferentes digitalmente representados pelos dados de plano de voo armazenados em um meio de armazenamento legível por computador, tangível, não transitório (não ilustrado na figura 1). O sistema a bordo pode compreender adicionalmente um sistema de posicionamento global/sistema de navegação inercial (GPS/INS) para controlar a orientação do UAV 20 e auxiliar na realização do plano de voo pré-programado armazenado na memória. Um transceptor sem fio e uma antena a bordo (não ilustrada na figura 1) permitem as comunicações de onda eletromagnética sem
Petição 870180053157, de 20/06/2018, pág. 23/272
17/60 fio, bidirecional, com a estação de controle remoto 10.
[0050] Os veículos aéreos não tripulados do tipo descrito na figura 1 podem ser atualizados com a capacidade de adquirir informação de escalonamento e distância ponto a ponto para objetos sofrendo inspeção não destrutiva. O UAV pode ser fornecido com sensores a bordo e técnicas de processamento para fornecer medições discretas ou contínuas das distâncias entre pontos em um objeto-alvo ou a escala do objeto-alvo. Vários exemplos de tal UAV de capacidade melhorada serão descritos agora em alguns detalhes.
[0051] A figura 2 é um diagrama ilustrando uma vista superior de um exemplo de um UAV aéreo 20 que pode adquirir informação de escala e distância ponto a ponto para objetos sofrendo inspeção não destrutiva. O UAV 20 compreende um par de apontadores a laser 132a e 132b dispostos em uma configuração paralela. Os apontadores a laser 132a e 132b emitem feixes de laser respectivos ao longo dos percursos óticos respectivos indicados pelos vetores de direção de foco respectivos 134a e 134b. O UAV 20 compreende adicionalmente uma câmera de vídeo digital (não ilustrada na figura 2). Os apontadores a laser 132a e 132b e a câmera de vídeo são utilizados para calcular a distância para o objetoalvo 102 e escala de referência. Esse exemplo é utilizado para situações nas quais o UAV 20 está relativamente próximo do objeto-alvo 102.
[0052] O UAV 20 apresentado na figura 2 compreende um quadro 22 e quatro rotores 124a-124d montados de forma rotativa ao quadro
22. A rotação de cada rotor é acionada por um motor respectivo (não ilustrado na figura 2) montado no quadro 22. O par de apontadores a laser 132a e 132b possuindo eixos geométricos mutuamente paralelos é montado de forma fixa ao quadro 22. Quando ativados, os apontadores a laser 132a e 132b direcionam os feixes de laser mutuamente paralelos respectivos a pontos de laser respectivos em uma superfície de um objeto-alvo 102. Apesar de não ilustrado na figura
Petição 870180053157, de 20/06/2018, pág. 24/272
18/60
2, o UAV 20 também compreende uma câmera de vídeo 130 (ver figura
3) montada no quadro 22. Preferivelmente, o eixo geométrico focal da câmera de vídeo 130 e as direções de foco dos apontadores a laser 132a e 132b são mutuamente paralelos.
[0053] A câmera de vídeo 130 pode ser ativada para capturar uma imagem na qual dois pontos de laser são visíveis. Esses dados de imagem podem ser processados (como descrito em alguns detalhes abaixo) para derivar a informação de pixel que, em conjunto com a distância conhecida separando os eixos geométricos dos dois apontadores a laser 132a e 132b, pode ser utilizada para determinar um fator de escalonamento. Esse fator de escalonamento pode, então, ser utilizado para exibir um indicador de escala em qualquer imagem subsequente capturada pela câmera de vídeo 130 enquanto o UAV está pairando sobre o mesmo local. Mais especificamente, um objetivo é determinar a distância D entre os apontadores 132a e 132b e o objetoalvo 102, como será descrito em maiores detalhes abaixo com referência às figuras 4A e 4B.
[0054] A figura 3 é um diagrama em bloco identificando alguns componentes de um sistema para a realização de inspeção não destrutiva de uma estrutura utilizando um UAV controlado remotamente 20 possuindo dois ou mais apontadores a laser 132 (por exemplo, um primeiro apontador a laser 132a e um segundo apontador a laser 132b como observado na figura 2) montados no mesmo. Nesse exemplo, o UAV 20 e o equipamento portado pelo UAV 20 são controlados pelo sistema de computador a bordo 162 como uma função de comandos de radiofrequência transmitidos por uma estação de controle 150. Esses comandos de radiofrequência são recebidos por um transceptor 160 a bordo do UAV 20, convertidos em formato digital adequado e, então, enviados para o sistema de computador 162. A estação de controle 150 pode compreender um sistema de computação de finalidade geral
Petição 870180053157, de 20/06/2018, pág. 25/272
19/60 configurado com a programação para controlar a operação do UAV 20 e o equipamento a bordo do UAV 20 pelo envio de comandos para o sistema de computação 162. Por exemplo, a estação de controle pode enviar comandos controlando o voo do UAV 20 e os comandos para ativação dos apontadores a laser 132. Adicionalmente, o sistema de computador na estação de controle 150 é configurado com a programação para dados de processamento recebidos do UAV 20 durante uma operação de inspeção. Em particular, o sistema de computador da estação de controle 150 pode compreender um processador de exibição configurado com software para controlar um monitor de exibição 152 para exibir mensagens adquiridas pela câmera de vídeo 130. O campo de imagem ótico, como visualizado pela câmera de vídeo 130, pode ser exibido no monitor de exibição 152.
[0055] Em resposta aos comandos da estação de controle 150, a câmera de vídeo 130 e os apontadores a laser 132 podem ser ativados pelos sinais de controle (por exemplo, através de cabos elétricos) transmitidos pelo sistema de computação 162. A câmera de vídeo 130 pode ter capacidades de zoom automatizadas (controladas remotamente). O sistema de computador 162 também controla o voo do UAV 20 enviando comandos para os controladores de motor 168 que controlam, respectivamente, a rotação dos motores respectivos 148 que acionam a rotação dos rotores 124a a 124d (ver figura 2).
[0056] A figura 4A é um diagrama ilustrando uma câmera de vídeo 130 e um par de apontadores a laser 132a e 132b separados de um objeto-alvo 102 pela distância D, apontadores a laser esses que produzem pontos de laser respectivos na superfície do objeto-alvo 102. Esses pontos de laser na superfície do objeto-alvo são separados pela distância d. A figura 4B é um diagrama representando uma imagem 70 adquirida pela câmera de vídeo 130 apresentada na figura 4A, imagem essa 70 que inclui uma representação 102' do objeto-alvo 102 e
Petição 870180053157, de 20/06/2018, pág. 26/272
20/60 representações respectivas das posições respectivas 106 e 108 dos pontos de laser.
[0057] De acordo com a situação apresentada nas figuras 4A e 4B, as variáveis conhecidas são o campo de visão atual da câmera de vídeo 130 (isto é, FoV' na figura 4A), o número máximo de pixels na direção de largura da imagem 70 (isto é, maxPx na figura 4B), o número de pixels na imagem 70 entre os grupos respectivos de pixels representando as posições 106 e 108 dos pontos de laser produzidos pelos apontadores a laser 132a e 132b (isto é, nPx na figura 4B); e a distância separando os apontadores a laser 132a e 132b (isto é, Li na figura 4A). As variáveis desconhecidas são o ângulo de visualização a entre os pontos de laser e as distâncias D e d.
[0058] O ângulo de visualização a entre os pontos de laser pode ser computado utilizando-se o campo de visão de câmera (FoV) e os dados de pixel de imagem:
a= 2*atan(nPx/maxPx * tan (FoV/2)) (1)
Onde nPx é o número medido de pixels entre os pontos de laser e maxPx é a largura de imagem em pixels. Então, as distâncias d e D podem ser computadas utilizando-se as seguintes equações:
D = Li
D = Li/2 / tan(a/2)
Substituindo-se a equação (1) pelo ângulo de visualização a, obtém-se:
D = Li/2 /nPx/maxPx * tan(FoV/2)
De acordo com o exemplo apresentado nas figuras 2 e 4A (e outros exemplos descritos posteriormente), o valor da distância D é atualizado continuamente.
[0059] De acordo com uma possível implementação, o valor da distância d pode ser incluído em qualquer lugar na imagem 70 exibida no monitor de exibição (item 152 na figura 3). De acordo com outra
Petição 870180053157, de 20/06/2018, pág. 27/272
21/60 possível implementação, um fator de escalonamento pode ser calculado com base em uma razão da distância d e do número de pixels nPx e uma barra de escala ou outro indicador de escala indicando o fator de escalonamento que pode ser incluído como parte da imagem 70. Esse indicador de escalonamento será preciso desde que a distância de separação de objeto-alvo UAV D esteja atualizada. À medida que essa distância de separação muda, as operações descritas acima podem ser repetidas para gerar um fator de escalonamento atualizado. Com o tempo, o indicador de escalonamento é ajustado repetidamente como uma função da distância variável que separa o UAV e o objeto-alvo.
[0060] Para fins de inspeção não destrutiva, preferivelmente, as imagens adquiridas da estrutura inspecionada não incluem representações dos pontos de laser. De acordo, seguindo o dimensionamento inicial da área de superfície que teve sua imagem capturada do objeto-alvo, a câmera de vídeo 130 pode ser ativada para capturar as imagens adicionais (por exemplo, uma sequência de imagens de vídeo) enquanto os apontadores a laser 132a e 132b estão desativados. Nesse caso, a câmera de vídeo 130 captura preferivelmente imagens, enquanto a distância de separação D está atualizada.
[0061] Por exemplo, a figura 5 é um diagrama representando uma imagem 70 que inclui uma representação de uma parte de uma estrutura 72 possuindo uma anomalia visível 74 e uma barra de escala 76, mas não inclui quaisquer representações de pontos de laser. Um técnico na estação de controle 150 pode visualizar essa imagem enquanto aprecia o tamanho aplicável da área de imagem representada como indicado pela barra de escala 76. Adicionalmente, anomalias visíveis podem ser aproximadamente dimensionadas (isto é, aproximadamente) pela comparação de uma dimensão visível da anomalia com uma dimensão visível do indicador de escalonamento que aparece na tela de exibição.
Petição 870180053157, de 20/06/2018, pág. 28/272
22/60 [0062] A figura 6 é um diagrama ilustrando uma vista superior de um UAV aéreo 20 de acordo com um exemplo alternativo. Como o exemplo parcialmente apresentado na figura 3, o exemplo parcialmente apresentado na figura 6 também é capaz de adquirir informação de escala e distância ponto a ponto para objetos atravessando a inspeção não destrutiva. O UAV 20 parcialmente apresentado na figura 6 compreende um par de apontadores a laser articuláveis 132a e 132b e uma câmera de vídeo 130 (não ilustrada na figura 6). Quando ativados, os apontadores a laser 132a e 132b direcionam os feixes de laser respectivos para pontos de laser respectivos em uma superfície de um objeto-alvo 102. Os apontadores a laser 132a e 132b podem ser articuláveis independentemente ou seu mecanismo de articulação pode ser acoplado de modo que os apontadores a laser 132a e 132b sejam articulados de forma oposta. Como utilizada aqui, a frase articulável de forma oposta significa que as posições angulares dos apontadores a laser 132a e 132b com relação ao eixo geométrico focal (não ilustrado na figura 6) da articulação da câmera de vídeo 130 são iguais e opostos durante todo o tempo.
[0063] Os apontadores a laser 132a e 132b podem ser girados a bordo do UAV 20 por uma quantidade conhecida relativa à configuração paralela. Isso cria a separação adicional entre os pontos de laser no objeto-alvo 102, que é útil para situações nas quais o UAV 20 está mais distante do objeto-alvo 102 do que o caso do exemplo apresentado na figura 2. Por exemplo, inicialmente, os apontadores a laser 132a e 132b são posicionados em paralelo para emitir feixes de laser respectivos ao longo de percurso óticos mutuamente paralelos indicados pelos respectivos vetores de direção de mira 134a e 134b. Então, os apontadores a laser 132a e 132b são girados por um ângulo conhecido e, então, ativados novamente para emitir os feixes de laser respectivos ao longo de percursos óticos indicados pelos vetores de direção de mira
Petição 870180053157, de 20/06/2018, pág. 29/272
23/60 respectivos 134a' e 1124b'. A distância até o objeto-alvo 102 pode ser determinada utilizando-se imagens capturadas pela câmera de vídeo a bordo (não ilustrada), imagens essas que incluem os grupos de pixels representando os pontos de laser. Mais especificamente, esse exemplo é configurado para determinar a distância d entre os pontos de laser respectivamente produzidos no objeto-alvo 102 pelos apontadores a laser 132a e 132b; e a distância D entre os apontadores 132a e 132b e o objeto-alvo 102, como será descrito em maiores detalhes abaixo com referência às figuras 7A e 7B.
[0064] A figura 7A é um diagrama ilustrando uma câmera de vídeo 130 e um par de apontadores a laser articuláveis 132a e 132b separados de um objeto-alvo 102 pela distância D, apontadores a laser esses que produzem pontos de laser respectivos na superfície do objeto-alvo 102. Esses pontos de laser na superfície do objeto-alvo são separados pela distância d. A figura 7B é um diagrama representando uma imagem 70 adquirida pela câmera de vídeo 130 apresentada na figura 7A, imagem essa 70 que inclui uma representação 102' do objetoalvo 102 e grupos respectivos de pixels representando posições respectivas 106 e 108 dos pontos de laser.
[0065] De acordo com a situação apresentada nas figuras 7A e 7B, as variáveis conhecidas são o campo de visão da câmera de vídeo 130 (isto é, FoV na figura 7A), o número máximo de pixels na direção da largura da imagem 70 (isto é, maxPx na figura 7B), o número de pixels entre os grupos respectivos de pixels representando posições 106 e 108 dos pontos de laser produzidos pelos apontadores a lasers 132a e 132b (isto é, nPx, na figura 7B); o ângulo entre os feixes de laser transmitidos pelos apontadores a laser 132a e 132b (isto é, β' na figura 7A); e a distância que separa os eixos geométricos articulados respectivos dos apontadores a laser 132a e 132b (isto é, Li na figura 7A). As variáveis desconhecidas são o ângulo de visualização a entre
Petição 870180053157, de 20/06/2018, pág. 30/272
24/60 os pontos de laser e as distâncias D e d.
[0066] O ângulo de visualização a entre os pontos de laser pode ser computado novamente utilizando-se a equação (1). Então, as distâncias d e D podem ser computadas utilizando-se as seguintes equações:
D = 2 * Li * sin(a/2)*cos(fl/2) /sin(a-fl/2)
D = d/2*tan(a/2) [0067] De acordo com uma possível implementação, um fator de escalonamento pode ser calculado com base em uma razão da distância d e do número de pixels nPx e uma barra de escala ou outro indicador de escala indicando que o fator de escalonamento pode ser exibido em imagens subsequentes capturadas pela câmera de vídeo 130 enquanto o UAV 20 paira no mesmo local.
[0068] A figura 8 é um diagrama ilustrando uma vista superior de um UAV aéreo 20 possuindo um par de apontadores a laser fixos 132a e 132b e um terceiro apontador a laser articulável (em torno de um eixo geométrico único) 132c direcionado para um objeto-alvo 102. Uma câmera a bordo do UAV não é ilustrada. De acordo com essa variação, os dois apontadores a laser 132a e 132b são mutuamente paralelos e o terceiro apontador a laser 132c é girado em um ângulo fixo ou controlável com relação aos outros dois. O terceiro apontador a laser 132c pode emitir luz de laser possuindo uma cor diferente da luz de laser emitida pelos apontadores a laser 132a e 132b para ajudar a diferenciar os pontos de laser um do outro no objeto-alvo 102. (Na alternativa, esse método de computação pode ser obrigado a utilizar os três apontadores a laser da mesma cor). Os apontadores a laser 134a e 134b emitem feixes de laser respectivos ao longo de percursos óticos mutuamente paralelos indicados pelos vetores de direcionamento de mira respectivos 134a e 134b, enquanto o terceiro apontador de laser 132c emite um feixe de laser ao longo do percurso ótico indicado pelo vetor de direcionamento de mira 134a na figura 8.
Petição 870180053157, de 20/06/2018, pág. 31/272
25/60 [0069] A figura 9A é um diagrama ilustrando uma câmera de vídeo 130 e três apontadores a laser 132a-c configurados como apresentado na figura 8 e separados de um objeto-alvo 102 pela distância D, apontadores a laser esses 132a-c que produzem pontos de laser respectivos, o mais distante dos quais é separado por uma distância d na superfície do objeto-alvo 102. Os pontos de laser produzidos na superfície de objeto-alvo por apontadores a laser mútuos 132a e 132b são separados pela distância L1, que também é a distância física separando os eixos geométricos dos apontadores a laser 132a e 132b. Os pontos de laser produzidos na superfície de objeto-alvo pelos apontadores a laser 132a e 132b são separados pela distância d. A figura 9B é um diagrama representando uma imagem 70 adquirida pela câmera de vídeo 130 apresentada na figura 9A, imagem essa 70 que inclui uma representação 102' do objeto-alvo 102 e grupos respectivos de pixels representando posições respectivas 106, 108 e 108 dos pontos de laser.
[0070] De acordo com a situação apresentada nas figuras 9A e 9B, as variáveis conhecidas são o campo de visão da câmera de vídeo 130 (isto é, FoV na figura 9A), o número máximo de pixels na direção de largura da imagem 70 (isto é, maxPx na figura 9B), o número de pixels entre os grupos respectivos de pixels representando as posições respectivas 106 e 108 dos pontos de laser produzidos pelos apontadores a laser 132a e 132b (isto é, nPx-i na figura 9B); o número de pixels entre os grupos respectivos de pixels representando as posições respetivas 108 e 107 dos pontos de laser produzidos pelos apontadores a laser 132b e 132c (isto é, nPx/, na figura 9B); o ângulo entre os feixes de laser transmitidos pelos apontadores a laser 132b e 132c (isto é, β' na figura 9A); e a distância separando os eixos geométricos respectivos dos apontadores a laser 132a e 132b (isto é, Li na figura 9A). As variáveis desconhecidas são o ângulo de
Petição 870180053157, de 20/06/2018, pág. 32/272
26/60 visualização a entre os pontos de laser e as distâncias D e d.
[0071] O ângulo de visualização a entre os pontos de laser produzidos pelos apontadores a laser 132a e 132b podem, novamente, ser computados utilizando-se a equação (1). Então, as distâncias d e D podem ser computadas utilizando-se as seguintes equações:
D = L1/2 /nPxi/maxPx * tan (FoV/2) d = Li + D * tan β ou d = Li + (nPxi + nPx2)/nPxi
Dessa forma, existem duas formas de se calcular d: uma utiliza o ângulo βe o outro utiliza nPx2. Ter duas formas separadas para se calcular o valor parar a distância c serve como uma verificação de processo para aperfeiçoamento da confiabilidade.
[0072] De acordo com uma possível implementação, um fator de escalonamento pode ser calculado com base em uma razão da distância d e da soma (nPx1 + nPx2). Depois disso, uma barra de escala ou outro indicador de escalonamento indicando o fator de escalonamento pode ser exibido nas imagens subsequentes capturadas pela câmera de vídeo 130 enquanto o UAV 20 paira sobre a mesma localização.
[0073] De acordo com os exemplos parcialmente apresentados nas figuras 4A, 4B, 7A, 7B, 9A e 9B, um método de processamento de imagem é utilizado para determinar a distância em pixels entre as imagens dos pontos de laser exibidos na imagem 70. O objetivo principal da etapa de processamento de imagem é determinar a distância em pixels entre os pontos de laser no objeto-alvo. Existem vários métodos que podem ser utilizados para tal fim, tal como os que utilizam cor de pixel, mas essa abordagem não é muito robusta em ambientes que podem ter uma ampla variedade de condições de iluminação. Para esse pedido, um processo envolvendo imagens
Petição 870180053157, de 20/06/2018, pág. 33/272
27/60 sequenciais com os pontos de laser em uma imagem, e fora da próxima, é utilizado. O método envolve o ciclo de ligar e desligar dos apontadores a laser a uma taxa que é metade da taxa (ou outro divisor inteiro) da taxa de quadro de câmera de vídeo, e, então, a realização de uma etapa de subtração de imagem para identificar pixels de agrupamento contíguos que foram alterados. A diferença entre os centroides dos agrupamentos contíguos será a distância de pixel (nPixels), distância de pixels essa que pode ser utilizada em conjunto com a distância d para calcular um fator de escalonamento e exibir posteriormente um indicador de escalonamento que apresente graficamente esse fator de escalonamento.
[0074] A detecção de mudança é um processo utilizado para determinar a diferença entre duas ou mais imagens. Por exemplo, as regiões de mudança podem ser determinadas utilizando-se as técnicas de processamento de imagem digital. Um processo desses pode envolver a subtração de imagem, filtros de mancha e etapas de segmentação de imagem. O termo processamento de imagem digital significa uma análise com base em computador de uma imagem ou série de imagens. O termo pixel se refere a um elemento de imagem que cria uma imagem digital 2-D. Segmentação é o processo de identificação de pixels que possuem propriedades similares em uma imagem digital.
[0075] A figura 10 é um diagrama ilustrando as etapas de um método de processamento de imagens para determinar a distância em pixels entre os pontos de laser em um objeto-alvo de acordo com um exemplo. A câmera de vídeo 130 captura os quadros respectivos 140ad nos momentos T = 0,00, 0,01, 0,02 e 0,03. Os apontadores a laser 132a e 132b estão DESLIGADOS quando os quadros 140a e 140c são capturados nos momentos T = 0,00 e 0,02, mas LIGADOS quando os quadros 140b e 140d são capturados nos momentos T = 0,01 e 0,03. O
Petição 870180053157, de 20/06/2018, pág. 34/272
28/60 quadro 140b é subtraído do quadro 140a para produzir uma imagem de subtração 142a; o quadro 140d é subtraído do quadro 140c para produzir uma imagem de subtração 142b. As localizações das diferenças nas imagens de subtração 142a e 142b são então examinadas. O centroide de cada área é encontrado e convertido em coordenadas de pixel (x, y). Uma conexão de distorção é realizada para compensar a ótica da câmera, onde as correções de imagem bidimensional são aplicadas resultando em (x', y). Essa correção pode depender, por exemplo, da ótica da lente, do zoom e dos níveis de foco. As correções são determinadas experimentalmente em um exemplo, e relembradas durante o tempo de execução utilizando uma tabela de consulta. Depois de a correção de iluminação ser aplicada, as diferenças (isto é, as imagens dos pontos de laser) que aparecem em cada imagem de subtração são determinadas. Em um exemplo, uma operação de diferença de pixel por pixel é realizada, seguida por uma operação de filtro de manchas, e então uma operação de segmentação de imagem. Um filtro de manchas N x N (tal como um núcleo 5 x 5) pode ser utilizado para suavizar a maior parte do ruído de alta frequência associado com as imagens, e pode ser ajustado para descartar as áreas de vários tamanhos. A imagem manchada é, então, segmentada em áreas distintas sem toque. O centroide de cada uma das regiões separadas é computado e é armazenado em uma lista associada com cada um dos pares de imagem. O número de pixels separando os dois centroides correspondendo a dois pontos de laser é, então, calculado.
[0076] Visto que grupos de pixels representando as posições respectivas 106 e 108 dos pontos de laser estarão na mesma tira horizontal de cada imagem, apenas essa parte da imagem é necessária para o processamento de imagem. A figura 11 é um diagrama ilustrando as etapas de um método de processamento de imagens para determinar a distância em pixels entre os pontos de laser em um objeto-alvo de
Petição 870180053157, de 20/06/2018, pág. 35/272
29/60 uma forma que aperfeiçoe a eficiência de processamento de imagem. Tiras horizontais 144a e 144b, por exemplo, podem ser criadas por quadros 140a e 140b, respectivamente. A tira horizontal 144b é, então, subtraída da tira horizontal 144a para formar uma imagem de subtração 146.
[0077] Outra categoria dos exemplos do conceito são as configurações onde UAV contém dois ou mais medidores de faixa de laser que permitem a medição da distância até o alvo, escala de referência, além de um ou mais ângulos de orientação do UAV com relação ao alvo. Se três medidores de faixa de laser montados de forma não colinear forem utilizados (não ilustrados aqui), mais do que um ângulo de orientação pode ser medido (por exemplo, guinada e inclinação).
[0078] A figura 12 é um diagrama ilustrando uma vista superior de um exemplo de um UAV aéreo 20 que é capaz de adquirir informação de escala para objetos sendo submetidos a inspeção não destrutiva. Também é capaz de medir a distância de separação D entre o UAV 20 e o objeto-alvo 102 e o ângulo de orientação do UAV 20 com relação ao objeto-alvo 102. A arquitetura do UAV 20 apresentado na figura 12 pode ser similar à arquitetura apresentada na figura 3, exceto que um par de medidores de faixa de laser 138a e 138b dispostos em uma configuração paralela é substituído por apontadores a laser 132.
[0079] O UAV 20 apresentado na figura 12 compreende um quadro 22 e quatro rotores 124a a 124d montados de forma rotativa no quadro 22. A rotação de cada rotor é acionada por um motor respectivo (não ilustrado na figura 12) montado no quadro 22. O par de medidores de faixa de laser 138a e 138b possuindo eixos geométricos mutuamente paralelos são montados de forma fixa ao quadro 22. Quando ativados, os medidores de faixa de laser 138a e 138b direcionam os feixes de laser mutuamente paralelos respectivos para os pontos de laser
Petição 870180053157, de 20/06/2018, pág. 36/272
30/60 respectivos em uma superfície de um objeto-alvo 102. Apesar de não ilustrado na figura 12, o UAV 20 também compreende uma câmera de vídeo 130 (ver figura 3) montada no quadro 22. Preferivelmente, o eixo geométrico focal da câmera de vídeo 130 e as direções de mira dos medidores de faixa de laser 138a e 138b são mutuamente paralelos. [0080] Em casos nos quais os eixos geométricos dos medidores de faixa de laser 138a e 138b não são perpendiculares à parte da superfície do objeto-alvo 102 onde os feixes de laser causam o impacto, as distâncias respectivas separando os medidores de faixa de laser 138a e 138b dessa superfície não serão iguais e o UAV 20 terá um ângulo de orientação diferente de zero com relação a essa superfície. Em casos nos quais os eixos geométricos dos medidores de faixa de laser 138a e 138b são perpendiculares à parte da superfície do objeto-alvo 102 onde os feixes de laser causam o impacto, as distâncias respectivas separando os medidores de faixa de laser 138a e 138b dessa superfície serão iguais e o ângulo de orientação será igual a zero. Dessa forma, as medições das distâncias de separação respectivas dos medidores de faixa de laser 138a e 138b do objeto-alvo 102 podem ser utilizadas para determinar o desvio atual do UAV 20 do objeto-alvo 102 e o ângulo de orientação atual e, então, controlar o UAV 20 para mover de uma forma que reduza ambos o desvio do desvio atual de um desvio-alvo e o desvio do ângulo de orientação atual de um ângulo de orientação alvo (por exemplo, um ângulo de zero grau).
[0081] A câmera de vídeo 130 pode ser ativada para capturar uma imagem na qual dois pontos de laser estão visíveis. Esses dados de imagem podem ser processados (como descrito em alguns detalhes abaixo) para derivar a informação de pixel que, em conjunto com a distância conhecida que separa os eixos geométricos dos dois medidores de faixa de laser 138a e 138b, pode ser utilizada para determinar um fator de escalonamento. Esse fator de escalonamento
Petição 870180053157, de 20/06/2018, pág. 37/272
31/60 pode, então, ser utilizado para exibir um indicador de escala em qualquer imagem subsequente capturada pela câmera de vídeo 130 enquanto o UAV está pairando sobre mesmo local.
[0082] Para os múltiplos exemplos de medidor de faixa de laser, visto que a informação associada com as distâncias para o objeto-alvo 102 a partir dos medidores de faixa de laser respectivos foi medida, e visto que o campo de visão da câmera de vídeo 130 é conhecido, é possível se determinar o fator de escalonamento sem a necessidade da etapa de processamento de imagem. A parte que pode ser utilizada a partir da etapa de processamento de imagem é nPx, mas isso pode ser computado como uma função de FoV, distância média D/n, Li e maxPx (onde n é o número de medidores de faixa de laser) utilizando a seguinte equação:
nPx = Li*maxPx*n/Si=oD*tan(FoV/2) (Nota-se: a computação acima também precisa de uma etapa de correção de distorção de imagem, ou mais precisamente, o inverso disso).
[0083] Em resposta aos comandos da estação de controle 150 (ver figura 3), a câmera de vídeo 130 e os medidores de faixa de laser 138a e 138b podem ser ativados por sinais de controle (por exemplo, através de cabos elétricos) transmitidos pelo sistema de computador 162. O sistema de computador 162 também controla o voo do UAV 20 pelo envio de comandos para os controladores de motor 168 que controlam, respectivamente, a rotação dos motores respectivos 148 que acionam a rotação dos rotores 124a-124d (ver figura 2).
[0084] De acordo com exemplos alternativos, o UAV 20 compreende mais de um medidor de faixa de laser que permite a medição da distância para o objeto-alvo, além de um ou mais ângulos de orientação. Se dois medidores de faixa de laser forem utilizados (como no exemplo ilustrado na figura 12), um ângulo de orientação pode
Petição 870180053157, de 20/06/2018, pág. 38/272
32/60 ser medido (por exemplo, guinada). Se três medidores de faixa de laser montados de forma não colinear forem utilizados (não ilustrados nos desenhos), mais de um ângulo de orientação pode ser medido (por exemplo, guinada e inclinação). A partir dessa informação, um fator de escalonamento pode ser exibido para o usuário, ou uma restrição de movimento pode ser aplicada ao controle de veículo.
[0085] A figura 13 é um fluxograma identificando as etapas de um método 40 para operação de um veículo aéreo não tripulado durante a inspeção não destrutiva de uma estrutura de acordo com um exemplo no qual três medidores de faixa de laser montados de forma não colinear são utilizados e os ângulos de orientação de guinada e inclinação são medidos O método 40 compreende as seguintes etapas: (a) controle de um veículo aéreo não tripulado para voar na direção de uma estrutura a ser inspecionada (etapa 42); (b) utilização dos três medidores de faixa de laser a bordo do veículo aéreo não tripulado para medir repetidamente (isto é, calcular) distâncias respectivas que separam os medidores de faixa de laser dos pontos respectivos em uma superfície da estrutura enquanto o veículo aéreo não tripulado está voando (etapa 44); (c) cálculo de uma primeira distância de separação separando o veículo aéreo não tripulado a partir da estrutura com base pelo menos nas distâncias calculadas na etapa 44 (etapa 46); (d) controle do UAV para manter uma distância de separação especificada (por exemplo, igual a um desvio-alvo) com relação à estrutura (etapa 48); (3) a computação dos ângulos de orientação de guinada e inclinação de um eixo geométrico focal da câmera com relação a um plano que intersecta os três pontos de laser na superfície da estrutura com base nas distâncias calculadas na etapa 44 (etapa 50); (f) controle do veículo aéreo não tripulado para reorientar de modo que o eixo geométrico focal da câmera seja normal com relação à superfície da estrutura (etapa 52); (g) utilização da câmera a bordo no veículo aéreo não tripulado para
Petição 870180053157, de 20/06/2018, pág. 39/272
33/60 capturar uma imagem da estrutura enquanto o veículo aéreo não tripulado está pairando à uma distância de separação especificada (por exemplo, em uma primeira localização) (etapa 54); (h) cálculo de um fator de escalonamento para a imagem quando exibida na tela de exibição com base pelo menos em parte na distância de separação e um campo de visualização da câmera (etapa 56); (i) exibição da imagem com um indicador de escala sobreposto, um valor ou um comprimento do indicador de escala representando o fator de escala (etapa 58); e (j) determinação de se continua ou não o modo de controle de retorno (etapa 60). Se uma determinação for feita na etapa 60 de que o modo de controle de retorno deva ser continuado, o processo retorna para a etapa 44. Se uma determinação for feita na etapa 60 de que o modo de controle de retorno não deva continuar, o modo de voo UAV anterior é retomado (etapa 62).
[0086] De acordo com uma configuração apresentada na figura 3, os dados adquiridos pelo equipamento (isto é, dados de medição adquiridos pelos medidores de faixa de laser 138a e 138b e os dados de imagem adquiridos pela câmera de vídeo 130) a bordo do UAV 20 são transmitidos por um transceptor 160. Essa mensagem é recebida por uma estação de controle 150 no solo. O sistema de computador na estação de controle 150 extrai os dados de imagem representando a imagem da mensagem e faz com que seja exibido na tela do monitor de exibição 152 pelo controle dos estados de pixels da tela de exibição de acordo com os dados de imagem.
[0087] De acordo com um aspecto da função de controle de movimento, o UAV 20 pode ser controlado para transladar para um segundo local enquanto mantém a distância de separação. Então, a câmera de vídeo 130 é ativada para capturar uma segunda imagem da estrutura enquanto o veículo aéreo não tripulado está pairando sobre a segunda localização, segunda imagem essa que pode ser exibida na
Petição 870180053157, de 20/06/2018, pág. 40/272
34/60 tela de exibição. Em alguns casos, a primeira e segunda imagens podem compreender respectivamente o primeiro e segundo conjuntos de dados de imagem representando áreas parcialmente sobrepostas ou contíguas em uma superfície da estrutura.
[0088] De acordo com outro aspecto da função de controle de movimento, o sistema de computador 162 pode incluir um controlador de movimento programado para detectar um desvio da distância de separação a partir do desvio-alvo depois de o veículo aéreo não tripulado ter movido da primeira localização para uma segunda localização, e, então, controlar o veículo aéreo não tripulado para voar para uma terceira localização na qual a distância de separação é igual ao desvio-alvo, reduzindo, assim, o desvio para zero. O controlador de movimento pode ser adicionalmente programado para executar as seguintes operações: computação de um ângulo de orientação do eixo geométrico focal da câmera com relação à superfície da estrutura com base na primeira, segunda e terceira distâncias; detecção de um desvio do ângulo de orientação desejado enquanto o veículo aéreo não tripulado está pairando sobre a primeira localização; e controlar o veículo aéreo não tripulado para alterar sua orientação de modo que o ângulo de orientação seja igual ao ângulo de orientação desejado.
[0089] A figura 14 ilustra um sistema para inspeção de estruturas de acordo com um exemplo alternativo. O sistema apresentado inclui um UAV aéreo controlado remotamente 20 que pode ser movido em torno de uma estrutura que exige inspeção periódica. Nesse exemplo, o UAV 20 é um helicóptero e a estrutura a ser inspecionada é uma viga I estrutural 100. Enquanto a estrutura-alvo é ilustrada como uma viga I estrutural 100, o sistema é igualmente bem adaptado para uso na inspeção de uma ampla faixa de outras estruturas, incluindo, mas não limitadas a linhas de energia, instalações de geração de energia, instalações de energia, represas, barragens, estádios, edifícios
Petição 870180053157, de 20/06/2018, pág. 41/272
35/60 grandes, antenas e telescópios grandes, tanques, contêineres, instalações de tratamento de água, refinarias de petróleo, instalações de processamento químico, arranha-céus, e infraestrutura associada com trens elétricos e estruturas de suporte de monotrilho. O sistema é particularmente bem adequado também para uso dentro de edifícios grandes tal como instalações de fabricação e armazéns.
[0090] Em alguns exemplos, o UAV 20 pode incluir um sistema a bordo que é capaz de navegar o UAV 20 de acordo com um plano de voo pré-programado e para permitir que os dados de inspeção para a viga I estrutural 100 sejam adquiridos. Em alguns exemplos, o UAV 20 pode ser voado ao longo de um percurso de voo por um operador utilizando um UAV sem fio e controlador de carga útil 110 compreendendo um alojamento 112, componentes de interface de usuário de controle 114, uma exibição de vídeo 116 e uma antena 118. Os dados de inspeção adquiridos compreendem dados de imagem capturados pela câmera de vídeo 130 e dados de sensor de um ou mais outros sensores portados a bordo do UAV 20. O plano de voo préprogramado portado pelo UAV 20 permite que o UAV 20 siga um percurso de voo para um local nas proximidades da viga I estrutural 100. Em alguns exemplos, mais do que um UAV 20 pode ser utilizado para formar um enxame de veículos que podem permitir uma inspeção de várias áreas de uma estrutura em menos tempo que um único UAV.
[0091] O UAV 20 apresentado na figura 14 compreende um quadro 22 e quatro rotores 124a-124d montados de forma rotativa ao quadro 22. A rotação de cada rotor é acionada por um motor respectivo (não ilustrado na figura 14) montado no quadro 22. O UAV 20 compreende adicionalmente um sistema de posicionamento local a bordo 38 montado no quadro 22. O sistema de posicionamento local 38 compreende um mecanismo de giro e inclinação 120, uma câmera de vídeo 130 montada no mecanismo de giro e inclinação 120, e um
Petição 870180053157, de 20/06/2018, pág. 42/272
36/60 medidor de faixa de laser 138 afixado à câmera 130 de uma forma tal que o eixo geométrico focal da câmera de vídeo 130 e a direção de mira do medidor de faixa de laser 138 sejam mutuamente paralelos. No exemplo apresentado na figura 14, o vetor de direção de mira 134 do medidor de faixa de laser 138 é indicado por uma linha tracejada, linha tracejada essa que também representa um feixe de laser transmitido pelo medidor de faixa de laser 138 e impingindo em uma superfície da viga I estrutural 100 para formar um ponto de laser 104.
[0092] A câmera de vídeo 130 pode possuir capacidades de zoom automatizadas (controladas remotamente). A câmera de vídeo 130 é suportada no mecanismo de giro e inclinação 120. O mecanismo de giro e inclinação 120 compreende uma unidade de giro 126 e uma unidade de inclinação 128. A unidade de giro 126, a unidade de inclinação 128, a câmera de vídeo 130 e o medidor de faixa de laser 138 podem ser operados por um sistema de computador a bordo (não ilustrado na figura 14, mas ver o sistema de computador 162 na figura 15). O sistema de computador 162, por sua vez, pode ser configurado para receber comandos do UAV sem fio e controlador de carga útil 110, que pode ser operado por um técnico no solo.
[0093] A figura 15 é um diagrama em bloco identificando alguns componentes de um sistema para realização da inspeção não destrutiva de uma estrutura utilizando um UAV controlado remotamente 20 de acordo com um exemplo alternativo. Nesse exemplo, o UAV 20 e o equipamento portado pelo UAV 20 são controlados pelo sistema de computador 162 como uma função dos comandos de frequência de rádio transmitidos por uma estação de controle 150. Esses comandos de frequência de rádio são recebidos por um transceptor 160 a bordo do UAV 20, convertidos em formato digital adequado e então enviados para o sistema de computador 162. A estação de controle 150 pode compreender um sistema de computador de finalidade geral
Petição 870180053157, de 20/06/2018, pág. 43/272
37/60 configurado com a programação para controlar a operação do UAV 20 e o equipamento a bordo do UAV 20. Por exemplo, os ângulos de giro e inclinação do mecanismo de giro e inclinação 120, e, portanto, a orientação da câmera de vídeo 130, pode ser controlado utilizando-se o teclado, mouse, painel de toque ou tela de toque do sistema de computador na estação de controle 150 ou outro hardware de interface de usuário (por exemplo, um painel de jogo). Adicionalmente, o sistema de computador na estação de controle 150 é configurado com a programação para processamento de dados recebidos a partir do UAV 20 durante uma operação de inspeção. Em particular, o sistema de computação da estação de controle 150 pode compreender um processador de exibição configurado com software para controlar um monitor de exibição 152 para exibir imagens adquiridas pela câmera de vídeo 130. O campo de imagem ótica, como observado pela câmera de vídeo 130, pode ser exibido no monitor de exibição 152.
[0094] Como previamente descrito, o equipamento a bordo do UAV 20 compreende um mecanismo de giro e inclinação 120, uma câmera de vídeo 130 e um medidor de faixa de laser 138, todos os quais podem ser ativados pelos sinais de controle (por exemplo, através de cabos elétricos) transmitidos pelo sistema de computador 162. O sistema de computador 162 também controla o voo do UAV 20 pelo envio de comandos para os controladores de motor 168 que controlam respectivamente a rotação dos motores respectivos 148 que acionam a rotação dos rotores 124a-124d (ver figura 14).
[0095] De acordo com um exemplo, o mecanismo de giro e inclinação 120 compreende uma unidade de giro 126 (ver figura 14) configurada para girar a câmera 130 (e medidor de faixa de laser 138 montado) em torno de um eixo geométrico de giro 124 e uma unidade de inclinação 128 (ver figura 14) configurada para girar a câmera 130 (e medidor de faixa de laser 138 montado na mesma) em torno de um eixo
Petição 870180053157, de 20/06/2018, pág. 44/272
38/60 geométrico de inclinação, que é ortogonal ao eixo geométrico de giro, em resposta aos sinais de controle recebidos do sistema de computação 162 (ver figura 15). Os acionadores (não ilustrados nos desenhos), tal como servo motores ou similares, no mecanismo de giro e inclinação 120 podem receber e responder aos sinais de controle do sistema de computação 162 pelo ajuste da rotação angular da câmera 130 em torno dos eixos geométricos de giro e inclinação, além da velocidade angular na qual a câmera 130/medidor de faixa de laser 138 gira em torno dos eixos geométricos de giro e inclinação. O mecanismo de giro e inclinação 120 compreende adicionalmente codificadores rotativos de giro e inclinação (não ilustrados nos desenhos) que enviam sinais representando dados de posição angular atuais de volta para o sistema de computação 162. Os sinais de controle aplicados ao mecanismo de giro e inclinação 120 podem ser computados pelo sistema de computação 162 108 em resposta às instruções de usuário (por exemplo, manipulação de um dispositivo de entrada que é parte da estação de controle 150) ou um gerador de percurso automático.
[0096] O mecanismo de giro e inclinação 120 é controlado para ajustar de forma rotativa o medidor de faixa de laser 138 e a câmera de vídeo 130 para os ângulos selecionados em torno dos eixos geométricos de giro e inclinação. O vetor de direção de mira 134, que descreve a orientação do medidor de faixa de laser 138 (e o eixo geométrico focal da câmera de vídeo 130) com relação ao sistema de coordenadas fixas do quadro 22 do UAV 20 é determinado a partir dos ângulos de giro e inclinação quando o medidor de faixa de laser 138 é focado em um ponto de interesse no feixe I estrutural 100.
[0097] O medidor de faixa de laser 138 pode ser incorporado ao alojamento da câmera de vídeo 130 ou montado fora da câmera de vídeo 130 de tal forma que transmita um feixe de laser ao longo do vetor de direção de mira 134. O medidor de faixa de laser 138 é configurado
Petição 870180053157, de 20/06/2018, pág. 45/272
39/60 para medir a distância até qualquer característica visível em ou qualquer marcador anexado a viga I estrutural 100. De acordo com alguns exemplos, o medidor de faixa de laser 138 utiliza um feixe de laser para determinar a distância para a viga I estrutural 100. A forma mais comum de medidor de faixa de laser opera no princípio de tempo de voo enviando um pulso de laser em um feixe estreito na direção da viga I estrutural 100 e medindo o tempo que leva para que o pulso seja refletido a partir da viga I estrutural 100 e retornado para um fotodetector incorporado dentro do medidor de faixa a laser 138. Com a velocidade da luz conhecida e uma medição precisa de tempo realizada, a distância a partir do medidor de faixa de laser 138 para o ponto de laser 104 pode ser calculada. Muitos pulsos são disparados sequencialmente enquanto o UAV 20 está pairando sobre um local e a resposta média é mais comumente utilizada.
[0098] Com referência novamente à figura 15, o equipamento a bordo do UAV 20 compreende adicionalmente uma unidade de medição inercial 166 (doravante IMU 166). Uma unidade de medição inercial trabalha pela detecção da aceleração linear utilizando um ou mais acelerômetros e taxa de rotação utilizando um ou mais giroscópios. Em uma configuração típica, uma unidade de medição inercial compreende um acelerômetro e um giroscópio por eixo geométrico para cada um dos três eixos geométricos de veículo: inclinação, rolamento e guinada. O sistema de computação 162 pode compreender adicionalmente um processador separado configurado com software de navegação inercial que utiliza as medições IMU básicas para calcular a altitude, taxas angulares, velocidade linear e posição relativa para um quadro de referência global. Os dados coletados da IMU 166 permitem que o sistema de computador 162 rastreie a posição do UAV utilizando um método conhecido como estimativa de localização.
[0099] A figura 16 é um diagrama ilustrando uma vista superior de
Petição 870180053157, de 20/06/2018, pág. 46/272
40/60 um UAV aéreo 20 possuindo um sistema de posicionamento local 38 compreendendo uma câmera de vídeo 130 e um medidor de faixa de laser 138 direcionado para um objeto-alvo 102. O feixe a laser transmitido pelo medidor de faixa de laser 138 impinge em uma superfície do alvo 102 em um ponto de laser 104. O ângulo do campo de visão 136 (indicado por um par de linhas tracejadas) da câmera de vídeo 130 é indicado pelo arco rotulado ang na figura 16. O vetor de direção de mira 134 se estende do medidor de faixa de laser 138 até o ponto de laser 104 e possui um comprimento D (também referido abaixo como a distância D separando o medidor de faixa de laser 138 e o objeto-alvo 102).
[0100] De acordo com um exemplo, a distância D é medida pelo medidor de faixa de laser 138 enquanto o ângulo do campo de visão 136 é conhecido. Essa informação pode ser utilizada para se sobrepor a um indicador de escala de tamanho na tela do monitor de exibição 152 (ver figura 15), quando uma imagem capturada pela câmera de vídeo 130 está sendo exibida. Se a distância D até o objeto-alvo 102 for conhecida, a informação de escala exibida na imagem na tela do monitor de exibição 152 permite que um usuário visualize o tamanho dos objetos na imagem exibida. O indicador de escala pode estar na forma de dimensões horizontal e vertical gerais da imagem na exibição ou uma sobreposição em tela exibindo os dados de fator de escalonamento em uma parte da tela. Isso fornece o contexto de tamanho para a cena capturada pela câmera de vídeo 130 e exibida na imagem na tela do monitor de exibição 152.
[0101] O ângulo de campo de visão de câmera conhecido é fornecido pela equação a seguir:
ang = 2*atan(SCRx/(2D))
Os valores de imagem X e Y são fornecidos pelas equações a seguir:
Petição 870180053157, de 20/06/2018, pág. 47/272
41/60
SCRx = D*tan(ang/2) SCRy = razão *SCRx
Onde D é a distância até a superfície do objeto-alvo medida pelo medidor de faixa de laser 138, e razão é a razão de aparência de imagem (conhecida), isto é, a razão da largura de imagem 2 para a altura de imagem h.
[0102] De acordo com exemplos adicionais, o mecanismo de giro e inclinação totalmente motorizado 120 pode ser utilizado para mirar o medidor de faixa de laser 138 independentemente dos controles de voo UAV para adquirir uma medição direta da distância separando dois pontos na superfície do objeto-alvo 102. Assumindo-se que o desvio de translação é igual a zero ou pode ser medido, então, todas as características básicas do sistema de posicionamento local 38 podem ser utilizadas.
[0103] De acordo com exemplos alternativos, pode ser possível se utilizar apenas uma única suspensão cardan de eixo geométrico energizado e medido (eixo geométrico de inclinação). Para um UAV, a guinada geral (giro) associada com o veículo também pode ser utilizada para apontar o medidor de faixa de laser 138 sem alterar a posição de veículo, mas a alteração da inclinação do UAV 20 fará com que o UAV 20 translade. Para se solucionar isso, um controlador de inclinação motorizado separado para o medidor de faixa de laser 138 pode ser utilizado.
[0104] A figura 17 é um fluxograma identificando etapas de um método 170 para dimensionar (isto é, medição de uma distância de ponto a ponto) uma característica na superfície de uma estrutura a ser inspecionada utilizando-se um UAV 20 portando um sistema de posicionamento local 38. O método 170 compreende as seguintes etapas: (a) controle do UAV 20 para voar na direção e então pairar sobre uma primeira localização que é separada de uma estrutura a ser
Petição 870180053157, de 20/06/2018, pág. 48/272
42/60 inspecionada (etapa 172); (b) orientação de um medidor de faixa de laser 138 na direção de um primeiro ponto correspondendo a uma primeira característica visível em uma superfície da estrutura enquanto o UAV está pairando sobre primeira localização (etapa 174) e adquirindo uma primeira medição de distância (etapa 176); (c) utilização do mecanismo de giro e inclinação 120 para medir os ângulos de giro e inclinação respectivos do medidor de faixa de laser 138 quando o último é focado no primeiro ponto (etapa 178); (d) conversão das medições de distância e ângulo adquiridas nas etapas 176 e 178 em um primeiro vetor representando a localização do primeiro ponto no quadro de referência do UAV 20 na primeira localização (etapa 180); (e) foco do medidor de faixa de laser 138 em um segundo ponto correspondente a uma segunda característica visível na superfície da estrutura enquanto o UAV 20 está pairando sobre uma segunda localização (etapa 182) e adquirindo uma segunda medição de distância (etapa 184); (f) utilização do mecanismo de giro e inclinação 120 para medir os ângulos de giro e inclinação respectivos do medidor de faixa de laser 138 quando o último é focado no segundo ponto (etapa 186); (g) conversão das medições de distância e ângulo adquiridas nas etapas 184 e 186 em um segundo vetor representando a localização do segundo ponto no quadro de referência do UAV 20 na segunda localização (etapa 188); (h) utilização de uma IMU 186 para medir a aceleração e taxa de rotação do UAV durante o voo a partir do primeiro local para o segundo local (etapa 190);
(i) geração de uma matriz de transformação representando uma diferença de posição e uma diferença de orientação entre a primeira e segunda localizações do UAV 20 com base na informação adquirida na etapa 190 (etapa 192); (j) multiplicação do segundo vetor pela matriz de transformação para formar um terceiro vetor representando a localização do segundo ponto no quadro de referência do UAV 20 na primeira localização (etapa 194); e (k) cálculo de uma distância entre o
Petição 870180053157, de 20/06/2018, pág. 49/272
43/60 primeiro e segundo pontos utilizando o primeiro e terceiro vetores (etapa 196).
[0105] De acordo com um exemplo, o método descrito no parágrafo anterior compreende adicionalmente: (l) a transmissão de uma ou mais mensagens contendo dados de medição adquiridos nas etapas 176, 178, 184, 186 e 190 do UAV 20; (m) o recebimento de uma ou mais mensagens em um sistema de computador em uma estação terrestre (por exemplo, estação de controle 150 (ver figura 15)); e (n) extração dos dados de medição da mensagem, onde as etapas 180, 188, 192, 194 e 196 são realizadas pelo sistema de computador na estação de trabalho terrestre. Esse método pode compreender adicionalmente: a utilização da câmera de vídeo 130 para capturar uma imagem de uma parte da superfície da estrutura que inclui a primeira e segunda características visíveis enquanto o UAV está pairando sobre a primeira localização; e exibição de uma imagem e simbologia representando um valor da distância calculada na etapa 196 sobreposta na imagem em uma tela de exibição do sistema de computador na estação de trabalho terrestre. Por exemplo, a primeira e segunda características visíveis podem ser pontos finais respectivos de uma anomalia (tal como uma rachadura) na estrutura.
[0106] A figura 18 é um diagrama de vetor ilustrando o método descrito acima para a geração de um vetor representando a distância e direção de um primeiro ponto em um objeto-alvo para um segundo ponto no objeto-alvo utilizando o UAV descrito acima 20. Visto que um medidor de faixa de laser singular é utilizado para medir diretamente as coordenadas para dois pontos, uma localização de referência comum é utilizada para determinar a distância entre os dois pontos. Nessa situação, o usuário determina a diferença entre a primeira localização do UAV 20 durante a aquisição das coordenadas do primeiro ponto em um primeiro quadro de referência do sistema de posicionamento local
Petição 870180053157, de 20/06/2018, pág. 50/272
44/60 (e do UAV 20) e a segunda localização do UAV 20 durante a aquisição das coordenadas do segundo ponto em um segundo quadro de referência do sistema de posicionamento local que é desviado do primeiro quadro de referência. Utilizando-se os dados de posição de coordenadas adquiridos, uma matriz de transformação representando uma diferença de posição e uma diferença de orientação entre o primeiro e o segundo quadros de referência do sistema de posicionamento local 38 (isto é, as diferenças entre a primeira e segunda localizações do UAV 20 nos momentos em que a primeira e segunda modalidades foram realizadas) é gerada.
[0107] O diagrama de vetor observado na figura 18 ilustra a configuração descrita no parágrafo anterior. Dois pares de setas mutuamente ortogonais que se encontram em vértices respectivos apresentam graficamente os quadros de referência respectivos (um terceiro eixo geométrico mutuamente ortogonal respectivo para cada quadro de referência não é ilustrado para evitar o agrupamento no desenho). O par esquerdo de setas representa um quadro de referência A do UAV 20 na primeira localização, enquanto que o par direito de setas representa um quadro de referência B do UAV 20 na segunda localização. O desvio de localização do quadro de referência B com relação ao quadro de referência A é representado na figura 18 pela matriz de transformação abT, que é uma matriz de transformação homogênea 4 x 4 que descreve o quadro de referência {B} com relação ao quadro de referência {A}. Nessa situação, a posição e a orientação do quadro de referência {B} com relação ao quadro de referência {A} pode ser determinada a partir dos dados adquiridos pela IMU 166.
[0108] A distância do medidor de faixa de laser 138 (não ilustrada na figura 18) para um primeiro ponto Pi em uma superfície de um objetoalvo 102 quando o UAV 20 está na primeira localização é representada pelo comprimento de um vetor APi se estendendo a partir da origem do
Petição 870180053157, de 20/06/2018, pág. 51/272
45/60 quadro de referência {A}. A distância do medidor de faixa de laser 138 até um segundo ponto P2 na superfície do objeto-alvo 102 quando o UAV 20 está na segunda localização é representada pelo comprimento de um vetor BP2 se estendendo a partir da origem do quadro da referência {B} para o segundo ponto P2. O vetor BP2 é, então, multiplicado pela matriz de transformação abT para converter a mesma em um vetor definido no quadro de referência {A}. O produto resultante é:
AbT BP2 = AP2 [0109] A magnitude (isto é, comprimento) do vetor AP2 representa a distância do medidor de faixa de laser 138 para o segundo ponto P2 quando o UAV 20 estava na primeira localização. A distância d é determinada a partir da diferença entre esses dois vetores, cuja operação pode ser expressa como segue:
D = \AP2 - APi\ [0110] De uma forma equivalente, a distância d entre os pontos P1 e P2 é a magnitude (isto é, a norma Euclidiana) do vetor 3D conectando os dois pontos. É computado como a raiz quadrada da soma dos quadrados das diferenças dos componentes individuais das coordenadas de ponto medidas (isto é, valores x, y e z). A forma geral dessa equação é:
d = V(x2 - xi)2 + (y2 - yi)2 + (Z2 - zi)2 [0111] O valor da distância resultante é exibido (por exemplo, sobreposto ou virtualmente sobreposto) na tela do monitor de exibição 152 juntamente com a imagem da câmera da parte da superfície do objeto-alvo 102 que inclui pontos P1 e P2. Opcionalmente, uma linha pode ser desenhada entre os dois pontos para ilustrar o contexto. [0112] O voo do UAV 20 durante uma operação de inspeção não destrutiva pode ser submetido a várias restrições de movimento que são projetadas para tornar o UAV 20 mais fácil para um usuário controlar
Petição 870180053157, de 20/06/2018, pág. 52/272
46/60 para tipos específicos de tarefas. O termo restrições de movimento deve receber a definição cinemática normal. Em geral, as restrições de movimento removem um ou mais graus de liberdade (DoF) a partir do movimento de um objeto. Por exemplo, um único objeto de corpo rígido no espaço livre possui seis graus de liberdade (isto é, x, y, z, rolamento, inclinação e guinada), mas quando esse objeto de corpo rígido é restringido, por exemplo, colocando o mesmo em uma mesa (em um local com gravidade), o número de graus de liberdade é reduzido a três (isto é, x, y e guinada). Nesse exemplo, a superfície plana da mesa introduz restrições ao movimento que removem três graus de liberdade do sistema. Em outro exemplo, se uma junta rotativa (revoluta) for anexada entre um objeto 6-DoF e outro objeto de localização fixa, a junta rotativa restringe o movimento do objeto para um grau de liberdade (isto é, a rotação em torno do eixo geométrico da junta revoluta), pela remoção de cinco graus de liberdade do sistema. Esses exemplos são restrições de movimento físico, mas as restrições de movimento também podem ser aplicadas em software para remover um ou mais graus de liberdade do movimento controlado - que é o que é proposto nessa descrição.
[0113] Para o sistema envolvendo um UAV e seu operador, que na operação padrão pode controlar seis graus de liberdade no espaço livre, a informação de medição de distância é utilizada para restringir o movimento do UAV de modo que um ou mais dos graus de liberdade do UAV não estejam diretamente disponíveis para o operador controlar. Por exemplo, se uma restrição de movimento for aplicada à distância até o objeto-alvo (utilizando dados de medição em tempo real a partir do medidor de faixa de laser), o sistema tentará manter o UAV nessa distância especificada. Isso não significa que o controlador de nível baixo não possa controlar ainda seis graus de liberdade. Em vez disso, isso significa que do ponto de vista do operador, existe um (ou mais)
Petição 870180053157, de 20/06/2018, pág. 53/272
47/60 eixo geométrico que não controlam diretamente. Se uma rajada de vento tentar empurrar o UAV na direção da restrição de movimento, o controlador de baixo nível fornecerá o controle de movimento para compensar isso sem exigir o registro do usuário. Isto é útil em condições nas quais e desejável se manter um desvio específico a partir de um objeto-alvo. É útil também no fornecimento de limites virtuais ou para prevenção de colisão.
[0114] Uma vez que os dados de medição foram adquiridos, os mesmos podem ser exibidos para o usuário ou utilizados para capacidades adicionais, tal como fornecimento de restrições de movimento que podem ser utilizadas para o controle do veículo. Essa extensão permite capacidades de controle de movimento para UAV 20 com base no retorno dos dados dos sensores e dados de medição derivados. Isso resulta na capacidade de se fornecer o controle semiautomatizado do sistema, além de um controle manual mais intuitivo.
[0115] Para os exemplos que empregam apontadores a laser, os únicos tipos de restrições de movimento que podem ser adicionados ao sistema de controle são os associados com posição, visto que esses exemplos não medem a orientação. Os exemplos que possuem dois ou mais medidores de faixa de laser possuem a capacidade de medir a orientação do UAV 20 com relação ao objeto-alvo 102, em adição à determinação da distância. Isso permite que os exemplos com mais de um medidor de faixa de laser controlem ambas a posição e a orientação do UAV 20 com relação ao objeto-alvo 102.
[0116] A figura 19 é um diagrama em bloco identificando os tipos de um processo de controle de retorno 80 para controlar o movimento de um veículo 88 com base nos dados de medição adquiridos pelo equipamento a bordo do veículo 88 de acordo com um exemplo. Primeiro o usuário ou agente registra os comandos referentes à
Petição 870180053157, de 20/06/2018, pág. 54/272
48/60 distância e orientação alvo do veículo 88 (etapa 82), registros esses que são recebidos por uma junção de soma 84. A junção de soma 84 também recebe os dados de distância e orientação de um módulo de software de computação de distância e orientação que é configurado para computar a distância e orientação (etapa 94). A junção de soma 84 subtrai a distância computada da distância comandada e subtrai a orientação computada da orientação comandada. Os desvios resultantes são enviados para um módulo de software de computação de sinal que é configurado para computar sinais de controle calculados para reduzir os desvios (etapa 86). Com base na saída da junção de soma 84, o módulo de software de computação de sinal de controle envia sinais de controle para os acionadores de movimento 90 (por exemplo controladores de motor de rotor) a bordo do veículo 80. Durante o voo do veículo 80, os sensores adquirem dados de sensor (etapa 92), dados de sensor esses que são utilizados para computar a distância e a orientação (etapa 94).
[0117] De acordo com alguns exemplos, o sistema de computador 162 utiliza uma metodologia de alinhamento a bordo para determinar desvios de localização relativa (posição e orientação) da câmera de vídeo 130 com relação ao objeto-alvo 102. Esse processo utiliza a informação de distância de três medidores de faixa de laser para computar a localização relativa em tempo real. O sistema de computador 162 então utiliza esses dados para produzir o movimento com base em retorno desejado do UAV 20.
[0118] Uma forma de controle que esse processo permite é o controle semiautomatizado para auxiliar um operador em algum aspecto de alinhamento, tal como orientação da câmera de vídeo 130 para garantir que seu eixo geométrico focal esteja sempre perpendicular à superfície do objeto-alvo ou garantindo que seja sempre uma distância específica a partir da superfície.
Petição 870180053157, de 20/06/2018, pág. 55/272
49/60 [0119] Mais especificamente, o sistema de computador 162 é configurado (por exemplo, programado) para determinar quais movimentos são necessários para se alinhar o eixo geométrico focal da câmera de vídeo 130 com um vetor normal com relação à superfície do objeto-alvo com base na informação de distância recebida dos medidores de faixa de laser. O sistema de computador 162 envia sinais de comando para os controladores de motor selecionados 168 para ativar os motores 148 como necessário para orientar o UAV 20 de modo que o eixo geométrico focal da câmera de vídeo 130 seja alinhado com o plano normal da superfície.
[0120] Em adição à utilização de três medidores de faixa de laser para determinar a distância do objeto-alvo, os mesmos também são utilizados para determinar os ângulos de orientação de guinada e inclinação (doravante, ângulo de guinada e ângulo de inclinação). Para fins de ilustração, considera-se que os três medidores de faixa de laser sejam dispostos em vértices de um triângulo isósceles de modo que a distância que separa os dois medidores de faixa de laser dispostos em vértices da base do triângulo isósceles seja a e a distância que separa o terceiro medidor de faixa de laser e um ponto intermediário da base do triângulo isósceles (isto é, a altura do triângulo isósceles) seja b. Assumindo-se que di, d2 e d3 são as distâncias medidas respectivas dos medidores de faixa de laser respectivos para a superfície do objeto-alvo. As equações (2) e (3) podem ser utilizadas para calcular os ângulos de inclinação e guinada:
PitchAngle = atan2(di+d3)/2,b) (2)
YawAngle = atan2(d2-d3,a) (3)
Onde PitchAngle e YawAngle são os ângulos de orientação computados atuais relativos à superfície do objeto-alvo, e atan2 é a função trigonométrica inversa arco-tangente de dois argumentos. O objetivo desses ângulos, que são medidos com relação à superfície
Petição 870180053157, de 20/06/2018, pág. 56/272
50/60 normal na localização atual, deve ser igual a zero; e o processo para se alcançar os ângulos-alvo é descrito abaixo.
[0121] Com os ângulos de guinada e inclinação atuais calculados, o controlador de movimento de sistema pode utilizar o método de controle de velocidade para os movimentos controlados: giro, inclinação e distância. Um controlador de retorno, tal como o controlador proporcional-integral-derivativo (PIC), pode ser utilizado para acionar para zero o erro entre o ângulo atual e o ângulo desejado. As equações (4) e (5) podem ser utilizadas para computar o controle de movimento de inclinação e guinada:
PitchRate = Kppitch * (PitchAngle - PitchAnglegoai) (4)
YawRate = Kpyaw*(YawAngle - YawAnglegoa) (5)
Onde PitchRate e YawRate descrevem as taxas de rotação angular em torno do eixo geométrico de inclinação do aparelho de alinhamento e o eixo geométrico de guinada da base, respectivamente; Kppitch e Kpyaw são os ganhos de retorno proporcionais associados com os eixos geométricos de inclinação e guinada, respectivamente; PitchAngle e YawAngle são os ângulos computados a partir das equações (2) e (3), respectivamente; e PitchAnglegoal e YawAnglegoal são os ângulos alvo desejados na direção dos quais o controlador está acionando o sistema (como mencionado anteriormente, esses são ambos iguais a zero nesse exemplo). O retorno integral e derivativo também pode ser utilizado, mas não é ilustrado aqui.
[0122] Adicionalmente, a descrição compreende exemplos de acordo com as cláusulas a seguir:
[0123] Cláusula 1. Método de operação de um veículo aéreo não tripulado, compreendendo: (a) o controle de um veículo aéreo não tripulado para voar na direção de uma estrutura; (b) a utilização do primeiro e segundo medidores de faixa de laser a bordo do veículo aéreo não tripulado para medir repetidamente a primeira e segunda
Petição 870180053157, de 20/06/2018, pág. 57/272
51/60 distâncias separando, respectivamente, o primeiro e o segundo medidores de faixa de laser dos respectivos primeiro e segundo pontos em uma superfície da estrutura enquanto o veículo aéreo não tripulado está voando; (c) o cálculo de uma primeira distância de separação separando o veículo aéreo não tripulado da estrutura com base em pelo menos uma primeira e uma segunda distâncias; (d) a determinação de se a primeira distância de separação é igual a um desvio-alvo; (e) o controle do veículo aéreo não tripulado para pairar sobre um primeiro local separado da estrutura pela primeira distância de separação em resposta a uma determinação na etapa (d) de que a distância de separação é igual ao desvio-alvo; (f) a utilização de uma câmera a bordo do veículo aéreo não tripulado para capturar uma primeira imagem da estrutura enquanto o veículo aéreo não tripulado está pairando sobre primeira localização; e (g) a exibição da primeira imagem em uma tela de exibição.
[0124] Cláusula 2. Método, de acordo com a cláusula 1, no qual a primeira e a segunda distâncias são iguais ao desvio-alvo, compreendendo adicionalmente: o cálculo de um fator de escalonamento para a primeira imagem quando exibida na tela de exibição com base, pelo menos em parte, na distância de separação e em um campo de visão da câmera; e a exibição de um indicador de escalonamento sobreposto à primeira imagem exibida na tela de exibição, um valor ou um comprimento do indicador de escalonamento representando o fator de escalonamento.
[0125] Cláusula 3. Método, de acordo com a cláusula 1, no qual a tela de exibição não está a bordo do veículo aéreo não tripulado, compreendendo adicionalmente: a transmissão de uma mensagem contendo dados de imagem representando a primeira imagem a partir do veículo aéreo não tripulado; o recebimento da mensagem em uma estação terrestre; e a extração de dados de imagem representando a
Petição 870180053157, de 20/06/2018, pág. 58/272
52/60 primeira imagem da mensagem, onde a exibição da primeira imagem na tela de exibição compreende o controle de estados de pixels da tela de exibição de acordo com os dados de imagem.
[0126] Cláusula 4. Método, de acordo com a cláusula 1, compreendendo adicionalmente o controle do veículo aéreo não tripulado para transladar para uma segunda localização enquanto mantém a distância de separação; a utilização da câmera para capturar uma segunda imagem da estrutura enquanto o veículo aéreo não tripulado está pairando sobre segunda localização; e a exibição da segunda imagem na tela de exibição.
[0127] Cláusula 5. Método, de acordo com a cláusula 4, no qual as primeira e segunda imagens compreende, respectivamente, o primeiro e o segundo conjuntos de dados de imagem representando áreas parcialmente sobrepostas ou contíguas em uma superfície da estrutura. [0128] Cláusula 6. Método, de acordo com a cláusula 1, compreendendo adicionalmente a computação de um ângulo de orientação de um eixo geométrico focal da câmera com relação a uma linha que conecta o primeiro e o segundo pontos na superfície da estrutura com base na primeira e segunda distâncias; o cálculo de um fator de escalonamento para a primeira imagem quando exibido na tela de exibição com base, pelo menos em parte, na distância de separação e no ângulo de orientação; e a exibição de um indicador de escalonamento sobreposto à primeira imagem, um valor ou um comprimento do indicador de escalonamento representando o fator de escalonamento.
[0129] Cláusula 7. Método, de acordo com a cláusula 1, compreendendo adicionalmente a utilização de um terceiro medidor de faixa de laser a bordo do veículo aéreo não tripulado para medir repetidamente uma terceira distância que separa o terceiro medidor de faixa de laser de um terceiro ponto em uma superfície da estrutura
Petição 870180053157, de 20/06/2018, pág. 59/272
53/60 enquanto o veículo aéreo não tripulado está voando, onde a distância de separação é calculada com base na primeira, segunda e terceira distâncias.
[0130] Cláusula 8. Método, de acordo com a cláusula 7, compreendendo adicionalmente a computação do primeiro e segundo ângulos de orientação do eixo geométrico focal da câmera com relação a um plano definido pelo primeiro, segundo e terceiro pontos na superfície da estrutura com base na primeira, segunda e terceira distâncias; o cálculo de um fator de escalonamento para a primeira imagem quando exibida na tela de exibição com base na distância de separação e no primeiro e segundo ângulos de orientação; e a exibição de um indicador de escalonamento sobreposto à primeira imagem, um valor ou um comprimento do indicador de escala representando o fator de escalonamento.
[0131] Cláusula 9. Método, de acordo com a cláusula 1, compreendendo adicionalmente a detecção de um desvio da distância de separação do desvio-alvo depois que o veículo aéreo não tripulado se moveu da primeira localização para uma segunda localização; e o controle do veículo aéreo não tripulado para voar para uma terceira localização na qual a distância de separação é igual ao desvio-alvo, reduzindo, assim, o desvio para zero, onde o controle do voo do veículo aéreo não tripulado na direção da terceira localização é fornecido por um controlador de movimento a bordo do veículo aéreo não tripulado.
[0132] Cláusula 10. Método, de acordo com a cláusula 1, compreendendo adicionalmente a computação de um ângulo de orientação de um eixo geométrico focal da câmera com relação à superfície da estrutura com base na primeira, segunda e terceira distâncias; detecção de um desvio do ângulo de orientação a partir de um ângulo de orientação desejado enquanto o veículo aéreo não tripulado está pairando sobre a primeira localização; e o controle do
Petição 870180053157, de 20/06/2018, pág. 60/272
54/60 veículo aéreo não tripulado para alterar essa orientação de modo que o ângulo de orientação seja igual ao ângulo de orientação desejado, onde o controle da orientação do veículo aéreo não tripulado é fornecido por um controlador de movimento a bordo do veículo aéreo não tripulado. [0133] Cláusula 11. Método de operação de um veículo aéreo não tripulado, compreendendo (a) o controle de um veículo aéreo não tripulado para pairar sobre um local separado de uma estrutura; (b) o direcionamento do primeiro e segundo apontadores a laser montados de forma articulada a bordo do veículo aéreo não tripulado em paralelo na direção de uma superfície da estrutura, os eixos geométricos articulados respectivos do primeiro e segundo apontadores a laser sendo separados por uma distância fixa; (c) a utilização do primeiro e segundo apontadores a laser mutuamente paralelos para transmitir feixes de laser mutuamente paralelos no primeiro e segundo pontos, respectivamente, enquanto o veículo aéreo não tripulado está pairando sobre o local; (d) a utilização de uma câmera a bordo do veículo aéreo não tripulado em um primeiro momento para capturar uma primeira imagem de uma parte da superfície da estrutura que inclui o primeiro e segundo pontos; (e) a articulação do primeiro e segundo apontadores a laser por um ângulo predefinido enquanto o veículo aéreo não tripulado está pairando de modo que o primeiro e o segundo apontadores a laser não estejam mais paralelos; (f) a utilização do primeiro e segundo apontadores a laser articulados para transmitir feixes de laser não paralelos nos respectivos terceiro e quarto pontos na superfície da estrutura enquanto o veículo aéreo não tripulado está pairando sobre o local; (g) a utilização da câmera uma segunda vez para capturar uma segunda imagem da parte da superfície da estrutura que inclui o terceiro e quarto pontos; e (h) o processamento da primeira e segunda imagens para calcular uma primeira distância de separação separando o veículo aéreo não tripulado da estrutura com base nas posições do terceiro e
Petição 870180053157, de 20/06/2018, pág. 61/272
55/60 quarto pontos nas imagens, o ângulo predefinido e a distância fixa separando os eixos de articulação dos apontadores a laser.
[0134] Cláusula 12. Método, de acordo com a cláusula 11, no qual a etapa (h) compreende adicionalmente o cálculo de uma segunda distância de separação que separa os centros respectivos do terceiro e quarto pontos, o método compreendendo adicionalmente o cálculo de um fator de escalonamento para a primeira e segunda imagens quando exibidos em uma tela de exibição de um sistema de computador em uma estação terrestre com base na segunda distância de separação.
[0135] Cláusula 13. Método, de acordo com a cláusula 12, compreendendo adicionalmente (i) a transmissão de uma mensagem contendo dados de imagem representando a primeira e segunda imagens a partir do veículo aéreo não tripulado; (j) o recebimento da mensagem no sistema de computador na estação terrestre e (k) a extração dos dados de imagem representando a primeira imagem da mensagem, onde a etapa (k) é realizada pelo sistema de computador na estação terrestre.
[0136] Cláusula 14. Método, de acordo com a cláusula 12, compreendendo adicionalmente: a utilização da câmera para capturar uma terceira imagem de uma parte da superfície da estrutura; e a exibição de um indicador de escalonamento sobreposto na terceira imagem na tela de exibição, um valor ou um comprimento do indicador de escalonamento representando o fator de escalonamento.
[0137] Cláusula 15. Método para o dimensionamento de uma característica de uma estrutura utilizando um veículo aéreo não tripulado compreendendo um mecanismo de giro e inclinação que suporta uma câmera e um medidor de faixa de laser e uma unidade de medição inercial, o método compreendendo (a) o controle do veículo aéreo não tripulado para que voe na direção e, então, paire sobre uma primeira localização que é separada de uma estrutura a ser
Petição 870180053157, de 20/06/2018, pág. 62/272
56/60 inspecionada; (b) o foco do medidor de faixa de laser em um primeiro ponto correspondendo a uma primeira característica visível em uma superfície da estrutura enquanto o veículo aéreo não tripulado está pairando sobre a primeira localização e adquirindo uma primeira medição de distância; (c) a utilização do mecanismo de giro e inclinação para medir os ângulos de giro e inclinação respectivos do medidor de faixa de laser quando o medidor de faixa de laser é focado no primeiro ponto; (d) a conversão das medições de distância e ângulo adquiridas nas etapas (b) e (c) em um primeiro vetor representando a localização do primeiro ponto no quadro de referência do veículo aéreo não tripulado na primeira localização; (e) o foco do medidor de faixa de laser em um segundo ponto correspondendo a uma segunda característica visível na superfície da estrutura enquanto o veículo aéreo não tripulado está pairando sobre um segundo local e adquirindo uma segunda medição de distância; (f) a utilização do mecanismo de giro e inclinação para medir os ângulos de giro e inclinação respectivos do medidor de faixa de laser quando o medidor de faixa de laser está focado no segundo ponto; (g) a conversão das medições de distância e ângulo adquiridas nas etapas (e) e (f) em um segundo vetor representando a localização do segundo ponto no quadro de referência do veículo aéreo não tripulado na segunda localização; (h) a utilização da unidade de medição inercial para medir a taxa de aceleração e rotação do veículo aéreo não tripulado durante o voo da primeira localização para a segunda localização; (i) a geração de uma matriz de transformação representando uma diferença de posição e uma diferença de orientação entre a primeira e segunda localizações do veículo aéreo não tripulado com base na informação adquirida na etapa (h); (j) a multiplicação do segundo vetor pela matriz de transformação para formar um terceiro vetor representando a localização do segundo ponto no quadro de referência do veículo aéreo não tripulado na primeira localização; e (k)
Petição 870180053157, de 20/06/2018, pág. 63/272
57/60 o cálculo de uma distância (d) entre o primeiro e segundo pontos utilizando o primeiro e o terceiro vetores.
[0138] Cláusula 16. Método, de acordo com a cláusula 15, compreendendo adicionalmente (l) a transmissão de uma ou mais mensagens contendo dados de medição adquiridos nas etapas (b), (c), (e), (f) e (h) a partir do veículo aéreo não tripulado; (m) o recebimento de uma ou mais mensagens em um sistema de computação em uma estação terrestre; e (n) a extração dos dados de medição a partir da mensagem, onde as etapas (d), (g) e de (i) a (k) são realizadas por um sistema de computador em uma estação de trabalho terrestre.
[0139] Cláusula 17. Método, de acordo com a cláusula 16, compreendendo adicionalmente a utilização da câmera para capturar uma imagem de uma parte da superfície da estrutura que inclui primeira e segunda características visíveis enquanto o veículo aéreo não tripulado está pairando sobre a primeira localização; e a exibição da imagem e simbologia representando um valor de distância calculado na etapa (k) sobreposto na imagem em uma tela de exibição do sistema de computação na estação de trabalho terrestre.
[0140] Cláusula 18. Método, de acordo com a cláusula 15, no qual a primeira e a segunda características visíveis são pontos finais respectivos de uma anomalia na estrutura.
[0141] Cláusula 19. Veículo aéreo não tripulado, compreendendo um quadro; uma pluralidade de rotores montados de forma rotativa ao quadro; uma pluralidade de motores acoplados respectivamente para acionar a rotação dos rotores dentre a pluralidade de rotores; uma pluralidade de controladores de motor para controlar a operação dentre a pluralidade de motores; um mecanismo de giro e inclinação montado no quadro; uma câmera montada no mecanismo de giro e inclinação; um medidor de faixa de laser montado no mecanismo de giro e inclinação; um sistema de computação configurado para enviar os
Petição 870180053157, de 20/06/2018, pág. 64/272
58/60 comandos para os controladores de motor, controlar a operação do mecanismo de giro e inclinação e ativar seletivamente a câmera e o medidor de faixa de laser; uma unidade de medição inercial montada no quadro e configurada para enviar dados de taxa de aceleração e rotação linear para o sistema de computação; e um transceptor configurado para permitir a comunicação entre o sistema de computador e uma estação de controle, onde o sistema de computador é adicionalmente configurado para receber dados de imagem da câmera, dados de ângulo de giro e inclinação a partir do mecanismo de giro e inclinação, dados de distância do medidor de faixa de laser, e dados de taxa de aceleração e rotação linear da unidade de medição inercial; determinar uma primeira localização do veículo não tripulado com relação a uma estrutura; e enviar um primeiro comando para os controladores de motor voarem o veículo aéreo não tripulado da primeira localização para uma segunda localização onde a câmera é separada de uma superfície da estrutura por um desvio-alvo.
[0142] Cláusula 20. Veículo aéreo não tripulado compreendendo um quadro; uma pluralidade de rotores montados de forma rotativa ao quadro; uma pluralidade de motores acoplados respectivamente para acionar a rotação dos rotores dentre a pluralidade de rotores; uma pluralidade de controladores de motor para controlar a operação da pluralidade de motores; uma câmera; primeiro, segundo e terceiro apontadores a laser; um sistema de computação configurado para enviar comandos para os controladores de motor e ativar seletivamente a câmera e o primeiro a terceiro apontadores a laser; e um transceptor configurado para permitir a comunicação entre o sistema de computação e uma estação de controle, onde o primeiro e segundo apontadores a laser são fixados ao quadro em uma relação mutuamente paralela, e o terceiro apontador a laser é acoplado de forma articulada ao quadro.
Petição 870180053157, de 20/06/2018, pág. 65/272
59/60 [0143] Enquanto os métodos de controle da operação de um veículo aéreo não tripulado durante a inspeção não destrutiva de uma estrutura foram descritos com referência a vários exemplos, será compreendido pelos versados na técnica que várias mudanças podem ser feitas e equivalências podem ser substituídas por elementos das mesmas sem se distanciar do escopo dos ensinamentos apresnetados aqui. Adicionalmente, muitas modificações podem ser criadas para se adaptar aos ensinamentos apresentados aqui a uma situação em particular sem se distanciar do escopo. Portanto, pretende-se que as reivindicações não sejam limitadas aos exemplos particulares descritos aqui.
[0144] Como utilizado nas reivindicações, o termo localização compreende a posição em um sistema de coordenadas tridimensional e orientação com relação a esses sistema de coordenadas.
[0145] Os métodos descritos aqui podem ser codificados como instruções executáveis consubstanciadas em um meio de armazenamento legível por computador tangível e não transitório, incluindo, sem limitação, um dispositivo de armazenamento e/ou um dispositivo de memória. Tais instruções, quando executadas por um sistema de processamento ou computação, faz com que o dispositivo de sistema realize pelo menos uma parte dos métodos descritos aqui.
[0146] As reivindicações de processo apresentadas posteriormente não devem ser consideradas como exigindo que as etapas mencionadas aqui sejam realizadas em ordem alfabética (qualquer ordenação alfabética nas reivindicações é utilizada apenas para fins de fazer referência a etapas mencionadas previamente) ou na ordem na qual são mencionadas a menos que a linguagem de reivindicação especifique ou mencione explicitamente as condições indicando uma ordem particular na qual algumas ou todas essas etapas são realizadas. Nem devem as reivindicações de processo ser consideradas para
Petição 870180053157, de 20/06/2018, pág. 66/272
60/60 excluir quaisquer partes de duas ou mais etapas sendo realizadas simultaneamente ou alternadamente a menos que a linguagem de reivindicação mencione explicitamente uma condição que impeça tal interpretação.

Claims (11)

1. Método de operação de um veículo aéreo não tripulado, caracterizado pelo fato de compreender:
(a) controlar um veículo aéreo não tripulado (20) para voar na direção de uma estrutura (18, 72);
(b) utilizar os primeiro e segundo medidores de faixa de laser (138a, b) a bordo do veículo aéreo não tripulado para medir repetidamente as primeira e segunda distâncias separando, respectivamente, os primeiro e o segundo medidores de faixa de laser dos respectivos primeiro e segundo pontos (106, 108) em uma superfície da estrutura enquanto o veículo aéreo não tripulado está voando;
(c) calcular uma primeira distância de separação separando o veículo aéreo não tripulado da estrutura com base em pelo menos uma primeira e uma segunda distâncias;
(d) determinar se a primeira distância de separação é igual a um desvio-alvo;
(e) controlar o veículo aéreo não tripulado para pairar sobre um primeiro local separado da estrutura pela primeira distância de separação em resposta a uma determinação na etapa (d) de que a distância de separação é igual ao desvio-alvo;
(f) utilizar uma câmera (130) a bordo do veículo aéreo não tripulado para capturar uma primeira imagem da estrutura enquanto o veículo aéreo não tripulado está pairando sobre primeira localização; e (g) exibir a primeira imagem em uma tela de exibição (116, 152).
2. Método, de acordo com a reivindicação 1, no qual as primeira e segunda distâncias são iguais ao desvio-alvo, caracterizado pelo fato de compreender adicionalmente:
calcular um fator de escalonamento para a primeira imagem
Petição 870180053157, de 20/06/2018, pág. 68/272
2/6 quando exibida na tela de exibição com base, pelo menos em parte, na distância de separação e em um campo de visão da câmera; e exibir um indicador de escalonamento (76) sobreposto à primeira imagem exibida na tela de exibição, um valor ou um comprimento do indicador de escalonamento representando o fator de escalonamento.
3. Método, de acordo com a reivindicação 1, no qual a tela de exibição não está a bordo do veículo aéreo não tripulado, caracterizado pelo fato de compreender adicionalmente:
transmitir uma mensagem contendo dados de imagem representando a primeira imagem a partir do veículo aéreo não tripulado;
receber a mensagem em uma estação terrestre (150); e extrair dados de imagem representando a primeira imagem da mensagem, onde a exibição da primeira imagem na tela de exibição compreende o controle de estados de pixels da tela de exibição de acordo com os dados de imagem.
4. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente:
controlar o veículo aéreo não tripulado para transladar para uma segunda localização enquanto mantém a distância de separação;
utilizar a câmera para capturar uma segunda imagem da estrutura enquanto o veículo aéreo não tripulado está pairando sobre segunda localização; e exibir a segunda imagem na tela de exibição.
5. Método, de acordo com a reivindicação 4, caracterizado pelo fato de as primeira e segunda imagens compreenderem, respectivamente, os primeiro e segundo conjuntos de dados de imagem representando áreas parcialmente sobrepostas ou contíguas em uma
Petição 870180053157, de 20/06/2018, pág. 69/272
3/6 superfície da estrutura.
6. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente:
computar um ângulo de orientação de um eixo geométrico focal da câmera com relação a uma linha que conecta o primeiro e o segundo pontos (106, 108) na superfície da estrutura com base na primeira e segunda distâncias;
o cálculo de um fator de escalonamento para a primeira imagem quando exibida na tela de exibição com base, pelo menos em parte, na distância de separação e no ângulo de orientação; e exibir um indicador de escalonamento (76) sobreposto à primeira imagem, um valor ou um comprimento do indicador de escalonamento representando o fator de escalonamento.
7. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente:
utilizar um terceiro medidor de faixa de laser (138) a bordo do veículo aéreo não tripulado para medir repetidamente uma terceira distância que separa o terceiro medidor de faixa de laser de um terceiro ponto em uma superfície da estrutura enquanto o veículo aéreo não tripulado está voando, onde a distância de separação é calculada com base na primeira, segunda e terceira distâncias.
8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de compreender adicionalmente:
computar os primeiro e segundo ângulos de orientação do eixo geométrico focal da câmera com relação a um plano definido pelo primeiro, segundo e terceiro pontos na superfície da estrutura com base na primeira, segunda e terceira distâncias;
calcular um fator de escalonamento para a primeira imagem quando exibida na tela de exibição com base na distância de separação
Petição 870180053157, de 20/06/2018, pág. 70/272
4/6 e no primeiro e segundo ângulos de orientação; e exibir um indicador de escalonamento (76) sobreposto à primeira imagem, um valor ou um comprimento do indicador de escala representando o fator de escalonamento.
9. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente:
detectar um desvio da distância de separação do desvio-alvo depois que o veículo aéreo não tripulado se moveu da primeira localização para uma segunda localização; e controlar o veículo aéreo não tripulado para voar para uma terceira localização na qual a distância de separação é igual ao desvioalvo, reduzindo, assim, o desvio para zero, onde o controle do voo do veículo aéreo não tripulado na direção da terceira localização é fornecido por um controlador de movimento (162) a bordo do veículo aéreo não tripulado.
10. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente:
computar um ângulo de orientação de um eixo geométrico focal da câmera com relação à superfície da estrutura com base na primeira, segunda e terceira distâncias;
detectar um desvio do ângulo de orientação a partir de um ângulo de orientação desejado enquanto o veículo aéreo não tripulado está pairando sobre primeira localização; e controlar o veículo aéreo não tripulado para alterar essa orientação de modo que o ângulo de orientação seja igual ao ângulo de orientação desejado, onde o controle da orientação do veículo aéreo não tripulado é fornecido por um controlador de movimento (162) a bordo do veículo aéreo não tripulado.
11. Veículo aéreo não tripulado (20), caracterizado pelo fato
Petição 870180053157, de 20/06/2018, pág. 71/272
5/6 de compreender:
um quadro (22);
uma pluralidade de rotores (124a-d) montados de forma rotativa ao quadro;
uma pluralidade de motores (148) acoplados respectivamente para acionar a rotação dos rotores dentre a pluralidade de rotores;
uma pluralidade de controladores de motor (168) para controlar a operação da pluralidade de motores;
um mecanismo de giro e inclinação (120) montado no quadro;
uma câmera (130) montada no mecanismo de giro e inclinação;
um medidor de faixa de laser (138) montado no mecanismo de giro e inclinação;
um sistema de computador (162) configurado para enviar comandos para os controladores de motor, controlar a operação do mecanismo de giro e inclinação, e ativar seletivamente a câmera e o medidor de faixa de laser;
uma unidade de medição inercial (166) montada no quadro e configurada para enviar dados de taxa de aceleração e rotação linear para o sistema de computação; e um transceptor (160) configurado para permitir a comunicação entre o sistema de computador e uma estação de controle (150);
onde o sistema de computação é adicionalmente configurado para:
receber dados de imagem da câmera, dados de ângulo de giro e inclinação do mecanismo de giro e inclinação, dados de distância do medidor de faixa de laser, e dados de taxa de aceleração e rotação
Petição 870180053157, de 20/06/2018, pág. 72/272
6/6 linear da unidade de medição inercial;
determinar uma primeira localização do veículo não tripulado com relação a uma estrutura; e enviar um primeiro comando para os controladores de motor para voarem o veículo aéreo não tripulado da primeira localização para uma segunda localização onde a câmera é separada de uma superfície da estrutura por um desvio-alvo.
BR102018012662-8A 2017-09-25 2018-06-20 Método de operação de um veículo aéreo não tripulado e veículo aéreo não tripulado BR102018012662B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/714,662 2017-09-25
US15/714,662 US10788428B2 (en) 2017-09-25 2017-09-25 Positioning system for aerial non-destructive inspection

Publications (3)

Publication Number Publication Date
BR102018012662A2 true BR102018012662A2 (pt) 2019-04-16
BR102018012662A8 BR102018012662A8 (pt) 2022-12-20
BR102018012662B1 BR102018012662B1 (pt) 2023-04-25

Family

ID=62495700

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102018012662-8A BR102018012662B1 (pt) 2017-09-25 2018-06-20 Método de operação de um veículo aéreo não tripulado e veículo aéreo não tripulado

Country Status (8)

Country Link
US (1) US10788428B2 (pt)
EP (1) EP3460392A3 (pt)
JP (1) JP7260269B2 (pt)
KR (1) KR20190035496A (pt)
CN (1) CN109556577B (pt)
BR (1) BR102018012662B1 (pt)
CA (1) CA3006155C (pt)
SG (1) SG10201804546TA (pt)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735902B1 (en) * 2014-04-09 2020-08-04 Accuware, Inc. Method and computer program for taking action based on determined movement path of mobile devices
WO2018070354A1 (ja) * 2016-10-14 2018-04-19 富士フイルム株式会社 撮影計画生成装置、撮影計画生成方法、およびプログラム
GB2556644B (en) 2017-02-28 2018-11-28 Matthew Russell Iain Unmanned aerial vehicles
JP6957304B2 (ja) * 2017-10-13 2021-11-02 アルパイン株式会社 架線撮影システム及び架線撮影方法
US10620002B2 (en) * 2017-11-14 2020-04-14 Saudi Arabian Oil Company Incorporate wall thickness measurement sensor technology into aerial visual inspection intrinsically safe drones
WO2019106714A1 (ja) * 2017-11-28 2019-06-06 株式会社自律制御システム研究所 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
JP7012522B2 (ja) * 2017-12-01 2022-01-28 三菱電機株式会社 測定システム、測定指示装置、及びプログラム
US10776987B2 (en) * 2018-03-05 2020-09-15 Disney Enterprises, Inc. Aerial imaging high-accuracy scale calibration
US11238675B2 (en) 2018-04-04 2022-02-01 The Boeing Company Mobile visual-inspection system
WO2019236588A1 (en) 2018-06-04 2019-12-12 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
EP3818337B1 (en) * 2018-07-04 2024-01-17 H3 Dynamics Pte. Ltd. Defect detection system using a camera equipped uav for building facades on complex asset geometry with optimal automatic obstacle deconflicted flightpath
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
US11630083B2 (en) * 2018-12-21 2023-04-18 The Boeing Company Location-based scanner repositioning using non-destructive inspection
US20200264279A1 (en) * 2019-02-20 2020-08-20 Flir Surveillance, Inc. Rotatable light sources and associated pulse detection and imaging systems and methods
JP7213104B2 (ja) * 2019-02-27 2023-01-26 三菱重工業株式会社 無人航空機および検査方法
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
US10712286B1 (en) * 2019-04-23 2020-07-14 The Boeing Company Systems and methods for non-destructive evaluation of a structure
US11275391B2 (en) * 2019-05-13 2022-03-15 The Boeing Company In-service maintenance process using unmanned aerial vehicles
WO2021010907A2 (en) * 2019-06-07 2021-01-21 Ptt Exploration And Production Public Company Limited A system for steady movement toward a curved wall of an unmanned aerial vehicle (uav) and method for movement toward said curved wall
CN110371292A (zh) * 2019-06-25 2019-10-25 天津大学 一种无人机捕获回收装置
EP3767417A1 (en) 2019-07-15 2021-01-20 Ventus Engineering GmbH Method of performing an inspection and an airborne system therefore
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
CN110658844B (zh) * 2019-08-23 2022-06-14 中国南方电网有限责任公司超高压输电公司昆明局 一种特高压直流线路通道无人机监控方法及其系统
CN110702343B (zh) * 2019-09-20 2021-06-08 武汉中岩科技股份有限公司 一种基于立体视觉的挠度测量系统及方法
CN112580420A (zh) * 2019-09-30 2021-03-30 卡巴斯基实验室股份制公司 用于抵制无人驾驶飞行器的系统和方法
CN110769364B (zh) * 2019-10-16 2020-12-18 广东美嘉欣创新科技股份有限公司 一种无人机飞行数据及图像传输系统
KR102083132B1 (ko) * 2019-12-12 2020-02-28 우현선박기술 주식회사 초음파 두께 측정 기술과 영상 송출 기능을 탑재한 선박검사 및 측정용 드론 시스템
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN113064134B (zh) * 2019-12-16 2024-05-03 南京理工大学 基于改进模糊神经网络滤波的激光雷达回波处理方法
CN111103297B (zh) * 2020-01-20 2024-07-12 无锡市建筑工程质量检测中心 一种建筑外墙面层质量的非接触式检测方法及其检测系统
FR3106883B1 (fr) * 2020-01-30 2023-01-06 Horizon Data Services Procédé de mesure de diamètre d’organe cylindrique et dispositif d’aide à la mesure pour réaliser un tel procédé
CN111551173A (zh) * 2020-02-19 2020-08-18 中国人民解放军海军航空大学 一种使用外部测量仪测量飞行器航向输出的系统
US11555693B2 (en) * 2020-05-12 2023-01-17 The Boeing Company Measurement of surface profiles using unmanned aerial vehicles
JP7216046B2 (ja) * 2020-05-28 2023-01-31 中部電力株式会社 巡視点検システム
CN112631333B (zh) * 2020-12-25 2024-04-12 南方电网数字电网研究院有限公司 无人机的目标跟踪方法、装置及图像处理芯片
WO2022172987A1 (ja) * 2021-02-15 2022-08-18 株式会社Liberaware 作業システムおよび機体の制御方法
KR102610397B1 (ko) * 2021-06-08 2023-12-05 금오공과대학교 산학협력단 멀티 카메라 기반 드론을 이용한 객체추적방법 및 이를 이용한 객체추적시스템
CN113251940A (zh) * 2021-06-15 2021-08-13 湖南东润智能仪表有限公司 桥梁结构挠度测量装置
US11804038B1 (en) * 2021-06-22 2023-10-31 Amazon Technologies, Inc. Aerial array surveying of surfaces and subsurfaces
US11502729B1 (en) 2021-08-10 2022-11-15 The Boeing Company Methods for through-structure power and data transfer between mobile robots and sensor nodes
US11953309B2 (en) * 2021-09-22 2024-04-09 Lockheed Martin Corporation Automated non-contact thickness inspection and projection system using color-coded based patterns
CN113793367B (zh) * 2021-11-17 2022-02-15 西南交通大学 一种工程结构转角位移视觉测量及动力识别系统及方法
CN114148536B (zh) * 2021-11-29 2023-05-23 中国航空工业集团公司洛阳电光设备研究所 一种用于光电吊舱的线位移补偿控制方法
CN114353619B (zh) * 2021-12-08 2023-11-21 中航西安飞机工业集团股份有限公司 一种长标尺测量靶标之间距离的标定方法
CN114838710B (zh) * 2022-03-29 2023-08-29 中国一冶集团有限公司 基于无人机拍照的工程用快速的测绘方法及测绘系统
CN114852621A (zh) * 2022-05-05 2022-08-05 衡阳镭目科技有限责任公司 柴油发电机组输送系统、方法及存储介质
CN114789798B (zh) * 2022-06-27 2022-10-25 成都飞机工业（集团）有限责任公司 一种飞机舱门阶差预测方法、装置、设备及介质
CN115379123B (zh) * 2022-10-26 2023-01-31 山东华尚电气有限公司 一种用无人机巡检的变压器故障检测方法
CN116087235B (zh) * 2023-04-07 2023-06-20 四川川交路桥有限责任公司 一种多源耦合的桥梁损伤探测方法及系统

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2834660A1 (de) 1978-08-08 1980-02-21 Honeywell Gmbh Laser-entfernungsmesser
JP2003185783A (ja) * 2001-12-20 2003-07-03 Hitachi Ltd 炉内目視検査装置
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
JP4992405B2 (ja) * 2006-12-12 2012-08-08 株式会社デンソー 車載機器の操作装置
US7859655B2 (en) * 2007-09-28 2010-12-28 The Boeing Company Method involving a pointing instrument and a target object
US8214098B2 (en) 2008-02-28 2012-07-03 The Boeing Company System and method for controlling swarm of remote unmanned vehicles through human gestures
IL192601A (en) 2008-07-03 2014-07-31 Elta Systems Ltd Discovery / Transmission Device, System and Method
US8300096B2 (en) 2008-10-22 2012-10-30 Michael Franklin Abernathy Apparatus for measurement of vertical obstructions
GB0920636D0 (en) 2009-11-25 2010-01-13 Cyberhawk Innovations Ltd Unmanned aerial vehicle
US8744133B1 (en) 2010-10-04 2014-06-03 The Boeing Company Methods and systems for locating visible differences on an object
US9804577B1 (en) * 2010-10-04 2017-10-31 The Boeing Company Remotely operated mobile stand-off measurement and inspection system
US9221506B1 (en) 2011-07-18 2015-12-29 The Boeing Company Location tracking and motion control of automated marking device
CA2875266C (en) * 2012-06-18 2022-01-11 Collineo Inc. Remote visual inspection system and method
DE102013000410A1 (de) 2013-01-11 2014-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autonomen Navigation einer eigenfortbewegungsfähigen Plattform relativ zu einem Objektiv
US9453500B2 (en) * 2013-03-15 2016-09-27 Digital Wind Systems, Inc. Method and apparatus for remote feature measurement in distorted images
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
US9488589B2 (en) * 2013-10-29 2016-11-08 The Boeing Company Mapping damaged regions on objects
CN104298248B (zh) * 2014-10-08 2018-02-13 南京航空航天大学 旋翼无人机精确视觉定位定向方法
US9371133B2 (en) 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
CN110027709B (zh) * 2015-03-12 2022-10-04 奈庭吉尔智慧系统公司 自动化无人机系统
KR20160142482A (ko) * 2015-06-02 2016-12-13 고려대학교 산학협력단 건설용 무인 비행체 장치
EP3353614A1 (en) * 2015-09-22 2018-08-01 Pro-Drone Lda. Autonomous inspection of elongated structures using unmanned aerial vehicles
JP6375503B2 (ja) 2015-10-15 2018-08-22 株式会社プロドローン 飛行型検査装置および検査方法
US10012509B2 (en) * 2015-11-12 2018-07-03 Blackberry Limited Utilizing camera to assist with indoor pedestrian navigation
US9740200B2 (en) * 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9513635B1 (en) 2015-12-30 2016-12-06 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US10083616B2 (en) * 2015-12-31 2018-09-25 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
KR20170084966A (ko) 2016-01-13 2017-07-21 주식회사 이지시스 국소위치인식시스템
CN108780316B (zh) * 2016-02-29 2022-07-08 深圳市大疆创新科技有限公司 用于飞行装置的移动控制的方法和系统
JP6024074B1 (ja) * 2016-04-19 2016-11-09 株式会社ニチギ 写真撮影用無人移動体
US11203425B2 (en) * 2016-06-30 2021-12-21 Skydio, Inc. Unmanned aerial vehicle inspection system
CN106441278A (zh) * 2016-09-29 2017-02-22 长沙开元仪器股份有限公司 一种无人机室内定位系统及方法
US10724505B2 (en) * 2016-11-30 2020-07-28 Dji Technology, Inc. Aerial inspection in a movable object environment
DE102017117049A1 (de) * 2017-07-27 2019-01-31 Testo SE & Co. KGaA Verfahren zur Erstellung eines 3D-Modells von einem Objekt
US10317905B2 (en) * 2017-08-10 2019-06-11 RavenOPS, Inc. Autonomous robotic technologies for industrial inspection

Also Published As

Publication number Publication date
JP2019114234A (ja) 2019-07-11
CA3006155A1 (en) 2019-03-25
EP3460392A3 (en) 2019-08-07
US20190094149A1 (en) 2019-03-28
BR102018012662B1 (pt) 2023-04-25
SG10201804546TA (en) 2019-04-29
CA3006155C (en) 2023-03-07
EP3460392A2 (en) 2019-03-27
US10788428B2 (en) 2020-09-29
CN109556577B (zh) 2022-11-29
KR20190035496A (ko) 2019-04-03
BR102018012662A8 (pt) 2022-12-20
CN109556577A (zh) 2019-04-02
JP7260269B2 (ja) 2023-04-18

Similar Documents

Publication Publication Date Title
BR102018012662A2 (pt) Sistema de posicionamento para inspeção aérea não destrutiva
CN113029117B (zh) 飞行传感器
KR102001728B1 (ko) 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
US10234278B2 (en) Aerial device having a three-dimensional measurement device
US20210065400A1 (en) Selective processing of sensor data
EP3460393B1 (en) Methods for measuring and inspecting structures using cable-suspended platforms
CN108351654B (zh) 用于视觉目标跟踪的系统和方法
US11067388B2 (en) 3D asset inspection
US10599149B2 (en) Salient feature based vehicle positioning
US11127202B2 (en) Search and rescue unmanned aerial system
JP6375503B2 (ja) 飛行型検査装置および検査方法
WO2014063020A1 (en) Apparatus and method for determining spatial information about environment
KR102586491B1 (ko) 무인 수중 로봇 장치
US20240111311A1 (en) Control apparatus, base station, control method, and program
JP2024008901A (ja) ３次元データ生成システム、３次元データ生成方法、及びマーカーメジャー
CN114127510A (zh) 3d定位和测绘系统和方法

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]
B03H Publication of an application: rectification [chapter 3.8 patent gazette]

Free format text: REFERENTE A RPI 2519 DE 16/04/2019, QUANTO AO ITEM (54).

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 20/06/2018, OBSERVADAS AS CONDICOES LEGAIS