BR112020004609B1 - Drone e procedimento de navegação autônoma para rastreio de objetos - Google Patents

Abstract

Trata-se de um drone (1) e procedimento de navegação autônoma para rastrear objetos, nos quais sensores LiDAR e visão artificial do drone (1) são usados e que compreende: detectar tanto pela visão artificial calibrada quanto pelos sensores LiDAR pelo menos um objeto que rastreará o drone (1), medir um conjunto de características do objeto detectado usando o sensor LiDAR, estimar a posição relativa do drone (1) e o objeto detectado; ordenar que o drone (1) alcance um ponto de referência objetivo que pertence a um conjunto de pontos de referência que determinam uma trajetória, definindo o conjunto de pontos de referência com base nas características medidas do objeto detectado e na posição relativa estimada; uma vez que tenha sido atingido o ponto de referência para o robô (1), ajustar a trajetória redefinindo ponto de referência objetivo seguinte do conjunto de pontos de referência para manter o objeto detectado centralizado no sensor de visão artificial.

Description

CAMPO DA INVENÇÃO

[001] A presente invenção refere-se a veículos não tripulados (UAV, Veículos Aéreos Não Tripulados) e sistemas da aeronave pilotados a distância (RPAS, Sistemas de Aeronaves Remotamente Pilotadas) vulgarmente conhecidos como drones ou aeronaves não tripuladas, que usam computação de alto desempenho, visão artificial, fusão de sensores e software de navegação autônoma.

[002] Mais particularmente, a presente invenção se refere a um procedimento e dispositivo (drone) de navegação autônoma, especialmente para ambientes extremos, que têm aplicação na inspeção de componentes (por exemplo, componentes de um moinho de vento ou turbina eólica), coleta de objetos, para tarefas de limpeza, etc.

ANTECEDENTES DA INVENÇÃO

[003] Hoje, os drones podem ser aplicados em muitos campos. Por exemplo, técnicos humanos que inspecionam turbinas eólicas e seus componentes como pás para veículos aéreos não tripulados (UAVs) ou sistemas de aeronaves pilotadas remotas (RPAS) podem ser substituídos para evitar que esses técnicos altamente especializados trabalhem de maneira tediosa e dispendiosa, bem como para evitar acidentes enquanto o técnico sobe para tarefas de inspeção.

[004] Um exemplo de drones para esta finalidade específica é revelado no documento EP2527649A1, que se refere a um UAV para inspeção de componentes de uma turbina eólica. O UAV é direcionado para o componente que precisa ser inspecionado, que tem uma certa distância predefinida entre o UAV e o componente escolhido, para que imagens de alta resolução do componente possam ser coletadas através do UAV. Portanto, a inspeção com controle remoto é realizada para detectar automaticamente danos ao componente com base nas imagens coletadas pelo UAV ou nos dados de imagem resultantes (por exemplo, detectar padrões térmicos de gritos nas pás das turbinas eólicas). Os dados do GPS são usados para o controle remoto desse UAV.

[005] No entanto, uma detecção eficaz de danos aos componentes de um moinho de vento requer a obtenção de imagens de alta resolução a curta distância e, portanto, requer que o procedimento de navegação faça o UAV voar em relação à estrutura, e não use medições de posicionamento absoluto, como GNSS (GPS, GLONASS, Galileo, Beidou), referências visuais, sistemas de captura de movimento ou outros procedimentos.

[006] Por outro lado, a tecnologia LiDAR (Detecção e Alcance de Luz, medição e detecção de distância pela luz) é bem conhecida. O LiDAR é um procedimento de elevação que mede a distância de um alvo, iluminando o mesmo com uma luz de laser pulsada e que mede os pulsos refletidos com um sensor. Os sensores de digitalização LiDAR são amplamente usados em indústrias como levantamento topográfico, reconstrução 3D e robótica. As medições de LiDAR podem ser combinadas com medições inerciais e temporais para reconstrução precisa de superfícies e objetos em 3D. Isso agora está sendo amplamente usado em veículos autônomos, levantamento e reconstrução de objetos.

[007] Portanto, é altamente desejável fornecer um procedimento de navegação para um veículo aéreo não tripulado que permita ajustes de trajetória para detectar e rastrear objetos ou componentes individuais de uma estrutura enquanto navega uma distância relativa do objeto/estrutura.

SUMÁRIO DA INVENÇÃO

[008] A presente invenção resolve os problemas mencionados acima e supera as limitações de trabalho da técnica anterior estabelecidas, fornecendo um procedimento de navegação autônoma para um drone (UAV, RPAS) usando uma combinação de medições obtidas por um dispositivo de digitalização a laser LiDAR, que pode ser bidimensional (2D) ou tridimensional (3D), processamento de imagem e fusão de sensores inerciais.

[009] É revelado um dispositivo de navegação autônoma (drone) baseado no LiDAR para voar exatamente em torno de um alvo, que é um objeto individual ou uma estrutura composta de vários objetos a serem rastreados (por exemplo, uma turbina eólica), em que o drone é configurado para: - voar a uma distância predeterminada do alvo (por exemplo, a estrutura do moinho de vento). Essa distância pode ser variável ou fixa, mas sempre uma distância predeterminada, que é relativa do drone ao alvo. - manter o objeto (por exemplo, a estrutura do moinho de vento) centralizado na imagem gravada pela câmera do drone. O LiDAR e a câmera são calibrados de forma que, para cada quadro de imagem, o drone saiba quais pixels correspondem às medições de LiDAR. Isso permite manter um ou mais objetos da estrutura de destino (por exemplo, pás de turbinas eólicas) sempre centralizados em relação ao drone. - realinhar o drone em caso de rajadas do vento, rastreamento de pista impreciso ou correções. Se as medidas de LiDAR indicarem que a estrutura não está mais centralizada em relação à câmera, o drone poderá se realinhar instantaneamente. - manter a estrutura centralizada e a uma distância fixa, independentemente da orientação dos objetos (por exemplo, as pás do moinho de vento).

[010] Um primeiro aspecto da presente invenção se refere a um método de navegação autônoma para rastrear objetos, que compreende as seguintes etapas: - calibrar um sensor de visão artificial e um sensor LiDAR fornecido em um drone, - detectar, por meio de visão artificial calibrada e por sensores LiDAR, pelo menos um objeto que rastreie o drone, - medir um conjunto de características do objeto detectado usando o sensor LiDAR, - estimar a posição relativa do drone e o objeto detectado; - ordenar que o drone atinja um ponto de referência objetivo que pertença a um conjunto de pontos de referência que determinam uma trajetória, definindo o conjunto de pontos de referência com base nas características medidas do objeto detectado e na posição relativa estimada; - depois que o drone atingir o ponto de referência, ajustar a trajetória redefinindo um próximo ponto de referência objetivo dentre o conjunto de pontos de referência para manter o objeto detectado centralizado no sensor de visão artificial.

[011] Em um segundo aspecto da presente invenção, é revelado um dispositivo (drone) que implanta o procedimento de navegação autônoma descrito acima. O dispositivo compreende um dispositivo de digitalização LiDAR (2D ou 3D), sensor de visão artificial e meios de processamento de um computador de bordo (OBC, computador de bordo) configurado para executar o procedimento descrito acima.

[012] Em um aspecto final, a presente invenção fornece um programa de computador que compreende meios de código de programa de computador adaptado para executar os passos do método descrito, quando o dito programa é executado em meios de processamento de um dispositivo para navegação autônoma (UAV, RPAS, geralmente chamado drone).

[013] O setor eólico é um contexto principal de aplicação e uma oportunidade de negócios de maior potencial, mas a presente invenção também tem outras aplicações, principalmente focadas em estruturas irregulares ou treliça (não um cubo): Torres CSP (Concentrated Solar Energy, energia solar centralizada), torres de observação, torres de queda de parques de diversão, faróis, torres de rádio, torres de transmissão, pontes suspensas...

[014] O procedimento de navegação por drone e autônomo, de acordo com os aspectos da invenção descritos acima, tem várias vantagens sobre a técnica anterior, que podem ser resumidas da seguinte forma: - a presente invenção fornece medições mais precisas relacionadas ao objeto a ser rastreado pelo drone, pois seu voo pode ser ajustado o tempo todo para obter imagens de alta resolução. Em uma aplicação específica, a invenção constitui uma plataforma autônoma para inspeção de pás de turbinas eólicas, independentemente de seu tamanho, localização geográfica e orientação. Isso é alcançado devido à implantação e às tecnologias de navegação relativas baseadas no LiDAR e à visão artificial aplicada à navegação em torno de turbinas eólicas, e à manutenção da plataforma centralizada em relação à estrutura do moinho de vento em todos os momentos.

[015] - A presente invenção também fornece um método que é compatível e repetível, independentemente das condições do vento e da geometria do moinho de vento. As medições LiDAR garantem o rastreamento e a centralização corretos das pás de imagem que não podem fornecer posicionamento GNSS e pilotagem humana. Os resultados são repetíveis e consistentes com cada voo, tornando-o um procedimento confiável e manipulável ao longo do tempo.

[016] - A presente invenção elimina a necessidade de interação humana, tornando a plataforma completamente autônoma e executando um procedimento automático, independentemente da geometria da estrutura do moinho de vento.

[017] - A presente invenção reduz consideravelmente os tempos de inspeção, pois permite que o UAV siga um caminho ideal com mais precisão. Sem a tendência a imprecisões do GNSS ou intervenção humana.

[018] Essas e outras vantagens ficarão evidentes em vista da descrição detalhada da invenção.

DESCRIÇÃO DOS DESENHOS

[019] A fim de ajudar a entender as características da invenção, de acordo com uma modalidade prática preferencial da mesma e para complementar esta descrição, as figuras a seguir são anexadas como parte integrante da mesma, as quais têm uma natureza ilustrativa e não limitativa: A Figura 1 mostra um contexto de aplicação de um dispositivo de navegação autônoma para rastrear uma turbina eólica, de acordo com uma modalidade preferencial da invenção. A Figura 2 mostra uma máquina de estado simplificada de um sensor LiDAR no dispositivo de navegação autônoma para detectar a turbina de energia eólica. A Figura 3 mostra os pontos de referência da trajetória e os limites de altitude para decolagem e aterrissagem do dispositivo de navegação autônoma. A Figura 4 mostra uma manobra de subida do dispositivo de navegação autônoma para salvar o moinho de vento. A Figura 5 mostra um fluxograma de controle do dispositivo de navegação autônoma. A Figura 6 mostra um caminho de viragem do dispositivo de navegação autônoma. A Figura 7 mostra um caminho de rotação orbital do dispositivo de navegação autônoma. A Figura 8A mostra um ajuste de trajetória reativa do dispositivo de navegação autônoma quando a pá está muito perto. A Figura 8B mostra um ajuste de trajetória reativa do dispositivo de navegação autônoma quando a pá está muito longe. A Figura 8C mostra um ajuste de trajetória reativa do dispositivo de navegação autônoma quando a pá não está centralizada.

MODALIDADE PREFERENCIAL DA INVENÇÃO

[020] O conteúdo definido nesta descrição detalhada é fornecido para auxiliar na compreensão abrangente da invenção. Por conseguinte, aqueles versados na técnica reconhecerão que alterações e modificações derivadas das modalidades descritas neste documento podem ser feitas sem se afastar do escopo e espírito da invenção. Além disso, a descrição de funções e elementos conhecidos para clareza e concisão é omitida.

[021] É claro que, as modalidades da invenção podem ser implantadas em uma variedade de sistemas de arquitetura ou dispositivos de navegação ou drones. Qualquer implantação ou projeto arquitetônico específico aqui apresentado é fornecido apenas para fins de ilustração e entendimento e não se destina a limitar aspectos da invenção.

[022] Uma modalidade preferencial da invenção se refere a um procedimento de navegação por drone (1) para detectar e rastrear partes individuais de um moinho de vento (10) que compreende, como mostrado na Figura 1, os seguintes objetos a serem rastreados: as pás (11, 11’), o mastro (12) e a gôndola (13). Esse procedimento é usado principalmente para detectar a orientação do moinho de vento (10) e ajustar a posição do drone (1) para que fique na frente da gôndola (13) para iniciar a inspeção. O procedimento proposto também é usado para detectar a extremidade das pás (11, 11’) e para ajudar a fazer curvas circulares, mantendo uma distância constante da ponta das pás (11, 11’). O funcionamento básico desse drone (1) é o seguinte: - o operador localiza as pás do moinho de vento (11, 11’) de modo que uma pá (11) aponte para o céu o mais verticalmente possível, criando um formato Y invertido. - O drone (1) é colocado na frente da gôndola (12) para iniciar a inspeção. - A pá vertical (11) é inspecionada verticalmente com giros de 90 graus e as outras duas pás (11’) são inspecionadas, primeiro a borda anterior, depois a borda posterior e as duas caixas. - o drone (1) pousa na posição de decolagem ou no chão (20).

[023] O drone (1) inspeciona a pá vertical (11) da seguinte maneira: - decola e atinge uma altitude predeterminada, de preferência 10 metros, e a distância ao mastro do moinho de vento (12) e a largura da estrutura são medidas. - A subida começa na frente do mastro (12), enquanto acompanha a estrutura através das medições de distância LiDAR e determina continuamente a largura. - Uma e depois duas das pás (11’) são detectadas enquanto sobem e rastreiam o mastro (12). - O mastro (12) e as pás (11’) continuam subindo e seguindo até serem unidos em uma estrutura circular, isto é, a gôndola (13) para determinar a posição e a orientação do drone (1) em relação à gôndola (13). - A posição do drone (1) é ajustada para que seja centralizada em relação à gôndola (13) e a uma distância fixa. - Uma altura predeterminada é verificada e se aproxima do início da terceira pá (11) a uma distância fixa. - Sobe pela terceira pá (11), a mais vertical, que pode ser bastante inclinada, mantendo a pá vertical (11) centralizada em relação à câmara do drone (1). - Gira 90 graus no sentido anti-horário na ponta da pá vertical (11) para inspecionar o outro lado. - Desce ao rastrear a pá vertical (11), a posição é ajustada para manter a câmera centralizada na pá vertical (11). - Gira 90 graus no sentido anti-horário em um quarto de círculo na ponta da pá vertical (11) para inspecionar o outro lado. - Sobe ao rastrear a pá vertical (11) e ajusta a posição para manter a câmera centralizada na pá vertical (11). - Gira 90 graus no sentido anti-horário em um quarto de círculo na ponta da pá vertical (11) para inspecionar o outro lado. - Desce ao rastrear a pá vertical (11) e ajusta a posição para manter a câmera centralizada na pá vertical (11). - Gira 90 graus no sentido anti-horário em um quarto de círculo na ponta da pá vertical (11) para inspecionar o outro lado. - Volta para pousar no chão (20) enquanto mantém a estrutura do moinho de vento (10) a uma distância segura.

[024] O drone (1) inspeciona as outras duas pás (11’) da seguinte maneira: - A borda anterior é rastreada através de uma linha aproximadamente 30 graus abaixo da linha horizontal. - Gira 180 graus para inspecionar a borda posterior. - A borda posterior é rastreada através de uma linha aproximadamente 30 graus abaixo da linha horizontal. - Gira 90 graus para inspecionar a carcaça superior da pá (11’). - Desce em um ângulo de 30 graus enquanto rastreia a pá (11’). - Desce até a carcaça inferior da pá (11’). - Sobe com um ângulo de 30 graus. - Continua até o próximo local e repete o procedimento anterior.

[025] Para rastrear objetos, o drone (1) compreende pelo menos um sensor LiDAR, que pode medir a distância a uma superfície ou várias superfícies a cada medição. As informações fornecidas por cada medição LiDAR a partir do sensor LiDAR podem ser usadas para determinar a largura, a altura e a distância até vários objetos ao mesmo tempo, e rastrear esses objetos ao longo do tempo com as medições sucessivas. Primeiro, todas as medições do sensor LiDAR cuja distância está mais próxima ou além de um limite de interesse são descartadas, por meio de um algoritmo de segmentação executado por meios de processamento, um computador de bordo, do drone (1). Além disso, um filtro remove medições isoladas em termos de distância relativa para evitar dados de ruído. As medições são então agrupadas de acordo com a distância relativa, usando um limite adequado para o modelo de turbina eólica. Por exemplo, a união da pá (11, 11’) com a gôndola (13) não pode ser considerada um único objeto, pois a gôndola (13) está vários metros mais próxima que a pá (11, 11’). Para esse caso específico, é interessante adaptar o limite para poder segmentar esses objetos em vez de obter um único objeto que pode ser submetido a processamento adicional. O resultado dessa segmentação é uma série de objetos LiDAR identificados pela posição das amostras. Em seguida, o drone (1) aplica um algoritmo de rastreamento a cada série detectada de objetos segmentados, a fim de descartar aqueles objetos que não persistem no tempo, como medições com ruído, objetos voadores ou insetos ou qualquer outro evento transitório. Para cada série de objetos segmentados, cada objeto é verificado em relação aos objetos rastreados no momento. Para cada objeto LiDAR segmentado, um conjunto de atributos ou características é calculado para esse rastreamento: se as características do objeto corresponderem a qualquer objeto rastreado, a nova posição será atualizada e o objeto permanecerá rastreado; se as características não corresponderem a nenhum objeto recebido durante várias leituras, o rastreamento será perdido e o objeto será removido da lista. Para evitar a perda de rastreamento devido a medições de ruído LiDAR, existe um limite para medições consecutivas quando o objeto é perdido. Isso significa que, se um objeto for ocluído por algumas iterações, o mesmo não será perdido. A saída do algoritmo para cada varredura de LiDAR é uma série de objetos rastreados com identificador, características e status de rastreamento. Considerando que um objeto LiDAR é um grupo de leituras de LiDAR definidas por distâncias e ângulos, são calculadas as seguintes características: distância média, distância projetada, largura, altura, ângulo esquerdo, ângulo reto, ângulo superior e ângulo inferior. Essas características e identificador são suficientes para detectar as partes do moinho de vento. A detecção de turbinas eólicas usa os objetos rastreados para corresponder a um padrão de pesquisa com base na navegação nas turbinas eólicas. Isso utiliza conhecimento prévio da forma do moinho de vento e da rota de navegação. Por exemplo, sabe-se que quando o drone (1) está de frente para a torre ou o mastro (12), nenhum objeto pode estar próximo à turbina eólica acima de uma certa distância do solo (20). O algoritmo de detecção de turbina eólica, cuja máquina de estado é mostrada na Figura 2, para procurar o mastro (12) inicia após um limiar de altura para evitar vegetação e objetos baixos e procurar um objeto de certa largura na região central. Usando essas informações, uma máquina de estados pode definir os estados de navegação e as possíveis transições e eventos. Como o dispositivo de digitalização LiDAR tem um campo de visão reduzido, os objetos rastreados não aparecem como objetos completos e essa situação força os estados de navegação a serem adaptados para corresponder aos objetos parciais nas posições desejadas.

[026] A Figura 2 apresenta um esquema simplificado de estado e transições para configurar o drone (1) para detectar o moinho de vento (10) pelo LiDAR. O status “torre de rastreamento” é alcançado assim que um objeto centralizado dentro dos limites desejados de distância e largura aparece durante algumas iterações consecutivas. Embora seja um algoritmo simples, é muito robusto devido ao fato de que nenhum objeto deve estar na área ao redor do mastro (12). A máquina de estados está nesse estado enquanto o objeto ou as duas pás (11’) são rastreadas, as pás (11’) não estão na posição vertical, mas na posição inferior, as mesmas aparecem em cena. As condições de rastreamento são muito permissivas para evitar a perda do objeto devido a vibrações, oclusões temporárias ou leituras de ruído. O evento “duas pás detectadas” aciona a transição para o estado “torre de rastreamento e pás inferiores”. Esse evento ocorre quando dois objetos aparecem à esquerda e à direita do objeto rastreado anteriormente, ou seja, a torre ou o mastro (12). Eventualmente, esses três objetos convergem para a gôndola (13) em alguma iteração, o que desencadeia a transição para “rastrear gôndola”. Esse estado é muito importante devido ao fato de que a altura da gôndola (13) é usada para calcular o prisma de navegação. Finalmente, quando um novo objeto alinhado com a gôndola (13) aparece em cena, mas mais distante e mais estreito, a transição para o estado de “pá de rastreamento” é acionada. Esse estado, que rastreia a pá vertical (11), produzirá uma transição para a “dica de rastreamento” quando o final do objeto for detectado na parte superior.

[027] Para adicionar mais robustez à detecção LiDAR, a visão artificial combinada com a navegação LiDAR é aplicada. Nos estágios de navegação a seguir, os mesmos estados da máquina simplificada são repetidos com pequenas variações. Além disso, são utilizadas informações de etapas anteriores, como a posição da gôndola (13). Como as leituras de LiDAR podem ser calibradas para corresponder a pixels na câmara do drone (1), o resultado da calibração é uma matriz de rotação e uma matriz de translação que projetam medições de LiDAR no sistema de referência de imagem. A calibração permite que a medição LiDAR seja exibida em uma imagem em escala de cinza ou RGB 2D. Essa calibração fornece uma série de medições com distância, posição x e y, na imagem para cada quadro capturado pela câmera. Isso é muito útil para melhorar os algoritmos de visão artificial, pois adiciona informações detalhadas à imagem. Por exemplo, quando a gôndola (13) é detectada usando o LiDAR, um algoritmo de visão artificial para detectar a gôndola (13) pode adicionar robustez e precisão. O algoritmo de visão artificial procura três pás (11, 11’), cada pá pode ser considerada um par de segmentos paralelos, que convergem em um ponto central, separados por ângulos de 120 graus. Os resultados do LiDAR mostram quais pixels da imagem estão próximos às bordas da pá (11, 11’). Em uma modalidade preferencial da invenção, a gôndola (13) é detectada quando o LiDAR e a visão artificial relatam sua detecção.

[028] Embora os recursos de detecção e rastreamento de moinhos de vento fornecidos pelo LiDAR, como descrito acima, tornem, em teoria, a navegação indiferente quanto às dimensões e posição do moinho de vento (10), é desejável forneça uma estimativa inicial da posição relativa do drone (1) e da base (30) do mastro do moinho de vento, bem como das principais dimensões do moinho de vento (10). Isso é para tornar a navegação mais segura e robusta em relação aos erros dos sensores do drone e às incertezas ambientais. Todos os locais de destino são definidos como posições nas quais se supõe que o RPAS esteja estabilizado horizontalmente, ou seja, os ângulos de inclinação e rotação são nulos. Portanto, os pontos de referência correspondentes a esses objetivos P podem ser definidos como uma série de quatro elementos: as três coordenadas cartesianas lineares (x = para a frente, y = para a esquerda e z = para cima) e a direção angular θ. P = [x, y, z, θ]

[029] Esse esquema de navegação pressupõe que o drone (1) esteja configurado e armado em terreno plano, a uma distância de 10 a 20 metros do mastro do moinho de vento (12) e voltado aproximadamente para o mesmo, de modo que é garantido que o objeto mais próximo detectado pelo LiDAR após a decolagem seja o próprio mastro (12).

[030] Como mostrado na Figura 3, após a configuração e inicialização da inspeção, o local inicial PH = [0, 0, 0, 0] é definido como a posição atual do drone (1) e é solicita uma manobra de decolagem convencional automatizada. Quando um limite mínimo de altitude de decolagem z T é atingido, o computador de bordo, OBC, do drone (1) assume o controle e inicia as ordens de navegação para um ponto de referência inicial diretamente acima do local começando a uma altitude 3 m acima do referido ponto de referência inicial PT= [0, 0, 0, zT+ 3]. Depois que um voo de inspeção nominal é concluído, o OBC ordena que o drone (1) navegue até um ponto de referência final PL = [0, 0, 0, zL- 3], diretamente acima do local de rumo a uma altitude 3 m abaixo do limite máximo de altitude de aterrissagem (zL). Uma vez atingido esse limite, é ordenada uma manobra de aterrissagem convencional automatizada que visa o local de partida e o OBC libera o controle. O objetivo desses limiares de altitude e as margens entre os mesmos e os pontos de referência inicial/final, conforme mostrado na Figura 3, é garantir transições de controle seguras e robustas entre OBC e manobras automatizadas de decolagem/pouso. No caso de níveis críticos de bateria fraca ou comportamento anormal, o piloto humano pode interromper instantaneamente a navegação a qualquer momento, acionando um retorno automático à manobra de partida. Essa manobra segue um dos dois comportamentos possíveis: a. Se o drone (1) estiver horizontalmente a 10 m da posição inicial PH ou estiver inspecionando as carcaças das pás (11’) oblíquas por baixo, o drone (1) navegará horizontalmente diretamente para o local verticalmente acima da posição inicial, e depois desça até ela e aterre. b. Se o drone (1) estiver horizontalmente a mais de 10 m da posição inicial PH e não estiver inspecionando as carcaças das pás (11’) oblíquas por baixo, o drone (1) subirá primeiro verticalmente para um limite de altitude definido (zS), navegue horizontalmente para o local verticalmente acima da posição inicial e, finalmente, desça até ele e aterrisse. Essa manobra de subida adicional, como mostra a Figura 4, é realizada para garantir que a estrutura do moinho de vento seja salva. Portanto, o limiar de altitude (zS) corresponde à soma da altura da gôndola do moinho de vento (nH), a altitude compensada em relação ao solo (gAO) entre a base (30) do mastro do moinho de vento e a localização inicial do RPAS (H), o raio da gôndola n D/2, n D indicando o diâmetro da gôndola, o comprimento da pá (bL) mais uma margem de segurança de 20 metros, ou seja, zS = nH + gAO + nD/2 + bL + 20

[031] O limiar de altitude (zS) do segundo caso descrito acima atua em ambas as direções, o que significa que se durante a operação normal o drone (1) atingir esse nível de altitude, o que indica um comportamento indefinido/anômalo de subida, será gerado automaticamente para abortar, fazendo com que o drone (1) retorne à posição inicial e aterre. Além desse retorno automatizado à manobra de partida, o piloto humano pode cancelar as ordens OBC do drone (1) a qualquer momento, assumindo o controle manual do drone (1) e fazendo com que ele caia com o controle de rádio.

[032] A Figura 5 mostra um fluxograma dos diferentes comportamentos de controle mencionados acima para manobrar o drone (1).

[033] Após a inicialização da inspeção revelada acima, um esquema dos principais pontos de referência de navegação é previamente configurado de acordo com a posição e as principais dimensões do moinho de vento (10), bem como as distâncias de inspeção da pá desejado na seção mais estreita da pá (11, 11’), que é a ponta, e na seção mais larga da pá (11, 11’), que é a linha de cabo de seção transversal mais longa da carcaças Esses pontos de referência estabelecem os locais iniciais e objetivos de cada trajetória a ser executada durante uma inspeção completa do moinho de vento, o primeiro e o último pontos de referência correspondentes aos pontos de referência pós-decolagem e pré-pouso mencionados acima. Um total de 24 pontos de referência são definidos para as fases de inspeção da pá, correspondendo aos pontos de referência na frente das extremidades da ponta e da raiz da pá para cada um dos quatro lados, ou seja, borda anterior/ataque, borda traseira/traseira e caixas inferior/superior de cada uma das três pás (11, 11’). Além disso, fatores de margem de segurança são aplicados à altura da gôndola (n H) e ao comprimento da pá (bL) para obter estimativas conservadoras e garantir que a altitude da gôndola e o comprimento da pá sejam salvos para evitar colisões. Com isso em mente, os pontos de referência da inspeção da pá são definidos radialmente em torno do eixo de rotação da gôndola (13). A distância do referido eixo aos pontos de referência da inspeção de raiz é igual ao diâmetro (n D) da gôndola (13), enquanto a distância do eixo aos pontos de referência da inspeção de ponta é igual ao comprimento pá (bL). Ambas as distâncias radiais são modificadas pelos fatores de margem de segurança mencionados acima. Um ponto de referência de controle de gôndola adicional PN é definido, a uma distância pré-configurada dN da gôndola (13) e alinhado com seu eixo como local de entrada/saída a ser visitado antes/após as fases de inspeção de pá. A suposição inicial é que o eixo da gôndola esteja perfeitamente alinhado com a direção de decolagem do drone (1). Os 8 pontos de referência correspondentes às fases de inspeção de cada uma das três pás (11, 11’) obedecem a várias condições de posicionamento relativo que as configuram como os cantos de um prisma trapezoidal, com losangos como faces inferiores/superiores paralelas. Esses losangos são desiguais, mas suas diagonais se alinham, sendo um deles paralelo ao plano que contém os eixos basais de três pás (11, 11’) e a outra diagonal perpendicular ao mesmo. Na configuração em que a gôndola (13) é travada, isso implica que uma das diagonais esteja alinhada com a linha do cabo das pás, que liga as arestas dianteira e traseira de cada seção transversal, enquanto a outra é perpendicular a ele. O pressuposto inicial é que a camada de topo de todos os prismas é um quadrado com diagonais igual a duas vezes a distância para inspeção desejada na ponta, dt, das pás (11, 11’). Além disso, a face de base tem uma diagonal menor com o mesmo comprimento e uma diagonal com um comprimento de duas vezes a distância para inspeção desejada na raiz, dR, as pás (11, 11’) da pá. As coordenadas de todos esses pontos de referência estão sujeitas a modificações em voo para levar em consideração as dimensões/posição reais do moinho de vento (10) ou erros acumulados no sensor. No entanto, quando um desses pontos de referência é modificado, a correção é propagada para o restante, satisfazendo um conjunto de suposições: - Correções cartesianas, horizontais e de altitude, do ponto de referência de controle de gôndola PN também sãofeitas para todos os pontos de referência de inspeção da pá, ou seja, a diferença de altitude ou posição horizontal é aplicada a todos os pontos de referência como translação pura. - Propagam correções de curso no controlo de referência nacela P N para pá todos os pontos de referência de controlo da rotação da diferença na posição do ângulo em torno do eixo vertical que passa através da posição estimada corrigido mastro, isto é, uma vez aplicadas as correções cartesianas. - Somente as correções normais são propagadas nos pontos de referência da inspeção da pá dentro da face correspondente inferior/superior do prisma, mantendo as modificações dos dois losangos desacopladas. Essa propagação pode ocorrer de duas maneiras: - ) Se o ponto de referência modificado for o primeiro a ser visitado na face correspondente inferior/superior do prisma, a diferença em suas coordenadas cartesianas será aplicada como translação pura para o restante dos pontos de referência pertencentes à mesma face do prisma. - i) Se outro ponto de referência tiver sido visitado anteriormente na mesma face superior/inferior do prisma, a correção será propagada para que o losango definido pelos dois últimos pontos de referência visitados e a direção de ambas as diagonais do losango sejam mantidos. Esses valores conhecidos determinam o comprimento do lado do losango e os vetores da unidade interna e do semiângulo de suas diagonais de primeiro/segundo canto, para que seu terceiro e quarto cantos possam ser corrigidos. - As correções radiais são propagadas na face da ponta de qualquer prisma diretamente como translações puras iguais ao restante dos pontos de referência pertencentes à mesma face da ponta. Para a pá vertical (11), essa translação afeta apenas a coordenada da altitude, enquanto que para as pás oblíquas (11’), também afeta as coordenadas horizontais de acordo com o ângulo de inclinação da gôndola (13) e o ângulo de inclinação pá correspondente: aproximadamente ± 120 graus em relação à direção ascendente ou aproximadamente ± 30 graus em relação ao plano horizontal.

[034] As transições entre esses pontos de referência podem ser feitas aplicando os seguintes tipos de caminhos: - Trajetória reta: o ponto de referência inicial (P S) e o ponto de referência final (P F) são unidos por uma linha reta e têm direções idênticas, para que permaneçam constantes durante toda a manobra. As coordenadas cartesianas lineares variam linearmente com um parâmetro de interpolação t S de acordo com os valores das coordenadas inicial e final, conforme mostrado na equação 1: - Curva: a manobra é dividida em três etapas, nas quais qualquer variação de curso é concentrada em um único giro de ponto, executado entre duas translações puramente laterais, com mancais constantes, cobrindo a distância entre os pontos de referência inicial e final. Isso resulta em um caminho reto inicial do ponto de referência inicial (PS) até um primeiro ponto de referência intermediário (PC1), uma rotação de ponto entre PC1 e um segundo ponto de referência intermediário (PC2) e um caminho linha final de PC2 até o ponto de referência final (PF), conforme descrito na equação 2 e ilustrado na figura 6.

[035] - Giro orbital: a manobra é executada como um curso contínuo e uniformemente variável com o qual o drone é movido lateralmente (1), seguindo um arco que cruza os pontos de referência objetivos inicial e final com seu centro de curvatura na interseção das direções inicial e final do drone (1). A trajetória resultante é definida pela interseção ([xR e yR]) das linhas definidas pelas coordenadas horizontais e os ângulos de direção do ponto inicial de referência (PS) e o ponto final de referência (PF) e a distância a partir de qualquer um destes pontos de referência (PS, PF) para a referida interseção ([xR, e yR]), seguinte equação 3 como mostrado na figura 7.

[036] Os trajetos gerados anteriormente determinados pelos pontos de referência descritos acima são válidos para uma inspeção satisfatória apenas no caso de um conhecimento perfeito em todos os momentos de todas as dimensões do moinho de vento (10), posições das pás (11, 11’) e localização GPS do drone (1). Como essas suposições não são atingíveis, é necessário fazer uma série de ajustes de trajetória de acordo com as detecções de objetos descritas e o rastreamento do moinho de vento pelo LiDAR, para corrigir quaisquer erros ou incertezas nos dados acima mencionados. A natureza e o propósito de estes ajustes é: - encontrar o alinhamento correto com o eixo da gôndola (13), ou seja, o curso normal do plano formado pelas três pás (11, 11’), para varrer ao longo das caixas e das bordas da pá o mais perpendicularmente possível e capaz de localizar com precisão qualquer dano detectado. Quando voltas orbitais são usadas, o ajuste é independente do local de decolagem em relação à gôndola (13), pois uma única volta contínua será suficiente para alcançar o local correto. No entanto, no caso de voltas, como descrito acima, a manobra de ajuste pode envolver: - não virar se decolar em frente à gôndola (13). - fazer um giro se decolar lateralmente para a gôndola (13). - fazer dois giros se decolar por trás da gôndola (13). - encontrar a altura correta da gôndola (13), que é a altitude na qual as duas pás inferiores (11’) e o mastro (12) convergem conforme detectado pelo LiDAR, para evitar colisões ao navegar nas proximidades da projeção traseira da gôndola ou sem atingir a raiz das pás nas filmagens de inspeção. Isso pode envolver: - aumentar a subida inicial, aumentando gradualmente o local de destino em um valor fixo, nos casos em que não houve detecção da gôndola (13) pelo LiDAR quando a altitude inicialmente estimada for atingida. - encurtar a subida inicial, terminando instantaneamente a manobra, nos casos em que a detecção pelo LiDAR já ocorreu antes de atingir a altitude inicialmente estimada. - encontrar o local correto da ponta das pás (11, 11’) usando LiDAR, ou seja, no caso 3D, a ponta é detectada; no caso 2D, a posição é aquela em que a pá inspecionada não é mais detectada, para garantir que a ponta das pás (11, 11’) seja capturada nas filmagens de inspeção. Isso pode envolver: - aumentar a varredura ao longo da pá (11, 11’), aumentando gradualmente a distância desde o início da manobra até o local de destino em um valor fixo, nos casos em que a detecção da ponta não ocorreu pelo LiDAR quando o objetivo inicialmente estimado é atingido. - encurtar a varredura ao longo da pá (11, 11’), terminando instantaneamente a manobra, nos casos em que a detecção pelo LiDAR da ponta já ocorreu antes de atingir o objetivo inicialmente estimado. - manter as pás centralizadas e na distância de inspeção desejada (dI) para obter cobertura total e tiro focado para uma inspeção completa dos danos. A distância desejada da pá (11, 11’) pode ser calculada de acordo com diferentes critérios: - Distância constante, na qual a pá (11, 11’) é mantida na mesma distância, independentemente da altitude e do lado sob inspeção, como na equação 4. Isso é ideal para câmeras com um campo de foco raso e casos em que a ocupação da imagem da pá (11, 11’) não é crítica. Na equação 4: os símbolos ‘b’, ‘s’ e ‘e’ indicam o identificador da pá, o lado e a extremidade inspecionados, respectivamente. Os símbolos ‘A’, ‘L’, ‘E’ e ‘U’ indicam os diferentes lados de uma pá: aresta dianteira (dianteira), minúscula, aresta traseira e maiúscula, respectivamente. Ocupação constante da imagem, na qual a parte da imagem ocupada pela pá (11, 11’) é mantida de acordo com a largura da pá detectada pelo LiDAR e as características da câmera com a qual o drone (1) está equipado. Isso é ideal para maximizar a quantidade de detalhes obtidos nas seções mais estreitas, ou seja, a ponta da pá pelas bordas, enquanto obtém uma visão total das seções mais largas, que é a raiz da pá nas caixas. - Distância interpolada, na qual a distância permanece constante nas bordas da pá (11, 11’) devido à sua largura aproximadamente constante, mas é interpolada linearmente com a razão entre a distância da localização atual e a raiz da pá. A pá (11, 11’) que é inspecionada pelo comprimento total rR da pá (11, 11’), calculando-se rR(b, s, x, y, z), usando a equação 5. As equações resultantes, mostrados na equação 6, são uma simplificação útil do critério de ocupação de imagem constante mostrado acima, que não garante uma ocupação constante, mas mantém a maioria de seus benefícios sem a necessidade de calcular explicitamente a ocupação da imagem da pá (11, 11 ’).

[037] Uma vez que a posição desejada é obtida de acordo com as detecções de objetos por meio do LiDAR e do rastreamento do moinho de vento, um ou mais dos três tipos diferentes de ajustes são usados para corrigir a trajetória seguida pelo drone (1): - Reativo: a posição desejada ajustada é usada para atualizar o objetivo imediato do drone (1), o objetivo final da manobra ou um objetivo intermediário da trajetória, enquanto a execução da manobra é continuada. Isso garante um ajuste reativo contínuo para o drone (1) se ajustar suavemente a qualquer alteração no caminho desejado assim que o LiDAR o detectar, conforme representado pelos caminhos de linha contínuos nas Figuras 8A-8C. Somente se a magnitude do erro (ou erros) da posição do drone (1) exceder os limites predefinidos, o ajuste reativo interromperá o progresso da manobra, criando um alvo de ajuste ad-hoc, até o erro (ou erros) são retornados dentro de níveis aceitáveis e a manobra é retomada, conforme mostrado pelos caminhos da linha tracejada nas Figuras 8A-8C. Esses limites garantirão que: - a pá (11) não está muito próxima, ou seja, o erro entre a distância de inspeção desejada (di) e a distância real Δd = d-di, para a pá (11) é menor que um limite negativo configurável (dC), para evitar o risco de colisão e garantir que a imagem seja focada, como mostra a Figura 8A. - A pá (11) não está demasiada longe, ou seja, o erro de distância é maior do que um limiar positivo configurável (dF), a fim de assegurar que a imagem está focada e prevenir o desvio excessivo do caminho desejado, como mostrado na Figura 8B. - A pá (11) está dentro do campo de visão da câmera, ou seja, o ângulo máximo da pá detectado pelo LiDAR (ΘM) é menor em valor absoluto do que um limite configurável (ΘO), de modo que ambas as bordas estão dentro da imagem capturada, como na figura 8C. isto é conseguido tornando o referido limiar menor ou igual à metade do campo de visão horizontal da câmera com a qual o drone (1) está equipado. Esses tipos de configurações reativas são uma alta prioridade da estratégia de navegação, pois é necessária uma captura completa das filmagens em todo o conjunto de caminhos de varredura de todas as pás para permitir uma detecção total de danos. - Preditivo: se a atual posição desejada do drone (1) não for o objetivo final da manobra, mas um objetivo intermediário da trajetória, o ajuste pode ser extrapolado para ajustar o objetivo final da manobra de acordo. A extrapolação depende do tipo de manobra, suas características e seu ponto de referência inicial. Esse tipo de ajuste visa minimizar a magnitude dos ajustes reativos e a probabilidade de ultrapassar os limites de parada da manobra na parte restante da manobra, tornando a trajetória mais suave e eficiente. - Corretor: quando o objetivo final de uma manobra de inspeção é atingido, são realizadas manobras de ajuste específicas para melhorar a localização do ponto de referência correspondente. Uma vez concluída a manobra de ajuste, ela é propagada incrementalmente para os pontos de referência que ainda não foram visitados. Esses tipos de ajustes têm um duplo objetivo: - tornar as localizações inicial e objetiva das manobras restantes o mais precisas possível, a fim de minimizar a frequência e a magnitude dos ajustes reativos/preditivos. - garantir que as áreas de interesse especial, como as raízes e as pontas das pás (11, 11’), sejam capturadas filmando a inspeção com excelente extensão e cuidado.

[038] Todos os ajustes e planejamento de trajetória descritos são gerenciados e calculados pelo drone OBC (1). Isso é feito de acordo com os dados de configuração e os pedidos de controle remoto de cancelamento recebidos da interface do usuário, ou seja, tablet/laptop e controle de rádio e dados do sensor fornecidos pela câmera/sensor LiDAR e pelo piloto automático. A trajetória e os ajustes resultantes são então enviados como comandos de posição/velocidade ao piloto automático, que os converte nos sinais de controle apropriados para acionar os motores do drone (1) para executar o movimento desejado de maneira estabilizada. As ditas ordens transmitidas do OBC para o piloto automático podem ser de dois tipos diferentes: - ordens intermediárias de posição alvo transmitidas ao piloto automático, que ordena que o drone (1) atinja a posição desejada. Isso é adequado apenas para pilotos automáticos que podem executar um controle de posição interno. Nesse caso, o objetivo do piloto automático corresponde à localização do caminho intermediário que o drone (1) deve alcançar para avançar em direção ao objetivo final enquanto efetivamente acompanha a trajetória. - Ordens de velocidade linear e angular transmitidas ao piloto automático, que por sua vez controla a posição de voo do drone (1) para atingir as velocidades desejadas de maneira estabilizada. Nesse caso, as posições objetivas intermediárias do caso anterior não são transmitidas diretamente, mas são usadas internamente pela CBO para calcular o erro de posição do drone (1) e calcular as velocidades desejadas necessárias para corrigi-lo e alcançar Maneira suave que local desejado. Esse tipo de pedido centraliza os cálculos de velocidade e o rastreamento de trajetória no OBC, reduzindo a dependência do tipo específico de piloto automático usado e melhorando o controle do comportamento e desempenho do drone (1).

[039] Todos os fluxos de dados e conexões entre os diferentes componentes do sistema global mencionados acima estão representados na Figura 9.

[040] Observe que, neste texto, o termo “compreende” e suas derivações (como “que compreende” etc.) não devem ser entendidas em um sentido exclusivo, ou seja, não deve ser interpretado que esses termos excluem a possibilidade de que o que é descrito e definido pode incluir elementos, etapas etc. adicional.

Claims (6)

1. Procedimento de navegação autônoma para rastrear objetos que compreende: calibrar um sensor de visão artificial e um sensor LiDAR fornecido em um drone (1), detectar tanto pela visão artificial calibrada quanto pelos sensores LiDAR uma gôndola (13) de um moinho de vento (10) a ser rastreada pelo drone (1), a gôndola (13) compreendendo três pás (11, 11'), cada uma das três pás (11, 11') possuindo quatro lados, medir um conjunto de características da gôndola (13) detectada usando o sensor LiDAR, o conjunto de características medidas compreendendo o diâmetro (nD) da gôndola (13) e o comprimento da pá (bL) das pás (11, 11'); estimar a posição relativa do drone (1) em relação à gôndola (13) detectada; o procedimento sendo caracterizado por compreender ainda: ordenar que o drone (1) alcance um ponto de referência objetivo que pertence a um conjunto de pontos de referência que determinam uma trajetória, que compreende: - um ponto de referência de controle de gôndola (13) que está alinhado com o eixo da gôndola (13) e na posição relativa estimada do drone (1) em relação à gôndola (13), e - oito pontos de referência de inspeção de pás para cada uma das três pás (11, 11'), os oito pontos de referência de inspeção de pás sendo quatro pontos de referência de inspeção raiz e quatro pontos de referência de inspeção de ponta, cada ponto de referência de inspeção raiz correspondendo a um ponto de referência de inspeção na raiz das pás (11 , 11') para cada um dos quatro lados e cada ponto de referência de inspeção de ponta correspondente a um ponto de referência de inspeção na ponta das pás (11, 11') para cada um dos quatro lados, e os oito pontos de referência de inspeção de pá sendo configurados como os cantos de um prisma trapezoidal, com losangos como faces inferior e superior paralelas, a face superior de todos os prismas sendo um quadrado com diagonais igual a duas vezes uma distância de inspeção na ponta das pás (11, 11'), a face de base tendo uma diagonal menor com o mesmo comprimento e uma diagonal maior com comprimento de duas vezes uma distância de inspeção na raiz das pás (11, 11'), em que os oito pontos de referência de inspeção da pá são definidos radialmente em torno do eixo de rotação da gôndola (13) mantendo uma distância do eixo de rotação para cada ponto de referência de inspeção de raiz igual ao diâmetro medido (nD) e mantendo uma distância do eixo de rotação para cada ponto de referência de inspeção de ponta igual ao comprimento da pá (bL) medido; uma vez que tenha sido atingido o ponto de referência para o drone (1), ajustar a trajetória redefinindo um ponto de referência objetivo seguinte entre o conjunto de pontos de referência para manter a gôndola (13) centralizada na imagem do sensor de processamento.

2. Procedimento, de acordo com a reivindicação 1, caracterizado por o ajuste da trajetória compreender correções cartesianas, horizontais e de altitude, do ponto de referência de controle de gôndola e executadas igualmente para todos os pontos de referência de inspeção de pá como translação.

3. Procedimento, de acordo com a reivindicação 2, caracterizado por o ajuste da trajetória compreender, uma vez aplicadas as correções cartesianas, correções de curso do ponto de referência de controle de gôndola e propagadas para todos os pontos de referência de inspeção de pá como rotação da diferença no ângulo de inclinação em torno do eixo vertical da gôndola (13).

4. Procedimento, de acordo com qualquer uma das reivindicações 1 a 3, caracterizado por o ajuste da trajetória compreender correções do normal nos pontos de referência de inspeção de pá que se propagam apenas dentro de suas faces de prisma inferior e superior correspondentes.

5. Procedimento, de acordo com qualquer uma das reivindicações 1 a 4, caracterizado por a redefinição do seguinte ponto de referência objetivo ser baseada em: detectar o alinhamento com o eixo da gôndola (13) usando o sensor LiDAR, detectar usando o sensor LiDAR a altura da gôndola (13), detectar usando o sensor LiDAR a localização da ponta de cada pá (11, 11’), definir uma distância de inspeção relativa com base na distância de inspeção na ponta das pás (11, 11’) e na distância de inspeção na raiz das pás (11, 11’).

6. Drone (1) para rastrear objetos, que compreende pelo menos um sensor LiDAR e um sensor de visão artificial, caracterizado por compreender adicionalmente um computador de bordo configurado para executar o procedimento, conforme definido em qualquer uma das reivindicações 1 a 5.