IT202100022310A1 - Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto - Google Patents
Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto Download PDFInfo
- Publication number
- IT202100022310A1 IT202100022310A1 IT102021000022310A IT202100022310A IT202100022310A1 IT 202100022310 A1 IT202100022310 A1 IT 202100022310A1 IT 102021000022310 A IT102021000022310 A IT 102021000022310A IT 202100022310 A IT202100022310 A IT 202100022310A IT 202100022310 A1 IT202100022310 A1 IT 202100022310A1
- Authority
- IT
- Italy
- Prior art keywords
- target structure
- drone
- target
- data acquisition
- computer system
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 56
- 238000001514 detection method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013481 data capture Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0094—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Description
DESCRIZIONE
CAMPO DELL'INVENZIONE
[0001] L'invenzione si riferisce generalmente all'acquisizione di dati dell'ambiente costruito, in particolare mediante sistemi aerei senza equipaggio.
SFONDO
[0002] La fotogrammetria ? diventata un campo importante per supportare la costruzione e la manutenzione di grandi strutture dell'ambiente costruito. Le applicazioni vanno dalla fotogrammetria di strutture permanenti come edifici, linee di trasmissione ad alta potenza e torri di antenne, a strutture temporanee, come gru e strutture remote, come piattaforme petrolifere. Sulla base di set di immagini fotogrammetriche, possono essere generate rappresentazioni 3D delle strutture, che possono quindi essere utilizzate per analizzare le strutture e i relativi accessori. Le analisi delle rappresentazioni 3D generate dalla fotogrammetria possono quindi essere utilizzate per sviluppare piani di costruzione e manutenzione, nonch? piani di navigazione per le relative ispezioni con droni.
[0003] I sistemi aerei senza pilota (UAS), qui indicati anche come droni, si sono finora dimostrati efficaci nell'ispezione di beni costruiti, in particolare nei settori delle costruzioni, dell'elettricit?, delle telecomunicazioni e dei trasporti. Tuttavia, lo sviluppo di piani di navigazione per la fotogrammetria mediante droni rimane un processo che richiede tempo. I piani di acquisizione dati sono generalmente definiti come un insieme di waypoint, ovvero coordinate 3D, che specificano tutti i punti nello spazio e gli orientamenti associati da cui un drone dovrebbe acquisire immagini di una struttura bersaglio. Processi migliorati per lo sviluppo di tali piani di acquisizione di dati di fotogrammetria, come divulgato qui di seguito, possono ridurre i costi e migliorare i risultati della fotogrammetria delle risorse costruite.
RIASSUNTO
[0004] Le forme di realizzazione della presente invenzione forniscono un sistema e metodi per generare piani di acquisizione dati da droni per la fotogrammetria di strutture costruite. Le forme di realizzazione includono un sistema informatico avente almeno un processore e una memoria di memoria non transitoria accoppiata in modo comunicativo all'almeno un processore. Quando le istruzioni sono eseguite dall'almeno un processore, il sistema informatico implementa le fasi di: 1) acquisizione di immagini riprese da un drone che vola in direzione di una struttura bersaglio (dopo il lancio del drone); 2) elaborazione delle immagini delle immagini catturate, per distinguere la struttura bersaglio da altre strutture nel campo visivo del drone e identificare una forma della struttura bersaglio; 3) stabilire una posizione della struttura di destinazione e un orientamento della struttura di destinazione, (a) identificando una posizione al centro della torre e identificando gli ancoraggi del tirante, quando la struttura di destinazione ? a forma di torre, (b) identificando una punta della gru e una base della gru, quando la struttura di destinazione ? a forma di gru, e (c) identificando le coordinate di due o pi? angoli di una posizione predefinita della struttura, quando la struttura non ? a forma di torre o di gru; 4) individuare sulla struttura target oggetti target predeterminati destinati all'acquisizione dei dati; 5) correlare la struttura bersaglio e gli oggetti bersaglio nello spazio 3D correlando le loro rispettive forme, posizioni e orientamenti; e 6) generare un piano di acquisizione dati per la fotogrammetria da drone della struttura bersaglio, in cui il piano di acquisizione dati include coordinate 3D di posizioni e orientamenti fotogrammetrici impostati a distanze e orientamenti predefiniti dalla struttura bersaglio correlata e dagli oggetti bersaglio.
[0005] Alcune forme di realizzazione possono inoltre includere l'identificazione di ostacoli tra le altre strutture, la stima di posizioni ed elevazioni degli ostacoli e la pianificazione di un percorso di volo verso la struttura bersaglio evitando gli ostacoli identificati. L'elaborazione delle immagini pu? anche includere la stima di una distanza dal drone alla struttura bersaglio e la pianificazione di un percorso di volo verso la struttura bersaglio in base alla distanza stimata. Alcune forme di realizzazione possono anche includere una configurazione per identificare uno o pi? ostacoli nelle vicinanze della struttura bersaglio che possono ostacolare il volo di un drone che esegue fotogrammetria e applicando forme, posizioni e orientamenti di uno o pi? ostacoli come parametri aggiuntivi per generare il piano di acquisizione dati per fotogrammetria con drone.
[0006] Alcune forme di realizzazione possono includere inoltre la stima dell'altezza della struttura bersaglio e l'applicazione dell'altezza come parametro aggiuntivo per generare il piano di acquisizione dati. La stima dell'altezza pu? essere eseguita con metodi stereoscopici e/o triangolari. I metodi stereoscopici e/o di triangolazione possono includere algoritmi di visione artificiale basati su caratteristiche per la corrispondenza delle immagini, la registrazione, la calibrazione della fotocamera, la deformazione, il calcolo della matrice fondamentale, il calcolo della disparit?, tramite struttura dal movimento o luce strutturata e metodi di puntamento laser. La stima dell'altezza pu? essere ottenuta anche facendo volare il drone ad un'altezza in cui la struttura del bersaglio ? visualizzata esattamente sulla linea dell'orizzonte e impostando la stima dell'altezza all'altezza del drone.
[0007] Alcune forme di realizzazione possono includere inoltre l'identificazione della forma della struttura bersaglio mediante un insieme di operazioni di sogliatura e morfologiche e/o un algoritmo di rete neurale di rilevamento di oggetti basato su caratteristiche.
[0008] Stabilire la posizione della struttura bersaglio pu? includere il volo del drone sopra la struttura bersaglio e l'allineamento del drone in modo tale che quando si scatta una foto della struttura bersaglio, la struttura bersaglio sia al centro dell'immagine e la posizione della struttura bersaglio sia impostato sulle coordinate del drone proiettato a terra.
BREVE DESCRIZIONE DEI DISEGNI
[0009] Per una migliore comprensione di varie forme di realizzazione dell'invenzione e per mostrare come la stessa possa essere attuata, si far? ora riferimento, a titolo di esempio, ai disegni allegati. Dettagli strutturali dell'invenzione sono mostrati per fornire una comprensione fondamentale dell'invenzione, la descrizione, presa con i disegni, rendendo evidente agli esperti del ramo come le varie forme dell'invenzione possono essere attuate in pratica.
[0010] Nei disegni allegati:
[0011] la Fig. 1A ? un'illustrazione schematica di un sistema per generare piani di acquisizione dati per fotogrammetria di strutture costruite, secondo alcune forme di realizzazione della presente invenzione;
[0012] la Fig. 1B ? un'illustrazione schematica di un piano di acquisizione dati da drone per fotogrammetria di strutture costruite, generato secondo alcune forme di realizzazione della presente invenzione;
[0013] Figs. 2-4 sono illustrazioni di immagini acquisite da un sistema per generare piani di acquisizione dati di droni per fotogrammetria, secondo alcune forme di realizzazione della presente invenzione; e
[0014] La Fig. 5 ? un diagramma di flusso di un processo di generazione di piani di acquisizione di dati di droni per fotogrammetria, secondo alcune forme di realizzazione della presente invenzione.
DESCRIZIONE DETTAGLIATA
[0015] Resta inteso che l'invenzione e la sua applicazione non sono limitate al sistema e ai metodi descritti di seguito o alla disposizione dei componenti esposti o illustrati nei disegni, ma sono applicabili ad altre forme di realizzazione che possono essere praticate o realizzate in vari modi.
[0016] Le forme di realizzazione della presente invenzione forniscono metodi per l'acquisizione da parte dei droni di dati di strutture bersaglio nell'ambiente costruito ("asset costruiti"). I dati possono essere successivamente utilizzati per generare piani di acquisizione dati dei droni (ovvero "waypoint") per la fotogrammetria. I metodi di acquisizione dei dati dei droni includono l'identificazione degli aspetti dell'ambiente delle strutture target (cio? il "contesto" di acquisizione dei dati) come la geometria della struttura, la posizione e l'ambiente circostante in tempo reale, in modo tale che l'acquisizione dei dati venga eseguita con la "consapevolezza del contesto". Un drone configurato per acquisire i dati richiesti per la generazione di waypoint per la fotogrammetria, come qui descritto, ? configurato per la navigazione autonoma verso la struttura target, con l'evitamento degli ostacoli e l'elaborazione per compensare le specifiche di posizione e/o altezza errate della struttura target. Il piano di acquisizione dei dati fotogrammetrici generato garantisce l'acquisizione di un set efficiente di immagini fotogrammetriche, a una distanza dalla struttura di destinazione che fornisce una risoluzione ottimale. La navigazione autonoma e l'acquisizione dati si traducono anche in missioni di acquisizione dati pi? veloci.
[0017] La Fig. 1A ? un'illustrazione schematica di un sistema 100 per generare piani di acquisizione dati di droni per fotogrammetria di strutture costruite, secondo alcune forme di realizzazione della presente invenzione. Il sistema include un drone 102 (ovvero un veicolo aereo senza equipaggio o UAV) che in genere include caratteristiche comuni dei droni moderni, tra cui una fotocamera, rotori, una batteria e un processore. In alcune forme di realizzazione, il drone pu? essere un quadricottero. In genere la fotocamera include un obiettivo e un sensore di immagine e pu? essere supportata da un gimbal multiasse per acquisire immagini con orientamenti diversi rispetto al corpo del drone. Il drone pu? anche includere circuiti di stabilizzazione dell'immagine che elaborano le immagini acquisite dalla fotocamera. Il drone ? tipicamente configurato per trasmettere in modalit? wireless dati di immagine dalla telecamera a un controller di terra 104, nonch? per ricevere istruzioni da tale controller, che pu? essere automatizzato o gestito da un operatore umano 106. In alcune forme di realizzazione, il controller ? un sistema informatico distribuito, come un servizio di elaborazione cloud-based. Come descritto ulteriormente di seguito, il drone pu? anche includere un sensore di distanza, come un sensore lidar o radar.
[0018] Nel funzionamento tipico, il drone 102 viene rilasciato nella direzione di una struttura bersaglio 110. Come descritto sopra, un'ampia gamma di strutture pu? essere modellata mediante fotogrammetria, inclusi edifici, linee di trasmissione ad alta potenza, torri di antenne e gru edili. Tipicamente tali strutture includono accessori 112, che sono tipicamente oggetti di particolare interesse per l'analisi, come trasmettitori senza fili. Durante il volo, il drone 102 naviga verso la struttura bersaglio e quindi circonda la struttura per acquisire dati relativi alla posizione, alle dimensioni e agli oggetti accessori della struttura. Questi dati vengono quindi elaborati, 104, con i metodi descritti di seguito, per creare un piano di acquisizione dei dati fotogrammetrici. Durante la navigazione del drone verso la struttura bersaglio, gli ostacoli 114 possono ostruire la traiettoria di volo. Il drone ? tipicamente configurato per identificare tali ostacoli e per evitarli. Inoltre, quando si circonda la struttura bersaglio, pu? anche essere necessario evitare ostacoli ravvicinati 116. I dati di immagine di ostacoli vicini 116 possono anche essere inclusi nei parametri che vengono elaborati per generare piani di acquisizione di dati di fotogrammetria.
[0019] La Fig. 1B ? un'illustrazione schematica di un piano di acquisizione dati da drone 120 per fotogrammetria di strutture costruite, come la struttura bersaglio 110. Tale piano di acquisizione dati ? generato dai metodi descritti di seguito rispetto alle Figg. 2-5. Per una struttura di tipo cilindrico, come una torre di antenna, il piano di acquisizione dati ideale ? un insieme di coordinate 3D posizionate lungo una superficie di un cilindro virtuale cavo che avvolge la struttura. Come indicato, la forma delle coordinate 3D del piano di acquisizione dati viene modificata in base agli oggetti accessori 112. La forma pu? anche essere modificata per impedire la collisione del drone con ostacoli vicini 116.
[0020] Il piano di acquisizione dati indica in genere le coordinate 3D di ciascuna posizione da cui verr? acquisita un'immagine, nonch? l'orientamento della telecamera in ciascuna posizione. I punti vengono in genere determinati per garantire un alto grado di sovrapposizione (ad esempio, dal 60% al 90%) delle immagini acquisite, garantendo cos? che le immagini multiple possano essere "cucite" insieme dal processo di fotogrammetria per generare modelli 3D accurati.
[0021] Figs. 2-4 sono illustrazioni di immagini acquisite da un sistema per generare piani di acquisizione dati di droni per fotogrammetria, secondo alcune forme di realizzazione della presente invenzione. Come mostrato in Fig. 2, una struttura bersaglio 110, in questo caso una torre di antenna, ? in un'immagine acquisita da un drone, cio? la struttura bersaglio, cos? come altre strutture, ? nel "campo visivo" di il drone. La struttura di destinazione si distingue dalle altre strutture da algoritmi di elaborazione delle immagini che possono corrispondere a caratteristiche note della struttura di destinazione, come colore, forma, geometria unica ecc., o da altri metodi di elaborazione delle immagini tra cui operazioni di sogliatura e morfologiche. Possono essere applicati anche metodi di intelligenza artificiale basati su funzionalit?, basati, ad esempio, su algoritmi di rete neurale di rilevamento di oggetti. Gli algoritmi di elaborazione delle immagini e altri algoritmi qui descritti rispetto alla navigazione del drone e alla determinazione dei waypoint fotogrammetrici sono tipicamente eseguiti dal processore del drone e/o del controller a terra.
[0022] Dopo che la struttura bersaglio ? stata distinta da altre strutture nel campo visivo, viene effettuata una stima della distanza dal drone alla struttura bersaglio. Un algoritmo esemplificativo pu? utilizzare metodi stereoscopici e/o di triangolazione che producono una mappa di profondit?. Ulteriori algoritmi di visione artificiale possono applicare metodi di corrispondenza delle immagini, registrazione, calibrazione della fotocamera, deformazione, calcoli di matrici fondamentali o calcoli di disparit?. Metodi aggiuntivi possono essere basati sulla struttura o possono fare affidamento su metodi di movimento o luce strutturata e puntamento laser. Infine, le misurazioni dirette della distanza possono essere ottenute da sensori di bordo come sensori lidar o radar. In base alla distanza stimata, il drone pu? essere configurato per volare autonomamente sul sito della struttura bersaglio. Metodi di evitamento degli ostacoli noti nella tecnica possono essere applicati durante il volo per consentire al drone di evitare ostacoli nella traiettoria di volo, fissi o in movimento (ad esempio, uccelli o altri droni).
[0023] Dopo aver determinato la distanza dalla struttura di destinazione, viene determinata l'altezza dell'oggetto. Un metodo consiste nel far volare il drone ad un'altezza tale che la parte superiore della struttura bersaglio si allinei con l'orizzonte in un'immagine acquisita dal drone. Quando l'orizzonte si allinea con la parte superiore della struttura del bersaglio, l'altezza del drone ? approssimativamente uguale all'altezza del bersaglio. (Vedi la parte superiore della torre dell'antenna all'incirca all'altezza dell'orizzonte nella fotografia di Fig. 2.)
[0024] Ulteriori metodi per determinare l'altezza della struttura bersaglio sono simili a quelli descritti sopra per quanto riguarda la determinazione della distanza del drone dalla struttura bersaglio. Tali metodi possono includere l'uso di metodi stereoscopici e/o di triangolazione che producono una mappa di profondit?. Ulteriori algoritmi di visione artificiale possono applicare metodi di corrispondenza delle immagini, registrazione, calibrazione della fotocamera, deformazione, calcoli di matrici fondamentali o calcoli di disparit?. L'altezza della struttura bersaglio ? un parametro importante per la generazione dei piani di acquisizione dati, in quanto l'altitudine del piano di volo ? funzione dell'altezza della struttura.
[0025] Dopo aver determinato l'altezza della struttura bersaglio, il drone determina una posizione geografica della struttura bersaglio. I metodi di rilevamento degli oggetti come le reti neurali di deep learning o altri metodi di visione artificiale basati su funzionalit? possono identificare una correlazione di una struttura di destinazione con immagini georeferenziate, come immagini satellitari ad alta risoluzione georeferenziate.
[0026] In alternativa, o in aggiunta, ? possibile determinare una posizione esatta posizionando il drone sopra la struttura bersaglio. La Fig. 3 mostra un campo visivo del drone preso dall'alto della struttura bersaglio 110. Quando cos? allineate, le coordinate X, Y del drone sono le stesse delle coordinate X, Y della struttura bersaglio.
[0027] Viene anche mostrato in Fig. 3 un esempio di un ostacolo 116 in stretta vicinanza alla struttura bersaglio. Oltre a identificare la posizione della struttura bersaglio, devono essere identificati gli ostacoli che possono interferire con la fotogrammetria. I tipi di ostacolo possono essere identificati in base alle caratteristiche degli oggetti, ad esempio mediante algoritmi di elaborazione delle immagini che identificano colore, forma, geometria unica, ecc., oppure in base a metodi di sogliatura o operazioni morfologiche. Possono essere impiegati metodi di intelligenza artificiale, come algoritmi di rete neurale di rilevamento di oggetti basati su funzionalit?.
[0028] Le altezze e la posizione degli ostacoli possono essere determinate sulla base di metodi simili a quelli descritti sopra per determinare le altezze delle strutture bersaglio. Questi includono metodi stereoscopici e/o di triangolazione che producono una mappa di profondit?. Ulteriori algoritmi di visione artificiale possono applicare metodi di corrispondenza delle immagini, registrazione, calibrazione della fotocamera, deformazione, calcoli di matrici fondamentali o calcoli di disparit?. Metodi aggiuntivi possono essere basati sulla struttura o possono fare affidamento su metodi di movimento o luce strutturata e puntamento laser. Questi metodi possono essere combinati con strumenti di automisurazione della posizione (come il GPS o la rettifica dell'immagine con ortofoto) per calcolare la posizione stimata dell'ostacolo. L'altezza e la posizione di un ostacolo sono parametri importanti aggiuntivi per la generazione del piano di acquisizione dati.
[0029] Le posizioni e le altezze possono anche essere ottenute direttamente da un modello digitale del terreno (DTM). Il DTM pu? essere un modello pubblicamente disponibile o generato da un processo di pre-volo, che in genere richiede un precedente volo del drone. Resta inteso che gli ostacoli sopra descritti si presume siano ostacoli fissi (cio? statici). Gli ostacoli dinamici (ad es. uccelli in volo) dovrebbero essere identificati anche mentre un drone ? in volo. ? possibile evitare gli ostacoli in movimento utilizzando sensori di bordo e algoritmi Sense-and-Avoid, che possono essere utilizzati per fornire avvisi di problemi di sicurezza relativi a una determinata missione di volo.
[0030] La Fig. 4 mostra oggetti accessori 112 di una struttura bersaglio 110 identificati in un'immagine acquisita da un drone. Tali oggetti possono essere identificati mediante metodi di elaborazione delle immagini che identificano la geometria dell'oggetto. Tali metodi possono essere applicati per identificare oggetti come, per torri, tiranti di torre, piattaforme di base autoportanti e sporgenze a livello di torre, o, per gru, lunghezze e angoli del braccio e del braccio.
[0031] Ulteriori caratteristiche dell'oggetto che possono essere utilizzate per la corrispondenza della geometria possono includere colore, forma, geometria specifica, ecc., oppure possono essere basate sulla sogliatura o su operazioni morfologiche. Possono essere impiegati metodi di intelligenza artificiale, come algoritmi di rete neurale di rilevamento di oggetti basati su funzionalit?, comprese le reti neurali di apprendimento profondo. Il rilevamento di oggetti include la determinazione dell'elevazione e della posizione, mediante i metodi sopra descritti rispetto alla struttura di destinazione stessa. Il rilevamento di oggetti stabilisce anche l'orientamento di una struttura di destinazione rispetto a tali caratteristiche. Va notato che il rilevamento degli oggetti pu? essere eseguito in tempo reale o pre-volo e pu? utilizzare il ground computing (ad es. un controller di terra o un servizio di cloud computing) e/o l'elaborazione basata su droni ("onboard"). Tutti questi processi possono essere implementati come passaggi manuali, semi-autonomi o completamente autonomi.
[0032] La Fig. 5 ? un diagramma di flusso di un processo 500 di generazione di piani di acquisizione di dati di droni per fotogrammetria di strutture bersaglio, secondo alcune forme di realizzazione della presente invenzione.
[0033] Tipicamente, prima che vengano eseguite le fasi del processo 500, le caratteristiche di una struttura di destinazione vengono inserite in un database di asset costruito. Tali caratteristiche possono includere caratteristiche identificabili delle strutture bersaglio e dei loro oggetti associati.
[0034] Successivamente, viene lanciato un drone, tipicamente in una direzione della struttura bersaglio, in modo tale che la struttura bersaglio si trovi in un campo visivo rivolto in avanti del drone. Al passo 510, le immagini vengono catturate dal drone in volo.
[0035] In una fase 520, mediante elaborazione di immagini delle immagini catturate come descritto sopra, la struttura bersaglio viene distinta da altre strutture nel campo visivo del drone. Tipicamente, distinguere la struttura bersaglio include anche identificare una forma della struttura bersaglio, che pu? essere, per esempio, a forma di torre, a forma di gru, o avere una forma diversa che pu? essere un insieme di altre forme. L'identificazione della forma pu? essere implementata da un insieme di operazioni di sogliatura e morfologiche e/o da un algoritmo di rete neurale di rilevamento di oggetti basato su caratteristiche.
[0036] In una fase 530, il volo del drone verso la struttura bersaglio procede dopo che ? stata determinata una distanza dal drone alla struttura bersaglio mediante i metodi descritti sopra. In base alla distanza stimata, il drone procede verso la struttura bersaglio, tipicamente mediante controllo autonomo (cio? autodeterminato). Lungo la traiettoria di volo, gli ostacoli possono essere identificati mediante elaborazione di immagini e/o altri metodi di rilevamento di presenza noti nell'arte. Si possono determinare posizioni ed elevazioni di tali ostacoli e la traiettoria di volo verso la struttura bersaglio pu? essere navigata per evitare gli ostacoli identificati.
[0037] Nelle fasi 540, 542 e 544, una posizione della struttura bersaglio pu? essere determinata mediante metodi associati con una forma della struttura bersaglio. Quando la struttura bersaglio ? a forma di torre (fase 540), la posizione pu? essere determinata identificando una posizione al centro della torre e identificando ancoraggi di tiranti. La posizione del centro della torre pu? essere determinata facendo volare il drone sopra la struttura bersaglio e allineando il drone in modo tale che quando si scatta una foto della struttura bersaglio, la struttura bersaglio si trovi al centro dell'immagine. In questa posizione di volo del drone, la posizione della struttura bersaglio pu? essere impostata sulle coordinate del drone proiettato a terra (cio? le coordinate X, Y del drone, nelle coordinate spaziali X, Y, Z tridimensionali).
[0038] Quando la struttura di destinazione ? a forma di gru (fase 542), la posizione pu? essere identificata identificando una punta della gru e una base della gru nelle immagini acquisite. Quando la struttura di destinazione ha una forma diversa, cio? n? a torre n? a forma di gru (fase 544), la posizione pu? essere determinata identificando le coordinate di due o pi? angoli di una posizione predefinita della struttura.
[0039] Successivamente, in una fase 550, viene stimata un'altezza della struttura bersaglio, poich? l'altezza ? un parametro aggiuntivo per generare il piano di acquisizione dei dati fotogrammetrici. In alcune forme di realizzazione, la stima dell'altezza viene ottenuta tramite metodi stereoscopici e/o di triangolazione. I metodi stereoscopici e/o di triangolazione possono includere algoritmi di visione artificiale basati su funzionalit? per la corrispondenza delle immagini, la registrazione, la calibrazione della fotocamera, la deformazione, il calcolo della matrice fondamentale, il calcolo della disparit?, tramite struttura dal movimento o luce strutturata e metodi di puntamento laser.
[0040] In alternativa, o in aggiunta, la stima dell'altezza si ottiene facendo volare il drone a un'altezza in cui la struttura bersaglio ? visualizzata sulla linea dell'orizzonte e impostando la stima dell'altezza all'altezza del drone.
[0041] Successivamente, in una fase 560, gli oggetti ausiliari bersaglio sulla struttura bersaglio vengono identificati nelle immagini acquisite. Tipicamente, gli oggetti ausiliari (quali piattaforme, trasmettitori, ecc.) sono precedentemente designati come oggetti che richiedono identificazione. Le caratteristiche di tali oggetti possono essere predefinite in un database di asset costruito. Le caratteristiche possono includere forme, posizioni dei colori e orientamenti degli oggetti target e l'identificazione pu? includere la correlazione di forme misurate, posizioni dei colori e orientamenti con le corrispondenti caratteristiche predefinite.
[0042] In una fase 570 vengono individuati uno o pi? ostacoli in prossimit? della struttura bersaglio, mediante i metodi sopra descritti, tali ostacoli essendo qualsiasi oggetto che possa ostacolare il volo di un drone che esegue la fotogrammetria. Le forme, le posizioni e gli orientamenti di uno o pi? ostacoli possono essere inclusi nei parametri utilizzati per generare il piano di acquisizione dati per la fotogrammetria dei droni.
[0043] Infine, in una fase 580, le forme, le posizioni e gli orientamenti delle strutture target, degli oggetti target e di qualsiasi ostacolo sono correlati nello spazio 3D correlando le loro rispettive forme, posizioni e orientamenti. Sulla base della struttura target correlata in 3D e degli oggetti target, viene quindi generato un piano di acquisizione dati per la fotogrammetria del drone della struttura target. Il piano di acquisizione dei dati include le coordinate 3D delle posizioni e degli orientamenti della fotogrammetria, che sono impostati a distanze e orientamenti predefiniti dalla struttura target correlata in 3D e dagli oggetti target.
[0044] Le immagini acquisite da una successiva missione di fotogrammetria, secondo il piano di acquisizione dati, possono essere applicate per generare un modello 3D della struttura target, da utilizzare in successive analisi e pianificazioni, come per lavori di costruzione e manutenzione.
[0045] Sebbene l'invenzione sia stata descritta in dettaglio, tuttavia, cambiamenti e modifiche, che non si discostano dagli insegnamenti della presente invenzione, risulteranno evidenti agli esperti del ramo. Si ritiene che tali cambiamenti e modifiche rientrino nell'ambito della presente invenzione e delle rivendicazioni allegate. Sar? facilmente evidente che i vari metodi e algoritmi qui descritti possono essere implementati, ad esempio, da computer e dispositivi di calcolo per scopi generici opportunamente programmati. Tipicamente, un processore (ad esempio, uno o pi? microprocessori) ricever? istruzioni da una memoria o dispositivo simile, ed eseguir? tali istruzioni, eseguendo cos? uno o pi? processi definiti da tali istruzioni. Inoltre, i programmi che implementano tali metodi e algoritmi possono essere memorizzati e trasmessi utilizzando una variet? di supporti in diversi modi. In alcune forme di realizzazione, si possono usare circuiti cablati o hardware personalizzato al posto di, o in combinazione con, istruzioni software per l'implementazione dei processi di varie forme di realizzazione. Pertanto, le forme di realizzazione non sono limitate a nessuna combinazione specifica di hardware e software.
[0046] Un "processore" pu? essere uno o pi? microprocessori, unit? di elaborazione centrale (CPU), dispositivi informatici, microcontrollori, digi
[0047] Le sequenze di istruzioni possono essere consegnate dalla memoria a un processore, possono essere trasportate su un mezzo di trasmissione wireless e/o possono essere formattate secondo numerosi formati, standard o protocolli, come Bluetooth, TDMA, CDMA, 3G.
[0048] Qualsiasi illustrazione o descrizione di disposizioni per rappresentazioni memorizzate di informazioni pu? essere implementata da qualsiasi numero di disposizioni, ad esempio tabelle, file o database. Allo stesso modo, qualsiasi voce illustrata dei dati memorizzati rappresenta solo informazioni esemplificative; un esperto del ramo comprender? che il numero e il contenuto delle voci possono essere diversi da quelli qui descritti. Inoltre, nonostante qualsiasi rappresentazione dei dati archiviati come database o tabelle, ? possibile utilizzare altri formati (inclusi database relazionali, modelli basati su oggetti e/o database distribuiti) per archiviare e manipolare i tipi di dati descritti nel presente documento. Allo stesso modo, i metodi oi comportamenti degli oggetti di un database possono essere utilizzati per implementare vari processi, come quelli qui descritti. Inoltre, le banche dati possono, in modo noto, essere memorizzate in locale oa distanza da un dispositivo che accede a tali dati.
[0049] La presente invenzione pu? essere configurata per funzionare in un ambiente di rete comprendente un computer che ? in comunicazione, tramite una rete di comunicazione, con uno o pi? dispositivi. Il computer pu? comunicare con i dispositivi direttamente o indirettamente, tramite un supporto cablato o wireless come Internet, LAN, WAN, Wi-Fi o tramite qualsiasi mezzo di comunicazione appropriato o combinazione di mezzi di comunicazione.
Claims (10)
1. Sistema informatico comprendente almeno un processore e memoria non transitoria accoppiata in modo comunicativo all'almeno un processore e comprendente istruzioni leggibili da computer che, quando eseguite dall'almeno un processore, fanno s? che il sistema informatico implementi fasi di, dopo l'avvio di un drone, catturando le immagini riprese dal drone in direzione di una struttura bersaglio e, mediante elaborazione delle immagini delle immagini catturate:
(i) distinguere la struttura bersaglio da altre strutture nel campo visivo del drone e identificare una forma della struttura bersaglio;
(ii) stabilendo una posizione della struttura bersaglio e un orientamento della struttura bersaglio, (a) identificando una posizione al centro della torre e identificando ancoraggi per tiranti, quando la struttura bersaglio ? a forma di torre, (b) da identificare una punta della gru e una base della gru, quando la struttura di destinazione ? a forma di gru, e (c) identificando le coordinate di due o pi? angoli di una posizione predefinita della struttura, quando la struttura non ? a forma di torre o di gru;
(iii) identificare sulla struttura target oggetti target predeterminati designati per l'acquisizione dei dati;
(iv) correlare la struttura bersaglio e gli oggetti bersaglio nello spazio 3D correlando le loro rispettive forme, posizioni e orientamenti; e (v) generare un piano di acquisizione dati per la fotogrammetria da drone della struttura bersaglio, in cui il piano di acquisizione dati include coordinate 3D di posizioni e orientamenti fotogrammetrici impostati a distanze e orientamenti predefiniti dalla struttura bersaglio correlata e dagli oggetti bersaglio.
2. Il sistema informatico secondo la rivendicazione 1, comprendente inoltre identificare ostacoli tra le altre strutture, stimare posizioni ed elevazioni degli ostacoli e pianificare un percorso di volo verso la struttura bersaglio evitando gli ostacoli identificati.
3. Sistema informatico secondo la rivendicazione 1, comprendente inoltre stimare una distanza dal drone alla struttura bersaglio e pianificare un percorso di volo verso la struttura bersaglio in base alla distanza stimata.
4. Il sistema informatico secondo la rivendicazione 1, comprendente inoltre identificare uno o pi? ostacoli in prossimit? della struttura bersaglio che possono ostacolare il volo di un drone che esegue la fotogrammetria e applicare forme, posizioni e orientamenti di uno o pi? ostacoli come ulteriori parametri per generare il piano di acquisizione dati per la fotogrammetria dei droni.
5. Sistema di calcolo secondo la rivendicazione 1, comprendente inoltre stimare un'altezza della struttura bersaglio, e applicare l'altezza come parametro aggiuntivo per generare il piano di acquisizione dati.
6. Il sistema di calcolo secondo la rivendicazione 5, in cui la stima dell'altezza ? ottenuta tramite metodi stereoscopici e/o triangolari.
7. Il sistema informatico secondo la rivendicazione 6, in cui detti metodi stereoscopici e/o di triangolazione comprendono algoritmi di visione artificiale basati su caratteristiche per corrispondenza di immagini, registrazione, calibrazione della fotocamera, deformazione, calcolo della matrice fondamentale, calcolo della disparit?, tramite struttura da movimento o luce strutturata e metodi di puntamento laser.
8. Il sistema informatico secondo la rivendicazione 5, in cui la stima dell'altezza ? ottenuta facendo volare il drone ad un'altezza in cui la struttura bersaglio ? vista esattamente sulla linea dell'orizzonte e impostando la stima dell'altezza all'altezza del drone.
9. Sistema informatico secondo la rivendicazione 1, in cui identificare la forma della struttura bersaglio comprende identificare la forma mediante un insieme di operazioni di sogliatura e morfologiche e/o un algoritmo di rete neurale di rilevamento di oggetti basato su caratteristiche.
10. Il sistema informatico secondo la rivendicazione 1, in cui stabilire la posizione della struttura bersaglio comprende far volare il drone sopra la struttura bersaglio e allineare il drone in modo tale che quando si scatta una foto della struttura bersaglio, la struttura bersaglio sia al centro dell?immagine e impostando la posizione sulle coordinate del drone proiettato a terra.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000022310A IT202100022310A1 (it) | 2021-08-25 | 2021-08-25 | Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto |
| PCT/IL2022/050919 WO2023026284A1 (en) | 2021-08-25 | 2022-08-23 | Autonomous uas data acquisition with context awareness |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000022310A IT202100022310A1 (it) | 2021-08-25 | 2021-08-25 | Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT202100022310A1 true IT202100022310A1 (it) | 2023-02-25 |
Family
ID=78333177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102021000022310A IT202100022310A1 (it) | 2021-08-25 | 2021-08-25 | Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto |
Country Status (2)
| Country | Link |
|---|---|
| IT (1) | IT202100022310A1 (it) |
| WO (1) | WO2023026284A1 (it) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180267561A1 (en) * | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
| CN112596071A (zh) * | 2020-11-02 | 2021-04-02 | 中国兵器工业计算机应用技术研究所 | 无人机自主定位方法、装置及无人机 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11149717B2 (en) * | 2016-06-30 | 2021-10-19 | Skydio, Inc. | Unmanned aerial vehicle wind turbine inspection systems and methods |
| US10600194B2 (en) * | 2017-08-24 | 2020-03-24 | General Electric Company | Image and video capture architecture for three-dimensional reconstruction |
-
2021
- 2021-08-25 IT IT102021000022310A patent/IT202100022310A1/it unknown
-
2022
- 2022-08-23 WO PCT/IL2022/050919 patent/WO2023026284A1/en active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180267561A1 (en) * | 2016-09-12 | 2018-09-20 | Andrew Archer Trench | Autonomous control of unmanned aircraft |
| CN112596071A (zh) * | 2020-11-02 | 2021-04-02 | 中国兵器工业计算机应用技术研究所 | 无人机自主定位方法、装置及无人机 |
Non-Patent Citations (1)
| Title |
|---|
| JORDAN SOPHIE ET AL: "State-of-the-art technologies for UAV inspections", IET RADAR SONAR NAVIGATION, THE INSTITUTION OF ENGINEERING AND TECHNOLOGY, UK, vol. 12, no. 2, 1 February 2018 (2018-02-01), pages 151 - 164, XP006065482, ISSN: 1751-8784, DOI: 10.1049/IET-RSN.2017.0251 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023026284A1 (en) | 2023-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106774431B (zh) | 一种测绘无人机航线规划方法及装置 | |
| Stöcker et al. | Quality assessment of combined IMU/GNSS data for direct georeferencing in the context of UAV-based mapping | |
| CN110008851B (zh) | 一种车道线检测的方法及设备 | |
| Vallet et al. | Photogrammetric performance of an ultra light weight swinglet UAV | |
| KR102007567B1 (ko) | 스테레오 드론 및 이를 이용하는 무기준점 토공량 산출 방법과 시스템 | |
| TWI827649B (zh) | 用於ｖｓｌａｍ比例估計的設備、系統和方法 | |
| US11781863B2 (en) | Systems and methods for pose determination | |
| KR20190051704A (ko) | 스테레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템 | |
| CN111338383B (zh) | 基于gaas的自主飞行方法及系统、存储介质 | |
| CN108845335A (zh) | 一种基于图像和导航信息的无人机地面目标定位方法 | |
| JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
| CN105335733A (zh) | 一种无人机自主着陆视觉定位方法及系统 | |
| US11726501B2 (en) | System and method for perceptive navigation of automated vehicles | |
| CN113870343A (zh) | 相对位姿标定方法、装置、计算机设备和存储介质 | |
| KR101771492B1 (ko) | 복수의 센서를 탑재한 무인 비행체를 이용하는 매핑 방법 및 시스템 | |
| US10621742B2 (en) | Method for producing a depth map | |
| KR102288609B1 (ko) | 다중 모듈 기반의 그래프 구조를 이용한 무인체 위치 추정 시스템 및 그 방법 | |
| CN116605772B (zh) | 一种基于多集成系统的塔吊碰撞预警方法 | |
| Hsu et al. | Application of multisensor fusion to develop a personal location and 3D mapping system | |
| EP3757512A1 (en) | Aircraft imaging system using projected patterns on featureless surfaces | |
| CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
| US20230142960A1 (en) | Construction of formwork and scaffolding using mobile devices | |
| Hlotov et al. | Accuracy investigation of creating orthophotomaps based on images obtained by applying Trimble-UX5 UAV | |
| IT202100022310A1 (it) | Acquisizione autonoma di dati mediante sistemi aerei senza pilota (UAS) con consapevolezza del contesto | |
| JP2021131762A (ja) | 情報処理装置、情報処理方法、及びプログラム |