IT202100008570A1 - Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili - Google Patents

Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili Download PDF

Info

Publication number
IT202100008570A1
IT202100008570A1 IT102021000008570A IT202100008570A IT202100008570A1 IT 202100008570 A1 IT202100008570 A1 IT 202100008570A1 IT 102021000008570 A IT102021000008570 A IT 102021000008570A IT 202100008570 A IT202100008570 A IT 202100008570A IT 202100008570 A1 IT202100008570 A1 IT 202100008570A1
Authority
IT
Italy
Prior art keywords
images
acquisition
monitored
drone
steps
Prior art date
Application number
IT102021000008570A
Other languages
English (en)
Inventor
Jacopo Calla'
Original Assignee
Jp Droni S R L
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jp Droni S R L filed Critical Jp Droni S R L
Priority to IT102021000008570A priority Critical patent/IT202100008570A1/it
Priority to EP22167108.4A priority patent/EP4071664A1/en
Publication of IT202100008570A1 publication Critical patent/IT202100008570A1/it

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Electric Cable Installation (AREA)
  • Laying Of Electric Cables Or Lines Outside (AREA)
  • Photovoltaic Devices (AREA)

Description

DESCRIZIONE dell'Invenzione Industriale dal titolo: ?Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili?
DESCRIZIONE
La presente invenzione ha per oggetto un metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili.
Il metodo comprende i seguenti passi:
a) acquisizione di una pluralit? di immagini della struttura lineare,
b) elaborazione di dette immagini,
c) generazione di un report sulla base della elaborazione di dette immagini.
La presente invenzione si rivolge in particolare al monitoraggio di strutture lineari, ossia strutture o oggetti che presentano una dimensione prevalente per individuare anomalie di tali strutture che potrebbero causare problematiche di funzionamento.
Sia a causa delle ubicazioni in ambienti difficilmente raggiungibili o lontani dalle zone abitate, sia a causa delle dimensioni di tali strutture, il loro monitoraggio circa il funzionamento di tali strutture risulta particolarmente complesso.
I sistemi noti allo stato dell?arte prevedono dunque l?utilizzo di dispositivi a pilotaggio remoto, come ad esempio droni o simili, che sorvolano la zona in cui ? installata la struttura da monitorare e che acquisiscono una pluralit? di immagini.
Tali immagini vengono elaborate al fine di individuare anomalie all?interno delle strutture e segnalarle, in modo da risolvere, in maniera preventiva possibili malfunzionamenti.
Le anomalie possono ad esempio essere un punto di disconnessione lungo un binario di una ferrovia, oppure una crepa di una pala eolica o di un pannello fotovoltaico.
Risulta evidente come una soluzione di questo tipo richieda tempi rilevanti per elaborare una ingente quantit? di dati, in quanto le immagini acquisite sono analizzate per ricostruire modelli virtuali delle strutture monitorate: non viene effettuata alcuna selezione delle immagini a priori, le immagini vengono filtrate successivamente all?elaborazione.
Spesso tale elaborazione, oltre a richiedere un onere computazionale rilevante, non consente una rilevazione real-time, ossia durante l?ispezione del drone, delle eventuali anomalie, creando ritardi negli interventi di manutenzione.
Tuttavia, la rapidit? di intervento ? un fattore fondamentale in questo ambito, che pu? compromettere o meno il buon funzionamento di un impianto, sia esso fotovoltaico o eolico, oppure di una struttura, quale ferrovia o cavidotto.
Per ovviare ad una elaborazione di cos? onerosa delle immagini, alcuni metodi e sistemi noti allo stato dell?arte prevedono di valutare eventuali malfunzionamenti sulla base di una diminuzione della resa geli impianti, ossia nel caso di improvvise cadute di tensione o di corrente registrate dalle componenti dell?impianto a valle di tali pannelli.
Tale metodologia consente di rilevare a tutti gli effetti un malfunzionamento, ma non consente di individuare a quale parte dell?impianto sia dovuto tale malfunzionamento, per cui non rende possibile un immediato intervento da parte di un tecnico per la risoluzione dei problemi.
Inoltre, tale soluzione risulta utilizzabile solo nel caso di impianti fotovoltaici od eolici, per i quali ? possibile monitorare l?energia generata, ma risulta inefficace per struttura quali ferrovie o cavidotti.
Risulta evidente come le metodologie note allo stato dell?arte causino non solo tempistiche e costi elevati, ma spesso richiedano anche la temporanea disattivazione o inutilizzo delle strutture.
Allo stato attuale non ? dunque presente un sistema che consenta un monitoraggio costante delle strutture, non solo finalizzato a rilevare tempestivamente malfunzionamenti, ma anche a valutare eventuali cambiamenti delle strutture stesse, causati da agenti esterni o a malfunzionamenti delle componenti strutture.
Esiste dunque una necessit? non soddisfatta dai metodi e dai sistemi noti allo stato dell?arte di realizzare un metodo di monitoraggio di strutture, in grado di risolvere gli svantaggi sopra esposti, in modo da ottenere un monitoraggio costante ed efficiente di tali impianti, garantendo interventi di manutenzione o riparazione mirati e rapidi.
La presente invenzione consegue gli scopi di cui sopra realizzando un metodo come descritto in precedenza, in cui il passo di acquisizione ? eseguito da un dispositivo a pilotaggio remoto configurato per acquisire immagini.
Inoltre, il metodo prevede i seguenti passi: a1) identificazione di una area da monitorare, a2) prima acquisizione di una o pi? immagini dell?area e riconoscimento della struttura da monitorare all?interno dell?area,
a3) calcolo della traiettoria del dispositivo a pilotaggio remoto in modo tale per cui le immagini acquisite siano centrate sulla struttura da monitorare ed in modo tale per cui il dispositivo autonomo mantenga sempre la stessa distanza tra il dispositivo a pilotaggio remoto e la struttura da monitorare durante l?acquisizione delle immagini, a4) seconda acquisizione di una pluralit? di immagini della struttura.
Uno dei vantaggi pi? rilevanti del metodo oggetto della presente invenzione ? dato dal fatto che la traiettoria viene calcolata in modalit? real time.
Inoltre, la distanza varia in base alla struttura da monitorare, ossia il dispositivo a pilotaggio remoto conosce a priori la distanza da mantenere, costante durante il monitoraggio, ma variabile in base a ci? che si sta monitorando, in modo da ottimizzare la parte di acquisizione.
I passi descritti per calcolare la traiettoria ottimale possono essere effettuati sia on-board (processing che avviene a bordo del dispositivo) sia on-line (ad esempio attraverso una rete senza fili che manda le informazioni ad una unit? remota).
Grazie a tale configurazione, si definisce una traiettoria ottimale del dispositivo a pilotaggio remoto, in modo da facilitare l?elaborazione delle diverse acquisizioni.
Si realizza un metodo applicabile principalmente su infrastrutture riconducibili a modelli lineari come ad esempio condotti, cavidotti, impianti fotovoltaici e turbine eoliche.
Preferibilmente attraverso l?utilizzo di intelligenza artificiale e/o computer vision, il metodo oggetto della presente invenzione ? in grado di riconoscere le diverse strutture e le loro forme aggregate, identificandole nello spazio e fornendo l?indicazione migliore ad un dispositivo a pilotaggio remoto per mantenersi allineato a quanto di interesse e poter effettuare una guida autonoma.
Secondo una forma esecutiva preferita, i passi di riconoscimento della struttura da monitorare e di calcolo della traiettoria del dispositivo, prevedono i seguenti sottopassi:
- identificazione di un colore che caratterizza la struttura,
- conversione di almeno una immagine da RGB a HSV (Hue Saturation Value),
- selezione dei pixel che presentano il colore identificato e conversione di detti pixel ad un unico primo colore,
- identificazione della forma geometrica realizzata dai pixel e individuazione di una linea mediana della detta forma geometrica.
Attraverso un esempio esecutivo illustrato, verranno descritti in dettaglio in seguito i passi appena riportati.
Risulta tuttavia evidente come tali passi consentano di ottenere un calcolo della traiettoria ottimizzato, particolarmente efficiente ed efficace anche da un punto di vista computazionale e dei dati che devono essere elaborati.
Vantaggiosamente ? prevista l?esecuzione dei passi descritti per una pluralit? di immagini, essendo previsto un filtro volto ad eliminare le linee mediane che presentano una determinata distanza rispetto ad una specifica linea mediana.
Risulta evidente come il dispositivo a pilotaggio remoto possa essere un qualsivoglia dispositivo noto allo stato dell?arte in grado di acquisire immagini, anche se verr? illustrato un esempio esecutivo del metodo oggetto della presente che utilizza un drone.
Si realizza un metodo di guida autonoma grazie al quale il dispositivo a pilotaggio remoto autonomamente disegna una traiettoria ottimale per l?acquisizione dei dati capace di escludere dal rilevamento dati inutili, al fine di garantire una maggiore efficienza anche in fase di processamento in quanto il dato rilevato non ? viziato da elementi superflui.
Una volta ottimizzata la traiettoria del dispositivo, rispetto ai metodi noti allo stato dell?arte, la fase di elaborazione del metodo oggetto della presente invenzione presenta aspetti vantaggiosi in termini di efficienza rispetto al consumo di tempo macchina utilizzato per avere il medesimo risultato, ossia la diminuzione degli spazi di processamento in termini hardware.
Il metodo oggetto della presente invenzione, dunque, prevede le classiche tre fasi di acquisizione, elaborazione e reportistica, tuttavia ottimizza la fase di acquisizione per rendere pi? veloce ed efficiente la parte restante del processo.
Come risulta chiaramente da quanto appena descritto, rispetto ai metodi noti allo stato dell?arte, si ottiene un cambio di paradigma: le immagini non vengono acquisite e filtrate per ottenere le informazioni di interesse, ma vengono acquisite solamente le immagini con informazioni di interesse.
Infatti il dispositivo a pilotaggio remoto effettua una traiettoria ottimizzata, atta a riconoscere e a seguire la struttura da monitorare.
Il calcolo della traiettoria ottimizzata, consente di inviare un numero limitato di informazioni da inviare al dispositivo a pilotaggio remoto per riconoscere ed acquisire la struttura.
Tale configurazione non consente solamente di ottenere una elaborazione pi? veloce ed eseguibile in real-time, ma limita anche il rischio di valutazioni errate da parte degli algoritmi di riconoscimento anomalie, limitando fortemente la quantit? di dati da analizzare.
Il metodo oggetto della presente invenzione risulta dunque fortemente caratterizzato ad alto livello, ossia sulla guida del dispositivo a pilotaggio remoto, e poco a basso livello, ossia sulle strutture da monitorare.
Come verr? descritto successivamente, prima della generazione del report, il metodo risulta suddiviso in due parti, di cui una prima parte acquisisce e tiene guidato il dispositivo su quello che ? di interesse acquisire ed una seconda parte che prende le immagini acquisite e le elabora in tempo reale.
Secondo una possibile forma attuativa, all?interno di una o pi? immagini acquisite, ? previsto un passo di rilevazione quantitativa dei pixel relativi alla struttura da monitorare.
Poich? il dispositivo a pilotaggio remoto mantiene sempre la medesima distanza dalla struttura da monitorare, conoscendo le caratteristiche della fotocamera deputata alla acquisizione delle immagini (in particolare la dimensione dei pixel), ? possibile stimare in tempo reale le dimensioni della struttura stessa.
Tale caratteristica ha aspetti particolarmente vantaggiosi soprattutto nel processo di elaborazione delle immagini, in quanto consente di ottimizzare il processo di stitching evitando le distorsioni e le aberrazioni prospettiche.
Inoltre, secondo una forma esecutiva preferita, ? prevista una suddivisione virtuale della struttura da monitorare in pi? tratti, in modo tale per cui il passo relativo alla seconda acquisizione sia eseguito per un primo tratto e al termine di tale tratto venga eseguito per almeno un secondo tratto.
In combinazione, il passo di elaborazione relativo alle immagini acquisite nel primo tratto viene eseguito contemporaneamente al passo della seconda acquisizione relativo al secondo tratto.
Risulta evidente come il metodo oggetto della presente invenzione consenta di realizzare un algoritmo che ottimizza il processo di monitoraggio di strutture lineari.
In particolare, l?algoritmo ? idealmente suddiviso in tre blocchi, il primo blocco ? relativo alla guida autonoma del dispositivo a pilotaggio remoto, che ottimizza la traiettoria e che rimane sempre nel punto migliore di acquisizione, il secondo blocco ? relativo alla elaborazione delle immagini in diretta, in cascata al primo processo di acquisizione, in modo da avere tempi di lavorazione drasticamente ridotti.
Secondo una possibile forma attuativa, il metodo oggetto della presente invenzione consente di realizzare una piattaforma web basata sui risultati dell?elaborazione finale, ossia del passo c), alla quale piattaforma possono accedere diversi utenti, ad esempio attraverso una applicazione software dedicata e caricata sullo smartphone degli utenti stessi, per visualizzare e/o modificare i dati relativi alle strutture monitorate.
L?ultima fase del metodo, infatti, implica la generazione di reportistica attraverso un metodo automatizzato capace di riconoscere in tempo reale eventuali criticit? sulla struttura, quindi trasmettere tale informazioni attraverso un report che viene generato non appena il dispositivo completa la missione, abbattendo significativamente le tempistiche che intercorrerebbero tra la fase di acquisizione e restituzione dei dati.
Da quanto appena descritto, risulta evidente che, quando il dispositivo a pilotaggio remoto termina la missione, ha gi? elaborato la maggior parte delle informazioni acquisite, ? solamente necessario generare il report finale.
Questi ed ulteriori scopi della presente invenzione sono raggiunti mediante un metodo di monitoraggio secondo la rivendicazione indipendente allegata e le sottorivendicazioni.
Caratteristiche opzionali del dispositivo dell?invenzione sono contenute nelle allegate rivendicazioni dipendenti, che formano parte integrante della presente descrizione.
Queste ed altre caratteristiche e vantaggi della presente invenzione risulteranno pi? chiaramente dalla seguente descrizione di alcuni esempi esecutivi illustrati nei disegni allegati in cui:
la figura 1 illustra uno schema esemplificativo del metodo di monitoraggio di strutture oggetto della presente invenzione, secondo una possibile forma esecutiva;
la figura 2 illustra uno schema esemplificativo del metodo di monitoraggio di strutture oggetto della presente invenzione, secondo una ulteriore forma esecutiva;
la figura 3 illustra un diagramma di flusso di una possibile forma esecutiva del metodo di monitoraggio di strutture oggetto della presente invenzione;
la figura 4 illustra un diagramma di flusso di una possibile forma esecutiva relativo ai passi di riconoscimento delle strutture da monitorare e di calcolo della traiettoria.
Si specifica che le forme esecutive illustrate nelle figure allegate alla presente domanda di brevetto sono riportate per meglio comprendere i vantaggi e le caratteristiche del metodo oggetto della presente invenzione.
Tali forme esecutive sono dunque da intendersi a puro scopo illustrativo e non limitativo al concetto inventivo della presente invenzione, ossia quello di realizzare un metodo di monitoraggio di strutture lineari che consenta di ottenere una elaborazione praticamente in real time delle immagini acquisite, al fine di identificare immediatamente eventuali anomalie.
Con particolare riferimento alle figure 1 e 2, il metodo viene illustrato relativamente a strutture lineari specifiche, come una parte di ferrovia, figura 1, e un impianto a pannelli fotovoltaici, figura 2, ma il metodo oggetto della presente invenzione pu? essere applicato a qualsivoglia caso d?uso che presenti una struttura lineare, ossia una struttura con una dimensione principale.
Inoltre nelle figure viene illustrato l?utilizzo di un drone, ma, come anticipato, risulta evidente che un qualsivoglia dispositivo a pilotaggio remoto possa essere utilizzato per svolgere i passi di metodo che verranno successivamente descritti.
Con particolare riferimento alla figura 1, il metodo oggetto della presente invenzione prevede l?utilizzo di un drone 31, realizzato secondo uno dei qualsivoglia modi noti allo stato dell?arte, comprendente mezzi di acquisizione di immagini 32.
Il drone 31 ? configurato per sorvolare al di sopra della ferrovia 1 e di acquisire immagini della ferrovia stessa grazie alla fotocamera 32.
Il drone 31 inoltre pu? comunicare con una unit? remota 4, che pu? ad esempio essere costituita da un server cloud, che comprende mezzi processori per l?esecuzione di un programma logico.
Il drone 31 pu? preferibilmente presentare una intelligenza a bordo, in modo che l?elaborazione delle immagini acquisite sia suddivisa tra l?intelligenza a bordo del drone 31 e i mezzi processori 41, secondo una qualsivoglia modalit?.
Ad esempio l?intelligenza a bordo del drone 31 pu? occuparsi di effettuare l?elaborazione in tempo reale, che verr? successivamente descritta, mentre i mezzi processori 41 potranno occuparsi della generazione del report una volta terminata la missione del drone 31.
In alternativa, preferibilmente, l?intelligenza a bordo del drone 31 si occupa anche della generazione del report, ossia non ? necessaria la presenza di una unit? remota 4 e dei corrispondenti mezzi processori 41.
Grazie a tale configurazione, il drone 31 si occupa dell?intero processo di elaborazione, in modo da evitare il traffico di una ingente quantit? di dati tra il drone 31 e l?unit? remota 4.
Preferibilmente c?? un computer sul drone su cui ? caricato un algoritmo di processamento dei dati acquisiti, ottimizzato sia su CPU che su GPU.
Inoltre i mezzi processori 41 potranno essere i responsabili della creazione di una piattaforma web, in cui riportare tutti i report delle varie missioni del drone 31.
Nel caso particolare di figura 1, il drone 31 si occupa di monitorare una ferrovia 1, costituita da due binari 10 e 11 collegati tra loro attraverso una pluralit? di traversine 12.
La figura 3 illustra un diagramma di flusso del metodo oggetto della presente invenzione, con riferimento alla figura 1.
Innanzitutto viene selezionata una area A che circonda la ferrovia 1 da monitorare.
Preferibilmente, la selezione dell?area A avviene attraverso la selezione del confine esterno che delimita l?area che il drone 31 deve sorvolare.
Il drone 31 sorvola, passo 70, l?area A un numero sufficiente di volte, a riconoscere all?interno dell?area A la struttura da monitorare, ossia la ferrovia 1, passo 71.
Il riconoscimento della ferrovia 1 del passo 71 pu? essere effettuato secondo un qualsivoglia modo noto allo stato dell?arte.
In figura 4 verr? invece descritto un metodo preferito per riconoscere la ferrovia 1 e per calcolare la traiettoria del drone 31.
Ad esempio ? possibile insegnare al drone 31 le strutture che vanno acquisite, ossia il drone 31 si aspetta di acquisire forme note a priori, sulla base della missione da eseguire.
Dunque vantaggiosamente il drone 31 o l?unit? remota 4 possono comprendere modelli virtuali delle varie strutture da monitorare, che vengono segnalate al drone 31 in base alla missione da eseguire.
Il drone 31 prende tali modelli virtuali e, attraverso un sistema di riconoscimento immagini, individua all?interno dell?area A, con uno o pi? passaggi sull?area A, gli aspetti peculiari della ferrovia 1, che consentono di riconoscerla.
Una volta individuata la struttura, passo 71, il drone 31 si posiziona al centro della struttura da monitorare.
Ad esempio, con riferimento alla figura 1, nel caso si volessero acquisire entrambi i binari 10 e 11 della ferrovia 1, il drone 31 si posiziona in corrispondenza dell?asse B.
Il centro viene individuato grazie al medesimo sistema di riconoscimento immagini che ha consentito l?individuazione della ferrovia 1.
Il posizionamento al centro dell?immagine che si vuole acquisire consente di evitare distorsioni dell?immagine stessa, una volta acquisita dal drone 31.
Il drone 31 si posiziona all?inizio e al di sopra della ferrovia 1 e, preferibilmente associa al punto di partenza una coordinata GPS, in modo da generare un ?punto di presa?.
Poich? il metodo ? relativo al monitoraggio di strutture lineari, l?algoritmo di pilotaggio del drone 31 si aspetta di movimentare il drone lungo una direzione principale, seguendo l?andamento della struttura, per cui, partendo dal punto di presa, il drone 31 resta agganciato alla ferrovia 1, scorrendo lungo l?asse B.
Nel metodo oggetto della presente invenzione, il drone 31 conosce a priori solamente la tipologia di struttura che dovr? monitorare, ossia non conosce i dettagli che dovr? acquisire, ma conosce la conformazione delle strutture precedentemente all?acquisizione.
Di conseguenza, una volta terminata l?acquisizione di una parte della struttura, il drone conoscer? dove deve dirigersi, anche grazie all?ausilio del GPS, che, ad esempio, pu? segnalare al drone la rotazione da compiere una volta terminata l?acquisizione di una pala eolica o di un modulo fotovoltaico, per completare l?acquisizione dell?intero impianto.
Durante il volo, il drone 31 acquisisce dunque una pluralit? di immagini della ferrovia 1, in modo che siano elaborate, al passo 74, che verr? successivamente descritto.
Preferibilmente infatti, prima del passo 74, ? prevista una suddivisione virtuale, passo 72, della area A, ossia della ferrovia 1, in modo da suddividere la ferrovia 1 in uno o pi? tratti.
La suddivisione in tratti pu? essere effettuata sulla base del tempo di volo o sulla base della lunghezza della ferrovia 1.
La suddivisione pu? essere fatta a priori, in base alla tipologia di struttura da monitorare (ad esempio nel caso della ferrovia posso impostare il drone in modo che elabori le immagini acquisite percorsi un determinato numero di metri).
Una volta stabilito il numero di tratti, il drone inizia la seconda acquisizione, passo 730, volta ad acquisire esclusivamente le immagini relative alla ferrovia 1 e ai binari 10 e 11.
Secondo una variante esecutiva preferita del metodo oggetto della presente invenzione, una volta terminata l?acquisizione del primo tratto, passo 730, i dati acquisiti vengono elaborati, passo 74.
Contemporaneamente al passo di elaborazione 74 relativo alla seconda esecuzione del primo tratto 730, avviene la seconda esecuzione del secondo tratto 731, in modo tale per cui l?elaborazione delle immagini acquisite al passo 731 avvenga immediatamente dopo la fine della elaborazione delle immagini acquisite al passo 730.
In questo modo, a parte per il passo 730, ogni acquisizione dei tratti successivi avverr? in contemporanea al passo di elaborazione delle immagini relative al tratto precedente rispetto al tratto attualmente in acquisizione.
In figura 3 sono illustrati, per semplicit? espositiva, solamente i passi 730 e 731 relativi alla acquisizione di due tratti, tuttavia ? possibile prevedere un qualsivoglia numero di passo, sulla base della suddivisione della struttura da monitorare, avvenuta al passo 72.
Il passo di elaborazione 74 preferibilmente prevede un processo di stiching calibrato 741 nelle immagini.
L?algoritmo di stitching consente di selezionare esattamente i dati di interesse, ossia una ricostruzione della ferrovia 1.
L?algoritmo di stitching preferibilmente si basa sulla precisione GPS.
Infatti, il risultato della procedura di stitching ? un file atto a ricostruire un modello virtuale di ferrovia 1 che ricalchi la ferrovia reale 1.
Tale file viene ulteriormente raffinato perch? ad ogni immagine che ha contribuito a realizzare il file viene assegnata una coordinata GPS, in modo da dare a quell?immagine una corretta georeferenziazione.
Una volta ricostruito il file, viene effettuata la rilevazione delle anomalie, passo 742, attraverso algoritmi noti di riconoscimento immagini.
Fondamentalmente si identificano all?interno del file i difetti puntuali dell?immagine: nel caso specifico di figura 1, potrebbe essere identificata la rottura del binario 11, come zona di discontinuit? di una parte della ferrovia 1 che dovrebbe essere continua.
In base a quanto illustrato in figura 3, il metodo oggetto della presente invenzione risulta suddiviso in tre blocchi logici.
Il primo blocco ? costituito dalla guida autonoma del drone 31 che viene agganciato otticamente alla struttura da monitorare e che comprende i passi 70, 71, 72, 730 e 731.
Il secondo blocco logico ? relativo all?elaborazione delle immagini, passo 74, mentre il terzo blocco ? relativo alla generazione del report, passo 75.
Da quanto descritto, i tre blocchi non sono eseguiti propriamente in successione, in quanto una volta eseguito il passo 730, vengono eseguiti contemporaneamente i passi 731 e 74 (relativamente ai dati del passo 730).
Non appena termina anche il passo 731, viene nuovamente eseguito il passo 74.
Come descritto, non appena termina l?elaborazione di tutte le immagini acquisite di tutte le seconde acquisizioni, ossia di tutti i tratti, si ottiene un unico file georeferenziato.
Tale file viene inviato all?ultimo blocco logico, ossia il blocco relativo alla generazione del report, passo 75.
Come anticipato, tale passo pu? essere eseguito o direttamente dal drone 31 o anche dall?unit? remota 4, responsabile anche del caricamento su una interfaccia web di tale report.
Il metodo oggetto della presente invenzione presenta un funzionamento del tutto simile anche nel caso in cui la struttura da monitorare sia un impianto fotovoltaico 2, come nel caso illustrato in figura 2, in cui ? presente il detto impianto 2 costituito da una pluralit? di pannelli fotovoltaici 21.
In questo caso, preferibilmente, il drone 31 presenta mezzi di acquisizione di immagini 32 che comprendono una termocamera.
Nel caso di monitoraggio di impianti fotovoltaici, il metodo oggetto della presente invenzione prevede un passo di equalizzazione delle temperature delle immagini ad una scala fissa, ossia le foto vengono equalizzate per temperatura.
Inoltre, preferibilmente le immagini vengono normalizzate sulla base dell?irraggiamento solare che viene visualizzato, soprattutto quanto l?impianto presenta una pluralit? di pannelli solari.
Una volta effettuate tali elaborazioni sulle immagini, viene lanciato l?algoritmo di stitching per costruire il primo blocco lineare.
Successivamente viene previsto un algoritmo relativo alla computer vision, che identifica tutti i moduli fotovoltaici, ossia riconosce l?oggetto e conserva esclusivamente i dati relativi a tale pannello.
Si identifica dunque ogni singolo modulo fotovoltaico e si assegna un codice identificativo univoco ad ogni pannello.
Il passo di elaborazione prevede dunque di creare una griglia di moduli, di cui viene georeferenziato il centro.
Inoltre, tale elaborazione prevede di generare un database associato ad ogni modulo dove vengono identificati alcuni parametri fondamentali, come ad esempio identificata temperatura massima, temperatura minima, temperatura media, presenza di anomalie e altri dati (tempo di rilievo, data, ecc.).
Infine, tale database sar? utilizzato come base per la generazione del report da caricare sulla piattaforma web, in maniera del tutto simile a come descritto in precedenza, relativamente al passo 75.
La figura 4 illustra una forma esecutiva preferita volta a descrivere i passi di riconoscimento della struttura e di calcolo della traiettoria del drone.
Il punto di partenza ? ovviamente l?acquisizione di una o pi? immagini, passo 80.
La fotocamera 32 del drone 31 acquisisce una pluralit? di immagini della zona A che sorvola il drone 31, ad intervalli prestabiliti di tempo.
Le immagini acquisite vengono elaborate, in modo tale per cui venga isolata la caratteristica di colore, passo 81, ossia viene identificato un colore che caratterizza la struttura da monitorare e che il sistema conosce a priori.
Viene inoltre fatta una conversione delle immagini, passo 82, da RGB a HSV, in modo che tutte le varianti di un determinato colore diventino fisse, ossia vengano uniformate ad un unico colore, in modo da evidenziare i contorni della struttura.
Risulta evidente che, nel caso di immagine diversa dal formato RGB, come ad esempio immagine termica, tale passo sar? effettuato in maniera del tutto simile, andando a saturare ad esempio i colori che rappresentano una determinata temperatura.
Preferibilmente la calibrazione dei colori e delle soglie di dove considerare il colore ? continua, per evitare che cambi di luminosit? creino problematiche durante l?elaborazione delle immagini.
Successivamente, passo 83, vengono presi i pixel identificati al passo 82, ossia i pixel che presentano il colore scelto, ai quali viene assegnato il colore bianco.
Contemporaneamente viene assegnato il colore nero ai pixel restanti.
A questo punto, passo 84, viene rilevata la forma geometrica identificata dai pixel bianchi e di tale forma geometrica, si calcola la linea mediana, che corrisponde alla traiettoria che deve seguire il drone 31.
Poich?, come anticipato, il metodo ? eseguito su una pluralit? di immagini, al passo 84 vengono calcolate diverse linee mediane, che vengono successivamente filtrate, passo 85, per eliminare eventuali errori nel calcolo delle linee mediane.
Per filtrare le linee mediane, preferibilmente, vengono scartate tutte quelle linee la cui magnitudine della risultanza della regola del parallelogramma dei versori che descrivono la retta ? minore di una certa soglia calibrata.
In pratica si controlla l?orientazione di una linea, si calcola la risultante tra le varie linee e si controlla se ogni linea rimane all?interno di una soglia di confidenza, rispetto alla risultante calcolata.
Per le linee che rientrano all?interno di tale soglia di confidenza, viene controllata la distanza in termini di pixel tra le linee mediane ritrovate.
Il risultato del passo 85 ? l?ottenimento di una o pi? linee mediane, da cui sono state escluse quelle dovute ad errori di acquisizione o di calcolo e, tra le restanti, si selezionano esclusivamente quelle che risultano sotto un determinato numero di pixel di distanza.
Successivamente, passo 86, avviene un passo di unione delle linee mediane ritrovate, che realizzano una unica figura di colore bianco, da cui si calcola la traiettoria finale che il drone 31 dovr? seguire.
Secondo una possibile forma esecutiva ? possibile a questo punto prevedere un passo 87 di applicazione del filtro EKF, filtro di Kalman esteso, che elimina eventuali errori.
? inoltre possibile prevedere che il metodo appena descritto preveda un controllo predittivo, ossia in base a come era l?ultima linea mediana calcolata, il metodo ne genera una virtuale, con un orientamento che ? plausibile ipotizzare, sulla base dell?andamento della struttura da monitorare, che, essendo lineare, si sviluppa lungo una direzione principale.
Mentre l?invenzione ? suscettibile di varie modifiche e costruzioni alternative, alcune forme di realizzazione preferite sono state mostrate nei disegni e descritte in dettaglio.
Si deve intendere, comunque, che non vi ? alcuna intenzione di limitare l?invenzione alla specifica forma di realizzazione illustrata, ma, al contrario, essa intende coprire tutte le modifiche, costruzioni alternative, ed equivalenti che ricadano nell?ambito dell?invenzione come definito nelle rivendicazioni.
L?uso di ?ad esempio?, ?ecc.?, ?oppure? indica alternative non esclusive senza limitazione a meno che non altrimenti indicato.
L?uso di ?include? significa ?include, ma non limitato a? a meno che non altrimenti indicato.

Claims (10)

RIVENDICAZIONI
1. Metodo di monitoraggio di strutture lineari (1, 2), quali panelli fotovoltaici (21), ferrovie (1), cavidotti o simili, comprendente i seguenti passi:
a) acquisizione di una pluralit? di immagini della struttura lineare (1, 2),
b) elaborazione di dette immagini,
c) generazione di un report (75) sulla base della elaborazione di dette immagini,
caratterizzato dal fatto che
il passo di acquisizione ? eseguito da un dispositivo a pilotaggio remoto (31) configurato per acquisire immagini e prevede i seguenti passi:
a1) identificazione di una area da monitorare (70),
a2) prima acquisizione (71) di una o pi? immagini dell?area e riconoscimento della struttura da monitorare all?interno dell?area,
a3) calcolo della traiettoria del dispositivo a pilotaggio remoto in modo tale per cui le immagini acquisite sono centrate sulla struttura da monitorare (1, 2) ed in modo tale per cui il dispositivo a pilotaggio remoto (31) mantiene sempre la stessa distanza tra il dispositivo a pilotaggio remoto e la struttura da monitorare durante l?acquisizione delle immagini,
a4) seconda acquisizione (730, 731) di una pluralit? di immagini della struttura (1, 2).
2. Metodo secondo la rivendicazione 1, in cui i passi di riconoscimento della struttura da monitorare e di calcolo della traiettoria del dispositivo, prevedono i seguenti sottopassi:
- identificazione di un colore che caratterizza la struttura,
- conversione di almeno una immagine da RGB a HSV (Hue Saturation Value),
- selezione dei pixel che presentano il colore identificato e conversione di detti pixel ad un unico primo colore,
- identificazione della forma geometrica realizzata dai pixel e individuazione di una linea mediana della detta forma geometrica.
3. Metodo secondo la rivendicazione 2, in cui ? prevista l?esecuzione dei passi per una pluralit? di immagini, essendo previsto un filtro volto ad eliminare le linee mediane che presentano una determinata distanza rispetto ad una specifica linea mediana.
4. Metodo secondo una o pi? delle precedenti rivendicazioni, in cui il passo di elaborazione (74) delle immagini comprende un passo di stitching (741) delle immagini acquisite durante la seconda acquisizione (730, 731).
5. Metodo secondo una o pi? delle precedenti rivendicazioni, in cui, all?interno di una o pi? immagini acquisite, ? previsto un passo di rilevazione quantitativa dei pixel relativi alla struttura da monitorare.
6. Metodo secondo una o pi? delle precedenti rivendicazioni, in cui ? previsto un passo di suddivisione virtuale (72) della struttura da monitorare (1, 2) in pi? tratti, in modo tale per cui il passo a4) ? eseguito per un primo tratto e al termine di tale tratto viene eseguito per almeno un secondo tratto,
il passo b) relativo alle immagini acquisite nel primo tratto essendo eseguito contemporaneamente al passo a4) relativamente al secondo tratto.
7. Metodo secondo la rivendicazione 6, in cui il passo c) ? eseguito una volta che ? stato eseguito il passo b) relativamente all?ultimo tratto.
8. Metodo secondo una o pi? delle precedenti rivendicazioni, in cui la struttura ? costituita da un impianto fotovoltaico (2), prevedendo il passo di acquisizione, l?acquisizione di immagini termografiche del detto impianto,
essendo previsto un passo di equalizzazione delle immagini termografiche ad una temperatura fissa.
9. Metodo secondo la rivendicazione 8, in cui ? previsto un passo di normalizzazione delle immagini termografiche sulla base dell?irraggiamento solare.
10. Metodo secondo una o pi? delle precedenti rivendicazioni, in cui il passo b) prevede l?associazione di una geolocalizzazione alle immagini elaborate.
IT102021000008570A 2021-04-07 2021-04-07 Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili IT202100008570A1 (it)

Priority Applications (2)

Application Number Priority Date Filing Date Title
IT102021000008570A IT202100008570A1 (it) 2021-04-07 2021-04-07 Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili
EP22167108.4A EP4071664A1 (en) 2021-04-07 2022-04-07 Method for monitoring linear structures, such as photovoltaic panels, railways, cable conduits

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102021000008570A IT202100008570A1 (it) 2021-04-07 2021-04-07 Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili

Publications (1)

Publication Number Publication Date
IT202100008570A1 true IT202100008570A1 (it) 2022-10-07

Family

ID=76921082

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102021000008570A IT202100008570A1 (it) 2021-04-07 2021-04-07 Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili

Country Status (2)

Country Link
EP (1) EP4071664A1 (it)
IT (1) IT202100008570A1 (it)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2619006A (en) * 2022-05-18 2023-11-29 Above Surveying Ltd UAV flight path optimisation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180003656A1 (en) * 2016-06-30 2018-01-04 Unmanned Innovation Inc. Solar panel inspection using unmanned aerial vehicles
WO2019144317A1 (en) * 2018-01-24 2019-08-01 Honeywell International Inc. Solar panel inspection by unmanned aerial vehicle
CN112116600A (zh) * 2020-08-17 2020-12-22 内蒙古能建数字信息科技有限公司 一种基于图像处理的光伏板计数方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101664909B1 (ko) * 2014-10-22 2016-10-13 한국생산기술연구원 태양광 패널의 형상을 활용한 태양광 패널 감시용 무인 비행체 및 그의 자세 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180003656A1 (en) * 2016-06-30 2018-01-04 Unmanned Innovation Inc. Solar panel inspection using unmanned aerial vehicles
WO2019144317A1 (en) * 2018-01-24 2019-08-01 Honeywell International Inc. Solar panel inspection by unmanned aerial vehicle
CN112116600A (zh) * 2020-08-17 2020-12-22 内蒙古能建数字信息科技有限公司 一种基于图像处理的光伏板计数方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MUHAMMAD BILAL ET AL: "Automating the maintenance of photovoltaic power plants", 2017 GLOBAL WIRELESS SUMMIT (GWS), IEEE, 15 October 2017 (2017-10-15), pages 6 - 11, XP033324608, DOI: 10.1109/GWS.2017.8300492 *

Also Published As

Publication number Publication date
EP4071664A1 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
CA3045197C (en) Systems and methods for data acquisition and asset inspection in presence of magnetic interference
EP3596569B1 (en) System and method for integrating flight path and site operating data
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
US20190066317A1 (en) Image and video capture architecture for three-dimensional reconstruction
BR102016003654A2 (pt) método para avaliar uma peça
Kreutz et al. Ice detection on rotor blades of wind turbines using RGB images and convolutional neural networks
EP3453874A1 (en) Method for analysis of sensor data related to a wind turbine
IT202100008570A1 (it) Metodo di monitoraggio di strutture lineari, quali panelli fotovoltaici, ferrovie, cavidotti o simili
EP3312095B1 (en) Lightning strike inconsistency aircraft dispatch mobile disposition tool
Igritskaia et al. Diagnostics of the launch system structures by analyzing the video footage of their motion
CN112455676A (zh) 一种光伏板健康状态智能监测分析系统及方法
Lin et al. Monitoring chicken heat stress using deep convolutional neural networks
Capece et al. PANTOBOT-3D: An automatic vision-based inspection system for locomotive pantographs
Braun et al. Bim-based progress monitoring
JP7081945B2 (ja) 温度管理装置、温度管理システム、温度管理方法、およびプログラム
Ismail et al. Autonomous detection of PV panels using a drone
CN112101450A (zh) 一种基于深度学习和多传感融合的无接触测振设备和方法
CN117406789A (zh) 基于图像分析的多无人机桥梁支座巡检航线自动规划方法
US20240078654A1 (en) System and method for inspection of a wind turbine blade shell part
US20240103537A1 (en) Methods, systems, and devices for inspecting structures and objects
CN115471764A (zh) 一种输电通道隐患检测方法、系统、设备及存储介质
Jalil et al. Multimodal image analysis for power line inspection
JP2022020355A (ja) 鉄道線路情報取得装置、及び鉄道線路情報取得方法
Carvalho Júnior et al. A UAV-based framework for semi-automated thermographic inspection of belt conveyors in the mining industry.
Virca et al. Study on the Predictive Maintenance of Vehicles and its Management Using the Specific “Keep the Machine Running” Application