IT202000005686A1 - Sistema di guida autonoma in ambito agricolo mediante camera infrarossi - Google Patents

Sistema di guida autonoma in ambito agricolo mediante camera infrarossi Download PDF

Info

Publication number
IT202000005686A1
IT202000005686A1 IT102020000005686A IT202000005686A IT202000005686A1 IT 202000005686 A1 IT202000005686 A1 IT 202000005686A1 IT 102020000005686 A IT102020000005686 A IT 102020000005686A IT 202000005686 A IT202000005686 A IT 202000005686A IT 202000005686 A1 IT202000005686 A1 IT 202000005686A1
Authority
IT
Italy
Prior art keywords
thermal image
vector
line
maxima
thermal
Prior art date
Application number
IT102020000005686A
Other languages
English (en)
Inventor
Luca Ferrari
Nicola LENZINI
Cecilia Luca Di
Original Assignee
Cnh Ind Italia Spa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cnh Ind Italia Spa filed Critical Cnh Ind Italia Spa
Priority to IT102020000005686A priority Critical patent/IT202000005686A1/it
Priority to PCT/EP2021/056590 priority patent/WO2021185790A1/en
Priority to US17/912,307 priority patent/US20230145541A1/en
Priority to EP21711568.2A priority patent/EP4120816A1/en
Publication of IT202000005686A1 publication Critical patent/IT202000005686A1/it

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001Steering by means of optical assistance, e.g. television cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Guiding Agricultural Machines (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Processing (AREA)

Description

DESCRIZIONE
del brevetto per Invenzione Industriale dal titolo:
?Sistema di guida autonoma in ambito agricolo mediante camera infrarossi?
Campo di applicazione dell?invenzione
La presente invenzione ? relativa ad un sistema di guida autonoma in ambito agricolo mediante camera infrarossi, in particolare nell?ambito di colture realizzate per file parallele, quali vigne, bacche, mais, caff?, frutteti e ulivi e nell?ambito di andane per la produzione di balle di fieno o foraggio.
Stato della tecnica
E? nota l?implementazione di visori infrarossi in ambito agricolo.
WO2018226437 descrive un sistema avanzato di assistenza alla guida basato sull?impiego di una videocamera a infrarossi lontani senza otturatore (FIR) dotata di un'unit? ottica con almeno un obiettivo. Il sensore FIR ? accoppiato all'unit? ottica e configurato per acquisire immagini FIR, mentre un circuito integrato ? configurato per elaborare le immagini FIR catturate per emettere un flusso video termico senza correggere l?apertura dell?otturatore.
CN208863203 mostra un robot da giardino intelligente, comprendente un dispositivo di taglio delle piante verdi nella parte anteriore viene utilizzato per tagliare le piante verdi regolandone una lunghezza, in modo da tagliare la faccia laterale e la parte superiore di una siepe bassa. L?operazione di tagliato pu? essere determinata attraverso una fotocamera con la tecnologia di riconoscimento automatico e l'effetto di taglio pu? essere rilevato in tempo reale attraverso il dispositivo di rilevamento a infrarossi e, se si verifica una deviazione, viene emesso un allarme attraverso l'allarme e l'operazione viene interrotta.
Tali sistemi non sono particolarmente idonei, soprattutto quando applicati ad un veicolo agricolo di grandi dimensioni.
Se non specificatamente escluso nella descrizione di dettaglio che segue, quanto descritto nel presente capitolo ? da considerarsi come parte integrante della descrizione di dettaglio.
Sommario dell?invenzione
Scopo della presente invenzione ? quello di presentare un metodo di guida autonoma basato sulla visione termica, per mezzo di una o pi? camere infrarossi (termocamere) ad onda lunga, in grado di permettere almeno un riallineamento automatico di un veicolo a guida autonoma lungo filari di piantagioni ed andane.
L?idea di base della presente invenzione ? quella di associare una o pi? camere infrarossi ad un veicolo in modo da ottenere almeno una immagine termica che si prospetta di fronte al veicolo, cosicch? la temperatura misurata ? rappresentata in ogni pixel dell?immagine termica per mezzo di una scala cromatica.
L?immagine acquisita dalla termocamera oppure estratta da una immagine pi? estesa, ha forma circa rettangolare, e ad essa pu? essere associato un sistema di riferimento cartesiano con assi paralleli ai lati dell?immagine. Preferibilmente, l?origine del sistema di riferimento cartesiano ? in basso a sinistra dell?immagine stessa.
Il metodo oggetto della presente invenzione prevede che dell?immagine termica acquisita vengono selezionate almeno due linee di pixel consecutivi, orizzontali e dunque parallele tra loro.
Da ciascuna linea viene estrapolata la temperatura associata ad ogni pixel della linea e viene generato un vettore di valori di temperatura corrispondenti, in termini di posizione, ai pixel della stessa linea.
Su ciascun vettore viene eseguito un raccordo (fitting) Gaussiano o di altro genere ? polinomiale, catenario, etc.. individuando uno o pi? massimi.
La medesima operazione di raccordo viene eseguita sugli ulteriori vettori.
Vengono individuati i cosiddetti massimi omologhi, vale a dire quei massimi, all?interno dei due o pi? vettori che si trovano in posizioni, all?interno del proprio vettore, simile alla posizione degli altri massimi nei rispettivi vettori.
Ci? equivale a selezionare un primo massimo di un primo vettore, individuare un intorno del primo massimo ed individuare un primo massimo di un secondo vettore, all?interno dello stesso intorno trasposto sul secondo vettore.
Da un punto di vista grafico, quando i vettori sono rappresentati in grafici di temperatura, ci? equivale a finestrare i grafici con finestre rettangolari, verticali, di ampiezza pari al suddetto intorno.
I massimi omologhi sono fortemente correlati e generalmente relativi allo stesso allineamento di piante, colture o andane.
Il metodo prevede di congiungere i massimi omologhi mediante una retta interpolante, quale un fitting polinomiale di grado 1, che interpola i punti di massimo omologhi, cio? quelli identificati sulle due o pi? linee orizzontali di pixel.
Si possono ottenere pi? rette interpolanti, in relazione all?ampiezza della immagine termica. Si seleziona il raccordo lineare pi? centrale nella figura.
Uno sfasamento angolare tra la retta di interpolazione e l?asse delle ordinate associato alla immagine di temperatura, corrisponde ad uno sfasamento angolare dell?asse di sviluppo longitudinale del veicolo rispetto all?allineamento della coltura o del campo di andane.
Grazie al presente metodo risulta possibile individuare uno sfasamento angolare del veicolo e correggerlo.
Preferibilmente, il veicolo ? almeno pre-allineato, seppur grossolanamente, prima della implementazione del presente metodo. Il pre-allineamento, per esempio pu? essere eseguito manualmente oppure sulla base di informazioni cartografiche/GPS.
In una variante preferita dell?invenzione, se il veicolo ? preliminarmente pre-allineato con gli allineamenti di una piantagione o andana, allora, si pu? prevedere di finestrare l?immagine di temperatura prima di eseguire il fitting Gaussiano. Pertanto, la selezione della retta interpolante centrale ? un passo opzionale.
La finestratura consiste preferibilmente nell?estrazione di un rettangolo con lati paralleli al sistema di riferimento dell?immagine di temperatura, in una posizione mediale dell?immagine. Tale finestratura pu? tener conto di un eventuale scostamento tra l?asse di visione della termocamera e l?asse di sviluppo del veicolo.
Se l?immagine termica estratta ? quella che si prospetta centralmente di fronte al veicolo, allora la finestratura ? sostanzialmente centrale nella immagine di temperatura. La finestratura consente di limitare il carico computazionale. Quando la termocamera ? allineata con l?asse di sviluppo longitudinale del veicolo e la retta di interpolazione dei massimi ? coincidente con la retta mediale verticale nella immagine di temperatura, ci? significa che l?asse di sviluppo del veicolo si trova sovrapposto ad un allineamento della coltura o raccolto, per esempio con una andana per la composizione di balle.
Quando invece la linea mediale dell?immagine ? parallela alla retta di interpolazione, ma distanziata da essa, ci? significa che il veicolo si muove in accordo con l?allineamento dei filari o andane, ma con un certo scostamento (offset lineare) tra due filari o andane adiacenti.
Grazie al presente metodo risulta possibile individuare uno scostamento laterale del veicolo rispetto ad un allineamento di una coltura e correggerlo.
Inoltre, in alcuni casi, si desidera che il veicolo si muova tra due filari di una piantagione senza danneggiare le piante, con l?asse di sviluppo longitudinale del veicolo sovrapposto alla mezzeria degli allineamenti di piante.
Infatti, nota una distanza approssimativa tra i filari, il sistema pu? imporre all?asse di sviluppo del veicolo di rimanere allineato con almeno un filare e distanziato da questo di una predeterminata distanza, ad esempio pari alla met? della distanza approssimativa tra due filari adiacenti.
Pertanto, la presente invenzione consente anche di controllare una posizione del veicolo tra due allineamenti di piante adiacenti o su andane.
Le rivendicazioni dipendenti descrivono varianti preferite dell?invenzione, formando parte integrante della presente descrizione.
Breve descrizione delle figure
Ulteriori scopi e vantaggi della presente invenzione risulteranno chiari dalla descrizione particolareggiata che segue di un esempio di realizzazione della stessa (e di sue varianti) e dai disegni annessi dati a puro titolo esplicativo e non limitativo, in cui:
nella figura 1 ? mostrata una vista laterale di un esempio di veicolo agricolo dotato di una termocamera;
nella figura 2 ? mostrata una immagine termica catturata o estratta dallo scenario catturato dalla termocamera che si prospetta di fronte al veicolo di figura 1;
nella figura 3 sono mostrati due vettori di temperatura di relativi ad altrettante linee di pixel estratti dalla immagine di figura 2;
nella figura 4 viene mostrata l?interpolazione di massimi omologhi relativi ai due vettori di figura 3 individuando una sfasatura angolare tra l?asse di sviluppo del veicolo ed un allineamento di piante o andane;
nella figura 5 viene mostrata l?interpolazione di massimi omologhi relativi ai due vettori di figura 3 individuando una sfasatura lineare tra l?asse di sviluppo del veicolo ed un allineamento di piante o andane;
nella figura 6 ? mostrato un diagramma di flusso di un esempio del metodo oggetto della presente invenzione, nella figura 7 ? mostrata la procedura di fitting operata su curve costruite sulle intensit? di temperatura dei vettori di figura 3 e l?interpolazione dei rispettivi massimi centrali.
Gli stessi numeri e le stesse lettere di riferimento nelle figure identificano gli stessi elementi o componenti.
Nell?ambito della presente descrizione il termine ?secondo? componente non implica la presenza di un ?primo? componente. Tali termini sono infatti adoperati come etichette per migliorare la chiarezza e non vanno intesi in modo limitativo.
Gli elementi e le caratteristiche illustrate nelle diverse forme di realizzazione preferite, inclusi i disegni, possono essere combinati tra loro senza peraltro uscire dall?ambito di protezione della presente domanda come descritta di seguito.
Descrizione di dettaglio di esempi di realizzazione
Con riferimento alla figura 1, ove ? mostrato un veicolo agricolo AV al quale ? associato almeno una termocamera (Thermal camera). La termocamera pu? essere posizionata in modo che un relativo asse di visione sia parallelo con un asse di sviluppo del veicolo.
Secondo una vista dall?alto del veicolo, l?asse di sviluppo del veicolo e l?asse di visione della camera sono ad una distanza fissa che pu? essere zero. Dal momento che l?asse di visione della camera si confonde con la camera stessa, allora l?espressione ?camera parallela a? si intende che ?l?asse di visione della camera ? parallelo a?. Inoltre, quando si dice che la camera ? ?allineata con l?asse di sviluppo del veicolo? si intende che la suddetta distanza ? nulla.
Vale la pena evidenziare che l?aspetto pi? importante non ? tanto l?allineamento delle una o pi? termocamere con l?asse di sviluppo del veicolo quanto il fatto di estrarre una immagine termica circa rettangolare che si prospetta di fronte al veicolo. Le termocamere infatti possono anche essere angolate per allargare l?orizzonte di visione che si prospetta difronte al veicolo per ulteriori scopi.
Ad esempio, si pu? prevedere di disporre una pluralit? di termocamere disposte a raggera per avere una vista termica a 360? intorno al veicolo.
Un esempio di immagine estratta ? mostrato in figura 2. Dell?immagine estratta, ciascun pixel rappresenta una temperatura, assoluta o relativa, dell?oggetto corrispondente che ? presente nella scena.
Preferibilmente, almeno una termocamera acquisisce una immagine di temperatura che viene calcolata tramite una calibrazione effettuata a monte ed una definizione del coefficiente di emissivit? degli oggetti nella scena che in questo caso sono campioni organici.
In altre parole, il sistema di guida autonoma, in relazione al tipo di missione pu? applicare calibrazioni differenti alla termocamera.
Secondo la presente invenzione, dall?immagine termica acquisita o estratta da un?immagine pi? ampia, vengono selezionate almeno due linee di pixel parallele tra loro ed orizzontali, vale a dire parallele con l?asse delle ascisse X associato alla immagine termica.
Nella figura 2 vengono estratte tre linee di pixel: Line 1, Line 2, Line 3.
Aumentando il numero delle linee estratte aumenta l?accuratezza dell?allineamento del veicolo con l?allineamento di piante o andane.
Da ciascuna linea, viene estrapolata l?intensit? di temperatura associata a ciascun pixel della stessa linea e viene generato un vettore V1, V2, etc.. di valori di temperatura corrispondenti ai pixel della stessa linea.
Su ciascun vettore viene eseguito un raccordo (fitting) Gaussiano o di altro genere ? polinomiale, catenario, etc.. individuando uno o pi? massimi: M1, M2, M3.
Per comodit? viene adoperata la notazione V1:M1 per indicare che il primo massimo M1 appartiene al primo vettore V1, etc..
Evidentemente, se la termocamera ? posta molto in alto rispetto agli allineamenti di piante, l?immagine termica contiene anche informazioni circa gli allineamenti laterali. Pertanto, ? probabile che in ciascun vettore vengano individuati tanti massimi quanti sono gli allineamenti visibili nell?immagine termica.
La medesima operazione di raccordo viene eseguita sugli ulteriori vettori, V2, V3, etc..
Vengono individuati i cosiddetti massimi omologhi V1:M1-V2:M1, V1:M2-V2:M2 etc, vale a dire quei massimi, all?interno dei due o pi? vettori che si trovano in posizioni, all?interno del proprio vettore, simile alla posizione degli altri massimi nei rispettivi vettori.
Ci? equivale a selezionare un primo massimo di un primo vettore, individuare un intorno I1 del primo massimo del primo vettore V1 ed individuare un primo massimo M1 del secondo vettore V2, all?interno dello stesso intorno I1 trasposto sul secondo vettore.
Qualora non risulta possibile individuare il massimo omologo, si procede ad allargare l?intorno di primo massimo e dunque la sua trasposizione sul secondo vettore.
Per economia di calcolo, conviene scartare i massimi laterali mediante la finestratura dell?immagine termica originale.
In altre parole, preferibilmente prima di estrarre le linee di pixel, costruirne i vettori di temperatura, individuare i massimi, si procede ad applicare una finestra W circa centrale, rispetto all?asse di sviluppo del veicolo.
Nelle figure 4 e 5 ? mostrata la finestra W e l?asse di sviluppo del veicolo che potrebbe non coincidere con l?asse verticale mediale della immagine termica. Si tratta in ogni caso di una traslazione alla portata del tecnico del ramo. Individuati dunque i massimi omologhi si procede a calcolare una retta di interpolazione r che raccorda i massimi omologhi, preferibilmente solo quelli centrali, cio? quelli che cadono nella finestra W.
Almeno durante la fase di calcolo della retta di interpolazione si collocano i massimi omologhi nella posizione dei corrispondenti pixel. In altre parole, l?interpolazione ? eseguita tra i pixel dell?immagine termica corrispondenti ai massimi omologhi.
Quando le linee estratte sono due, allora si pu? parlare di retta interpolante, altrimenti ? pi? corretto parlare di funzione interpolante perch? difficilmente i tre o pi? massimi omologhi risulteranno perfettamente allineati.
L?asse centrale Z della finestra ? un asse perpendicolare all?asse di sviluppo del veicolo e parallelo all?asse delle ordinate Y associato alla figura termica e allo schema di interpolazione dei massimi dei vettori V1, V2, etc.. delle figure 3 ? 5.
Nella figura 4 viene mostrata una condizione in cui la retta interpolante r risulta sfasata angolarmente con l?asse delle ordinate Y. In tal caso, l?angolo Alpha formato rappresenta l?angolo che il sistema di guida autonoma deve recuperare per disporre il veicolo agricolo allineato con l?allineamento rilevato tramite termocamera. Nella figura 5 viene mostrata una condizione in cui la retta interpolante r risulta sfasata lateralmente di un offset laterale Delta con l?asse centrale Z. In tal caso, il sistema di guida autonoma pu? fare in modo che l?asse Z del veicolo si mantenga ad una prefissata distanza Delta da un allineamento oppure pu? indurre il veicolo a muoversi in modo che la retta r risulti sovrapposta all?asse centrale Z (Delta=0).
Evidentemente, la presente invenzione su pu? limitare a monitorare un disallineamento del veicolo rispetto ad un allineamento di una piantagione o andana, oppure, sulla base del sistema di monitoraggio pu? controllare il sistema di sterzatura e di avanzamento del veicolo per controllarne gli spostamenti.
La figura 6 descrive un diagramma di flusso esemplificativo del metodo oggetto della presente invenzione. Il metodo comprende i seguenti passi:
- Passo 1: acquisizione o estrazione di una immagine termica,
- Passo 2: estrazione di almeno due righe di pixel Line 1, Line 2, etc.. , cio? linee rette orizzontali,
- Passo 3: costruzione di altrettanti vettori, in cui in ciascuna posizione di uno dei vettori ? contenuto un valore di intensit? di temperatura di un corrispondente pixel della corrispondente riga,
- Passo 4: raccordo gaussiano o polinomiale, etc. Per ottenere massimi M1, M2, M3, positivi o negativi su ciascuno dei vettori,
- Passo 5: individuazione di massimi omologhi mediante trasposizione su un secondo vettore V2 di un intorno I1, I2, I3 centrato su un massimo M1:V1, M2:V1, M3:V1 di un primo vettore, ed eventualmente ripetizione del presente passo per tutti gli ulteriori vettori rispetto ai primi due,
- Passo 6: interpolazione mediante retta interpolante r di massimi omologhi, in particolare dei soli massimi contenuti in una finestra W centrale dell?immagine termica,
- Passo 7: determinazione di un angolo Alpha di sfasamento del veicolo agricolo con un allineamento di piante o andane, in cui detto angolo ? dato dall?incrocio tra l?asse mediale Z della immagine termica oppure l?asse delle ordinate Y, Y? e la retta interpolante r, e/o
- Passo 7bis: determinazione di un offset laterale Delta del veicolo agricolo con un allineamento di piante o andane, dato da una distanza tra detta retta interpolante r e detto asse mediale Z della immagine termica.
Evidentemente, mentre lo sfasamento dell?angolo ? di per s? metrico, lo scostamento laterale o offset possono essere calcolati riportando la distanza in pixel in distanza metrica. Ci? ? facilmente realizzabile conoscendo le caratteristiche dell?ottica della termocamera.
Nella figura 6 ? indicata una freccia tratteggiata che tiene conto del fatto che possono essere costruiti pi? di due vettori di intensit? di temperatura.
Dal momento che si impone costruttivamente che l?asse mediale Z ? parallelo all?asse delle ordinate Y ? e a qualsiasi asse parallelo Y? all?asse delle ordinate Yallora lo sfasamento angolare pu? essere individuato tra la retta interpolante r e qualunque tra Z, Y, Y?.
Nella figura 7 sono mostrate graficamente le operazioni di fitting operate sulla linea 1 e linea 2. I massimi sono interpolati e la retta r individuata risulta parallela con l?asse mediale Z, definendosi uno scostamento laterale Delta che deve essere annullato o mantenuto o incrementato a seconda della missione che il veicolo agricolo sta affrontando.
L?operazione di finestratura W ? indicata in un blocco tratteggiato cio? opzionale e pu? essere eseguita in qualunque punto del metodo.
Vale la pena evidenziare che la trasposizione degli intorni I1, I2, I3 pu? non essere eseguita quando la finestratura ? eseguita nelle prime fasi del metodo oppure quando l?immagine termica ? all?origine molto stretta, in termini di campo inquadrato.
Secondo una variante preferita dell?invenzione, anche i massimi laterali M1, M3 sui vettori V1, V2, etc.. sono presi in considerazione quando pu? capitare che l?allineamento di riferimento si interrompe per qualsiasi motivo. In tal caso eventuali errori angolari dovuti ad aberrazioni ottiche sono compensati considerando contestualmente una retta interpolante destra ed una retta interpolante sinistra. Tali operazioni di compensazione sono alla portata del tecnico del ramo che conosce le leggi dell?ottica.
Per quanto riguarda la selezione delle linee di pixel viene di seguito indicato un metodo preferito.
Intanto vale la pena evidenziare che la bont? della coerenza tra la funzione interpolante calcolata e l?allineamento delle piante o andane ? tanto pi? buono quanto pi? uniforme ? la distribuzione delle linee di pixel Line 1, Line 2, etc? nella immagine termica.
Preferibilmente, dalla immagine termica, viene mascherato, cio? eliminato, tutto quanto al di sopra dell?orizzonte. La porzione restante dell?immagine ? divisa in fasce orizzontali, e all?interno di ciascuna fascia ? estratta una linea di pixel.
Quando viene eseguita l?operazione di raccordo (fitting), si pu? prevedere di scartare una linea di pixel a favore di un?altra linea di pixel appartenente ad una medesima fascia, quando un coefficiente di correlazione (Pearson), relativo alla procedura di raccordo, ? al di sotto di una predetermina soglia. Pertanto, si pu? selezionare le linee in modo da avere, un raccordo ottimale.
Questo significa che i passi da 2 a 4 possono essere eseguiti in loop fino ad una situazione ottimale.
Considerando le capacit? di calcolo odierne, ci? pu? essere eseguito mentre il veicolo avanza, senza particolari rischi.
La presente invenzione pu? essere vantaggiosamente realizzata tramite un programma per computer che comprende mezzi di codifica per la realizzazione di uno o pi? passi del metodo, quando questo programma ? eseguito su di un computer. Pertanto, si intende che l?ambito di protezione si estende a detto programma per computer ed inoltre a mezzi leggibili da computer che comprendono un messaggio registrato, detti mezzi leggibili da computer comprendendo mezzi di codifica di programma per la realizzazione di uno o pi? passi del metodo, quando detto programma ? eseguito su di un computer.
Sono possibili varianti realizzative all'esempio non limitativo descritto, senza per altro uscire dall?ambito di protezione della presente invenzione, comprendendo tutte le realizzazioni equivalenti per un tecnico del ramo, al contenuto delle rivendicazioni.
Dalla descrizione sopra riportata il tecnico del ramo ? in grado di realizzare l?oggetto dell?invenzione senza introdurre ulteriori dettagli costruttivi.

Claims (13)

  1. RIVENDICAZIONI 1. Metodo di guida autonoma in ambito agricolo mediante camera infrarossi comprendente la procedura di ottenere una funzione interpolante (r) di almeno due pixel, di una immagine termica di allineamenti di piante o andane che si prospetta di fronte ad un veicolo agricolo (AV), acquisita mediante almeno una termocamera (Thermal Camera), detti almeno due pixel essendo corrispondenti ad almeno due massimi omologhi (V1:M2 ? V2:M2) individuati in altrettanti almeno due vettori (V1, V2, V3?) costruiti su valori di intensit? di temperatura di corrispondenti pixel consecutivi appartenenti ad altrettante linee (line 1, line 2, line 3?) rette ed orizzontali di pixel estratte dall?immagine termica ed una procedura di calcolare uno sfasamento angolare (Alfa) e/o uno scostamento laterale (Delta) della funzione interpolante (r) rispetto ad un asse verticale (Y, Y?, Z) dell?immagine termica.
  2. 2. Metodo secondo la rivendicazione 1, in cui detta immagine termica ? estratta in modo che un relativo asse mediale (Z) risulta verticale e perpendicolare ad un asse di sviluppo longitudinale del veicolo agricolo.
  3. 3. Metodo secondo una qualunque delle rivendicazioni precedenti, in cui ciascuno di detti massimi ? individuato mediante una procedura di raccordo (fitting) Gaussiano o polinomiale, catenario, etc.
  4. 4. Metodo secondo una qualunque delle rivendicazioni precedenti, in cui l?immagine termica ha forma rettangolare e l?orientamento orizzontale ? individuato in modo coincidente alla base dell?immagine termica e l?orientamento verticale ? perpendicolare alla base e preferibilmente coincidente con un lato verticale dell?immagine termica.
  5. 5. Metodo secondo una qualunque delle rivendicazioni precedenti, in cui un massimo positivo (o negativo) (M1:V2, M2:V2, M3:V2) in un secondo vettore (V2) ? considerato omologo ad un massimo positivo (o negativo) (M1:V1, M2:V1, M3:V1) in un primo vettore (V1) quando il massimo positivo (o negativo) nel secondo vettore ? contenuto in un intorno (I1, I2, I3) del massimo positivo (o negativo) nel primo vettore (V1) trasposto nel secondo vettore (V2).
  6. 6. Metodo secondo una qualunque delle rivendicazioni precedenti in cui una ricerca di massimi omologhi ? realizzata dopo aver applicato un finestramento mediante una finestra (W) circa rettangolare e centrale all?immagine termica.
  7. 7. Metodo secondo una qualunque delle rivendicazioni 5 o 6, in cui una ampiezza dell?intorno (I1, I2, I3) del massimo del primo vettore ? iterativamente ampliata fino all?individuazione del massimo omologo del secondo vettore.
  8. 8. Metodo secondo una qualunque delle rivendicazioni precedenti comprendente i seguenti passi in successione: - (Passo 1) acquisizione o estrazione di una immagine termica, - (Passo 2) estrazione di almeno due righe di pixel, cio? linee rette orizzontali, - (Passo 3) costruzione di altrettanti vettori, in cui in ciascuna posizione di uno dei vettori ? contenuto un valore di intensit? di temperatura di un corrispondente pixel della corrispondente riga, - (Passo 4) raccordo gaussiano o polinomiale, etc. Per ottenere massimi (M1, M2, M3), positivi o negativi su ciascuno dei vettori, - (Passo 5) individuazione di massimi omologhi mediante trasposizione su un secondo vettore (V2) di un intorno (I1, I2, I3) centrato su un massimo (M1:V1, M2:V1, M3:V1) di un primo vettore, ed eventualmente ripetizione del presente passo per tutti gli ulteriori vettori rispetto ai primi due (V1, V2), - (Passo 6) interpolazione mediante funzione interpolante r di massimi omologhi, in particolare dei soli massimi contenuti in una finestra (W) centrale dell?immagine termica, - (Passo 7) determinazione di un angolo (Alpha) di sfasamento del veicolo agricolo con un allineamento di piante o andane, in cui detto angolo ? dato dall?intersezione tra l?asse mediale (Z) della immagine termica oppure l?asse delle ordinate (Y, Y?) e la funzione interpolante (r), e/o - (Passo 7bis) determinazione di un offset laterale (Delta) del veicolo agricolo con un allineamento di piante o andane, dato da una distanza tra detta funzione interpolante (r) e detto asse mediale (Z) della immagine termica.
  9. 9. Metodo secondo una qualunque delle rivendicazioni precedenti, comprendente una procedura di selezione di dette linee (line 1, line 2, line 3?) rette ed orizzontali di pixel estratte dall?immagine termica, comprendente i seguenti passi: - preliminare suddivisione di detta immagine termica in due o pi? fasce orizzontali, - estrazione (Passo 2) di almeno due prime linee rette orizzontali appartenenti a fasce diverse, - effettuazione di detto (Passo 4) raccordo gaussiano o polinomiale e calcolo di un relativo coefficiente di raccordo (Pearson), su ciascun vettore (V1, V2, V3) corrispondente a ciascuna linea, se detto coefficiente ? inferiore ad una predeterminata soglia allora - selezione di una seconda linea retta orizzontale di pixel appartenente alla medesima fascia orizzontale e diversa dalla corrispondente prima linea retta orizzontale, altrimenti - prosecuzione della procedura (Passo 5) di ottenimento della funzione interpolante.
  10. 10. Sistema di guida autonoma in ambito agricolo, integrato in un veicolo agricolo (AV) dotato di mezzi di propulsione e mezzi di sterzatura e di una termocamera (Thermal camera), in cui il sistema comprende un?unit? di elaborazione configurata per eseguire tutti i passi di una qualunque delle rivendicazioni da 1 a 8.
  11. 11. Sistema secondo la rivendicazione 9 o 10, in cui detta unit? di elaborazione ? configurata per controllare detto sistema di sterzatura e/o di propulsione in modo da ottenere un avanzamento del veicolo parallelo o sovrapposto con un allineamento di piante o andane.
  12. 12. Programma di computer che comprende mezzi di codifica di programma atti a realizzare tutti passi di una qualunque delle rivendicazioni da 1 a 9, quando detto programma ? fatto girare su di un computer.
  13. 13. Mezzi leggibili da computer comprendenti un programma registrato, detti mezzi leggibili da computer comprendendo mezzi di codifica di programma atti a realizzare tutti passi di una qualunque delle rivendicazioni da 1 a 9, quando detto programma ? fatto girare su di un computer.
IT102020000005686A 2020-03-17 2020-03-17 Sistema di guida autonoma in ambito agricolo mediante camera infrarossi IT202000005686A1 (it)

Priority Applications (4)

Application Number Priority Date Filing Date Title
IT102020000005686A IT202000005686A1 (it) 2020-03-17 2020-03-17 Sistema di guida autonoma in ambito agricolo mediante camera infrarossi
PCT/EP2021/056590 WO2021185790A1 (en) 2020-03-17 2021-03-16 Autonomous driving system in the agricultural field by means of an infrared camera
US17/912,307 US20230145541A1 (en) 2020-03-17 2021-03-16 Autonomous Driving System In The Agricultural Field By Means Of An Infrared Camera
EP21711568.2A EP4120816A1 (en) 2020-03-17 2021-03-16 Autonomous driving system in the agricultural field by means of an infrared camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102020000005686A IT202000005686A1 (it) 2020-03-17 2020-03-17 Sistema di guida autonoma in ambito agricolo mediante camera infrarossi

Publications (1)

Publication Number Publication Date
IT202000005686A1 true IT202000005686A1 (it) 2021-09-17

Family

ID=70805056

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102020000005686A IT202000005686A1 (it) 2020-03-17 2020-03-17 Sistema di guida autonoma in ambito agricolo mediante camera infrarossi

Country Status (4)

Country Link
US (1) US20230145541A1 (it)
EP (1) EP4120816A1 (it)
IT (1) IT202000005686A1 (it)
WO (1) WO2021185790A1 (it)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750051A (zh) * 2010-01-04 2010-06-23 中国农业大学 一种视觉导航的多作物行检测方法
US20150321694A1 (en) * 2014-05-09 2015-11-12 Raven Industries, Inc. Refined row guidance parameterization with hough transform
CN105987684A (zh) * 2015-12-18 2016-10-05 中国科学院合肥物质科学研究院 一种基于单目视觉的农业车辆导航线检测系统及方法
CN108571961A (zh) * 2017-12-28 2018-09-25 苏州博田自动化技术有限公司 一种基于机器视觉的农机辅助驾驶导航方法及系统
WO2018226437A1 (en) 2017-06-05 2018-12-13 Adasky, Ltd. Shutterless far infrared (fir) camera for automotive safety and driving systems
CN208863203U (zh) 2019-01-24 2019-05-17 王嘉一 智能园林机器人
CN110243372A (zh) * 2019-06-18 2019-09-17 北京中科原动力科技有限公司 基于机器视觉的智能农机导航系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101750051A (zh) * 2010-01-04 2010-06-23 中国农业大学 一种视觉导航的多作物行检测方法
US20150321694A1 (en) * 2014-05-09 2015-11-12 Raven Industries, Inc. Refined row guidance parameterization with hough transform
CN105987684A (zh) * 2015-12-18 2016-10-05 中国科学院合肥物质科学研究院 一种基于单目视觉的农业车辆导航线检测系统及方法
WO2018226437A1 (en) 2017-06-05 2018-12-13 Adasky, Ltd. Shutterless far infrared (fir) camera for automotive safety and driving systems
CN108571961A (zh) * 2017-12-28 2018-09-25 苏州博田自动化技术有限公司 一种基于机器视觉的农机辅助驾驶导航方法及系统
CN208863203U (zh) 2019-01-24 2019-05-17 王嘉一 智能园林机器人
CN110243372A (zh) * 2019-06-18 2019-09-17 北京中科原动力科技有限公司 基于机器视觉的智能农机导航系统及方法

Also Published As

Publication number Publication date
EP4120816A1 (en) 2023-01-25
WO2021185790A1 (en) 2021-09-23
US20230145541A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
CN102137272B (zh) 一种开放环境下的多相机间的颜色校准方法
Bac et al. Stem localization of sweet-pepper plants using the support wire as a visual cue
CN104303208A (zh) 用于去除包含在视频中的雾的图像处理装置及其方法
US8121345B2 (en) Vision guidance system and method for identifying the position of crop rows in a field
CN105989601B (zh) 基于机器视觉的农业agv玉米行间导航基准线提取方法
EP2866006B1 (en) Fast focusing method and device for multi-spectral imaging
US10334216B2 (en) Imaging system including lens with longitudinal chromatic aberration, endoscope and imaging method
US20160203602A1 (en) Image processing device, image processing method, and program
CN106682631B (zh) 一种基于偏振特性的水面目标检测方法
US10810712B2 (en) Apparatus for monitoring surroundings of vehicle and method of calibrating the same
English et al. Learning crop models for vision-based guidance of agricultural robots
WO2017220600A3 (de) Verfahren zur kalibrierung eines bilderfassenden sensors aus mindestens einer sensorkamera unter verwendung eines zeitlich kodierten mustertargets
Lopes et al. Using an unmanned ground vehicle to scout vineyards for non-intrusive estimation of canopy features and grape yield
KR20200084972A (ko) 무인비행체를 이용한 초분광영상 획득 방법
IT202000005686A1 (it) Sistema di guida autonoma in ambito agricolo mediante camera infrarossi
CN110889874B (zh) 一种双目相机标定结果的误差评估方法
Clamens et al. Real-time Multispectral Image Processing and Registration on 3D Point Cloud for Vineyard Analysis.
Georgantopoulos et al. A multispectral dataset for the detection of Tuta absoluta and Leveillula taurica in tomato plants
Bao et al. Field robotic systems for high-throughput plant phenotyping: a review and a case study
CN104050629A (zh) 一种隧道图像无标识拼接的方法
CN110414384B (zh) 智能稻麦收获机导航线跟踪方法
CN112396687A (zh) 基于红外微偏振片阵列的双目立体视觉三维重建系统及方法
EP4122305A1 (en) Method for identifying a trajectory in a plantation of fruit trees such as orange groves
Kumar et al. Detection and counting of tassels for maize crop monitoring using multispectral images
Bell et al. Row following in pergola structured orchards by a monocular camera using a fully convolutional neural network