IT202000023494A1 - Metodo di generazione di un’immagine monocromatica allineata e relativo programma per elaboratore - Google Patents

Description

METODO DI GENERAZIONE DI UN?IMMAGINE MONOCROMATICA ALLINEATA E RELATIVO PROGRAMMA PER ELABORATORE

CAMPO TECNICO

La presente divulgazione si riferisce in generale alle applicazioni che prevedono acquisizioni di immagini e pi? in particolare concerne un metodo di allineamento di immagini multi-spettrali di una stessa scena.

BACKGROUND

Gli approcci principali per l?acquisizione di immagini di uno stesso target a pi? lunghezze d?onda simultaneamente sono:

? l?utilizzo di una sola telecamera sulla quale vengono applicati in maniera sequenziale 2 o pi? filtri ottici e successivamente acquisite le immagini in modo tale da non avere il problema di allineamento in quanto la corrispondenza dei pixel ? intrinseca nelle coordinate nel piano immagine degli stessi;

? l?utilizzo di 2 o pi? telecamere che acquisiscono le immagini a distanze dal target opportunamente elevate in modo tale per cui il rapporto distanza del target / distanza tra le telecamere sia elevato in modo da minimizzare il problema di parallasse dovuto ai due punti di vista differenti.

In entrambi i casi si evita il problema di rototraslazione dei piani immagine, quindi di sovrapposizione delle immagini, ma si limita l?ambito applicativo del sistema.

Tuttavia, l?utilizzo di un singolo dispositivo di acquisizione immagini presenta importanti limitazioni, in quanto esso implica l?impossibilit? di acquisire le 2 immagini nello stesso istante in quanto il tempo che intercorre tra le 2 istantanee deve essere necessario per la commutazione dei filtri ottici, questo limita l?applicazione a riprese di soggetti la cui posizione rimanga immutata durante tutto il tempo di acquisizione Per questo motivo dispositivi multi-camera multi-spettrali (Multi-Sprectral Cameras, MSC) vengono preferiti in quanto risolvono il problema di dover acquisire immagini di un medesimo target a diverse lunghezze d?onda dello spettro luminoso nel medesimo istante, in modo da poter poi elaborare le informazioni contenute nelle immagini acquisite.

Per un corretto funzionamento ed elaborazione ? necessario che questi dispositivi riescano ad allineare/sovrapporre le immagini acquisite dello stesso soggetto da diverse telecamere.

Il riallineamento/sovrapposizione delle immagini consiste in particolare nella rototraslazione dei piani immagine in modo che le coordinate dei pixel corrispondenti coincidano.

Questa procedura risulta tuttavia particolarmente difficile quando il rapporto distanza del target/distanza tra le telecamere ? basso o varia nella stessa immagine (target a diverse profondit?).

Infatti, gli algoritmi di allineamento immagini falliscono quando si prova ad allineare oggetti localizzati a diverse profondit? di osservazione: l?allineamento di essi varia al variare della distanza dalla telecamera a causa dell?effetto di parallasse.

Le telecamere multi-lente multi-spettrali attualmente in commercio allineano le immagini semplicemente sovrapponendole, senza sfruttare alcuna informazione che descriva la posizione relativa delle telecamere. Per questo motivo, il loro funzionamento viene garantito solo a lunghe distanze (e.g.: riprese aeree, supportate da droni). Acquisendo immagini contenenti oggetti a distanze ravvicinate, l?allineamento fallisce, creando quindi un effetto di ?ghosting? tra i vari spettri catturati dalle lenti.

L?algoritmo sviluppato da Jhan et al. si ripropone di risolvere il problema di allineamento delle immagini multi-spettrali acquisite mediante telecamere MSC. L?algoritmo in questione utilizza l?informazione di distorsione delle lenti e di rototraslazione tra telecamere ottenuta dalla calibrazione. Il risultato ottenuto ? migliore rispetto all?allineamento iniziale, gli oggetti vicini non presentano effetti di ?ghosting? in quanto vengono allineati correttamente. Persiste tuttavia la limitazione legata al vincolo di poter catturare immagini rappresentanti oggetti alla stessa distanza dalla telecamera, mentre oggetti a distanze diverse nella stessa immagine riproducono ugualmente lo stesso errore di allineamento (Jhan et al., The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLII-2/W6, 2017).

La medesima limitazione sussiste nell?algoritmo di riconoscimento dei pedoni sviluppato da Krotosky et al. L?algoritmo allinea immagini acquisite tramite una telecamera a colori e una telecamera termica per stimare parametri intrinseci/estrinseci, distorsione della lente e roto-traslazione tra le telecamere. Viene successivamente rimosso il background, isolando oggetti alla stessa distanza e allineandoli singolarmente utilizzando indici di disparit? stimati per ogni singola porzione di immagine. La soluzione non risolve quindi l?allineamento di oggetti a distanze differenti nella stessa immagine. (Krotosky et al., IEEE Conference on Intelligent Transportation Systems, Proceedings, ITSC, 109-114, 2006).

L?algoritmo di Kise et al. ha l?obiettivo di creare un?immagine panoramica multispettrale da immagini catturate in stereo-visione unendo pi? immagini consecutive catturate con veicolo in movimento. Il risultato ottenuto non risulta tuttavia soddisfacente dal momento che la scena ritratta nelle immagini allineate ? quasi planare, con una bassissima componente tridimensionale e il metodo utilizzato impone una distanza fissa dalla telecamera. (Kise et al., Computers and Electronics in Agriculture, 60, 67-75, 2008)

I principali limiti degli approcci di cui sopra per le telecamere multi-spettrali presenti nello stato dell?arte sono principalmente legati alla distanza target-telecamera e telecamera-telecamera; infatti, l?utilizzo di pi? camere ad una distanza opportunamente elevata limita l?utilizzo del sistema ad applicazioni in cui risulti necessario acquisire immagini di un target a distanza elevata. Gli approcci con target a distanze ravvicinate (rapporto distanza target/distanza tra le telecamere basso) invece, limitano l?utilizzo ad applicazioni in cui sia nota e fissa la distanza del target.

SOMMARIO

Un obiettivo di questa divulgazione ? quello di superare almeno in parte i limiti degli approcci presenti allo stato dell?arte, di cui sopra.

Uno scopo della presente divulgazione ? la realizzazione di un algoritmo di elaborazione delle immagini per la sovrapposizione e l?allineamento delle immagini che, attraverso la creazione di opportuni descrittori dei pixel, ne trova le corrispondenze univoche per ogni immagine acquisita, a prescindere dal colore delle immagini.

Tale metodo pu? essere implementato via software mediante un opportuno programma che, quando eseguito da un'unit? a microprocessore, permette di compiere le operazioni definite nell'allegata rivendicazione 1, ottenendo in questo modo un dispositivo in grado di acquisire istantaneamente due o pi? immagini di uno stesso soggetto target a differenti lunghezze d?onda dello spettro visibile, utilizzando due o pi? telecamere e due o pi? sensori ottici e di riallineare (sovrapporre) tali immagini trovando le corrispondenze univoche pixel per pixel per qualsiasi rapporto distanza target/distanza tra le telecamere, che non sia noto a priori.

BREVE DESCRIZIONE DEI DISEGNI

Altri vantaggi risulteranno evidenti dalla seguente descrizione dettagliata di sue forme di realizzazione preferite, presentate a scopo esemplificativo e non limitativo, facendo riferimento alle figure allegate, in cui:

La Figura 1 mostra uno schema a blocchi rappresentativo dell?algoritmo oggetto della presente divulgazione e i relativi passaggi;

La Figura 2 mostra le due immagini, left e right, catturate da due dispositivi di cattura delle immagini e rettificate secondo il relativo passaggio dell?algoritmo oggetto della presente divulgazione;

La Figura 3 mostra le due immagini di Figura 2 a seguito di una trasformazione in bianco e nero e successiva equalizzazione dei rispettivi istogrammi di intensit?;

La Figura 4 mostra una mappa di disparit? calcolata sulle immagini di Figura 3;

La Figura 5 mostra il processo di allineamento dei pixel, descritto dall?algoritmo oggetto della presente divulgazione, tra l?immagine right e la mappa di disparit? di Figura 3;

La Figura 6 mostra l?immagine allineata finale.

DESCRIZIONE DI FORME DI REALIZZAZIONE ESEMPLIFICATIVE

L?acquisizione delle immagini ? attuata mediante una pluralit? di dispositivi di cattura delle immagini, ad esempio telecamere, sintonizzati su diverse lunghezze d?onda di filtro.

Secondo una forma di realizzazione preferita della presente invenzione, i dispositivi di cattura delle immagini sono due telecamere.

Secondo un aspetto, l?algoritmo della presente divulgazione potrebbe essere idealmente diviso in due parti: la prima consistente in un passaggio calibrazione degli strumenti, da effettuarsi all?inizio, preferibilmente una volta sola; la seconda, consistente nell'allineamento vero e proprio delle immagini stereoscopiche.

Il passaggio di calibrazione attinge dal metodo di calibrazione, presente nell?arte nota, proposto da Zhang et al., il quale richiede che almeno un dispositivo di cattura delle immagini osservi uno schema planare con (almeno due) diversi orientamenti. In particolare, il metodo di cui sopra prevede le seguenti operazioni:

- Definire un oggetto di taratura, o target di calibrazione, stampando un motivo grafico su una superficie piana. In particolare, l?oggetto di taratura target per la calibrazione presenta un motivo a scacchiera ed ? per questo indicato anche come checkerboard;

- Catturare alcune immagini, almeno due, dell?oggetto di taratura con orientamenti diversi, spostando le telecamere o l?oggetto di taratura;

- Rilevare dei punti caratterizzanti, o feature points, del motivo di detto oggetto di taratura in dette immagini scattate;

- Stimare parametri intrinseci e parametri estrinseci di dette immagini;

- Stimare i coefficienti di una distorsione radiale, dovuta ad esempio alla distorsione delle lenti dei dispositivi di cattura, di dette immagini, preferibilmente utilizzando il metodo dei minimi quadrati lineari;

- Stimare la roto-traslazione tra i centri ottici delle telecamere;

- Rifinire tutti i parametri utilizzando una funzione di minimizzazione.

Ulteriori dettagli sulla procedura di calibrazione possono essere reperiti in Zhang et al., A Flexible New Technique for Camera Calibration, Microsoft Research, One Microsoft Way, 1998.

I parametri intrinseci ed estrinseci delle telecamere, stimati nel processo di calibrazione di cui sopra, in particolare la distorsione della lente (in ogni singola telecamera) e la roto-traslazione tra i centri ottici di ogni telecamera rispetto alle altre, vengono utilizzati nella seconda parte dell?algoritmo, che comprende i passaggi elencati di seguito e illustrati in Figura 1.

A1 Viene catturata una prima immagine, o immagine left, di una scena con la prima telecamera, sintonizzata ad una prima lunghezza d?onda di filtro, preferibilmente nel campo della luce visibile.

A2 Viene catturata, contemporaneamente alla cattura della prima immagine, una seconda immagine, o immagine right, di detta scena con la seconda telecamera, sintonizzata ad una seconda lunghezza d?onda di filtro diversa da detta prima lunghezza d?onda di filtro, preferibilmente nel campo del vicino infrarosso.

B Le informazioni ottenute dal processo di calibrazione vengono utilizzate per rettificare detta prima immagine, left, e detta seconda immagine, right, in funzione di parametri di distorsione di lenti e in funzione di parametri di roto-traslazione tra centri ottici delle due telecamere, generando una prima immagine rettificata e una seconda immagine rettificata, rispettivamente. La rettifica restituisce le immagini corrette dalla distorsione della lente e proiettate su un piano immagine comune, come mostrato in Figura 2. Dette prima e seconda immagini rettificate vengono successivamente trasformate in immagini monocromatiche. Qualora ai passi A1 e A2 fossero acquisite immagini monocromatiche dalle telecamere, allora chiaramente non ? necessaria l'operazione di conversione in immagini monocromatiche.

C Gli istogrammi di intensit? della prima e seconda immagini monocromatiche in bianco e nero, ottenute alla fine del passaggio B, vengono equalizzati in modo da migliorare la visibilit? dei dettagli catturati nell?immagine e compensare possibili differenze nei parametri di esposizione delle due telecamere, dove con istogramma di intensit? di un?immagine si intende una rappresentazione grafica del numero di pixel in un'immagine in funzione della loro intensit?. Gli istogrammi delle immagini sono generalmente costituiti da contenitori, o bins, ciascuno dei quali rappresenta un determinato intervallo di valori di intensit?. Il numero di bin in cui ? divisa l'intera gamma di intensit? ? di solito nell'ordine della radice quadrata del numero di pixel. L'istogramma dell?immagine viene calcolato esaminando tutti i pixel nell'immagine e assegnandoli a un bin in base all'intensit? dei pixel. Il valore finale di ogni bin ? il numero di pixel assegnati ad esso ed ? rappresentato sia dall'altezza di una barra, sia da una scala di colori che colora ciascuna barra. Le barre pi? alte hanno colori pi? vicini al rosso. L?equalizzazione degli istogrammi nel presente algoritmo consiste nel definire una trasformazione dell?immagine che modifica l?intensit? di ciascuno pixel, in modo tale che l?istogramma processato risulti per quanto possibile piatto, ovvero l?immagine non abbia zone sotto o sovra esposte. Questo permette di utilizzare l?intera scala di intensit? disponibile e migliora il contrasto dell?immagine. L?equalizzazione pu? essere implementatacon algoritmi noti come l?approccio descritto in Digital Image Processing, di R.C. Gonzalez e R.E. Woods Addison Wesley. Secondo una forma realizzative della presente invenzione, l'equalizzazione degli istogrammi nel presente algoritmo viene effettuata in un ambiente di calcolo numerico, preferibilmente in ambiente di calcolo Matlab, con la funzione ?Histeq?, utilizzando come input l'immagine e senza specificare altri parametri. A seguito del presente passaggio vengono generate, una prima immagine monocromatica equalizzata e una seconda immagine monocromatica equalizzata, corrispondenti a dette prima e seconda immagini monocromatiche rettificate ottenute alla fine del passaggio, rispettivamente, come mostrato in Figura 3. Dopo queste trasformazioni, pixel corrispondenti giacciono sulla stessa riga passante sulle immagini e le immagini sembrano catturate da due telecamere con assi ottici paralleli tra loro. D Utilizzando le immagini ottenute, viene generata un?immagine di disparit? di pixel, mostrata in Figura 4, eseguendo un algoritmo di semi-global matching (SGM) su detta seconda immagine monocromatica equalizzata, assumendo come riferimento detta prima immagine monocromatica equalizzata. L?algoritmo SGM impiegato ? analogo a quello descritto da Hirschmuller et al., in cui viene ricercata una correlazione pixel per pixel tramite i valori di intensit?. L?output di detto algoritmo SGM risulta essere quindi una mappa che relaziona ogni pixel della prima immagine con un pixel della seconda immagine (Hirschmuller et al., IEEE Transactions on Pattern Analysis and Machine Intelligence, 30, 328-341, 2008). Secondo un aspetto della presente invenzione, l?algoritmo SGM viene preferibilmente tarato per ottenere un numero di correlazioni tra pixel superiore al 70%. Questo valore deriva da risultati sperimentali secondo cui, senza questa taratura, i valori per i quali non ? possibile calcolare la disparit? e quindi la correlazione tra prima e seconda immagine nella mappa di disparit? risulterebbe superiore all?80% dei pixel dell?immagine. Un allineamento del 20% dell?immagine non risulterebbe quindi utile e significativo ai fini dell?applicazione. Utilizzando invece la taratura suggerita, possono venire allineati pi? del 70% dei pixel nelle immagini.

E Vengono calcolati i pixel di un?immagine ausiliaria, corrispondenti ai pixel di detta seconda immagine monocromatica rettificata traslati di una distanza data da valori di detta immagine di disparit? letti in corrispondenza di coordinate di detti pixel della seconda immagine monocromatica rettificata, come mostrato in Figura 5. Ogni pixel della seconda immagine viene quindi traslato della sua disparit?.

F Vengono infine generati i pixel di detta immagine monocromatica allineata, mostrata in Figura 6, ottenuti come media ponderata di corrispondenti pixel della prima immagine monocromatica rettificata e dell?immagine ausiliaria.

Il metodo e la procedura sopra descritti permettono di superare i limiti degli approcci presenti allo stato dell?arte delle telecamere multi-spettrali citati, in particolare:

- Grazie all?utilizzo di 2 o pi? telecamere si permette l?acquisizione istantanea di pi? immagini a diverse lunghezze d?onda permettendone l?applicazione anche in contesti il cui il target risulti in movimento;

- L?utilizzo di un algoritmo di sovrapposizione delle immagini che permette di acquisire immagini del target a qualsiasi distanza calcolando di volta in volta le corrispondenze tra i pixel e le rototraslazioni necessarie a sovrapporre le 2 immagini indipendentemente dal colore del soggetto e dal rapporto distanza target/distanza tra le telecamere.

La presente invenzione ? stata finora descritta con riferimento a forme di realizzazione preferite. ? inteso che potrebbero esserci altre forme di realizzazione che si riferiscono allo stesso concetto inventivo definito dall'ambito delle seguenti rivendicazioni.

Claims (8)

RIVENDICAZIONI

1. Metodo di generazione di un?immagine monocromatica allineata, comprendente le seguenti operazioni:

catturare una prima immagine di una scena con un primo dispositivo di cattura di immagini sintonizzato ad una prima lunghezza d?onda di filtro;

catturare una seconda immagine di detta scena con un secondo dispositivo di cattura di immagini sintonizzato ad una seconda lunghezza d?onda di filtro diversa da detta prima lunghezza d?onda di filtro, in cui detta seconda immagine ? catturata contemporaneamente a detta prima immagine;

rettificare detta prima immagine e detta seconda immagine in funzione di parametri di distorsione di lenti e in funzione di parametri di roto-traslazione tra centri ottici di detto primo dispositivo e di detto secondo dispositivo di cattura di immagini, e generare una corrispondente prima immagine monocromatica rettificata e una corrispondente seconda immagine rettificata, rispettivamente;

generare un?immagine di disparit? di pixel di detta seconda immagine monocromatica rettificata rispetto a detta prima immagine monocromatica rettificata, eseguendo un algoritmo di semi-global matching su detta seconda immagine monocromatica rettificata assumendo come riferimento detta prima immagine monocromatica rettificata;

calcolare pixel di un?immagine ausiliaria, corrispondenti a pixel di detta seconda immagine monocromatica rettificata traslati di una distanza data da valori di detta immagine di disparit? letti in corrispondenza di coordinate di detti pixel della seconda immagine monocromatica rettificata;

generare pixel di detta immagine monocromatica allineata come media ponderata di corrispondenti pixel della prima immagine monocromatica rettificata e dell?immagine ausiliaria.

2. Metodo secondo la rivendicazione 1, in cui detta prima immagine e detta seconda immagine sono monocromatiche.

3. Metodo secondo la rivendicazione 1, comprendente le operazioni di generare una prima immagine rettificata e una seconda immagine rettificata corrispondenti a detta prima immagine e a detta seconda immagine mediante detta operazione di rettificare detta prima immagine e detta seconda immagine in funzione di parametri di distorsione di lenti e in funzione di parametri di roto-traslazione tra centri ottici di detto primo dispositivo e di detto secondo dispositivo di cattura di immagini, quindi convertire la prima immagine rettificata e la seconda immagine rettificata in immagini monocromatiche generando detta corrispondente prima immagine monocromatica rettificata e detta corrispondente seconda immagine rettificata, rispettivamente.

4. Metodo secondo una delle rivendicazioni precedenti, comprendente le operazioni di:

equalizzare istogrammi di intensit? di detta prima immagine monocromatica rettificata e di detta seconda immagine monocromatica rettificata generando una corrispondente prima immagine monocromatica equalizzata e una seconda immagine monocromatica equalizzata, rispettivamente, quindi generare detta immagine di disparit? eseguendo detto algoritmo di semi-global matching utilizzando detta prima immagine monocromatica equalizzata e detta seconda immagine monocromatica equalizzata.

5. Metodo secondo una delle rivendicazioni precedenti, comprendente un'operazione preliminare di calibrazione di detti primo e secondo dispositivi di cattura secondo la rivendicazione 1, in cui detti dispositivi di cattura possono essere calibrati singolarmente o contemporaneamente, comprendente le seguenti fasi:

- Definire un oggetto di taratura avente un motivo grafico su una superficie piana;

- Catturare almeno due immagini di test dell?oggetto di taratura con orientamenti diversi, spostando i dispositivi di cattura o l?oggetto di taratura;

- Rilevare punti caratterizzanti il motivo grafico di detto oggetto di taratura in dette immagini di test;

- Stimare parametri intrinseci e parametri estrinseci di dette immagini di test; - Stimare coefficienti di una distorsione radiale di dette immagini di test, preferibilmente utilizzando un metodo di minimi quadrati lineari;

- Stimare una roto-traslazione tra centri ottici di detti primo e secondo dispositivo di cattura;

- Rifinire detti parametri intrinseci ed estrinseci utilizzando una funzione di minimizzazione.

6. Metodo secondo la rivendicazione 5, in cui detto oggetto di taratura reca un motivo a scacchiera.

7. Metodo secondo una delle rivendicazioni precedenti, in cui una di dette lunghezze d?onda di filtro prima e seconda ? nel campo della luce visibile, e l?altra di dette lunghezze d?onda di filtro prima e seconda ? nel campo del vicino infrarosso.

8. Programma per elaboratore, comprendente un codice software installabile in una memoria interna di un'unit? a microprocessore, configurata per eseguire le operazioni del metodo secondo una delle rivendicazioni da 1 a 7 quando detto codice software ? eseguito dall'unit? a microprocessore.