ITRM20130115A1 - Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche - Google Patents

Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche

Info

Publication number
ITRM20130115A1
ITRM20130115A1 IT000115A ITRM20130115A ITRM20130115A1 IT RM20130115 A1 ITRM20130115 A1 IT RM20130115A1 IT 000115 A IT000115 A IT 000115A IT RM20130115 A ITRM20130115 A IT RM20130115A IT RM20130115 A1 ITRM20130115 A1 IT RM20130115A1
Authority
IT
Italy
Prior art keywords
homologous
images
pair
procedure according
cells
Prior art date
Application number
IT000115A
Other languages
English (en)
Inventor
Paola Capaldo
Mattia Giovanni Crespi
Francesca Fratarcangeli
Andrea Nascetti
Francesca Pieralice
Original Assignee
Univ Roma La Sapienza
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Roma La Sapienza filed Critical Univ Roma La Sapienza
Priority to IT000115A priority Critical patent/ITRM20130115A1/it
Priority to US14/193,062 priority patent/US20140354635A1/en
Priority to EP14157265.1A priority patent/EP2772801A1/en
Publication of ITRM20130115A1 publication Critical patent/ITRM20130115A1/it

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Description

“Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopicheâ€
Campo dell’invenzione
La presente invenzione si riferisce ad una procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche. Tale procedura trova particolare applicazione nell’ambito della fotogrammetria (relativamente alle immagini ottiche) e della radargrammetria (relativamente alle immagini Radar).
Stato della tecnica
L'estrazione dei cosiddetti DSM (Digital Surface Model), cioà ̈ di modelli digitali di superfici, à ̈ stata oggetto di ricerca da parte della comunità scientifica internazionale per il loro ampio campo di applicabilità. I DSM vengono utilizzati in diverse applicazioni, come la produzione di ortofoto, change detection spaziale e temporale, analisi spaziali, visualizzazione dei dati; sono inoltre un’importante banca dati da cui poter ottenere molti prodotti secondari come curve di livello, profili, volumi e modelli di pendenza, ecc.
La tecnica impiegata à ̈ quella della ben nota fotogrammetria, che sfrutta immagini ottiche.
La radargrammetria, invece, utilizza gli stessi principi della fotogrammetria, per estrarre informazioni tridimensionali da immagini, non ottiche, ma SAR (Synthetic Aperture Radar), sfruttando la sola informazione dell'ampiezza del dato Radar. Ad ogni modo, per ricostruire un dato tridimensionale attraverso riprese stereoscopiche si deve avere a disposizione almeno una coppia di immagini della medesima natura, di una stessa area o raffiguranti uno stesso oggetto.
Tali coppie di immagini verranno di seguito riferite come immagini omologhe.
Le fasi di ricostruzione del dato 3D sono fondamentalmente due: una prima fase di orientamento delle immagini omologhe nello spazio; una seconda fase di matching, ovvero di riconoscimento di punti omologhi, cioà ̈ rappresentanti lo stesso particolare nelle due immagini omologhe, e quindi di restituzione del dato 3D vero e proprio.
Più in particolare, à ̈ necessario conoscere o determinare l’orientamento delle due immagini in un sistema di riferimento oggetto, cioà ̈ solidale con l’oggetto, e la ricerca di punti omologhi sulle immagini omologhe, a ciascuna delle quali à ̈ associato un proprio rispettivo sistema di riferimento immagine.
Ciò presuppone di conoscere il tipo di proiezione con il quale si può modellizzare geometricamente l'acquisizione delle immagini. Ad esempio, nel caso di due acquisizioni fotogrammetriche classiche (da terra o da aereo), il tipo di proiezione à ̈ centrale.
La gran parte delle immagini che vengono attualmente utilizzate nell’ambito della fotogrammetria satellitare e in ambito radargrammetrico non possono però essere semplicemente modellizzate con proiezioni centrali.
Infatti, le immagini acquisite dai sensori lineari montati sui satelliti (e, attualmente, anche su alcune camere fotogrammetriche aeree) presentano un centro di presa per ciascuna riga acquisita, vedi Poli D. Modelling of spaceborne linear array sensors. PhD Thesis, Swiss Federal Institute of Technology Zurich. Inoltre, nelle immagini SAR non à ̈ possibile identificare alcun centro di presa, in quanto la geometria à ̈ totalmente diversa da quella di una proiezione centrale. Un esempio sono le immagini SAR in geometria zero-Doppler, vedi P. Capaldo, M. Crespi, F. Fratarcangeli, A. Nascetti, F. Pieralice, "High Resolution SAR Radargrammetry. A first application with COSMO-SkyMed SpotLight Imagery", IEEE Geoscience and Remote Sensing Letters, 8 (6), pp.1100 - 1104, 2011.
Per orientare nello spazio questo tipo di immagini digitali, ovvero determinare il legame tra la posizione di un punto sul terreno e la sua posizione sull'immagine, non semplicemente modellizzabile tramite una proiezione centrale, Ã ̈ necessario sviluppare opportuni modelli di orientamento che tengano conto delle complicate geometrie di acquisizione dei nuovi sensori. Per ogni coppia di punti corrispondenti (punto sul terreno e punto sull'immagine) il legame viene rappresentato geometricamente dalla retta che li congiunge.
Se si dispone di due immagini acquisite sulla medesima zona à ̈ possibile ricostruire la morfologia tridimensionale del terreno attraverso l’individuazione di punti omologhi che, a loro volta, definiscono raggi omologhi la cui intersezione individua i punti che descrivono la suddetta morfologia.
Il matching à ̈ il processo che permette il riconoscimento (in generale automatico) delle coppie di punti omologhi sulle due immagini, ovvero le coppie di immagini dei medesimi punti a terra acquisiti nello stesso istante da due punti di ripresa differenti.
Questo processo, per esempio, può essere effettuato anche manualmente (in questo caso si può parlare più propriamente di collimazione) su pochi punti di interesse. Tuttavia, la tecnologia moderna mira ad implementare algoritmi capaci di riconoscere automaticamente un elevato numero di punti. In questa maniera si ottiene un insieme di punti omologhi e da questi, come accennato, si ricostruisce un modello tridimensionale dell’oggetto ripreso.
Tali algoritmi risultano molto importanti quando si devono ricostruire modelli di oggetti complessi come la superficie del terreno (modellizzazione digitale del terreno).
Per effettuare il matching à ̈ necessario fissare una primitiva, un primo punto di interesse, in una delle due immagini e successivamente andare a ricercare la primitiva coniugata, od omologa, nell’altra. In base al tipo di primitiva scelta si possono distinguere, due categorie di algoritmi per il matching: l'Area Based Matching (ABM) e il Feature Based Matching (FBM). Secondo l’ABM si sceglie come primitiva una finestra di pixel e come criterio di somiglianza ci si affida al valore di cross-correlazione tra i valori di radianza; dove il valore à ̈ massimo possiamo individuare una corrispondenza. Secondo l’FBM invece si assumono come primitive delle “features†(caratteristiche) dell’immagine, quali punti, angoli, bordi o anche poligoni rappresentati nell’immagine.
Il problema più rilevante, una volta fissata la primitiva in una immagine, à ̈ quello di limitarne la ricerca nella primitiva coniugata, od omologa, per riuscire a ottenere una riconoscimento univoco e robusto. In molti casi le distorsioni indotte nelle immagine e il rumore comportano dei falsi riconoscimenti. Si comprende come l’accuratezza della ricostruzione tridimensionale del modello dell'oggetto sia fortemente legata alla bontà del processo di matching.
Un criterio particolarmente utilizzato in varie tecniche di matching à ̈ quello del raffinamento progressivo del modello dell’oggetto, detto anche metodo piramidale: si degrada la risoluzione delle immagini e si estrae un primo modello “rozzo†dell’oggetto, che diventa l’input di un passo successivo in cui la risoluzione delle immagini omologhe à ̈ maggiore. Si procede quindi, per passi successivi di affinamento del modello dell’oggetto, fino a tornare alla risoluzione nativa delle immagini ed estrarre l’ultimo e più raffinato dei modelli.
Una delle tecniche con approccio piramidale più efficace à ̈ quella sviluppata, per le immagini ottiche, da Zhang e Gruen, vedi L. Zhang: Automatic Digital Surface Model (DSM) generation from linear array images. PhD Thesis ETH No. 16078, Technische Wissenschaften ETH Zurich, 2005, IGP Mitteilung N. 90, 2005 ed anche L. Zhang and A. Gruen, “Multi-image matching for DSM generation from IKONOS imagery†. ISPRS Journal of Photogrammetry and Remote Sensing (60), pp. 195–211, 2006. Tale tecnica limita la ricerca dei punti omologhi utilizzando dei vincoli geometrici (Vertical Line Locus) e si affida esclusivamente al valore di cross-correlazione calcolato su delle finestre di pixel (definite sul piano immagine) per individuarne la corrispondenza. Inoltre utilizza una procedura detta di "warping" che consiste nel modificare le dimensioni e le proporzioni delle finestre al fine di tenere in considerazione le piccole deformazioni prospettiche locali.
Tali tecniche, però, non risultano soddisfacenti in presenza di forti distorsioni geometriche e di elevato livello di rumore radiometrico, entrambi indotti sia dal processo di acquisizione sia dalla morfologia dell’oggetto che si intende rilevare. In particolare, per quanto riguarda le immagini acquisite con sensori Radar, il "layover", lo "shadowing" ed il "foreshortening" sono distorsioni proprie della geometria di acquisizione "slant-range" e lo "speckle" (granulosità) à ̈ un tipico rumore radiometrico dovuto alla combinazione caotica dei ritorni radar retrodiffusi contenuti nella stessa cella di risoluzione.
Un lavoro di un gruppo di ricerca di Graz (Austria), "Forest Assessment Using High Resolution SAR Data in X-Band" pubblicato sulla rivista Remote Sensing 13 aprile 2011, descrive una strategia di matching capace di estrarre DSM con un alto livello di accuratezza. Tale tecnica risulta essere tra le migliori conosciute per la generazione di DSM da immagini Radar secondo la metodologia radargrammetrica, ma necessita di un DSM grezzo di partenza, per esempio un modello SRTM (Shuttle Radar Topography Mission) o ASTER GDEM (ASTER Global Digital Elevation Model), per poter essere utilizzata.
Sommario dell’invenzione
Scopo della presente invenzione à ̈ quello di fornire una procedura di matching unificata per la modellizzazione digitale di oggetti mediante immagini stereoscopiche acquisite da sensori ottici o Radar atta a superare i limiti della tecnica nota.
E’ oggetto della presente invenzione una procedura di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche acquisite da sensori ottici o Radar, conformemente alla rivendicazione 1.
Un ulteriore scopo dell’invenzione à ̈ quello di fornire un dispositivo atto a generare una modellizzazione digitale di oggetti mediante immagini stereoscopiche acquisite da sensori ottici o Radar.
La presente invenzione trova particolare applicazione per il trattamento di dati satellitari ad alta risoluzione ottici o Radar e di immagini stereoscopiche di qualunque natura, anche acquisite da sensori ottici o Radar montati su piattaforme non satellitari (ad esempio aeree e terrestri).
Vantaggiosamente, il metodo oggetto della presente invenzione può essere applicato a immagini ottiche e Radar e non necessita, in nessun caso, di un DSM grezzo di partenza per poter essere impiegato.
Le rivendicazioni dipendenti descrivono realizzazioni preferite dell’invenzione, formando parte integrante della presente descrizione.
Breve descrizione delle Figure
Ulteriori caratteristiche e vantaggi dell’invenzione risulteranno maggiormente evidenti alla luce della descrizione dettagliata di forme di realizzazione preferite, ma non esclusive, di una procedura di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche, illustrato a titolo esemplificativo e non limitativo, con l’ausilio delle unite tavole di disegno in cui:
la Fig.1 rappresenta concettualmente la procedura di discretizzazione dell’oggetto secondo la presente invenzione,
la Fig. 2 rappresenta un diagramma di flusso del metodo di discretizzazione dell’oggetto secondo la presente invenzione,
la Fig 3 rappresenta una schematizzazione di un metodo piramidale basato sulla discretizzazione schematizzata in figura 1 e rappresentata dal diagramma di flusso di figura 2;
la Fig. 4 mostra una coppia di immagini omologhe acquisite da un sensore SAR, per esempio COSMO-Skymed, e utilizzate per generare il modello digitale raffigurato nella figura 5,
la Fig. 5 mostra un esempio di modello digitale del terreno generato utilizzando l'invenzione,
la Fig.6 sintetizza i risultati numerici relativi all'esempio mostrato in figura 5.
Gli stessi numeri e le stesse lettere di riferimento nelle figure identificano gli stessi elementi o componenti.
Descrizione in dettaglio di una forma di realizzazione preferita dell’invenzione Secondo la presente invenzione, vengono dapprima eseguiti i seguenti passi preliminari:
1. associazione
1.1. di un primo sistema di riferimento 3D, (X,Y,Z) ad uno spazio contenente l’oggetto di cui si vuole realizzare il modello tridimensionale (ad esempio il terreno di cui si deve realizzare il DSM,
1.2. di un secondo sistema di riferimento 2D (<η>1<,Î3⁄4>1 ) alla prima immagine e 1.3. di un terzo sistema di riferimento 2D (<η>2<,Î3⁄4>2 ) alla seconda immagine;
2. orientamento delle immagini stereoscopiche nello spazio oggetto tramite un modello noto in sé: il passo comprende la generazione di una funzione di trasformazione mediante la quale sia possibile passare dalle coordinate oggetto a quelle immagine, ad esempio, una funzione polinomiale razionale di cui sono stimati i coefficienti à ̈ descritta in Rational Polynomial Coefficients - RPCs), vedi ad esempio M. Crespi, F. Fratarcangeli, F. Giannone, F Pieralice, Chapter 4 -Overview on models for high resolution satellites imagery orientation, In: Li D., Shan J., Gong J. (Eds.), Geospatial Technology for Earth Observation data, Springer, Heidelberg, 2009.
Poiché la forma dell’oggetto che si deve ricostruire nelle sue tre dimensioni non à ̈, ovviamente, nota a priori e poiché le funzioni di orientamento che pongono in relazione i sistemi di riferimento immagine con il sistema di riferimento dello spazio immagine non consentono di individuare univocamente un punto tridimensionale dello spazio oggetto (X,Y,Z) a partire da un punto alla volta di ciascuno dei sistemi di riferimento immagine, secondo la presente invenzione si procede come segue: 3 si seleziona un intervallo dell’asse Z, detta anche direzione di elevazione, nello spazio oggetto che presumibilmente contiene l’oggetto secondo Z l’asse medesimo; ad esempio, nel caso in cui l'oggetto sia il terreno, si tratta di conoscere, anche molto approssimativamente, le quote minima e massima della zona di cui si deve realizzare il DSM,
4 si discretizza tale intervallo dell'asse Z ottenendosi N piani paralleli tra loro, rappresentati in figura 1,
5 si definisce inoltre una estensione planimetrica di ciascun piano, vale a dire i bordi delimitanti una griglia G, preferibilmente costante o variabile tra tutti i piani, sulla quale si intende ricostruire il DSM nello spazio oggetto e
6 si discretizza ciascuno degli N piani paralleli tra loro con una, preferibilmente medesima, prima griglia più grossolana G, attraverso le funzioni di orientamento si proietta tale discretizzazione sulle immagini, e pertanto si definisce una correlazione tra le celle (X,Y)i della griglia i-ma proiettate sulle immagini (<η>1<,Î3⁄4>1 )i,(<η>2<,Î3⁄4>2 )i mediante le suddette funzioni di orientamento; quindi si ottengono N coppie di proiezioni omologhe sui piani immagine a partire dai rispettivi N piani paralleli mostrati in figura 1, corrispondenti alla suddetta discretizzazione: risulta dunque che l’intero spazio oggetto (X,Y,Z) risulta discretizzato sui piani immagine;
7 a questo punto si utilizza un criterio di somiglianza per ciascuna di dette proiezioni omologhe per almeno una qualunque primitiva, in modo da selezionare la coppia di proiezioni omologhe che meglio descrive tale primitiva; pertanto se si individua almeno una primitiva in ciascuna cella (X,Y)i, significa che il criterio di similitudine consente di individuare una coordinata Z per ogni cella della griglia G(X,Y).
L’ordine di esecuzione dei passi 4 e 5 può essere invertito. Mentre gli altri passi 3 -7 debbono essere eseguiti in successione così come elencati.
Al termine di questi passi, si possono scartare le altre N-1 coordinate non selezionate, ottenendo così una prima ricostruzione approssimata tridimensionale del modello dell'oggetto nello spazio (X,Y,Z).
Pertanto la spazialità dell’oggetto viene ricostruita mediante una discretizzazione dell’asse Z e dei corrispondenti N piani X,Y dello spazio oggetto e mediante un criterio di somiglianza applicato a ciascuna cella (X,Y)i, in modo che a ciascuna cella si possa associare una sola coordinata Z.
Per quanto concerne, poi, la definizione delle primitive si possono impiegare diversi metodi. Ad esempio, in prove effettuate si à ̈ impiegato il summenzionato metodo Area Based Matching (ABM), ma possono essere usati altri metodi.
Per quanto riguarda l’applicazione di un criterio di somiglianza, ad esempio, si può utilizzare il suddetto metodo ABM dove si mettono in correlazione N coppie di intorni di ciascuna cella (<η>1<,Î3⁄4>1 )i e (<η>2<,Î3⁄4>2 )i, ove per intorno si intende un matrice di celle centrate su ciascuna delle celle (<η>1<,Î3⁄4>1 )i e (<η>2<,Î3⁄4>2 )i considerata. E’ evidente che un intorno può essere ampio o piccolo a piacere.
Secondo una variante preferita del metodo, calcolati gli N coefficienti di crosscorrelazione, uno per ogni coppia omologa di celle immagine (<η>1<,Î3⁄4>1 )i, (<η>2<,Î3⁄4>2 )i e per ogni corrispondente valore di Z, a partire da questi, calcolato l'indice del rapporto segnale rumore SNR (Signal to Noise Ratio) si seleziona la coordinata Z che presenta la più alta correlazione e che contemporaneamente superi una soglia fissata per il valore dello SNR.
Il metodo, come appena descritto, potrebbe anche arrestarsi qui, senza l’applicazione di un criterio piramidale.
Secondo una variante preferita della presente invenzione il processo di matching delle immagini sfrutta la geometria di acquisizione ed anche un approccio iterativo di tipo piramidale multirisoluzione che consente il progressivo raffinamento del modello digitale dell'oggetto, così come ottenuto mediante i precedenti passi.
Pertanto, il metodo comprende il seguente passo A), che può essere eseguito prima del passo 3:
definizione del numero M, vedi Figura 3, di livelli piramidali (cioà ̈ dei livelli di risoluzione) utilizzati per la generazione del modello digitale dell'oggetto.
Il criterio piramidale prevede di incrementare via, via la risoluzione delle immagini fino alla risoluzione di acquisizione, ciò implica che il metodo precedentemente descritto, se non à ̈ abbinato ad un criterio piramidale, può essere eseguito ad un livello qualsiasi di risoluzione.
Una volta eseguito il ciclo i-mo del metodo, al ciclo i+1-mo si considera, per ciascuna cella avente la corrispondente migliore coordinata Z trovata al ciclo precedente, un intervallo a cavallo di tale coordinata Z e lo si discretizza. Analogamente la cella del passo i-mo viene discretizzata al passo i+1.mo in delle nuove sub-celle in essa contenute.
L’ampiezza dell’intervallo a cavallo della coordinata Z ed il rapporto di tra le risoluzioni di due passi consecutivi possono essere individuati mediante operazioni di tuning alla portata del tecnico del ramo.
Secondo le prove eseguite, si preferisce raddoppiare o triplicare la risoluzione delle celle ad ogni passo, mentre riguardo a Z si diminuisce l'ampiezza dell'intervallo di discretizzazione seguendo ad esempio un andamento di tipo esponenziale negativo.
Vantaggiosamente, il fatto di partire da una risoluzione più bassa, per via, via incrementarla, risulta preferibile, in virtù del rumore generalmente presente soprattutto nelle immagini SAR, che impedirebbe di ottenere risultati attendibili da parte dei criteri di somiglianza, operando sin da subito sulle immagini così come acquisite, cioà ̈ alla risoluzione di acquisizione.
Ciò, equivale ad affermare che la individuazione delle coordinate Z di ciascuna cella à ̈ operato filtrando passa-basso sia le immagini che la discretizzazione di Z nello spazio oggetto.
Tale problema non à ̈ presente nelle immagini ottiche e, considerato che i maggiori esperti in ambito SAR non coincidono con i maggiori esperti in ambito ottico, anche la combinazione del metodo secondo i passi da 1 a 7 con un criterio piramidale à ̈ tutt’altro che ovvio.
Un altro vantaggio di utilizzare l'approccio piramidale sta nel fatto che solo al primo ciclo à ̈ necessario indagare tutte le N coppie omologhe relative a tutti i piani, mentre nei cicli successivi si potrà utilizzare l'informazione di coordinata Z ottenuta al ciclo precedente per limitare la ricerca. In questa maniera sarà possibile innescare un processo di raffinamento ciclo dopo ciclo del modello digitale dell'oggetto.
In aggiunta, proprio perché, il numero delle celle “interessanti†si riduce di un fattore N dopo il primo ciclo, à ̈ possibile indagare su intorni delle celle relativamente ampi, dal momento che ciclo dopo ciclo le dimensioni delle celle vano riducendosi proporzionalmente all’aumento della risoluzione.
Ciò equivale a dire che l’ampiezza degli intorni di ricerca ai fini dell’applicazione di un criterio di somiglianza risulta essere un parametro variabile durante l’esecuzione del criterio piramidale.
Vale ulteriormente la pena evidenziare che le sub-celle strettamente necessarie a ricoprire completamente una cella del ciclo immediatamente precedente sono tutte quante associate alla medesima coordinata in Z associata a tale cella. Pertanto à ̈ necessario memorizzare, ciclo dopo ciclo, tale relazione.
Per quanto detto sopra, una variante preferita del metodo si articola nelle seguenti operazioni:
- passi preliminari:
11. associazione
11.1. di un primo sistema di riferimento 3D, (X,Y,Z) ad uno spazio contenente l’oggetto di cui si vuole realizzare il modello tridimensionale (ad esempio il terreno di cui si deve realizzare il DSM,
11.2. di un secondo sistema di riferimento 2D (<η>1<,Î3⁄4>1 ) alla prima immagine e 11.3. di un terzo sistema di riferimento 2D (<η>2<,Î3⁄4>2 ) alla seconda immagine;
12. orientamento delle immagini stereoscopiche nello spazio oggetto tramite un modello noto in sé;
13. definizione del numero M (Figura 3) di livelli piramidali (cioà ̈ dei livelli di risoluzione) utilizzati per la generazione del modello digitale dell'oggetto.
- passi per ogni livello/ciclo piramidale:
14. discretizzazione, ad esempio mediante una griglia G regolare, di un piano dello spazio oggetto (X,Y,Z), per esempio il piano orizzontale (X,Y); la risoluzione spaziale della griglia à ̈ funzione del livello piramidale (Gxi, Gyi), vedi Figura 3, 15. definizione di almeno un intervallo I (Figura 1) secondo un asse perpendicolare al piano discretizzato al passo precedente, per esempio secondo Z;
16. discretizzazione dell’intervallo I (Figura 1) definito al passo precedente in un numero N di sotto-intervalli e associazione di un piano a ciascuno di essi, cosicché ciascuno degli N piani à ̈ individuato univocamente da una propria coordinata Z; 17. generazione di N coppie di proiezioni omologhe sulle immagini, alla risoluzione della griglia regolare definita precedentemente (Gxi, Gyi), utilizzando le funzioni del modello di orientamento
18. definizione della tipologia di primitive da considerare per ricercare i punti omologhi,
19. scelta della dimensione dell'intorno delle celle (<η>1<,Î3⁄4>1 ) e (<η>2<,Î3⁄4>2 ), ove per intorno si intende un matrice di celle centrate sulla cella (<η>1<,Î3⁄4>1 ) o (<η>2<,Î3⁄4>2 ) considerata 20. calcolo del coefficiente di correlazione per tutte le N coppie di intorni individuati per la cella (X,Y)i corrispondente alle celle (<η>1<,Î3⁄4>1 )i e (<η>2<,Î3⁄4>2 )i su gli N piani 21. selezione del valore massimo di correlazione ottenuto per la cella (X,Y)i e corrispondente individuazione del valore della coordinata Z nella cella medesima 22. ripetizione delle operazioni 20 e 21 per tutte le celle (X,Y)i; in tal modo viene costruito il modello digitale dell'oggetto al livello piramidale
L'esecuzione dei passi dal 14 al 22 per gli M livelli piramidali definiti portano alla realizzazione del modello digitale dell'oggetto.
Si riportano i risultati ottenuti con tecnica radargrammetrica da una stereocoppia SAR COSMO-SkyMed SpotLight, con una risoluzione a terra di 1m, acquisita sulla zona di Merano (Italia). Il DSM, in figura 5, à ̈ stato estratto da due immagini rappresentate in figura 4 e validato utilizzando un DTM (Digital Terrain Model) LiDAR attraverso il software scientifico DEMANAL sviluppato dal Prof. K. Jacobsen - Università Leibniz di Hannover.
Come si può vedere, l'area scelta à ̈ caratterizzata da una zona scoscesa di foresta e da un zona pianeggiante, i risultati sono riportati nella tabella di figura 6. L'accuratezza raggiunta in termini di errore quadratico medio (Root Mean Square Error - RMSE) à ̈ dell'ordine di 3 m nelle aree agricole con un errore sistematico (BIAS) e una deviazione standard di circa 2 m. Nella area di foresta il valore del bias à ̈ di circa 15 m e rappresenta l'altezza media della chioma degli alberi; nel confronto si paragona infatti il DSM estratto dalle immagini SAR, quindi comprensivo di tutti i particolari presenti sul terreno, con il modello digitale dell'elevazione a terra (ovvero a livello del terreno sotto gli alberi).
La presente invenzione può essere vantaggiosamente realizzata tramite un programma per computer che comprende mezzi di codifica per la realizzazione di uno o più passi del metodo, quando questo programma à ̈ eseguito su di un computer. Pertanto si intende che l’ambito di protezione si estende a detto programma per computer ed inoltre a mezzi leggibili da computer che comprendono un messaggio registrato, detti mezzi leggibili da computer comprendendo mezzi di codifica di programma per la realizzazione di uno o più passi del metodo, quando detto programma à ̈ eseguito su di un computer.
Dalla descrizione sopra riportata il tecnico del ramo à ̈ in grado di realizzare l’oggetto dell’invenzione senza introdurre ulteriori dettagli costruttivi. Gli elementi e le caratteristiche illustrate nelle diverse forme di realizzazione preferite possono essere combinati tra loro senza peraltro uscire dall’ambito di protezione della presente domanda.
(FIU)

Claims (10)

  1. RIVENDICAZIONI 1. Procedura di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche comprendente almeno i seguenti passi: - (ia) acquisizione di una coppia di immagini stereoscopiche di un oggetto da ricostruire, - (ib) associazione di un primo sistema di riferimento 3D (XYZ) ad uno spazio oggetto contenente un oggetto, di un secondo sistema di riferimento 2D (<η>1<,Î3⁄4>1 ) ad una prima immagine ed di un terzo sistema di riferimento 2D (<η>2<,Î3⁄4>2 ) ad una seconda immagine di detta coppia di immagini stereoscopiche; - (ic) generazione di una funzione di trasformazione atta a consentire una conversione di coordinate dal primo sistema di riferimento 3D a detti secondo e terzo sistemi di riferimento 2D; - (ii) prima discretizzazione dello spazio contenente l’oggetto secondo una direzione di elevazione (Z) - (iii) individuazione di piani (X,Y) paralleli tra loro, perpendicolari a detta direzione di elevazione (Z) e corrispondenti a detta prima discretizzazione, - (iv) seconda discretizzazione di ciascuno di detti piani (X,Y) mediante una griglia (G), - (v) per ogni piano (X,Y) dello spazio oggetto: - (va) proiezione di detta seconda discretizzazione in detti secondo e terzo sistemi di riferimento mediante detta funzione di trasformazione, ottenendo coppie di proiezioni omologhe della griglia (G), e - (vb) applicazione di un criterio di somiglianza per ciascuna di dette coppie di proiezioni omologhe per almeno una primitiva, - (vc) selezione di una coppia di proiezioni omologhe che meglio descrive detta primitiva secondo detto criterio di somiglianza.
  2. 2. Procedura secondo la rivendicazione 1, in cui detta coppia di proiezioni omologhe corrisponde ad una specifica coordinata su detta direzione di elevazione (Z).
  3. 3. Procedura secondo le rivendicazioni 1 o 2, in cui detta griglia (G) ha forma e dimensione costante o variabile tra detti piani (X,Y).
  4. 4. Procedura secondo una delle rivendicazioni precedenti, ulteriormente comprendente un passo di (iia) selezionare un intervallo della direzione di elevazione (Z) nello spazio oggetto che presumibilmente contiene l’oggetto secondo la direzione di elevazione (Z) medesima.
  5. 5. Procedura secondo una delle rivendicazioni precedenti, in cui detta selezione di una coppia di proiezioni omologhe, che meglio descrive detta primitiva, comprende un passo di (vi) individuare una coppia di celle omologhe ((<η>1<,Î3⁄4>1 )i,(<η>2<,Î3⁄4>2 )i) con la corrispondente coordinata su detta direzione di elevazione (Z) ed un passo di (vii) scartare le restanti coppie di piani omologhi.
  6. 6. Procedura secondo una delle rivendicazioni precedenti, comprendente un passo di selezionare una primitiva per ciascuna cella della griglia (G) ed una conseguente ripetizione dei passi (vb) e (vc).
  7. 7. Procedura secondo una delle rivendicazioni precedenti, in cui detto criterio di somiglianza comprende il calcolo di un indice di rapporto segnale rumore SNR (Signal to Noise Ratio) ed in cui detta coppia di celle ((<η>1<,Î3⁄4>1 )i,(<η>2<,Î3⁄4>2 )i) individuata, che meglio soddisfa detto criterio di somiglianza, presenta una più alta correlazione rispetto a corrispondenti coppie omologhe di celle proiettate dagli altri piani paralleli.
  8. 8. Procedura secondo la rivendicazione 7, in cui una coppia di celle ((<η>1<,Î3⁄4>1 )i,(<η>2<,Î3⁄4>2 )i) à ̈ considerata solo quanto detto indice di rapporto segnale rumore SNR supera una soglia prefissata.
  9. 9. Procedura secondo una delle rivendicazioni precedenti, comprendente un passo preliminare di ridurre la risoluzione delle immagini steroscopiche.
  10. 10. Procedura secondo la rivendicazione 6, comprendente il passo di applicare un criterio piramidale ai passi da (ii) a (vii), incrementando, via, via la risoluzione delle immagini stereoscopiche sino alla risoluzione di acquisizione delle immagini stesse e fissando come coordinata in elevazione di partenza una coordinata e corrispondenti celle omologhe ((<η>1<,Î3⁄4>1 )i,(<η>2<,Î3⁄4>2 )i) ottenute al passo precedente.
IT000115A 2013-02-28 2013-02-28 Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche ITRM20130115A1 (it)

Priority Applications (3)

Application Number Priority Date Filing Date Title
IT000115A ITRM20130115A1 (it) 2013-02-28 2013-02-28 Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche
US14/193,062 US20140354635A1 (en) 2013-02-28 2014-02-28 Matching procedure and device for the digital modelling of objects by stereoscopic images
EP14157265.1A EP2772801A1 (en) 2013-02-28 2014-02-28 Matching procedure and device for the digital modelling of objects by stereoscopic images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT000115A ITRM20130115A1 (it) 2013-02-28 2013-02-28 Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche

Publications (1)

Publication Number Publication Date
ITRM20130115A1 true ITRM20130115A1 (it) 2014-08-29

Family

ID=47997696

Family Applications (1)

Application Number Title Priority Date Filing Date
IT000115A ITRM20130115A1 (it) 2013-02-28 2013-02-28 Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche

Country Status (3)

Country Link
US (1) US20140354635A1 (it)
EP (1) EP2772801A1 (it)
IT (1) ITRM20130115A1 (it)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103472978B (zh) * 2013-09-26 2017-10-13 深圳市华傲数据技术有限公司 一种基于四分位图展示数据的可视化方法及系统
US10699119B2 (en) * 2016-12-02 2020-06-30 GEOSAT Aerospace & Technology Methods and systems for automatic object detection from aerial imagery
CN108444451B (zh) * 2018-03-19 2020-10-20 中国人民解放军战略支援部队信息工程大学 一种行星表面影像匹配方法与装置
CN110345926B (zh) * 2019-06-11 2020-04-24 武汉理工大学 一种相对定向-绝对定向中比例系数的求解算法
FR3107359B1 (fr) * 2020-02-18 2022-02-25 Thales Sa Procede et dispositif de determination d'obstacles d'altitude

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2643817A4 (en) * 2010-11-26 2017-06-21 Thomson Licensing Method for animating characters, with collision avoidance based on tracing information

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
OKUTOMI M ET AL: "A multiple-baseline stereo", PROCEEDINGS OF THE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. LAHAINA, MAUI, HAWAII, JUNE 3 - 6, 1991; [PROCEEDINGS OF THE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION], LOS ALAMITOS, IEEE. COMP., vol. -, 3 June 1991 (1991-06-03), pages 63 - 69, XP010023188, ISBN: 978-0-8186-2148-2, DOI: 10.1109/CVPR.1991.139662 *
ZHANG L ET AL: "Multi-image matching for DSM generation from IKONOS imagery", ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, AMSTERDAM [U.A.] : ELSEVIER, AMSTERDAM, NL, vol. 60, no. 3, 1 May 2006 (2006-05-01), pages 195 - 211, XP027935270, ISSN: 0924-2716, [retrieved on 20060501] *

Also Published As

Publication number Publication date
EP2772801A1 (en) 2014-09-03
US20140354635A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
Alidoost et al. Comparison of UAS-based photogrammetry software for 3D point cloud generation: a survey over a historical site
Piermattei et al. Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes
Zhou et al. Seamless fusion of LiDAR and aerial imagery for building extraction
CN107451982B (zh) 一种基于无人机影像的高郁闭度林分树冠面积获取方法
Castillo et al. SF3M software: 3-D photo-reconstruction for non-expert users and its application to a gully network
ITRM20130115A1 (it) Procedura e dispositivo di matching per la modellizzazione digitale di oggetti mediante immagini stereoscopiche
Capaldo et al. DSM generation from high resolution imagery: applications with WorldView-1 and Geoeye-1.
KR102275572B1 (ko) 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
KR101977652B1 (ko) 모바일 맵핑 시스템을 이용한 도로 면형 자동 취득 방법
Wallace Assessing the stability of canopy maps produced from UAV-LiDAR data
CN107590825A (zh) 一种基于sfm的点云孔洞修补方法
CN103278138A (zh) 一种复杂结构薄部件三维位置及姿态的测量方法
JP6635649B2 (ja) データ重ね合わせプログラム及びデータ重ね合わせ方法
CN110889899B (zh) 一种数字地表模型的生成方法及装置
CN114066960A (zh) 三维重建方法、点云融合方法、装置、设备及存储介质
Lenz et al. Automatic in-flight boresight calibration considering topography for hyperspectral pushbroom sensors
Han et al. Assessment of dense image matchers for digital surface model generation using airborne and spaceborne images–an update
Jóźków et al. Experiments with UAS imagery for automatic modeling of power line 3D geometry
Dos Santos et al. Building boundary extraction from LiDAR data using a local estimated parameter for alpha shape algorithm
Karantzalos et al. Model-based building detection from low-cost optical sensors onboard unmanned aerial vehicles
Li et al. Registration of Aerial Imagery and Lidar Data in Desert Areas Using the Centroids of Bushes as Control Information.
Verhoeven Getting computer vision airborne: using structure from motion for accurate orthophoto production
Yadav et al. Integration of Iphone LiDAR with Quadcopter and Fixed Wing Uav Photogrammetry for the Forestry Applications
MICKLEThWAITE et al. Mapping from an Armchair: Rapid, high-resolution mapping using UAV and computer vision technology
Wang et al. Validating a workflow for tree inventory updating with 3d point clouds obtained by mobile laser scanning