ITFI20110045A1 - Apparato e metodo per la rilevazione e la ricostruzione di immagini in tre dimensioni. - Google Patents

Description

Descrizione del brevetto per Invenzione Industriale avente per titolo:

"APPARATO E METODO PER LA RILEVAZIONE E LA RICOSTRUZIONE DI

IMMAGINI IN TRE DIMENSIONI";

Settore dell’invenzione

Il trovato riguarda un apparato per rilevare tridimensionalmente superfici di piccole dimensioni mediante l’uso di visione artificiale.

Il ritrovato nasce per l’applicazione in ambito medicale, ed in particolare per la ricostruzione tridimensionale e la misura del tessuto cutaneo, ma ciò non toglie che possa essere utilizzato in altri ambiti quali industria, beni culturali, estetica ecc..

Stato dell’arte

Il sistema, descritto di seguito, combina due diverse tecniche di scansione mediante immagini:

- la ricostruzione stereoscopica mediante stereo visione (di origine fotogrammetrica) e

- la scansione stereofotometrica.

Entrambe le tecniche sono singolarmente ben documentate dalla letteratura scientifica e costituiscono uno stato dell’arte ormai noto.

Più in dettaglio, la tecnica di stereovisione fotogrammetrica si basa sul principio che più immagini (normalmente se ne usano due) che inquadrano la stessa superficie da diversi punti di vista, consentono di valutare e misurare la tridimensionalità dell’oggetto una volta che siano note alcune informazioni relativamente alla geometria di presa (centro, angoli, camera, ecc).

La visione computerizzata consente l'automatismo della misura attraverso l’analisi dell'immagine che basa il proprio principio di funzionamento suH’individuazione di punti omologhi (cioè riferiti alla stessa posizione spaziale) sulle diverse immagini.

Questo metodo è caratterizzato dalla buona accuratezza dimensionale per la determinazione della conformazione macroscopica della superficie, ma non consente la caratterizzazione particolareggiata.

La tecnica stereofotometrica si basa invéce sul principio che le lo studio delle immagini di una superficie, illuminata mediante tre o più sorgenti di luce puntiforme disposte su altrettante distinte e note posizioni, consente la determinazione deirorientamento della superficie e sostanzialmente la generazione di una mappa delle normali. Tale mappa è molto dettagliata e consente, teoricamente, anche una caratterizzazione tridimensionale della superficie ottenibile mediante la sua integrazione matematica.

All’atto pratico questo risulta molto complesso in quanto la morfologia globale 3d non viene ricostruita correttamente.

Si sottolinea a questo proposito che la ricostruzione fotometrica richiede la conoscenza della posizione della sorgente luminosa rispetto al soggetto.

Quindi ogni spostamento (anche piccolo) della sorgente rispetto al soggetto provoca importanti errori di misura.

Infatti (figura 2) allo spostarsi di P rispetto alla sorgente luminosa e/o all’osservatore, variano sia L che V e quindi 0i e 0e da cui ovviamente anche N. Ne consegue che una apparecchiatura che sfrutti la sola stereo fotometria dovrebbe essere fissata sempre alla stessa identica distanza dall’oggetto; condizione chiaramente non realizzabile con apparati brandeggiabili.

Un esempio di applicazione di questo genere è noto da WO201009721 8.

Scopo dell’invenzione

Con il presente trovato si intende superare gli inconvenienti delle soluzioni già note e proporre un apparato ed un metodo che consenta di effettuare con una sola operazione una scansione che costituisca la sintesi ottimale delle migliori caratteristiche delle tecnologie di scansione stereoscopica e stereofotometrica.

Sommario dell’Invenzione

A questi scopi si è pervenuti realizzando un apparato secondo una o più delle rivendicazioni allegate

Un primo vantaggio dell’invenzione consiste nel fatto che l’apparato dell’invenzione consente di ricostruire la posizione e la forma della geometria generale dell’oggetto sulla quale risulta possibile calcolare la stereo fotometria in maniera rigorosa.

Un secondo vantaggio consiste nella semplicità costruttiva e funzionale della soluzione tecnica adottata.

Elenco dei disegni

Questi ed ulteriori vantaggi saranno meglio compresi da ogni tecnico del ramo dalla descrizione che segue e dagli annessi disegni, dati quale esempio non limitativo, nei quali:

- la fig.1 mostra uno schema esplicativo della tecnica nota di scansione stereoscopica;

- la fig.2 mostra uno schema esplicativo della tecnica nota di scansione stereofotometrica

- la fig.3 mostra un esempio di neo verrucoso quale possibile applicazione dell'invenzione;

- la fig.4 mostra una esemplificazione della sezione del modello del neo di figura 3 ricostruito: (a) mediante stereo visione, (b) con stereo fotometria, (c) il modello risultante secondo l’invenzione;

- la fig.5 mostra un esempio di realizzazione dell’apparato dell'invenzione;

- le fig.6 e 6a mostrano rispettivamente uno schema di ottica stereo catadiottrica e a doppio sensore;

- la figura 7 mostra una immagine stereoscopica acquisita mediante l'ottica catadiottrica di figura 6.

Descrizione Dettagliata

Con riferimento ai disegni, è descritto una applicazione dell’invenzione alla misurazione della porzione di pelle di figura 3.

Il soggetto dell’indagine P, in questo caos un neo verrucoso, presenta una conformazione ellissoidica con una rugosità superficiale di interesse diagnostico.

È pertanto desiderabile ed importante poter documentare simultaneamente sia la forma e la dimensione complessiva che la rugosità superficiale.

Le grandezze in gioco sono dell’ordine del millimetro per la forma e del decimo di millimetro per la rugosità.

La stereovisione è adatta per la valutazione delle forme con le tolleranze descritte. In questo ambito infatti è possibile ottenere ottimi risultati anche con una strumentazione facilmente disponibile in commercio.

La superficie S1 ottenibile mediante questa tecnica è ben descritta dalla sezione (a) rappresentata in figura 4. Come vediamo c’è una buona morfologia generale ma la rugosità e completamente persa ovvero non ricostruita.

La ricostruzione stereofotometrica, come accennato, consente un elevato livello di dettaglio sulla determinazione della mappa delle normali. La risoluzione è quella del pixel e quindi assolutamente congruente con il dettaglio richiesto sulla rugosità della superficie. La conformazione generale che però deriva dall’integrazione della mappa delle normali è normalmente inattendibile e sicuramente erronea se la superficie presenta discontinuità.

Come evidenziato nella sezione (b) della figura 4, la rugosità S2 è ben visibile, ma il modello ricostruito non risponde alla geometria reale nella sua globalità. Secondo l’invenzione, il soggetto P è stato esaminato con un apparato 1 schematizzato in figura 5 e comprendente una camera fotografica 2 dotata di ottica stereoscopica, a doppio obiettivo o catadiottrica o di altro tipo, e corredata da un anello sul quale è disposta una corona di led 3 (preferibilmente 12 led) comandati elettronicamente mediante una scheda elettronica, non mostrata in figura.

L’apparato 1 inoltre è preferibilmente dotato di illuminatori 4 che combinati all’uso di uno specifico filtro, consentono l’acquisizione di immagine anche nel’LIV. L’apparato può essere inoltre preferibilmente dotato di illuminatori di vario genere al fine di valutare la risposta della superficie ai diversi spettri cromatici.

Si sottolinea che nella presente descrizione con il termine camera fotografica ci si riferisce indistintamente a fotocamere e telecamere in quanto non vi sono differenze particolari nell’uso delle une o delle altre.

Vantaggiosamente, l’uso di ottica stereo-catadiottrica (figura 6) o di ottica a doppio asse (figura 6a) permette l’acquisizione di una coppia di immagini stereo che si condivide lo stesso sensore di ricevimento dell’immagine, questo consente l’uso di una sola camera e riduce gli ingombri rispetto alla soluzione standard che prevede l’uso di una coppia di camere.

Alternativamente, una soluzione con due camere sarebbe comunque possibile neH’ambito dell’invenzione.

Preferibilmente, la procedura di acquisizione delle immagini prevede una serie di N scatti, maggiore o uguale a tre, comandati elettronicamente e sincronizzati con i led in modo da creare la sequenza più opportuna in funzione delle caratteristiche morfologiche/radiometriche del soggetto P.

I led hanno posizione nota rispetto alla camera ed al sensore e tutta la geometria è calibrata.

A ciascuno degli N scatti corrisponde una configurazione di illuminazione diversa ed è costituito da una coppia stereoscopica.

Si suppone che la posizione della camera rispetto al soggetto rimanga sostanzialmente invariata durante l’esecuzione degli N scatti.

A monte del processo di acquisizione l’apparato è stato calibrato, intendendo con ciò che, ad esempio, devono essere noti:

- Dimensioni del sensore e del pixel

- Lunghezze focali delle camere (sono comunque distinti per le 2 immagini) - Punti principali del soggetto P (sono comunque distinti per le 2 immagini) - Distorsioni radiali e tangenziali

- Posizione di ciascun led rispetto al sensore

Secondo il metodo dell’invenzione, in una forma preferita di attuazione il processo di ricostruzione delle immagini acquisite con l’apparato 1 può essere suddiviso nelle seguenti fasi principali:

a) Calcolo della superficie (S1) da stereovisione:

Per ogni scatto:

• Suddivisione del singolo scatto nella coppia di immagini che lo costituiscono (sinistra e destra) con correzione delle distorsioni ottiche ed eventualmente cromatiche

· Rettifica epipolare della coppia

• Ricostruzione 3d, preferibilmente mediante un algoritmo ABM (Area Based Matching) di ricostruzione dell’immagine

I modelli 3d generati dalle diverse coppie sono molto simili tra loro ma potranno non essere identici, con eventuali piccole differenze dovute alla diversa illuminazione ed ai piccoli movimenti relativi tra camera e soggetto. • Registrazione dei modelli mediante feature tracking ed eventualmente algoritmo ICP (iterative closest point)

• Fusione dei modelli e calcolo della morfologia globale dell’oggetto (superficie S1 (a) in fig.4)

• Triangolazione di Delaunay e testurizzazione del modello finale

b) Calcolo della superficie di rugosità (S2) da stereo fotometria:

Per il calcolo stereo fotometrico vengono prese in esame due sequenze distinte costituite da N immagini destre ed N sinistre.

• Per ciascuna immagine della sequenza si calcola

o la posizione della sorgente luminosa rispetto a ciascun pixel proiettato sul modello 3d ricostruito mediante il processo di stereovisione dalla coppia alla quale l'immagine appartiene.

Si osserva che questa fase consente vantaggiosamente di poter utilizzare l’apparato 1 non rigidamente fisso rispetto al soggetto P. Fissiamo cioè (figura 2) il soggetto P sorgente, la sorgente luminosa e l’osservatore per cui il calcolo di N è esatto.

o Se non è la prima immagine, la registrazione omografica rispetto alla immagine precedente

• Per ciascuna sequenza si calcola la mappa delle normali (Woodham, R.J. 1980) ed albedo

• Si registrano e mediano le mappe delle normali delle due sequenze c) calcolo della superficie finale

L’integrazione della superficie ottenuta con calcolo di stereo fotometria conduce ad una notevole definizione superficiale ma errata valutazione della morfologia generale.

Per unire le due superfici vengono pertanto effettuati i seguenti passaggi:

· Rettifica della superficie da stereo fotometria sul piano medio di ricostruzione: viene rappresentata la superficie stereofotometrica sotto forma di DTM, cioè di mappa raster per cui ogni pixel rappresenta la quota dei punto a cui si riferisce; successivamente applichiamo un filtro di smoothing (ad esempio) gaussiano al DTM così da interpolare le quote dei punti stessi sulla morfologia generale livellando la rugosità superficiale. Successivamente applichiamo a ciascun punto della superficie la traslazione valutata sul DTM dopo l’interpolazione. Questo provoca una generale deformazione della superficie approssimandola al piano zero, mantenendo però la rugosità in virtù deH’interpolazione effettuata. Prove sperimentali ci consentono di determinare il livello di smoothing adatto per le diverse condizioni di ripresa e di soggetto.

« La superficie da stereo visione e quella da stereo fotometria, una volta elaborata come descritto, vengono infine composte, ad esempio sommate, per ottenere la superficie finale risultante che presenterà la geometria generale ottenuta nella fase a) e la rugosità superficiale ottenuta in fase b).

La presente invenzione è stata descritta secondo forme preferite di realizzazione ma varianti equivalenti possono essere concepite senza uscire dall'ambito di protezione dell'invenzione.

Claims (10)

1. RIVENDICAZIONI 1. Apparato per la rilevazione e la ricostruzione in tre dimensioni di immagini di un soggetto (P), comprendente una camera fotografica (2) dotata di ottica stereo una pluralità di elementi di illuminazione (3) a comando elettronico disposti perifericamente rispetto a detta camera (2) una unità elettronica di comando di detti elementi (3) e di detta camera (2) per eseguire una sequenza di acquisizioni di immagini costituite da coppie stereoscopiche, una unità di elaborazione delle immagini acquisite programmata per eseguire un calcolo di una superficie geometrica generale (S1) da stereo visione del soggetto (P), un calcolo di una superficie di rugosità (S2) da stereo fotometria del soggetto (P), e il calcolo di una superficie finale (Sf) come composizione di dette superfici (S1 , S2).
2. 2. Apparato secondo la rivendicazione 1 , in cui detta camera (2) è dotata di ottica stereo catadiottrica.
3. 3. Apparato secondo la rivendicazione 1 , in cui detta camera (2) è dotata di doppia ottica.
4. 4. Apparato secondo una delle rivendicazioni precedenti, in cui detti elementi di illuminazione comprendono una distribuzione ad anello di led disposti a corona simmetricamente attorno a detta camera (2).
5. 5. Apparato secondo una delle rivendicazioni precedenti, comprendente illuminatori (4) per l’acquisizione di immagini neH’lIV.
6. 6. Metodo per la rilevazione e la ricostruzione in tre dimensioni di immagini di un soggetto (P), comprendente le fasi di, esecuzione mediante una camera con ottica stereo di una sequenza di acquisizioni di immagini del soggetto (P) costituite da coppie stereoscopiche, sincronizzazione di dette acquisizioni con una illuminazione del soggetto (P) mediante una pluralità di elementi di illuminazione (3) a comando elettronico disposti perifericamente rispetto a detta camera (2), calcolo di una superficie geometrica generale (S1) da stereo visione del soggetto (P), calcolo di una superfìcie di rugosità superficiale (S2) da stereo fotometria del soggetto (P), e calcolo di una superficie finale (Sf) come composizione di dette superfìci (S1. S2).
7. 7. Metodo secondo la rivendicazione 6, in cui detta fase di acquisizione prevede una serie di acquisizioni costituite da una coppia stereoscopica a ciascuna delle quali corrisponde una configurazione di illuminazione diversa.
8. 8. Metodo secondo la rivendicazione 6 o 7, in cui detta fase di calcolo della superficie (S1) da stereovisione comprende: per ogni acquisizione: suddivisione della singola acquisizione nella coppia di immagini che lo costituiscono (sinistra e destra) con correzione delle distorsioni ottiche ed eventualmente cromatiche, rettifica epipolare della coppia ricostruzione 3d dell'immagine, preferibilmente mediante un algoritmo ABM (Area Based Matching) di ricostruzione dell’immagine, registrazione dei modelli preferibilmente mediante feature tracking ed eventualmente algoritmo ICP (iterative closest point) fusione dei modelli registrati e calcolo della morfologia globale del soggetto (P) triangolazione di Delaunay e testurizzazione del modello 3d finale.
9. 9. Metodo secondo una delle rivendicazioni 6-8, in cui detta fase di calcolo della superfìcie (S2) da stereo fotometria comprende: selezione di due sequenze distinte costituite da un numero (N) di immagini destre ed un numero (N) di immagini sinistre. per ciascuna immagine della sequenza, il calcolo della posizione della sorgente luminosa rispetto a ciascun pixel proiettato sul modello 3d ricostruito mediante il processo di stereovisione dalla coppia alla quale l'immagine appartiene per immagini acquisite successive alla prima, la registrazione omografica rispetto alla immagine precedente, calcolo della mappa delle normali registrazione e media delle mappe delle normali delle due sequenze.
10. 10. Metodo secondo una delle rivendicazioni 6-9, in cui detta fase di calcolo della superficie finale (Sf) comprende: integrazione della superficie (S1) ottenuta con calcolo di stereo fotometria rettifica della superficie (S2) da stereo fotometria su un piano medio di ricostruzione somma della superficie (S1) da stereo visione e della superficie (S2) da stereo fotometria per ottenere una superficie finale risultante (Sf).