ITVI20120041A1 - Rilevazione di caratteristiche di un'immagine - Google Patents

Description

DESCRIZIONE

DELL’INVENZIONE DAL TITOLO “Rivelazione di caratteristiche di un’immagineâ€

CAMPO TECNICO DELL’INVENZIONE

La presente invenzione riguarda il campo della rivelazione di dettagli caratteristici in un’immagine e, in particolare, la rivelazione di dettagli caratteristici d’immagini basata sulla localizzazione di punti chiave e sui descrittori di punti chiave.

STATO DELL’ARTE NOTA

La rivelazione di dettagli caratteristici di immagini à ̈ un compito importante in una vasta gamma di applicazioni per la visione computerizzata. Per esempio, la rivelazione di dettagli à ̈ una fase essenziale nel confronto di immagini e nel riconoscimento di oggetti. Dettagli caratteristici di immagini comprendono tipicamente bordi, spigoli, angoli, linee e chiazze puntiformi.

Attualmente, la rivelazione di dettagli caratteristici à ̈ generalmente basata sull’algoritmo SIFT (Scale Invariant Feature Transform); si veda, per esempio, “Distinctive image features from scale invariant keypoints†, di David C. Lowe, in International Journal of Computer Vision, 60, 2 (2004), pagine 91- 110. Il descrittore di dettagli caratteristici di Lowe à ̈ particolarmente vantaggioso in quanto à ̈ invariante per riscalamento e rotazione dell' immagine come pure per cambiamenti di illuminazione. L’algoritmo SIFT comprende quattro fasi di calcolo (per dettagli confrontare l’articolo citato di Lowe). La prima fase à ̈ una rivelazione di estremi nello spazio delle scale che impiega la funzione differenza di gaussiane (DoG). Lo spazio delle scale à ̈ definito dalla funzione L(x, y, σ) = G(x, y, σ) ® I(x, y) dove ® à ̈ l’operatore di convoluzione, G(x, y, σ) à ̈ una gaussiana di scala variabile e I(x, y) à ̈ l’immagine di input in considerazione.

La fase successiva à ̈ una localizzazione di punti chiave stabili ottenuta mediante il calcolo della differenza tra due immagini, una con scala k volte l’altra: D(x, y, σ) = L(x, y, kσ) - L(x, y, σ) e una rivelazione dei massimi e minimi locali di D(x, y, σ). La terza fase à ̈ l’attribuzione di una orientazione al sito di ciascun punto chiave sulla base delle direzioni locali dei gradienti dell’immagine. Attraverso l’attribuzione di una orientazione sistematica a ciascun punto chiave sulla base delle proprietà locali dell’immagine, un descrittore di punto chiave ottenuto nella quarta fase si può rappresentare relativamente alla propria orientazione. I descrittori di punto chiave generalmente impiegano un insieme di 16 istogrammi ottenuti dalle orientazioni dei gradienti dei punti di campionamento, allineati in una griglia 4x4, ciascuno con 8 intervalli di orientazione, un intervallo per ciascuna direzione corrispondente ai principali punti cardinali ed uno per ciascuno dei punti intermedi fra queste direzioni.

Tuttavia, le implementazioni attuali dell’algoritmo SIFT richiedono processori di alta potenza e vasta disponibilità di memoria. D’altra parte à ̈ altamente auspicabile la rivelazione di dettagli caratteristici in tempo reale in sistemi integrati, per esempio in dispositivi mobili di cattura di immagini quali fotocamere digitali. Così, nonostante i recenti progressi in campo ingegneristico, à ̈ ancora sentita la necessità di un metodo migliorato per la rivelazione di dettagli caratteristici, che permetta l’implementazione in dispositivi mobili di cattura di immagini con risorse computazionali limitate.

DESCRIZIONE DELL’INVENZIONE

La presente invenzione si rivolge ai bisogni suindicati e, di conseguenza, fornisce un metodo per la rivelazione di dettagli caratteristici di un’immagine comprendente

estrazione di una striscia da un’immagine digitale, comprendendo la striscia una pluralità di blocchi; elaborazione della pluralità di blocchi al fine di localizzare uno o più punti chiave; e

rivelazione di uno o più dettagli caratteristici dell’immagine sulla base dell’unico o dei molteplici punti chiave localizzati.

L’immagine può essere per esempio una foto digitale, oppure un’immagine acquisita da un sensore di immagini prima di qualunque compressione come MJPEG o H264. La striscia comprende un sottoinsieme di pixel dell’immagine digitale. La striscia può essere un estratto dell’immagine digitale orientato orizzontalmente oppure verticalmente. La striscia può consistere di un numero di blocchi disposti soltanto orizzontalmente oppure di un numero di blocchi disposti soltanto verticalmente. Ogni blocco comprende un sottoinsieme di pixel della striscia. Dimensioni tipiche di un blocco sono, per esempio, dell’ordine di 16x16, 32x32, 64x64 fino a 128x128 pixel, ma I blocchi possono essere rettangolari invece che quadrati, come per esempio 32x64. Secondo l’invenzione, data una striscia estratta dall’intera immagine in considerazione, l’elaborazione per la rivelazione di dettagli caratteristici à ̈ eseguita in base ai blocchi. Perciò, tanto i requisiti di memoria, quanto i ritardi di elaborazione come pure i tempi di elaborazione possono essere ridotti rispetto all’arte nota.

Secondo una forma di realizzazione, la fase dell’elaborazione della pluralità di blocchi comprende una trasformata dei dati dei blocchi verso il dominio della frequenza. Questo passo corrisponde alla trasformazione verso un’immagine in toni di grigio acquisita da un sistema a catena di elaborazione di immagini che legge il pattern di Bayern grezzo e lo converte in RGB per pixel, tuttavia tale passo può anche essere l’output di un post processore come un decoder video capace di eseguire un processo di riduzione del rumore e miglioramento della qualità dell'immagine. La distribuzione in frequenza del blocco trasformato (dati) costituisce una prima indicazione, per via della distribuzione di frequenze spaziali, riguardo la presenza o assenza di uno o più punti chiave nel blocco. Per esempio, se soltanto una componente continua à ̈ disponibile, ciò significa che non ci sono punti chiave disponibili, mentre una maggiore ricchezza di distribuzione di componenti in frequenza segnalerà la potenziale presenza di punti chiave. Prima di determinare se il blocco sia un possibile candidato per un punto chiave incluso nel blocco, i dati del blocco trasformati nel dominio della frequenza possono essere soggetti ad un filtraggio passa basso al fine di selezionare, per esempio, frequenze spaziali per una ulteriore elaborazione.

Secondo una forma di realizzazione del metodo inventivo l’elaborazione della pluralità di blocchi comprende ulteriormente un certo numero di filtraggi e sottocampionamenti dei dati del blocco trasformati verso il dominio della frequenza, al fine di generare un certo numero di ottave. Ciascuna ottava (compresa la prima ottenuta senza alcun sotto-campionamento dei blocchi della striscia estratta) comprende un numero di blocchi trasformati verso il dominio della frequenza. Ciascuna ottava viene elaborata per la localizzazione di punti chiave.

Prima della localizzazione di punti chiave vera e propria in un blocco che sia stato individuato come candidato a contenere un punto chiave, il metodo per la rivelazione di dettagli caratteristici può comprendere una trasformata in frequenza inversa dei dati dei blocchi dal dominio della frequenza al dominio spaziale. Successivamente, runico o la molteplicità di punti chiave vengono localizzati nel dominio spaziale sulla base dei dati dei blocchi inversamente trasformati.

In alternativa, runico o i molteplici punti chiave possono essere localizzati nel dominio della frequenza sulla base dei dati dei blocchi filtrati nel dominio della frequenza prima della trasformata inversa dei dati dei blocchi. In entrambi i casi, la localizzazione di punti chiave à ̈ basata sull’elaborazione nel dominio della frequenza invece di un’elaborazione nel dominio dei pixel, come la differenza di gaussiane impiegata nell’arte nota.

Tuttavia, come precedentemente accennato, il metodo può comprendere il passo di stabilire se un blocco comprende potenzialmente un punto chiave sulla base della distribuzione in frequenza dei dati dei blocchi cui si à ̈ applicato un filtraggio passa basso e in cui soltanto un blocco in cui si à ̈ stabilita la presenza potenziale di un punto chiave viene elaborato per la localizzazione dei punti chiave.

A seconda delle risorse computazionali, à ̈ inoltre previsto che un sotto-campionamento di un blocco della striscia al fine di generare ottave venga eseguito in parallelo all’elaborazione del blocco per la localizzazione di punti chiave nella prima ottava (o in un’ottava superiore) al fine di risparmiare tempo complessivo di calcolo sfruttando l’intrinseco parallelismo dell’algoritmo. Per la stessa ragione, l’elaborazione per la rivelazione di dettagli caratteristici si può eseguire in parallelo per un certo numero di filtri passa-banda forniti per un’ottava.

Dopo la localizzazione di un punto chiave, le forme di realizzazione descritte precedentemente del metodo per la rivelazione di dettagli caratteristici qui fornito possono inoltre comprendere l’estrazione di una patch di NxM punti di campionamento attorno al punto chiave localizzato e l’elaborazione della patch per la rivelazione di dettagli caratteristici. L’elaborazione della patch per la rivelazione di dettagli caratteristici può, in particolare, comprendere il passo di generare un istogramma di gradienti di punti di campionamento, assegnare un’orientazione a ciascun punto chiave localizzato sulla base dell’istogramma e generare un descrittore di punto chiave per ciascun punto chiave localizzato sulla base dell’orientazione assegnata.

In alternativa l’elaborazione della patch intorno al punto di interesse per la rivelazione di dettagli caratteristici può, in particolare, comprendere il passo di generare un vettore di componenti in frequenza in un blocco di dati intorno al punto di interesse senza richiedere alcuna ulteriore trasformata inversa. Tale vettore può inoltre essere soggetto ad un processo di sogliatura, quantizzazione e codificazione entropica. Per esempio si può applicare un processo di sogliatura a zero: la norma del vettore può essere elaborata così da diventare uguale a 1 , cosicché ciascun componente del vettore prenormalizzazione venga diviso dal modulo dello stesso. Tramite questa operazione ciascun elemento del descrittore SIFT prende un valore compreso tra 0 e 1. Ciascun valore inferiore ad una soglia à ̈ posto uguale a 0. Secondo la quantizzazione, si stabilisce una corrispondenza tra ciascun valore ed un valore intero rappresentato per esempio da 6 o 4 bit.

Secondo l’Adaptive Arithmetic Coding (AAC) il vettore quantizzato di valori interi viene compattato con un algoritmo di codifica aritmetica adattativa. In alternativa all’AAC, si può impiegare la codificazione di Huffman, oppure una combinazione delle due. Inoltre si può impiegare la Type Coding, o qualunque alternativa della AAC, codificazione di Huffman e Type Coding.

L’elaborazione descritta precedentemente può venire ripetuta per un numero di strisce tali da costituire l’immagine.

La presente invenzione inoltre fornisce un programma per computer che comprende uno o più mezzi leggibili da un computer aventi istruzioni eseguibili da parte di un computer al fine di eseguire i passi del metodo secondo una delle rivendicazioni precedenti.

Inoltre, si fornisce un mezzo di cattura di immagini o un mezzo di elaborazione di immagini comprendente un chipset in cui i passi del metodo secondo uno degli esempi descritti precedentemente vengano implementati.

Ulteriori vantaggi e caratteristiche della presente invenzione verranno descritte nel seguito con riferimento alle figure. Nella descrizione, si fa riferimento alle figure allegate che sono da intendersi come illustrazione delle forme di realizzazione dell’invenzione. Resta inteso che tali forme di realizzazione non rappresentano l’intero ambito dell’invenzione.

Le figure 1 e 2 mostrano un esempio del metodo inventivo per la rivelazione di dettagli caratteristici di immagine comprendente una localizzazione di punti chiave basata su blocchi nel dominio trasformato.

La figura 3 mostra un esempio del metodo inventivo per la rivelazione di dettagli caratteristici di immagini comprendente una localizzazione di punti chiave basata su blocchi nel dominio spaziale o della frequenza con risorse inferiori.

Un esempio del metodo inventivo per la rivelazione di dettagli caratteristici in un’immagine à ̈ mostrato in figura 1. Secondo l’esempio mostrato, un’immagine proveniente da un sensore d’immagine di un dispositivo di cattura di immagini viene ricevuta come input. L’immagine, per esempio, può essere una foto digitale oppure un fotogramma di un video digitale. Una striscia orizzontale viene estratta dall’immagine. La striscia ha un numero decisamente inferiore di pixel rispetto all’intera immagine. La striscia può essere immagazzinata in un registro buffer oppure in una memoria. La striscia à ̈ costituita da blocchi della stessa dimensione o di dimensione variabile. Un blocco viene letto dal registro buffer e una trasformata viene applicata così da fornire i dati del blocco nel dominio della frequenza, la trasformata può per esempio essere una Discrete Cosine Transform o una Fast Fourier Transform o qualunque altra trasformata matematica. Il blocco trasformato viene poi immagazzinato in un buffer/memoria (come parte di una prima ottava).

Come passo successivo, un filtro basato sui blocchi opera sul blocco trasformato. Il filtro basato sui blocchi può essere implementato in forma di moltiplicazione matriciale ed ha come risultato l’eliminazione delle frequenze spaziali più alte. Dopo il filtraggio basato sui blocchi, si stabilisce se il blocco comprende potenzialmente uno o più punti chiave.

Questa identificazione si esegue sulla base della distribuzione in frequenza all’interno del blocco trasformato e filtrato. Se si identifica nel blocco la possibile presenza di un punto chiave, il blocco si sottopone ad un filtraggio di scala, per esempio implementato in forma di moltiplicazione matriciale e, in seguito, ad una trasformata inversa in modo da ottenere i dati nel dominio spaziale. Il filtraggio di scala nel dominio della frequenza à ̈ uguale al filtraggio passa basso in termini di moltiplicazione matriciale, tuttavia i numeri delle matrici usati sono diversi. Così, in questa implementazione, non à ̈ più necessario generare alcuna DoG.

Il blocco così trasformato inversamente viene poi analizzato per una localizzazione dettagliata di punti chiave che fa uso della traccia del determinante della matrice hessiana. L’impiego della matrice hessiana à ̈ ben noto nello stato dell’arte (si veda, per esempio, “Distinctive Image Features from Scale-Invariant Keypoints†, di David G. Lowe, in International Journal of Computer Vision, 60, 2 (2004), pagine 91- 1 10). Uno o più punti chiave sono chiaramente localizzati e una patch di NxM pixel (punti di campionamento) viene rispettivamente estratta intorno a ciascun punto chiave localizzato per l’elaborazione SIFT convenzionale eseguita successivamente, vale a dire creazione di un istogramma di orientazioni dalle orientazioni dei gradienti dei punti di campionamento intorno ai punti chiave rivelati, attribuzione di una orientazione e produzione di descrittori di punto chiave SIFT attraverso il campionamento dei moduli e delle orientazioni dei gradienti nelle vicinanze dei punti chiave localizzati.

Tuttavia il blocco può non essere trasformato inversamente, così da costruire un vettore di componenti in frequenza e da eseguire la sogliatura, quantizzazione e codificazione entropica senza bisogno di alcuna ulteriore trasformata inversa.

L’elaborazione descritta precedentemente si può eseguire in parallelo per un una pluralità di filtri passa banda della stessa ottava. Inoltre, altre ottave da 2 a N sono calcolate attraverso un sotto-campionamento del blocco trasformato della prima ottava. Il filtro di sotto-campionamento può essere implementato da una moltiplicazione matriciale nel dominio della frequenza. Il calcolo delle altre ottave da 2 a N si può eseguire in parallelo all’elaborazione dei blocchi trasformati della prima ottava descritta precedentemente. Sia per l’omogeneizzazione delle immagini che per il sottocampionamento si possono impiegare filtri con risposta finita all’impulso con N tap.

Un’altra forma di realizzazione dell’invenzione à ̈ mostrata in figura 2. In modo simile all’esempio descritto con riferimento alla figura 1 , una striscia orizzontale viene estratta da una immagine ricevuta in input e un blocco dell’immagine viene trasformato verso il dominio della frequenza. Un filtraggio passa basso à ̈ eseguito per il blocco trasformato della prima ottava. Tuttavia, a differenza della forma di realizzazione mostrata in figura 2, in questo esempio la localizzazione di punti chiave à ̈ eseguita nel dominio della frequenza prima di trasformare inversamente il blocco verso il dominio spaziale per mezzo di una trasformata inversa. In questo esempio, un registro buffer deve immagazzinare soltanto una striscia mentre nell’esempio mostrato in figura 1 un registro buffer deve immagazzinare tutte le strisce.

In una terza forma di realizzazione mostrata in figura 3, l’intera elaborazione à ̈ eseguita in un singolo dominio, vale a dire o nel dominio spaziale, se la trasformata non à ̈ eseguita, oppure nel dominio trasformato (cioà ̈ dominio di Fourier oppure BCT). Il vantaggio, in questo caso, sta nel fatto che la trasformata inversa non à ̈ necessaria, il che permette di risparmiare una notevole quantità di tempo e risorse. Come precedentemente detto, sogliatura, quantizzazione e codificazione entropica vengono eseguite per la rivelazione di dettagli caratteristici.

Tutte le forme di realizzazione discusse precedentemente non si devono intendere come limitazioni ma servono da esempi indicanti caratteristiche e vantaggi dell’invenzione. Si deve intendere che alcune o tutte le caratteristiche precedentemente descritte si possono combinare in modi diversi.

Claims (15)

1. Rivendicazioni 1. Metodo per la rivelazione di dettagli di immagini comprendente i seguenti passi: estrazione di una striscia da un'immagine digitale, comprendendo la striscia una pluralità di blocchi; elaborazione della pluralità di blocchi al fine di localizzare uno o più punti chiave; rivelazione di uno o più dettagli caratteristici dell'immagine sulla base dell'unico punto chiave o dei molteplici punti chiave localizzati.
2. 2. Metodo secondo la rivendicazione 1 in cui l'elaborazione della pluralità di blocchi comprende una trasformata dei dati dei blocchi verso il dominio della frequenza.
3. 3. Metodo secondo la rivendicazione 2 comprendente inoltre un filtraggio passa-basso dei dati dei blocchi trasformati verso il dominio della frequenza.
4. 4. Metodo secondo una delle rivendicazioni 2 e 3 in cui l'elaborazione della pluralità di blocchi comprende inoltre un sotto-campionamento dei dati dei blocchi trasformati verso il dominio della frequenza effettuato un certo numero di volte così da generare un certo numero di ottave.
5. 5. Metodo secondo una delle rivendicazioni da 2 a 4 comprendente inoltre una trasformata inversa dei dati dei blocchi dal dominio della frequenza al dominio spaziale.
6. 6. Metodo secondo la rivendicazione 5 in cui l'unico punto chiave o i molteplici punti chiave vengono localizzati nel dominio della frequenza prima della trasformata inversa dei dati dei blocchi.
7. 7. Metodo secondo la rivendicazione 5 in cui l'unico punto chiave o i molteplici punti chiave vengono localizzati nel dominio spaziale sulla base dei dati dei blocchi a cui à ̈ stata applicata la trasformata inversa.
8. 8. Metodo secondo una delle rivendicazioni 6 e 7 in cui l'unico punto chiave o i molteplici punti chiave vengono localizzati per mezzo di una matrice hessiana.
9. 9. Metodo secondo una delle rivendicazioni da 2 a 7 comprendente inoltre il passo di stabilire se un blocco comprende potenzialmente un punto chiave sulla base della distribuzione in frequenza dei dati dei blocchi cui si à ̈ applicato un filtraggio passa basso e in cui soltanto un blocco in cui si à ̈ stabilita la presenza potenziale di un punto chiave viene elaborato per la localizzazione dei punti chiave.
10. 10. Metodo secondo una delle rivendicazioni in cui il sottocampionamento di un blocco della striscia viene eseguito in parallelo all'elaborazione del blocco per la localizzazione dei punti chiave.
11. 11. Metodo secondo una delle rivendicazioni, comprendente inoltre l'estrazione di una patch di NxM punti di campionamento attorno a un punto chiave localizzato e l'elaborazione della patch per la rivelazione di dettagli caratteristici.
12. 12. Metodo secondo la rivendicazione 10 in cui l'elaborazione per la rivelazione di dettagli caratteristici à ̈ eseguita in parallelo per un numero di filtri passa basso forniti per un'ottava.
13. 13. Metodo secondo una delle rivendicazioni 11 e 12 comprendente inoltre i passi di: generare un istogramma dei gradienti dei punti di campionamento, attribuire una orientazione a ciascun punto chiave localizzato sulla base deiristogramma e generare un descrittore di punto chiave per ciascun punto chiave localizzato sulla base dell'orientazione attribuita.
14. 14. Programma per computer comprendente uno o più mezzi leggibili da un computer aventi istruzioni eseguibili da parte di un computer al fine di eseguire i passi del metodo secondo una delle rivendicazioni precedenti.
15. 15. Mezzo per la cattura di immagini o mezzo per l'elaborazione di immagini comprendenti un chispet in cui sono implementati i passi del metodo secondo una delle rivendicazioni da 1 a 13.