IT201900007815A1 - Metodo per il rilevamento di oggetti in movimento - Google Patents

Description

DESCRIZIONE

annessa alla domanda di brevetto per invenzione industriale dal titolo:

"METODO PER IL RILEVAMENTO DI OGGETTI IN MOVIMENTO"

TESTO DELLA DESCRIZIONE

La presente invenzione si riferisce ad un metodo per il rilevamento di oggetti in movimento.

Attualmente sono noti diversi metodi per rilevare oggetti in movimento che utilizzano algoritmi cosiddetti di “motion detection”. Tali algoritmi si basano su tecniche di visione artificiale, partendo da video acquisiti da telecamere.

Le telecamere sono usualmente fisse. Possono variare l’inquadratura, ma non possono essere avvicinate all’oggetto. Per avvicinarsi a o seguire un oggetto in movimento è possibile utilizzare un drone, ovvero un velivolo di piccole dimensioni radiocomandato da terra.

I droni hanno oggi svariate applicazioni: sicurezza e tracciamento, monitoraggio ambientale e architettonico, telerilevamento, ovvero una tecnica pensata per raccogliere dati qualitativi e quantitativi su un determinato territorio, sulla base dell’analisi della radiazione elettromagnetica emessa o riflessa, e riprese video. Le riprese video in particolare permettono di rilevare gli oggetti che si muovo in prossimità del drone.

Un'applicazione di interesse nel rilevamento di oggetti in movimento risulta quella relativa al rilevamento e monitoraggio automatico di volatili in uno spazio o in un'area, ad esempio il monitoraggio dell’avifauna intorno agli aeroporti per aumentare la sicurezza dei voli.

Usualmente l’attività di monitoraggio della eventuale presenza di volatili in uno spazio o area di osservazione viene eseguita mediante l’osservazione di tale spazio da parte di personale dotato di sistemi di avvistamento quali cannocchiali o binocoli. Tali metodi non consentono di automatizzare completamente l’attività di rilevamento della presenza di tali volatili nello spazio di osservazione. Inoltre, l’osservazione effettuata dal personale sul campo risulta essere molto soggettiva, e condizionata da parametri quali la preparazione e il livello di conoscenza del personale stesso.

Attualmente esistono anche dei sistemi radar per il rilevamento dei volatili. Tali sistemi radar richiedono personale altamente specializzato per l’interpretazione delle informazioni e per la manutenzione e presentano pertanto costi molto elevati.

Recentemente sono stato sviluppati metodi di monitoraggio basati su tecniche di visione artificiale, in cui i volatili vengono rilevati all’interno di video acquisiti da una o più telecamere disposte in prossimità dello spazio di osservazione. Esistono attualmente algoritmi di visione artificiale per rilevare oggetti in movimento che utilizzano la tecnica dell’optical flow (o flusso ottico), impiegata principalmente per il calcolo della stima del moto tra due frame consecutivi in un video.

I metodi che si basano su questi algoritmi noti, tuttavia, hanno dei limiti. Tali metodi ad esempio non riescono a rilevare oggetti in movimento di dimensioni piccole rispetto a quelli che possono essere invece degli artefatti dell'immagine dovuti alla compressione del video. Inoltre, tali metodi non sono in grado di gestire in modo ottimale i video acquisiti da una telecamera in movimento, come ad esempio una telecamera associata ad un drone. Infatti la maggior parte dei metodi basati su optical flow per la detection, prevede di elaborare un modello del background (che non si muove), rispetto all'oggetto in foreground (che invece si muove). Nel caso di un dispositivo in moto, sia il background che il foreground si muovono e quindi risulta molto difficile, se non impossibile, ricreare il modello del background per effettuare la detection, soprattutto se l'oggetto è molto piccolo.

Scopo della presente invenzione è quello di migliorare il rilevamento di oggetti in movimento all’interno di filmati, rendendolo più affidabile.

Ulteriore scopo della presente invenzione è permettere il rilevamento anche a partire da un filmato acquisito da un dispositivo, come una telecamera, in movimento.

L'invenzione raggiunge tali scopi grazie ad un metodo per il rilevamento di oggetti in movimento avente le caratteristiche definite nella rivendicazione 1. Il metodo permette di individuare in modo affidabile gli oggetti effettivamente in movimento, anche se sono piccoli. Inoltre, non comporta la necessità di ricreare un modello del background. Gli oggetti in movimento possono essere rilevati da una telecamera anche essa in movimento, che quindi può avvicinarsi all’oggetto rendendo più affidabile il rilevamento.

Vantaggiosamente, viene applicato un filtro passa basso per eliminare le alte frequenze presenti nella immagine ottenuta dalla differenza tra la prima immagine e la seconda immagine deformata e/o viene applicata a questa immagine una sogliatura per evidenziare i pixel che si differenziano tra la seconda immagine deformata e la prima immagine.

In una realizzazione preferita, per ogni bounding box non scartata vengono estratti due profili lungo gli assi di riferimento X e Y, viene controllato l’allineamento tra i due profili e viene scartata la bounding box in cui i profili non sono allineati.

Queste fasi permettono di limitare i “falsi positivi”, ovvero di classificare come oggetti di interesse, ad esempio volatili, elementi in movimento che potrebbero non esserlo, ad esempio le fronde di un albero.

Ulteriori vantaggi e caratteristiche della presente invenzione saranno maggiormente evidenti nella descrizione dettagliata che segue, fatta con riferimento ai disegni allegati, che ne rappresentano un esempio non limitativo di esecuzione, in cui:

la figura 1 illustra uno schema di una realizzazione preferita del metodo secondo la presente invenzione;

la figura 2 illustra una immagine su cui è applicato il rilevamento di vertici e angoli;

la figura 3 illustra due immagini successive in cui vengono individuati punti corrispondenti;

la figura 4 illustra una immagine risultante dall’applicazione di una sogliatura; la figura 5 illustra un’immagine su cui vengono applicate bounding box;

la figura 6 illustra l’estrazione di profili da due bounding box.

Nella figura 1 è rappresentato lo schema di una realizzazione preferita del metodo secondo la presente invenzione.

Il metodo di rilevamento di oggetti in movimento prevede che venga realizzato un filmato (o video) di uno spazio di osservazione.

Secondo l’invenzione il metodo di rilevamento comprende la fase 1 di estrarre almeno una prima immagine (f1) e almeno una seconda immagine (f2) dal filmato.

Le immagini (frame) che compongono il video sono a colori, costituite da pixel. In particolare la risoluzione è di 1280x720 pixel con framerate variabile tra i 24 e i 60 frame/secondo.

Preferibilmente la seconda immagine (f2) è consecutiva rispetto alla prima immagine (f1).

La fase 2 prevede di rilevare una serie di punti corrispondenti a vertici e angoli presenti nella prima immagine (f1) e nella seconda immagine (f2).

Vantaggiosamente il rilevamento dei punti viene effettuato applicando l’algoritmo FAST (Features from accelerated segment test ) per il rilevamento (detection) di angoli.

La Figura 2 rappresenta l’applicazione dell’algoritmo FAST ad un frame, in cui ogni cerchio corrisponde ad un punto di interesse.

Nella fase 3 a partire dai punti individuati, vengono estratti dei vettori di caratteristiche (feature vector), cioè vettori numerici n-dimensionali di caratteristiche dell’oggetto, in particolare uno per ogni punto individuato. Vantaggiosamente viene utilizzato il descrittore BRISK (Binary Robust Invariant Scalable Keypoints), che è invariante alla scala ed alla rotazione, una proprietà che è adatta al caso in cui la scena può subire variazioni di scala e rotazione dovute al movimento del dispositivo di ripresa, ad esempio una telecamera installata su un drone.

Nella fase 4 vengono individuati punti corrispondenti nella prima immagine (f1) e nella seconda immagine (f2). Viene fatto un matching, ad esempio utilizzando l’algoritmo KNN k-nearest neighbors tra i punti e i descrittori estratti dai due frame (f1), (f2) in modo da individuare punti corrispondenti nelle due scene. Nella Figura 3 è rappresentata la corrispondenza individuata tra i punti di due frame consecutivi, in cui ogni punto individuato in un frame è collegato da un segmento con il corrispettivo punto nel frame successivo.

Una volta individuate le corrispondenze, queste vengono utilizzate nella fase 5 per stimare l’omografia, ovvero la trasformazione geometrica che consente di effettuare una registrazione tra la prima immagine (f1) e la seconda immagine (f2), cioè allineare/sovrapporre le due immagini che inquadrano la stessa scena da due punti di vista diversi.

La fase 6 prevede di applicare digitalmente una deformazione (warping) della seconda immagine (f2) in base all'omografia per ottenere una seconda immagine deformata (f2_w).

Nella fase 7 viene calcolata la differenza tra i singoli pixel tra la seconda immagine deformata (f2_w) e la prima immagine (f1) per individuare i pixel che variano.

Viene quindi ottenuta una terza immagine (diff) dal confronto tra la seconda immagine deformata (f2_w) e la prima immagine (f1).

Preferibilmente all’immagine (diff) ottenuta dalla differenza tra la seconda immagine deformata (f2_w) e la prima immagine (f1), nella fase 8 viene applicato un filtro passa basso (LP) per eliminare le alte frequenze presenti nell’immagine che possono essere causate da artefatti dovuti alla compressione dell’immagine.

In una forma realizzativa preferita, nella fase 9 viene effettuata una sogliatura (thresholding) per evidenziare i pixel che si differenziano tra i due frame.

La sogliatura è un processo di segmentazione dell’immagine che a partire da un'immagine a livelli di grigio, restituisce un'immagine binaria in bianco e nero.

Vantaggiosamente viene applicato il metodo Otsu di sogliatura automatica dell’istogramma delle immagini (TH), che rappresenta in modo grafico la distribuzione tonale di un'immagine digitale. Tale metodo presume che nell'immagine da sogliare siano presenti due sole classi e quindi calcola la soglia ottima per separare queste due classi minimizzando la varianza intra classe.

La Figura 4 mostra l’immagine risultante dalla sogliatura, in cui in nero sono rappresentati i pixel che maggiormente si differenziano nella scena, in bianco invece quelli che non cambiano.

Le fasi 8 e 9 possono essere assenti, può essere presente una sola delle due, o possono essere presenti entrambe.

Secondo l’invenzione, nella fase 10 (Finding Contours) sulla terza immagine (diff) o sulla immagine ottenuta dalla sogliatura o dall’applicazione del filtro vengono individuati tutti i contorni (bounding box) relativi a gruppi di pixel contigui tra loro. La Figura 5 mostra l’immagine in cui dei rettangoli (bounding box) sono stampati sui contorni individuati.

Secondo l’invenzione, nella fase 11 viene calcolato il flusso ottico (optical flow) a partire dalla prima immagine (f1) e dalla seconda immagine deformata (f2w). La fase 11 può essere contemporanea, precedente o successiva alle fasi 8-10.

In una realizzazione vantaggiosa, il flusso ottico viene calcolato utilizzando il metodo Farnebäck. Tale metodo è descritto nell’articolo di Gunnar Farnebäck "Two-Frame Motion Estimation Based on Polynomial Expansion”.

Dal flusso ottico viene estratta una matrice corrispondente all'intensità del flusso ottico.

La matrice estratta può essere visualizzata in un’immagine in cui diversi colori indicano l’intensità del flusso ottico.

In una realizzazione vantaggiosa viene prevista una fase 12 in cui per ogni bounding box (bb) estratta, viene controllata l’area del rettangolo e il rapporto tra i lati per assicurarsi che l’elemento individuato non sia troppo piccolo o troppo grande e che la disposizione dei pixel non sia troppo allungata.

Se tale condizione non è verificata, la bounding box (bb) viene scartata.

Secondo l’invenzione, nella fase 13 per ogni bounding box (bb) applicata alla terza immagine (diff), viene verificato che l'intensità del flusso ottico (corrispondente all’intensità del movimento) di un gruppo di pixel rilevato (che potrebbe essere un oggetto di interesse) sia maggiore dell'intensità media dei pixel circostanti (cioè che si muova in modo diverso rispetto ad elementi dello sfondo, che potrebbe anche essere in movimento). Se l’intensità del flusso ottico del gruppo di pixel contigui, corrispondente all’intensità del movimento del possibile oggetto di interesse, non è maggiore dell’intensità media dei pixel circostanti, la bounding box (bb) viene scartata.

Nella fase 14 per ogni bounding box (bb) viene applicato un blob detector per individuare la presenza di blob all’interno della singola bounding box (bb) che fa parte della terza immagine (diff), ovvero di punti e/o regioni nell’immagine che differiscono in proprietà come luminosità o colore comparati con l'ambiente.

Nella fase 15, se non è presente nessun blob, la bounding box (bb) viene scartata.

Preferibilmente la bounding box (bb) viene scartata anche nel caso in cui siano presenti più di un blob, considerando valida per il rilevamento la bounding box (bb) in cui è presente un solo blob.

Secondo una realizzazione vantaggiosa, viene prevista una fase 16 in cui per ogni bounding box (bb) non scartata vengono estratti due profili lungo gli assi di riferimento X e Y. Questo viene fatto sommando il valore dei pixel lungo i due assi dell’immagine. Si controlla quindi nella fase 17 che i due profili siano ben allineati, per verificare che il blob sia convesso. Se i profili non sono allineati, la bounding box (bb) viene scartata.

La Figura 6 mostra due esempi di estrazione dei profili, il primo a sinistra in cui i due profili non sono allineati e quindi la bounding box (bb) viene scartata e quello a destra dove invece il controllo dei profili ha dato esito positivo e quindi la bounding box (bb) viene considerata come detection valida.

La bounding box (bb) che non viene scartata viene considerata come rilevamento (detecion) valido.

Il metodo secondo la presente invenzione permette quindi di rilevare determinati oggetti in movimento, anche piccoli.

Inoltre, poiché può essere implementato a partire da un video acquisito da una telecamera in movimento, permette di utilizzare filmati ripresi in prossimità dell’oggetto in movimento e quindi di rilevare gli elementi effettivamente di interesse.

Claims (12)

1. RIVENDICAZIONI 1. Metodo di rilevamento di oggetti in movimento comprendente le fasi di: -estrarre almeno una prima immagine (f1) e almeno una seconda immagine (f2) da un filmato di uno spazio di osservazione; -rilevare punti corrispondenti a vertici e angoli presenti nella prima immagine (f1) e nella seconda immagine (f2); -a partire dai punti individuati, estrarre almeno un vettore di caratteristiche, in particolare estrarre un vettore di caratteristiche per ogni punto individuato; -individuare punti corrispondenti nella prima immagine (f1) e nella seconda immagine (f2); -determinare l’omografia per effettuare una registrazione tra la prima immagine (f1) e la seconda immagine (f2); -applicare una deformazione (warping) della seconda immagine (f2) in base all'omografia per ottenere una seconda immagine deformata (f2_w); -calcolare la differenza tra i singoli pixel tra la seconda immagine deformata (f2_w) e la prima immagine (f1) per individuare i pixel che variano; -ottenere una terza immagine (diff) dal confronto tra la seconda immagine deformata (f2_w) e la prima immagine (f1); -individuare sulla terza immagine (diff) una bounding box (bb) per ogni gruppo di pixel contigui tra loro; -calcolare il flusso ottico a partire dalla prima immagine (f1) e dalla seconda immagine deformata (f2w); -estrarre dal flusso ottico una matrice (mag) corrispondente all'intensità del flusso ottico; -per ogni bounding box (bb) applicata alla terza immagine (diff), verificare che l'intensità del flusso ottico di un gruppo di pixel rilevato sia maggiore dell'intensità media dei pixel circostanti; -scartare la bounding box (bb) se l’intensità del flusso ottico dell’oggetto non è maggiore dell’intensità media dei pixel circostanti ; -per ogni bounding box (bb) applicata alla terza immagine (diff) utilizzare un blob detector; -scartare la bounding box (bb) se non presenta blob; e -assegnare il rilevamento di un oggetto alle bounding box (bb) non scartate.
2. 2. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che la seconda immagine (f2) è consecutiva rispetto alla prima immagine (f1).
3. 3. Metodo secondo la rivendicazione 1 o 2, caratterizzato dal fatto che nella fase di individuare punti corrispondenti nella prima immagine (f1) e nella seconda immagine (f2), ogni punto individuato nella prima immagine (f1) è collegato da un segmento con il corrispettivo punto nella seconda immagine (f2).
4. 4. Metodo secondo la rivendicazione 1 o 2 o 3, caratterizzato dal fatto che prima di individuare una bounding box (bb) viene applicato un filtro passa basso per eliminare le alte frequenze presenti nella terza immagine (diff).
5. 5. Metodo secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che prima di individuare una bounding box (bb) viene applicata alla terza immagine (diff) una sogliatura per evidenziare i pixel che si differenziano tra la seconda immagine deformata (f2_w) e la prima immagine (f1).
6. 6. Metodo secondo la rivendicazione 5, caratterizzato dal fatto che viene utilizzato il metodo otsu di sogliatura automatica dell'istogramma delle immagini.
7. 7. Metodo secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che il flusso ottico viene calcolato con il metodo Farnebäck.
8. 8. Metodo secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che per ogni bounding box (bb) viene controllata l'area del rettangolo e il rapporto tra i lati.
9. 9. Metodo secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto di scartare una bounding box (bb) se presenta più di un blob.
10. 10. Metodo secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che dopo aver utilizzato il blob detector, per ogni bounding box (bb) non scartata vengono estratti due profili lungo rispettivi assi di riferimento (X, Y), viene controllato l’allineamento tra i due profili e viene scartata la bounding box (bb) in cui i profili non sono allineati.
11. 11. Metodo secondo una qualsiasi delle rivendicazioni precedenti, caratterizzato dal fatto che il filmato viene realizzato da un dispositivo in movimento.
12. 12. Programma per elaboratore, caratterizzato dal fatto di comprendere istruzioni per l'esecuzione delle fasi del metodo secondo una qualsiasi delle rivendicazioni precedenti.