ITRM20060153A1 - Metodo per il riconoscimento di eventi per la videosorveglianza attiva - Google Patents

Description

DESCRIZIONE

a corredo di una domanda di Brevetto d'Invenzione avente per titolo:

"Metodo per il riconoscimento di eventi per la videosorveglianza attiva"

La presente invenzione riguarda un metodo per il riconoscimento di eventi per la videosorveglianza attiva.

Più dettagliatamente, l'invenzione riguarda un metodo che utilizza sia un calcolo neuronaie che un calcolo simbolico per il riconoscimento di eventi in sequenze video, suddividendo l'immagine video in zone di interesse di differente tipologia, il metodo essendo efficace e rapido, nonché di semplice attuazione .

Sono noti algoritmi di Change Detection e Event Detection per il riconoscimento di variazioni negli oggetti di un'immagine. Tuttavia, tali algoritmi vanno applicati di volta in volta e, nel caso di riconoscimento di situazioni di pericolo forniscono solo una limitata affidabilità, incorrendo in errori che rendono il sistema di sicurezza macchinoso e dispendioso, oltre che difficilmente adattabile.

Scopo dell'invenzione è quello di fornire un metodo per il riconoscimento di eventi per la videosorveglianza attiva che permetta di superare gli inconvenienti e risolvere i problemi della tecnica anteriore .

E' ulteriore scopo specifico della presente invenzione quello di fornire gli apparati e gli strumenti necessari per l'esecuzione del metodo scopo dell'invenzione .

Ulteriormente, è scopo specifico della presente invenzione un apparato di videosorveglianza attiva che faccia uso del metodo scopo dell'invenzione.

E' oggetto della presente invenzione un metodo per il riconoscimento di eventi per la videosorveglianza attiva, caratterizzato dal fatto di comprendere, per ciascuna situazione videosorvegliata, le seguenti fasi:

- definire nella scena della ripresa video almeno due differenti aree di interesse aventi ciascuna un valore simbolico;

suddividere ciascuna di dette almeno due aree di interesse in tante sottoaree o "blob"

assegnare ad ogni blob una rete neurale, la coppia blob-rete essendo chiamata "sensore virtuale" ;

e dal fatto che i dati forniti da detti sensori virtuali circa la situazione sorvegliata sono tutti elaborati simbolicamente sulla base anche di regole preimpostabili, l'elaborazione simbolica essendo atta a discriminare l'insorgenza di eventi di rilievo nella situazione sorvegliata.

Preferibilmente secondo l'invenzione, dette almeno due tipologie differenti di area corrispondono a zone di movimento consentito e zone di movimento non consentito.

Preferibilmente secondo l'invenzione, il metodo comprende l'utilizzo di una ulteriore tipologia di area corrispondente a zone statiche.

Preferibilmente secondo l'invenzione, i dati forniti dai sensori virtuali riguardano una pluralità di frame successivi di una ripresa video.

Preferibilmente secondo l'invenzione, i dati forniti dai sensori virtuali riguardano una pluralità di frame successivi comprendente dai 10 ai 25 frame, in modo da poter escludere eventi di rumore o eventi improvvisi e non correlati alla recente storia.

Preferibilmente secondo l'invenzione, la tipologia di area corrispondente a zone statiche è utilizzata dall'elaborazione simbolica per l'adattamento alle condizioni di luce attuali della scena videosorvegliata.

Preferibilmente secondo l'invenzione, le reti neuronali sono in addestramento periodico, durante un primo tempo δt la rete essendo addestrata e durante un successivo intervallo temporale ΔΤ la rete svolgendo il compito di riconoscimento, detti due intervalli essendo ripetuti continuamente nel tempo.

Preferibilmente secondo l'invenzione, δt è compreso tra 0,5 e 1,5 s (più preferibilmente circa 1 s) e ΔΤ è compreso tra 5 e 15 secondi (più preferibilmente circa 10").

Preferibilmente secondo l'invenzione l'addestramento delle reti neuronali è impedito per una o più volte quando l'elaborazione simbolica indica la presenza di una situazione di potenziale allarme .

Preferibilmente secondo l'invenzione, l'elaborazione simbolica utilizza agenti BDI.

Preferibilmente secondo l'invenzione, le reti neurali assegnate alle aree di interesse sono di tipo weightless .

E' ulteriore oggetto specifico dell'invenzione un programma per elaboratore, caratterizzato dal fatto di comprendere mezzi a codice atti ad eseguire, quando agiscono su un elaboratore, il metodo oggetto dell'invenzione .

E' ancora oggetto specifico dell'invenzione un supporto di memoria leggibile da un elaboratore, avente un programma memorizzato su di esso, caratterizzato dal fatto che il programma è il programma per elaboratore oggetto dell'invenzione.

E' ulteriore oggetto specifico dell'invenzione un apparato per la videosorveglianza attiva, comprendente una unità di elaborazione di dati video rilevati, caratterizzato dal fatto che l'unità di elaborazione elabora i dati video rilevati utilizzando il metodo oggetto dell'invenzione.

L'invenzione verrà ora descritta a scopo illustrativo ma non limitativo facendo riferimento alle figure dei disegni allegati, in cui:

la figura 1 mostra un esempio di scelta di aree di interesse diverse nel caso di un passaggio ferroviario;

la figura 2 mostra un esempio di andamento delle fasi di addestramento (rosso) e riconoscimento (verde) della rete neurale; la figura 3 mostra l'esempio della figura 2 ma con una inibizione all'addestramento comandata dal modulo simbolico;

la figura 4 mostra il passaggio di un treno sulla scena individuata dalla figura 1, e la relativa risposta dei sensori virtuali; la figura 5 mostra il passaggio di una persona sulla scena individuata dalla figura 1, e la relativa risposta dei sensori virtuali;

la figura 6 mostra un frame video sopraesposto nel caso di passaggio di treni; la figura 7 mostra un frame video sopraesposto nel caso di passaggio di persone ;

la figura 8 mostra un frame video molto rumoroso (situazione di vibrazione della telecamera) , con un cambiamento della luminosità dello sfondo;

la figura 9 mostra un frame video molto rumoroso (situazione di vibrazione della telecamera) , con passaggio di treni;

la figura 10 mostra un frame video molto rumoroso (situazione di vibrazione della telecamera) , con passaggio di persone; la figura 11 mostra un frame video di ripresa notturna con passaggio di treni; la figura 12 mostra un frame video di ripresa notturna con cambiamento di risoluzione nel flusso video;

la figura 13 mostra l'inserimento di un sensore di colore rosso.

11 metodo e sistema secondo l'invenzione rileva situazioni di pericolo (o comunque di anomalie) da filmati relativi a punti ritenuti strategici (come ad esempio gallerie, passaggi a livello) ed è composto da un modulo neurale e da un modulo simbolico (sistema ibrido neurosimbolico).

Il sistema neurale che si è adottato, per individuare nei flussi video situazioni di pericolo (o comunque situazioni anomale), è di tipo "weightless" . Questa scelta permette al sistema di:

avere tempi di elaborazioni molto rapidi; essere molto semplice da implementare su computer di uso comune;

avere buone prestazioni anche in casi di input molto rumorosi (nel caso specifico frame video);

avere la capacità di interfacciarsi agevolmente con altri sistemi.

Un'altra caratteristica fondamentale sistema neurale implementato, e forse quella più rilevante ai fini dello sviluppo di un sistema di videosorveglianza attiva, è quella del suo addestramento in tempo reale. Lo stesso sistema di videosorveglianza, basato su un altro modello di rete neurale, non potrebbe essere addestrato in tempo reale (si ricorda qui che il tempo reale in questo tipo di applicazione gioca un ruolo fondamentale se non indispensabile).

La possibilità di addestrare la rete in tempo reale, permette di superare i problemi derivanti dal cambiamento della luminosità (dovuto ad esempio a giorno, notte, variazioni climatiche) nei flussi video che si analizzano, alleggerendo così (da un punto di vista computazionale) la parte di preelaborazione dei fotogrammi video o "frame" (si ricorda che il sistema neurale riceve in ingresso un frame video in formato binario - bianco e nero -ottenuto dall'applicazione di algoritmi standard quali "Change Detection" e "Event Detection".

La rete neurale ha lo scopo di individuare nei frame eventuali situazioni anomale che poi verranno valutate dal sistema di elaborazione simbolica (agenti Convinzioni-Desideri-Intenzioni o "Beliefs Desires-Intentions" , BDI). Per fare ciò la rete "guarda" in regioni particolari dell'immagine chiamate aree di interesse. Ad ogni area di interesse sono assegnati un significato e un colore. Al momento attuale, nel sistema si possono selezionare tre tipi di aree di interesse. In particolare, i tipi di aree sono:

verdi (B): aree di movimento consentito (ad esempio passaggio di treni);

rosse (C): aree di movimento non consentito (zone in cui il movimento, che non sia ad esempio quello del treno, è assolutamente vietato);

blu (A): aree statiche (cioè senza alcun movimento) per la rilevazione di cambiamenti di luminosità.

Nella figura 1 sono rappresentate 2 aree blu, 5 verdi e 6 rosse. Le aree blu sono posizionate in modo da rilevare solamente i cambiamenti di luminosità nell'immagine. Quelle verdi ricoprono il passaggio dei treni (entrata e uscita dalla galleria) solo in prossimità della galleria. Infine, le rosse sono disposte all'ingresso della galleria.

Le aree di interesse rappresentano per la rete la parte dell'immagine da cui ricevere informazioni.

A ognuna di esse è associata una rete. La coppia area di interesse-rete è considerata un sensore virtuale (nel caso riportato nell'esempio di figura 1, il sistema ha a disposizione 13 sensori virtuali). I sensori virtuali ereditano il significato legato al colore dell'area di interesse a essi relativa; così facendo si avrà che, ad esempio, i sensori rossi sono quelli che segnalano al sistema generale una situazione di movimento non consentito.

La lettura dei sensori virtuali da parte del sistema simbolico permette di valutare se ciò che effettivamente sta accadendo nel filmato è una situazione di pericolo e quindi allertare di conseguenza chi di competenza.

La possibilità di posizionare sensori virtuali blu permette al sistema di adattarsi a qualsiasi condizione di luce (la lettura dei valori dei sensori blu permette di normalizzare i valori delle letture degli altri sensori). Ciò però non è sufficiente. Infatti, non è pensabile che una rete neurale addestrata con immagini prelevate sotto determinate condizioni di luce possa poi funzionare e quindi valutare i frame del filmato durante tutto l'arco della giornata. Per ovviare a ciò si è pensato di addestrare la rete in tempo reale e quindi permettere alla stessa di adattarsi costantemente alle situazioni di cambiamento di luminosità. Questo è un aspetto innovativo nel campo delle reti neurali, in quanto consente alla rete di adattarsi costantemente (e quindi durante l'arco dell'intera giornata) alle situazioni di luminosità.

Allo stato attuale la rete si addestra prelevando in un secondo 4 frame del flusso video e per i successivi 10 secondi esamina 2 frame al secondo. Nella figura 2 è riportato l'andamento delle fasi di addestramento (rosso) e riconoscimento (verde) della rete neurale.

δt indica l'intervallo di tempo in cui avviene l'addestramento della rete, mentre Δt quello in cui la rete classifica. La rete si addestra solo se il sistema simbolico ritiene che sia giusto farlo.

Si pensi a una situazione di possibile allarme, in un caso del genere la rete non si deve addestrare altrimenti, negli istanti successivi, quella che era stata ritenuta una situazione di allarme diventerebbe una situazione normale. Fondamentale, quindi, risulta l'interazione tra i due sistemi: neurale e simbolico. Da una parte il sistema simbolico riceve informazioni dai sensori virtuali (reti neurali) per valutare la situazione rappresentata nei frame del flusso video, dall'altra il sistema simbolico inibisce l'addestramento della rete durante quei casi ritenuti, in una qualche maniera, anomali (come illustrato in figura 3).

Il modulo neurale offre la possibilità di leggere l'output dei sensori. Gli output sono collezionati in una finestra (che non necessariamente si utilizzerà nel prodotto finale) sotto forma di istogrammi. Ogni barra dell'istogramma rappresenta l'output di uno specifico sensore. Il valore (altezza della barra) corrisponde al valore del sensore mentre il colore individua il tipo di sensore. Nelle figure 4 e 5 sono riportati esempi di output dei sensori al passaggio rispettivamente del treno e di una persona.

La lettura dei sensori relativi ad un singolo frame, anche se nella maggioranza dei casi molto significativa ed esplicita, può lasciare spazio a interpretazioni errate e di conseguenza a falsi allarmi. Per permettere al sistema ISIDIS la riduzione al minimo dei falsi allarmi, il modulo neurale passa al modulo simbolico non solo i risultati relativi al singolo frame ma anche l'andamento nel tempo (ultimi 10 secondi) delle risposte dei sensori relativi ai frame passati. Ciò permette di valutare se nel frame in esame è presente una situazione di pericolo o è un evento del tutto casuale non correlato a quello che realmente è accaduto nei frame precedenti.

Considerato il numero di frame al secondo (ovvero mediamente 4) per l'addestramento delle reti, si evince che il sistema neurale risponde in tempi dell'ordine del decimo di secondo, lasciando così ampio spazio agli algoritmi di preelaborazione dell'immagine. Inoltre, dato che la classificazione avviene in tempi più brevi rispetto a quelli della classificazione e, considerando che durante la classificazione il numero di frame da elaborare è 2, il sistema simbolico ha a disposizione circa 4 decimi di secondo per analizzare la situazione in esame.

Si riportano nelle figure da 6 a 13 alcuni output del sistema ottenuti in differenti condizioni. Gli istogrammi sono relativi ai dati rilevati dai sensori virtuali. La finestra che riporta questi dati non è parte del sistema ma è utilizzata solo per le prove del sistema.

Facendo particolare riferimento alla figura 6, anche dal singolo frame si riesce a dare l'interpretazione di ciò che sta avvenendo nella scena (passaggio del treno). Da notare che sia l'output di figura 6 che quello di figura 7 sono le risposte dei sensori a immagini sopraesposte.

E' anche da osservare che il video da cui sono stati ricavati gli output delle figure da 8 a 10 è stato ripreso sotto condizioni molto particolari della telecamera: vibrazione dovuto a vento forte. Nonostante le immagini del video vibrano continuamente, il sistema di sensori, tramite la lettura dei suoi valori, riesce a far interpretare ancora in maniera corretta ciò che accade in quel momento .

Nelle figure 11 e 12 i valori sono relativi a un filmato realizzato di notte. La qualità delle immagini, in questo caso, dipendono molto dal filtro che si utilizza. Comunque si noti che nel caso della figura 11 l'interpretazione è corretta (passaggio del treno), mentre nel caso della figura 12 subentra un improvviso cambio di risoluzione dell'immagine. In questo ultimo caso, l'interpretazione del singolo frame porterebbe a una interpretazione falsa di ciò che sta realmente accadendo nel filmato. Per poter interpretare esattamente questo tipo di output, il sistema simbolico ha a disposizione gli output relativi ai precedenti 10 secondi. In questo caso risulta evidente che i valori relativi alla figura 12 non appartengono alla sequenza temporale e quindi devono essere interpretati come un dato non rilevante .

Come detto in precedenza, il modulo simbolico riceve dal modulo neurale le letture dei sensori virtuali. Ciò avviene per ogni frame del flusso video. L'analisi dei valori dei sensori sul singolo frame e sui precedenti frame (al momento attuale sono conservati dal sistema i valori su ad esempio circa 20 frame che corrispondono a una storia di 10 secondi) permette al sistema simbolico di valutare se esiste una situazione anomala e di offrirne una interpretazione in termini di grado di pericolosità. In caso di pericolo, il sistema simbolico inibisce l'addestramento della rete fino a quando il grado di allarme non torna alla normalità. Il fatto che il sistema simbolico tenga in considerazione anche la valutazione dei frame precedenti a quello in esame, permette al sistema ISIDIS di abbattere, se non eliminare, il numero di falsi allarmi e allarmi mancati .

Con l'obiettivo di rendere il sistema di facile installazione, si è pensato di ridurre al minimo l'intervento di personale specializzato all'atto di installazione del sistema. Infatti, l'addetto all'installazione dovrà solo a) scegliere dove posizionare i sensori virtuali (il posizionamento dipende dall'inquadratura della telecamera e dal dominio di applicazione), b) assegnare a essi il colore. Ultimata questa operazione il sistema è già pronto a funzionare (un esempio è mostrato in figura 13).

L'invenzione è stata descritta a titolo illustrativo ma non limitativo secondo sue preferite forme di realizzazione e varianti, ma è da intendersi che l'esperto del ramo potrà apportare integrazioni e/o modifiche senza per questo uscire dal relativo ambito di protezione, come definito dalle rivendicazioni allegate.

Claims (12)

1. RIVENDICAZIONI 1. Metodo per il riconoscimento di eventi per la videosorveglianza attiva, caratterizzato dal fatto di comprendere, per ciascuna situazione videosorvegliata, le seguenti fasi: definire nella scena della ripresa video almeno due differenti aree di interesse aventi ciascuna un valore simbolico; suddividere ciascuna di dette almeno due aree di interesse in tante sottoaree o "blob"; assegnare ad ogni blob una rete neurale, la coppia blob-rete essendo chiamata "sensore virtuale"; e dal fatto che i dati forniti da detti sensori virtuali circa la situazione sorvegliata sono tutti elaborati simbolicamente sulla base anche di regole preimpostabili, l'elaborazione simbolica essendo atta a discriminare l'insorgenza di eventi di rilievo nella situazione sorvegliata.
2. 2. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che dette almeno due tipologie differenti di area corrispondono a zone di movimento consentito e zone di movimento non consentito .
3. 3. Metodo secondo la rivendicazione 2, caratterizzato dal fatto di comprendere una ulteriore tipologia di area corrispondente a zone statiche.
4. 4. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 3, caratterizzato dal fatto che i dati forniti dai sensori virtuali riguardano una pluralità di frame successivi di una ripresa video.
5. 5. Metodo secondo la rivendicazione 4, caratterizzato dal fatto che i dati forniti dai sensori virtuali riguardano una pluralità di frame successivi comprendente dai 10 ai 25 frame, in modo da poter escludere eventi di rumore o eventi improvvisi e non correlati alla recente storia.
6. 6. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 5, caratterizzato dal fatto che la tipologia di area corrispondente a zone statiche è utilizzata dall'elaborazione simbolica per l'adattamento alle condizioni di luce attuali della scena videosorvegliata.
7. 7. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 6, caratterizzato dal fatto che le reti neuronali sono in addestramento periodico, durante un primo tempo 5t la rete essendo addestrata e durante un successivo intervallo temporale ΔΤ la rete svolgendo il compito di riconoscimento, detti due intervalli essendo ripetuti continuamente nel tempo.
8. 8. Metodo secondo la rivendicazione 6, caratterizzato dal fatto che δt è compreso tra 0,5 e 1,5 s e ΔΤ è compreso tra 5 e 15 s.
9. 9. Metodo secondo la rivendicazione 7 o 8, caratterizzato dal fatto che l'addestramento delle reti neuronali è impedito per una o più volte quando l'elaborazione simbolica indica la presenza di una situazione di potenziale allarme.
10. 10. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 9, caratterizzato dal fatto che l'elaborazione simbolica utilizza agenti BDI.
11. 11. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 10, caratterizzato dal fatto che le reti neurali assegnate alle aree di interesse sono di tipo weightless. 12. Programma per elaboratore, caratterizzato dal fatto di comprendere mezzi a codice atti ad eseguire, quando agiscono su un elaboratore, il metodo secondo una qualsiasi delle rivendicazioni da 1 a 11.
12. 12. Supporto di memoria leggibile da un elaboratore, avente un programma memorizzato su di esso, caratterizzato dal fatto che il programma è il programma per elaboratore secondo la rivendicazione 12. 14. Apparato per la videosorveglianza attiva, comprendente una unità di elaborazione di dati video rilevati, caratterizzato dal fatto che l'unità di elaborazione elabora i dati video rilevati utilizzando il metodo secondo una qualsiasi delle rivendicazioni da 1 a 11.