IT201900018506A1 - Indoor environment monitoring system for the detection of anomalous situations - Google Patents
Indoor environment monitoring system for the detection of anomalous situations Download PDFInfo
- Publication number
- IT201900018506A1 IT201900018506A1 IT102019000018506A IT201900018506A IT201900018506A1 IT 201900018506 A1 IT201900018506 A1 IT 201900018506A1 IT 102019000018506 A IT102019000018506 A IT 102019000018506A IT 201900018506 A IT201900018506 A IT 201900018506A IT 201900018506 A1 IT201900018506 A1 IT 201900018506A1
- Authority
- IT
- Italy
- Prior art keywords
- identified
- detection
- central unit
- person
- people
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims description 24
- 230000002547 anomalous effect Effects 0.000 title claims description 16
- 238000012544 monitoring process Methods 0.000 title claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000004458 analytical method Methods 0.000 claims description 17
- 230000002159 abnormal effect Effects 0.000 claims description 15
- 208000028752 abnormal posture Diseases 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 5
- 206010000370 Accident at home Diseases 0.000 description 4
- 230000006378 damage Effects 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000005180 public health Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Air Conditioning Control Device (AREA)
Description
DESCRIZIONE dell'Invenzione Industriale dal titolo: “Sistema di monitoraggio di ambienti interni per la rilevazione di situazioni anomale” DESCRIPTION of the Industrial Invention entitled: "Internal environment monitoring system for the detection of anomalous situations"
DESCRIZIONE DESCRIPTION
La presente invenzione ha per oggetto un sistema di monitoraggio di ambienti interni per la rilevazione di situazioni anomale. The present invention relates to a system for monitoring internal environments for detecting anomalous situations.
Sono attualmente noti sistemi automatizzati per la localizzazione di persone all’interno di ambienti chiusi. Tali sistemi indicano la posizione delle persone ma non forniscono indicazioni utili a rilevare situazioni anomale e potenzialmente pericolose per le persone. Automated systems for locating people inside closed environments are currently known. These systems indicate the position of people but do not provide useful information to detect anomalous and potentially dangerous situations for people.
Gli incidenti domestici rappresentano un problema di grande interesse per la sanità pubblica e la società in genere: disabilità, sofferenza, calo della produttività sono infatti alcuni degli aspetti legati a questo tema. Causa importante di morbosità e di mortalità nella maggior parte dei Paesi industrializzati, gli incidenti domestici, secondo l’Organizzazione Mondiale della Sanità, non risparmiano nessuna fascia d’età e sono la prima causa di morte per i bambini. Da non sottovalutare, poi, l’aspetto sociale legato all’impatto psicologico che questo tipo di infortuni ha sulla popolazione, che considera la casa il luogo sicuro per eccellenza. Domestic accidents represent a problem of great interest for public health and society in general: disability, suffering, decline in productivity are in fact some of the aspects linked to this issue. An important cause of morbidity and mortality in most industrialized countries, domestic accidents, according to the World Health Organization, do not spare any age group and are the leading cause of death for children. Not to be underestimated, then, is the social aspect linked to the psychological impact that this type of injury has on the population, which considers the home the safe place par excellence.
L’infortunio di tipo domestico è un incidente che comporta la compromissione temporanea o definitiva delle condizioni di salute di una persona, a causa di lesioni di vario tipo, si verifica indipendentemente dalla volontà umana e in un ambiente interno, inteso esteso alle eventuali pertinenze esterne come balconi, giardino, garage, cantina, scala, eccetera. A domestic accident is an accident that involves the temporary or definitive compromise of a person's health conditions, due to injuries of various kinds, occurs independently of human will and in an internal environment, intended extended to any external appurtenances. such as balconies, garden, garage, cellar, staircase, etc.
Di particolare rilevanza è l’infortunio domestico per persone sole, come ad esempio anziani, che se non tempestivamente riconosciuto può portare a conseguenze gravi per un mancato intervento di soccorso nell’immediato. Of particular relevance is the domestic accident for lonely people, such as the elderly, which if not promptly recognized can lead to serious consequences for failure to help immediately.
Esiste pertanto attualmente un’esigenza non soddisfatta dai sistemi noti di un sistema che consenta il riconoscimento automatizzato delle situazioni anomale e pericolose, per la notifica di tali situazioni a persone remote così da poter attivare un intervento di soccorso. Therefore, there is currently a need not met by known systems for a system that allows the automated recognition of anomalous and dangerous situations, for the notification of such situations to remote people so as to be able to activate an emergency intervention.
La presente invenzione mira al superamento delle lacune dei sistemi attualmente noti con un sistema di monitoraggio di ambienti interni per la rilevazione di situazioni anomale comprendente una o più telecamere per l’acquisizione di flussi video e una unità centrale collegata alle dette telecamere. L’unità centrale è configurata per l’elaborazione dei flussi video acquisiti mediante una o più reti neurali per la detta rilevazione di situazioni anomale. L’unità centrale è provvista di mezzi di trasmissione di notifiche di allarme a dispositivi remoti. The present invention aims to overcome the shortcomings of currently known systems with a monitoring system of internal environments for the detection of anomalous situations including one or more cameras for the acquisition of video streams and a central unit connected to said cameras. The central unit is configured for the processing of video streams acquired through one or more neural networks for the aforementioned detection of anomalous situations. The central unit is equipped with means of transmitting alarm notifications to remote devices.
Il sistema prevede quindi un’analisi mediante intelligenza artificiale delle immagini o i flussi video acquisiti da una o più telecamere, per il riconoscimento automatizzato di situazione anomale che possono essere notificate in tempo reale a persone in remoto. Ciò consente di applicare all’ambito della sicurezza domestica i significativi recenti sviluppi esibiti dall’ambito tecnologico dell’intelligenza artificiale. The system therefore provides for an analysis using artificial intelligence of the images or video streams acquired by one or more cameras, for the automated recognition of anomalous situations that can be notified in real time to people remotely. This allows the significant recent developments exhibited by the technological field of artificial intelligence to be applied to the field of home security.
Secondo un esempio esecutivo, l’unità centrale comprende un primo modulo a rete neurale per la classificazione degli oggetti rilevati e un secondo modulo a rete neurale per la rilevazione della postura e/o della posizione di persone identificate dal primo modulo. According to an executive example, the central unit includes a first neural network module for the classification of detected objects and a second neural network module for detecting the posture and / or position of people identified by the first module.
I due moduli lavorano in cascata, cosicché, a seguito dell’identificazione di una persona da parte del primo modulo, il secondo modulo interviene per rilevare la postura e/o la posizione della persona identificata. Questa suddivisione in moduli riduce l’onere computazionale dell’intero sistema, poiché consente di azionare un procedimento di riconoscimento della postura e/o della posizione della persona solo quando la persona viene effettivamente identificata nel flusso video in analisi. The two modules work in cascade, so that, following the identification of a person by the first module, the second module intervenes to detect the posture and / or position of the identified person. This division into modules reduces the computational burden of the entire system, since it allows you to activate a process of recognition of the person's posture and / or position only when the person is actually identified in the video stream being analyzed.
Secondo un ulteriore esempio esecutivo, l’unità centrale prevede un terzo modulo a rete neurale per la valutazione di una postura anomala di almeno una persona identificata e/o di una posizione anomala di almeno una persona identificata e/o dell’assenza di movimento per un tempo prestabilito di almeno una persona identificata. According to a further executive example, the central unit provides a third neural network module for the evaluation of an abnormal posture of at least one identified person and / or an abnormal position of at least one identified person and / or the absence of movement for a predetermined time of at least one identified person.
In una forma esecutiva, l’unità centrale comprende un’unità di controllo configurata per la gestione dell’invio delle notifiche sulla base della rilevazione di situazioni anomale e un’unità di interfaccia per l’impostazione da parte di un utente di parametri di funzionamento dell’unità di controllo. In one embodiment, the central unit comprises a control unit configured for managing the sending of notifications on the basis of the detection of anomalous situations and an interface unit for setting operating parameters by a user. control unit.
Ciò consente vantaggiosamente di automatizzare un invio in tempo reale di notifiche di allarme a dispositivi mobili remoti opportunamente registrati. Questa tempestività può essere decisiva nell’attuazione di una risposta di soccorso che possa il più possibile limitare i danni subiti dalla persona. This advantageously allows to automate a real-time sending of alarm notifications to appropriately registered remote mobile devices. This timeliness can be decisive in the implementation of an emergency response that can limit the damage suffered by the person as much as possible.
L’unità di interfaccia consente ad un operatore di agire sull’impostazione dei differenti moduli a rete neurale, nonché delle modalità di invio delle notifiche. The interface unit allows an operator to act on the setting of the different neural network modules, as well as the methods of sending notifications.
In una forma esecutiva, l’unità centrale è configurata per l’impostazione di almeno una telecamera in una condizione di stand-by quando il primo modulo non rileva persone nel flusso video di tale telecamera, nella quale condizione di stand-by il frame-rate di acquisizione della detta telecamera viene ridotto. In one embodiment, the central unit is configured for setting at least one camera in a stand-by condition when the first module does not detect people in the video stream of that camera, in which stand-by condition the frame- acquisition rate of said camera is reduced.
Oggetto della presente invenzione è inoltre un metodo di monitoraggio di ambienti interni per la rilevazione di situazioni anomale, in cui sono previsti i seguenti passi: The object of the present invention is also a method of monitoring indoor environments for detecting anomalous situations, in which the following steps are envisaged:
a) acquisizione di uno o più flussi video; a) acquisition of one or more video streams;
b) analisi dei flussi video acquisiti mediante rete neurale per la rilevazione di persone; b) analysis of video streams acquired by neural network for the detection of people;
c) analisi mediante rete neurale della postura e/o della posizione delle persone identificate; c) analysis by means of a neural network of the posture and / or position of the persons identified;
d) valutazione mediante rete neurale di una postura anomala di almeno una persona identificata e/o di una posizione anomala di almeno una persona identificata e/o dell’assenza di movimento per un tempo prestabilito di almeno una persona identificata; d) evaluation by neural network of an abnormal posture of at least one identified person and / or an abnormal position of at least one identified person and / or the absence of movement for a predetermined time of at least one identified person;
e) invio di una notifica ad uno o più dispositivi remoti. e) sending a notification to one or more remote devices.
In una forma esecutiva, se l’analisi dei flussi video acquisiti non rileva una persona, viene attivato uno stato di stand-by in cui viene effettuata unicamente un’analisi delle variazioni tra i frame successivi del flusso video, venendo lo stato di standby terminato e l’analisi dei flussi video acquisiti effettuata nuovamente quando la variazione rilevata supera una soglia prestabilita. In one embodiment, if the analysis of the acquired video streams does not detect a person, a stand-by state is activated in which only an analysis of the variations between the successive frames of the video stream is carried out, resulting in the standby state terminated. and the analysis of the acquired video streams carried out again when the detected variation exceeds a predetermined threshold.
Secondo un ulteriore perfezionamento, l’analisi della postura e/o della posizione delle persone identificate e la valutazione di una postura anomala di almeno una persona identificata e/o di una posizione anomala di almeno una persona identificata e/o dell’assenza di movimento per un tempo prestabilito di almeno una persona identificata iniziano quando vengono rilevate persone e terminano quando non sono rilevate persone. According to a further refinement, the analysis of the posture and / or position of the identified persons and the evaluation of an abnormal posture of at least one identified person and / or an abnormal position of at least one identified person and / or of the absence of movement for a predetermined time of at least one identified person start when people are detected and end when no people are detected.
Queste caratteristiche consentono di minimizzare l’onere computazionale del sistema, azionando le analisi specifiche dei flussi video solo quando servono effettivamente, e lasciando il sistema in uno stato di minimo consumo per il resto del tempo. These features allow you to minimize the computational burden of the system, activating the specific analyzes of the video streams only when they are actually needed, and leaving the system in a state of minimum consumption for the rest of the time.
Queste ed altre caratteristiche e vantaggi della presente invenzione risulteranno più chiaramente dalla seguente descrizione di alcuni esempi esecutivi, non limitativi, illustrati nei disegni allegati in cui: la fig. 1 illustra uno schema dell’architettura del sistema; These and other characteristics and advantages of the present invention will become clearer from the following description of some non-limiting executive examples illustrated in the attached drawings in which: fig. 1 illustrates a scheme of the system architecture;
le figg. 2 e 3 illustrano due rilevazioni rispettivamente di condizione normale e anomala; figs. 2 and 3 show two measurements of normal and abnormal conditions respectively;
la fig. 4 illustra uno schema del metodo; fig. 4 illustrates a scheme of the method;
la fig. 5 illustra i moduli operativi dell’unità centrale; fig. 5 illustrates the operating modules of the central unit;
la fig. 6 illustra l’identificazione degli oggetti in una immagine acquisita; fig. 6 illustrates the identification of objects in a scanned image;
la fig. 7 illustra l’identificazione della postura delle persone presenti in una immagine acquisita; fig. 7 illustrates the identification of the posture of the people present in a captured image;
la fig. 8 illustra diverse posture di una persona. Il sistema di monitoraggio di ambienti interni per la rilevazione di situazioni anomale secondo la presente invenzione è composto dalle seguenti componenti hardware: fig. 8 illustrates different postures of a person. The indoor environment monitoring system for detecting anomalous situations according to the present invention is composed of the following hardware components:
- una o più telecamere 1, preferibilmente provviste di una unità di connessione wireless, ad esempio WiFi, per la trasmissione delle immagini o dei flussi video acquisiti; - one or more cameras 1, preferably provided with a wireless connection unit, for example WiFi, for the transmission of the acquired images or video streams;
- un’unità centrale 2 di elaborazione provvista di una unità di connessione che raccoglie le immagini inviate dalle telecamere 1; - a central processing unit 2 equipped with a connection unit that collects the images sent by the cameras 1;
- mezzi di trasmissione di notifiche di allarme a dispositivi remoti 3 mobili o fissi, come ad esempio smartphone o tablet o computer. - means of transmitting alarm notifications to remote 3 mobile or fixed devices, such as smartphones or tablets or computers.
L’unità di connessione dell’unità centrale 2 opera con connettività su internet e/o rete locale e GSM e può essere provvista di una unità di backup, utile in caso di mancanza corrente, in combinazione o in alternativa con un gruppo di continuità o pacco batteria. I mezzi di trasmissione di notifiche di allarme possono preferibilmente operare tramite internet, WiFi oppure GSM. The connection unit of the central unit 2 operates with connectivity on the internet and / or local network and GSM and can be equipped with a backup unit, useful in the event of a power failure, in combination or alternatively with an uninterruptible power supply or battery pack. The means of transmission of alarm notifications can preferably operate via the internet, WiFi or GSM.
L’unità centrale 2 può includere un’interfaccia utente 20, comprendente ad esempio una tastiera, un monitor oppure un touch screen. The central unit 2 can include a user interface 20, including for example a keyboard, a monitor or a touch screen.
Le telecamere 1 possono in alternativa trasmettere i flussi video all’unità centrale 2 mediante una connessione cablata. The cameras 1 can alternatively transmit the video streams to the central unit 2 via a wired connection.
Di seguito viene riportato un esempio esecutivo della logica di funzionamento del sistema. Below is an executive example of the system operating logic.
Le telecamere 1, disposte nei vari ambienti dell’ambiente interno, provvedono ad inviare le immagini o i flussi video all’unità centrale 2, che le elabora tramite un algoritmo di intelligenza artificiale. The cameras 1, arranged in the various rooms of the internal environment, send the images or video streams to the central unit 2, which processes them through an artificial intelligence algorithm.
L’algoritmo di intelligenza artificiale individua le persone 4 e loro postura all’interno dell’immagine e, tramite logiche configurabili, verifica eventuali situazioni di pericolo, come ad esempio una caduta a terra, una posizione o movimenti anomali, l’assenza di movimenti per prolungati periodi di tempo. The artificial intelligence algorithm identifies 4 people and their posture within the image and, through configurable logics, verifies any dangerous situations, such as a fall to the ground, an abnormal position or movements, the absence of movements for extended periods of time.
La figura 2 illustra una condizione normale, in cui una persona 4 è seduta su una sedia. In questo caso, la telecamera 1 inquadra la persona 4 e invia il flusso video all’unità centrale 2. L’unità centrale 2 esegue le seguenti verifiche: Figure 2 illustrates a normal condition, in which a person 4 is sitting on a chair. In this case, the camera 1 frames the person 4 and sends the video stream to the central unit 2. The central unit 2 performs the following checks:
Verifica postura anomala - seduto - OK Verifica posizione anomala - OK Check abnormal posture - sitting - OK Check abnormal position - OK
Verifica nessun movimento - OK Check for no movement - OK
Poiché la postura rilevata è “seduto”, la posizione rilevata non è anomala e la persona non è ferma oltre un periodo di tempo prestabilito, l’unità centrale 2 non genera alcun allarme. Since the detected posture is "sitting", the detected position is not abnormal and the person is not stationary beyond a predetermined period of time, the central unit 2 does not generate any alarm.
La figura 3 illustra al contrario l’individuazione di una situazione imprevista, al verificarsi della quale, a seconda della configurazione prevista, l’unità centrale 2 provvede ad inviare un messaggio alle persone autorizzate. L’unità centrale 2 esegue le seguenti verifiche: Figure 3, on the contrary, illustrates the identification of an unexpected situation, upon the occurrence of which, depending on the expected configuration, the central unit 2 sends a message to the authorized persons. Central unit 2 performs the following checks:
Verifica postura anomala - caduta a terra -ALLARME Check abnormal posture - fall to the ground - ALARM
Verifica posizione anomala Check abnormal position
Verifica nessun movimento Check for no movement
Senza la necessità di attendere gli esiti delle rilevazioni di posizione e di movimento, l’unità centrale 2 provvede all’invio di una notifica di allarme ai dispositivi remoti 3. Without the need to wait for the results of the position and movement measurements, the central unit 2 sends an alarm notification to the remote devices 3.
La figura 4 illustra uno schema dell’algoritmo usato per individuare le differenti situazioni di pericolo e/o da monitorare. Figure 4 illustrates a scheme of the algorithm used to identify the different situations of danger and / or to be monitored.
Vengono inizialmente acquisite le immagini da parte delle telecamere 1. Le immagini acquisite vengono quindi inviate all’unità centrale 2 dove vengono analizzate. L’analisi delle immagini inizia con un algoritmo di classificazione per l’individuazione di persone nella stanza. Una volta individuate le persone, l’analisi ne rileva la postura e/o la posizione. Sulla base di questi dati l’unità centrale 2 verifica la presenza di eventuali situazioni anomale. Nel caso una situazione anomala venga individuata, l’unità centrale 2 procede all’invio di notifiche tramite internet e/o SMS. The images are initially acquired by cameras 1. The acquired images are then sent to the central unit 2 where they are analyzed. Image analysis begins with a classification algorithm for identifying people in the room. Once the people have been identified, the analysis detects their posture and / or position. On the basis of these data, the central unit 2 checks for the presence of any abnormal situations. In the event of an anomalous situation being identified, the central unit 2 proceeds to send notifications via the internet and / or SMS.
Il sistema può essere provvisto delle seguenti funzionalità supplementari: The system can be equipped with the following additional functions:
- Modalità di stand-by o basso consumo in cui, quando non sono presenti persone nelle stanze da monitorare, viene ridotto il frame rate di acquisizione delle immagini da parte delle telecamere 1 interessate. - Stand-by or low consumption mode in which, when there are no people in the rooms to be monitored, the frame rate of image acquisition by the cameras 1 concerned is reduced.
- Possibilità di funzionamento a batteria, come backup in caso di interruzione della fornitura di energia elettrica. - Possibility of battery operation, as a backup in case of interruption of the electricity supply.
- Invio messaggi SMS, sia come strumento di notifica principale sia come alternativa in caso di mancanza della connettività internet. - Sending SMS messages, both as a main notification tool and as an alternative in case of lack of internet connectivity.
- Un sistema di configurazione, accessibile solo ad utenti autorizzati che possono in tal modo configurare le situazioni da monitorare, la strategia di invio di notifiche di allarme, la lista di persone autorizzate alla ricezione delle notifiche, l’impostazione della sensibilità per l’individuazione di situazioni anomale. - A configuration system, accessible only to authorized users who can thus configure the situations to be monitored, the strategy for sending alarm notifications, the list of persons authorized to receive notifications, setting the sensitivity for detection of abnormal situations.
È possibile prevedere più di una telecamera 1 nella stessa stanza, in numero qualsivoglia, preferibilmente fino a quattro. Le telecamere 1 hanno preferibilmente risoluzione minima 512x512 e frame rate di almeno 20 frame per secondo e possono essere dotate di visione notturna. Le telecamere 1 sono posizionate in modo da avere la più ampia visione possibile sull’ambiente da monitorare. Le telecamere 1 possono ad esempio essere del tipo a grandangolo o fish-eye, e possono essere fissate al soffitto in modo da avere una visione a 360°, o di poco inferiore, sull’ambiente. It is possible to provide more than one camera 1 in the same room, in any number, preferably up to four. The cameras 1 preferably have a minimum resolution of 512x512 and frame rates of at least 20 frames per second and can be equipped with night vision. The cameras 1 are positioned in such a way as to have the widest possible view of the environment to be monitored. The cameras 1 can, for example, be of the wide-angle or fish-eye type, and can be fixed to the ceiling in order to have a 360 ° or slightly lower view of the environment.
Come illustrato in figura 5, l’individuazione delle persone e dell’ambiente viene eseguita da una serie di moduli a reti neurali collegati in cascata tra loro e che agiscono in combinazione con una unità di controllo, che gestisce l’attivazione delle varie parti, lo scambio dati, e la configurazione utente. As shown in figure 5, the identification of people and the environment is performed by a series of neural network modules connected in cascade to each other and which act in combination with a control unit, which manages the activation of the various parts, data exchange, and user configuration.
In particolare, l’unità centrale 2 comprende un primo modulo 21 costituito da una rete neurale di detection, configurata in modo tale da individuare e classificare persone ed oggetti comuni che si possono trovare nella casa come ad esempio un divano, un letto, persone, animali, eccetera. La rete neurale del primo modulo 21 è preferibilmente basata sull’algoritmo open source “YOLO detection” o similare. È possibile effettuare un re-training della rete neurale in modo da affinare la detection per gli oggetti rilevanti per gli scopi del sistema. In particular, the central unit 2 comprises a first module 21 consisting of a neural detection network, configured in such a way as to identify and classify people and common objects that can be found in the house such as a sofa, a bed, people, animals, etc. The neural network of the first module 21 is preferably based on the open source "YOLO detection" algorithm or similar. It is possible to re-train the neural network in order to refine the detection for the objects relevant to the purposes of the system.
L’unità centrale 2 comprende inoltre un secondo modulo 22 costituito da una rete neurale di stima della posa ossia in grado, per le persone individuate, di determinare la posizione e la postura. La rete si può ad esempio basare sull’algoritmo opensource “OpenPose” o su un algoritmo similare. The central unit 2 also includes a second module 22 consisting of a neural network for estimating the pose, i.e. able, for the people identified, to determine the position and posture. For example, the network can be based on the "OpenPose" opensource algorithm or a similar algorithm.
L’unità centrale 2 comprende inoltre un terzo modulo 23 costituito da una rete neurale di valutazione, collegato a valle del primo e del secondo modulo 21 e 22. Le informazioni fornite dal primo e dal secondo modulo 21 e 22 vengono combinate nel terzo modulo 23 in una rete neurale di valutazione progettata ad hoc, in combinazione con logiche programmabili per individuare le situazioni di pericolo o considerate interessanti. Tutte le soglie e le tolleranze, incluse le logiche di decisione sono configurabili da utenti autorizzati, in modo da poter essere customizzate al meglio per la situazione presa in considerazione. The central unit 2 also comprises a third module 23 consisting of an evaluation neural network, connected downstream of the first and second modules 21 and 22. The information provided by the first and second modules 21 and 22 are combined in the third module 23 in an ad hoc evaluation neural network, in combination with programmable logic to identify dangerous situations or situations considered interesting. All thresholds and tolerances, including decision logics, can be configured by authorized users, so that they can be customized to the best of the situation under consideration.
L’unità centrale 2 include inoltre mezzi di trasmissione di notifiche di allarme ai dispositivi remoti 3, comprendenti un modulo software 24 in grado di interfacciarsi con unità di comunicazioni presenti, ad esempio WiFi, internet, GSM, per inviare le notifiche alle persone autorizzate. The central unit 2 also includes means for transmitting alarm notifications to remote devices 3, including a software module 24 capable of interfacing with present communication units, such as WiFi, internet, GSM, to send notifications to authorized persons.
L’unità centrale 2 include inoltre un’unità di controllo 25 configurata per la gestione dell’invio delle notifiche sulla base della rilevazione di situazioni anomale. L’unità di controllo 25 comprende un modulo software in grado di monitorare e coordinare gli altri moduli, assicurandosi che tutto funzioni correttamente secondo i parametri configurati. L’unità di controllo 25 può gestire malfunzionamenti del sistema, ad esempio errori software, immagini non consistenti, problemi hardware, e può essere configurata per mettere in atto decisioni di ripristino o notifica necessarie. L’unità di controllo 25 è in collegamento con l’unità di interfaccia 20, che può essere prevista locale o remota, per permettere ad un utente di inserire i parametri necessari al funzionamento del sistema. Central unit 2 also includes a control unit 25 configured for managing the sending of notifications based on the detection of abnormal situations. The control unit 25 includes a software module capable of monitoring and coordinating the other modules, making sure that everything works correctly according to the configured parameters. The control unit 25 can manage system malfunctions, such as software errors, inconsistent images, hardware problems, and can be configured to implement necessary recovery or notification decisions. The control unit 25 is connected to the interface unit 20, which can be local or remote, to allow a user to enter the parameters necessary for the operation of the system.
Essendo gli algoritmi di detection molto dispendiosi dal punto di vista computazionale e quindi di risorse energetiche è prevista una strategia di stand-by in modo da limitare i consumi. All’accensione il sistema monitora la presenza di persone 4 nelle stanze monitorate e in caso di nessuna persona presente passa in modalità stand-by, in cui è attivo un solo algoritmo che verifica l’assenza di variazioni tra successivi frame acquisiti dalla telecamera 1. Nel caso una variazione venga individuata, si attiva solo il primo modulo 21 con l’algoritmo di detection. Nel caso la detection del primo modulo individui la presenza di una o più persone 4, si attivano anche il secondo modulo 22 con l’algoritmo di individuazione pose e il terzo modulo 23 per l’analisi di situazioni di pericolo. Tutti i moduli rimangono attivi finché vi sono persone 4 presenti nella stanza, in caso contrario si ritorna alla modalità stand-by e la strategia ricomincia da capo. La strategia di stand-by può essere applicata separatamente per ogni singola telecamera 1. Since the detection algorithms are very expensive from a computational point of view and therefore of energy resources, a stand-by strategy is envisaged in order to limit consumption. When switched on, the system monitors the presence of 4 people in the monitored rooms and in the event of no one present it switches to stand-by mode, in which a single algorithm is active that verifies the absence of variations between successive frames acquired by camera 1. If a variation is detected, only the first module 21 is activated with the detection algorithm. If the detection of the first module identifies the presence of one or more people 4, the second module 22 is also activated with the pose identification algorithm and the third module 23 for the analysis of dangerous situations. All modules remain active as long as there are 4 people present in the room, otherwise it returns to stand-by mode and the strategy starts all over again. The stand-by strategy can be applied separately for each single camera 1.
Le reti neurali dei diversi moduli all’installazione del sistema sono già in una condizione di pre-allenamento base generico, ma vengono successivamente allenate in modo da focalizzarsi sul problema in questione. The neural networks of the various modules upon installation of the system are already in a generic basic pre-training condition, but are subsequently trained in order to focus on the problem in question.
In particolare, la rete di detection del primo modulo 21 viene allenata su un dataset limitato agli oggetti che ci si aspetta di avere in un ambiente interno, ad esempio persone, animali, mobilio, eccetera. In particular, the detection network of the first module 21 is trained on a dataset limited to the objects that are expected to have in an internal environment, for example people, animals, furniture, etc.
La rete di rilevazione posa del secondo modulo 22, essendo normalmente focalizzata sull’individuazione di persone in piedi, viene eventualmente allenata da capo con un dataset specifico, preferibilmente arrichito anche con immagini generate sinteticamente, per migliorare la rilevazione di persone coricate o sdraiate. The pose detection network of the second module 22, being normally focused on the identification of standing people, is eventually trained from the head with a specific dataset, preferably also enriched with synthetically generated images, to improve the detection of people lying down or lying down.
La rete di analisi del terzo modulo 23 viene allenata con dataset sintetici in modo da individuare la più ampia gamma di situazioni possibili. Eventualmente può essere lasciato attivo l’allenamento anche durante il normale funzionamento, in modo che la rete sia in grado col tempo di riconoscere i pattern di comportamento comuni delle persone monitorate ed eventualmente riconoscere anomalie di comportamento rispetto al normale. The analysis network of the third module 23 is trained with synthetic datasets in order to identify the widest range of possible situations. If necessary, training can be left active even during normal operation, so that the network is able over time to recognize the common behavior patterns of the people monitored and possibly recognize abnormal behavior compared to normal.
L’unità logica di controllo 25 dispone di una memoria temporale in modo da effettuare analisi nel tempo dei movimenti e limitare i falsi positivi, ad esempio una persona che si abbassa e si alza; può considerare situazioni particolari, ad esempio una persona sdraiata, ma in un posto corretto come un letto o un divano; riconoscere situazioni speciali, ad esempio una caduta dietro un divano o in un punto cieco delle telecamere; oppure cambiare dinamicamente strategie di decisioni, ad esempio per situazioni particolarmente pericolose come il caso di una persona che si muove al buio. The logic control unit 25 has a temporal memory in order to carry out analyzes over time of the movements and limit false positives, for example a person who gets down and gets up; can consider particular situations, for example a person lying down, but in a correct place such as a bed or a sofa; recognize special situations, such as a fall behind a sofa or in a camera blind spot; or dynamically change decision-making strategies, for example for particularly dangerous situations such as the case of a person moving in the dark.
La figura 6 illustra un esempio di immagine acquisita da una telecamera 1, nel cui campo di vista sono presenti una persona 4 e un cane 5. La rete neurale di detection del primo modulo classifica gli oggetti presenti nell’immagine e rileva la presenza della persona 4, oltre a quella del cane 5. Figure 6 illustrates an example of an image acquired by a camera 1, in whose field of view there are a person 4 and a dog 5. The detection neural network of the first module classifies the objects present in the image and detects the presence of the person 4, in addition to that of dog 5.
Le reti neurali dell’unità centrale 2 sono preferibilmente affiancate da una ricostruzione in 3D sempre usando intelligenza artificiale, della posa della persona e dell’ambiente circostante mediante un modello virtuale dei segmenti corporei 6. In questo modo possono essere sfruttate le informazioni 3D per rilevare anomali angoli delle articolazioni di una persona 4 o movimenti dovuti ad esempio a dislocazioni di arti della persona o a infortuni. The neural networks of the central unit 2 are preferably accompanied by a 3D reconstruction always using artificial intelligence, of the pose of the person and the surrounding environment through a virtual model of the body segments 6. In this way, the 3D information can be exploited to detect abnormal angles of a person's joints 4 or movements due for example to dislocations of the person's limbs or injuries.
In figura 7 è illustrato un ulteriore esempio di immagine acquisita da una telecamera 1, nel cui campo di vista sono presenti alcune persone 4 in posizioni e con posture differenti. Il primo modulo 21 e il secondo modulo 22 analizzano l’immagine e identificano rispettivamente le persone e la loro posizione e postura, partendo dalla generazione dei modelli virtuali dei segmenti corporei, illustrati in sovrimpressione all’immagine sulle corrispondenti persone, e da una analisi di tali modelli virtuali. Figure 7 illustrates a further example of an image acquired by a video camera 1, in the field of view of which some people 4 are present in different positions and postures. The first module 21 and the second module 22 analyze the image and identify the people and their position and posture respectively, starting from the generation of the virtual models of the body segments, illustrated superimposed on the image on the corresponding people, and from an analysis of such virtual models.
La figura 8 illustra in dettaglio quattro differenti pose di una persona 4 ed il corrispondente modello virtuale dei segmenti corporei 6 generato. Figure 8 illustrates in detail four different poses of a person 4 and the corresponding virtual model of the body segments 6 generated.
Da quanto precedentemente esposto è pertanto evidente che l’invenzione non è limitata alle forme esecutive testé descritte ed illustrate a semplice titolo di esempi non limitativi, ma potrà essere variata e modificata, nel suo complesso e nei singoli particolari, soprattutto costruttivamente, a seconda delle specifiche esigenze e convenienze di fabbricazione e d’impiego, nell’ambito degli equivalenti tecnici e funzionali, senza per questo abbandonare il principio informatore sopra esposto ed a seguito rivendicato. From the foregoing it is therefore evident that the invention is not limited to the embodiments just described and illustrated merely by way of non-limiting examples, but can be varied and modified, as a whole and in individual details, especially constructively, according to the specific needs and convenience of manufacture and use, in the context of technical and functional equivalents, without abandoning the guiding principle set out above and claimed hereinafter.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102019000018506A IT201900018506A1 (en) | 2019-10-10 | 2019-10-10 | Indoor environment monitoring system for the detection of anomalous situations |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102019000018506A IT201900018506A1 (en) | 2019-10-10 | 2019-10-10 | Indoor environment monitoring system for the detection of anomalous situations |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT201900018506A1 true IT201900018506A1 (en) | 2021-04-10 |
Family
ID=69743676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102019000018506A IT201900018506A1 (en) | 2019-10-10 | 2019-10-10 | Indoor environment monitoring system for the detection of anomalous situations |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | IT201900018506A1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045623A (en) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | A kind of method of the indoor dangerous situation alarm based on human body attitude trace analysis |
| US20190012893A1 (en) * | 2017-07-10 | 2019-01-10 | Careview Communications, Inc. | Surveillance system and method for predicting patient falls using motion feature patterns |
| CN109558865A (en) * | 2019-01-22 | 2019-04-02 | 郭道宁 | A kind of abnormal state detection method to the special caregiver of need based on human body key point |
| US20190287376A1 (en) * | 2018-03-14 | 2019-09-19 | Safely You Inc. | System and Method for Detecting, Recording and Communicating Events in the Care and Treatment of Cognitively Impaired Persons |
-
2019
- 2019-10-10 IT IT102019000018506A patent/IT201900018506A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107045623A (en) * | 2016-12-30 | 2017-08-15 | 厦门瑞为信息技术有限公司 | A kind of method of the indoor dangerous situation alarm based on human body attitude trace analysis |
| US20190012893A1 (en) * | 2017-07-10 | 2019-01-10 | Careview Communications, Inc. | Surveillance system and method for predicting patient falls using motion feature patterns |
| US20190287376A1 (en) * | 2018-03-14 | 2019-09-19 | Safely You Inc. | System and Method for Detecting, Recording and Communicating Events in the Care and Treatment of Cognitively Impaired Persons |
| CN109558865A (en) * | 2019-01-22 | 2019-04-02 | 郭道宁 | A kind of abnormal state detection method to the special caregiver of need based on human body key point |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11632292B2 (en) | Cooperative monitoring networks | |
| Lloret et al. | A smart communication architecture for ambient assisted living | |
| Taiwo et al. | Enhanced intelligent smart home control and security system based on deep learning model | |
| US10062233B1 (en) | Automatic emergency door unlock system | |
| CN104301591B (en) | Method for the video camera in the video monitoring system based on cloud | |
| CN106412111A (en) | Cloud-based whole house intelligent system | |
| Zhang et al. | Design of an unobtrusive wireless sensor network for nighttime falls detection | |
| US10553096B2 (en) | Health application for residential electrical switch sensor device platform | |
| Pirzada et al. | Sensors in smart homes for independent living of the elderly | |
| US11900774B2 (en) | Camera enhanced with light detecting sensor | |
| CN105785776A (en) | Household electrical appliance control system based on resident behavior model | |
| US20180210536A1 (en) | Detection-based wakeup of detection devices | |
| CN105675187A (en) | Intelligent monitoring device and method for bathroom | |
| Khera et al. | Development of an intelligent system for bank security | |
| US10609342B1 (en) | Multi-channel sensing system with embedded processing | |
| Gnanaraj et al. | Patient monitoring and control system using internet of thing | |
| Ciabattoni et al. | Fall detection system by using ambient intelligence and mobile robots | |
| IT201900018506A1 (en) | Indoor environment monitoring system for the detection of anomalous situations | |
| US20230252874A1 (en) | Shadow-based fall detection | |
| CN205139666U (en) | Safe intelligent monitoring system of large -scale place thing networking | |
| CN204350027U (en) | A kind of based on ZigBee wired home supervising device | |
| AU2023208665A1 (en) | Computer vision system and methods for anomalous event detection | |
| CN103051883A (en) | Intelligent monitoring system of scientific and technological community | |
| KR102412270B1 (en) | Systen for preventing indoor human casualties | |
| Fernandez-Carmona et al. | Entropy-based abnormal activity detection fusing RGB-D and domotic sensors |