EP4662651A1 - Dispositif et procédé de surveillance d'une personne - Google Patents

Dispositif et procédé de surveillance d'une personne

Info

Publication number
EP4662651A1
EP4662651A1 EP24703775.7A EP24703775A EP4662651A1 EP 4662651 A1 EP4662651 A1 EP 4662651A1 EP 24703775 A EP24703775 A EP 24703775A EP 4662651 A1 EP4662651 A1 EP 4662651A1
Authority
EP
European Patent Office
Prior art keywords
person
class
during
sounds
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP24703775.7A
Other languages
German (de)
English (en)
Inventor
Nathan PALLUAU
Olivier Menut
Capucine MORELOT-PANZINI
Thomas Similowski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Assistance Publique Hopitaux de Paris APHP
Institut National de la Sante et de la Recherche Medicale INSERM
Sorbonne Universite
OSO AI SAS
Original Assignee
Assistance Publique Hopitaux de Paris APHP
Institut National de la Sante et de la Recherche Medicale INSERM
Sorbonne Universite
OSO AI SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Assistance Publique Hopitaux de Paris APHP, Institut National de la Sante et de la Recherche Medicale INSERM, Sorbonne Universite, OSO AI SAS filed Critical Assistance Publique Hopitaux de Paris APHP
Publication of EP4662651A1 publication Critical patent/EP4662651A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • G08B29/186—Fuzzy logic; neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data

Definitions

  • the technical field of the invention concerns the monitoring of a person, with the aim of anticipating the occurrence of a fall.
  • the devices can detect a person's fall. These devices usually include motion sensors, such as accelerometers. Based on the accelerometer's measurements, the occurrence of a fall is detected. The devices can be configured to generate an automatic alert signal, for the attention of third parties responsible for monitoring the person or for the attention of emergency services.
  • US2019/197861 describes a device configured to detect a fall of a person, based on a variation in the height at which a person is moving. The fall can be confirmed by a detection of a lying posture of the person or by sounds generated by the person.
  • a first object of the invention is a method of monitoring a person, the method comprising:
  • step b) comprises a frequency analysis of the sound recorded in each processing period, so as to form input data for the classification algorithm
  • the classification algorithm assigns a score to each class, the score being representative of a probability of belonging to said class;
  • the classification algorithm may be a supervised learning artificial intelligence algorithm.
  • the classification algorithm may include a convolutional neural network coupled with a multilayer perceptron.
  • step c) involves emitting the alert signal based on a number of sounds classified in the second class of interest.
  • Step c) can implement a classification model, fed by the number of sounds classified in the first class of interest.
  • a microphone configured to pick up sound generated by the person during a recording period
  • a third object of the invention is a device for detecting a person falling, comprising:
  • a sensor configured to detect movement or sound from a person
  • the device being characterized in that the fall detection device is connected to a monitoring device (1) according to the second object of the invention, the detection unit being programmed so that the detection threshold is adjusted according to an alert signal emitted by the processing unit of the monitoring device.
  • the sensor may be an actimetry sensor, in which case the signal resulting from the sensor is a signal representative of a movement of the person.
  • the sensor may be a microphone, in which case the signal resulting from the sensor is a signal representative of a sound emitted by the person.
  • Figure 1 shows schematically the main components of a device according to the invention.
  • Figure 2 shows examples of recorded frequency spectra corresponding to sounds emitted by a person.
  • FIG. 3 shows the main steps of implementing the invention.
  • Figure 4 shows a use of a device according to the invention coupled with a device for detecting a person falling.
  • FIG 1 shows an example of a monitoring device 1 according to the invention.
  • the device comprises a microphone 10, arranged to detect sounds generated by a person.
  • the microphone can be placed in a fixed position, for example in a room in which the person moves. It can for example be a bedroom.
  • the sounds detected by the microphone are transmitted to a processing unit 11.
  • the processing unit 11 is connected to the microphone 10 by a wireless or wired connection.
  • the processing unit comprises a microprocessor, programmed to execute instructions so as to implement the method, the main steps of which are summarized in connection with Figure 3.
  • the processing unit is connected to a memory 12 in which said instructions are stored.
  • the inventors recorded sounds generated by different people during consecutive nights, and focused the analysis of these sounds on the days and nights preceding the occurrence of a fall. They found that there was a statistical relationship between the occurrence of falls, on the one hand, and, on the other hand, the observation, on the recordings made, of the appearance of sounds suggesting the presence of respiratory anomalies in the recorded person, or of the increase in the frequency of such sounds over time, or of changes over time in the person's breathing pattern.
  • respiratory anomalies we mean breathing marked by an acceleration of its frequency, by variations in its regularity, by modifications of the temporal characteristics of inspiration and expiration, by modifications of their sonorities, by the appearance of particular sounds punctuated by breathing (for example rales, moans, whistling, etc.), by the appearance of sounds added to breathing (coughing, sniffing, blowing the nose, sighs, etc.).
  • These anomalies can occur in isolation or in combination. They can be analyzed one by one as many distinct entities. They can also be interpreted in a global and qualitative way to define, with human listening, a feeling of shortness of breath (dyspnea), difficulty breathing, respiratory pain, or even respiratory distress.
  • the inventors analyzed the sounds generated by different people during consecutive nights, and more particularly consecutive nights preceding the occurrence of a fall.
  • Figure 2 shows a set of consecutive frequency spectra of a person with wheezing-type respiratory abnormalities.
  • the y-axis corresponds to the frequency.
  • the x-axis corresponds to a number assigned to each elementary window.
  • This network comprised 5 convolutional layers.
  • a description of the ResNet network is given in Chen F. et al «Assessing the effects of convolutional neural network architectural factors on model performance for remote sensing image classification: An in-depth investigation».
  • the convolutional layers allow feature extraction from the frequency spectra forming the input data.
  • the extracted features are processed by a multilayer perceptron.
  • the output of the multilayer perceptron represents a probability of belonging to several classes.
  • Each class is representative of sounds emitted by the person: sounds of domestic origin (e.g. noise of sheets in the bed, noise of footsteps, noise of water in the toilet%), sounds of physiological origin (coughing, snoring, wheezing, respiratory rales, ).
  • the sounds corresponding to each processing period T of 9.6 seconds were manually annotated.
  • the different sounds recorded, corresponding to a sequence of 9.6 seconds were manually categorized into the different available classes.
  • the annotations were performed by different operators. For each class, and for each processing period T, the fraction of operators who classified each sound, corresponding to the sequence, in said class, constituted the target of the neural network. The number of operators was between 3 and 7.
  • the neural network was trained using sounds recorded on 559 microphones placed in individual rooms in a nursing home for dependent elderly people.
  • the neural network was tested on 141,139 annotated sequences that were not used during the neural network training.
  • the correlation coefficient reached 0.79 +/- 0.02 in the "breathing" class, representative of sounds indicating abnormal breathing.
  • the neural network based on a combination of convolution layers and a multilayer perceptron, makes it possible to classify a sequence of frequency spectra, representative of the activity or state of the person during a processing period T of 9.6 seconds.
  • Sound recordings were available from 2,398 nights. These nights included: a set of 2,000 nights during which no falls occurred by the person being monitored; a set of 398 nights during which the person being monitored had fallen.
  • the set of recordings associated with each night included recordings from a total of 5 consecutive nights.
  • a training set comprising 80% of the nights
  • a test set comprising the remaining 20% of nights
  • the recording set was segmented into 9.6-second treatment periods T.
  • frequency spectra S(At) were formed on 67-ms time windows offset from each other by 23 ms.
  • the S(At) spectra acquired during each treatment period T form a sequence of spectra S, used as input data to the neural network described above.
  • the score corresponding to all classes was noted.
  • the scores corresponding to each class of all sequences formed from the same set of 5 nights were cumulated in order to form input data for a learning model.
  • each input data of the learning model was a vector, each term of which was associated with a class, and was formed by the sum of the scores, of said class, resulting from the neural network, for all sequences forming the recording set.
  • the classification model was trained to predict an output (1 if it falls, 0 if it does not) from the input data.
  • the learning model selected was a gradient boosting learning model programmed in the open source XGboost (extreme Gradient Boosting) algorithm in the Python programming environment.
  • the average purity gain associated with each class was evaluated.
  • the purity gain reflects the influence of a class on the prediction of the result provided by the classification model. A relationship was thus studied between the cumulative score of each class, during the 4 nights preceding the night considered.
  • the inventors noted that two classes stood out: a first class of interest, corresponding to the "breathing” class, and, to a lesser extent, a second class of interest, corresponding to the "sheet noises" class.
  • the breathing class reflects the presence of respiratory anomalies, suggestive of "breathing difficulties", as previously indicated.
  • the "sheet noises” class reflects probable agitation of the person during sleep.
  • the emission, by the person being monitored, of nocturnal sounds, reflecting breathing difficulties and, to a lesser extent, sleep disturbance inducing noises from sheets, can be considered as announcing a risk of the person falling during the following night.
  • This finding, resulting from the use of the classification model, is an important element of the invention. This makes it possible, on the basis of a simple sound recording, to anticipate the occurrence of a fall.
  • a remarkable aspect is that the sounds used are not sounds directly correlated to the person's walking. By sound directly correlated to the person's walking, we mean a sound produced by the person's footsteps on the ground.
  • the sounds used are sounds of respiratory origin or sounds generated by the person's motor activity while they are in bed.
  • the device can generate an alert signal, for the attention of third parties in charge of monitoring the person. This involves increasing the degree of vigilance with regard to the person being monitored, so as to prevent a fall from occurring.
  • FIG 3 summarizes the main steps of an example of implementation of the invention.
  • the recording of the person is carried out during the night.
  • the invention can be implemented to carry out daytime or nighttime recordings.
  • Step 100 Recording sounds in the vicinity of a person being monitored. This may involve recording in a room occupied by the person, for example in their bedroom. The sounds are recorded over a recording period, for example over one night or several nights.
  • Step 110 segmentation of the recorded sound into processing periods T, for example lasting 9.6 seconds.
  • Step 120 frequency analysis of the sound recorded during each processing period. As previously described, the frequency analysis is carried out on elementary windows At, for example of 67 ms. We thus have as many frequency spectra S(At) as elementary windows. Step 120 can be implemented by the processing unit 11.
  • Step 130 from the frequency analysis performed during each processing period, formation of an input data S of a supervised learning artificial intelligence algorithm.
  • the latter may be a neural network, comprising an association of convolution layers and a multilayer perceptron, as previously described.
  • the output of the algorithm is a score, associated with different classes, each class being representative of a type of sound produced by the person being monitored.
  • a first class is representative of abnormal breathing.
  • a second class is representative of a sheet noise, or more generally a noise linked to movements of the person in their bed.
  • the input data S may be a set of frequency spectra established during step 120, with or without overlapping of the elementary windows At. Step 130 is implemented by the processing unit 11.
  • Step 140 analysis of the output of the algorithm implemented in step 130.
  • a first cumulative score Cl is established, corresponding to the cumulative score, in the “breathing” class, in several time periods. The time periods can extend over one or more successive nights.
  • Step 140 may include a determination of a second cumulative score C2 in the “sheet noise” class, representative of the movement of the person being monitored in their bed.
  • Step 150 Depending on the cumulative score, or each cumulative score, resulting from step 140, generation of an alert signal.
  • the alert signal is generated depending on the value taken by the cumulative score, or by each cumulative score, resulting from step 140. For example, the alert signal is emitted when the cumulative score, or when each cumulative score, exceeds an alert threshold.
  • Step 150 implements the classification model described above.
  • the first cumulative score and the second cumulative score form the input data of the classification model.
  • the output of the classification model is a scalar, preferably between 0 and 1, which represents a probability of the person falling.
  • the emission of the alert signal is intended to alert a third party, in charge of the person being monitored, of an increased risk of falling during the following night.
  • the third party may be a family contact, or care staff when the person being monitored is in a medicalized home, or remote monitoring staff, for example the staff of home monitoring companies.
  • the monitoring device 1 previously described can be coupled with a device 2 for detecting a person falling.
  • the coupling is illustrated in FIG. 4.
  • This type of device is intended to be worn by a person. It usually comprises a sensor 20, for example an actimetry sensor, configured to measure a movement of the person.
  • the actimetry sensor can for example comprise an accelerometer or a gyrometer or a magnetometer.
  • the sensor 20 can be a sound sensor.
  • all or part of the monitoring is based on a detection of sounds representative of a fall. This can be a detection of a noise produced by the fall itself, or a sound generated by the person who has fallen.
  • the fall detection device 2 comprises a detection unit 21, programmed to detect a fall of the person, as a function of a characteristic of a signal resulting from the actimetry sensor.
  • the detection unit 21 is configured to indicate a fall when the characteristic exceeds a detection threshold. For example, when the sensor is a accelerometer, a fall is detected when the measured acceleration, along the vertical, exceeds a certain threshold.
  • the detection threshold may be a characteristic of the detected sound, for example an amplitude or a spectral power in a predetermined frequency band, said frequency band corresponding to the sound produced by a person falling.
  • the sound may be due to the impact of the body on the ground, or to a sound produced by a person, for example a cry, during or following the fall.
  • the monitoring device can advantageously be associated with the fall detection device.
  • the detection threshold of the detection unit can be adjusted, so as to increase the sensitivity of fall detection, due to an increased risk of the monitored person falling.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

Procédé de surveillance d'une personne, le procédé comportant - a) enregistrement de sons produits par la personne durant une période d'enregistrement; - b) à l'aide d'une unité de traitement, mise en oeuvre d'un algorithme de classification de chaque son enregistré durant la période d'enregistrement, de façon à classifier chaque son enregistré dans un ensemble de classes, l'ensemble de classes comportant au moins une première classe d'intérêt, représentative d'anomalies respiratoires chez la personne et/ou d'une modification de sa façon de respirer; - c) en fonction du nombre de sons classés dans la première classe d'intérêt, émission d'un signal d'alerte, informant d'un risque potentiel de chute de la personne.

Description

Description
Titre : Dispositif et procédé de surveillance d'une personne.
DOMAINE TECHNIQUE
Le domaine technique de l'invention concerne la surveillance d'une personne, dans le but d'anticiper la survenue d'une chute.
ART ANTERIEUR
Il existe de nombreux dispositifs permettant de détecter la chute d'une personne. Ces dispositifs comportent usuellement des capteurs de mouvement, par exemple des accéléromètres. En fonction des mesures de l'accéléromètre, la survenue d'une chute est détectée. Les dispositifs peuvent être configurés pour générer un signal d'alerte automatique, à l'attention de tiers en charge de la surveillance de la personne ou à l'attention de services de secours.
Cependant, ces dispositifs, aussi performants qu'ils soient, ne détectent la chute d'une personne qu'après la survenue de la chute.
US2019/197861 décrit un dispositif configuré pour détecter une chute d'une personne, basée sur une variation de la hauteur à laquelle évolue une personne. La chute peut être confirmée par une détection d'une posture allongée de la personne ou par des sons générés par la personne.
Il est bien plus difficile d'anticiper la survenue d'une chute. C'est à cela que répond l'invention décrite ci-après.
EXPOSE DE L'INVENTION
Un premier objet de l'invention est un procédé de surveillance d'une personne, le procédé comportant :
- a) enregistrement de sons produits par la personne durant une période d'enregistrement;
- b) à l'aide d'une unité de traitement, mise en oeuvre d'un algorithme de classification de chaque son enregistré durant la période d'enregistrement, de façon à classifier chaque son enregistré parmi un ensemble de classes, l'ensemble de classes comportant au moins une première classe d'intérêt, représentative d'une anomalie respiratoire ou d'une modification de la respiration de la personne ;
- c) en fonction du nombre de sons classés dans la première classe d'intérêt, émission d'un signal d'alerte, informant d'un risque potentiel de chute de la personne. Selon une possibilité :
- la période d'enregistrement est subdivisée en plusieurs périodes de traitement;
- l'étape b) comporte une analyse fréquentielle du son enregistré dans chaque période de traitement, de façon à former des données d'entrée de l'algorithme de classification ;
- lors de l'étape b), pour chaque période de traitement, l'algorithme de classification attribue un score à chaque classe, le score étant représentatif d'une probabilité d'appartenance à ladite classe ;
- lors de l'étape c), le signal d'alerte est émis en fonction d'un premier score cumulé, le premier score cumulé correspondant au cumul des scores attribués à la première classe d'intérêt durant chaque période de traitement.
L'étape b) peut comporter :
- prise en compte de sons enregistrés durant une période de traitement;
- détermination de fenêtres élémentaires s'étendant à l'intérieur de la période de traitement ;
- réalisation d'une analyse fréquentielle dans chaque fenêtre élémentaire, de façon à former, pour chaque fenêtre élémentaire, un spectre de fréquence du son enregistré dans la fenêtre élémentaire ;
- utilisation de chaque spectre de fréquence en tant que donnée d'entrée de l'algorithme de classification.
L'algorithme de classification peut être un algorithme d'intelligence artificielle à apprentissage supervisé. L'algorithme de classification peut comporter un réseau de neurones convolutif couplé à un perceptron multicouches.
Selon une possibilité,
- l'ensemble de classes comporte une deuxième classe d'intérêt, représentative de mouvements de draps générés par le mouvement de la personne lorsqu'elle est alitée ;
- l'étape c) comporte une émission du signal d'alerte en fonction d'un nombre de sons classés dans la deuxième classe d'intérêt.
Selon une possibilité,
- lors de l'étape c), le signal d'alerte est émis en fonction d'un deuxième score cumulé (C2), le deuxième score cumulé correspondant au cumul des scores attribués à la deuxième classe d'intérêt durant chaque période de traitement. Lors de l'étape a), la période d'enregistrement peut comporter une nuit ou plusieurs nuits successives.
L'étape c) peut mettre en oeuvre un modèle de classification, alimenté par le nombre de sons classifiés dans la première classe d'intérêt.
Un deuxième objet de l'invention est un dispositif de surveillance d'une personne, comportant :
- un microphone, configuré pour capter un son généré par la personne durant une période d'enregistrement;
- une unité de traitement, programmée pour mettre en oeuvre les étapes b) et c) d'un procédé selon le premier objet de l'invention à partir des sons enregistrés durant la période d'enregistrement, de façon à prévenir une survenue d'une chute de la personne en fonction de sons générés par la personne durant la période d'enregistrement.
Un troisième objet de l'invention est un dispositif de détection de chute d'une personne, comportant :
- un capteur, configuré pour détecter un mouvement ou un son d'une personne ;
- une unité de détection, programmée pour détecter une chute de la personne, en fonction d'une caractéristique d'un signal résultant du capteur, l'unité de détection étant configurée pour indiquer une chute lorsque la caractéristique excède un seuil de détection ;
- le dispositif étant caractérisé en ce que le dispositif de détection de chute est relié à un dispositif de surveillance (1) selon le deuxième objet de l'invention, l'unité de détection étant programmée de façon que le seuil de détection est ajusté en fonction d'un signal d'alerte émis par l'unité de traitement du dispositif de surveillance.
Le capteur peut être un capteur d'actimétrie, auquel cas le signal résultant du capteur est un signal représentatif d'un mouvement de la personne. Le capteur peut être un microphone, auquel cas le signal résultant du capteur est un signal représentatif d'un son émis par la personne.
L'invention sera mieux comprise à la lecture de l'exposé des exemples de réalisation présentés, dans la suite de la description, en lien avec les figures listées ci-dessous.
FIGURES
La figure 1 schématise les principaux composants d'un dispositif selon l'invention. La figure 2 montre des exemples spectres en fréquence enregistrés, et correspondant à des sons émis par une personne.
La figure 3 montre les principales étapes de mise en oeuvre de l'invention.
La figure 4 représente une utilisation d'un dispositif selon l'invention couplé à un dispositif de détection de chute d'une personne.
EXPOSE DE MODES DE REALISATION PARTICULIERS
La figure 1 représente un exemple de dispositif de surveillance 1 selon l'invention. Le dispositif comporte un microphone 10, agencé pour détecter des sons généré par une personne. Le microphone peut être disposé à poste fixe, par exemple dans une pièce dans laquelle la personne se déplace. Il peut par exemple s'agir d'une chambre à coucher. Les sons détectés par le microphone sont transmis à une unité de traitement 11. L'unité de traitement 11 est reliée au microphone 10 par une liaison sans fil ou filaire. L'unité de traitement comporte un microprocesseur, programmé pour exécuter des instructions de façon à mettre en oeuvre le procédé dont les principales étapes sont résumées en lien avec la figure 3. L'unité de traitement est reliée à une mémoire 12 dans laquelle lesdites instructions sont stockées.
Un aspect important de l'invention provient du constat, effectué par les inventeurs, qu'une chute de la personne peut être précédée de sons particuliers, générés par la personne, préalablement à la chute, et par exemple durant une ou plusieurs nuits précédent la chute.
Il est aisé d'enregistrer le son généré par une personne durant une nuit. Les inventeurs ont enregistré des sons générés par différentes personnes durant des nuit consécutives, et ont focalisé l'analyse de ces sons sur les jours et les nuits précédent la survenue d'une chute. Ils ont constaté qu'il existait une relation statistique entre la survenue de chutes, d'une part, et, d'autre part, le constat, sur les enregistrements effectués, de l'apparition de sons suggérant la présence d'anomalies respiratoires chez la personne enregistrée, ou de l'augmentation de la fréquence de tels sons au cours du temps, ou de modifications au cours du temps de la façon de respirer de la personne. Par "anomalies respiratoires", on entend une respiration marquée par une accélération de sa fréquence, par des variations de sa régularité, par des modifications des caractéristiques temporelles de l'inspiration et de l'expiration, par des modifications de leurs sonorités, par l'apparition de sons particuliers rythmés par la respiration (par exemple râles, gémissements, sifflements, etc.), par l'apparition de sons surajoutés à la respiration (toux, reniflement, mouchage, soupirs, etc.). Ces anomalies peuvent survenir de façon isolée ou combinée. Elles peuvent être analysées une à une en tant qu'autant d'entités distinctes. Elle peuvent aussi être interprétées de façon globale et qualitative pour définir, à l'écoute humaine, une impression d'essoufflement (dyspnée), de difficultés respiratoires, de souffrance respiratoire, voire de détresse respiratoire.
Pour parvenir à un tel constat, les inventeurs ont analysé les sons générés par différentes personnes durant des nuits consécutives, et plus particulièrement des nuits consécutives précédent la survenue d'une chute.
Chaque son, résultant du microphone, a fait l'objet d'une analyse fréquentielle selon 1454 bandes de fréquences, s'étendant entre 16 Hz et 8000 Hz. L'analyse fréquentielle a été effectuée sur une fenêtre élémentaire temporelle At de 67 ms, deux fenêtres élémentaires consécutives étant décalées de 23 ms. Ainsi, il y a un recouvrement entre deux fenêtres élémentaires successives. On a ainsi obtenu pour chaque fenêtre élémentaire, un spectre de fréquence S(At).
La figure 2 montre un ensemble de spectres de fréquence consécutifs d'une personne présentant des anomalies respiratoires de type sifflements. Sur la figure 2, l'axe des ordonnées correspond à la fréquence. L'axe des abscisses correspond à un numéro assigné à chaque fenêtre élémentaire.
Des séquences S de spectres consécutifs, établis durant une période de traitement T de 9.6 secondes, ont été utilisés en tant que donnée d'entrée d'un réseau de neurones comportant des couches de convolution, de conception similaire à celles du réseau connu sous la référence ResNet, ResNet signifiant Residual Networks. Ce réseau comportait 5 couches de convolution. Une description du réseau ResNet est donnée dans Chen F. et al «Assessing the effects of convolutional neural network architectural factors on model performance for remote sensing image classification : An in-depth investigation». Les couches de convolution permettent une extraction de caractéristiques des spectres de fréquence formant les données d'entrée. Les caractéristiques extraites sont traitées par un perceptron multicouches.
La sortie du perceptron multicouches représente une probabilité d'appartenance à plusieurs classes. Chaque classe est représentative de sons émis par la personne : sons d'origines domestiques (par exemple bruits de draps dans le lit, bruit de pas, bruit d'eau dans les toilettes...), sons d'origine physiologique (toux, ronflements, sifflements respiratoires, râles respiratoires, ...). Les sons correspondant à chaque période de traitement T de 9.6 secondes ont fait l'objet d'une annotation manuelle. Ainsi, les différents sons enregistrés, correspondant à une séquence de 9.6 secondes, ont été manuellement catégorisés dans les différentes classes disponibles. Les annotations ont été effectuées par différents opérateurs. Pour chaque classe, et pour chaque période de traitement T, la fraction d'opérateurs ayant classé chaque son, correspondant à la séquence, dans ladite classe, a constitué la cible du réseau de neurones. Le nombre d'opérateurs était compris entre 3 et 7.
L'entraînement du réseau de neurones a été effectué en prenant en compte des sons enregistrés sur 559 microphones disposés dans des chambres individuelles, logées dans un établissement d'accueil de personnes âgées dépendantes. Le réseau de neurones a fait l'objet d'une phase de test, sur 141139 séquences annotées, n'ayant pas été utilisées lors de l'entraînement du réseau de neurones. Le coefficient de corrélation atteignait 0.79 +/- 0.02 dans la classe « respiration », représentative des sons indiquant une respiration anormale.
Ainsi, le réseau de neurones, basé sur une combinaison de couches de convolution et d'un perceptron multicouches, permet d'effectuer une classification d'une séquence de spectres en fréquence, représentative de l'activité ou de l'état de la personne durant une période de traitement T de 9.6 secondes.
On disposait d'enregistrements sonores effectués durant 2398 nuits. Parmi ces nuits, on distingue : un ensemble de 2000 nuits au cours desquelles aucune chute de la personne surveillée ne s'était produite ; un ensemble de 398 nuits, au cours desquelles la personne surveillée avait chuté.
Sur chaque nuit de l'ensemble, on a formé un jeu d'enregistrements effectués pendant ladite nuit ainsi que durant les quatre nuits précédentes. Ainsi, le jeu d'enregistrements associé à chaque nuit comportait les enregistrements d'un total de 5 nuits consécutives.
A partir des jeux enregistrements associés à chaque nuit, on a constitué un ensemble d'entraînement, comportant 80% des nuits, et un ensemble de test, comportant les 20% de nuits restantes. La répartition des nuits entre l'ensemble d'entraînement et l'ensemble de test a été effectuée de façon aléatoire.
Le jeu d'enregistrement était segmenté en périodes de traitement T de 9.6 secondes. Sur chaque période de traitement T, on a formé des spectres en fréquence S(At) sur des fenêtres temporelles de 67 ms décalées les unes des autres de 23 ms. Les spectres S(At) acquis durant chaque période de traitement T forment une séquence de spectres S, utilisée en tant que donnée d'entrée du réseau de neurones précédemment décrit. On a relevé le score correspondant à l'ensemble des classes. Les scores correspondant à chaque classe de l'ensemble des séquences formées à partir d'un même jeu de 5 nuits ont été cumulés de façon à former des données d'entrée d'un modèle d'apprentissage. Ainsi, chaque donnée d'entrée du modèle d'apprentissage était un vecteur, dont chaque terme était associé à une classe, et était formé par la somme des scores, de ladite classe, résultant du réseau de neurones, pour l'ensemble des séquences formant le jeu d'enregistrement.
Le modèle de classification, a fait l'objet d'un apprentissage, de façon à prévoir une sortie (1 en cas de chute, 0 dans le cas contraire) à partir des données d'entrée. Le modèle d'apprentissage retenu était un modèle d'apprentissage par la méthode de renforcement du gradient programmé dans l'algorithme open source (accès libre) XGboost (extreme Gradient Boosting - renforcement du gradient extrême), dans l'environnement de programmation Python.
Le gain de pureté moyen associé à chaque classe a été évalué. Le gain de pureté traduit l'influence d'une classe sur la prévision du résultat fourni par le modèle de classification. On a ainsi étudié une relation entre le score cumulé de chaque classe, lors des 4 nuits précédents la nuit considérée. Les inventeurs ont remarqué que deux classes se démarquaient : une première classe d'intérêt, correspondant à la classe « respiration », et, dans une moindre mesure, une deuxième classe d'intérêt, correspondant à la classe « bruits de drap ». La classe respiration traduit la présence d'anomalies respiratoires, évocatrices de "difficultés respiratoires", comme précédemment indiqué. La classe « bruits de drap » traduit une probable agitation de la personne durant son sommeil.
Ainsi, il s'avère que l'émission, par la personne surveillée, de sons nocturnes, traduisant des difficultés respiratoires et, dans une moindre mesure, une agitation du sommeil induisant des bruits de draps, peut être considérée comme annonçant un risque de survenue d'une chute par la personne, au cours d'une nuit suivante. Ce constat, résultant de l'utilisation du modèle de classification, est un élément important de l'invention. Cela permet, sur la base d'un simple enregistrement sonore, d'anticiper la survenue d'une chute. Un aspect remarquable est que les sons utilisés ne sont pas des sons directement corrélés à la marche de la personne. Par son directement corrélé à la marche de la personne, on entend un son produit par les pas de la personne sur le sol. Les sons utilisés sont des sons d'origine respiratoire ou des sons générés par l'activité motrice de la personne alors qu'elle est alitée.
En fonction des scores dans la première classe d'intérêt « respiration » et/ou la deuxième classe d'intérêt « bruits de drap », le dispositif peut générer un signal d'alerte, à l'attention de tiers en charge de la surveillance de la personne. Il s'agit d'augmenter le degré de vigilance à l'égard de la personne surveillée, de façon à éviter que la chute ne survienne.
La figure 3 résume les principales étapes d'un exemple de mise en oeuvre de l'invention. Dans cet exemple, l'enregistrement de la personne est effectué durant la nuit. Mais l'invention peut être mise en oeuvre pour effectuer des enregistrements diurnes ou nocturnes
Etape 100 : enregistrement de sons dans le voisinage d'une personne surveillée. Il peut s'agir d'un enregistrement dans une pièce occupée par la personne, par exemple dans sa chambre. Les sons sont enregistrés durant une période d'enregistrement, s'étendant par exemple durant une nuit ou plusieurs nuits.
Etape 110 : segmentation du son enregistré en périodes de traitement T, par exemple durant 9.6 secondes.
Etape 120 : analyse fréquentielle du son enregistré durant chaque période de traitement. Comme précédemment décrit, l'analyse fréquentielle est effectuée sur des fenêtres élémentaires At, par exemple de 67 ms. On dispose ainsi d'autant de spectres de fréquence S(At) que de fenêtre élémentaires. L'étape 120 peut être mise en oeuvre par l'unité de traitement 11.
Etape 130 : à partir de l'analyse fréquentielle effectuée durant chaque période de traitement, formation d'une donnée d'entrée S d'un algorithme d'intelligence artificielle à apprentissage supervisé. Ce dernier peut être un réseau de neurones, comportant une association de couches de convolution et d'un perceptron multicouches, comme précédemment décrit. La sortie de l'algorithme est un score, associé à différentes classes, chaque classe étant représentative d'un type de son produit par la personne surveillée. Une première classe est représentative d'une respiration anormale. De préférence, une deuxième classe est représentative d'un bruit de drap, ou plus généralement un bruit lié à des mouvements de la personne dans son lit. La donnée d'entrée S peut être un ensemble de spectres en fréquence établis durant l'étape 120, avec ou sans recouvrement des fenêtres élémentaires At. L'étape 130 est mise en oeuvre par l'unité de traitement 11.
Etape 140 : analyse de la sortie de l'algorithme mis en oeuvre lors de l'étape 130. Au cours de cette analyse, on établit un premier score cumulé Cl, correspondant au cumul du score, dans la classe « respiration », dans plusieurs périodes temporelles. Les périodes temporelles peuvent s'étendre durant une ou plusieurs nuits successives. L'étape 140 peut comporter une détermination d'un deuxième score cumulé C2 dans la classe « bruits de drap », représentative du mouvement de la personne surveillée dans son lit.
Etape 150 : En fonction du score cumulé, ou de chaque score cumulé, résultant de l'étape 140, génération d'un signal d'alerte. Le signal d'alerte est généré en fonction de la valeur prise par le score cumulé, ou par chaque score cumulé, résultant de l'étape 140. Par exemple le signal d'alerte est émis lorsque le score cumulé, ou lorsque chaque score cumulé, excède un seuil d'alerte. L'étape 150 met en oeuvre le modèle de classification précédemment décrit. Le premier score cumulé et le deuxième score cumulé forment les données d'entrée du modèle de classification. La sortie du modèle de classification est un scalaire, de préférence compris entre 0 et 1, qui représente une probabilité de survenue d'une chute de la personne.
La prise en compte de scores cumulés au cours d'un nombre prédéterminé de nuits précédentes permet de tenir compte d'une évolution, au cours du temps, des occurrences de la première classe ou de la deuxième classe.
L'émission du signal d'alerte est destinée à alerter un tiers, en charge de la personne surveillée, d'un risque de chute accru durant la nuit suivante. Le tiers peut être un contact familial, ou du personnel soignant lorsque la personne surveillée évolue dans un habitat médicalisé, ou du personnel de surveillance situé à distance, par exemple le personnel de sociétés de surveillance à domicile.
Le dispositif de surveillance 1 précédemment décrit peut être couplé avec un dispositif de détection de chute 2 d'une personne. Le couplage est illustré sur la figure 4. Comme évoqué dans l'art antérieur, il existe de nombreux dispositifs de détection de chute d'une personne. Ce type de dispositif est destiné à être porté par une personne. Il comporte usuellement un capteur 20, par exemple un capteur d'actimétrie, configuré pour mesurer un mouvement de la personne. Le capteur d'actimétrie peut par exemple comporter un accéléromètre ou un gyromètre ou un magnétomètre. De façon complémentaire ou alternative le capteur 20 peut être un capteur de son. Dans ce cas, tout ou partie de la surveillance est basée sur une détection de sons représentatifs d'une chute. Il peut s'agir d'une détection d'un bruit produit par la chute elle-même, ou d'un son généré par la personne ayant chuté.
Le dispositif de détection de chute 2 comporte une unité de détection 21, programmée pour détecter une chute de la personne, en fonction d'une caractéristique d'un signal résultant du capteur d'actimétrie. L'unité de détection21 est configurée pour indiquer une chute lorsque la caractéristique excède un seuil de détection. Par exemple, lorsque le capteur est un accéléromètre, une chute est détectée lorsque l'accélération mesurée, selon la verticale, dépasse un certain seuil.
Lorsque le dispositif de détection de chute est basé sur la détection d'un son, le seuil de détection peut être une caractéristique du son détecté, par exemple une amplitude ou une puissance spectrale dans une bande de fréquence prédéterminée, ladite bande de fréquence correspondant au son produit par une personne qui chute. Le son peut être dû au choc du corps sur le sol, ou à un son produit par une personne, par exemple un cri, lors ou suite à la chute.
Le dispositif de surveillance peut avantageusement être associé au dispositif de détection de chute. En cas d'émission d'un signal d'alerte, le seuil de détection de l'unité de détection peut être ajusté, de façon à augmenter la sensibilité de détection de chute, en raison d'un risque accru de chute de la personne surveillée.

Claims

REVENDICATIONS
1. Procédé de surveillance d'une personne, le procédé comportant
- a) enregistrement de sons produits par la personne durant une période d'enregistrement;
- b) à l'aide d'une unité de traitement (11), mise en oeuvre d'un algorithme de classification de chaque son enregistré durant la période d'enregistrement, de façon à classifier chaque son enregistré parmi un ensemble de classes, l'ensemble de classes comportant au moins une première classe d'intérêt, représentative d'une anomalie respiratoire ou d'une modification de la respiration de la personne ;
- c) en fonction du nombre de sons classés dans la première classe d'intérêt, émission d'un signal d'alerte, informant d'un risque potentiel de chute de la personne.
2. Procédé selon la revendication 1, dans lequel :
- la période d'enregistrement est subdivisée en plusieurs périodes de traitement (T);
- l'étape b) comporte une analyse fréquentielle du son enregistré dans chaque période de traitement (T), de façon à former des données d'entrée (S) de l'algorithme de classification ;
- lors de l'étape b), pour chaque période de traitement, l'algorithme de classification attribue un score à chaque classe, le score étant représentatif d'une probabilité d'appartenance à ladite classe ;
- lors de l'étape c), le signal d'alerte est émis en fonction d'un premier score cumulé (Cl), le premier score cumulé correspondant au cumul des scores attribués à la première classe d'intérêt durant chaque période de traitement.
3. Procédé selon la revendication 2, dans lequel l'étape b) comporte :
- prise en compte de sons enregistrés durant une période de traitement (T) ;
- détermination de fenêtres élémentaires (At) s'étendant à l'intérieur de la période de traitement ;
- réalisation d'une analyse fréquentielle dans chaque fenêtre élémentaire, de façon à former, pour chaque fenêtre élémentaire, un spectre de fréquence (S(At)) du son enregistré dans la fenêtre élémentaire ;
- utilisation de chaque spectre de fréquence en tant que donnée d'entrée de l'algorithme de classification.
4. Procédé selon l'une quelconque des revendications 2 ou 3, dans lequel l'algorithme de classification est un algorithme d'intelligence artificielle à apprentissage supervisé.
5. Procédé selon la revendication 4, dans lequel l'algorithme de classification comporte un réseau de neurones convolutif couplé à un perceptron multicouches.
6. Procédé selon l'une quelconque des revendications précédentes, dans lequel
- l'ensemble de classes comporte une deuxième classe d'intérêt, représentative de mouvements de draps générés par le mouvement de la personne lorsqu'elle est alitée ;
- l'étape c) comporte une émission du signal d'alerte en fonction d'un nombre de sons classés dans la deuxième classe d'intérêt.
7. Procédé selon la revendication 6 et de la revendication 2, dans lequel
- lors de l'étape c), le signal d'alerte est émis en fonction d'un deuxième score cumulé (C2), le deuxième score cumulé correspondant au cumul des scores attribués à la deuxième classe d'intérêt durant chaque période de traitement.
8. Procédé selon l'une quelconque des revendications précédentes, dans lequel lors de l'étape a), la période d'enregistrement comporte une nuit ou plusieurs nuits successives.
9. Procédé selon l'une quelconque des revendications précédentes, dans lequel l'étape c) met en oeuvre un modèle de classification, alimenté par le nombre de sons classifiés dans la première classe d'intérêt.
10. Dispositif (1) de surveillance d'une personne, comportant
- un microphone (10), configuré pour capter un son généré par la personne durant une période d'enregistrement;
- une unité de traitement (11), programmée pour mettre en oeuvre les étapes b) et c) d'un procédé selon l'une quelconque des revendications précédentes à partir des sons enregistrés durant la période d'enregistrement, de façon à prévenir une survenue d'une chute de la personne en fonction de sons générés par la personne durant la période d'enregistrement
11. Dispositif de détection (2) de chute d'une personne, comportant :
- un capteur, configuré pour détecter un mouvement ou un son d'une personne ;
- une unité de détection (21), programmée pour détecter une chute de la personne, en fonction d'une caractéristique d'un signal résultant du capteur, l'unité de détection étant configurée pour indiquer une chute lorsque la caractéristique excède un seuil de détection ;
- le dispositif étant caractérisé en ce que le dispositif de détection de chute est relié à un dispositif de surveillance (1) selon la revendication 10, l'unité de détection étant programmée de façon que le seuil de détection est ajusté en fonction d'un signal d'alerte émis par l'unité de traitement du dispositif de surveillance.
EP24703775.7A 2023-02-08 2024-02-07 Dispositif et procédé de surveillance d'une personne Pending EP4662651A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2301193A FR3145639A1 (fr) 2023-02-08 2023-02-08 Dispositif et procédé de surveillance d’une personne.
PCT/EP2024/052957 WO2024165586A1 (fr) 2023-02-08 2024-02-07 Dispositif et procédé de surveillance d'une personne.

Publications (1)

Publication Number Publication Date
EP4662651A1 true EP4662651A1 (fr) 2025-12-17

Family

ID=85937218

Family Applications (1)

Application Number Title Priority Date Filing Date
EP24703775.7A Pending EP4662651A1 (fr) 2023-02-08 2024-02-07 Dispositif et procédé de surveillance d'une personne

Country Status (3)

Country Link
EP (1) EP4662651A1 (fr)
FR (1) FR3145639A1 (fr)
WO (1) WO2024165586A1 (fr)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158179B2 (en) * 2017-07-27 2021-10-26 NXT-ID, Inc. Method and system to improve accuracy of fall detection using multi-sensor fusion
US11615687B2 (en) * 2018-01-26 2023-03-28 University Of Cincinnati Automated identification and creation of personalized kinetic state models of an individual
KR20220053913A (ko) * 2020-10-23 2022-05-02 주식회사 내프터 레이더 센서 및 포토센서를 이용한 낙상 예측 시스템 및 낙상 예측 방법

Also Published As

Publication number Publication date
FR3145639A1 (fr) 2024-08-09
WO2024165586A1 (fr) 2024-08-15

Similar Documents

Publication Publication Date Title
US12586453B2 (en) System and method for monitoring life signs of a person
EP2229665B1 (fr) Procede et equipement de detection de situation critique d'un sujet
US5928156A (en) Process and device for the automatic detection of abnormal breathing sounds
US20190192110A1 (en) Classifier ensemble for detection of abnormal heart sounds
EP2122596B1 (fr) Dispositif, systeme et procede de televigilance ambulatoire comportant un dispositif de debruitage du pouls
US20140142460A1 (en) Method for detecting potential falls and a fall detector
Minvielle et al. Fall detection using smart floor sensor and supervised learning
FR2981561A1 (fr) Procede de detection d'activite a capteur de mouvements, dispositif et programme d'ordinateur correspondants
US20180040222A1 (en) Activity monitor
CN111771240A (zh) 频谱图用于监视饮食活动的系统和方法
FR3028343A1 (fr) Procede de detection de chute d'un sujet humain et dispositif actimetrique correspondant
Peruzzi et al. A novel methodology to remotely and early diagnose sleep bruxism by leveraging on audio signals and embedded machine learning
Liang et al. Pre-impact alarm system for fall detection using MEMS sensors and HMM-based SVM classifier
CA3087705A1 (fr) Systeme et procede de surveillance des signes vitaux d'une personne
EP4662651A1 (fr) Dispositif et procédé de surveillance d'une personne
EP3636142B1 (fr) Procédé et dispositif d'analyse de la marche d'un individu
Khawandi et al. Applying machine learning algorithm in fall detection monitoring system
Härmä et al. Bed exit prediction based on movement and posture data
AU2021221584A1 (en) Automated detection of head and/or body impact events in data collected via instrumented mouthguard devices
US20240206745A1 (en) System and Method for Monitoring a Person for Signs of Sickness
CN111048089A (zh) 提高智能穿戴设备语音唤醒成功率的方法、电子设备、计算机可读存储介质
US20240237923A1 (en) Mobility Analysis
KR102819949B1 (ko) 성대 신호 처리 방법 및 디바이스
NL2016471B1 (en) Teeth grinding detection.
Amran et al. Implementation of Fall Detection for The Elderly Home Support using 24-GHz Radar Sensor

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20250807

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC ME MK MT NL NO PL PT RO RS SE SI SK SM TR