EP4064962A1 - Système d'aide à la surveillance d'un environnement et procédé associé - Google Patents

Système d'aide à la surveillance d'un environnement et procédé associé

Info

Publication number
EP4064962A1
EP4064962A1 EP20811380.3A EP20811380A EP4064962A1 EP 4064962 A1 EP4064962 A1 EP 4064962A1 EP 20811380 A EP20811380 A EP 20811380A EP 4064962 A1 EP4064962 A1 EP 4064962A1
Authority
EP
European Patent Office
Prior art keywords
individual
environment
brain activity
monitoring
alert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20811380.3A
Other languages
German (de)
English (en)
Inventor
Daria LA ROCCA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP4064962A1 publication Critical patent/EP4064962A1/fr
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1495—Calibrating or testing of in-vivo probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms

Definitions

  • the system comprises one or more of the following characteristics, taken individually or according to all the technically possible combinations:
  • the predetermined threshold is chosen according to the nature of the compared data, the controller being configured to generate an alert when the compared data is strictly lower or higher than the predetermined threshold;
  • the human-machine interface is configured to restore the current brain state of the individual, based on the data from the dataset, so that the individual's brain activity is modified by the individual himself in order to achieve the objective according to the current state which is restored to him;
  • each training phase is greater than or equal to 15 minutes, preferably equal to 30 minutes; the time interval between two successive training phases is strictly less than one month, preferably strictly less than two weeks, advantageously strictly less than one week;
  • Figure 1 a schematic representation of an example of a situation in which an individual monitors an environment imaged on a wall of screens, the individual being in interaction with a monitoring assistance system , and
  • a system 10 for assisting in the monitoring of an environment imaged on at least one screen E is illustrated by Figures 1 and 2.
  • Individual I is in a military ground vehicle and is responsible for detecting threats (anomalies) in the environment around the vehicle.
  • the assistance system 10 can be used in other types of environments and, more generally in other contexts, both civil and military.
  • the help system 10 is particularly suitable for be used in a context where the operator is static and monitors an environment over a relatively long period of time, typically greater than or equal to 1 hour.
  • the computer program is loadable on the processor 22 and is adapted to cause the implementation of steps which will be described in the following description.
  • spectral characteristics are also likely to be obtained during processing step a) such as, for example, the ratio between the different rhythms, the central frequency of each rhythm, parameters of an autoregressive model adjusted on the EE data. , or parameters representing the dynamics of EEG time series.
  • Each predetermined threshold is chosen according to the type of wave to which the threshold is associated.
  • Each predetermined threshold is preferably chosen so that a spectral characteristic (eg power in a specific frequency band) strictly lower or higher (depending on the type of spectral characteristic considered) than said threshold for the associated type of wave is representative of a state of mental fatigue of the individual I.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

La présente invention concerne un système (10) d'aide à la surveillance d'un environnement par un individu (I) en charge de la détection d'anomalies dans l'environnement, le système (10) présentant deux modes de fonctionnement : - un premier mode correspondant à des phases d'entraînement de l'individu (I) au cours desquelles l'activité cérébrale de l'individu (I) est destinée à être modifiée par l'individu (I) lui-même, et - un second mode correspondant à des phases de surveillance au cours desquelles le casque (12) est positionné sur la tête de l'individu (I) et l'individu (I) surveille l'environnement, l'activité cérébrale de l'individu (I) étant destinée à être modifiée par l'individu (I) lui-même lorsqu'une alerte en provenance du système (10) est restituée à l'individu (I), la modification de l'activité cérébrale dépendant des phases d'entraînement réalisées au préalable.

Description

DESCRIPTION
TITRE : Système d’aide à la surveillance d’un environnement et procédé associé
La présente invention concerne un système d’aide à la surveillance d’un environnement, imagé sur au moins un écran, par un individu en charge de la détection d’anomalies dans l’environnement. La présente invention concerne aussi un procédé associé d’aide à la surveillance.
Dans le domaine de la sécurité, des opérateurs ont pour tâche de contrôler et de surveiller des informations affichées sur des écrans en temps réel. Cela est notamment le cas dans le domaine de la vidéosurveillance où des opérateurs surveillent un environnement via des écrans formant une mosaïque d’écrans. Cela est aussi le cas dans un contexte de contrôle du trafic aérien où des opérateurs surveillent le plan de vol des aéronefs.
Néanmoins, une telle tâche de surveillance est très dépendante de l’état de fatigue physique et surtout mentale de l’opérateur. Ainsi, des troubles de l’attention sont susceptibles de générer des situations critiques, notamment dans le contexte aérien.
Il est connu de déterminer l’état de fatigue physique d’un individu en mesurant certains paramètres directement sur l’individu, notamment la fréquence cardiaque, la fréquence respiratoire, l’oxymétrie de pouls, la température ou encore l’activité électrodermale.
Toutefois, la détermination de l’état de fatigue mentale d’un individu est plus complexe à évaluer. Les méthodes actuelles consistent à effectuer des mesures indirectes sur l’individu et/ou à le faire remplir des questionnaires pour déterminer des paramètres physiologiques indirectement liés à l’état mental de l’individu. De telles méthodes présentent donc des aléas et ne sont donc pas entièrement fiables.
En outre, les méthodes actuelles pour réduire les effets de la fatigue mentale reposent sur des approches ergonomiques. De telles méthodes sont donc très dépendantes de l’environnement et des conditions externes.
Il existe donc un besoin pour un système permettant d’aider un individu à mieux gérer sa fatigue mentale lors d’une mission de surveillance d’un environnement.
A cet effet, la présente description a pour objet un système d’aide à la surveillance d’un environnement, imagé sur au moins un écran, par un individu en charge de la détection d’anomalies dans l’environnement, le système comprenant : a. un casque comprenant des capteurs d’électroencéphalographie, le casque étant destiné à être positionné sur la tête de l’individu pour mesurer l’activité cérébrale de l’individu, b. un contrôleur configuré pour : i. traiter les mesures effectuées par les capteurs du casque pour obtenir un ensemble de données, ii. comparer des données de l’ensemble à au moins un seuil prédéterminé, et iii. générer une alerte en fonction du résultat de la comparaison, c. une interface homme-machine configurée pour restituer l’alerte générée à l’individu, le système présentant deux modes de fonctionnement :
- un premier mode de fonctionnement correspondant à des phases d’entraînement de l’individu au cours desquelles le casque est positionné sur la tête de l’individu et l’individu effectue une tâche cognitive prédéfinie de nature visuelle ou auditive avec un objectif relatif à la nature de la tâche, l’activité cérébrale de l’individu étant destinée à être modifiée par l’individu lui-même en vue d’atteindre l’objectif, et
- un second mode de fonctionnement correspondant à des phases de surveillance au cours desquelles le casque est positionné sur la tête de l’individu et l’individu surveille l’environnement imagé sur l’écran pour détecter des anomalies dans l’environnement, l’activité cérébrale de l’individu étant destinée à être modifiée par l’individu lui-même lorsqu’une alerte est restituée à l’individu, la modification de l’activité cérébrale dépendant des phases d’entraînement réalisées au préalable.
Suivant des modes de réalisation particuliers, le système comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :
- le seuil prédéterminé est choisi en fonction de la nature des données comparées, le contrôleur étant configuré pour générer une alerte lorsque les données comparées sont strictement inférieures ou supérieures au seuil prédéterminé ;
- le premier mode de fonctionnement, l’interface homme-machine est configurée pour restituer l’état cérébral courant de l’individu, en fonction des données de l’ensemble de données, de sorte que l’activité cérébrale de l’individu est modifiée par l’individu lui-même en vue d’atteindre l’objectif en fonction de l’état courant qui lui est restitué ;
- la durée de chaque phase d’entraînement est supérieure ou égale à 15 minutes, de préférence égale à 30 minutes ; - l’intervalle de temps entre deux phases d’entraînement successives est strictement inférieur à un mois, de préférence strictement inférieur à deux semaines, avantageusement strictement inférieur à une semaine ;
- l’interface homme-machine est un écran et l’alerte est un message visuel affiché sur l’interface homme-machine ;
- l’interface homme-machine comprend un organe de restitution du son et l’alerte est un signal sonore ;
- l’interface homme-machine est intégrée dans un dispositif portable, tel qu’un smartphone ;
- le seuil prédéterminé est un seuil spectrale, l’ensemble de données obtenu par le contrôleur comprenant les caractéristiques spectrales d’au moins une onde représentative de l’activité cérébrale de l’individu, la comparaison effectuée par le contrôleur comprenant la comparaison d’au moins une caractéristique spectrale déterminée au seuil prédéterminé.
L’invention concerne aussi un procédé d’aide à la surveillance d’un environnement, imagé sur au moins un écran, par un individu en charge de la détection d’anomalies dans l’environnement, le procédé étant mis en œuvre au moyen d’un système tel que décrit précédemment, le procédé comprenant : a. des phases d’entraînement de l’individu au cours desquelles le système d’aide est utilisé dans son premier mode de fonctionnement, le casque étant positionné sur la tête de l’individu et l’individu effectuant une tâche cognitive prédéfinie de nature visuelle ou auditive avec un objectif relatif à la nature de la tâche, chaque phase d’entraînement comprenant la modification de l’activité cérébrale de l’individu par l’individu lui-même en vue d’atteindre l’objectif, et b. des phases de surveillance au cours desquelles le système d’aide est utilisé dans son second mode de fonctionnement, le casque étant positionné sur la tête de l’individu et l’individu surveillant l’environnement imagé sur l’écran pour détecter des anomalies dans l’environnement, chaque phase de surveillance comprenant la modification de l’activité cérébrale de l’individu par l’individu lui- même en vue d’atteindre l’objectif lorsqu’une alerte est restituée à l’individu, la modification de l’activité cérébrale dépendant des phases d’entraînement réalisées au préalable. D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l’invention, donnée à titre d’exemple uniquement, et en référence aux dessins qui sont :
- [Fig 1], figure 1 , une représentation schématique d’un exemple d’une situation dans laquelle un individu surveille un environnement imagé sur un mur d’écrans, l’individu étant en interaction avec un système d’aide à la surveillance, et
- [Fig 2], figure 2, une représentation schématique d’un exemple d’un système d’aide à la surveillance.
Un système 10 d’aide à la surveillance d’un environnement imagé sur au moins un écran E est illustré par les figures 1 et 2.
Le système 10 est destiné à être utilisé par un individu I, aussi appelé opérateur, en charge de la détection d’anomalies dans l’environnement. Il est entendu par le terme « anomalies », la détection d’événements inhabituels ou à risque dans l’environnement. Les images de l’environnement sont, par exemple, acquises par des caméras de vidéosurveillance positionnées en différents points de l’environnement. Les images de l’environnement sont, par exemple, affichées en temps réel sur le ou les écrans E.
Ainsi, dans l’exemple illustré par la figure 1, l’environnement est imagé sur une mosaïque d’écrans E1 à E12, aussi appelée mur d’écrans. Un mur d’écrans permet de visualiser simultanément plusieurs vidéos filmant, notamment, des zones géographiques différentes ou une même zone géographique selon des points de vue différents. L’individu I en charge de la surveillance de l’environnement observe les différents écrans en vue de détecter une anomalie. L’anomalie correspond, par exemple, à une altercation entre des individus, à une scène d’agression ou encore à une scène d’accident.
Dans un autre exemple, l’environnement correspond à l’environnement d’un aéronef en vol et/ou à différents éléments relatifs au plan de vol de l’aéronef. L’anomalie correspond, par exemple, à une déviation du plan de vol.
Dans encore un autre exemple, l’individu I est dans un véhicule terrestre militaire et est en charge de détecter des menaces (anomalies) dans l’environnement autour du véhicule.
L’homme du métier comprendra que les exemples précédents ne sont pas limitatifs et que le système d’aide 10 est utilisable dans d’autres types d’environnements et, plus généralement dans d’autres contextes, aussi bien civils que militaires. Typiquement, le système d’aide 10 est particulièrement indiqué pour être utilisé dans un contexte où l’opérateur est statique et surveille un environnement sur une durée relativement longue, typiquement supérieure ou égale à 1 heure.
Le système 10 comprend deux modes de fonctionnement qui seront décrits dans la suite de la description une fois que les composants du système 10 auront été introduits.
Le système 10 comprend un casque 12, un contrôleur 14 et une interface homme-machine 16.
Le casque 12 est destiné à être positionné sur la tête de l’individu I.
Le casque 12 comprend des capteurs 20 d’électroencéphalographie. Les capteurs 20 sont propres à mesurer l’activité électrique du cerveau de l’individu I. Les capteurs 20 sont, par exemple, des électrodes.
Le contrôleur 14 est une entité physique, tel qu’un ordinateur.
Dans un premier exemple, le contrôleur 14 comprend, par exemple, un processeur 22, une mémoire 24 et un lecteur 26 de support d’informations.
Dans ce premier exemple, le contrôleur 14 est destiné à interagir avec un produit programme d’ordinateur comportant un support d’informations lisible par le lecteur 26 du contrôleur 14.
Le support lisible d’informations du produit programme d’ordinateur est, par exemple, un médium adapté à mémoriser des instructions électroniques et capable d’être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible d’informations est une clé USB, une disquette ou disque souple (de la dénomination anglaise Floppy disk), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non volatile (par exemple, EPROM, EEPROM, FLASH, NVRAM) une carte magnétique ou une carte optique.
Sur le support lisible d’informations est mémorisé un programme d’ordinateur comprenant des instructions de programme.
Le programme d’ordinateur est chargeable sur le processeur 22 et est adapté pour entraîner la mise en œuvre d’étapes qui seront décrites dans la suite de la description.
Dans un deuxième exemple, le contrôleur 14 est de type hardware (traduit en français par matériel ), tel qu’un circuit logique programmable (abrégé par FPGA ce qui signifie en anglais Field Programmable Gâte Arraÿ), ou encore un circuit intégré dédié, tel qu’un ASIC (de l’anglais Application-Specific Integrated Circuit).
Dans un exemple, le contrôleur 14 est intégré dans le casque 12. En variante, le contrôleur 14 est à distance du casque 12 et communique avec le casque 14 par une liaison filaire ou une liaison sans fil de type Bluetooth ou Wifi.
Le contrôleur 14 (en interaction ou non avec le produit programme d’ordinateur) est configuré pour effectuer les étapes suivantes :
- une étape a) de traitement des mesures effectuées par les capteurs 20 du casque 12 pour obtenir un ensemble de données, une étape b) de comparaison de données de l’ensemble à au moins un seuil prédéterminé, et une étape c) de génération d’une alerte en fonction du résultat de la comparaison.
Avantageusement, de telles étapes sont effectuées en temps réel, c’est-à-dire à chaque instant.
L’étape de traitement a) comprend, par exemple, la détermination de caractéristiques spectrales représentatives de l’activité cérébrale de l’individu I. La ou les caractéristiques spectrales étant comprises dans l’ensemble de données. La ou les caractéristiques spectrales sont, par exemple, un rythme représentatif d’une onde cérébrale, tel que le rythme alpha ou le rythme bêta.
Avantageusement, l’étape de traitement a) comprend la détermination de la puissance du signal EEG (abrégé de électroencéphalographie) en bande alpha et/ou en bande bêta. Les rythmes alpha et bêta sont des rythmes caractérisant l’activité électrique cérébrale oscillatoire. Les ondes alpha ont des fréquences typiquement comprises entre 7,5 Hertz (Hz) et 14 Hz. Les ondes bêta ont des fréquences typiquement supérieures à 15 Hz et généralement inférieures à 30 Hz.
D’autres caractéristiques spectrales sont aussi susceptibles d’être obtenues lors de l’étape de traitement a) comme par exemple le ratio entre les différents rythmes, la fréquence centrale de chaque rythme, des paramètres d’un modèle autorégressif ajusté sur les données EE, ou encore des paramètres représentant les dynamiques des séries temporelles EEG.
L’étape de comparaison b) comprend, par exemple, la comparaison d’au moins une caractéristique spectrale déterminée à au moins un seuil prédéterminé. Dans ce cas, le ou chaque seuil prédéterminé est un seuil spectral (seuil en fréquence).
Dans le cas où les caractéristiques spectrales de plusieurs rythmes de natures différentes sont déterminées, telles que la puissance des ondes alpha et bêta, l’étape de comparaison comprend avantageusement la comparaison de la caractéristique spectrale de chaque rythme à un seuil prédéterminé qui lui est propre. Par exemple, la puissance des ondes alpha est comparée à un premier seuil prédéterminé, et la puissance des ondes bêta est comparée à un deuxième seuil prédéterminé. Le deuxième seuil prédéterminé est dans ce cas différent du premier seuil prédéterminé.
Chaque seuil prédéterminé est choisi en fonction du type d’onde auquel le seuil est associé. Chaque seuil prédéterminé est de préférence choisi de sorte qu’une caractéristique spectrale (e.g. puissance dans une bande de fréquences spécifique) strictement inférieure ou supérieure (selon le type de caractéristique spectrale considérée) audit seuil pour le type d’onde associé soit représentative d’un état de fatigue mentale de l’individu I.
Par exemple, le contrôleur 14 est configuré pour effectuer l’étape de génération c) lorsque les données comparées sont strictement inférieures ou supérieures au seuil prédéterminé. Cela signifie, en effet, que l’individu I est dans un état de fatigue mentale.
Lorsque des données sont comparées à des seuils différents, comme cela est le cas pour les fréquences des ondes alpha et bêta, l’alerte est, par exemple, générée lorsque au moins un jeu de données est strictement inférieur ou supérieur au seuil prédéterminé correspondant. En variante, l’alerte est générée lorsque tous les jeux de données sont strictement inférieurs ou supérieurs aux seuils prédéterminés respectifs.
L’interface homme-machine 16 est configurée pour restituer l’alerte générée à l’individu I.
Par exemple, l’interface homme-machine 16 est un écran et l’alerte est un message visuel affiché sur l’interface homme-machine 16. Le message visuel est, par exemple, un message indiquant l’état courant de concentration et/ou de fatigue mentale de l’individu I vis-à-vis d’un état de référence correspondant au seuil de référence. Ainsi, le message visuel permet à l’individu I de visualiser l’écart entre l’état courant et l’état de référence.
En variante ou en complément, l’interface homme-machine 16 comprend un organe de restitution du son et l’alerte est un signal sonore.
L’interface homme-machine 16 est, par exemple, intégrée dans un dispositif portable 30 (illustré en figure 1), tel qu’un smartphone. Par exemple, une application est installée sur le smartphone qui permet l’interaction entre le contrôleur 14 et l’interface homme-machine 16 de sorte que le contrôleur 14 donne pour consigne à l’interface homme-machine 16 de restituer l’alerte.
Dans un exemple, le contrôleur 14 et l’interface homme-machine 16 sont intégrés dans un même dispositif, par exemple, un dispositif portable, tel qu’un smartphone. Le premier mode de fonctionnement du système 10 est activé lors de phases d’entraînement de l’individu I au cours desquelles le casque 12 est positionné sur la tête de l’individu I et l’individu I effectue une tâche cognitive prédéfinie de nature visuelle ou auditive avec un objectif relatif à la nature de la tâche. L’activité cérébrale de l’individu I est alors destinée à être modifiée par l’individu I lui-même en vue d’atteindre l’objectif.
Par exemple, l’activité cérébrale est destinée à être modifiée par l’individu lui- même lorsque son propre état mental actuel est montré à l’individu I. Dans ce cas, dans le premier mode de fonctionnement, l’interface homme-machine 16 est, par exemple, configurée pour restituer l’état cérébral courant de l’individu I (obtenu en fonction de l’ensemble de données) de sorte que l’activité cérébrale de l’individu I est modifiée par l’individu I lui-même en vue d’atteindre l’objectif en fonction de l’état courant qui lui est restitué. Un tel processus est aussi connu sous le nom de « neurofeedback ».
Avantageusement, dans le premier mode de fonctionnement, lorsqu’une alerte est restituée à l’individu I, l’activité cérébrale de l’individu I est alors destinée à être modifiée par l’individu I lui-même en vue d’atteindre l’objectif. L’alerte est, par exemple, associée à une consigne relative à l’objectif de l’individu I. L’activité cérébrale de l’individu I est alors destinée à être modifiée par l’individu I lui-même pour respecter la consigne associée à l’alerte.
La tâche cognitive est, par exemple, un travail mental ou cognitif effectué par l’individu I pour réussir à augmenter l’intensité de certains rythmes cérébraux tout en contrôlant d’autres signaux. Pour cela, l’individu I a par exemple pour objectif de faire évoluer en temps réel une image sur un écran (par exemple déplacer une montgolfière, assembler les pièces d’un puzzle, accélérer une voiture) ou le son dans les écouteurs (par exemple faire baisser les aigus ou augmenter les graves d’un opéra). Dans ces exemples, le déplacement de l’image sur l’écran et la modification du son dans les écouteurs traduisent la modification de l’activité cérébrale de l’individu I. La consigne est, par exemple, une consigne par laquelle il est indiqué à l’individu I d’augmenter encore l’intensité de certains signaux.
Avantageusement, la tâche mentale est un modèle dépendant du type d’onde cérébrale à traiter. Par exemple, la tâche mentale est différente pour moduler des asymétries antéro-postérieures du rythme alpha, moduler le rapport bêta / alpha central et le rythme gamma pariéto-occipital, ou encore moduler la connectivité fonctionnelle à court et long terme. La durée de chaque phase d’entraînement est supérieure ou égale à 15 minutes, de préférence égale à 30 minutes.
L’intervalle de temps entre deux phases d’entraînement successives est strictement inférieur à un mois, de préférence strictement inférieur à deux semaines, avantageusement strictement inférieur à une semaine.
Le second mode de fonctionnement du système 10 est activé lors de phases de surveillance au cours desquelles l’individu I surveille l’environnement imagé sur l’écran E pour détecter des anomalies dans l’environnement. L’individu I effectue donc sa mission de surveillance de l’environnement. L’activité cérébrale de l’individu I est destinée à être modifiée par l’individu I lui-même lorsqu’une alerte est restituée à l’individu I. La modification de l’activité cérébrale dépend des phases d’entraînement réalisées au préalable. En effet, plus l’individu I aura « réussi » ses phases d’entraînement ou effectué un nombre important de phases d’entraînement, plus la modification de l’activité cérébrale sera efficace.
Un exemple d’un procédé d’aide à la surveillance d’un environnement, imagé sur au moins un écran E, par un individu I en charge de la détection d’anomalies dans l’environnement va maintenant être décrit. Un tel procédé est mis en œuvre au moyen du dispositif d’aide décrit précédemment.
Le procédé d’aide à la surveillance comprend des phases d’entraînement de l’individu I au cours desquelles le système d’aide 10 est utilisé dans son premier mode de fonctionnement. Le casque 12 est positionné sur la tête de l’individu I et l’individu I effectue une tâche cognitive prédéfinie de nature visuelle ou auditive avec un objectif relatif à la nature de la tâche.
Chaque phase d’entraînement comprend la modification de l’activité cérébrale de l’individu I par l’individu I lui-même en vue d’atteindre l’objectif.
Ainsi, chaque phase d’entraînement comprend, par exemple, à chaque instant au moins l’une des étapes suivantes : la mesure de l’activité cérébrale de l’individu I par les capteurs 20 d’électroencéphalographie du casque 12,
- le traitement des mesures par le contrôleur 14 pour obtenir un ensemble de données, la restitution, en fonction de l’ensemble de données, de l’état cérébral courant de l’individu I par l’interface homme-machine 16, la comparaison, par le contrôleur 14, de données de l’ensemble à au moins un seuil prédéterminé, la génération d’une alerte en fonction du résultat de la comparaison, la restitution de l’alerte générée à l’individu I par l’interface homme- machine 16, et la modification de l’activité cérébrale de l’individu I par l’individu I lui-même en vue d’atteindre l’objectif lorsqu’une alerte est restituée à l’individu I et/ou en fonction de l’état courant restitué sur l’interface homme-machine 16.
La durée de chaque phase d’entraînement est supérieure ou égale à 15 minutes, de préférence égale à 30 minutes.
L’intervalle de temps entre deux phases d’entraînement successives est strictement inférieur à un mois, de préférence strictement inférieur à deux semaines, avantageusement strictement inférieur à une semaine.
Le procédé d’aide à la surveillance comprend des phases de surveillance au cours desquelles le système d’aide 10 est utilisé dans son second mode de fonctionnement. Le casque 12 est positionné sur la tête de l’individu I et l’individu I surveille l’environnement imagé sur l’écran E pour détecter des anomalies dans l’environnement.
Chaque phase de surveillance comprend la modification de l’activité cérébrale de l’individu I par l’individu I lui-même en vue d’atteindre l’objectif lorsqu’une alerte est restituée à l’individu I. La modification de l’activité cérébrale dépend des phases d’entraînement réalisées au préalable.
Ainsi, chaque phase de surveillance comprend à chaque instant : la mesure de l’activité cérébrale de l’individu I par les capteurs d’électroencéphalographie du casque 12,
- le traitement des mesures par le contrôleur 14 pour obtenir un ensemble de données,
- la comparaison, par le contrôleur 14, de données à au moins un seuil prédéterminé, la génération d’une alerte en fonction du résultat de la comparaison, la restitution de l’alerte générée à l’individu I par l’interface homme- machine 16, et la modification de l’activité cérébrale de l’individu I par l’individu I lui-même lorsqu’une alerte est restituée à l’individu I en fonction des phases d’entraînement effectuées au préalable.
Typiquement, le procédé comprend au moins une phase de surveillance entre deux phases d’entraînement consécutives, avantageusement plusieurs phases de surveillance entre deux phases d’entraînement consécutives. Ainsi, le système d’aide 10 permet d’aider un individu I à surveiller un environnement, notamment par l’envoi d’une alerte à l’individu I pour lui indiquer de modifier son comportement, et notamment son activité cérébrale. Une telle modification est rendue possible par des séances d’entraînement de l’individu I effectuées au préalable.
Un tel système d’aide 10 permet donc de diminuer les risques d’erreurs de décisions ou d’inattention. Un tel système d’aide 10 permet ainsi d’aider l’individu I à surveiller l’environnement de manière efficace, en lui donnant des outils pour contrôler les effets de la fatigue mentale, et agir sur ces effets. Un tel dispositif est, en outre, simple d’utilisation et compatible avec les équipements existants.
L’homme du métier comprendra que l’invention ne se limite pas aux exemples décrits dans la description et que les modes de réalisation décrits précédemment sont susceptibles d’être combinés lorsqu’une telle combinaison est compatible.

Claims

REVENDICATIONS
1. Système (10) d’aide à la surveillance d’un environnement, imagé sur au moins un écran (E), par un individu (I) en charge de la détection d’anomalies dans l’environnement, le système (10) comprenant : a. un casque (12) comprenant des capteurs d’électroencéphalographie (20), le casque (12) étant destiné à être positionné sur la tête de l’individu (I) pour mesurer l’activité cérébrale de l’individu (I), b. un contrôleur (14) configuré pour : i. traiter les mesures effectuées par les capteurs (20) du casque (12) pour obtenir un ensemble de données, ii. comparer des données de l’ensemble à au moins un seuil prédéterminé, et iii. générer une alerte en fonction du résultat de la comparaison, c. une interface homme-machine (16) configurée pour restituer l’alerte générée à l’individu (I), le système (10) présentant deux modes de fonctionnement :
- un premier mode de fonctionnement correspondant à des phases d’entraînement de l’individu (I) au cours desquelles le casque (12) est positionné sur la tête de l’individu (I) et l’individu (I) effectue une tâche cognitive prédéfinie de nature visuelle ou auditive avec un objectif relatif à la nature de la tâche, l’activité cérébrale de l’individu (I) étant destinée à être modifiée par l’individu (I) lui-même en vue d’atteindre l’objectif, et
- un second mode de fonctionnement correspondant à des phases de surveillance au cours desquelles le casque (12) est positionné sur la tête de l’individu (I) et l’individu (I) surveille l’environnement imagé sur l’écran (E) pour détecter des anomalies dans l’environnement, l’activité cérébrale de l’individu (I) étant destinée à être modifiée par l’individu (I) lui-même lorsqu’une alerte est restituée à l’individu (I), la modification de l’activité cérébrale dépendant des phases d’entraînement réalisées au préalable.
2. Système d’aide (10) selon la revendication 1 , dans lequel le seuil prédéterminé est choisi en fonction de la nature des données comparées, le contrôleur (14) étant configuré pour générer une alerte lorsque les données comparées sont strictement inférieures ou supérieures au seuil prédéterminé.
3. Système d’aide (10) selon la revendication 1 ou 2, dans lequel, dans le premier mode de fonctionnement, l’interface homme-machine (16) est configurée pour restituer l’état cérébral courant de l’individu (I), en fonction des données de l’ensemble de données, de sorte que l’activité cérébrale de l’individu (I) est modifiée par l’individu (I) lui-même en vue d’atteindre l’objectif en fonction de l’état courant qui lui est restitué.
4. Système d’aide (10) selon l’une quelconque des revendications 1 à 3, dans lequel la durée de chaque phase d’entraînement est supérieure ou égale à 15 minutes, de préférence égale à 30 minutes.
5. Système d’aide (10) selon l’une quelconque des revendications 1 à 4, dans lequel l’intervalle de temps entre deux phases d’entraînement successives est strictement inférieur à un mois, de préférence strictement inférieur à deux semaines, avantageusement strictement inférieur à une semaine.
6. Système d’aide (10) selon l’une quelconque des revendications 1 à 5, dans lequel l’interface homme-machine (16) est un écran et l’alerte est un message visuel affiché sur l’interface homme-machine (16).
7. Système d’aide (10) selon l’une quelconque des revendications 1 à 5, dans lequel l’interface homme-machine (16) comprend un organe de restitution du son et l’alerte est un signal sonore.
8. Système d’aide (10) selon l’une quelconque des revendications 1 à 7, dans lequel l’interface homme-machine (16) est intégrée dans un dispositif portable, tel qu’un smartphone.
9. Système d’aide (10) selon l’une quelconque des revendications 1 à 8, dans lequel le seuil prédéterminé est un seuil spectrale, l’ensemble de données obtenu par le contrôleur (14) comprenant les caractéristiques spectrales d’au moins une onde représentative de l’activité cérébrale de l’individu (I), la comparaison effectuée par le contrôleur (14) comprenant la comparaison d’au moins une caractéristique spectrale déterminée au seuil prédéterminé.
10. Procédé d’aide à la surveillance d’un environnement, imagé sur au moins un écran (E), par un individu (I) en charge de la détection d’anomalies dans l’environnement, le procédé étant mis en œuvre au moyen d’un système d’aide (10) selon l’une quelconque des revendications 1 à 9, le procédé comprenant : a. des phases d’entraînement de l’individu (I) au cours desquelles le système d’aide (10) est utilisé dans son premier mode de fonctionnement, le casque (12) étant positionné sur la tête de l’individu (I) et l’individu (I) effectuant une tâche cognitive prédéfinie de nature visuelle ou auditive avec un objectif relatif à la nature de la tâche, chaque phase d’entraînement comprenant la modification de l’activité cérébrale de l’individu (I) par l’individu (I) lui-même en vue d’atteindre l’objectif, et b. des phases de surveillance au cours desquelles le système d’aide (10) est utilisé dans son second mode de fonctionnement, le casque (12) étant positionné sur la tête de l’individu (I) et l’individu (I) surveillant l’environnement imagé sur l’écran (E) pour détecter des anomalies dans l’environnement, chaque phase de surveillance comprenant la modification de l’activité cérébrale de l’individu (I) par l’individu (I) lui-même en vue d’atteindre l’objectif lorsqu’une alerte est restituée à l’individu (I), la modification de l’activité cérébrale dépendant des phases d’entraînement réalisées au préalable.
EP20811380.3A 2019-11-27 2020-11-27 Système d'aide à la surveillance d'un environnement et procédé associé Pending EP4064962A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1913312A FR3103373A1 (fr) 2019-11-27 2019-11-27 Systeme d'aide a la surveillance d'un environnement et procede associe
PCT/EP2020/083621 WO2021105351A1 (fr) 2019-11-27 2020-11-27 Système d'aide à la surveillance d'un environnement et procédé associé

Publications (1)

Publication Number Publication Date
EP4064962A1 true EP4064962A1 (fr) 2022-10-05

Family

ID=72560630

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20811380.3A Pending EP4064962A1 (fr) 2019-11-27 2020-11-27 Système d'aide à la surveillance d'un environnement et procédé associé

Country Status (3)

Country Link
EP (1) EP4064962A1 (fr)
FR (1) FR3103373A1 (fr)
WO (1) WO2021105351A1 (fr)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9532748B2 (en) * 2013-04-22 2017-01-03 Personal Neuro Devices Inc. Methods and devices for brain activity monitoring supporting mental state development and training
CN106691443B (zh) * 2017-01-11 2020-06-26 中国科学技术大学 基于脑电的穿戴式司机防疲劳智能监测预警系统
KR20190061726A (ko) * 2017-11-28 2019-06-05 현대자동차주식회사 차량의 운전제어권 조정 시스템 및 방법
CN108903936B (zh) * 2018-07-03 2021-01-26 西安科技大学 基于人体信息和环境信息融合的智能矿用头盔控制方法

Also Published As

Publication number Publication date
FR3103373A1 (fr) 2021-05-28
WO2021105351A1 (fr) 2021-06-03

Similar Documents

Publication Publication Date Title
US12121360B2 (en) Brain-computer interface for facilitating direct selection of multiple-choice answers and the identification of state changes
US6792304B1 (en) Mass communication assessment system
US8612855B2 (en) Method and system for continuous notifications using subliminal and supraliminal cues
US11099384B2 (en) Adjusting display settings of a head-mounted display
Baldwin et al. Mental workload as a function of traffic density: Comparison of physiological, behavioral, and subjective indices
JP6838902B2 (ja) 疑似体験提供装置、疑似体験提供方法、疑似体験提供システム、及びプログラム
JP2020086698A (ja) 画像処理装置、画像処理システム、および画像処理プログラム
US6856913B1 (en) Decentralized patient management method
CN113936297A (zh) 眩晕识别模型的训练方法、装置、电子设备及存储介质
WO2021105351A1 (fr) Système d'aide à la surveillance d'un environnement et procédé associé
JP2018160128A (ja) 画像処理装置、画像処理システム及び画像処理方法
CN115848379A (zh) 一种驾驶员危险驾驶的检测及警示方法
US20200245015A1 (en) Information processing apparatus and non-transitory computer readable medium storing information processing program
CN111568368B (zh) 一种眼球运动异常检测的方法、装置及设备
JP2013047055A (ja) 運転状況記録装置
US12293834B2 (en) Interactive medical communication device
JP2009279146A (ja) 画像処理装置、及びプログラム
EP1996075A2 (fr) Methode de surveillance d'un patient et systeme pour la mise en uvre dudit procede
US20200312269A1 (en) Adjusting display settings of a head-mounted display
FR3096252A1 (fr) Détection robuste de potentiels évoqués via une interface neuronale directe
KR102602027B1 (ko) 뇌기능을 평가하기 위한 과업생성 및 보상 제공 방법, 장치 및 프로그램
CN121221130B (zh) 基于个体化视听范式的神经电生理特征提取方法及系统
TWI892944B (zh) 用於自閉症之輔助評估系統
WO2023047519A1 (fr) Dispositif d'apprentissage, dispositif d'estimation, procédé d'apprentissage, procédé d'estimation, et programme
US20230229372A1 (en) Display device, display method, and computer-readable storage medium

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220525

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230522

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20241217