EP3997687A1 - Dispositif et procede d'analyse du comportement d'un sujet - Google Patents

Dispositif et procede d'analyse du comportement d'un sujet

Info

Publication number
EP3997687A1
EP3997687A1 EP20733848.4A EP20733848A EP3997687A1 EP 3997687 A1 EP3997687 A1 EP 3997687A1 EP 20733848 A EP20733848 A EP 20733848A EP 3997687 A1 EP3997687 A1 EP 3997687A1
Authority
EP
European Patent Office
Prior art keywords
subject
behavior
mission
monitoring
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20733848.4A
Other languages
German (de)
English (en)
Inventor
Serge Couvet
Pierre Cousin
Yannick James
Pascal PEYRONNET
Quentin MICHAL
Pierre-Emmanuel GUILLOU
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP3997687A1 publication Critical patent/EP3997687A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/16—Ambient or aircraft conditions simulated or indicated by instrument or alarm
    • G09B9/165—Condition of cabin, cockpit or pilot's accessories

Definitions

  • the invention relates to the field of behavior analysis, and provides a device and a method for analyzing the behavior of a subject or members of a crew, in particular a crew on board an aeronautical platform.
  • This new need makes it necessary to master the measurement, control, processing, and feedback (to a third party, to a system) of the condition and behavior of the crew, in a real-time or near-real time context. -real.
  • the measurement must be factored into a process that will react to this state and skilled behavior and influence the mission environment, whether the mission is real (effective and operational) or simulated (training and practice).
  • the difficulty lies in designing a method and a system capable of measuring and processing data characteristic of an operational environment and data of a crew in this environment for the purposes of contextualization.
  • the method and the system must be able to provide a restitution of the results of the treatments in a short cycle in real or near real time, either in an open circuit called “open loop” intended for a third observer, such as an instructor. for training and training purposes, either in a closed circuit known as "closed loop” intended for a management system of the platform piloted by the crew, for the purpose of helping to accomplish the mission in depending on the situation of both the crew and their environment.
  • the expected solution must be able to operate both in a real operational context, i.e. on board a real piloted platform, or in a simulated operational context, i.e. on board a simulation of the piloted platform.
  • the solution must also be able to be modular and scalable to take into account, on the one hand, technological development - sensors, processing - to be integrated as and when to provide better finesse (precision, segmentation) and better robustness of the results. , and take into account on the other hand the adaptation to the field and the operational objective to be covered (choice of components and treatments).
  • FP7 ACROSS includes various crew monitoring aspects in the following versions:
  • the present invention proposes to meet the aforementioned needs and to overcome the drawbacks described.
  • An object of the present invention is to provide a solution for analyzing the behavior of a subject (team member or crew) which offers:
  • Another object of the present invention is to provide a solution which allows:
  • the solution addresses the problem of adapting the models to the different possible operations, of being able to compose the models and merge their results, of being able to contextualize (taking into account the environment) the information in order to improve the robustness and accuracy of the results obtained.
  • the invention will find an advantageous application in the fields where it is necessary to monitor or control a crew, an operating team of a platform (aeronautics, land, rail, energy, etc.) both in a real operational context (in operation ), than in a simulated operational context (in training or in training).
  • the preferred applications relate to the study and monitoring of a platform crew (vehicle, system, etc.) both in a simulated context (simulator) and in a real context (for example real aircraft. in flight). These applications allow operation for:
  • Selection may relate to an initial selection of helicopter pilots, selection for progression of helicopter pilots.
  • - crew training and training because it is a means of evaluating a crew's performance, their level of learning and their mastery of the mission, as well as their room for improvement. This may include the training and training of helicopter simulator pilots, the training and training of on-board control system operators, the training and training of air traffic control operators.
  • - monitoring of a crew in operation allows adaptation of the platform system (vehicle, helicopter plane, etc.) according to the condition of the crew members and the operational and environmental situation (reconfiguration information, and its presentation), alerts and initiation of safety procedures according to the condition of the crew members and the operational and environmental situation).
  • This may include monitoring and assisting weapon aircraft pilots, monitoring and assisting helicopter pilots, monitoring and assisting airliner pilots and 'business during flights, monitoring and assistance of drone operators (UAV and UCAV), monitoring and assistance of air traffic controllers.
  • the invention generally consists in setting up a real-time or quasi-real-time platform for the acquisition, control, recording, processing and restitution of the state and behavior of a device. crew.
  • the platform :
  • DDS standardized data bus
  • the data processed by the platform include both parameters from the physical sensors, parameters from the piloted platform, environmental parameters, crew actions on the piloted platform, scene videos, videos of piloting or piloting equipment and interfaces of the piloted platform, audio communication between crew members and with external operators (e.g. air traffic controllers), even with the piloted platform, sounds in the cabin, and notes , markers, annotations or evaluations entered via human-machine interfaces by operators during capture or subsequent analysis.
  • external operators e.g. air traffic controllers
  • All of this data is managed in real or near real time, the data is dated and synchronized when it is captured. They are archived and stored in real or near real time. They are selected to be checked during the acquisition and thus verify the proper functioning of the acquisition.
  • This solution provides a capture, processing and rendering environment in which all the information is dated and synchronized, thus allowing:
  • the invention relates to a device for analyzing and monitoring the behavior of a subject evolving in an operational environment during a mission, the device comprising:
  • the device being characterized in that all or part of said means can be implemented to activate different operating modes for analyzing and monitoring the behavior of the subject.
  • the synchronized acquisition means include sensors capable of acquiring data relating to:
  • the means for processing raw data include algorithmic analysis models operating in real time.
  • the means for generating processed data include means for providing specialized indicators, in particular curves, and alerts reflecting situations detected during the mission.
  • the device further comprises means for deferred processing of the raw data and the processed data.
  • the device further comprising human-machine interfaces capable of displaying instantaneous information on the condition and behavior of the subject.
  • the various operating modes include, in particular, modes of operation for the evaluation of the condition and behavior of the subject in real time or in deferred mode, replay, restitution, counting.
  • the invention also covers a simulator comprising a device for analyzing and monitoring the behavior of a subject as claimed.
  • the invention extends to an aircraft simulation platform comprising a device for analyzing and monitoring the behavior of a subject as claimed.
  • Another object of the invention is a method of analyzing and monitoring the behavior of a subject evolving in an operational environment during a mission.
  • the process comprises the following steps:
  • the step of generating elaborate data consists of instantly providing: - specialized indicators, in particular curves;
  • the method further comprises a step of offline processing of the raw data and of the processed data, said delayed processing making it possible to generate:
  • the invention in another aspect covers a computer program product comprising non-transient code instructions for performing the process steps as claimed when said program is executed on a computer.
  • Figure 1 schematically illustrates the device of the invention in one embodiment
  • FIG. 2a to 2f schematically illustrate different operating modes of the device of the invention
  • FIG. 3 schematically illustrates an example of integration of sensors on a subject
  • Figure 4 schematically illustrates an example of the integration of sensors into a subject's environment
  • FIGS. 5a and 5b illustrate examples of a screen view of a control and monitoring station in the operational phase in real time, according to one embodiment of the invention
  • FIG. 6 illustrates three methods for selecting an instant in the replay phase, according to one embodiment of the invention.
  • FIG. 7 illustrates an example of a view displayed on the screen of a control and monitoring station in the debriefing phase according to one embodiment of the invention.
  • the device of the invention responds to the problem of measuring and evaluating the condition and behavior of a subject (team member / crew) during a mission that he is leading, immersed in its operational environment (a platform, a mission system), and to provide the information necessary to act on the system or platform operated by the subject and to act on the subject himself.
  • the proposed device allows an analysis of the behavior of a subject
  • a synchronized acquisition of a plurality of complementary raw data / parameters during a mission In one embodiment, four types of data or parameters are acquired:
  • example simulator providing contextualization elements through state and situation data in the mission (eg flight phase); - subjective parameters acquired by the subject himself (self-evaluation) or by expert observers (subjective evaluation) in the form of markers, annotation or performance evaluation, providing the operational vision and "field reality" observed by an expert;
  • the device of the invention comprises several functions and associated means, described with reference to Figure 1.
  • the crew tracking device (100) comprises the following functional modules:
  • immersion environment' module this is the environment close to the subject and the system with which he is in physical relationship (system or platform with which the subject interacts). It can be a simulated platform (in the case of a simulator), a real platform (in the case of an aircraft or a workstation, etc.).
  • the immersion environment within the meaning of the present invention comprises the integration of the measurement means (interface, arrangement, interference, etc.) in the platform considered and the interface with the real or simulated platform in order to extract the state parameters and subject actions.
  • capture module this is all the means / functions (104-1) making it possible to “objectively” measure the various personal parameters of the subject, from physiological sensors, but also the means / functions (104-2) to measure “subjectively” (by self-evaluation, evaluation by a third party, event marking) elements of the subject's state and behavior.
  • COTS Commercial Off-The-Shelf
  • the sensors can be video (for example cameras), audio (for example microphones), cardiac (HR / RRI signals - Heart Rate / RR Interval), Electro-CardioGram (ECG), skin temperature sensors (Skin T °), NIRS (Near InfraRed Spectroscopy) sensors, Electro-EncephaloGram (EEG), Electro-OculoGraphy (EOG), Electro-Dermal Activity (EDA), as well as Oculometry and steering sensors gaze and inertial units (IMU).
  • the capture function is able to manage the problem of the operational compatibility of the various capture means.
  • processing and analysis module this is all the processing and analysis means / functions carried out in real time, making it possible, on the one hand, to extract information (by filtering, correlation, etc.) from the measurements made by the capture means, and on the other hand to evaluate the states and behaviors of the subject to from the measured elements.
  • the processing and analysis function is able to merge the data with the contextualization.
  • the processing is carried out through algorithmic analysis models operating in real time.
  • acquisition and recording module this is a device interfaced on the one hand with the capture module (104), and on the other hand with the 'immersion environment' module ( 102) in order to acquire in real time all the parameters and data in a synchronized manner, and by ensuring their recording for restitution or analysis.
  • the acquisition and recording function is able to carry out both communication between all the real-time components as well as the recording and archiving of recorded data.
  • control module this is all the means / functions allowing, in real time, to control and monitor the parameters measured and acquired on the subject and on the platform (or system), as the results of the treatments, all in coincidence and in a synchronized manner.
  • the control function applies to physiological, operational, and technical aspects.
  • the control module can be connected to the operating module (1 16) in order to take into account the results in the context of carrying out the mission carried out by the subject.
  • this is all the means / functions allowing outside real-time (that is to say in phases after recording but integrated into the mission process , such as for example the debriefing) to provide an assessment and a representation of the elements measured (the data and parameters recorded) through an analysis, replay, annotation, evaluation, concerning the state and the behavior of the subject during his mission.
  • the implementation of the restitution function can be carried out in isolation from the acquisition and recording platform by using archived data directly or in a manner connected to the acquisition and recording platform in replay mode, the latter manner also making it possible to implement the functionalities of the control module (1 10).
  • this is all the means / functions that allow the results of real-time analysis of the state and behavior of the subject to be fed back into the management of the system or of the real or simulated platform operated (for example through a platform management system) in order to act on it to take into account the state and behavior of the subject and carry out the actions necessary to carry out the the mission, only on the subject itself (for example in the form of an alert, instruction, etc.) so that he can act as best he can to achieve his mission.
  • the operating function may cooperate with the monitoring function (1 10) to provide monitoring and representation of the subject's condition and behavior. As part of training and training this exploitation towards the subject can be done by the instructor.
  • the transfers and exchanges of data from the various modules are carried out via the DDS (“Data Distribution Service”) communication standard which is an advanced data exchange technology, via a synchronized data bus allowing "hot plug-and-play”.
  • DDS Data Distribution Service
  • some of the functions are automated, such as capture, processing (real-time), acquisition and recording, control, while others such as restitution, analysis, exploitation, can involve a humane treatment to analyze and use the information.
  • Crew Monitoring focusing on the observation and evaluation of the “human”, it is essential to identify the different functions or roles played by the various “human” stakeholders.
  • the main (human) roles are defined below: - (120) Subject: it is about rum (s) being the object of the observation and the evaluation during the execution of a mission (real or simulated, in operation or in formation / training). It can be alone (a pilot) or represent a group of “humans” operating together (eg a crew or a team).
  • FIG. 3 illustrates an example of integration of sensors which consists in diverting usual objects already present in the cockpit or the pilot's clothing in order to equip them with sensors so as not to add disturbing elements and thus reduce the discomfort. It can thus be implemented sensors on:
  • the bracelet can be equipped with heart rate, humidity (perspiration), temperature, accelerometer and inertial (IMU) sensors;
  • the garment can support, integrated into the fabric, sensors for body temperature, ECG electrocardiogram and heart rate, and acceleration (IMU);
  • the seat can be fitted with pressure and temperature sensors;
  • the headset can in addition to the microphone which is a voice sensor, support EEG (or even EOG) sensors, accelerometer and IMU, and a face camera.
  • FIG. 4 illustrates an example of integration of remote sensors close to the subject or the crew.
  • Remote sensors include various cameras (scene cameras (402), face cameras (404), 3D cameras (406), gaze tracking cameras (408)), fixed (integrated in the dashboard and / or pillars ) in the cockpit. These cameras are able to capture the scene (attitude of the pilot, actions carried out, etc.), to deduce therefrom postures, facial expressions, all information useful for the evaluation of behavior.
  • the other actors of the device of the invention are:
  • this is the human (s) monitoring and observing the mission in progress. He observes both the state and behavior of the subject and the situation of the mission. He may be called upon to comment and declare his perception of the subject's situation and the progress of the mission. In some cases he may also need to interact with the subject (eg case of an instructor).
  • the observer can be a person or a group of people.
  • An observer can also be an "Evaluator" operating from the real-time exploitation of various information on the progress of the mission and the states and behaviors of the subject and of the platform. He provides an assessment of the situation, which may in some cases allow him to intervene directly on the subject (eg the case of an instructor).
  • the assessor can be one person or a group of people.
  • all or part of the modules can be operated. Different operating modes are described with reference to FIGS. 2a to 2f, where the different modules of the platform which are activated are represented in a more contrasted manner than the non activated modules.
  • FIG. 2a illustrates the so-called open-loop operational mode.
  • This is a mode that allows the capture, observation and evaluation of the subject's condition and behavior.
  • the 'immersion environment' (102), capture (104), processing and analysis (106), acquisition and recording (108) and control (1 10) modules are implemented.
  • the subject (120), the observer (122) and the evaluator (122) are actors. It should be noted that this mode is recommended for monitoring a subject in the training or training phase (presence of an evaluator - subject relationship), as well as for monitoring the performance and efficiency of the interface. man-machine of the platform.
  • FIGS. 5a and 5b illustrate examples of a screen view of a control and monitoring station in the operational phase in real time according to one embodiment of the invention.
  • the views are those displayed on the control and monitoring post during the execution of a mission.
  • the view in figure 5a shows:
  • the view in Figure 5b uses the same display except for the markers and annotations which are replaced by a subjective evaluation input area.
  • FIG. 2b illustrates the so-called closed loop operational mode.
  • This is a mode which makes it possible to use in real time the evaluation of the state and behavior of a subject during a mission and to provide a loopback to the system (for example an aircraft) in which it evolves.
  • the 'immersion environment' (102), capture (104), processing and analysis (106), acquisition and recording (108), control (1 10) and operation (1 16) modules are implemented.
  • This mode works without human intervention (observer, evaluator) other than the subject studied. It should be noted that this mode is recommended as a means of advanced man-machine interface.
  • FIG. 2c illustrates the operational mode called replay + declaration.
  • This is a mode which makes it possible to replay in real time (ie under real conditions) an already recorded session and to be able to add annotations and event marking to it.
  • the subjective capture (104-2), acquisition and recording modules (108) and control (1 10) are implemented.
  • the observer / evaluator (122) is an actor in this replay + declaration mode. It should be noted that this mode is recommended for the session “debriefing” phases.
  • FIG. 2d illustrates the operational mode called replay + processing / analysis.
  • This is a mode that allows you to replay in real time (i.e. under real conditions) an already recorded session and to be able to add analysis processing in real time.
  • the processing and analysis (106), acquisition and recording (108) and control (110) modules are implemented.
  • the evaluator (122) is involved in this replay + processing / analysis mode. It should be noted that this mode is recommended for fine-tuning processing and analysis models, but also for completing and refining analysis processing by performing new analyzes.
  • FIG. 2e illustrates the operational mode known as restitution.
  • This is a mode that allows you to analyze the data recorded during a session and apply non-real-time (or deferred) processing to it to produce and present the resulting information in relation to the application.
  • the acquisition and recording (108), and restitution (1 12) modules are implemented.
  • the analyst (124) is an actor in this mode of restitution. It should be noted that this mode is recommended for the debriefing and after-action analysis phases to prepare reports. Access to recorded information, its restitution and its positioning at a given time is achieved through the selection of an instant and the synchronized replay of all the information over the desired period of time (sequence).
  • the selected instant is designated according to three complementary methods, illustrated in Figure 6:
  • FIG. 7 illustrates an example of a view displayed on the screen of a control and monitoring station in the debriefing phase according to one embodiment of the invention.
  • the view displays:
  • FIG. 2f illustrates the operational mode called counting. This is a mode which makes it possible to carry out heavy processing on the data, by exporting the data recorded in analysis environments while providing a means of restitution which will make it possible to guide these processing operations.
  • this mode the acquisition and recording (108), restitution (1 12) and analysis (1 14) modules are put in artwork. It should be noted that this mode is recommended for longitudinal follow-up processing, for the adaptation and emergence of real-time or non-real-time analysis models.
  • the proposed solution provides an open architecture for capturing (measuring), observing, analyzing, evaluating and recording contextualized human state and behavior. It solves the problem posed by:
  • the mechanism is based on standards and offers openness and adaptability of the system to connect new components (whether capture, processing, playback) and / or replace components present;
  • the present invention provides notable innovations in several aspects:
  • a mobile platform such as an aircraft (plane, helicopter, convertible, drone), railway equipment, a vehicle, etc. ;
  • control or management of an industrial system such as a power plant
  • - piloting or driving a control center such as an air traffic control center, a rail control center, a traffic control center;

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

La présente invention concerne un dispositif et un procédé d'analyse du comportement d'un sujet évoluant dans un environnement opérationnel au cours d'une mission. Le dispositif comprend : - des moyens d'acquisition synchronisée d'une pluralité de données brutes relatives au sujet, à l'environnement opérationnel et à la mission; - des moyens de traitement croisé à la volée des données brutes acquises; et - des moyens de génération en temps-réel de données élaborées issues des traitements croisés, fournissant des informations instantanées sur l'état et le comportement du sujet; le dispositif est caractérisé en ce que tout ou partie desdits moyens peuvent être mis en œuvre pour activer différents modes opératoires d'analyse et de suivi du comportement du sujet.

Description

Dispositif et Procédé d’analyse du comportement d’un sujet
Domaine technique
L’invention concerne le domaine de l’analyse du comportement, et propose un dispositif et un procédé permettant une analyse du comportement d’un sujet ou des membres d’un équipage, notamment un équipage à bord d’une plateforme aéronautique.
Etat de la technique
Il apparaît dans de nombreux domaines industriels et en particulier dans le domaine de l’aéronautique, un besoin nouveau de pouvoir mesurer et analyser l’état et le comportement d’un sujet ou d’un équipage au cours de sa mission, non plus dans un objectif de recherche et d’expérimentation sur le comportement humain, mais dans un objectif d’amélioration de la réalisation de la mission opérationnelle - amélioration de la sécurité, adaptation à la situation opérationnelle - et pouvant également se décliner dans une utilisation pour des phases de formation et d’entraînement - sélection, mesure de l’apprentissage, adaptation de l’exercice aux réactions et comportement de l’équipage.
Ce besoin n’était pas abordé jusqu’à présent avec les mêmes objectifs, il s’agissait principalement de faire des mesures sur les sujets (équipage) puis dans une phase de dépouillement postérieure à l’acquisition des mesures utilisant des capteurs physiologiques, de réaliser une analyse des états et comportements, l’approche étant plus axée sur un travail scientifique que sur une exploitation opérationnelle immédiate. Les solutions de ces approches existantes se caractérisent essentiellement par :
- un traitement hors temps-réel de l’analyse du comportement, réalisé lors d’une phase de dépouillement postérieure aux acquisitions, ces dernières étant effectuées dans un contexte de recherche (à des fins d’étude) et non intégrées dans un processus opérationnel ;
- une capture des données centrée sur un type de capteur et ne couvrant pas un spectre plus important de données physiologiques, rendant plus difficile la corrélation des données et limitant la robustesse de l’évaluation ainsi que le niveau de fausse-alarme ; - une captation des mesures sans processus de synchronisation intégré au niveau de l’acquisition, rendant plus difficile l’exploitation et l’analyse ;
- l’absence de prise en compte de l’environnement et de contextualisation des informations physiologiques mesurées, apportant un risque accru d’erreur d’interprétation ou de mauvaise compréhension de la situation, la capture et le traitement étant centrés uniquement sur les aspects physiologiques de l’équipage.
Ce besoin nouveau rend nécessaire la maîtrise de la mesure, du contrôle, du traitement, de la restitution (à un tiers, à un système) de l’état et du comportement de l’équipage, dans un contexte de temps-réel ou quasi-réel. La mesure doit être prise en compte dans un processus qui réagira à cet état et ce comportement qualifié et influera sur l’environnement de la mission, que celle-ci soit réelle (effective et opérationnelle) ou simulée (formation et entraînement).
La difficulté consiste à concevoir un procédé et un système aptes à mesurer et traiter des données caractéristiques d’un environnement opérationnel et des données d’un équipage dans cet environnement aux fins d’une contextualisation. Le procédé et le système doivent être en mesure de fournir une restitution des résultats des traitements dans un cycle court en temps-réel ou quasi-réel, soit en circuit ouvert dit « boucle ouverte » à destination d’un tiers observateur, tel un instructeur pour des fins de formation et d’entraînement, soit en circuit fermé dit « boucle fermée » à destination d’un système de gestion de la plateforme pilotée par l’équipage, pour des fins d’aide à l’accomplissement de la mission en fonction de la situation tant de l’équipage que de son environnement.
La solution attendue doit pouvoir opérer à la fois dans un contexte opérationnel réel, i.e. à bord d’une plateforme pilotée réelle, ou dans un contexte opérationnel simulé, i.e. à bord d’une simulation de la plateforme pilotée. La solution doit de plus pouvoir être modulable et évolutive pour tenir compte d’une part de l’évolution technologique - capteurs, traitements - à intégrer au fur et à mesure pour apporter une meilleure finesse (précision, segmentation) et une meilleure robustesse des résultats, et tenir compte d’autre part de l’adaptation au domaine et à l’objectif opérationnel à couvrir (choix des composants et des traitements).
Les principales approches connues sont des travaux menés dans le domaine automobile sur des systèmes de suivi, étudiant la fatigue, l’endormissement du conducteur, la position du véhicule sur la voie. Le document de référence WP9 « Crew Monitoring » issu du projet européen
7ePCRD ACROSS regroupe différents aspects de suivi d’équipage dans les versions suivantes :
- WP9.2 "Crew status characterization for Crew Monitoring System” ACROSS-WP9- DAV-TECH-DEL-0002-D9.2.1 ;
- WP9.3 “Spécifications for operational Crew Monitoring System” ACROSS-WP9- DAV-TECH-DEL-0003-D9.3.1 ;
- WP9.3 “Spécifications for a Démonstration Crew Monitoring System” ACROSS- WP9-DAV-TECH-DEL-0003-D9.3.2;
- WP9.5 “Synthesis of évaluation / démonstration results “ ACROSS-WP9-DAV- TECH-DEL-0006-D9.5-2;
- WP9.5“Recommendations for architecture and technologies” ACROSS-WP9-DAV- TECH-DEL-0005-D9.5-3.
Les inconvénients des solutions existantes sont entres autres :
- elles ne prennent pas en compte les données d’environnement (données non physiologiques), ce qui empêche de contextualiser ces mesures et ainsi de limiter les possibilités de détecter des incohérences, d’éliminer de mauvaises interprétations d’état et de comportement et de préciser ceux-ci, ce qui permettrait d’améliorer le taux de fausse-alarme et la robustesse des résultats obtenus ;
- elles ne généralisent, ne systématisent et ne concentrent pas l’acquisition des données issues à la fois des capteurs et des plateformes pilotées et conduites au travers d’un bus d’acquisition standard offrant les services de connexion/déconnexion, de synchronisation, ce qui permettrait de connecter tout système fournissant de l’information et ainsi de mutualiser cette information exploitable ;
- elles ne fournissent pas un cadre qui permette d’associer et d’enchaîner les traitements d’analyse et de production de restitution (vue de contrôle et d’analyse) dans une exploitation temps-réel ou quasi-réel des données, qui permette aux observateurs ou au système de réagir dans l’instant à l’état et au comportement interprété.
La présente invention propose de répondre aux besoins précités et pallier les inconvénients décrits.
Résumé de l’invention Un objet de la présente invention est de proposer une solution d’analyse du comportement d’un sujet (équipier ou équipage) qui offre :
- une approche multi-capteurs permettant de capturer simultanément plusieurs grandeurs physiologiques à des fins de renforcement de la robustesse et de réduction du taux de fausse-alarme ;
- la prise en compte de données d’environnement (issues de la plateforme pilotée- conduite) à l’instar des données et paramètres physiologiques issus de capteurs associés au sujet (ou à l’équipage) ;
- des moyens de synchroniser tous les paramètres d’acquisition de données quelle que soit leur origine (capteur, plateforme pilotée/conduite, évaluation subjective) ou leur nature (paramètre, vidéos, audios, etc.) afin de pouvoir les corréler, les superposer à des fins de contrôle, d’analyse et de traitement ;
- un cadre qui permette d’intégrer, de relier, de composer, des modèles de traitement d’analyse et de restitution adaptés au besoin et à l’exploitation recherchée ;
- un fonctionnement temps-réel ou quasi-réel des différents composants assurant l’acquisition, le contrôle le traitement, l’enregistrement et la restitution des données.
Un autre objet de la présente invention est de proposer une solution qui permette :
- la capture et la mesure de l’état et du comportement des membres d’équipage, au travers de différents capteurs, en gérant la problématique de l’interfaçage de différents capteurs, la synchronisation et la datation des données acquises, leur enregistrement et la possibilité de les rejouer de manière synchronisée ;
- l’analyse de l’état et du comportement des membres d’équipage afin de détecter et de déterminer des caractéristiques physiologiques et cognitives telles que l’incapacité, la charge de travail, la conscience de la situation, le niveau d’apprentissage, etc. en gérant la contrainte fondamentale d’un fonctionnement en temps-réel ou quasi-réel permettant d’insérer le système dans une boucle de réaction en interface avec l’équipage, avec des observateurs de l’équipage, voire avec un système gérant l’environnement dans lequel évolue l’équipage. De plus la solution aborde la problématique d’adapter les modèles aux différentes exploitations possibles, de pouvoir composer les modèles et fusionner leurs résultats, de pouvoir contextualiser (prise en compte de l’environnement) les informations afin d’améliorer la robustesse et la justesse des résultats obtenus.
- le suivi et la restitution des données mesurées et des résultats d’analyse en gérant la problématique de fournir en temps-réel ou quasi-réel des informations pertinentes à la réussite de la mission qu’elle soit opérationnelle (informations vers les opérateurs, vers les systèmes opérationnels) ou de formation et d’entraînement (information vers les instructeurs, formateurs, etc.).
L’invention trouvera une application avantageuse dans les domaines où il est nécessaire de suivre ou contrôler un équipage, une équipe de conduite d’une plateforme (aéronautique, terrestre, ferroviaire, énergétique, etc.) tant dans un contexte opérationnel réel (en opération), que dans un contexte opérationnel simulé (en formation ou en entraînement).
Les applications privilégiées concernent l’étude et le suivi d’un équipage (« Crew Monitoring » en anglais) de plateforme (véhicule, système, etc.) tant dans un contexte simulé (simulateur) que dans un contexte réel (par exemple avion réel en vol). Ces applications permettent une exploitation pour :
- la sélection des équipages car c’est un moyen d’évaluation de l’aptitude des membres d’équipage à réaliser une mission en fonction des conditions opérationnelles proposées. La sélection peut porter sur une sélection initiale de pilotes d’hélicoptère, une sélection pour progression des pilotes d’hélicoptère.
- la formation et l’entraînement des équipages car c’est un moyen d’évaluation de la performance d’un équipage, de son niveau d’apprentissage et de sa maîtrise de la mission, ainsi que de sa marge de progression. Il peut s’agir de la formation et l’entraînement des pilotes d’hélicoptère sur simulateur, de la formation et l’entraînement des opérateurs de système de contrôle embarqué, de la formation et l’entraînement des opérateurs de contrôle aérien.
- l’aide à la conception des postes de pilotage (aéronef), de conduite (véhicules), ou de commande/contrôle car c’est un moyen d’aide à l’évaluation de l’efficacité d’un design de poste de pilotage, de conduite ou de poste de commande/contrôle en fonction de la mission, des conditions de la mission et de l’aptitude des membres d’équipage. Il peut s’agir d’une aide à la conception des cockpits ou d’avionique d’hélicoptère, d’une aide à la conception des cockpits ou d’avionique d’avions de ligne et d’affaire. - l’aide à l’évaluation et à la certification de nouveaux postes de pilotage, de conduite ou de commande/contrôle ou de nouveaux équipements électroniques embarqué. Il peut s’agir de l’aide à la conception des postes de contrôle des drones (UAV et UCAV), de l’aide à la conception des postes de contrôle aériens.
- le suivi en opération d’un équipage : permet l’adaptation du système de la plateforme (véhicule, avion hélicoptère, etc.) en fonction de l’état des membres d’équipage et de la situation opérationnelle et d’environnement (reconfiguration des informations, et de leur présentation), alertes et enclenchement de procédures de sécurité en fonction de l’état des membres d’équipage et de la situation opérationnelle et d’environnement). Il peut s’agir du suivi et de l’assistance des pilotes d’avion d’arme, du suivi et de l’assistance des pilotes d’hélicoptère, du suivi et de l’assistance des pilotes d’avion de ligne et d’affaire lors des vols, du suivi et de l’assistance des opérateurs de drone (UAV et UCAV), du suivi et de l’assistance des contrôleurs aériens.
- l’aide à la personnalisation des programmes de distraction et des services de communications à bord des avions de ligne.
Ainsi avantageusement, l’exploitation de la solution proposée concerne potentiellement un grand nombre d’applications pratiques qui touchent différents acteurs industriels et opérationnels.
Pour atteindre ces objectifs, l’invention généralement consiste à mettre en place une plateforme temps-réel ou quasi-réel, d’acquisition, de contrôle, d’enregistrement, de traitement et de restitution de l’état et du comportement d’un équipage. La plateforme :
- est connectée à une pluralité et diversité de capteurs mesurant les paramètres physiologiques de l’équipage ;
- est connectée au système piloté par l’équipage (plateforme aéronautique ou terrestre, réelle ou simulée, etc.), qui fournit des paramètres de son état, d’environnement et sur les actions effectuées par l’équipage ;
- intègre des modules de traitement et d’analyse en interface des paramètres capturés (issus des capteurs ou du système piloté), mais également pouvant s’interfacer à des fins de composition de traitements ;
- utilise un bus de données standardisé (DDS) assurant une répartition très facile des traitements sur une ou plusieurs machines connectée(s) à un même réseau local, et une connexion et déconnexion « à chaud » des capteurs et des modèles, ce qui facilite les arrêts et les relances des applications sans arrêter la session de mesure.
Les données traitées par la plateforme comprennent à la fois des paramètres issus des capteurs physiques, des paramètres issus de la plateforme pilotée, des paramètres d’environnement, des actions de l’équipage sur la plateforme pilotée, des vidéos de scène, des vidéos des équipements et interfaces de pilotage ou de conduite de la plateforme pilotée, l’audio de communication entre les membres d’équipages et avec des opérateurs externes (ex. contrôleurs aériens), voire avec la plateforme pilotée, les sons en cabine, et des notes, marqueurs, annotations ou évaluations saisies via des interfaces homme-machine par des opérateurs lors de la capture ou de l’analyse ultérieure.
L’ensemble de ces données est géré en temps-réel ou quasi-réel, les données sont datées et synchronisées au moment de leur capture. Elles sont archivées et stockées en temps réel ou quasi-réel. Elles sont sélectionnâmes pour être contrôlées lors de l’acquisition et ainsi vérifier le bon fonctionnement de l’acquisition.
Elles peuvent également être marquées ou « taggées » en positionnant des marqueurs datés supportant des informations d’intérêt. Il est possible de fonctionner soit en mode « contrôle » suivi temps-réel ou quasi-réel de l’évolution des paramètres avec audition et visualisation des audios et vidéos, soit en mode « dépouillement » avec le rejeu des données et leur visualisation.
Il est également possible de sélectionner les traitements qui sont effectivement effectués tant en mode « contrôle » qu’en mode « dépouillement ».
Cette solution permet de disposer d’un environnement de capture, de traitement et de restitution dont l’ensemble des informations sont datées et synchronisées permettant ainsi :
- de fournir un contrôle temps réel ou quasi-réel des données capturées (paramètres, vidéos, audios) observables ;
- de fournir une restitution temps-réel ou quasi-réel des résultats des traitements de détection, identification, qualification des états et comportements d’équipage ;
- la contextualisation des paramètres physiologiques à partir des données issues de la plateforme pilotée, des actions opérées par l’équipage et l’environnement, opérée par les modèles de traitement ; - d’adapter le système aux capteurs (en type et en nombre) nécessaires à l’exploitation envisagée ;
- d’adapter le système aux traitements nécessaires pour analyser et élaborer les états et comportements demandés ainsi qu’à élaborer leur restitution ;
- d’adapter le système au besoin de restitution (contenu et forme) associé à l’exploitation qui en est faite.
Pour atteindre ces objectifs, l’invention a pour objet un dispositif d’analyse et de suivi du comportement d’un sujet évoluant dans un environnement opérationnel au cours d’une mission, le dispositif comprenant :
- des moyens d’acquisition synchronisée d’une pluralité de données brutes relatives au sujet, à l’environnement opérationnel et à la mission ;
- des moyens de traitement à la volée des données brutes acquises ; et
- des moyens de génération de données élaborées issues des traitements à la volée, fournissant des informations en temps réel sur l’état et le comportement du sujet ;
le dispositif étant caractérisé en ce que tout ou partie desdits moyens peuvent être mis en oeuvre pour activer différents modes opératoires d’analyse et de suivi du comportement du sujet.
Selon des modes de réalisation alternatifs ou combinés :
- les moyens d’acquisition synchronisée comprennent des capteurs aptes à acquérir des données relatives à :
- des paramètres physiologiques du sujet ;
- des paramètres techniques de contextualisation de la mission ;
- des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs;
- des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l’environnement opérationnel.
- les moyens pour traiter les données brutes comprennent des modèles algorithmiques d’analyse fonctionnant en temps-réel.
- les moyens pour générer des données élaborées comprennent des moyens pour fournir des indicateurs spécialisés, notamment des courbes, et des alertes traduisant des situations détectées au cours de la mission. - le dispositif comprend de plus des moyens de traitement différé des données brutes et des données élaborées.
- le dispositif comprenant de plus des interfaces homme-machine aptes à afficher les informations instantanées sur l’état et le comportement du sujet.
- les différents modes opératoires comprennent notamment des modes d’exploitation de l’évaluation de l’état et du comportement du sujet en temps-réel ou en différé, de rejeu, de restitution, de dépouillement.
L’invention couvre aussi un simulateur comprenant un dispositif d’analyse et de suivi du comportement d’un sujet tel que revendiqué.
L’invention s’étend à une plateforme de simulation d’aéronef comprenant un dispositif d’analyse et de suivi du comportement d’un sujet tel que revendiqué.
Un autre objet de l’invention est un procédé d’analyse et de suivi du comportement d’un sujet évoluant dans un environnement opérationnel au cours d’une mission. Le procédé comprend les étapes suivantes :
- acquisition synchronisée d’une pluralité de données brutes relatives au sujet, à l’environnement opérationnel et à la mission ;
- traitement à la volée des données brutes acquises ; et
- génération de données élaborées à partir des traitements à la volée, fournissant des informations en temps réel sur l’état et le comportement du sujet ;
lesdites étapes permettant d’activer différents modes opératoires d’analyse et de suivi du comportement du sujet.
Dans des modes de réalisation alternatifs ou combinés du procédé :
- la pluralité de données brutes acquises comprend :
- des paramètres physiologiques du sujet ;
- des paramètres techniques de contextualisation de la mission ;
- des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs;
- des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l’environnement opérationnel.
- l’étape de générer des données élaborées consiste à fournir instantanément : - des indicateurs spécialisés, notamment des courbes ;
- des alertes traduisant des situations détectées au cours de la mission.
- le procédé comprend de plus une étape de traitement en différé des données brutes et des données élaborées, ledit traitement différé permettant de générer:
- des indicateurs présentés de manière temporelle, dans leur durée, ou leur ponctualité datée ;
- d’éventuels écarts ou déviations par rapport à un suivi conforme aux procédures qui auraient normalement dû être suivies ;
- des marqueurs datés correspondant notamment à des événements détectés, déclarés ;
- des données géographiques positionnées sur une vue cartographique, notamment une trajectoire ;
- un ensemble de fenêtres spécialisées présentant des informations synthétiques, notamment le suivi du regard, les zones observées par le sujet, des statistiques ;
- un ensemble de vidéos et d’audios sélectionnées parmi les enregistrements réalisés au cours du déroulement de la mission.
L’invention dans un autre aspect couvre un produit programme d’ordinateur comprenant des instructions de code non transitoire permettant d’effectuer les étapes du procédé tel que revendiqué lorsque ledit programme est exécuté sur un ordinateur.
Description des figures
Différents aspects et avantages de l’invention vont apparaître en appui de la description d’un mode préféré d’implémentation de l’invention mais non limitatif, avec référence aux figures ci-dessous :
La figure 1 illustre schématiquement le dispositif de l’invention dans un mode de réalisation ;
Les figures 2a à 2f illustrent schématiquement différents modes opératoires du dispositif de l’invention ; La figure 3 illustre schématiquement un exemple d’intégration de capteurs sur un sujet ;
La figure 4 illustre schématiquement un exemple d’intégration de capteurs dans l’environnement d’un sujet ;
Les figures 5a et 5b illustrent des exemples de vue d’écran d’un poste de contrôle et de suivi en phase opérationnelle en temps-réel, selon un mode de réalisation de l’invention;
La figure 6 illustre trois modalités pour la sélection d’un instant en phase de rejeu, selon un mode de réalisation de l’invention ; et
La figure 7 illustre un exemple d’une vue affichée sur l’écran d’un poste de contrôle et de suivi en phase de débriefing selon un mode de réalisation de l’invention.
Description détaillée de l’invention
D’une manière générale, le dispositif de l’invention répond à la problématique de mesurer et d’évaluer l’état et le comportement d’un sujet (équipier/équipage) au cours d’une mission qu’il mène, immergé dans son environnement opérationnel (une plateforme, un système de mission), et de fournir les informations nécessaires pour agir sur le système ou la plateforme opéré(e) par le sujet et agir sur le sujet lui-même.
Le dispositif proposé permet une analyse du comportement d’un sujet
(équipier/équipage) au cours d’une mission, dans des conditions réelles ou restituées (simulation), et se base sur :
(1 ) Une acquisition synchronisée d’une pluralité de données/paramètres bruts complémentaires au cours d’une mission. Dans un mode de réalisation, quatre types de données ou paramètres sont acquis :
- des paramètres physiologiques mesurant les caractéristiques personnelles du sujet au travers de capteurs ;
- des paramètres techniques issus de la plateforme (exemple simulateur) apportant les éléments de contextualisation au travers de données d’état et de situation dans la mission (ex. phase de vol) ; - des paramètres subjectifs acquis par le sujet lui-même (auto-évaluation) ou par des observateurs experts (évaluation subjective) sous forme de marqueurs, d’annotation ou d’évaluation de performance, apportant la vision opérationnelle et la « réalité terrain » observée par un expert ;
- des données audio et vidéo enregistrant, illustrant et visualisant les actions du sujet, ses mouvements, et les interactions avec son environnement opérationnel.
(2) Un traitement à la volée des données brutes acquises de manière simultanée, dans le but de fournir instantanément une vision de l’état et du comportement du sujet sous la forme d’une :
- production d’informations élaborées restituées (et visualisées) sous la forme d’indicateurs spécialisés (courbes, échantillonnage, etc.) ;
- production d’alertes s’appliquant sur les informations élaborées traduisant une situation (sujet + opération) remarquable rencontrée lors de l’exécution de la mission (passage d’un seuil défini suite à une focalisation excessive sur un instrument), à porter immédiatement à la connaissance des observateurs.
(3) Un traitement en différé des données brutes et des données élaborées au cours de la mission, dans le but de détecter et de restituer les éléments de comportement qui serviront à l’analyse et à la démarche pédagogique (débriefing), sous la forme :
- d’indicateurs (paramètres bruts ou élaborés, alertes, etc.) présentés de manière temporelle, dans leur durée, ou leur ponctualité datée ;
- d’éventuels écarts ou déviations par rapport à un suivi conforme aux procédures qui auraient normalement dû être suivies ;
- de marqueurs datés correspondant à des événements détectés (exemple alertes), déclarés, etc. ;
- de données géographiques positionnées sur une vue cartographique (exemple trajectoire de la plateforme) ;
- d’un ensemble de fenêtres spécialisées présentant des informations synthétiques (par exemple le suivi du regard, les zones observées par le sujet, des statistiques, etc.) ;
- d’un ensemble de vidéos et d’audios sélectionnées parmi les enregistrements réalisés au cours du déroulement de la mission. Dans la suite de la description, il est indiqué l’expression « temps-réel », pour couvrir la réalisation des fonctions en temps-réel ou quasi-réel.
Le dispositif de l’invention comprend plusieurs fonctions et moyens associés, décrits en référence à la figure 1. Comme illustré sur la figure 1 , le dispositif (100) de suivi d’équipage comprend les modules fonctionnels suivants :
- (102) module‘environnement d’immersion’ : il s’agit de l’environnement proche du sujet et du système avec lequel il est en relation physique (système ou la plateforme avec lequel le sujet interagit). Il peut s’agir d’une plateforme simulée (dans le cas d’un simulateur), d’une plateforme réelle (dans le cas d’un aéronef ou d’un poste de travail, etc.). L’environnement d’immersion au sens de la présente invention comporte l’intégration des moyens de mesure (interface, disposition, interférence, etc.) dans la plateforme considérée et l’interface avec la plateforme réelle ou simulée afin d’en extraire les paramètres d’états et les actions du sujet.
- (104) module de capture : il s’agit de l’ensemble des moyens/fonctions (104-1 ) permettant de mesurer « objectivement » les différents paramètres personnels du sujet, à partir de capteurs physiologiques, mais également des moyens/fonctions (104-2) de mesurer « subjectivement » (par auto-évaluation, évaluation par un tiers, marquage d’événement) des éléments d’état et de comportement du sujet. Ces moyens prennent en compte des capteurs du commerce dits « COTS » (Commercial Off-The-Shelf), des dispositifs de capture composés de divers capteurs élémentaires. Sans limitation, les capteurs peuvent être des capteurs vidéo (par exemple caméras), audio (par exemple microphones), cardiaques (signaux HR/RRI - Heart Rate / RR Interval), Electro- CardioGramme (ECG), des capteurs de température de peau (Skin T°), des capteurs NIRS (Near InfraRed Spectroscopy) , des Electro-EncephaloGramme (EEG), des Electro-OculoGraphy (EOG), des Electro-Dermal Activity (EDA), ainsi que des capteurs d’Oculométrie et de direction du regard et des centrales inertielles (IMU). La fonction de capture est apte à gérer la problématique de la compatibilité de fonctionnement des différents moyens de capture.
- (106) module de traitement et analyse : il s’agit de l’ensemble des moyens/fonctions de traitement et analyse réalisés en temps-réel, permettant d’une part d’extraire de l’information (par filtrage, corrélation, etc.) à partir des mesures effectuées par les moyens de capture, et d’autre part d’évaluer des états et des comportements du sujet à partir des éléments mesurés. La fonction de traitement et analyse est apte à fusionner les données avec la contextualisation. Les traitements sont effectués au travers de modèles algorithmiques d’analyse fonctionnant en temps-réel.
- (108) module d'acquisition et d’enregistrement : il s’agit d’un dispositif interfacé d’une part avec le module de capture (104), et d’autre part avec le module 'environnement d’immersion’ (102) afin d’acquérir en temps-réel l’ensemble des paramètres et données de manière synchronisée, et en assurant leur enregistrement pour restitution ou dépouillement. La fonction acquisition et enregistrement est apte à réaliser à la fois la communication entre tous les composants temps-réel ainsi que l’enregistrement et l’archivage des données enregistrées.
- (1 10) module de contrôle : il s’agit de l’ensemble des moyens/fonctions permettant en temps-réel, de contrôler et de suivre tant les paramètres mesurés et acquis sur le sujet et sur la plateforme (ou système), que les résultats des traitements, le tout en coïncidence et de manière synchronisée. La fonction contrôle s’applique tant sur les aspects physiologiques, opérationnels, que techniques. Le module de contrôle peut être connecté au module d’exploitation (1 16) afin de prendre en compte les résultats dans le cadre de la réalisation de la mission menée par le sujet.
- (1 12) module de restitution : il s’agit de l’ensemble des moyens/fonctions permettant hors temps-réel (c’est-à-dire dans des phases postérieures à l’enregistrement mais intégrées dans le processus de la mission, comme par exemple le débriefing) de fournir un bilan et une représentation des éléments mesurés (les données et paramètres enregistrés) au travers d’une analyse, de rejeu, d’annotation, d’évaluation, concernant l’état et le comportement du sujet au cours de sa mission. La mise en oeuvre de la fonction restitution peut être effectuée de manière isolée de la plateforme d’acquisition et d’enregistrement en exploitant directement des données archivées ou de manière connectée à la plateforme d’acquisition et d’enregistrement en mode rejeu, cette dernière manière permettant également de mettre en oeuvre les fonctionnalités du module de contrôle (1 10).
- (1 14) module de dépouillement : il s’agit de l’ensemble des moyens/fonctions permettant une analyse hors temps-réel (c’est-à-dire dans des phases ultérieures à l’enregistrement et déconnectée de la mission) approfondie des données enregistrées, à des fins d’étude. Cette fonction, dans une démarche d’amélioration et de maturation, peut être utilisée pour évaluer les modèles d’analyse existants, améliorer les modèles d’analyse (paramétrage, étalonnage, etc.), rechercher de nouveaux modèles (apprentissage profond, etc.). Les évolutions de modèles peuvent être réinjectées dans le module de traitement (106) ou le module de restitution (1 12) afin d’améliorer leur fonctionnement et leur pertinence.
- (1 16) module d’exploitation : il s’agit de l’ensemble des moyens/fonctions qui permettent de réinjecter les résultats d’analyse temps-réel de l’état et du comportement du sujet tant dans la gestion du système ou de la plateforme réelle ou simulée opérée (par exemple au travers d’un système de gestion de plateforme) afin d’agir sur celle-ci pour prendre en compte l’état et le comportement du sujet et opérer les actions nécessaires à la réalisation de la mission, que sur le sujet même (par exemple sous forme d’alerte, de consigne, etc.) afin qu’il puisse agir au mieux pour réaliser sa mission. La fonction d’exploitation peut coopérer avec la fonction de contrôle (1 10) pour fournir un suivi et une représentation de l’état et du comportement du sujet. Dans le cadre de la formation et de l’entraînement cette exploitation vers le sujet peut être opérée par l’instructeur.
Dans un mode de réalisation, les transferts et échanges de données des différents modules se font via le standard de communication DDS (« Data Distribution Service » en anglais) qui est une technologie évoluée d'échanges de données, via un bus de données synchronisé autorisant le « plug-and-play » « à chaud ».
Dans des modes de réalisation, selon le contexte de l’application, certaines des fonctions sont automatisées, telles que la capture, le traitement (temps-réel), l’acquisition et enregistrement, le contrôle, tandis que d’autres telles que la restitution, le dépouillement, l’exploitation, peuvent faire intervenir un traitement humain pour analyser et utiliser les informations. En effet, le concept de « Crew Monitoring » s’attachant à l’observation et à l’évaluation de l’« humain », il est primordial d’identifier les différentes fonctions ou rôles joués par les différents intervenants « humains ». Les principaux rôles (humains) sont définis ci-dessous : - (120) Sujet : il s’agit de rhumain(s) faisant l’objet de l’observation et de l’évaluation durant l’exécution d’une mission (réelle ou simulée, en opération ou en formation/entraînement). Il peut être seul (un pilote) ou représenter un groupe d’« humains » opérant ensemble (par exemple un équipage ou une équipe). Le sujet est en relation directe avec son environnement d’immersion (102) tel que le cockpit par exemple, et il (sup)porte les moyens de mesures physiologiques (104-1 ). L’intégration de la solution de suivi dans un système (cockpit d’aéronef par exemple) doit prendre en compte l’acceptabilité par le sujet de la présence et du positionnement des capteurs qui sont en interaction avec lui et les autres équipements du poste de pilotage (cockpit). Un grand nombre de capteurs pour être efficaces doivent être positionnés directement sur le corps ou au contact du corps ou à très grande proximité du corps du sujet. La figure 3 illustre un exemple d’intégration de capteurs qui consiste à détourner des objets usuels déjà présents dans le cockpit ou l’habillement du pilote pour les équiper de capteurs afin de ne pas rajouter d’éléments perturbants et ainsi diminuer la gêne. Il peut ainsi être implémenté des capteurs sur :
- (302) un bracelet en contact avec le poignet et le bras du pilote. Le bracelet peut être équipé de capteurs de rythme cardiaque, d’humidité (transpiration), température, d’accéléromètre et inertiel (IMU) ;
- (304) un vêtement en contact avec la peau du pilote. Le vêtement peut supporter, intégrés dans le tissu, des capteurs de température du corps, d’électrocardiogramme ECG et rythme cardiaque, et d’accélération (IMU) ;
- (306) un siège en contact avec le fessier et le dos du pilote. Le siège peut être équipé de capteurs de pression, de température ;
- (308) un casque (audio) en contact avec le crâne du pilote. Le casque peut en plus du micro qui est un capteur de la voix, supporter des capteurs EEG (voire EOG), accéléromètre et IMU, et une caméra faciale.
La figure 4 illustre un exemple d’intégration de capteurs à distance rapprochés du sujet ou de l’équipage. Les capteurs à distance comprennent différentes caméras (caméras de scène (402), caméras faciales (404), caméras 3D (406), caméras de suivi du regard (408)), fixées (intégrées dans le tableau de bord et/ou les montants) dans le cockpit. Ces caméras sont aptes à capturer la scène (attitude du pilote, actions réalisées, etc.), d’en déduire des postures, des expressions du visage, toutes informations utiles pour l’évaluation du comportement. Revenant à la figure 1 , les autres acteurs du dispositif de l’invention sont :
- (122) Observateur : il s’agit de l’humain(s) opérant un suivi et une observation de la mission en cours de réalisation. Il observe à la fois l’état et le comportement du sujet et la situation de la mission. Il peut être amené à commenter et à déclarer sa perception de la situation du sujet et du déroulement de la mission. Dans certains cas il peut également être amené à interagir avec le sujet (par exemple cas d’un instructeur). L’observateur peut être une personne ou un groupe de personnes. Un observateur peut aussi être un‘Evaluateur’ opérant à partir de l’exploitation temps-réel des différentes informations sur le déroulement de la mission et des états et comportements du sujet et de la plateforme. Il fournit une évaluation de la situation, qui peut dans certains cas, lui permettre d’intervenir directement sur le sujet (cas par exemple d’un instructeur). L’évaluateur peut être une personne ou un groupe de personnes.
- (124) Analyste : il s’agit de l’humain(s) opérant à l’issue d’une mission ou d’un ensemble de missions. Il opère un travail d’analyse, de dépouillement et de mise en forme de l’ensemble des données enregistrées. Ces travaux peuvent selon les cas avoir pour objectif l’évaluation du sujet, voire de la plateforme (dans son aspect d’interface avec le sujet), mais également servir à améliorer les connaissances facteurs humains et conduire à des améliorations des modèles d’analyse (temps-réel ou hors- temps-réel). L’analyste peut être une personne ou un groupe de personnes.
Selon les contextes de mise en oeuvre, il est possible que plusieurs de ces rôles soient, dans le cas d’une application, regroupés sur une même personne (par exemple l’observateur et l’évaluateur peut représenter deux rôles tenus par un instructeur dans une application de formation ou d’entraînement.
Toujours selon les contextes et/ou les phases d’une mise oeuvre, tout ou partie des modules peuvent être opérés. Différents modes opératoires sont décrits en référence aux figures 2a à 2f, où les différents modules de la plateforme qui sont activés sont représentés de manière plus contrastée que les modules non activés.
La figure 2a illustre le mode opérationnel dit en boucle ouverte. Il s’agit d’un mode qui permet la capture, l’observation et l’évaluation de l’état et du comportement du sujet. Dans ce mode, les modules‘environnement d’immersion’ (102), capture (104), traitement et analyse (106), acquisition et enregistrement (108) et contrôle (1 10) sont mis en œuvre. Le sujet (120), l’observateur (122) et l’évaluateur (122) sont acteurs. Il est à noter que ce mode est recommandé pour le suivi d’un sujet en phase de formation ou d’entraînement (présence d’une relation évaluateur - sujet), ainsi que pour le suivi de performance et d’efficacité de l’interface homme-machine de la plateforme.
Les figures 5a et 5b illustrent des exemples de vue d’écran d’un poste de contrôle et de suivi en phase opérationnelle en temps-réel selon un mode de réalisation de l’invention. Les vues sont celles affichées sur le poste de contrôle et de suivi lors de l’exécution d’une mission. La vue de la figure 5a affiche :
- le canal vidéo sélectionné parmi les différents canaux vidéo disponibles affichés en miniature et sélectionnables ;
- la représentation du cockpit avec affichage du point regardé, et la trace du regard sur les dernières secondes, ainsi que l’identification de l’élément du cockpit regardé ;
- l’état des alertes à l’instant présent (avec changement de couleur par exemple lors de l’activation de l’alerte) ;
- l’édition des paramètres d’identification du pilote ;
- La pose d’évaluation datée à partir d’une liste de grandeurs évaluables ;
- La pose de marqueur daté à partir d’une liste d’événements ;
- La pose d’annotation libre datée à partir d’un stylet (écriture libre).
La vue de la figure 5b reprend le même affichage à l’exception des marqueurs et annotations qui sont remplacés par une zone de saisie d’évaluation subjective.
La figure 2b illustre le mode opérationnel dit en boucle fermée. Il s’agit d’un mode qui permet d’exploiter en temps-réel l’évaluation de l’état et du comportement d’un sujet lors d’une mission et de fournir un bouclage vers le système (par exemple un aéronef) dans lequel il évolue. Dans ce mode, les modules‘environnement d’immersion’ (102), capture (104), traitement et analyse (106), acquisition et enregistrement (108), contrôle (1 10) et exploitation (1 16) sont mis en œuvre. Ce mode fonctionne sans intervention humaine (observateur, évaluateur) autre que le sujet étudié. Il est à noter que ce mode est recommandé comme moyen d’interface homme-machine évolué.
La figure 2c illustre le mode opérationnel dit rejeu + déclaration. Il s’agit d’un mode qui permet de rejouer en temps-réel (i.e. dans les conditions du réel) une session déjà enregistrée et de pouvoir y rajouter des annotations, du marquage d’événement. Dans ce mode, les modules capture subjective (104-2), acquisition et enregistrement (108) et contrôle (1 10) sont mis en oeuvre. L’observateur/évaluateur (122) est acteur de ce mode rejeu + déclaration. Il est à noter que ce mode est recommandé pour les phases de « debriefing » de session.
La figure 2d illustre le mode opérationnel dit rejeu + traitement/analyse. Il s’agit d’un mode qui permet de rejouer en temps-réel (i.e. dans les conditions du réel) une session déjà enregistrée et de pouvoir y ajouter des traitements d’analyse en temps- réel. Dans ce mode, les modules traitement et analyse (106), acquisition et enregistrement (108) et contrôle (1 10) sont mis en oeuvre. L’évaluateur (122) est acteur de ce mode rejeu + traitement/analyse. Il est à noter que ce mode est recommandé pour la mise au point des modèles de traitement et d’analyse, mais également pour compléter et affiner les traitements d’analyse en effectuant des analyses nouvelles.
La figure 2e illustre le mode opérationnel dit restitution. Il s’agit d’un mode qui permet d’analyser les données enregistrées lors d’une session et d’y appliquer des traitements hors-temps réel (ou différé) pour produire et présenter les informations résultantes en relation avec l’application. Dans ce mode, les modules acquisition et enregistrement (108), et restitution (1 12) sont mis en oeuvre. L’analyste (124) est acteur de ce mode restitution. Il est à noter que ce mode est recommandé pour les phases de débriefing et d’analyse après action pour préparer des rapports. L’accès aux informations enregistrées, à leur restitution et leur positionnement à un temps donné est réalisé au travers de la sélection d’un instant et du rejeu synchronisé de l’ensemble des informations sur la période de temps (séquence) désirée. L’instant sélectionné est désigné selon trois modalités complémentaires, illustrées sur la figure 6 :
- à partir de la ligne de temps ;
- à partir d’un marqueur daté ;
- à partir d’un point de la trajectoire de la plateforme.
La figure 7 illustre un exemple d’une vue affichée sur l’écran d’un poste de contrôle et de suivi en phase de débriefing selon un mode de réalisation de l’invention. La vue affiche :
- la représentation du cockpit avec l’affichage du point regardé et la trace du regard sur les dernières secondes, ainsi que l’identification de l’élément du cockpit regardé ;
- la cartographie de la zone de vol avec le tracé de la trajectoire de l’aéronef et la position instantanée de l’aéronef, qualifiée de sa vitesse et de son altitude, enrichie de marqueurs géolocalisés sur la trajectoire ; - une échelle de temps graduée sur toute la durée de l’exercice, comportant également une ligne de temps indiquant l’instant observé ;
- le positionnement sur l’échelle de temps des différents marqueurs posés, avec l’identification du label du marqueur se trouvant sur la ligne de temps ;
- le positionnement sur l’échelle de temps des différentes alertes détectées, avec l’élongation correspondant à leur activité ;
- la courbe du profil (altitude) de vol sur la durée de l’exercice, enrichie de la courbe de l’altitude au sol ;
- le positionnement sur l’échelle de temps des modes de pilotage (automatiques) activés, avec l’élongation correspondant à leur activité ;
- le positionnement sur l’échelle de temps des interventions du pilote sur les commandes de vol, avec l’élongation correspondant à leur activité ;
- le positionnement sur l’échelle de temps des communications audio du pilote, avec l’élongation correspondant à leur activité ;
- le positionnement sur l’échelle de temps de la répartition des zones regardées par le pilote, segmentée par grande catégories, moyennées sur les dernières secondes, avec l’affichage du pourcentage de cette répartition à l’instant de la ligne de temps ;
- la répartition des zones regardées par le pilote, segmentée par grande catégories, moyennées sur la fenêtre temporelle sélectionnée, avec l’affichage du pourcentage de cette répartition ;
- l’état des alertes (représentées sous forme d’icone significatif) à l’instant de la ligne de temps ;
- la liste des différents marqueurs et annotations (temporelles) classés selon l’ordre chronologique, affichés avec un label, qui permet également de filtrer leur affichage ;
- le bandeau de saisie d’annotation libre, permettant de sélectionner la fenêtre temporelle de son application, de son nom et du texte associé ;
- les coordonnées de l’enregistrement d’exercice affiché, associés à un moyen de sélectionner l’enregistrement dans la liste des enregistrements disponibles.
La figure 2f illustre le mode opérationnel dit dépouillement. Il s’agit d’un mode qui permet d’effectuer des traitements lourds sur les données, en exportant les données enregistrées dans des environnements de dépouillement tout en fournissant un moyen de restitution qui permettra de guider ces traitements. Dans ce mode, les modules acquisition et enregistrement (108), restitution (1 12) et dépouillement (1 14) sont mis en œuvre. Il est à noter que ce mode est recommandé pour les traitements de suivi longitudinal, pour l’adaptation et l’émergence de modèle d’analyse temps-réel ou hors- temps-réel.
Par son aspect modulaire, intégré et ouvert, la solution proposée fournit une architecture ouverte de capture (mesure), d’observation, d’analyse, d’évaluation et d’enregistrement d’état et de comportement humain contextualisé. Elle résout le problème posé par :
- une identification et une segmentation d’un système de mesure et d’évaluation d’états et de comportements d’un équipage en un ensemble de fonctions principales, qui pose les bases d’une architecture modulaire ouverte et adaptative aux différents besoins applicatifs envisageables ;
- un mécanisme et un protocole ouvert qui permettent la connexion de capteurs et de la plateforme pilotée-conduite, des modèles de traitements et des composants de restitution, ainsi que la synchronisation des données acquises et produites (par les traitements) et leur enregistrement. Le mécanisme est basé sur des standards et offre une ouverture et une capacité d’adaptation du système permettant de connecter de nouveaux composants (qu’ils soient de capture, de traitement, de restitution) et/ou de remplacer des composants présents ;
- la prise en compte de différents capteurs ainsi que la prise en compte de données contextuelles fournies par la plateforme pilotée-conduite, améliorant ainsi la qualité de l’évaluation du comportement (meilleure robustesse et moindre fausse-alarme) ;
- la capacité à prendre en compte, dans les traitements, des données précédemment enregistrées et traitées dans une optique de suivi longitudinal de sujet, permettant de comparer les états et comportements d’un même sujet à différentes périodes et dans des situations répétées ou différentes et ainsi de tracer des évolutions dans son comportement et ses capacités cognitives (exemple courbe d’apprentissage) ;
- la capacité à réaliser la capture, les traitements, la restitution en temps-réel (c’est-à- dire dans un temps court permettant une action ou une réaction immédiate sur le sujet, la plateforme pilotée-conduite et son environnement) permettant d’intégrer cette fonction de mesure et d’évaluation dans une boucle opérationnelle (vers le sujet directement ou via un opérateur, ou vers la plateforme directement ou via un opérateur). Pour résumer, la présente invention apporte des innovations notables sur plusieurs aspects :
- l’application du temps-réel sur la mesure de l’état et du comportement d’équipage et de son exploitation ;
- la capacité d’effectuer des mesures multi-capteurs physiologiques, et la possibilité d’étendre le nombre et la diversité des capteurs ;
- la capacité à rejouer de manière synchronisée des données déjà acquises, mais également de les enrichir de nouvelles annotations et marquages, et de rajouter des traitements ;
- la capacité de connecter et d’empiler des traitements d’analyse fonctionnant en temps-réel ou en temps différé ;
- la capacité à contextualiser des données physiologiques capturées, par des informations d’environnement et des paramètres capturés en temps-réel issus de la plateforme réelle ou simulée ;
- l’utilisation d’un bus de communication standardisé, synchronisé, interfaçant les capteurs, la plateforme, les modules, la restitution, et autorisant le « plug-and-play » « à chaud » ;
- la capacité à appliquer un suivi longitudinal sur des sujets, sur des périodes ou des occurrences définissables.
La présente description illustre un mode de réalisation de l’invention, mais n’est pas limitative. L’exemple a été choisi pour permettre une bonne compréhension des principes de l’invention, et une application concrète, mais n’est pas exhaustif mais la description doit permettre à l’homme du métier d’apporter des modifications et variantes d’implémentation en gardant les mêmes principes. En particulier, des adaptations à la portée de l’homme du métier seront à considérer pour chaque application dans laquelle un personnel interagit avec un système et pour lequel son état et son comportement a une influence sur le résultat et l’accomplissement de la mission qui lui a été dévolue. Ainsi plusieurs cas d’utilisation personnalisée de la présente invention sont:
- le pilotage ou la conduite de plateforme mobile (réelle ou simulée) telle qu’un aéronef (avion, hélicoptère, convertible, drone), un matériel ferroviaire, un véhicule, etc. ;
- le pilotage ou la conduite d’un système industriel tel qu’une centrale d’énergie ; - le pilotage ou la conduite d’un centre de contrôle tel qu’un centre de contrôle aérien, un centre de contrôle ferroviaire, un PC de circulation ;
- le suivi d’équipes s’entraînant en « live » (sur le terrain) tant pour des activités civiles que militaires.

Claims

Revendications
1. Dispositif d’analyse et de suivi du comportement d’un sujet évoluant dans un environnement opérationnel au cours d’une mission, le dispositif comprenant :
- des moyens d’acquisition synchronisée d’une pluralité de données brutes relatives au sujet, à l’environnement opérationnel et à la mission ;
- des moyens de traitement à la volée des données brutes acquises ; et
- des moyens de génération de données élaborées issues des traitements à la volée, fournissant des informations en temps réel sur l’état et le comportement du sujet ;
le dispositif étant caractérisé en ce que tout ou partie desdits moyens peuvent être mis en oeuvre pour activer différents modes opératoires d’analyse et de suivi du comportement du sujet.
2. Le dispositif selon la revendication 1 dans lequel les moyens d’acquisition synchronisée comprennent des capteurs aptes à acquérir des données relatives à :
- des paramètres physiologiques du sujet ;
- des paramètres techniques de contextualisation de la mission ;
- des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs ;
- des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l’environnement opérationnel.
3. Le dispositif selon la revendication 1 ou 2 dans lequel les moyens de traitement à la volée des données brutes comprennent des moyens pour filtrer et corréler les données brutes acquises et des moyens d’analyse des données basés sur des modèles algorithmiques fonctionnant en temps-réel.
4. Le dispositif selon l’une quelconque des revendications 1 à 3 dans lequel les moyens pour générer des données élaborées comprennent des moyens pour fournir des indicateurs spécialisés, notamment des courbes, et des alertes traduisant des situations détectées au cours de la mission.
5. Le dispositif selon l’une quelconque des revendications 1 à 4 comprenant de plus des moyens de traitement différé des données brutes et des données élaborées.
6. Le dispositif selon l’une quelconque des revendications 1 à 5 comprenant de plus des interfaces homme-machine aptes à afficher les informations instantanées sur l’état et le comportement du sujet.
7. Le dispositif selon l’une quelconque des revendications 1 à 6 dans lequel les différents modes opératoires comprennent notamment des modes d’exploitation de l’évaluation de l’état et du comportement du sujet en temps-réel ou en différé, de rejeu, de restitution, de dépouillement.
8. Simulateur comprenant un dispositif d’analyse et de suivi du comportement d’un sujet selon l’une quelconque des revendications 1 à 7.
9. Plateforme de simulation d’aéronef comprenant un dispositif d’analyse et de suivi du comportement d’un sujet selon l’une quelconque des revendications 1 à 7.
10. Un procédé d’analyse et de suivi du comportement d’un sujet évoluant dans un environnement opérationnel au cours d’une mission, le procédé comprenant les étapes suivantes :
- acquisition synchronisée d’une pluralité de données brutes relatives au sujet, à l’environnement opérationnel et à la mission ;
- traitement à la volée des données brutes acquises ; et
- génération de données élaborées à partir des traitements à la volée, fournissant des informations en temps réel sur l’état et le comportement du sujet ;
lesdites étapes permettant d’activer différents modes opératoires d’analyse et de suivi du comportement du sujet.
11. Le procédé selon la revendication 10 dans lequel la pluralité de données brutes acquises comprend :
- des paramètres physiologiques du sujet ; - des paramètres techniques de contextualisation de la mission ;
- des paramètres subjectifs fournis par le sujet lui-même ou par des observateurs ;
- des données audio et vidéo relatives aux actions du sujet, ses mouvements, et ses interactions avec l’environnement opérationnel.
12. Le procédé la revendication 10 ou 1 1 dans lequel l’étape de générer des données élaborées consiste à fournir instantanément :
- des indicateurs spécialisés, notamment des courbes ;
- des alertes traduisant des situations détectées au cours de la mission.
13. Le procédé selon l’une quelconque des revendications 10 à 12 comprenant de plus une étape de traitement en différé des données brutes et des données élaborées, ledit traitement différé permettant de générer:
- des indicateurs présentés de manière temporelle, dans leur durée, ou leur ponctualité datée ;
- d’éventuels écarts ou déviations par rapport à un suivi conforme aux procédures qui auraient normalement dû être suivies ;
- des marqueurs datés correspondant notamment à des événements détectés, déclarés ;
- des données géographiques positionnées sur une vue cartographique, notamment une trajectoire ;
- un ensemble de fenêtres spécialisées présentant des informations synthétiques, notamment le suivi du regard, les zones observées par le sujet, des statistiques ;
- un ensemble de vidéos et d’audios sélectionnées parmi les enregistrements réalisés au cours du déroulement de la mission.
14. Un produit programme d’ordinateur comprenant des instructions de code non transitoire permettant d’effectuer les étapes du procédé selon l’une quelconque des revendications 10 à 13, lorsque ledit programme est exécuté sur un ordinateur.
EP20733848.4A 2019-07-11 2020-06-25 Dispositif et procede d'analyse du comportement d'un sujet Withdrawn EP3997687A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1907793A FR3098389A1 (fr) 2019-07-11 2019-07-11 Dispositif et procede d'analyse du comportement d'un sujet
PCT/EP2020/067794 WO2021004799A1 (fr) 2019-07-11 2020-06-25 Dispositif et procede d'analyse du comportement d'un sujet

Publications (1)

Publication Number Publication Date
EP3997687A1 true EP3997687A1 (fr) 2022-05-18

Family

ID=68987784

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20733848.4A Withdrawn EP3997687A1 (fr) 2019-07-11 2020-06-25 Dispositif et procede d'analyse du comportement d'un sujet

Country Status (6)

Country Link
US (1) US20220246055A1 (fr)
EP (1) EP3997687A1 (fr)
AU (1) AU2020310439A1 (fr)
CA (1) CA3146803A1 (fr)
FR (1) FR3098389A1 (fr)
WO (1) WO2021004799A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7569198B2 (ja) * 2020-10-23 2024-10-17 株式会社Subaru パイロット訓練支援装置
US11854318B1 (en) * 2020-12-16 2023-12-26 Zoox, Inc. User interface for vehicle monitoring
FR3119699A1 (fr) * 2021-02-09 2022-08-12 Thales Dispositif et procédé d'évaluation des compétences
FR3161299A1 (fr) * 2024-04-12 2025-10-17 Thales Procédé de détermination d’un niveau de fatigue statistique relatif à une population d’opérateurs et système de détermination associé

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665121B2 (en) * 2010-04-02 2014-03-04 Cloudahoy, Inc Systems and methods for aircraft flight tracking and display
FR2989181B1 (fr) * 2012-04-04 2015-03-27 Eurocopter France Procede et dispositif d'adaptation de l'interface homme-machine d'un aeronef selon le niveau de l'etat fonctionnel du pilote
US9227736B2 (en) * 2014-03-07 2016-01-05 Honeywell International Inc. Methods and apparatus for determining pilot awareness of a system-initiated change based on scanning behavior
FR3062938B1 (fr) * 2017-02-14 2021-10-08 Thales Sa Dispositif et procede d'analyse du regard en temps reel
US10796593B2 (en) * 2017-07-19 2020-10-06 The Boeing Company Flight deck simulation and training system and method

Also Published As

Publication number Publication date
AU2020310439A1 (en) 2022-02-03
WO2021004799A1 (fr) 2021-01-14
FR3098389A1 (fr) 2021-01-15
CA3146803A1 (fr) 2021-01-14
US20220246055A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
EP3997687A1 (fr) Dispositif et procede d'analyse du comportement d'un sujet
CN110313923B (zh) 基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
US20170220956A1 (en) System and Method for Training of State-Classifiers
US9189596B2 (en) Measuring cognitive load
FR3119699A1 (fr) Dispositif et procédé d'évaluation des compétences
EP2519894A2 (fr) Systèmes et procédés d'évaluation du dynamisme et de l'efficacité d'équipes
Kawamura et al. Detecting drowsy learners at the wheel of e-learning platforms with multimodal learning analytics
JP2023513213A (ja) 生理学的データの測定による人又はシステムの評価
US10915740B2 (en) Facial mirroring in virtual and augmented reality
Labedan et al. Virtual Reality for Pilot Training: Study of Cardiac Activity.
Jo et al. ROSbag-based multimodal affective dataset for emotional and cognitive states
CN118021308B (zh) 人因智能座舱驾驶人体验测评系统及方法
WO2024134621A1 (fr) Systèmes et procédés d'évaluation de compétences sociales dans une réalité virtuelle
WO2024134622A1 (fr) Systèmes et procédés d'utilisation de multiples signaux biomédicaux en réalité virtuelle
Gibson et al. Use of dry electrode electroencephalography (EEG) to monitor pilot workload and distraction based on P300 responses to an auditory oddball task
D’Alessandro et al. Real-time neurophysiological and subjective indices of cognitive engagement in high-speed flight
Duval et al. The eyes and hearts of UAV pilots: observations of physiological responses in real-life scenarios
US20110022330A1 (en) monitoring apparatus
Mahmoodin et al. Processing of electroencephalogram signals using OpenVibe
Bosta et al. A Multimodal Approach to User Experience Evaluation: Integration of Physiological, Behavioral, Contextual and Self-Report data with UserSence
Generosi et al. A Test Management System to Support Remote Usability Assessment of Web Applications. Information 2022, 13, 505
Ferrato et al. Multimodal Physiological Sensing for Adaptive Learning Environments
Rehm et al. An EEG Benchmark Dataset for Data-Driven Trust Assessment in Social HRI
Stephens et al. System and method for training of state-classifiers
Konz Investigation of the biometric effects and flight performance of drone pilots while inspecting bridges with auditory and visual proximity aids

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220103

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230517

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250702

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20251104