EP4078609A1 - Procede et dispositif d'aide au suivi des etats cognitifs d'un individu - Google Patents
Procede et dispositif d'aide au suivi des etats cognitifs d'un individuInfo
- Publication number
- EP4078609A1 EP4078609A1 EP20835760.8A EP20835760A EP4078609A1 EP 4078609 A1 EP4078609 A1 EP 4078609A1 EP 20835760 A EP20835760 A EP 20835760A EP 4078609 A1 EP4078609 A1 EP 4078609A1
- Authority
- EP
- European Patent Office
- Prior art keywords
- operator
- individual
- mission
- states
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000012544 monitoring process Methods 0.000 title claims abstract description 29
- 230000006998 cognitive state Effects 0.000 title claims description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 77
- 230000035790 physiological processes and functions Effects 0.000 claims description 26
- 238000012512 characterization method Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 abstract description 7
- 230000006399 behavior Effects 0.000 description 26
- 230000009471 action Effects 0.000 description 15
- 238000012549 training Methods 0.000 description 13
- 230000003340 mental effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000001149 cognitive effect Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 235000012054 meals Nutrition 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000036642 wellbeing Effects 0.000 description 2
- 208000019888 Circadian rhythm sleep disease Diseases 0.000 description 1
- 208000001456 Jet Lag Syndrome Diseases 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000025302 chronic primary adrenal insufficiency Diseases 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000033915 jet lag type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000000272 proprioceptive effect Effects 0.000 description 1
- 230000003304 psychophysiological effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/20—Workers
- A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/0015—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems
- B64D45/0051—Devices specially adapted for the protection against criminal attack, e.g. anti-hijacking systems by monitoring passengers or crew on aircraft
Definitions
- the invention relates to the general field of support systems for monitoring the states of individuals, and in particular provides a method and a device for providing longitudinal and contextualized individual monitoring of the cognitive states of individuals.
- the invention thus covers several fields which are psychophysics, neurophysiology and the analysis of cognitive behavior. It aims to solve at least the technical problem of comparing the psychophysical and physiological state of a healthy individual at a given moment, ie his states on a cognitive level or cognitive states covering without limitation his states of vigilance, fatigue, drowsiness. , at a given moment, to these same cognitive states obtained in similar or even similar contexts.
- the invention also addresses a related and underlying technical problem which is to build an individualized modeling of the cognitive states of a healthy individual.
- these cognitive states are not evaluated in relation to the intrinsic and personal characteristics of these participants, that is to say by intra-personal comparison.
- the cognitive states of an individual are evaluated in a general context of a mission which is / must be carried out (for example driving a car) and not in relation to an instantaneous context or an instantaneous situation of a mission (for example, in an engaged flight phase such as take-off or while driving on a motorway, etc.).
- the perceptual-motor style defines the way in which a subject interprets and combines his sensory inputs which are visual, vestibular and proprioceptive information to generate an adapted motor behavior.
- This integration of perceptual signals like mental load and alertness, has great inter-individual variability, and this is what constitutes the technical problem of constructing an effective individualized modeling of the cognitive states of a healthy individual.
- the integration of perceptual signals can be considered as stable over time under nominal conditions.
- an object of the invention is to meet the aforementioned needs and to overcome the drawbacks of existing techniques.
- the invention proposes a solution based on the longitudinal and contextualized monitoring of an operator (making it possible to acquire a personalized knowledge of the latter) thanks to the interaction of several components: an individual component called “Personal Assistant Operator” or (APO) which integrates personal data of the operator; an anonymized operator database;
- APO Personal Assistant Operator
- the personal assistant operator can be a device capable on the one hand of supporting an operator during his mission (for example in difficult or rarely encountered situations), and on the other hand of '' support the operator outside of his mission.
- An example of non-mission support can be, for example, to orient the continuing training of the operator according to the observations made during the mission, and returned by the APO.
- Another use may be to replay in a simulator the scenario of a mission by adapting it as a function of the situations and reactions occurring during said mission, and reproduced by ARO.
- the assistant can be used to optimize the well-being or "well-being" of the operator by proposing, for example, sleep / wake schedules, meals, meal contents, physical training episodes for example to manage jet lag or very long standby.
- the data of the personal assistant operators can be anonymized in order to create a knowledge database. which can be an element of comparison and reference for the personal assistant operator.
- the general principle of individual and contextualized longitudinal monitoring is that during each training session on a simulated system, and each mission on a real system, two types of data are recorded: physiological data specific to the operator (such as the heart rate) and contextual or operational data specific to the mission (instructions, tasks performed, handling of the man-machine interface, machine state variables). All of this data is then aggregated to provide real-time personal assistance, which is specific to each operator based on: variables that describe the current situation; and the operator’s past experiences, collected on the APO.
- physiological data specific to the operator such as the heart rate
- contextual or operational data specific to the mission instructions, tasks performed, handling of the man-machine interface, machine state variables
- this assistance provides the operator with operational support in case of need (decrease in vigilance, signs of onset of sleep, rise in the level of mental load, deviation of perceptual-motor style, etc.). ) by one comparison between his instantaneous cognitive state and his previous cognitive states in similar contexts.
- BCC common knowledge base
- the process implements a theoretical knowledge base (BCT) reflecting the state of the art and the constraints imposed on the operator in all similar or even identical situations, ie same conditions, same operational situation, etc., this state of the art being for example all the procedures to be followed in the situation considered.
- BCT theoretical knowledge base
- the proposed process can be described as a mise en abyme of ARO thanks to the BCC and the BCT.
- This mise en abyme makes it possible to assess the current behavior of an operator vis-à-vis his "personal envelope", a "collective envelope” and a “theoretical envelope”. If necessary, the operator can be offered decision aids, reconfigurations of a man-machine interface, etc. which are adapted to the present situation.
- the present invention will find many fields of application where there is a need to monitor and support operators of complex systems throughout their career.
- the fields of use of the invention are the fields of activity in which a complex system is controlled and implemented by one or more operators.
- These business areas include, for example, industry and aeronautical, rail and road transport, the fields of security, the fields of process control, even the medical, legal fields, etc.
- the field of use of the invention also extends to the training of operators and the possibility of measuring and monitoring their progress during their training, in order to check their progress in learning and mastery. the conduct of the process for which they are responsible, and adapt the training to their behavior.
- the field of operation of the invention is also that of the continuous training of the operator, the latter being adapted according to the needs of the operator revealed by the restitution of the personal assistant and quantified during the missions and putting it into perspective with data from the common knowledge base.
- the device of the invention in the context of aeronautics, participates in several areas of innovation: the development of the cockpit of the future, pilot monitoring (in flight and off flight), physiological monitoring and psychophysics of the latter or even flight safety and mission performance.
- the proposed device addresses the problem of how to ensure that a pilot is robust from an operational point of view. This problem is multiple and raises several technical questions, because it is indeed necessary to be able to measure several physiological parameters in the least invasive way possible, to interpret these signals, to compile them with the contextual data of the mission and to produce as output relevant information which is operationally useful for the pilot.
- the advantages of the invention are multiple and are located on several levels.
- the personal assistant allows better health monitoring. By longitudinally recording the heart rate and the respiratory rate (as well as other physiological parameters), by carrying out regular checks of the hearing, the vision and possibly the operator's nycthem, the evolution or the appearance of minor clinical signs are listed and treated before the occurrence of characterized disorders. It is therefore a preventive approach.
- the individual longitudinal monitoring of the sensorimotor system makes it possible to define the notion of operational robustness and to evaluate it at regular intervals throughout the operator's career.
- the proposed solution allows better management of problems that may arise during the accomplishment of a mission (breakdowns, multiple actions to be carried out simultaneously, etc.).
- the aggregation of the physiological and psychophysical parameters of an operator also makes it possible to model individually in real time (as opposed to a time shifted after the mission), the cognitive states of the operator (fatigue, vigilance, mental load). This allows better management of delicate situations during the operation of the complex systems involved.
- the proposed solution which benefits over time from the continuous capitalization of its implementation, makes it possible to improve the robustness of the models. detection of the physiological and cognitive state of the operator.
- a computer-implemented method is proposed to aid in monitoring the states of an individual operating on a complex system during a mission.
- the method comprises at least steps for: collecting regularly during the mission, data relating to the state of the complex system and its environment, data relating to the context of the mission, and physiological data relating to the operator;
- the step of analyzing intra-personal compliance comprises a step consisting in comparing data characterizing the individual instantaneous state of the operator with data recorded in a register of individual reference states for said operator, said data being associated with the characterization of the physiological state and the contextualized cognitive state of said operator.
- the interpersonal conformity analysis step comprises a step consisting in comparing data characterizing the individual instantaneous state of the operator with data recorded in a register of collective reference states for a plurality of operators, said data being associated with the characterization of the physiological state and the contextualized cognitive state of the plurality of operators during missions similar to the current mission.
- the step of collecting data also consists of collecting data representative of tasks performed by the operator; and the method further comprises the step of restoring the results of the analysis, a step consisting in carrying out a theoretical conformity analysis with respect to theoretical reference states, on the basis of the contextualization parameters and of parameters representative of the tasks operator; and where said steps of analyzing intra-personal compliance, interpersonal compliance, and theoretical compliance are performed in any order.
- the registry data is structured in triads "Physiological State - Cognitive States - Contextual Situation" associated with the sequence being analyzed.
- the method further comprises, after the step of analyzing intra-personal conformity, a step consisting in determining whether the instantaneous state of the operator during the mission is in acceptable conformity with his own individual reference states or n is not in acceptable compliance.
- the method further comprises, after the step of analyzing interpersonal conformity, a step consisting in determining whether the instantaneous state of the operator during the mission is in acceptable conformity with collective reference states or is not in acceptable compliance.
- the method further comprises, after the step of theoretical compliance, a step consisting in determining whether the performance of the instantaneous tasks of the operator during the mission is in acceptable compliance with the performance of the theoretical reference actions or is not in acceptable compliance.
- This step can, depending on the case, be carried out before or after the two steps of verification of intra-personal and interpersonal compliance.
- the method further includes after each analysis step, a step of capitalizing the results of each analysis to enrich the individual and collective reference states.
- the step of determining an instantaneous state of the operator consists in implementing, on the physiological data, evaluation and prediction models associated with each physiological aspect.
- the method further comprises, after the restitution step, a step of providing the operator, via a suitable interface, with personalized services according to the results of the analysis steps.
- the method further comprises after the restitution step, a step of transmitting the results of the analysis steps to external systems.
- the invention also covers a computer program product comprising code instructions for performing the steps of the claimed method, when the program is executed on a computer.
- the invention further covers a device for assisting in monitoring the states of an individual operating on a complex system during a mission.
- the device comprises means making it possible to:
- the device of the invention further comprises means for collecting during the mission a set of data relating to the tasks performed by the operator, in particular the handling, observation and communication tasks, which make it possible to carry out a theoretical conformity analysis of the tasks which are performed by the operator, with respect to the theoretical rules of the tasks to be performed or of the procedures to be performed, which are recorded as a theoretical state of the art.
- the device of the invention comprises further other means for carrying out the steps of the method of the invention.
- FIG.1 a general context for implementing the device of the invention in one embodiment
- FIG.2 an architecture of the device of the invention according to one embodiment
- FIG.3 an architecture of the device of the invention according to an alternative embodiment
- FIG.4 a method of implementing the device of the invention according to one embodiment
- FIG.5 a method of implementing the device of the invention according to another embodiment
- FIG.6 an architecture of the device of the invention according to an alternative embodiment.
- FIG. 1 shows a general environment making it possible to implement the device of the invention 100. Although not illustrated so as not to be considered as a limitation, the description of an embodiment is made for an aeronautical environment . However, a person skilled in the art can apply the principles described to any other environment mentioned above such as industry and rail or road transport, the fields of safety, the fields of process control, etc.
- An operator 102 operates in an environment during simulation training or a real mission, illustrated by a platform 104.
- the operated platform is a complex system operated by the operator such as for example an aircraft (or a vehicle or a control post, ...) from which it is possible to retrieve context information on the current mission, on the state of the complex system and on the environmental situation (in the aeronautical context: weather conditions, air traffic conditions, etc.).
- the state of the system in the context of avionics can be information relating to the states inherent in normal operation, ie the percentage of engine power, if the fins are folded or unfolded, the condition of fuel tanks, etc., and information relating to states inherent in abnormal operation, ie the left engine is faulty, the right pedal of the co-pilot's seat is faulty, or any kind of potential fault.
- the platform can also provide information on the actions carried out by the operator through its HMIs.
- the context is represented by two distinct elements: a task to be performed by the operator.
- the physiological and cognitive states of the operator are classified in relation to the tasks to be performed by the operator.
- the tasks can be of various kinds: routine procedure, reaction to a given problem, etc.
- Each task corresponds to a physiological, psychophysical and cognitive signature, where a signature corresponds to a characteristic identified in an acquired signal and which is specific to a given operator and to a given task.
- the signature in the acquisition of the heart rate can be an acceleration of it in a stressful situation (breakdown, failure, change of route, strong wind during landing, etc.). the environment in which the complex system operates and the task is performed.
- the environment constitutes an adjustment variable for the analysis of the operator state: it makes it possible to adjust envelopes of the aforementioned signatures according to the context. For example, when one seeks to characterize the signatures of a landing, the elements that go into “environment” will be: the weather (wind, etc.), the arrival airport (or even the runway used), etc. .
- the environment of the operator (and / or the operator himself) is equipped with various sensors 106 making it possible to record physiological data and task or handling data of the operator during the operation. training or mission.
- the physiological and manipulatory data acquired are, for example, without limitation: i) the heart rate by means of a heart rate bracelet or a chest strap; ii) the respiratory rate thanks to the same chest strap or thanks to a layer of sensors located in or on the seat; iii) eye tracking data collected by means of a camera located either at a distance from the pilot on the dashboard or on glasses worn by the pilot; iv) skin resistance by means of the heart rate monitor or a dedicated bracelet, v) movement sensors worn by the operator at the level of the head, trunk, upper and lower limbs or placed at the level of its manipulandum: the speed and acceleration of the rudder pedals, the joystick and the joysticks, vi) all the observation actions performed by the operator and the areas viewed in the cockpit, vii) all the handling actions performed by the operator on the instrument panel and
- the device of the invention 100 or personal assistant operator generally comprises a contextualization component 108, an individual instantaneous operator status component 110, an operator status analysis component 112, a base or register of reference states 114, an individual and collective capitalization component (l / C) 116 and a restitution component 118.
- the reference state register 114 comprises a base of individual reference states 114-1 and a base of collective reference states 114-2. According to the variant embodiment illustrated in FIG. 5, the reference state register 114 further comprises or is coupled to a base of theoretical reference states 114-3.
- the contextualization component 108 comprises means for receiving context data from the platform 104 and for providing information, contextualization parameters.
- Context data can include flight data such as: route, altitude, speed, acceleration, attitude and envelope.
- aircraft parameters can be taken into account, such as: date of the last maintenance, in-flight events, etc.
- the contextualization component is configured to take into account external data such as weather conditions.
- the contextualization component 108 comprises means for analyzing the information received and extracting elements of interest (such as for example the force, the orientation of the wind) characteristic of a sequence during the game (a sequence being a particular moment like for example the landing) and operational elements (as for example in the case of the landing of an aircraft: how did the operator operate the action?; what is the attitude of the aircraft, its speed, inclination, what actions on the pedals, etc.) in relation to the behavior of the operator.
- the device makes it possible to segment a flight into relevant flight phases (restriction of the sequence in the time domain), and to segment the analysis of the actions of the operator (restriction in the operational domain).
- the contextualization component 108 also takes into account the oral communications made by the operator with the other actors of the mission, and identifies key moments transmitted or received by the operator, such as announcements of heading, speed reference. or altitude.
- the contextualization elements identified by the contextualization component 108 are provided to the operator state analysis component 112.
- contextualization elements are also provided to the operator individual snapshot component 110 in order to enhance the robustness of prediction models and make them less sensitive to false positives.
- the individual operator instantaneous state component 110 receives the information produced by the sensors 106 in order to provide information on the state. operator snapshot.
- the sensors are not only physiological, but they can also acquire the manual actions operated by the operator, as well as the communications and their voice analysis, etc.
- the individual operator snapshot component 110 includes means for processing different physiological aspects of the operator, as well as his observations, manipulations, communications.
- the information from the contextualization component 108 and from the operator individual instantaneous state component 110 are processed by the operator state analysis component 112 which also receives information on individual and collective reference states from the component d 'reference states 1 / C 114, in order to deliver information resulting from the analysis.
- the reference state component 114 comprises two modules: a module of individual reference states of the operator 114-1, a module of collective reference states 114-2. In an alternative embodiment illustrated in Figure 5, the reference state component 114 further comprises or is coupled to a third theoretical reference state module or register 114-3.
- the theoretical reference state register 114-3 also proceeds from a knowledge base which records and makes available a characterization of the state of the art and of the technical and operational constraints associated with the field concerned. This base of theoretical reference states also constitutes a structured memorization of the various procedures and operating envelopes authorized according to the context and the situation.
- the analysis made by the operator state analysis component 112 takes into account the individual reference states, the collective reference states and the theoretical reference states, as received. by the base of reference states 114.
- the rendering component 116 comprises means for broadcasting the analysis information to external systems 120 and / or to applications 122 dedicated to the operator 102.
- the operator state analysis component 112 further provides the I / C capitalization component 118 with information resulting from the analysis.
- the component of capitalization l / C 118 includes two modules: an individual capitalization module 118-1 and a collective capitalization module 118-2 which aim to enrich the individual and collective knowledge bases of the component of reference states l / C 114, and to continuously improve the behavioral models and the analysis and discernment capacities of these models.
- Figure 2 illustrates an architecture of the device of the invention 100 according to an embodiment according to Figure 1.
- the components of Figure 1 whose function is identical keep the same references in the various figures, variants of implementation which can be carried out by those skilled in the art while retaining the same functionalities. Thus, only the elements not described in FIG. 1 are described in detail.
- the operator individual instantaneous state component 110 comprises specific evaluation and prediction models 202, associated with each of the different physiological aspects 204. to assess, for example without limitation, sensorimotor, disability, vigilance, drowsiness, mental load.
- the assessment and prediction models are based on artificial intelligence models trained to produce instantaneous individual states (cognitive, physiological, etc.) as they should be if all goes well. (no breakdown, etc.).
- the individual operator snapshot component addresses only one physiological aspect.
- the I / C reference state component 114 includes records of two types of reference states: individual reference states of operator 114-1 and collective reference states of a plurality of reference states. operators 114-2.
- the register of individual reference states of the operator 114-1 comprises significant data associated with the characterization of the physiological state and the contextualized cognitive state of an operator, and constitutes a knowledge base of previously recorded data.
- This database constitutes a structured memorization of the operator's experiences during his previous missions.
- the structuring of the individual reference register associates the physiological state and the cognitive states of the operator with a contextual situation encountered during a recorded sequence, and presents data structured in triads "Physiological State - Cognitive States - Contextual Situation" associated with the current sequence representative of the behavior of the operator.
- the register of collective reference states operators 114-2 also comes from a knowledge base which records and makes available a characterization of the physiological state of contextualized operators, previously recorded for different operators.
- This database also constitutes a structured memorization of the experiences of a group of operators during previous missions.
- the information is structured in triads "Physiological State - Cognitive States - Contextual Situation", in a manner equivalent to that used for the individual case.
- an anonymization module allows the recorded data to be anonymized.
- the operator state analysis component 112 proceeds from the combined analysis of the instantaneous physiological state of the operator which is measured 110 and contextualized 108 by the information coming from the operated platform, and from the determination of its cognitive states according to the reference states 114.
- the purpose of this analysis is to measure the gap between the instantaneous and contextualized behavior of an operator and the previous individual and collective practice.
- the operator state analysis component 112 comprises a first comparator 212 making it possible to compare the instantaneous and contextualized state of an operator, with the individual reference states of the operator supplied by the reference state register.
- individual operator 114-1 An individual-individual, intra-personal comparison of the operator is made between his physiological state and his instantaneous individual cognitive states and his same individual states present in the knowledge base 114-1 and associated with the same contextual situation. It is a question of measuring the instantaneous behavior difference of the operator with the behaviors which he produced in the past under similar conditions.
- an individual envelope is defined from the operator's individual baseline.
- an envelope defines a field in which the states in a given situation are located: for example, if for the mental load, the appropriate model existing in the model base 202 gives a measurement between 0 and 100 (to qualify the mental load rate), in a given situation (for example: a landing at Roissy Charles de Gaulle on the alpha track with a given wind and a given aircraft in perfect working order), the individual envelope will be "mental load between 55 and 67".
- the first individual-individual comparator 212 outputs information on the instantaneous state of the operator. If all the variables are included in their respective envelopes, the comparator output indicates that there is nothing to report, and the knowledge databases are consolidated directly. If one or more variables are outside their respective envelopes, a second comparative analysis is made on the variables compared to collective envelopes.
- the operator state analysis component 112 comprises a second individual-collective comparator 214 making it possible to compare the data coming from the first comparator 212 with collective reference states provided by the collective reference state register 114-2. .
- An interpersonal comparison with other operators is made between the instantaneous individual physiological state of the operator and the individual physiological and cognitive states of different operators, present in knowledge base 114-2 and associated with the same contextual situation. This is to measure the instantaneous behavioral deviation of an operator with behaviors produced in the past by other operators under similar conditions.
- a collective envelope is defined from the operator collective reference states. The result of the comparison provides a distance from the operator state to the collective envelope, which determines the restitution provided.
- the second comparator 214 outputs the results of the comparative analysis of the individual data to the collective data. If, despite the need for this second comparison, ultimately the operator states are within the collective global envelope, the output of comparator 214 indicates that there is nothing to report, and the knowledge databases are consolidated directly.
- the device makes it possible to give a feedback in real time to the operator to signal it to him, and to indicate to him that he must rectify operational parameters (its trajectory, speed, angle of attack, engine power, tilt, etc.) or non-operational parameters (going to rest, handing over, putting on autopilot, etc.).
- the restitution component 116 coupled to the analysis module 112 disseminates the results from the comparator (s) 212, 214, to the operator himself, to offer him (via a suitable interface) services adapted and / or personalized 122, and / or to other external systems 120 which can exploit the results for performance or security purposes.
- the information disseminated is adapted to the type of reproduction envisaged (on the content and the form given to the content).
- various services are likely to be offered, such as, for example: information and indicators on the instantaneous physiological state; information on the (intra-individual) comparison of the instantaneous physiological state with the history under the same conditions; alerts on intrinsically abnormal physiological states (incapacity, hypovigilance, signs of falling asleep, etc.) or alerts on contextual situations requiring established physiological states that are not observed (vigilance, wakefulness, etc.); recommendations for action on the various aspects associated with physiological states (for example, if there are signs of falling asleep, recommendation for rest); recommendations for action on various aspects associated with both physiological states and operational situations (for example, recommendation of training or training on certain aspects or on certain operational phases); indications of actions to be carried out if a procedure which was to be initiated is not, or if the physiological state of the operator is divergent, or if the operator encounters a problem that he does not have the habit of solving (for example, reminder of the landing procedure in civil aviation, or advice
- Countermeasures can be implemented by systems external to the device to overcome these detected anomalies and ensure the safety of the mission and of its performance;
- alerts to potential co-operators on the failure by the main operator to follow the theoretical procedures to be implemented in a given situation are enriched by virtue of the collective capitalization module which recorded (anonymously) the reactions of the various operators faced with similar situations.
- the results of the combined individual-individual and individual-collective analysis from the state analysis component 112 are further used as individual and collective capitalization data in the I / C capitalization component 118.
- the I / C capitalization component 118 comprises an individual capitalization module 118-1 and a collective capitalization module 118-2.
- the individual capitalization module 118-1 uses the personal operator and context elements acquired during the execution of a mission and inserts them into the knowledge base 114-1 of the individual reference statements of the operator. It is configured to extract relevant information from individual state data and context characterization elements, and combine them into the individual knowledge base.
- the individual capitalization component is configured to filter only the significant personal and contextual information.
- the significant information can be: during take-off and landing (phases considered as critical), it is necessary to extract more parameters than during cruising phases where it is sufficient to follow only a few parameters to know if the pilot is in the nails or not.
- the collective capitalization module 118-2 is configured to perform a similar capitalization function, that is to say to extract the relevant information from the data of collective statements and from the elements of characterization of the context, and to associate them in the collective knowledge base. It is also configured to carry out an anonymization of the data, the inter-individual comparison not needing to have the identification of the operators, since it is a set of behaviors carried out in the past by a set. operators in similar situations.
- FIG. 3 illustrates an alternative embodiment of the device of the invention according to FIG. 2 in which the state analysis component 112 comprises or is coupled to a component 302 for selecting instantaneous states making it possible to select from among l 'set of instantaneous states, a subset of instantaneous states to be addressed directly to second comparator 214 in addition to the output of first comparator 212.
- the component 302 is used to develop a representation of the cognitive state resulting from the representation level models compatible with the "operator collective states and references" which may have a reduced level of detail compared to the level of detail of the individual operator reference states, this because the collective level would have led to work with an abstraction or a lower level of detail (data optimization, less sensitive individual data, etc.) than at the individual level.
- Figure 4 a method 400 for implementing the device of the invention illustrated in Figures 1 or 2, according to one embodiment.
- the method is implemented by computer to aid in monitoring the states of an individual operating on a complex system during a mission. It includes at least steps of:
- the method is implemented at the start of a mission 402 on a platform 104 for an operator 102 equipped with different sensors 106.
- a mission can be training on a simulated system or an operational mission on a real system.
- the process makes it possible to record two types of data: physiological and psychophysical data specific to the operator, and contextual or operational data specific to the current mission.
- the method makes it possible to determine, from the operational data, the contextualization parameters of the mission (step 404), and from the data specific to the operator, an individual operator instantaneous state (step 406).
- the method makes it possible, on the basis of the individual operator instantaneous state and of the contextualization parameters, to carry out an analysis of intra-personal conformity of the operator's individual state with respect to his own reference states, collected previously and recorded in a database of individual operator reference states 114-1.
- a next step 410 the method makes it possible to determine whether the results of the intra-personal analysis should or should not generate an alert signifying that the instantaneous state of the operator during the mission is not or at contrary is or remains in acceptable conformity with its own individual reference states. If there is no alert generated, the process allows 411 to capitalize on the analysis performed. If the operator states are such that an alert is to be generated, the method continues to the next step 412 to perform interpersonal analysis 412 from the individual operator state to collective, collected reference states. previously and recorded in a database of collective operator reference reports 114-2.
- a next step 414 the method makes it possible to determine whether the results of the interpersonal analysis should or should not generate an alert 410 signifying that the instantaneous state of the operator during the mission is not or at contrary is or remains in acceptable conformity with collective reference states. If there is no alert generated, the process allows 415 to capitalize on the analysis performed. If the operator's states are such that an alert should be generated, the method continues to the next step 416 to render the results back to the operator and to other rendering systems. The process continues for the duration of the mission.
- FIG. 6 illustrates the main steps for operating the method of the invention on the device of FIG. 5, where the state register comprises a module of individual reference states 114-1, a module of states of collective reference 114-2 and a module of theoretical reference states 114-3.
- the method 600 differs from the method 400 in that the analysis of the operator state 610 takes into account in addition to the analysis of intra-personal compliance and the analysis of interpersonal compliance, a theoretical compliance analysis .
- the method Before the step of restoring the results of the analysis, the method carries out a theoretical conformity analysis consisting in comparing data which are collected and characterizing instantaneous tasks performed by the operator, with theoretical reference data, said theoretical reference data being associated with the characterization of actions (manipulation, observation, communication, etc.) and their sequence (example procedure monitoring) as described in a state of the art of the management of the situation encountered (reference manuals for example).
- the method takes into account the parameters of individual instantaneous tasks performed by the operator (608) . These parameters are signatures representative of the tasks performed by the operator.
- the theoretical conformity analysis is carried out in relation to theoretical reference states or tasks (representing the state of the art and the theoretical constraints imposed for the field of application of the invention, on the analyzed situation ).
- the theoretical compliance analysis is done on the basis of the contextualization parameters and the individual instantaneous tasks of the operator which are recorded and identified 608.
- the proposed solution carries out individualized longitudinal monitoring of the operator on one or more parameters over time, with several facets: physiological monitoring and psychophysical monitoring to define the operator's perceptual-motor style.
- the operator's personal assistant is configured to provide the operator with feedback which takes into account (1) the operator's behavioral history and the various situations that have arisen in the past during the period. execution of equivalent missions, and therefore makes it possible to individualize the diagnosis on the variation in behavior detected; and (2) the behavior history of a set operators in different situations that have arisen in the past during the performance of equivalent missions, and therefore makes it possible to compare individual behavior with a set of (anonymized) behaviors and thus replace the diagnosis in relation to a general practice of execution of the mission.
- the proposed solution therefore proves to be both individualized and capable of referring to general practice.
- the proposed solution makes it possible to provide a flexible and adapted restitution:
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Developmental Disabilities (AREA)
- Primary Health Care (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Cardiology (AREA)
- Epidemiology (AREA)
- Veterinary Medicine (AREA)
- Data Mining & Analysis (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Pulmonology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Debugging And Monitoring (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Electrotherapy Devices (AREA)
Abstract
Il est écrit un dispositif et un procédé mis en oeuvre par ordinateur, d'aide au suivi des états d'un individu opérant sur un système complexe pendant une mission. Le dispositif est configuré pour collecter régulièrement pendant la mission, des données relatives à l'état du système complexe et de son environnement, des données relatives au contexte de la mission, des données physiologiques relatives à l'opérateur, et des données relatives aux tâches effectuées par l'opérateur, notamment les tâches de manipulation, d'observation, de communication; déterminer à partir des données collectées des paramètres de contextualisation et un état instantané individuel de l'opérateur; faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l'état instantané individuel de l'opérateur; faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l'analyse de conformité intra-personnelle; et restituer les résultats des analyses. Le dispositif peut par ailleurs être configurer pour faire une analyse de conformité théorique des tâches effectuées par rapport aux règles théoriques de tâches à exécuter ou de procédures à réaliser.
Description
DESCRIPTION
Titre de l’invention : PROCEDE ET DISPOSITIF D’AIDE AU SUIVI DES ETATS COGNITIFS D’UN INDIVIDU
[0001] L’invention concerne le domaine général des systèmes d’aide au suivi des états d’individus, et propose en particulier un procédé et un dispositif permettant de faire un suivi individuel longitudinal et contextualisé des états cognitifs des individus.
[0002] L’invention couvre ainsi plusieurs domaines que sont la psychophysique, la neurophysiologie et l’analyse des comportements cognitifs. Elle vise à résoudre au moins le problème technique de comparer l’état psychophysique et physiologique d’un individu sain à un instant donné, i.e. ses états sur un plan cognitif ou états cognitifs couvrant sans limitation ses états de vigilance, de fatigue, de somnolence, à un instant donné, à ces mêmes états cognitifs obtenus dans des contextes proches, voire similaires.
[0003] L’invention adresse aussi un problème technique connexe et sous-jacent qui est de construire une modélisation individualisée des états cognitifs d’un individu sain.
[0004] Dans la présente description, les termes suivants ont pour définition :
- Opérateur : individu, sujet, personne, humain en charge d’opérer (i.e. piloter, contrôler, activer) un système complexe. Il peut s’agir d’une personne unique ou d’une équipe de plusieurs membres (on parle alors d’un équipage). La complexité d’un système est également dépendante de la complexité de l’équipe (ou équipage) considérée.
- Suivi longitudinal individuel ou individualisé : suivi sur le temps long d’une ou plusieurs variables associées d’un opérateur, qu’elles soient brutes (par exemple le rythme cardiaque) ou calculées (par exemple la charge mentale).
[0005] A ce jour les états cognitifs des opérateurs sont évalués sur des aspects ayant été étudiés en laboratoire (par exemple, le cas de l’endormissement) et par rapport à des résultats moyennés, mesurés sur une cohorte de participants sains et volontaires.
[0006] Or, ces états cognitifs ne sont pas évalués par rapport aux caractéristiques intrinsèques et personnelles de ces participants, c’est-à-dire par comparaison intra- personnelle.
[0007] Par ailleurs, les états cognitifs d’un individu sont évalués dans un cadre général d’une mission qui est/doit être exécutée (par exemple la conduite automobile) et non par rapport à un contexte instantané ou une situation instantanée d’une mission (par exemple, en phase de vol engagée comme le décollage ou en conduite sur autoroute, etc.).
[0008] Aussi, les solutions existantes présentent au moins les lacunes suivantes :
- Elles ne prennent pas en compte l’aspect individuel du suivi longitudinal. En procédant à des comparaisons uniquement par rapport à des normes générales acquises sur des cohortes de sujets, les solutions existantes ne tiennent pas compte du fait que le comportement d’un opérateur est très différent de celui d’un autre opérateur à mission et contexte fixés mais peut être considéré comme stable dans le temps en conditions nominales.
- Elles ne prennent pas en compte les éléments de contextualisation d’une mission : que ce soit le type de mission ou une action précise à mener à un instant donné de la mission ; à l’inverse, les solutions existantes se basent essentiellement sur des résultats généraux.
- Elles ne prennent en compte qu’une base restreinte de paramètres physiologiques et psychophysiques (certaines solutions n’utilisent que l’oculométrie ou seulement le rythme cardiaque), ne permettant pas alors d’aboutir à un résultat réellement pertinent.
[0009] Les références suivantes proposent des approches d’évaluation des états cognitifs d’un individu qui (1) considèrent des données physiologiques de l’individu à un instant donné et ne prennent pas en compte des états de référence individuels antérieurs de l’individu ou expériences passées dans un contexte similaire, ou (2) ne prennent pas en compte dans l’évaluation des états de référence collectifs antérieurs :
(1) L’article d’Angela R. Harrivel et al. « Prédiction of Cognitive States during Flight Simulation using Multimodal Psychophysiological Sensing », AIAA INFORMATION SYSTEMS-AIAA INFOTECH@AEROSPACE, 5 janvier 2017, XP055747223, Reston, Virginia, DOI: 10.2514/6.2017-1135, ISBN: 978-1-62410-449-7.
(2) L’article de Liu Jing et al. “Cognitive pilot-aircraft interface for single-pilot operations” KNOWLEDGE-BASED SYSTEMS, ELSEVIER, AMSTERDAM, NL, vol.
112, 6 septembre 2019 (2016-09-06), pages 37-53, XP029757287, ISSN: 0950-7051, DOI: 10.1016/J.KNOSYS.20160.8.031 , dans les sections “2.2 Conceptual working process” et “2.3. CPAI functionalities”.
[0010] Or, parmi les états cognitifs qui ont un intérêt majeur dans de nombreux domaines qui s’intéressent au suivi du comportement de l’individu, il y a la charge mentale, la vigilance et le style perceptivo-moteur. Le style perceptivo-moteur définit la façon dont un sujet interprète et combine ses entrées sensorielles que sont les informations visuelles, vestibulaires et proprioceptives pour générer un comportement moteur adapté. Cette intégration des signaux perceptifs, au même titre que la charge mentale et la vigilance, a une grande variabilité inter-individuelle, et c’est ce qui constitue le problème technique de construire une modélisation efficace individualisée des états cognitifs d’un individu sain. Par contre, tout comme le comportement, l’intégration des signaux perceptifs peut être considéré comme stable dans le temps en conditions nominales.
[0011 ] Aussi, un objet de l’invention est de répondre aux besoins précités et de pallier les inconvénients des techniques existantes.
[0012] L’invention propose une solution basée sur le suivi longitudinal et contextualisé d’un opérateur (permettant d’acquérir une connaissance personnalisée de ce dernier) grâce à l’interaction de plusieurs composants : un composant individuel dit « Assistant Personnel Opérateur » ou (APO) qui intègre des données personnelles de l’opérateur ; une base de données opérateurs anonymisée ;
- une base de procédures de référence, traduisant l’état de l’art des procédures et leurs contraintes imposées (par exemple : un manuel de référence, des procédures normales, des procédures d’urgence dans le domaine aéronautique, ou encore un recueil de jurisprudence dans le domaine judiciaire).
[0013] Plusieurs aspects contribuent à la mise en oeuvre de l’invention, que sont au moins :
- une modélisation du style perceptivo-moteur ;
- un suivi physiologique ; et
- un suivi psychophysique.
[0014] Ces différents aspects permettent que l’assistant personnel opérateur soit un dispositif capable d’une part d’épauler un opérateur au cours de sa mission (par exemple lors de situations difficiles ou peu souvent rencontrées), et d’autre part d’accompagner l’opérateur en dehors de sa mission. Un exemple d’accompagnement hors mission peut être par exemple, d’orienter la formation continue de l’opérateur en fonction des observations réalisées pendant la mission, et restituées par l’APO. Un autre usage peut être de rejouer en simulateur le scénario d’une mission en l’adaptant en fonction des situations et des réactions survenues au cours de ladite mission, et restituées par ARO. L’assistant pourra être utilisé pour optimiser le bien-être ou « well being » de l’opérateur en proposant, par exemple des horaires veille/sommeil, des repas, des contenus de repas, des épisodes d’entrainement physique par exemple pour gérer un décalage horaire ou une veille très prolongée.
[0015] Enfin, à l’échelle d’un ensemble d’opérateurs (au niveau d’une compagnie ou d’un organisme par exemple), les données des assistants personnels opérateurs peuvent être anonymisées afin de créer une base de données de connaissances qui peut être un élément de comparaison et de référence pour l’assistant personnel opérateur.
[0016] Le principe général du suivi longitudinal individuel et contextualisé est que lors de chaque entraînement sur un système simulé, et de chaque mission sur un système réel, deux types de données sont enregistrées : des données physiologiques propres à l’opérateur (comme le rythme cardiaque) et des données contextuelles ou opérationnelles propres à la mission (consignes, tâches effectuées, manipulation de l’interface homme-machine, variables d’état de la machine). L’ensemble de ces données est ensuite agrégé pour fournir en temps réel une assistance personnelle, qui est propre à chaque opérateur en fonction : des variables qui décrivent la situation présente ; et des expériences passées de l’opérateur, colligées sur l’APO.
[0017] Par exemple, cette assistance fournit à l’opérateur un soutien opérationnel en cas de besoin (baisse de la vigilance, signaux de début d’endormissement, montée du niveau de la charge mentale, écart du style perceptivo-moteur, etc.) par une
comparaison entre son état cognitif instantané et ses états cognitifs antérieurs dans des contextes similaires.
[0018] Un point capital, pour que l’opérateur établisse une relation de confiance avec son APO et pour répondre aux obligations légales concernant les données médicales, l’intégralité des données colligées sur l’APO et le résultat de leurs traitements par des algorithmes dédiés sont couverts par le secret médical : l’opérateur en est propriétaire et nul autre que lui ne peut les consulter sans qu’il n’ait donné son autorisation au préalable. Par contre, il ne peut les céder à un particulier ou à tout autre organisme tiers.
[0019] En parallèle, toutes les données recueillies par l‘APO sont anonymisées et agrégées au sein d’une base de données ou base de connaissances communes (BCC). Cette base de données sert de référence à l’assistant personnel opérateur pour comparer la situation de l’opérateur à un instant donné avec toutes les situations proches voire identiques (mêmes conditions, même situation opérationnelle, etc.).
[0020] De plus le processus met en oeuvre une base de connaissances théoriques (BCT) traduisant l’état de l’art et les contraintes imposées à l’opérateur dans toutes les situations proches voire identiques, i.e. mêmes conditions, même situation opérationnelle, etc., cet état de l’art étant par exemple l’ensemble des procédures à suivre dans la situation considérée.
[0021] Aussi, le processus proposé peut être décrit comme une mise en abyme de ARO grâce à la BCC et à la BCT. Cette mise en abyme permet d’évaluer le comportement actuel d’un opérateur vis-à-vis de son « enveloppe personnelle », d’une « enveloppe collective » et d’une « enveloppe théorique ». Le cas échéant l’opérateur peut se voir proposer des aides à la décision, des reconfigurations d’une interface homme-machine etc. qui sont adaptées à la situation présente.
[0022] La présente invention trouvera de nombreux domaines d’application où existe le besoin de suivre et d’accompagner des opérateurs de système complexe tout du long de leur carrière. Les domaines d’exploitation de l’invention sont les domaines d’activité dans lesquels un système complexe est contrôlé et mis en oeuvre par un ou plusieurs opérateurs. Ces domaines métiers comportent par exemple l’industrie et le
transport aéronautique, ferroviaire, routier, les domaines de la sécurité, les domaines du contrôle de processus, voire les domaines médicaux, judiciaires, etc.
[0023] Un des principaux domaines sensibles à la problématique de suivi du comportement d’un opérateur, que ce soit pour des questions de sécurité ou de performance (i.e. réduction du nombre d’opérateurs pour une tâche donnée, connue selon l’anglicisme « Single Pilot Operation ») est le domaine de l’aéronautique avec la définition du concept de « système de suivi de l’équipage » ou « Crew Monitoring System » en anglais. Ce type de système a pour but de suivre le comportement de chaque membre de l’équipage et de prévenir les opérateurs eux-mêmes et le système complexe des variations du comportement de l’opérateur vis-à-vis du comportement attendu ou des variations vis-à-vis du comportement lors de missions antérieures similaires. A l’extrême, la mise en abyme de son comportement pourrait acter l’exclusion de l’opérateur de la commande du dispositif (par exemple en cas de perte de connaissance ou de pulsion suicidaire, etc.) et lui substituer un dispositif de pilotage automatique.
[0024] Le domaine d’exploitation de l’invention s’étend également à la formation des opérateurs et à la possibilité de mesurer et de suivre leur évolution au cours de leur formation, afin de vérifier leur progression dans l’apprentissage et la maîtrise de la conduite du processus dont ils ont la charge, et d’adapter la formation à leur comportement.
[0025] Le domaine d’exploitation de l’invention est également celui de la formation continue de l’opérateur, cette dernière étant adaptée en fonction des besoins de l’opérateur révélés par la restitution de l’assistant personnel et quantifiés lors des missions et sa mise en perspective avec les données de la base de connaissance commune.
[0026] Ainsi, le dispositif de l’invention dans le contexte de l’aéronautique, participe à plusieurs domaines d’innovation : le développement du cockpit du futur, le monitoring des pilotes (en vol et hors vol), le suivi physiologique et psychophysique de ces derniers ou encore la sécurité des vols et la performance de la mission.
[0027] Le dispositif proposé aborde la problématique de comment s’assurer qu’un pilote est robuste d’un point de vue opérationnel. Cette problématique est multiple et soulève plusieurs questions techniques, car il faut en effet être capable de mesurer
plusieurs paramètres physiologiques de façon la moins invasive possible, d’interpréter ces signaux, de les compiler avec les données contextuelles de la mission et de produire en sortie une information pertinente qui soit opérationnellement utile pour le pilote.
[0028] Les avantages de l’invention sont multiples et situés à plusieurs niveaux. Au niveau de l’opérateur, l’assistant personnel permet un meilleur suivi de santé. En enregistrant de manière longitudinale le rythme cardiaque et le rythme respiratoire (ainsi que d’autres paramètres physiologiques), en effectuant des contrôles réguliers de l’audition, de la vision et éventuellement du nycthémère de l’opérateur, l’évolution ou l’apparition de signes cliniques mineurs sont répertoriés et traités avant la survenue de troubles caractérisés. Il s’agit donc d’une démarche préventive. Également, le suivi longitudinal individuel du système sensorimoteur permet de définir la notion de robustesse opérationnelle et de l’évaluer à intervalle régulier tout au long de la carrière de l’opérateur. Enfin, la solution proposée permet une meilleure gestion des problèmes qui peuvent survenir lors de l’accomplissement d’une mission (pannes, actions multiples à mener de façon simultanée, etc.).
[0029] Toujours avantageusement, l’agrégation des paramètres physiologiques et psychophysiques d’un opérateur permet également de modéliser individuellement en temps réel (par opposition à un temps décalé après la mission), les états cognitifs de l’opérateur (fatigue, vigilance, charge mentale). Cela permet une meilleure gestion des situations délicates lors de l’opération des systèmes complexes mis en jeu. De plus, la solution proposée qui profite au fil du temps de la capitalisation continue de sa mise en oeuvre, permet d’améliorer la robustesse des modèles de détection de l’état physiologique et cognitif de l’opérateur.
[0030] Pour obtenir les résultats recherchés, il est proposé un procédé mis en oeuvre par ordinateur, d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission. Le procédé comprend au moins des étapes pour : -collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
-déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
-faire une analyse de conformité intra-personnelle par rapport à ses propres états de
référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
-faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra- personnelle ; et
-restituer les résultats des analyses.
Selon des modes de réalisation alternatifs ou combinés :
- l’étape d’analyse de conformité intra-personnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence individuels pour ledit opérateur, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés dudit opérateur.
- l’étape d’analyse de conformité interpersonnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence collectifs pour une pluralité d’opérateurs, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés de la pluralité d’opérateurs au cours de missions similaires à la mission en cours.
- l’étape de collecter des données consiste de plus à collecter des données représentatives de tâches effectuées par l’opérateur; et le procédé comprend de plus avant l’étape de restitution des résultats de l’analyse, une étape consistant à faire une analyse de conformité théorique par rapport à des états de référence théoriques, à partir des paramètres de contextualisation et de paramètres représentatifs des tâches opérateur ; et où lesdites étapes d’analyse de conformité intra-personnelle, de conformité interpersonnelle et de conformité théorique sont effectuées dans un quelconque ordre.
- les données de registre sont structurées en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle » associées à la séquence en cours d’analyse.
- le procédé comprend de plus après l’étape d’analyse de conformité intra- personnelle, une étape consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec ses propres états individuels de référence ou n’est pas en conformité acceptable.
- le procédé comprend de plus après l’étape d’analyse de conformité interpersonnelle, une étape consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec des états collectifs référence ou n’est pas en conformité acceptable.
- le procédé comprend de plus après l’étape de conformité théorique, une étape consistant à déterminer si la réalisation des tâches instantanées de l’opérateur en cours de mission est en conformité acceptable avec la réalisation des actions théoriques de référence ou n’est pas en conformité acceptable. Cette étape pouvant selon les cas être réalisée avant ou après les deux étapes de vérification de conformité intra-personnelle et interpersonnelle.
- le procédé comprend de plus après chaque étape d’analyse, une étape de capitalisation des résultats de chaque analyse pour enrichir les états de référence individuels et collectifs.
- l’étape de déterminer un état instantané de l’opérateur consiste à mettre en oeuvre sur les données physiologiques des modèles d’évaluation et de prédiction associés à chaque aspect physiologique.
- les modèles d’évaluation et de prédiction sont basés sur des modèles d’intelligence artificielle entraînés pour produire des états individuels instantanés.
- le procédé comprend de plus après l’étape de restitution, une étape consistant à fournir à l’opérateur via une interface adaptée, des services personnalisés selon les résultats des étapes d’analyse.
- le procédé comprend de plus après l’étape de restitution, une étape consistant à transmettre à des systèmes externes les résultats des étapes d’analyse.
[0031] L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé revendiqué, lorsque le programme est exécuté sur un ordinateur.
[0032] L’invention couvre de plus un dispositif d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission. Le dispositif comprend des moyens permettant de :
- collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la
mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
- faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra- personnelle ; et
- restituer les résultats des analyses.
[0033] Le dispositif de l’invention comprend de plus des moyens pour collecter pendant la mission un ensemble de données relatives aux tâches effectuées par l’opérateur, notamment les tâches de manipulation, d’observation, de communication, qui permettent de faire une analyse de conformité théorique des tâches qui sont effectuées par l’opérateur, par rapport à des règles théoriques de tâches à exécuter ou de procédures à réaliser, qui sont consignées comme un état de l’art théorique.
[0034] Le dispositif de l’invention comprend de plus d’autres moyens pour mettre en oeuvre les étapes du procédé de l’invention.
[0035] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :
[0036] [Fig.1 ] un contexte général permettant de mettre en oeuvre le dispositif de l’invention dans un mode de réalisation ;
[0037] [Fig.2] une architecture du dispositif de l’invention selon un mode de réalisation ;
[0038] [Fig.3] une architecture du dispositif de l’invention selon une variante de réalisation ;
[0039] [Fig.4] un procédé de mise en oeuvre du dispositif de l’invention selon un mode de réalisation ;
[0040] [Fig.5] un procédé de mise en oeuvre du dispositif de l’invention selon un autre mode de réalisation ; et
[0041] [Fig.6] une architecture du dispositif de l’invention selon une variante de réalisation.
[0042] La figure 1 montre un environnement général permettant de mettre en oeuvre le dispositif de l’invention 100. Bien que non illustré pour ne pas être considéré comme une limitation, la description d’un mode de réalisation est faite pour un environnement aéronautique. Cependant l’homme du métier peut appliquer les principes décrits à tout autre environnement cité précédemment tel que l’industrie et le transport ferroviaire ou routier, les domaines de la sécurité, les domaines du contrôle de processus, etc.
[0043] Un opérateur 102 évolue dans un environnement au cours d’un entrainement de simulation ou d’une mission réelle, illustré par une plateforme 104. La plateforme opérée est un système complexe opéré par l’opérateur comme par exemple un aéronef (ou un véhicule ou un poste de contrôle, ...) de laquelle il est possible de récupérer des informations de contexte sur la mission en cours, sur l’état du système complexe et sur la situation de l’environnement (dans le contexte aéronautique : conditions météorologiques, état du trafic aérien, etc). De manière non limitative, l’état du système dans le contexte de l’avionique peut être de l’information relative aux états inhérents à un fonctionnement normal, i.e. le pourcentage de puissance des moteurs, si les ailettes sont repliées ou dépliées, l’état des réservoirs de carburant, etc., et de l’information relative aux états inhérents à un fonctionnement anormal, i.e. le moteur gauche est défaillant, la pédale droite du siège copilote est défaillante, ou toute sorte de potentielle défaillance. La plateforme peut aussi fournir des informations sur les actions réalisées par l’opérateur au travers de ses IHM.
[0044] Dans un mode de réalisation, le contexte est représenté par deux éléments distincts : une tâche à effectuer par l’opérateur. Les états physiologiques et cognitifs de l’opérateur sont classés par rapport aux tâches à effectuer par l’opérateur. Les tâches peuvent être de diverses natures : procédure routinière, réaction face à un problème donné, etc. A chaque tâche correspond une signature physiologique, psychophysique et cognitive, où une signature correspond à une caractéristique identifiée dans un signal acquis et qui est propre à un opérateur donné et à une tâche donnée. Par exemple, la signature dans l’acquisition du rythme cardiaque peut être une accélération de celui-ci en situation stressante (panne, défaillance,
changement d’itinéraire, fort vent lors de l’atterrissage, etc.). l’environnement dans lequel le système complexe évolue et est effectuée la tâche. L’environnement constitue une variable d’ajustement pour l’analyse de l’état opérateur : il permet d’ajuster des enveloppes des signatures sus-citées en fonction du contexte. Par exemple lorsque l’on cherche à caractériser les signatures d’un atterrissage, les éléments qui rentrent dans « environnement » seront : la météo (vent, etc.), l’aéroport d’arrivée (voire même la piste utilisée), etc.
[0045] L’environnement de l’opérateur (et/ou l’opérateur lui-même) est équipé de différents capteurs 106 permettant de relever des données physiologiques et des données de tâche ou de manipulation de l’opérateur au cours de l’entrainement ou de la mission. Les données physiologiques et manipulatoires acquises sont par exemple, sans limitation : i) le rythme cardiaque au moyen d’un bracelet cardiofréquencemètre ou d’une ceinture pectorale ; ii) le rythme respiratoire grâce à la même ceinture pectorale ou grâce à un nappe de capteurs située dans ou sur le siège ; iii) les données d’oculométrie récoltées au moyen d’une caméra située soit à distance du pilote sur le tableau de bord soit sur des lunettes portées par le pilote ; iv) la résistance cutanée au moyen de la montre cardio-fréquencemètre ou d’un bracelet dédié , v) des capteurs de mouvements portés par l’opérateur au niveau de la tête, du tronc, des membres supérieurs et inférieurs ou disposés au niveau de ses manipulandum : la vitesse et l’accélération des palonniers, du manche et des manettes, vi) l’ensemble des actions d’observation réalisées par l’opérateur et des zones regardées dans le cockpit, vii) l’ensemble des actions de manipulations réalisées par l’opérateur sur le tableau de bord et plus généralement dans le cockpit, viii) l’ensemble des communications orales effectuées par l’opérateur.
[0046] Le dispositif de l’invention 100 ou assistant personnel opérateur (APO) comprend généralement un composant de contextualisation 108, un composant d’état instantané individuel opérateur 110, un composant d’analyse d’état opérateur 112, une base ou registre d’états de référence 114, , un composant de capitalisation individuelle et collective (l/C) 116 et un composant de restitution 118.
[0047] Selon la variante de réalisation de la figure 1 , le registre d’états de référence 114, comprend une base d’états de référence individuels 114-1 et une base d’états de référence collectifs 114-2.
[0048] Selon la variante de réalisation illustrée par la figure 5, le registre d’états de référence 114, comprend de plus ou est couplée à une base d’états de référence théoriques 114-3.
[0049] Le composant de contextualisation 108 comprend des moyens pour recevoir des données de contexte de la plateforme 104 et pour fournir une information, des paramètres de contextualisation. Les données de contexte peuvent comprendre des données de vol telles que : l’itinéraire, l’altitude, la vitesse, l’accélération, l’assiette et l’enveloppe. De plus, les paramètres de l’avion peuvent être pris en compte, tels que : la date de la dernière maintenance, les événements survenus en vol, etc. Avantageusement, le composant de contextualisation est configuré pour prendre en compte des données extérieures telles que les conditions météorologiques. Le composant de contextualisation 108 comprend des moyens pour analyser les informations reçues et extraire des éléments d’intérêt (comme par exemple la force, l’orientation du vent) caractéristiques d’une séquence en cours de jeu (une séquence étant un moment particulier comme par exemple l’atterrissage) et des éléments opérationnels (comme par exemple dans le cas de l’atterrissage d’aéronef : comment est-ce que l’opérateur a opéré l’action ?; quelle est l’assiette de l’appareil, sa vitesse, son inclinaison, quelles actions sur les pédales, etc.) en relation avec le comportement de l’opérateur. Dans des modes de réalisation, le dispositif permet de segmenter un vol en phases de vol pertinentes (restriction de la séquence dans le domaine temporel), et de segmenter l’analyse des actions de l’opérateur (restriction dans le domaine opérationnel). Le composant de contextualisation 108 prend également en compte les communications orales effectuées par l’opérateur avec les autres acteurs de la mission, et identifie des instants-clés émis ou reçus par l’opérateur, tels que des annonces de cap, de consigne de vitesse ou d’altitude.
[0050] Les éléments de contextualisation identifiés par le composant de contextualisation 108 sont fournis au composant d’analyse d’état opérateur 112.
Dans un mode de réalisation avantageux, les éléments de contextualisation sont aussi fournis au composant d’état instantané individuel opérateur 110 afin de renforcer la robustesse de modèles de prédiction et les rendre moins sensibles aux faux positifs.
[0051] Le composant d’état instantané individuel opérateur 110 reçoit les informations produites par les capteurs 106 afin de fournir une information sur l’état
instantané de l’opérateur. Les capteurs ne sont pas uniquement physiologiques, mais ils peuvent également acquérir les actions manuelles opérées par l’opérateur, ainsi que les communications et leur analyse vocale, etc.
[0052] Le composant d’état instantané individuel opérateur 110 comprend des moyens pour traiter différents aspects physiologiques de l’opérateur, ainsi que ses observations, manipulations, communications.
[0053] Les informations issues du composant de contextualisation 108 et du composant d’état instantané individuel opérateur 110 sont traitées par le composant d’analyse d’état opérateur 112 qui reçoit aussi des informations d’états de référence individuels et collectifs du composant d’états de référence l/C 114, afin de délivrer des informations résultant de l’analyse.
[0054] Le composant d’états de référence 114 comprend deux modules : un module d’états de références individuels de l’opérateur 114-1 , un module d’états de référence collectifs 114-2. Dans une variante de réalisation illustrée par la figure 5, le composant d’états de référence 114 comprend de plus ou est couplé à un troisième module ou registre d’états de référence théoriques 114-3.
[0055] Le registre d’états de référence théorique 114-3 procède également d’une base de connaissances qui enregistre et met à disposition une caractérisation de l’état de l’art et des contraintes techniques et opérationnelles associés au domaine concerné. Cette base d’états de référence théorique constitue aussi une mémorisation structurée des différentes procédures et enveloppes de fonctionnement autorisées en fonction du contexte et de la situation.
[0056] Selon la variante de la figure 5, l’analyse faite par le composant d’analyse d’état opérateur 112 prend en compte les états de référence individuels, les états de référence collectifs et les états de référence théoriques, tels que reçus par la base d’états de référence 114.
[0057] Le composant de restitution 116 comprend des moyens pour diffuser les informations d’analyse vers des systèmes externes 120 et/ou vers des applications 122 dédiées à l’opérateur 102.
[0058] Le composant d’analyse d’état opérateur 112 fournit de plus au composant de capitalisation l/C 118, des informations résultant de l’analyse. Le composant de
capitalisation l/C 118 comprend deux modules : un module de capitalisation individuelle 118-1 et un module de capitalisation collective 118-2 qui ont pour but d’enrichir les bases de connaissances individuelles et collectives du composant d’états de référence l/C 114, et de procéder à une amélioration continue des modèles de comportement et des capacités d’analyse et de discernement de ces modèles.
[0059] La figure 2 illustre une architecture du dispositif de l’invention 100 selon un mode de réalisation conforme à la figure 1. Les composants de la figure 1 dont la fonction est identique gardent les mêmes références sur les différentes figures, des variantes d’implémentation pouvant être réalisées par l’homme du métier en conservant les mêmes fonctionnalités. Ainsi il n’est décrit en détail que les éléments non décrits sur la figure 1. En particulier, le composant d’état instantané individuel opérateur 110 comprend des modèles d’évaluation et de prédiction 202 spécifiques, associés à chacun des différents aspects physiologiques 204 à évaluer, comme par exemple de manière non limitative, la sensorimotricité, l’incapacité, la vigilance, la somnolence, la charge mentale. Dans un mode de réalisation, les modèles d’évaluation et de prédiction sont basés sur des modèles d’intelligence artificielle entraînés pour produire des états individuels instantanés (états cognitifs, physiologiques, etc.) tels qu’ils devraient être si tout se passe bien (pas de panne, etc.).
[0060] Dans une variante de réalisation le composant d’état instantané individuel opérateur ne traite qu’un seul aspect physiologique.
[0061] Le composant d’états de référence l/C 114 comprend des enregistrements de deux types d’états de référence : des états de référence individuels de l’opérateur 114-1 et des états de référence collectifs d’une pluralité d’opérateurs 114-2.
[0062] Le registre d’états de référence individuels de l’opérateur 114-1 comprend des données signifiantes associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés d’un opérateur, et constitue une base de connaissance de données enregistrées antérieurement. Cette base constitue une mémorisation structurée des expériences de l’opérateur au cours de ses missions précédentes. La structuration du registre de référence individuel associe l’état physiologique et les états cognitifs de l’opérateur à une situation contextuelle rencontrée au cours d’une
séquence enregistrée, et présente des données structurées en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle » associées à la séquence en cours représentative du comportement de l’opérateur.
[0063] Le registre d’états de référence collectifs opérateurs 114-2 procède également d’une base de connaissances qui enregistre et met à disposition une caractérisation de l’état physiologique d’opérateurs contextualisé, enregistré antérieurement pour différents opérateurs. Cette base constitue aussi une mémorisation structurée des expériences d’un groupe d’opérateurs au cours de missions précédentes. La structuration des informations est en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle », de manière équivalente à celle utilisée pour le cas individuel. Dans un mode de réalisation avantageux, un module d’anonymisation permet que les données enregistrées soient anonymisées.
[0064] Le composant d’analyse d’état opérateur 112 procède de l’analyse combinée de l’état physiologique instantané de l’opérateur qui est mesuré 110 et contextualisé 108 par les informations issues de la plateforme opérée, et de la détermination de ses états cognitifs selon les états de référence 114. Cette analyse a pour but de mesurer l’écart entre le comportement instantané et contextualisé d’un opérateur et la pratique antérieure individuelle et collective.
[0065] Le composant d’analyse d’état opérateur 112 comprend un premier comparateur 212 permettant de comparer l’état instantané et contextualisé d’un opérateur, aux états de référence individuels de l’opérateur fournis par le registre d’états de référence individuels de l’opérateur 114-1. Une comparaison individuelle- individuelle, intra-personnelle de l’opérateur est faite entre son état physiologique et ses états cognitifs individuels instantanés et ses mêmes états individuels présents dans la base de connaissance 114-1 et associés à la même situation contextuelle. Il s’agit de mesurer l’écart de comportement instantané de l’opérateur avec les comportements qu’il a produits par le passé dans des conditions similaires. Dans un mode de réalisation, une enveloppe individuelle est définie à partir de l’état de référence individuel de l’opérateur. Une enveloppe dans le cadre de l’invention, définit un champ dans lequel se situent les états à situation donnée : par exemple, si pour la charge mentale, le modèle idoine existant dans la base de modèles 202 donne une mesure comprise entre 0 et 100 (pour qualifier le taux de charge mentale), à situation donnée (par exemple : un atterrissage à Roissy Charles de Gaulle sur la
piste alpha avec un vent donné et un appareil donné en parfait état de fonctionnement), l’enveloppe individuelle sera « charge mentale comprise entre 55 et 67 ».
[0066] Le premier comparateur individuel-individuel 212 délivre en sortie une information sur l’état instantané de l’opérateur. Si toutes les variables sont comprises dans leurs enveloppes respectives, la sortie du comparateur indique qu’il n’y a rien à signaler, et les bases de données de connaissance sont consolidées directement. Si une ou plusieurs variables sont en dehors de leurs enveloppes respectives, une seconde analyse comparative est faite sur les variables par rapport à des enveloppes collectives.
[0067] Le composant d’analyse d’état opérateur 112 comprend un second comparateur individuel-collectif 214 permettant de comparer les données issues du premier comparateur 212 à des états de référence collectifs fournis par le registre d’états de référence collectifs 114-2. Une comparaison interpersonnelle avec d’autres opérateurs est réalisée entre l’état physiologique individuel instantané de l’opérateur et les états physiologiques et cognitifs individuels de différents opérateurs, présents dans la base de connaissances 114-2 et associés à la même situation contextuelle. Il s’agit de mesurer l’écart de comportement instantané d’un opérateur avec des comportements produits par le passé par d’autres opérateurs dans des conditions similaires. Dans un mode de réalisation, une enveloppe collective est définie à partir des états de référence collectifs opérateurs. Le résultat de la comparaison fournit une distance de l’état de l’opérateur avec l’enveloppe collective, qui détermine la restitution fournie.
[0068] Le second comparateur 214 délivre en sortie les résultats de l’analyse comparative des données individuelles aux données collectives. Si, malgré le besoin de cette seconde comparaison, finalement les états de l’opérateur sont dans l’enveloppe globale collective, la sortie du comparateur 214 indique qu’il n’y a rien à signaler, et les bases de données de connaissances sont consolidées directement.
Si les états (une ou plusieurs variables) de l’opérateur sont en dehors de leurs enveloppes collectives respectives, le dispositif permet de faire un retour en temps réel à l’opérateur pour le lui signaler, et lui indiquer qu’il doit rectifier des paramètres opérationnels (sa trajectoire, sa vitesse, son incidence, sa puissance moteur, son
inclinaison, etc.) ou des paramètres non opérationnels (aller se reposer, passer la main, mettre le pilote automatique, etc.).
[0069] Le composant de restitution 116 couplé au module d’analyse 112 effectue la diffusion des résultats issus du ou des comparateurs 212, 214, à destination de l’opérateur lui-même, pour lui proposer (via une interface adaptée) des services adaptés et/ou personnalisés 122, et/ou vers d’autres systèmes externes 120 qui peuvent exploiter les résultats à des fins de performance ou de sécurité. Avantageusement, selon les modes de réalisation, l’information diffusée est adaptée au type de restitution envisagée (sur le contenu et la forme donnée au contenu).
[0070] Dans le cas d’une exploitation des résultats par une application 122 à destination d’un opérateur, différents services sont susceptibles d’être proposés, comme par exemple : des informations et indicateurs sur l’état physiologique instantané ; des informations sur la comparaison (intra-individuelle) de l’état physiologique instantané avec l’historique dans les mêmes conditions ; des alertes sur des états physiologiques intrinsèquement anormaux (incapacité, hypovigilance, signes d’endormissement, etc.) ou des alertes sur des situations de contexte nécessitant des états physiologiques établis non respectés (vigilance, éveil, etc.) ; des recommandations d’actions sur les différents aspects associés aux états physiologiques (par exemple, si présence de signes d’endormissement, recommandation de repos) ; des recommandations d’action sur différents aspects associés à la fois aux états physiologiques et aux situations opérationnelles (par exemple, recommandation de formation ou d’entraînement sur certains aspects ou sur certaines phases opérationnelles) ; des indications d’actions à effectuer si une procédure qui devait être engagée ne l’est pas, ou si l’état physiologique de l’opérateur est divergent, ou si l’opérateur rencontre un problème qu’il n’a pas l’habitude de résoudre (par exemple, rappel de la procédure d’atterrissage dans l’aviation civile, ou conseils des actions à effectuer en cas de défaillance technique d’un des composants de l’aéronef) ; des indications sur les procédures théoriques qui s’appliquent à une situation donnée, en fonction de l’état du système complexe tel que mesuré par les capteurs.
Dans un mode de réalisation, ces indications peuvent être enrichies grâce au module de capitalisation collective qui a enregistré (de façon anonyme) les réactions des différents opérateurs face aux situations analogues.
[0071] L’homme du métier comprend que cette liste de services n’est pas exhaustive, et qu’elle peut être enrichie d’autres options spécifiques et dédiées au contexte d’exploitation de l’invention.
[0072] Dans le cas d’une exploitation des résultats par un système externe 120, différents services peuvent être proposés, comme par exemple :
- des alertes sur des états d’incapacité à court terme ou constatés de l’opérateur, entraînant un problème de sécurité pour la suite de la mission, à destination des autres opérateurs ou des services de contrôle ;
- des alertes sur des états de comportement (états physiologiques et états cognitifs) de l’opérateur en dehors des comportements attendus lors des phases de la mission (vigilance, somnolence, charge mentale) pouvant altérer (mettre en danger) la sécurité de la mission, ou simplement la performance d’exécution de celle-ci. Des « contre-mesures » peuvent être mises en oeuvre par les systèmes externes au dispositif pour pallier ces anomalies détectées et assurer la sécurité de la mission et de la performance de celle-ci ;
- des alertes à destination des éventuels co-opérateurs sur le non-suivi, par l’opérateur principal, des procédures théoriques à mettre en oeuvre dans une situation donnée. Dans un mode de réalisation, ces alertes sont enrichies grâce au module de capitalisation collective qui a enregistré (de façon anonyme) les réactions des différents opérateurs face aux situations analogues.
[0073] L’homme du métier comprend que cette liste de services n’est pas exhaustive, et qu’elle peut être enrichie d’autres options spécifiques et dédiées au contexte d’exploitation de l’invention.
[0074] Les résultats de l’analyse combinée individuelle-individuelle et individuelle- collective issus du composant d’analyse d’état 112 sont de plus utilisés comme données de capitalisation individuelle et collective dans le composant de capitalisation l/C 118.
[0075] Dans le mode de réalisation décrit pour la figure 2, le composant de capitalisation l/C 118 comprend un module de capitalisation individuelle 118-1 et un module de capitalisation collective 118-2.
[0076] Le module de capitalisation individuelle 118-1 utilise les éléments personnels opérateur et de contexte acquis lors de l’exécution d’une mission et les insère dans la base de connaissances 114-1 des états de références individuels de l’opérateur. Il est configuré pour extraire les informations pertinentes des données d’état individuel et des éléments de caractérisation du contexte, et les associer dans la base de connaissances individuelle. Avantageusement, le composant de capitalisation individuelle est configuré pour filtrer les seules les informations personnelles et contextuelles signifiantes. Ainsi par exemple, en aéronautique, les informations signifiantes peuvent être : lors du décollage et de l’atterrissage (phases considérées comme critiques), il y a lieu d’extraire de plus nombreux paramètres que lors des phases de croisière où il suffit de suivre seulement quelques paramètres pour savoir si le pilote est dans les clous ou non.
[0077] Le module de capitalisation collective 118-2 est configuré pour effectuer une fonction similaire de capitalisation, c’est-à-dire extraire les informations pertinentes des données d’états collectifs et des éléments de caractérisation du contexte, et les associer dans la base de connaissances collective. Il est aussi configuré pour procéder à une anonymisation des données, la comparaison inter-individuelle n’ayant pas besoin de disposer de l’identification des opérateurs, puisqu’il s’agit d’un ensemble de comportements effectués dans le passé par un ensemble d’opérateurs dans les situations similaires.
[0078] La figure 3 illustre une variante de réalisation du dispositif de l’invention selon la figure 2 dans laquelle le composant d’analyse d’état 112 comprend ou est couplé à un composant 302 de sélection des états instantanés permettant de sélectionner parmi l’ensemble des états instantanés, un sous-ensemble d’états instantanés à adresser directement au second comparateur 214 en plus de la sortie du premier comparateur 212.
[0079] Le composant 302 sert à élaborer une représentation de l’état cognitif issu des modèles de niveau de représentation compatible avec les « états et références collectifs opérateurs » qui peuvent avoir un niveau de détail réduit par rapport au
niveau de détail des états références individuels opérateur, ceci car le niveau collectif eut amené à travailler avec une abstraction ou un niveau de détail plus faible (optimisation des données, données individuelles moins sensibles, etc.) qu’au niveau individuel.
[0080] La figure 4 un procédé 400 de mise en oeuvre du dispositif de l’invention illustré sur les figures 1 ou 2, selon un mode de réalisation. D’une manière générale, le procédé est mis en oeuvre par ordinateur pour l’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission. Il comprend au moins des étapes de :
- collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur;
- faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra- personnelle ; et
- restituer les résultats des analyses.
[0081] Plus en détail, le procédé est mis en oeuvre au début d’une mission 402 sur une plateforme 104 pour un opérateur 102 équipé de différents capteurs 106. Une mission peut être un entraînement sur un système simulé ou une mission opérationnelle sur un système réel. Le procédé permet d’enregistrer deux types de données : des données physiologiques et psychophysiques propres à l’opérateur, et des données contextuelles ou opérationnelles propres à la mission en cours.
[0082] Le procédé permet de déterminer, à partir des données opérationnelles, des paramètres de contextualisation de la mission (étape 404), et à partir des données propres à l’opérateur, un état instantané individuel opérateur (étape 406).
[0083] Dans une étape suivante 408, le procédé permet à partir de l’état instantané individuel opérateur et des paramètres de contextualisation, de faire une analyse de
conformité intra-personnelle de l’état individuel de l’opérateur par rapport à ses propres états de référence, collectés antérieurement et enregistrés dans une base d’états de référence individuels opérateurs 114-1.
[0084] Dans une étape suivante 410, le procédé permet de déterminer si les résultats de l’analyse intra-personnelle doivent générer ou non une alerte signifiant que l’état instantané de l’opérateur en cours de mission n’est pas ou au contraire est ou reste en conformité acceptable avec ses propres états individuels de référence. S’il n’y a pas d’alerte générée, le procédé permet 411 de capitaliser sur l’analyse effectuée. Si les états de l’opérateur sont tels qu’une alerte doive être générée, le procédé poursuit à l’étape suivante 412 pour procéder à une analyse interpersonnelle 412 de l’état individuel de l’opérateur à des états de référence collectifs, collectés antérieurement et enregistrés dans une base d’états de référence collectifs opérateurs 114-2.
[0085] Dans une étape suivante 414, le procédé permet de déterminer si les résultats de l’analyse interpersonnelle, doivent générer ou non une alerte 410 signifiant que l’état instantané de l’opérateur en cours de mission n’est pas ou au contraire est ou reste en conformité acceptable avec des états collectifs de référence. S’il n’y a pas d’alerte générée, le procédé permet 415 de capitaliser sur l’analyse effectuée. Si les états de l’opérateur sont tels qu’une alerte doive être générée, le procédé poursuit à l’étape suivante 416 pour restituer les résultats vers l’opérateur et vers des systèmes de restitution autres. Le procédé se poursuit pendant toute la durée de la mission.
[0086] La figure 6 illustre les principales étapes pour opérer le procédé de l’invention sur le dispositif de la figure 5, où le registre des états comprend un module d’états de référence individuels 114-1 , un module d’états de référence collectifs 114-2 et un module d’états de référence théoriques 114-3.
[0087] Le procédé 600 diffère du procédé 400 en ce que l’analyse de l’état opérateur 610 prend en compte en plus de l’analyse de conformité intra-personnelle et de l’analyse de conformité interpersonnelle, une analyse de conformité théorique.
[0088] L’analyse de conformité théorique se fait par rapport à un état de l’art de référence qui est enregistré dans le module d’états de référence théoriques 114-3.
[0089] Avant l’étape de restitution des résultats de l’analyse, le procédé fait une analyse de conformité théorique consistant à comparer des données qui sont
collectées et caractérisant des tâches instantanées faites par l’opérateur, à des données de référence théoriques, les dites données de référence théorique étant associées à la caractérisation d’actions (manipulation, observation, communication, ...) et de leur enchaînement (exemple suivi de procédure) tel que décrit dans un état de l’art de la gestion de la situation rencontrée (manuels de référence par exemple).
[0090] En plus des paramètres d’état instantané individuel de l’opérateur (606) et des paramètres de contexte de la mission (604), le procédé prend en compte des paramètres de tâches instantanées individuelles réalisées par l’opérateur (608). Ces paramètres sont des signatures représentatives des tâches effectuées par l’opérateur.
[0091] L’analyse de conformité théorique se fait par rapport à des états ou tâches de référence théoriques (représentant l’état de l’art et les contraintes théoriques imposées pour le domaine d’application de l’invention, sur la situation analysée). L’analyse de conformité théorique se fait à partir des paramètres de contextualisation et des tâches instantanées individuelles de l’opérateur qui sont relevées et identifiées 608.
[0092] L’homme du métier comprend que l’ordre d’exécution des trois types d’analyse de conformité - intra-personnelle ; interpersonnelle ; théorique - peut varier sans départir des principes mêmes de l’invention.
[0093] Les résultats de l’analyse, issus du composant d’analyse de l’état opérateur, peuvent être restitués de manière analogue que pour le procédé 400.
[0094] Il a ainsi été décrit une solution permettant d’assister un opérateur tout au long de sa carrière, que ce soit pendant ses périodes de formation, qu’au cours de ses missions opérationnelles. La solution proposée procède à un suivi longitudinal individualisé de l’opérateur sur un ou plusieurs paramètres dans le temps, avec plusieurs facettes : un suivi physiologique et un suivi psychophysique permettant de définir le style perceptivo-moteur de l’opérateur.
[0095] L’assistant personnel de l’opérateur est configuré pour fournir à l’opérateur un retour qui prend en compte (1) l’historique de comportement de l’opérateur et des différentes situations survenues par le passé au cours de l’exécution de missions équivalentes, et permet donc d’individualiser le diagnostic sur la variation de comportement détectée ; et (2) l’historique de comportement d’un ensemble
d’opérateurs dans des différentes situations survenues par le passé au cours de l’exécution de missions équivalentes, et permet donc de comparer le comportement individuel à un faisceau de comportements (anonymisés) et ainsi replacer le diagnostic par rapport à une pratique générale d’exécution de la mission.
[0096] La solution proposée s’avère donc à la fois individualisée et capable de se référer à une pratique générale. De plus, la solution proposée permet de fournir une restitution modulable et adaptée :
- à la mission ;
- au contexte dans lequel est effectuée la mission ;
- à l’opérateur et à ses besoins ;
- à l’équipage s’il y a lieu, et permet donc d’assurer une meilleure coordination.
[0097] La présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.
Claims
1. Procédé mis en œuvre par ordinateur d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission, le procédé comprenant au moins des étapes pour :
- collecter (402) régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part (404) des paramètres de contextualisation, et d’autre part (406) un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle (408) par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
- faire une analyse de conformité interpersonnelle (412) par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra-personnelle ; et
- restituer (416) les résultats des analyses.
2. Le procédé selon la revendication 1 dans lequel l’étape de collecter des données consiste de plus à collecter des données représentatives de tâches effectuées par l’opérateur ; le procédé comprenant de plus avant l’étape de restitution des résultats de l’analyse, une étape consistant à :
- faire une analyse de conformité théorique (610) par rapport à des états de référence théoriques (114-3), à partir des paramètres de contextualisation et de paramètres représentatifs des tâches opérateur ; et où lesdites étapes d’analyse de conformité intra-personnelle, de conformité interpersonnelle et de conformité théorique sont effectuées dans un quelconque ordre.
3. Le procédé selon la revendication 1 ou 2 dans lequel l’étape d’analyse de conformité intra-personnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des
données enregistrées dans un registre d’états de référence individuels pour ledit opérateur, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés dudit opérateur.
4. Le procédé selon l’une quelconque des revendications 1 à 3 dans lequel l’étape d’analyse de conformité interpersonnelle comprend une étape consistant à comparer des données caractérisant l’état instantané individuel de l’opérateur à des données enregistrées dans un registre d’états de référence collectifs pour une pluralité d’opérateurs, les dites données étant associées à la caractérisation de l’état physiologique et de l’état cognitif contextualisés de la pluralité d’opérateurs au cours de missions similaires à la mission en cours.
5. Le procédé selon les revendications 3 ou 4 dans lequel les données de registre sont structurées en triades « Etat Physiologique - Etats Cognitifs - Situation Contextuelle » associées à la séquence en cours d’analyse.
6. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus après l’étape d’analyse de conformité intra- personnelle, une étape 410 consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec ses propres états individuels de référence ou n’est pas en conformité acceptable.
7. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus après l’étape d’analyse de conformité interpersonnelle, une étape 414 consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec des états collectifs référence ou n’est pas en conformité acceptable.
8. Le procédé selon l’une quelconque des revendications 2 à 7 comprenant de plus après l’étape d’analyse de conformité théorique, une étape consistant à déterminer si l’état instantané de l’opérateur en cours de mission est en conformité acceptable avec des états de référence théoriques ou n’est pas en conformité acceptable.
9. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus après chaque étape d’analyse, une étape de capitalisation des résultats de chaque analyse pour enrichir les états de référence individuels et collectifs.
10. Le procédé selon l’une quelconque des revendications précédentes dans lequel l’étape de déterminer un état instantané de l’opérateur consiste à mettre en oeuvre sur les données physiologiques des modèles d’évaluation et de prédiction associés à chaque aspect physiologique.
11. Le procédé selon la revendication 8 dans lequel les modèles d’évaluation et de prédiction sont basés sur des modèles d’intelligence artificielle entraînés pour produire des états individuels instantanés.
12. Le procédé selon l’une quelconque des revendications 1 à 11 comprenant de plus après l’étape de restitution, une étape consistant à fournir à l’opérateur via une interface adaptée, des services personnalisés selon les résultats des étapes d’analyse.
13. Le procédé selon l’une quelconque des revendications 1 à 12 comprenant de plus après l’étape de restitution, une étape consistant à transmettre à des systèmes externes les résultats des étapes d’analyse.
14. Un dispositif d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission, le dispositif comprenant des moyens permettant de :
- collecter régulièrement pendant la mission, des données relatives à l’état du système complexe et de son environnement, des données relatives au contexte de la mission, et des données physiologiques relatives à l’opérateur ;
- déterminer à partir des données collectées, d’une part des paramètres de contextualisation, et d’autre part un état instantané individuel de l’opérateur ;
- faire une analyse de conformité intra-personnelle par rapport à ses propres états de référence individuels antérieurs, à partir des paramètres de contextualisation et de l’état instantané individuel de l’opérateur ;
- faire une analyse de conformité interpersonnelle par rapport à des états de référence collectifs antérieurs, à partir des résultats de l’analyse de conformité intra-personnelle ; et
- restituer les résultats des analyses.
15. Le dispositif selon la revendication 14 comprenant de plus des moyens permettant de collecter régulièrement pendant la mission des données relatives aux tâches exécutées par l’opérateur et des moyens permettant
de faire une analyse conformité théorique par rapport à des états de référence théoriques, à partir des paramètres de contextualisation et de paramètres représentatifs des tâches instantanées individuelles de l’opérateur collectées.
16. Le dispositif selon la revendication 14 ou 15 comprenant de plus des moyens pour mettre en oeuvre les étapes du procédé selon l’une quelconque des revendications 2 à 13.
17. Programme d'ordinateur comportant des instructions de code pour l'exécution des étapes du procédé d’aide au suivi des états d’un individu opérant sur un système complexe pendant une mission, selon l’une quelconque des revendications 1 à 13, lorsque ledit programme est exécuté par un processeur.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1915173A FR3104935B1 (fr) | 2019-12-20 | 2019-12-20 | Procede et dispositif d'aide au suivi des etats cognitifs d'un individu |
PCT/EP2020/086653 WO2021122900A1 (fr) | 2019-12-20 | 2020-12-17 | Procede et dispositif d'aide au suivi des etats cognitifs d'un individu |
Publications (1)
Publication Number | Publication Date |
---|---|
EP4078609A1 true EP4078609A1 (fr) | 2022-10-26 |
Family
ID=72470395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20835760.8A Pending EP4078609A1 (fr) | 2019-12-20 | 2020-12-17 | Procede et dispositif d'aide au suivi des etats cognitifs d'un individu |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4078609A1 (fr) |
AU (1) | AU2020407832A1 (fr) |
FR (1) | FR3104935B1 (fr) |
WO (1) | WO2021122900A1 (fr) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3134914A1 (fr) * | 2022-04-22 | 2023-10-27 | Thales | Dispositif électronique de surveillance d’un état de conscience d’un opérateur dans un aéronef, procédé et programme d’ordinateur associés |
-
2019
- 2019-12-20 FR FR1915173A patent/FR3104935B1/fr active Active
-
2020
- 2020-12-17 AU AU2020407832A patent/AU2020407832A1/en active Pending
- 2020-12-17 WO PCT/EP2020/086653 patent/WO2021122900A1/fr unknown
- 2020-12-17 EP EP20835760.8A patent/EP4078609A1/fr active Pending
Also Published As
Publication number | Publication date |
---|---|
AU2020407832A1 (en) | 2022-07-28 |
FR3104935A1 (fr) | 2021-06-25 |
FR3104935B1 (fr) | 2024-03-15 |
WO2021122900A1 (fr) | 2021-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Caldwell | Crew schedules, sleep deprivation, and aviation performance | |
US11341352B2 (en) | Method of assessing a pilot emotional state | |
EP3699553A1 (fr) | Procede et dispositif d'adaptation de l'interface homme-machine d'un aeronef selon le niveau de l'etat fonctionnel du pilote | |
US20170334456A1 (en) | Bias of Physical Controllers in a System | |
Wang et al. | Psychological and physiological fatigue variation and fatigue factors in aircraft line maintenance crews | |
Anund et al. | Countermeasures for fatigue in transportation: a review of existing methods for drivers on road, rail, sea and in aviation | |
EP0292381A1 (fr) | Procédé d'élaboration d'un modèle statistique pour déterminer la charge de travail d'un pilote d'aéronef, modèle en résultant, dispositif pour la mise en oeuvre de ce procédé et applications du modèle | |
Plant et al. | Distributed cognition in search and rescue: loosely coupled tasks and tightly coupled roles | |
Belenky et al. | Fatigue in the Workplace | |
EP4078609A1 (fr) | Procede et dispositif d'aide au suivi des etats cognitifs d'un individu | |
Puranik | A methodology for quantitative data-driven safety assessment for general aviation | |
WO2007012723A2 (fr) | Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule | |
Baugh | Predicting general aviation accidents using machine learning algorithms | |
Dillard et al. | Nonintrusive pilot fatigue monitoring | |
Authority | Biomathematical fatigue models | |
Rao | Exploring the influence of time pressure on decision-making by airline pilots: a thesis presented in partial fulfilment of the requirements for the degree of Master of Aviation at Massey University, Palmerston North, New Zealand | |
Koeppen | The influence of automation on aviation accident and fatality rates: 2000-2010 | |
WO2024089479A1 (fr) | Procédé et système de reconnaissance précoce d'individus exposés à un accident par l'intermédiaire d'une sécurité neuronale dans les emplois impliqués dans des risques de sécurité extrêmes | |
Dixon | Investigation of Mitigating Pilot Spatial Disorientation with a Computational Tool for Real-Time Triggering of Active Countermeasures | |
EP4360009A1 (fr) | Procede et dispositif d'analyse predictive du comportement d'un operateur en interaction avec un systeme complexe | |
Cook | Analysis of hazardous pilot behaviors and causal factors in Part 121 and Part 135 aircraft accidents and incidents | |
Naeeri | Multimodal analysis of pilot’s fatigue during a multi-phase flight mission | |
Ghaderi | Analysis and evaluation of the pilot attentional model | |
Reid | Evidence-based information fusion platform for estimation of forest fire pilot fitness for duty | |
Prasetyo | Mental workload in aviation: an investigation of physiological and qualitative assessment methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: UNKNOWN |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20220615 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) | ||
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230517 |