EP4292072A1 - Dispositif et procede d'evaluation des competences - Google Patents

Dispositif et procede d'evaluation des competences

Info

Publication number
EP4292072A1
EP4292072A1 EP22707644.5A EP22707644A EP4292072A1 EP 4292072 A1 EP4292072 A1 EP 4292072A1 EP 22707644 A EP22707644 A EP 22707644A EP 4292072 A1 EP4292072 A1 EP 4292072A1
Authority
EP
European Patent Office
Prior art keywords
data
technical
operator
evaluating
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP22707644.5A
Other languages
German (de)
English (en)
Inventor
Pascal PEYRONNET
Guillaume PABIA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP4292072A1 publication Critical patent/EP4292072A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/16—Control of vehicles or other craft
    • G09B19/165—Control of aircraft
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer

Definitions

  • the invention proposes a device as well as a method making it possible to evaluate in a precise and synthetic manner the skills of an operator or a team of operators in training situations, real or simulated missions.
  • the field of application of the invention may relate to all fields implementing complex systems managed by operators or teams of operators, having to apply procedures, make decisions according to situations, communicate and interact with systems and with other operators, and for whom safety is paramount. More specifically, the invention relates to the field of evaluating the flight skills of a pilot and/or a crew in a simulation or training situation on a dedicated platform.
  • the field of transport such as aeronautics, rail, maritime or automotive,
  • pilots are thus evaluated according to a set of nine technical and non-technical skills which are the application of procedures, communication, management of the flight path (manual and automated), knowledge, "leadership” and teamwork, problem solving as well as decision making, situational awareness and finally workload management.
  • the invention aims to overcome all or part of the problems mentioned above by proposing a device and a method for evaluating the technical and non-technical skills of an operator in a training situation on a platform comprising various elements allowing : the collection of contextual data linked to the training situation, the collection of data linked to the pilot and/or his team during the training situation, the analysis of the data mentioned above in order to detect Observable Behavior data during the training situation, the evaluation of a behavior of the operator, the evaluation of at least one technical and/or non-technical skill of the operator.
  • the subject of the invention is a method for evaluating the technical and non-technical skills of at least one operator in a mission or training situation on a real or simulated platform, the method of assessment including:
  • ⁇ correlate the data collected in order to link endogenous data to exogenous data
  • ⁇ using the correlated data to detect observable behavior data, observable behavior data comprising at least one so-called triggering event parameter and one so-called action parameter; ⁇ analyzing observable behavior data according to predefined analysis sequences, each predefined analysis sequence being specific to a technical and non-technical skill to be assessed, and comprising at least one trigger event parameter and one action parameter characterizing an expected observable behavior according to a predefined situation, the analysis generating a measurement indicator for each observed behavior;
  • the data collection step consists at least of capturing endogenous data of an observatory and/or manipulative and/or communication nature.
  • the data correlation step consists of a temporal grouping of endogenous data appearing following the acquisition of at least one exogenous data item or of a thematic grouping according to a given exogenous datum.
  • the step of detecting observable behavior data comprises a step consisting in determining a triggering event from said at least one operator, said triggering event being in particular the occurrence of an event at the origin of an action of said at least one operator or a time limit exceeded.
  • the step of detecting observable behavior data comprises a step consisting in determining a triggering event from the real or simulated platform, said triggering event being the occurrence of an event at the origin of a change of state of the platform.
  • the step consisting in determining a triggering event comprises a step of detecting triggering events originating from said at least one operator or from said platform, and a step of selecting at least a triggering event.
  • the analysis step comprises a step of comparing detected observable behavior data with a predefined sequence defining the expected behavior, each predefined sequence representing at least one physical manifestation allocated to the expected behavior , the predefined sequences being included in a correspondence database.
  • the evaluation method comprises, after the skill evaluation step, a step for displaying the evaluations of the technical and non-technical skills.
  • the evaluation method comprises a step of storing endogenous data, exogenous data, observable behavior data, and evaluation results.
  • the invention also relates to a device for evaluating the technical and non-technical skills of at least one operator in a training situation on a real or simulated platform, the evaluation device comprising means for putting implement the steps of the evaluation process.
  • the device of the invention is customized to assess the technical and non-technical skills of a pilot or a crew in a training situation on a platform of simulation.
  • the invention covers a flight simulator comprising the device of the invention.
  • the invention relates to a computer program product, said computer program comprising code instructions making it possible to perform the steps of the method when said program is executed on a computer.
  • FIG. 1 shows correlation and analysis steps of the method for evaluating technical and non-technical skills of at least one operator in a mission or training situation on a platform of the invention in an embodiment
  • the evaluation method 100 of technical and non-technical skills, represented in FIG. 1, of at least one operator in a mission or training situation on a real or simulated platform is based on these descriptions of indicators.
  • the term “endogenous data” designates the physical parameters or manifestations coming from the operator, ie the pilot, and/or the team of operators, ie his crew. For example, gaze or pupil tracking, detection of a particular posture, gesture recognition, analysis of communications or manipulative actions on a real or simulated platform can be considered as data endogenous.
  • the term "exogenous data” characterizes, for its part, all the data related to the context such as avionics data from the platform, elements related to the scenario and the scenario of the operator's know-how or the team of operators or the weather forecast displayed. Overall, all the exogenous data come from the platform. In addition, the platform represents the cabin accommodating the operator or the team of operators.
  • the platform represents the measurement device accommodating the operator or the operator team. Conversely, in the context of a real flight situation, the platform then represents the cockpit of the aircraft in which the operator or the team of operators evolves.
  • the evaluation process 100 which makes it possible to develop the information necessary for the evaluation of the skills of at least one operator, is broken down into several successive phases.
  • the collection 102 of exogenous data is done via the platform which provides all the information and parameters related to the scenario of the platform, namely the context, the scenario encountered by the at least one operator or the staging required by an examiner wishing to qualify the skills of the at least one operator.
  • the evaluation method 100 After having collected the endogenous data from at least one operator and the exogenous data from the platform, the evaluation method 100 initiates a correlation step 104 of the endogenous data and the exogenous data.
  • This correlation step 104 can be interpreted as a preprocessing step applied to the raw information that is the endogenous data and the exogenous data.
  • the correlation step 104 makes it possible to link the endogenous data obtained characterizing a physical manifestation of at least one operator in response to a recorded exogenous data.
  • endogenous data are grouped around one or more exogenous data.
  • the correlation step 104 makes it possible to generate observable behavior data according to the observed correlations.
  • This correlation can be done temporally, that is to say that it is possible to group together the endogenous data appearing after of the acquisition of at least one exogenous data or in a thematic way, that is to say that according to a given exogenous data, a certain number of predefined endogenous data can be expected by the evaluation method 100 so as to produce a grouping of these data according to a precise theme such as for example the verification process preceding a take-off phase of an aircraft.
  • Each observable behavior datum therefore comprises at least one so-called trigger event parameter and one so-called action parameter.
  • the trigger event parameter represents the action that causes a potential reaction of the at least one operator and its action, represented by at least one action parameter.
  • a trigger event can also be a time limit exceeded, as part of an ongoing procedure.
  • the data correlation step 104 comprises a step 116 consisting in determining a triggering event from the operator, the triggering event from the operator is the occurrence of an event at the origin of an action of the at least one operator in response to this triggering event originating from the operator.
  • the trigger parameter from the operator can be endogenous data, such as, for example, the initiation of a technical dialogue between the team of operators. Nevertheless, it can also be envisaged, in a more general case, that the triggering event parameter be exogenous data.
  • the data correlation step 104 includes a step 118 consisting in determining a triggering event from the platform.
  • the triggering event from the platform represents the occurrence of an event at the origin of a state of the platform and can be interpreted as exogenous data.
  • a step 120 for detecting triggering events from said at least one operator or said platform and a step 122 for selecting at least one triggering event.
  • the trigger event detection 120 from the operator is based on the action detection from the at least one operator.
  • the detection of the triggering event 120 from the platform is based on the detection of the state of the platform such as for example a change in piloting mode, the exit or the entry of the landing gear, a failure and on the exit from the envelope of dynamic parameters such as speed, inclination, attitude.
  • the evaluation method 100 In response to the triggering event, whether it is a trigger from at least one operator or from the platform, the evaluation method 100 then captures at least one action parameter represented by an endogenous datum and presenting the physical manifestation of a reaction of the at least one operator to the trigger parameter.
  • the grouping of a trigger parameter, represented by an exogenous datum or an endogenous datum and at least one action parameter, represented by endogenous data makes it possible, during the correlation step 104, to generate at least at least one observable behavior datum translating according to tangible parameters, the behavior of the at least one operator when an event is triggered.
  • a trigger event parameter from the platform can represent: the variation in the state of the platform, the overrun of a threshold or the output of an envelope for dynamic parameters of the platform, actions performed on the flight controls, voice commands received from outside the cockpit or from another crew member.
  • the generation of observable behavior data translates, in a tangible way, a production of measurable and detectable characteristics by a delay, a duration, a sequence or a scheduling associated with the realization of all the elements of a observable behavior, in relation to their triggering.
  • the evaluation method 100 comprises a step consisting in analyzing the observable behavior data according to predefined analysis sequences, each predefined analysis sequence being specific to a technical and non-technical skill to be evaluated. , and comprising at least one triggering event parameter and one action parameter making it possible to characterize an expected observable behavior according to a predefined situation.
  • the analysis 106 also makes it possible to generate a measurement indicator for each behavior observed. More specifically, step 106 analyzes observable behavior data under the prism of trigger event and action parameters by comparing (step 132) the detected observable behavior data to a predefined sequence defining the expected observable behavior, each sequence predefined representing at least one physical manifestation allocated to the expected behavior.
  • the predefined sequences are included in a correspondence database.
  • This correspondence database thus comprises the predefined analysis sequences presenting observable behavior data known to those skilled in the art as well as their allocated measurable and detectable physical manifestations.
  • each predefined analysis sequence comprises at least one triggering event parameter and at least one action parameter and other endogenous and exogenous data making it possible to characterize a flight situation and a context for at least one operator as well as his expected reaction according to the predefined situation.
  • This analysis provides the nature of the induced action, its temporal location as well as its duration or frequency.
  • the correspondence database also includes a reference table containing trigger event parameters associated with each behavior to be observed.
  • the observable behavior data analysis step 106 compares the endogenous and exogenous data detected, and, more precisely the trigger event and action parameters, trigger event and action parameters as well as predefined endogenous and exogenous data.
  • the predefined analysis sequences are specific to each technical and non-technical skill to be assessed.
  • the analysis of the observed behavior data taken into account identifies three different natures thereof associated with the actions of at least one operator: observation or ocular data, manipulation or manual action data on the flight controls and the equipment of the operator station, communication data or voice exchanges.
  • the objectivity of the evaluation of the technical and non-technical skills of an operator is based on the upstream creation of the database of correspondence between different observable behaviors and physical quantities measurable in related to these observable behaviors.
  • the mapping consists for each observable behavior in determining different ways of measuring it and then developing the tools necessary for each measurement.
  • leadership and teamwork For the evaluation of a non-technical skill called “leadership and teamwork", the inventors have determined that an observable behavior linked to the encouragement of team participation and open communication , can be measured objectively by analyzing communications to determine the solicitations made by one operator to another.
  • the frequency of interaction between each pilot or between a pilot and an operator on the ground is a measurement contributing to this evaluation.
  • Other criteria such as the targeting and indentation of certain terms inducing communication in the context of missions, can be established and defined according to the field of application by taking into account a vocabulary specific to this field.
  • the evaluation of observable behavior related to the monitoring and evaluation of the general environment which could have a impact on the operation of an aircraft can be done, for example, by measuring the percentage of time spent analyzing the outside view, in the phases of flight where the operator can afford it, or can be done by a measurement of the frequency of eye movements in the direction of the tools available allowing this monitoring, or even by measuring the pilot's response time in relation to an indication linked to the environment (eye movement or manipulation or even oral interaction with a member of the crew or a ground operator).
  • the detection of the behavior via the step 104 of correlation and generation of observable behavior data, which identifies the elements induced or the actions induced by at least one operator following a triggering event and carried out in a defined context .
  • This detection provides, via step 104, the nature of the induced action, and its temporal location by specifying the moment of the start of the action, of the end of the action and of the duration of the action.
  • Behavioral measurement via step 106 of analysis and generation of observed behavior measurement indicators, which applies a metric to the achievement of all of these behavioral elements in relation to their triggering .
  • Observed behavior data gathers a set of detected behavioral elements that must be assembled and organized and build a grouping on which to apply a metric.
  • a color code can be defined associating each color with an assessed technical or non-technical skill.
  • the invention proposes a device 200 for evaluating, represented in FIG. 3, the technical and non-technical skills of at least one operator in a training situation on a real or simulated platform 200, comprising means for implementing the steps of the evaluation method 100.
  • the evaluation device 200 comprises a module 204 for collecting endogenous data and exogenous data capable of implementing the collection step 102, a module (206) configured to correlate endogenous data and exogenous data collected and able to implement the correlation step 104, a data processing module (208) configured to analyze, from the triggering event parameters and action parameters, observable behavior data, and able to implement the analysis step 106, and a data processing module (210) configured to evaluate the behavior of said at least one operator and evaluating the technical and non-technical skills of said at least one operator, and able to implement the steps for evaluating the behavior 108 and each skill 110.
  • the evaluation device 200 can comprise a display module 212 making it possible to implement the display step 112 and a storage module 214 making it possible to implement the storing step 114.
  • the storage module 214 can be a physical module present in the evaluation device 200 or be a digital module distributed on an internet server, receiving and transmitting its data using an internet network. This allows this module to have the possibility of performing data processing in the cloud to have access to a large computing capacity.
  • the collection module 204 also includes at least one image sensor 216 and/or an audio sensor (for voice detection) 218 and/or a manipulandum 220 and/or additional sensors 222 such as for example a physiological sensor of the electrocardiogram (ECG) type in order to be able to collect all the endogenous data coming from the at least one operator.
  • the collection module 204 is also linked to the real or simulated platform 202 in order to have access to exogenous data.
  • the invention also provides a computer program product comprising code instructions making it possible to perform the data processing steps of the evaluation method 100 when said program is executed on a computer.
  • inventions of the invention can be implemented by various means, for example by hardware, software, or a combination thereof.
  • routines executed to implement the embodiments of the invention may be referred to herein as "computer program code” or simply "program code".
  • Program code typically includes computer-readable instructions which reside at various times in various memory and storage devices in a computer and which, when read and executed by one or more processors in a computer, cause the computer to perform the operations necessary to perform the operations and/or elements specific to the various aspects of the embodiments of the invention.
  • the instructions of a program, readable by computer, to carry out the operations of the embodiments of the invention can be, for example, the assembly language, or else a source code or an object code written in combination with one or several programming languages.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

L'invention concerne un procédé d'évaluation de compétences techniques et non-techniques d'un opérateur comprenant : - une étape pour collecter des données endogènes relatives à des manifestations physiques de l'opérateur, et des données exogènes relatives au contexte d'une session; - des étapes mises en œuvre par des modules de traitement de données pour : - corréler les données collectées afin de lier des données endogènes à des données exogènes; - détecter par les données corrélées, des données de comportement observable comprenant au moins un paramètre d'évènement déclencheur et un paramètre d'action; - analyser les données de comportement observable selon des séquences d'analyse prédéfinies, chaque séquence d'analyse prédéfinie étant spécifique à une compétence à évaluer, et comprenant un paramètre d'événement déclencheur et un paramètre d'action caractérisant un comportement observable attendu selon une situation prédéfinie, l'analyse générant un indicateur de mesure; - évaluer les comportements de l'opérateur, en comparant un comportement observé à un comportement de référence attendu; - évaluer chaque compétence de l'opérateur en fonction des résultats des évaluations de comportement.

Description

DESCRIPTION
Titre de l’invention : Dispositif et Procédé d’évaluation des compétences [0001] L’invention propose un dispositif ainsi qu’un procédé permettant d’évaluer de manière précise et synthétique les compétences d’un opérateur ou d’une équipe d’opérateurs en situation d’entrainement, de mission réelle ou simulée. Le domaine d’application de l’invention peut concerner tous les domaines mettant en oeuvre des systèmes complexes gérés par des opérateurs ou équipe d’opérateurs, devant appliquer des procédures, prendre des décisions en fonction des situations, communiquer et interagir avec des systèmes et avec d’autres opérateurs, et pour lesquels la sécurité est primordiale. Plus précisément, l’invention concerne le domaine de l’évaluation des compétences de vol d’un pilote et/ou d’un équipage en situation de simulation ou d’entrainement sur une plateforme dédiée.
[0002] Ces domaines concernent, de manière non exhaustive :
Le domaine des transports comme par exemple l’aéronautique, le ferroviaire, le maritime ou l’automobile,
Le domaine de la gestion de situation comme par exemple le contrôle aérien, la sécurité publique,
Le domaine de la gestion de processus industriels comme par exemple la production d’énergie.
[0003] Le document FR 3098389 de la Demanderesse propose un procédé d’analyse du comportement d’un opérateur en situation de simulation ou d’entrainement, permettant à un observateur d’obtenir des données statistiques fournissant des informations en temps réel sur l'état et le comportement de l’opérateur. Grâce à ces données statistiques, l’observateur peut faire sa propre analyse des compétences techniques et non techniques de l’opérateur. Néanmoins, dans cette approche, l’analyse repose en grande partie sur la subjectivité et partialité de l’observateur. Ainsi, les données obtenues pour un même opérateur peuvent conduire à une analyse différente de ses compétences, selon l’observateur qui procède à l’analyse.
[0004] L’ « Evidence-Based Training » (EBT) est une méthode d’évaluation et d’entrainement des pilotes d’aviation commerciale développée par des acteurs du monde de l’aéronautique qui repose sur l’évaluation objective par les compétences (le « Competency-Based Training »).
[0005] Les pilotes sont ainsi évalués selon un ensemble de neuf compétences techniques et non techniques que sont l’application des procédures, la communication, la gestion de la trajectoire de vol (manuelle et automatisée), les connaissances, le « leadership » et le travail d’équipe, la résolution de problèmes ainsi que la prise de décision, la conscience de la situation et enfin la gestion de la charge de travail.
[0006] Afin d’aider les instructeurs dans l’évaluation de ces compétences non- techniques, l’Agence Européenne de la Sécurité Aérienne (EASA) a publié une liste d’indicateurs du Comportement Observable (OBI pour « Observable Behavior Indicator »). Ces indicateurs de comportements permettent d’objectiver ces différentes compétences et donnent un cadre d’évaluation partagé entre les instructeurs, permettant une réduction de la subjectivité dans l’évaluation.
[0007] Néanmoins, ces OBI peuvent aussi faire l’objet d’interprétations variées entre instructeurs et peuvent être difficiles à détecter à cause de leur grand nombre ou de leur variété. En effet, une session d’entrainement ou de simulation dure généralement entre trois et quatre heures, ce qui représente un moment éprouvant aussi bien pour le pilote, qui joue la validité de sa licence, que pour l’instructeur en charge de la simulation. Ainsi, au cours de ces sessions, de nombreuses pannes et situations sont étudiées par le pilote ou l’équipage sous la tutelle de l’instructeur. Ce dernier est donc au cœur du dispositif d’entrainement et doit s’occuper de nombreuses tâches comme l’animation et l’exécution du scénario, le bon déroulement du scénario, la simulation des interactions de contrôle du trafic aérien, et des interactions de l’équipage de cabine.
[0008] En plus de cela, l’introduction de « Evidence-Based Training » nécessite que l’instructeur surveille également le pilote et son équipe afin de détecter les données de Comportement Observable (OB) nécessaires pour l’évaluation des compétences.
[0009] Cependant, l’instructeur est peu outillé et n’utilise bien souvent que des annotations d’événements qu’il a observés pendant la session, la détection des nombreux OB, représentés par une dizaine d’indicateurs pour chaque compétence, est donc bien souvent partielle. [0010] En résumé, les instructeurs ont donc à charge l’évaluation en temps réel des pilotes ainsi que la gestion de la simulation et l’organisation de la session d’entrainement. Limités par un positionnement, à l’arrière de l’équipage, peu propice à l’observation ainsi que par des outils inexistants ou encore trop peu développés, ces travaux d’observation sont difficiles à mener et la charge de travail des instructeurs est grandement accrue. Surchargés mentalement et/ou contraints par les activités nécessaires au bon déroulement de la session, les instructeurs ne peuvent détecter tous les indicateurs de comportements (OB) nécessaires à l’évaluation correcte des pilotes.
[0011] Ces biais peuvent par la suite introduire des lacunes dans l’évaluation et le travail sur les compétences des pilotes qui pourraient à leur tour mettre en péril la sécurité des opérations aériennes.
[0012] Des solutions pour pallier aux limitations citées précédemment ont été développées comme la vidéo-surveillance du pilote et de son équipe lors d’une situation d’entrainement permettant à l’instructeur d’obtenir un moyen de visionnage selon un point de vue différent du sien ou encore un moyen d’observer les compétences techniques (gestion des freins, du manche, des volets) mises en valeur par le pilote et son équipe. Néanmoins, aucune méthode d’objectivation de compétences non-techniques n’a été développée à ce jour. De plus, les systèmes d’assistance de l’instructeur ne sont généralement pas liés aux compétences de « Evidence-Based Training » et les informations transmises à l’instructeur ne permettent généralement pas d’orienter l’instructeur facilement vers des données de Comportement Observable nécessaires à l’évaluation des compétences. Cette charge revient, in fine, à l’instructeur qui doit alors analyser lui aussi les vidéos obtenues ou les données captées afin de les corréler à d’éventuelles données de Comportement Observable permettant une évaluation d’une compétence. Quelques études, comme par exemple le brevet US10755591 , mentionnent d’ores et déjà ces compétences mais n’apportent pas de solution significative à cette problématique.
[0013] Or, comme dit précédemment, le grand nombre de données de Comportement Observable détectable combiné à la nécessité d’étudier les supports d’assistance afin de pouvoir évaluer les compétences non-techniques, pour lesquelles les systèmes développés à ce jour ne proposent pas de solution, alourdissent toujours partiellement la charge de travail de l’instructeur sans assister pour autant ce dernier dans son évaluation.
[0014] L’invention vise à pallier tout ou partie des problèmes cités plus haut en proposant un dispositif et un procédé d’évaluation de compétences techniques et non-techniques d’un opérateur en situation d’entrainement sur une plateforme comportant divers éléments permettant : la collecte de données contextuelles liées à la situation d’entrainement, la collecte de données liées au pilote et/ou à son équipe pendant la situation d’entrainement, l’analyse des données citées précédemment afin de détecter des données de Comportement Observable pendant la situation d’entrainement, l’évaluation d’un comportement de l’opérateur, l’évaluation d’au moins une compétence technique et/ou non technique de l’opérateur.
[0015] A cet effet, l’invention a pour objet un procédé d’évaluation de compétences techniques et non-techniques d’au moins un opérateur en situation de mission ou d’entrainement sur une plateforme réelle ou simulée, le procédé d’évaluation comprenant :
- une étape pour collecter des données endogènes relatives à des manifestations physiques dudit au moins un opérateur pendant une session de mission ou d’entrainement, et des données exogènes relatives au contexte de ladite session sur une plateforme réelle ou simulée ;
- des étapes mises en oeuvre par ordinateur par des modules de traitement de données pour :
■ corréler les données collectées afin de lier des données endogènes à des données exogènes ;
■ détecter par les données corrélées, des données de comportement observable, une donnée de comportement observable comprenant au moins un paramètre dit d’évènement déclencheur et un paramètre dit d’action ; ■ analyser les données de comportement observable selon des séquences d’analyse prédéfinies, chaque séquence d’analyse prédéfinie étant spécifique à une compétence technique et non- technique à évaluer, et comprenant au moins un paramètre d’événement déclencheur et un paramètre d’action caractérisant un comportement observable attendu selon une situation prédéfinie, l’analyse générant un indicateur de mesure pour chaque comportement observé ;
■ évaluer les comportements dudit au moins un opérateur, ladite évaluation consistant à comparer un comportement observé à un comportement de référence prédéfini attendu ; et
■ évaluer chaque compétence technique et non-technique dudit au moins un opérateur en fonction des résultats des évaluations de comportement.
[0016] Selon un aspect de l’invention, l’étape de collecte de données consiste au moins à capturer des données endogènes de nature observatoire et/ou manipulatoire et/ou de communication.
[0017] Selon un aspect de l’invention, l’étape de corrélation de données consiste en un regroupement temporel de données endogènes apparaissant à la suite de l’acquisition d’au moins une donnée exogène ou en un regroupement thématique en fonction d’une donnée exogène donnée.
[0018] Selon un aspect de l’invention, l’étape de détection de données de comportement observable comprend une étape consistant à déterminer un événement déclencheur issu dudit au moins un opérateur, ledit événement déclencheur étant notamment la survenue d’un événement à l’origine d’une action dudit au moins un opérateur ou un délai dépassé.
[0019] Selon un aspect de l’invention, l’étape de détection de données de comportement observable comprend une étape consistant à déterminer un événement déclencheur issu de la plateforme réelle ou simulée, ledit événement déclencheur étant la survenue d’un événement à l’origine d’un changement d’état de la plateforme. [0020] Selon un aspect de l’invention, l’étape consistant à déterminer un événement déclencheur, comprend une étape de détection d’événements déclencheurs issus dudit au moins un opérateur ou de ladite plateforme, et une étape de sélection d’au moins un événement déclencheur.
[0021] Selon un aspect de l’invention, l’étape d’analyse comprend une étape de comparaison de données de comportement observable détectées à une séquence prédéfinie définissant le comportement attendu, chaque séquence prédéfinie représentant au moins une manifestation physique allouée au comportement attendu, les séquences prédéfinies étant comprises dans une base de données de correspondance.
[0022] Selon un aspect de l’invention, le procédé d’évaluation comprend, après l’étape d’évaluation de compétence, une étape d’affichage des évaluations des compétences techniques et non-techniques.
[0023] Selon un aspect de l’invention, le procédé d’évaluation comprend une étape de stockage des données endogènes, des données exogènes, des données de comportement observable, et des résultats des évaluations.
[0024] L’invention a également pour objet un dispositif d’évaluation de compétences techniques et non-techniques d’au moins un opérateur en situation d’entrainement sur une plateforme réelle ou simulée, le dispositif d’évaluation comprenant des moyens pour mettre en oeuvre les étapes du procédé d’évaluation.
[0025] Dans une implémentation particulière pour le domaine de l’avionique, le dispositif de l’invention est personnalisé pour évaluer les compétences techniques et non-techniques d’un pilote ou d’un équipage en situation d’entrainement sur une plateforme de simulation. A cet effet, l’invention couvre un simulateur de vol comprenant le dispositif de l’invention.
[0026] De plus, l’invention a trait à un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé lorsque ledit programme est exécuté sur un ordinateur.
[0027] L’invention sera mieux comprise et d’autres avantages apparaîtront à la lecture de la description détaillée d’un mode de réalisation donné à titre d’exemple, description illustrée par les figures dans lesquelles : [0028] - la figure 1 représente un enchaînement d’étapes du procédé d’évaluation de compétences techniques et non-techniques d’au moins un opérateur en situation de mission ou d’entrainement sur une plateforme de l’invention dans un mode de réalisation ;
[0029] - la figure 2 représente des étapes de corrélation et d’analyse du procédé d’évaluation de compétences techniques et non-techniques d’au moins un opérateur en situation de mission ou d’entrainement sur une plateforme de l’invention dans un mode de réalisation ; et
[0030] - la figure 3 représente un dispositif d’évaluation de compétences techniques et non-techniques d’au moins un opérateur en situation de mission ou d’entrainement dans un mode de réalisation de l’invention.
[0031] Par souci de clarté, les mêmes éléments porteront les mêmes repères dans les différentes figures.
[0032] Afin de pouvoir permettre cette évaluation d’au moins un opérateur, c’est-à- dire pour le domaine avionique, l’évaluation d’un pilote uniquement ou de ce dernier et de son équipe à bord, selon les neuf compétences techniques et non-techniques dévoilées ci-dessus, quelques publications détaillent chacune de ces neuf compétences et d’un certain nombre d’indicateurs de comportement observable susceptibles de permettre à un instructeur en charge de l’évaluation de caractériser les compétences. A titre d’exemple, il est possible de citer le document « Manuel of Evidence-Based Training » fourni par l’ICAO (2013) ou encore « Evidence-Based Training Implémentation Guide » de IATA (July 2013).
[0033] Le procédé d’évaluation 100 de compétences techniques et non-techniques, représenté en figure 1 , d’au moins un opérateur en situation de mission ou d’entrainement sur une plateforme réelle ou simulée s’appuie sur ces descriptions d’indicateurs.
[0034] Dans la présente description, le terme « donnée endogène » désigne les paramètres ou manifestations physiques en provenance de l’opérateur, soit le pilote, et/ou de l’équipe d’opérateurs, soit son équipage. A titre d’exemple, le suivi du regard ou des pupilles, la détection d’une posture particulière, la reconnaissance de gestes, l’analyse de communications ou encore d’actions manipulatoires sur une plateforme réelle ou simulée peuvent être considérés comme des données endogènes. Le terme « donnée exogène » caractérise, quant à lui, l’ensemble des données liées au contexte comme par exemple les données avioniques en provenance de la plateforme, des éléments liés au scénario et à la mise en situation du savoir-faire de l’opérateur ou de l’équipe d’opérateurs ou encore la météo affichée. Globalement, l’ensemble des données exogènes proviennent de la plateforme. En outre, la plateforme représente l’habitacle accueillant l’opérateur ou l’équipe d’opérateurs. Ainsi, dans le cadre d’une situation d’entrainement nécessitant une simulation d’une situation de vol, la plateforme représente le dispositif de mesure accueillant l’opérateur ou l’équipe d’opérateur. A l’inverse, dans le cadre d’une situation de vol réelle, la plateforme représente alors l’habitacle de l’aéronef dans lequel l’opérateur ou l’équipe d’opérateurs évolue.
[0035] Le procédé d’évaluation 100 peut être mis en oeuvre lors d’une situation de vol mise en place sur une plateforme.
[0036] Le procédé d’évaluation 100, qui permet d’élaborer les informations nécessaires à l’évaluation des compétences d’au moins un opérateur, se décompose en plusieurs phases successives.
[0037] Le procédé d’évaluation 100 débute avec une étape de collecte 102 de données endogènes relatives à des manifestations physiques d’au moins un opérateur pendant la session de mission ou d’entrainement et de données exogènes relatives au contexte de la session de mission ou d’entrainement sur la plateforme. Les données endogènes et les données exogènes peuvent être fournies sous différents formats comme par exemple un format image, une vidéo, un signal audio, un signal électrique, une action ou un effort exercé sur une commande, un paramètre continu ou encore quantifié.
[0038] Plus précisément, les données endogènes collectées lors de l’étape 102 représentent des évènements élémentaires détectés par le procédé d’évaluation 100 et des paramètres d’observation (mouvement oculaire bref, cheminement oculaire), de manipulation détectée sur la plateforme comme des actions tactiles réalisées par le pilote sur sa plateforme, sur ses instruments de bord ou encore de communication avec des paramètres vocaux, de lexique utilisé, de locution.
[0039] La collecte 102 des données exogènes se fait par l’intermédiaire de la plateforme qui fournit toutes les informations et paramètres liés à la mise en situation de la plateforme, à savoir le contexte, le cas de figure rencontré par l’au moins un opérateur ou la mise en scène requise par un examinateur souhaitant qualifier les compétences de l’au moins un opérateur.
[0040] La détection d’action de la part de l’au moins un opérateur prend en compte le contexte opératoire, à savoir le poste dans lequel l’au moins un opérateur est immergé, le langage professionnel utilisé, le manuel utilisateur et d’emploi du poste.
[0041] A titre d’exemple, les données exogènes, qui représentent le contexte ou une situation précise pouvant faire agir ou réagir au moins un opérateur, peuvent représenter : une phase de vol telle que le décollage, des conditions de vol telles que la météo, un mode de fonctionnement enclenché comme le mode d’autopilotage, la présence d’une panne quelconque.
[0042] Ainsi, l’étape de collecte 102 de données consiste au moins à capturer des données endogènes de nature oculaire et/ou manipulatoire et/ou de communication ainsi que des données exogènes.
[0043] Après avoir collecté les données endogènes en provenance d’au moins un opérateur et les données exogènes de la plateforme, le procédé d’évaluation 100 initie une étape de corrélation 104 des données endogènes et des données exogènes. Cette étape de corrélation 104 peut être interprétée comme une étape de prétraitement appliquée à l’information brute que sont les données endogènes et les données exogènes.
[0044] Ainsi, l’étape de corrélation 104 permet de mettre en lien les données endogènes obtenues caractérisant une manifestation physique d’au moins un opérateur en réponse à une donnée exogène enregistrée. Ainsi, les données endogènes sont regroupées autour d’une ou plusieurs données exogènes. A la suite de cette corrélation des données endogènes autour d’une ou plusieurs données exogènes, l’étape de corrélation 104 permet de générer des données de comportement observable en fonction des corrélations observées.
[0045] Cette corrélation peut se faire de manière temporelle, c’est-à-dire qu’il est possible de faire un regroupement des données endogènes apparaissant à la suite de l’acquisition d’au moins une donnée exogène ou de manière thématique, c’est-à- dire qu’en fonction d’une donnée exogène donnée, un certain nombre de données endogènes prédéfini peut être attendu par le procédé d’évaluation 100 de manière à réaliser un groupement de ces données en fonction d’un thème précis comme par exemple le processus de vérification précédant une phase de décollage d’un aéronef.
[0046] Chaque donnée de comportement observable comprend donc au moins un paramètre dit d’évènement déclencheur et un paramètre dit d’action. Le paramètre d’événement déclencheur représente l’action qui est à l’origine d’une réaction potentielle de l’au moins un opérateur et de son agissement, représenté par au moins un paramètre d’action. Un événement déclencheur peut également être un délai dépassé, dans le cadre d’une procédure en cours.
[0047] Plus précisément et représenté en figure 2, l’étape de corrélation 104 de données comprend une étape 116 consistant à déterminer un événement déclencheur issu d’opérateur, l’événement déclencheur issu d’opérateur est la survenue d’un événement à l’origine d’une action de l’au moins un opérateur en réponse à cet événement déclencheur issu d’opérateur. Ainsi, le paramètre déclencheur issu d’opérateur peut être une donnée endogène, comme, par exemple, l’initialisation d’un dialogue technique entre l’équipe d’opérateurs. Néanmoins, il peut aussi être envisagé, dans un cas de figure plus généralisé, que le paramètre d’événement déclencheur soit une donnée exogène.
[0048] Alors, l’étape de corrélation 104 de données comprend une étape 118 consistant à déterminer un événement déclencheur issu de la plateforme. L’événement déclencheur issu de la plateforme représente la survenue d’un événement à l’origine d’un état de la plateforme et peut être interprété comme une donnée exogène. S’en suit alors une étape de détection d’événements déclencheurs 120 issus dudit au moins un opérateur ou de ladite plateforme, et une étape de sélection 122 d’au moins un événement déclencheur.
[0049] La détection d’événement déclencheur 120 issu d’opérateur se base sur la détection d’action de la part de l’au moins un opérateur. La détection d’événement déclencheur 120 issu de plateforme se base sur la détection d’état de la plateforme comme par exemple un changement de mode de pilotage, la sortie ou l’entrée du train d’atterrissage, une panne et sur la sortie d’enveloppe de paramètres dynamiques comme par exemple la vitesse, l’inclinaison, l’assiette.
[0050] En réponse à l’événement déclencheur, qu’il soit déclencheur issu de l’au moins un opérateur ou issu de la plateforme, le procédé d’évaluation 100 capte alors au moins un paramètre d’action représenté par une donnée endogène et présentant la manifestation physique d’une réaction de l’au moins un opérateur au paramètre déclencheur. Ainsi, le regroupement d’un paramètre déclencheur, représenté par une donnée exogène ou une donnée endogène et d’au moins un paramètre d’action, représenté par des données endogènes, permet, lors de l’étape de corrélation 104, de générer au moins une donnée de comportement observable traduisant selon des paramètres tangibles, le comportement de l’au moins un opérateur lors du déclenchement d’un événement.
[0051] Les actions traduisant les agissements réalisés par l’au moins un opérateur à la fois dans les domaines de l’observation, de la manipulation sur les instruments et les commandes de vol ou de la communication vocale. A titre d’exemple, un paramètre d’action peut représenter une donnée endogène oculaire comme une zone observée par l’au moins un opérateur ou représenter une donnée endogène vocale comme une locution prononcée par l’au moins un opérateur ou encore le paramètre d’action peut représenter une donnée endogène de manipulation comme une manipulation réalisée par l’au moins un opérateur.
[0052] A titre d’exemple, un paramètre d’événement déclencheur issu de l’au moins un opérateur peut représenter une donnée endogène oculaire comme une zone spécifique observée ou une donnée endogène vocale comme un message vocal spécifique détecté ou encore une donnée endogène de manipulation comme une action spécifique détectée.
[0053] A titre d’exemple, un paramètre d’événement déclencheur issu de la plateforme peut représenter : la variation de l’état de la plateforme, le dépassement d’un seuil ou la sortie d’une enveloppe pour des paramètres dynamiques de la plateforme, des actions opérées sur les commandes de vol, des ordres vocaux reçus de l’extérieur du cockpit ou d’autre membre d’équipage.
[0054] Ainsi, la génération de données de comportement observable traduit, de manière tangible, une production de caractéristiques mesurables et détectables par un délai, une durée, un enchaînement ou un ordonnancement associées à la réalisation de l’ensemble des éléments d’un comportement observable, en relation avec leur déclenchement.
[0055] En étape 106, le procédé d’évaluation 100 comprend une étape consistant à analyser les données de comportement observable selon des séquences d’analyse prédéfinies, chaque séquence d’analyse prédéfinie étant spécifique à une compétence technique et non-technique à évaluer, et comprenant au moins un paramètre d’événement déclencheur et un paramètre d’action permettant de caractériser un comportement observable attendu selon une situation prédéfinie. L’analyse 106 permet également de générer un indicateur de mesure pour chaque comportement observé. Plus précisément, l’étape 106 analyse des données de comportement observable sous le prisme des paramètres d’événement déclencheur et d’action en comparant (étape 132) les données de comportement observable détectées à une séquence prédéfinie définissant le comportement observable attendu, chaque séquence prédéfinie représentant au moins une manifestation physique allouée au comportement attendu. Les séquences prédéfinies sont comprises dans une base de données de correspondance. Cette base de données de correspondance comprend ainsi les séquences d’analyse prédéfinies présentant des données de comportement observable connu de l’homme du métier ainsi que leurs manifestations physiques mesurables et détectables allouées. Ainsi, chaque séquence d’analyse prédéfinie comprend au moins un paramètre d’événement déclencheur et au moins un paramètre d’action et d’autres données endogènes et exogènes permettant de caractériser une situation de vol et un contexte pour au moins un opérateur ainsi que sa réaction attendue selon la situation prédéfinie. Cette analyse fournit la nature de l’action induite, sa localisation temporelle ainsi que sa durée ou sa fréquence. La base de données de correspondance comprend également une table de référence contenant des paramètres d’événements déclencheurs associés à chaque comportement à observer. [0056] Ainsi, afin de pouvoir analyser le comportement d’au moins un opérateur lors d’une situation de vol, l’étape d’analyse 106 des données de comportement observable compare les données endogènes et exogènes détectées, et, plus précisément les paramètres d’événement déclencheur et d’action, aux paramètres d’événement déclencheur et d’action ainsi que des données endogènes et exogènes prédéfinies. Les séquences d’analyse prédéfinies sont spécifiques à chaque compétence technique et non-technique à évaluer.
[0057] L’analyse des données de comportement observé prises en compte identifie trois natures différentes de celles-ci associées aux agissements de l’au moins un opérateur : des données d’observation ou oculaire, des données de manipulation ou d’actions manuelles sur les commandes de vol et les équipements du poste opérateur, des données de communication ou d’échanges vocaux.
[0058] Ces indicateurs de mesure du comportement observé déterminés au travers de métriques relatives à l’apparition et à l’enchaînement des différentes données endogènes liées au comportement détecté, par exemple, peuvent être présentés de manière non exhaustive sous la forme : d’un délai par rapport au déclenchement et/ou du paramètre d’événement déclencheur, d’un délai minimal et maximal entre deux occurrences d’événements induits de même type, d’un nombre d’occurrences d’événements induits de même type dans un laps de temps, d’une identification de succession ordonnée d’événements successifs, d’un délai entre les événements successifs d’enchaînement, d’une durée d’enchaînement complet.
[0059] Cette génération d’indicateurs de comportement observé permet alors d’initier une étape 108, représentée en figure 1, consistant à évaluer un comportement d’au moins un opérateur. L’évaluation du comportement de l’au moins un opérateur consiste à comparer le comportement observé, qui est basé sur un ensemble d’éléments de comportement détectés, à des comportements de référence attendus prédéfinis. L’évaluation de la conformité d’un comportement observé se fait par comparaison à un état de l’art connu de procédures définies ou de protocoles établis, compris dans la base de données de correspondance.
[0060] Ainsi, l’objectivité de l’évaluation des compétences techniques et non- techniques d’un opérateur, s’appuie sur la création en amont, de la base de données de correspondance entre différents comportements observables et des grandeurs physiques mesurables en lien avec ces comportements observables.
[0061] La mise en correspondance consiste pour chaque comportement observable à déterminer différentes façons de le mesurer puis développer les outils nécessaires pour chaque mesure.
[0062] A titre d’exemples indicatifs et non exhaustifs, différents cas ci-après sont donnés pour illustrer la mise en correspondance de comportements observables avec des grandeurs physiques mesurables pour permettre d’évaluer des comportements.
[0063] Pour l’évaluation d’une compétence non-technique dite « leadership et travail d’équipe », les inventeurs ont déterminé qu’un comportement observable lié à l’encouragement à la participation de l’équipe et à la communication ouverte, peut être mesuré de manière objective par l’analyse des communications afin de déterminer les sollicitations faites par un opérateur vers un autre. Pour le domaine avionique par exemple, la fréquence d’interaction entre chaque pilote ou entre un pilote et un opérateur au sol, est une mesure contribuant à cette évaluation. D’autres critères, comme par exemple le ciblage et l’indentation de certains termes induisant une communication dans le cadre de missions, peuvent être établis et définis selon le domaine d’application en prenant en compte un vocabulaire spécifique à ce domaine.
[0064] Toujours dans le cadre de l’évaluation de la compétence non-technique de « leadership et travail d’équipe », l’évaluation du comportement observable lié à la réception et/ou à l’envoi de commentaires de manière constructive, peut se faire par la mesure d’un retour sonore et visuel consécutif à des informations communiquées par un autre opérateur (copilote par exemple), ou par un membre de l’équipage ou par un opérateur au sol. Aussi, les communications non verbales peuvent être analysées pour détecter des acquiescements gestuels par exemple, ou encore il peut être procédé à une analyse vidéo pour détecter des mouvements corporels signifiant une compréhension, comme un hochement de la tête ou un signe de la main. Une autre mesure peut être celle du délai entre une information communiquée et le retour observé par l’opérateur.
[0065] Dans le cadre de l’évaluation d’une compétence non-technique de la « conscience de la situation », l’évaluation du comportement observable lié à la surveillance et à l’évaluation de l’environnement général qui pourrait avoir une incidence sur l’exploitation d’un aéronef, peut se faire par exemple, par une mesure du pourcentage de temps passé à analyser la vue extérieure, dans les phases de vol où l’opérateur peut se le permettre ou encore peut se faire par une mesure de la fréquence de mouvements oculaires en direction des outils disponibles permettant cette surveillance, ou encore se faire par une mesure du délai de réponse du pilote par rapport à une indication liée à l’environnement (mouvement oculaire ou de manipulation ou encore interaction orale avec un membre de l’équipage ou un opérateur au sol).
[0066] L’homme du métier comprend que ces mesures de comportements observables peuvent être complétées par d’autres mesures.
[0067] Ainsi après avoir mesuré les différents paramètres et données requis relatifs à un comportement observable à analyser, des références ou des indicateurs de comportement observable objectifs sont construits.
[0068] A titre d’exemple non exhaustif, il peut être mesuré des paramètres de :
- comptage des différents dépassements des limitations machines au cours de la session ; ceci permet une mesure objective du comportement observable dans le cadre de la démonstration d’une connaissance pratique et applicable des limites et des systèmes et de leur interaction.
- comptage du nombre de sollicitations d’un pilote A vers un pilote B ; ceci permet une mesure de la compétence liée à l’encouragement à la participation de l’équipe et à la communication ouverte.
- mesure du temps passé à analyser la vue extérieure dans les phases où cette analyse est possible ; ceci permet d’objectiver l’évaluation du comportement observable lié à la surveillance et à l’évaluation de l’environnement général qui peut avoir une incidence sur l’exploitation de l’aéronef.
- mesure du délai de passage des yeux du pilote sur les éléments d’indication du cockpit mesurant la trajectoire (vitesse, altitude, variomètre, assiette) et une comparaison à un seuil de délai acceptable (variant entre quelques secondes jusqu’à quelques minutes) ; ceci permet un moyen d’analyse du comportement observable lié au maintien de la trajectoire de vol prévue pendant le vol en utilisant l’automatisation tout en gérant d’autres tâches et distractions.
[0069] La mesure des comportements observés s’organise donc autour de deux principales étapes qui s’enchaînent :
La détection du comportement, par l’intermédiaire de l’étape 104 de corrélation et de génération de données de comportement observable, qui identifie les éléments induits ou les actions induites par au moins un opérateur suite à un événement déclenchant et réalisés dans un contexte défini. Cette détection fournit, par l’intermédiaire de l’étape 104, la nature de l’action induite, et sa localisation temporelle en précisant l’instant de début d’action, de fin d’action et durée de l’action.
La mesure du comportement, par l’intermédiaire de l’étape 106 d’analyse et de génération d’indicateurs de mesure de comportement observé, qui applique une métrique sur la réalisation de l’ensemble de ces éléments de comportement en relation avec leur déclenchement. Les données de comportement observé regroupent un ensemble d’éléments de comportement détectés qu’il faut assembler et organiser et en construire un regroupement sur lequel appliquer une métrique.
[0070] L’analyse 106 et l’évaluation 108 du comportement observé revient à comparer l’action qui a été produite et détectée lors de l’étape de collecte 102 par l’intermédiaire des données endogènes aux actions qui doivent être observées lors d’une situation définie par l’intermédiaire de la mesure du comportement observé comparée à une référence établie en y intégrant une tolérance. Cette comparaison utilise la base de données de correspondance qui formalise et codifie l’ensemble des éléments de référence et leur tolérance, issus de procédures, d’état de l’art, de bonnes pratiques. [0071] Après avoir évalué le comportement d’au moins un opérateur, le procédé d’évaluation 100 peut initier une étape 110 consistant à évaluer chaque compétence technique et non-technique de l’au moins un opérateur en fonction des résultats des évaluations de comportement obtenus lors de l’étape 108. Ainsi, l’étape 110 détermine une métrique en combinant les différentes évaluations effectuées sur les comportements observables et leurs indicateurs de mesure de comportement observé relatifs à la compétence en question, fournissant une évaluation synthétique représentative pour l’ensemble de la compétence technique ou non technique.
[0072] Dans un mode de réalisation, le procédé d’évaluation 100 comprend, après l’étape d’évaluation 110 de compétence, une étape d’affichage 112 des évaluations des compétences techniques et non-techniques. Ainsi, afin de faciliter la lecture de l’évaluation des compétences techniques et non-techniques faites de l’au moins un opérateur, il est possible d’afficher une ou plusieurs compétences évaluées selon leur nature ou selon une échelle temporelle ou de mission permettant de contextualiser l’évaluation pour l’instructeur. Cette étape d’affichage 112 permet également d’afficher l’ensemble des données endogènes détectées mises en relation avec les données exogènes permettant de présenter de manière précise les réactions de l’au moins un opérateur en fonction de l’état de la plateforme réelle ou simulée.
[0073] A titre d’exemple, l’étape d’affichage 112 peut, pour chaque compétence, permettre l’affichage d’une ligne dédiée présentant les occurrences des données de comportement observable évaluées et datées ainsi qu’une synthèse de l’évaluation de la compétence.
[0074] Cette solution permet de mettre en relation les différentes compétences et également d’analyser les corrélations entre elles au niveau des différents comportements observés.
[0075] Pour différencier chaque compétence, un code de couleurs peut être défini associant chaque couleur à une compétence technique ou non-technique évaluée.
[0076] Pour des raisons de lisibilité ou d’intérêt de l’instructeur, chaque ligne de compétence évaluée peut être ou non affichée.
[0077] Dans un mode de réalisation, le procédé d’évaluation 100 peut comprendre une étape de stockage 114 des données endogènes, des données exogènes, des données de comportement observable, et des résultats des évaluations. Ce stockage permet d’emmagasiner des données supplémentaires permettant d’améliorer les capacités d’évaluation du procédé d’évaluation 100 en enrichissant la base de données de correspondance pour un usage ultérieur du procédé d’évaluation 1.
[0078] Par ailleurs, l’invention propose un dispositif d’évaluation 200, représenté en figure 3, de compétences techniques et non-techniques d’au moins un opérateur en situation d’entrainement sur une plateforme 200 réelle ou simulée, comprenant des moyens pour mettre en oeuvre les étapes du procédé d’évaluation 100. Le dispositif d’évaluation 200 comprend un module de collecte 204 des données endogènes et des données exogènes apte à mettre en oeuvre l’étape de collecte 102, un module (206) de traitement de données configuré pour corréler des données endogènes et des données exogènes collectées et apte à mettre en oeuvre l’étape de corrélation 104, un module (208) de traitement de données configuré pour analyser, à partir des paramètres d’évènement déclencheur et des paramètres d’action, des données de comportement observable, et apte à mettre en oeuvre l’étape d’analyse 106, et un module (210) de traitements de données configuré pour évaluer le comportement dudit au moins un opérateur et évaluer des compétences techniques et non- techniques dudit au moins un opérateur, et apte à mettre en oeuvre les étapes d’évaluation du comportement 108 et de chaque compétence 110.
[0079] Le dispositif d’évaluation 200 peut comprendre d’autres modules complémentaires permettant de mettre en oeuvre les étapes complémentaires du procédé d’évaluation 1.
[0080] Ainsi, le dispositif d’évaluation 200 peut comprendre un module d’affichage 212 permettant de mettre en oeuvre l’étape d’affichage 112 et un module de stockage 214 permettant de mettre en oeuvre l’étape de stockage 114. Le module de stockage 214 peut être un module physique présent dans le dispositif d’évaluation 200 ou être un module numérique distribué sur un serveur internet, recevant et transmettant ses données à l’aide d’un réseau internet. Cela permet à ce module d’avoir la possibilité de réaliser le traitement des données dans le cloud pour avoir accès à une importante capacité de calcul.
[0081] Le module de collecte 204 comprend également au moins un capteur d’image 216 et/ou un capteur audio (pour la détection vocale) 218 et /ou un capteur de manipulandum 220 et/ou des capteurs additionnels 222 comme par exemple un capteur physiologique de type électrocardiogramme (ECG) afin de pouvoir collecter toutes les données endogènes en provenance de l’au moins un opérateur. Le module de collecte 204 est aussi relié à la plateforme 202 réelle ou simulée afin d’avoir accès aux données exogènes.
[0082] L’invention fournit par ailleurs un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes de traitement de données du procédé d’évaluation 100 lorsque ledit programme est exécuté sur un ordinateur.
[0083] Les modes de réalisation de l’invention peuvent être mis en oeuvre par divers moyens, par exemple par du matériel (‘hardware’), des logiciels, ou une combinaison de ceux-ci.
[0084] En général les routines exécutées pour mettre en oeuvre les modes de réalisation de l'invention, qu'elles soient mises en oeuvre dans le cadre d'un système d'exploitation ou d'une application spécifique, d'un composant, d'un programme, d'un objet, d'un module ou d'une séquence d'instructions, ou même d’un sous-ensemble de ceux-là, peuvent être désignées dans les présentes comme “code de programme informatique” ou simplement « code de programme ». Le code de programme comprend typiquement des instructions lisibles par ordinateur qui résident à divers moments dans des dispositifs divers de mémoire et de stockage dans un ordinateur et qui, lorsqu'elles sont lues et exécutées par un ou plusieurs processeurs dans un ordinateur, amènent l’ordinateur à effectuer les opérations nécessaires pour exécuter les opérations et/ou les éléments propres aux aspects variés des modes de réalisation de l'invention. Les instructions d'un programme, lisibles par ordinateur, pour réaliser les opérations des modes de réalisation de l'invention peuvent être, par exemple, le langage d'assemblage, ou encore un code source ou un code objet écrit en combinaison avec un ou plusieurs langages de programmation.

Claims

REVENDICATIONS
1. Procédé d’évaluation (100) de compétences techniques et non-techniques d’au moins un opérateur en situation de mission ou d’entrainement sur une plateforme réelle ou simulée, le procédé d’évaluation (100) comprenant :
- une étape (102) pour collecter des données endogènes relatives à des manifestations physiques dudit au moins un opérateur pendant une session de mission ou d’entrainement, et des données exogènes relatives au contexte de ladite session sur une plateforme réelle ou simulée ;
- des étapes (104, 106, 108, 110) mises en oeuvre par ordinateur par des modules de traitement de données (206, 208, 210) pour :
■ corréler les données collectées afin de lier des données endogènes à des données exogènes ;
■ détecter par les données corrélées, des données de comportement observable, une donnée de comportement observable comprenant au moins un paramètre dit d’évènement déclencheur et un paramètre dit d’action ;
■ analyser les données de comportement observable selon des séquences d’analyse prédéfinies, chaque séquence d’analyse prédéfinie étant spécifique à une compétence technique et non- technique à évaluer, et comprenant au moins un paramètre d’événement déclencheur et un paramètre d’action caractérisant un comportement observable attendu selon une situation prédéfinie, l’analyse générant un indicateur de mesure pour chaque comportement observé ;
■ évaluer les comportements dudit au moins un opérateur, ladite évaluation consistant à comparer un comportement observé à un comportement de référence prédéfini attendu ; et
■ évaluer chaque compétence technique et non-technique dudit au moins un opérateur en fonction des résultats des évaluations de comportement.
2. Procédé d’évaluation (100) de compétences techniques et non-techniques selon la revendication 1 , dans lequel l’étape de collecte (102) de données consiste au moins à capturer des données endogènes de nature observatoire et/ou manipulatoire et/ou de communication.
3. Procédé d’évaluation (100) de compétences techniques et non-techniques selon les revendications 1 ou 2, dans lequel l’étape de corrélation (104) de données consiste en un regroupement temporel de données endogènes apparaissant à la suite de l’acquisition d’au moins une donnée exogène ou en un regroupement thématique en fonction d’une donnée exogène donnée.
4. Procédé d’évaluation (100) de compétences techniques et non-techniques selon l’une quelconque des revendications 1 à 3 dans lequel l’étape de détection de données de comportement observable, comprend une étape consistant à déterminer (116) un événement déclencheur issu dudit au moins un opérateur, ledit événement déclencheur étant notamment la survenue d’un événement à l’origine d’une action dudit au moins un opérateur ou un délai dépassé.
5. Procédé d’évaluation (100) de compétences techniques et non-techniques selon l’une quelconque des revendications 1 à 4, dans lequel l’étape de détection de données de comportement observable, comprend une étape consistant à déterminer (118) un événement déclencheur issu de la plateforme réelle ou simulée, ledit événement déclencheur étant la survenue d’un événement à l’origine d’un changement d’état de la plateforme.
6. Procédé d’évaluation (100) de compétences techniques et non-techniques selon la revendication 4 ou 5, dans lequel l’étape consistant à déterminer un événement déclencheur, comprend une étape de détection (120) d’événements déclencheurs issus dudit au moins un opérateur ou de ladite plateforme, et une étape de sélection (122) d’au moins un événement déclencheur.
7. Procédé d’évaluation (100) de compétences techniques et non-techniques selon l’une quelconque des revendications 1 à 6 dans lequel l’étape d’analyse (106) comprend une étape de comparaison (132) de données de comportement observable détectées à une séquence prédéfinie définissant le comportement attendu, chaque séquence prédéfinie représentant au moins une manifestation physique allouée au comportement attendu, les séquences prédéfinies étant comprises dans une base de données de correspondance.
8. Procédé d’évaluation (100) de compétences techniques et non-techniques selon l’une quelconque des revendications 1 à 7, comprenant de plus, après l’étape d’évaluation (110) de compétence, une étape d’affichage (112) des évaluations des compétences techniques et non-techniques.
9. Procédé d’évaluation (100) de compétences techniques et non-techniques selon l’une quelconque des revendications 1 à 8, comprenant une étape de stockage (114) des données endogènes, des données exogènes, des données de comportement observable, et des résultats des évaluations.
10. Dispositif d’évaluation (200) de compétences techniques et non-techniques d’au moins un opérateur en situation d’entrainement sur une plateforme (202) réelle ou simulée, le dispositif d’évaluation (200) comprenant des moyens pour mettre en oeuvre les étapes du procédé d’évaluation (100) selon l’une quelconque des revendications 1 à 9.
11.Simulateur de vol comprenant un dispositif d’évaluation selon la revendication 10.
12. Produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé selon l'une quelconque des revendications 1 à 9, lorsque ledit programme est exécuté sur un ordinateur.
EP22707644.5A 2021-02-09 2022-02-07 Dispositif et procede d'evaluation des competences Pending EP4292072A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2101200A FR3119699A1 (fr) 2021-02-09 2021-02-09 Dispositif et procédé d'évaluation des compétences
PCT/EP2022/052860 WO2022171563A1 (fr) 2021-02-09 2022-02-07 Dispositif et procede d'evaluation des competences

Publications (1)

Publication Number Publication Date
EP4292072A1 true EP4292072A1 (fr) 2023-12-20

Family

ID=77519139

Family Applications (1)

Application Number Title Priority Date Filing Date
EP22707644.5A Pending EP4292072A1 (fr) 2021-02-09 2022-02-07 Dispositif et procede d'evaluation des competences

Country Status (5)

Country Link
US (1) US20240105076A1 (fr)
EP (1) EP4292072A1 (fr)
CN (1) CN116830178A (fr)
FR (1) FR3119699A1 (fr)
WO (1) WO2022171563A1 (fr)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471377B (zh) * 2022-09-14 2024-02-13 上海安洵信息技术有限公司 一种人才赋能管理方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3333782A1 (fr) 2016-12-09 2018-06-13 The Boeing Company Dispositif électronique et procédé de sessions de formation audébreffage basées sur des preuves
FR3098389A1 (fr) * 2019-07-11 2021-01-15 Thales Dispositif et procede d'analyse du comportement d'un sujet

Also Published As

Publication number Publication date
FR3119699A1 (fr) 2022-08-12
US20240105076A1 (en) 2024-03-28
CN116830178A (zh) 2023-09-29
WO2022171563A1 (fr) 2022-08-18

Similar Documents

Publication Publication Date Title
US10984674B2 (en) System and method to teach and evaluate image grading performance using prior learned expert knowledge base
EP0292381B1 (fr) Procédé d'élaboration d'un modèle statistique pour déterminer la charge de travail d'un pilote d'aéronef, modèle en résultant, dispositif pour la mise en oeuvre de ce procédé et applications du modèle
EP2647959B1 (fr) Procédé et dispositif d'adaptation de l'interface homme-machine d'un aéronef selon le niveau de l'état fonctionnel du pilote
EP3361467A1 (fr) Apprentissage adaptatif et interactif et système de gestion d'apprentissage faisant appel au suivi du visage et la détection d'émotions et procédés associés
US10706738B1 (en) Systems and methods for providing a multi-modal evaluation of a presentation
US20200178876A1 (en) Interactive and adaptive learning, neurocognitive disorder diagnosis, and noncompliance detection systems using pupillary response and face tracking and emotion detection with associated methods
US9141924B2 (en) Generating recommendations for staffing a project team
US7344251B2 (en) Mental alertness level determination
US11475788B2 (en) Method and system for evaluating and monitoring compliance using emotion detection
EP4292072A1 (fr) Dispositif et procede d'evaluation des competences
Schunn et al. The psychology of uncertainty in scientific data analysis
KR102511069B1 (ko) 심리 상태를 판단하는 장치, 심리 상태를 판단하는 방법 및 컴퓨터 프로그램
WO2021004799A1 (fr) Dispositif et procede d'analyse du comportement d'un sujet
Rathi et al. Analysis of user’s learning styles and academic emotions through web usage mining
US20230105077A1 (en) Method and system for evaluating and monitoring compliance, interactive and adaptive learning, and neurocognitive disorder diagnosis using pupillary response, face tracking emotion detection
FR2888967A1 (fr) Procede et systeme de modelisation d'une interface entre un utilisateur et son environnement a bord d'un vehicule
US20210158214A1 (en) Method of performing a process using artificial intelligence
De Bruin Automated usability analysis and visualisation of eye tracking data
US20240062890A1 (en) Movement health tracker using a wearable device
KR102465768B1 (ko) 개인화 맞춤형 학습분석 제공 시스템
Argel et al. Intellitell: A Web-based Storytelling Platform for Emotion Recognition with Machine Learning
US11568757B1 (en) Affective, behavioral, and cognitive processes data collection
EP1915591A1 (fr) Procede de traitement de donnees en vue de la determination de motifs visuels dans une scene visuelle
Rowe et al. It’s all about the process: building sensor-driven emotion detectors with GIFT
FR3124616A1 (fr) Procede et dispositif d'analyse predictive du comportement d'un operateur en interaction avec un systeme complexe

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230804

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR