EP4360009A1

EP4360009A1 - Procede et dispositif d'analyse predictive du comportement d'un operateur en interaction avec un systeme complexe

Info

Publication number: EP4360009A1
Application number: EP22738383.3A
Authority: EP
Inventors: Jean-Yves Donnart
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2021-06-24
Filing date: 2022-06-22
Publication date: 2024-05-01
Also published as: US20240289648A1; WO2022268865A1; FR3124616A1; FR3124616B1

Abstract

L'invention concerne un dispositif et un procédé mis en oeuvre par ordinateur, permettant de prédire le comportement et les actions d'un opérateur en interaction avec un système complexe, à partir de l'observation de son comportement en temps réel et de l'instanciation de modèles de comportement humain qui sont construits par apprentissage sur des données antérieures collectées pour une pluralité d'opérateurs, les modèles de comportement humain ayant été appris par l'application de techniques d'intelligence artificielle sur des modèles cognitifs et sur des modèles procéduraux prenant en compte des paramètres de facteurs humains d'influence.

Description

DESCRIPTION

Titre de l’invention : PROCEDE ET DISPOSITIF D’ANALYSE PREDICTIVE DU COMPORTEMENT D’UN OPERATEUR EN INTERACTION AVEC UN SYSTEME COMPLEXE

[0001] L’invention concerne le domaine général des systèmes d’aide au suivi des états d’individus, et propose en particulier un procédé et un dispositif permettant de prédire le comportement d’un opérateur en interaction avec un système complexe, à partir de l’observation de son comportement en temps réel et de modèles d’analyse de comportements construits sur des données antérieures, collectées pour une pluralité d’opérateurs en situation sur des systèmes complexes.

[0002] L’invention couvre ainsi plusieurs domaines que sont l’analyse du comportement humain de personnes en interaction avec une machine complexe (par exemple un pilote d’aéronef ou de véhicule terrestre ou maritime ou ferroviaire, ou encore un contrôleur aérien ou un opérateur de centrale électrique ou nucléaire ou un contrôleur de chaînes de production) et la modélisation du comportement d’agent autonome (acteur constructif dans une simulation ou personnage non joueur dans un jeu vidéo).

[0003] L’analyse du comportement humain, que l’on appelle aussi souvent « analyse des facteurs humains », permet d’analyser les actions d’une personne en utilisant des modèles cognitifs pour pouvoir expliquer ses actions.

[0004] La modélisation du comportement, permet d’animer des acteurs d’une simulation constructive ou des personnages non joueurs dans un jeu vidéo, en les dotant de comportements programmables.

[0005] Le domaine technique adressé par l’invention est à la frontière entre les deux domaines de l’analyse du comportement humain et de la modélisation du comportement, que l’on définit par la « modélisation du comportement humain » qui cherche à reproduire le comportement de vraies personnes.

[0006] La finalité de l’invention est d’utiliser cette capacité de modélisation du comportement humain pour améliorer l’analyse du comportement d’un opérateur jusqu’à pouvoir prédire son comportement futur en fonction de la situation courante telle que perçue par cet opérateur, et en fonction de l’évaluation qui est faite de son état cognitif.

[0007] Le domaine d’exploitation de l’invention est ainsi celui de la « prédiction du comportement d’un opérateur en interaction avec un système complexe.

[0008] Le problème technique adressé par la présente invention est celui de comment élaborer un dispositif (et un procédé associé) qui permet d’anticiper, de prédire le comportement d’un opérateur en interaction avec un système complexe (par exemple un pilote dans son avion) à partir de l’observation de son comportement en temps réel et de modèles d’analyse élaborés à partir de l’analyse de données antérieures qui ont été collectées pour un ensemble d’opérateurs sur un système de même nature. Par exemple, l’invention permet de prédire le comportement d’un pilote en utilisant des modèles créés à partir des données récoltées lors de vols réels ou simulés.

[0009] En effet, même lorsqu’un opérateur doit suivre, en théorie, des procédures réglementées, il est observé qu’il est très difficile de prédire son comportement en toute circonstance. Confronté à un scénario en tout point identique, chaque individu, plutôt que de suivre à la lettre une procédure qui est pourtant commune à tous les opérateurs du même type de système complexe, va adopter un comportement différent en fonction de son expérience, de son état cognitif et, plus généralement, en fonction de la manière dont il évalue la situation courante.

[0010] Il n’existe pas à l’heure actuelle de dispositif connu permettant d’anticiper le comportement complet d’un opérateur en interaction avec un système complexe.

[0011] En revanche, par exemple dans le domaine aéronautique, il existe :

- des dispositifs qui permettent d’évaluer les capacités de pilotage d’un pilote par rapport aux procédures de vol réglementaires ou par rapport à une référence apprise à partir de l’observation de pilotes expérimentés ;

- des dispositifs qui permettent de prédire des trajectoires de vols d’un ou de plusieurs aéronefs à partir de modèles physiques de chaque aéronef impliqué ;

- des dispositifs qui permettent de caractériser certains traits de pilotes à partir de leur comportement observé, pour en déduire une capacité de prise de risque par exemple. [0012] Il en est de même pour les autres dispositifs impliquant un opérateur confronté à un système complexe. Les dispositifs existants qui se rapprochent le plus de l’invention décrite ici permettent de construire des modèles à partir d’un ensemble de données de comportements d’un opérateur, pour évaluer certains aspects de son état cognitif (gestion de la charge mentale, évaluation de la situation, etc.). Cette évaluation de l’état de l’opérateur est utilisée notamment pour aider un instructeur lors des séances d’entrainement dans un simulateur du système complexe.

[0013] La finalité des solutions existantes reste plus limitée que celle de la présente invention.

[0014] Par ailleurs, les approches connues ne permettent pas de prédire le comportement d’un opérateur en interaction avec un système complexe, y compris, par exemple, une personne agissant dans un univers aussi contraint que celui d’un pilote dans son cockpit, car les modèles utilisés ne sont pas suffisamment évolués, et présentent respectivement des lacunes. En effet :

- il manque aux modèles cognitifs utilisés pour l’analyse du comportement, la prise en compte des données de contexte (par exemple la mission en cours d’un pilote). Cette lacune fait que ces modèles seuls ne permettent pas de comprendre, et donc de prédire, l’évolution de l’état cognitif de l’opérateur ; et

- il manque aux modèles de comportement utilisés dans les simulations constructives ou les jeux vidéo, une représentation suffisamment réaliste de l’état cognitif des acteurs simulés. Cette lacune ne permet pas la génération d’un comportement plus humain et donc plus proche du comportement observé de l’opérateur, et ne permet pas de reconnaître ce comportement et d’en anticiper l’évolution.

[0015] La demande de brevet US 2019/158484 A1 de Grunewald et al. propose une solution pour prédire le comportement d’un opérateur en termes d’actions à effectuer mais dans le cadre très limité d’un jeu dont les situations sont par essence limitées par leur concepteur. Il ne s’agit donc pas d’un système complexe (comme un vrai véhicule ou une centrale nucléaire) où le nombre de situations n’est pas limité et pourrait être représenté par un graphe d’états discret. Par ailleurs, ce système qui cherche à construire un réseau d’affinités entre joueurs, ne prend pas en compte évolution de l’état cognitif dans l’apprentissage des modèles de joueur, mais uniquement des caractéristiques biométriques préfixées pour chaque joueur. [0016] La demande de brevet US 2021/107501 A1 de Monteil et al. propose une solution de prédiction de comportement d’un système complexe (une voiture), ainsi qu’une prédiction de l’état cognitif d’un opérateur (en l’occurrence, l’état de santé du conducteur), qui utilise un modèle de corrélation entre le comportement de ce système et l’état de cet opérateur pour évaluer des risques d’accident. Cependant cette solution ne cherche pas à prédire le comportement du conducteur en tant que tel mais plutôt le comportement de la voiture qu’il conduit (la vitesse, l’accélération, etc.) et de son environnement proche (la distance avec d’autres véhicules par exemple). Même si l’évolution du comportement du système complexe peut évidemment découler des commandes de l’opérateur, il est surtout le résultat de la dynamique du véhicule et c’est principalement ce qui est enregistré dans les modèles proposés. Les seuls paramètres associés à l’opérateur qui sont utilisés dans ces modèles concernent l’état de santé du conducteur dont la corrélation peut permettre de détecter des situations accidentogènes.

[0017] Aussi, aucune solution connue ne propose un dispositif et un procédé permettant d’anticiper le comportement complet, i.e. sur les plans cognitif et opérationnel, d’un opérateur en interaction avec un système complexe.

[0018] Il existe le besoin d’une solution qui se concentre sur le comportement de l’opérateur, sur ses prises de décision, sur ses interactions avec le système complexe sur lequel il évolue, sur les influences multiples que peuvent avoir son état cognitif courant sur son comportement, ses décisions et ses interactions.

[0019] Un objet de l’invention est de répondre aux besoins précités et de pallier les inconvénients des solutions et techniques existantes.

[0020] Le principe général de l’invention consiste à mettre en oeuvre dans un dispositif de prédiction du comportement d’un opérateur, un moteur d’analyse dit « moteur prédictif du comportement de l’opérateur » qui instancie pour l’opérateur observé, un modèle de comportement humain de cet opérateur.

[0021] Afin de prédire le comportement de l’opérateur, et non juste celui du système complexe avec lequel il est en interaction, la solution proposée s’appuie sur l’utilisation de données supplémentaires par rapport à celles utilisées dans les solutions de l’art antérieur. En plus de données décrivant la dynamique du système complexe et de l’environnement immédiat, et de données physiologiques de l’opérateur, des données d’interactions entre cet opérateur et sa machine pour identifier ce qu’il fait (données manipulatoires), ce qu’il regarde (données d’observation) et ce qu’il dit ou entend (données de communication), sont collectées et utilisées pour construire un nouveau modèle de comportement humain à partir de modèles procéduraux et de modèles d’état cognitif qui sont de natures différentes de celles des modèles de l’art antérieur.

[0022] En effet, les modèles procéduraux appris enregistrent les corrélations entre ces données d’interaction entre l’opérateur et sa machine avec des données expertes correspondant aux règles, aux séquences d’actions ou aux procédures d’utilisation du système complexe (par exemple des procédures de vol). Les données correspondant à la dynamique du véhicule ne sont utilisées que de manière contextuelle pour déterminer quand les modèles procéduraux doivent être utilisés pour les comparer au comportement de l’opérateur.

[0023] De la même manière, les modèles d’état cognitifs s’appuient sur une expertise médicale pour catégoriser des états complexes tels que le stress, la capacité à gérer une charge de travail ou la conscience de la situation. Ces modèles sont appris à partir des données physiologiques enregistrées sur l’opérateur mais aussi en utilisant des données d’interaction entre l’opérateur et la machine et des données de contexte.

[0024] La finalité de ces modèles n’est pas l’évaluation de la santé de l’opérateur qui pourrait provoquer un accident mais une évaluation plus fine de l’état cognitif de l’opérateur capable d’expliquer les écarts entre le comportement observé et les procédures que l’opérateur est censé mettre en oeuvre.

[0025] Cette influence de l’état cognitif sur le comportement de l’opérateur peut être de trois natures : elle peut s’exercer sur le choix de la procédure à appliquer par l’opérateur, elle peut modifier l’efficacité des actions de manipulation, d’observation ou de communication que celui-ci réalise, et elle peut générer des comportements hors de toute procédure qui sont directement produit par l’état mental de l’opérateur (un mouvement de panique par exemple).

[0026] Ainsi, le dispositif proposé et le modèle de comportement humain s’appuient sur une Base de Connaissances du Comportement d’Opérateurs (BCCO), qui a été constituée en amont d’une exécution du procédé, et qui contient un ensemble de données enregistrées pendant des interactions d’opérateurs avec des systèmes complexes, pour des règlements de procédure existants (selon le domaine d’application).

[0027] Le moteur de prédiction du dispositif de l’invention est basé sur un modèle prédictif qui combine à la fois les aspects procéduraux du travail de l’opérateur et des aspects cognitifs de l’opérateur, tels que sa fatigue, son stress ou sa charge mentale.

[0028] Le dispositif de l’invention traite d’une part, l’analyse de l’état et le comportement de l’opérateur et, d’autre part, il permet l’anticipation à court terme de cet état et comportement à l’aide du modèle prédictif qui va générer des données qui vont permettre d’anticiper le comportement de l’opérateur, y compris pour des situations auxquelles il n’a pas été confronté.

[0029] Plusieurs dispositifs d’intelligence Artificielle (IA), mêlant à la fois des algorithmes d’apprentissage automatique et des méthodes formelles exploitant une expertise métier, permettent de construire de manière itérative ce que nous appelons un « modèle de comportement humain de l’opérateur », c’est-à-dire un modèle capable non seulement de reproduire le comportement procédural de l’opérateur mais aussi de prendre en compte les facteurs humains qui peuvent entrer dans sa prise de décision (aspect cognitif).

[0030] Ce modèle de comportement humain est instancié dans le moteur prédictif de comportement pour anticiper en temps réel les futures actions de l’opérateur, avec un coefficient de probabilités d’occurrence sur la ou les actions possibles.

[0031] L’avantage majeur de ce dispositif par rapport à l’existant est que le modèle de prédiction prend en compte les deux catégories de facteurs qui influent sur la décision humaine, à savoir les aspects procéduraux (i.e. suivre un plan, respecter les règles, etc.) et les aspects cognitifs (i.e. le stress, la capacité de gérer plusieurs tâches, etc.).

[0032] La présente invention trouvera de nombreux domaines d’application où existe le besoin d’anticiper les actions et les comportements d’un opérateur de système complexe.

[0033] Les domaines d’exploitation de l’invention sont les domaines d’activité dans lesquels un système complexe est contrôlé et mis en oeuvre par un ou plusieurs opérateurs. Ces domaines métiers comportent par exemple l’industrie et le transport aéronautique, ferroviaire, ou routier, les domaines de la sécurité, les domaines du contrôle de processus, etc.

[0034] Un des principaux domaines sensibles à la problématique de la prédiction du comportement d’un opérateur, que ce soit pour des questions de sécurité ou de performance (i.e. réduction du nombre d’opérateurs pour une tâche donnée) est le domaine de l’aéronautique avec le concept de « système de suivi de l’équipage » ou « Crew Monitoring System », pouvant amener à des applications de pilote unique comme le « Single Pilot Operation » (SPO) ou le « Single Pilot in Command » (SPIC) selon l’anglicisme dédié.

[0035] Ainsi, le dispositif de l’invention dans le contexte de l’aéronautique, participe à plusieurs domaines d’innovation qui sont : le développement du cockpit du futur, le monitoring des pilotes (en vol et hors vol), le suivi physiologique et psychophysique de ces derniers, la sécurité des vols, la performance de la mission ou encore la formation des pilotes.

[0036] Le dispositif proposé aborde tant pour le domaine aéronautique que plus généralement pour d’autres domaines, la problématique de comment s’assurer de la performance d’un opérateur d’un point de vue cognitif et opérationnel. Cette problématique est multiple et soulève plusieurs questions techniques, car il faut en effet être capable de mesurer plusieurs paramètres physiologiques de façon la moins invasive possible, d’interpréter ces signaux, de les compiler avec des données contextuelles relatives à une mission, de produire une information de prédiction pertinente du comportement de l’opérateur, afin de décider si la performance de l’opérateur requière d’apporter des adaptations au déroulement de la mission, soit sur le système complexe, sur l’environnement d’évolution, ou encore vis-à-vis de l’opérateur.

[0037] Pour obtenir les résultats recherchés, il est proposé un procédé d’analyse prédictive du comportement d’un opérateur en interaction avec un système complexe au cours d’une mission réelle ou simulée, le procédé étant mis en oeuvre par ordinateur et comprenant des étapes consistant à :

- collecter des données caractérisant des actions d’observation, de manipulation et de communication de l’opérateur, des données physiologiques relatives à l’opérateur et des données contextuelles regroupant des données sur l’état et la dynamique du système complexe, des données d’environnement, et des données relatives au contexte de la mission, et éventuellement, des données subjectives sur le comportement de l’opérateur ;

- utiliser les données collectées comme entrées d’un moteur prédictif de comportement pour générer des données de prédiction représentant des actions et des comportements que ledit opérateur pourrait réaliser à court terme ; et

- analyser les données de prédiction pour déterminer si des adaptations techniques sont à apporter à l’interaction entre l’opérateur et le système complexe ; le procédé étant caractérisé en ce que l’étape de générer des données de prédiction consiste via ledit moteur prédictif de comportement à mettre en oeuvre avec les données collectées un modèle de comportement humain configuré pour modéliser le comportement dudit opérateur sur les plans cognitif et procédural, ledit modèle de comportement humain instancié pour ledit opérateur ayant été appris dans une phase d’apprentissage par l’application de techniques d’intelligence artificielle sur des modèles cognitifs et sur des modèles procéduraux, utilisant sur de nombreuses simulations, une pluralité de données d’apprentissage de même nature que lesdites données collectées, mais pour différents opérateurs, les données d’apprentissage étant capitalisées dans une base de connaissances du comportement d’opérateurs de systèmes complexes.

[0038] Dans un mode de réalisation, l’étape de mise en oeuvre du modèle de comportement humain pour ledit opérateur comprend des étapes consistant à :

- déterminer à partir d’un sous-ensemble des données collectées un ou plusieurs états cognitifs de l’opérateur ;

- caractériser à partir d’un sous-ensemble des données collectées la perception de la situation par ledit opérateur, pour la phase opérationnelle en cours de la mission ;

- utiliser les données d’états cognitifs comme paramètres de facteurs humains d’influence pour la détermination de comportements et d’actions de l’opérateur, en fonction de la perception de la situation ; le modèle de comportement humain étant représenté comme un graphe hiérarchique comprenant des modules de comportements cognitifs et des modules de tâches relativement à une mission, les modules de comportements cognitifs et les modules de tâches étant décomposés en modules de comportements, les modules de comportement étant décomposés en modules d’actions, les action étant des actions élémentaires observables au niveau de l’opérateur, le graphe comprenant un niveau de sortie correspondant à une sélection d’actions élémentaires.

[0039] Dans un mode de réalisation, les paramètres de facteurs humains d’influence sur la détermination de comportements et d’actions de l’opérateur, sont utilisés à plusieurs niveaux du graphe hiérarchique.

[0040] Dans un mode de réalisation, les paramètres de facteurs humains d’influence sont utilisés à un premier niveau du graphe pour déterminer des comportements cognitifs, à un deuxième niveau du graphe pour déterminer des comportements et des actions, et à un troisième niveau du graphe pour déterminer une sélection d’actions.

[0041] Dans un mode de réalisation, l’étape d’analyser les données de prédiction pour déterminer si des adaptations techniques sont à apporter à l’interaction entre l’opérateur et le système complexe, consiste à identifier de possibles risques pour la mission, liés à des actions et comportements prédits de l’opérateur.

[0042] Dans un mode de réalisation, le procédé comprend de plus une étape consistant à déterminer des propositions d’adaptation quant à l’interaction entre ledit opérateur observé et le système complexe.

[0043] Dans un mode de réalisation, le procédé comprend de plus des étapes consistant à :

- générer des alertes écrites et/ou visuelles et/ou sonores, à destination dudit opérateur observé et/ou de co-opérateurs et/ou de services de contrôle ; et/ou

- générer des propositions d’assistance écrites et/ou visuelles et/ou sonores, à destination dudit opérateur observé et/ou de tiers ; et/ou

- adapter, reconfigurer des IHM utilisées par ledit opérateur observé afin de faciliter ses actions ; et/ou

- adapter, modifier un fonctionnement au niveau du système complexe afin qu’une action prédite ne se réalise pas ou se réalise différemment. [0044] Dans un mode de réalisation, le procédé comprend de plus une étape consistant à fournir les données collectées en entrée du modèle de comportement humain comme données d’apprentissage.

[0045] Dans un mode de réalisation, le procédé comprend des étapes initiales consistant en un apprentissage automatique de modèles de comportement humain.

[0046] Dans un mode de réalisation, l’étape d’apprentissage automatique des modèles de comportement humain comprend des étapes consistant à :

- construire une base de connaissance de comportement d’opérateurs BCCO à partir de données issues d’opérateurs en interaction avec le système complexe ;

- utiliser les données de la BCCO pour construire par apprentissage une base de données de modèles cognitifs ;

- utiliser les données de la BCCO pour construire par apprentissage une base de données de modèles spécifiques à chaque opérateur ou à chaque catégorie d’opérateurs ;

- utiliser les données de la BCCO, les données de la base de modèles cognitifs, les données de la base de modèles spécifiques, pour construire par apprentissage :

- des modèles d’état cognitif permettant de modéliser l’évolution des paramètres de facteurs humains en fonction du contexte représenté par l’opérateur et la tâche qu’il réalise en utilisant le système complexe ;

- des modèles de mission intégrant dans leurs règles de fonctionnement des paramètres de facteurs humains d’influence provenant des modèles d’état cognitif, la prise en compte des paramètres intervenant selon trois niveaux d’influence ; la réunion de modèles d’état cognitif et de modèles de mission constituant des modèles de comportement humain d’opérateur ou de catégorie d’opérateurs.

[0047] L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé revendiqué, lorsque le programme est exécuté sur un ordinateur. [0048] L’invention couvre de plus un dispositif d’analyse prédictive du comportement d’un opérateur en interaction avec un système complexe au cours d’une mission, réelle ou simulée, le dispositif comprenant :

- une pluralité de capteurs configurés pour collecter des données correspondant aux actions d’observation, de manipulation et de communication de l’opérateur observé, des données physiologiques relatives à cet opérateur et différentes données contextuelles relatives à l’état et la dynamique du système complexe, relatives à l’environnement, et au contexte de la mission) ;

- un module de traitement de données couplé aux différents capteurs, et comprenant des instructions de code permettant d’effectuer des étapes consistant à :

- analyser les données de prédiction pour déterminer si des adaptations techniques sont à apporter à l’interaction entre l’opérateur et le système complexe ; le dispositif étant caractérisé en ce que le moteur prédictif de comportement met en oeuvre, avec les données collectées, un modèle de comportement humain configuré pour modéliser le comportement dudit opérateur observé sur les plans cognitif et procédural, ledit modèle de comportement humain instancié pour ledit opérateur observé ayant été appris, dans une phase d’apprentissage, par l’application de techniques d’intelligence artificielle sur des modèles cognitifs et sur des modèles procéduraux, utilisant sur de nombreuses simulations, une pluralité de données d’apprentissage de même nature que lesdites données collectées, mais pour différents opérateurs, les données d’apprentissage étant capitalisées dans une base de connaissances du comportement d’opérateurs de systèmes complexes.

[0049] Le dispositif de l’invention comprend de plus d’autres moyens pour mettre en oeuvre les étapes du procédé de l’invention.

[0050] Une utilisation du dispositif revendiqué est celle de l’analyse prédictive du comportement d’un pilote en interaction avec une plateforme d’aéronef au cours d’une mission réelle ou simulée. [0051] L’invention couvre aussi un procédé de construction de modèles de comportement humain. Le modèle de comportement humain permet de modéliser le comportement d’un opérateur à la fois sur le plan cognitif et sur le plan procédural.

[0052] Le procédé d’obtention du modèle de comportement humain s’appuie sur une « Base de Connaissances de Comportement des Opérateurs » (BCCO) et sur deux modèles distincts, un modèle cognitif et un modèle procédural.

[0053] La BCCO permet d’enregistrer et de capitaliser un ensemble de données collectées pendant des séances d’interactions d’opérateurs avec des systèmes complexes (données caractérisant les actions d’observation, de manipulation et de communication de l’opérateur, données physiologiques relatives à cet opérateur et données contextuelles décrivant l’état et la dynamique du système complexe, l’environnement et le contexte de la mission, auxquelles s’ajoutent des données subjectives sur le comportement de l’opérateur).

[0054] Un procédé permet de construire différentes catégories de modèles cognitifs, à partir des données enregistrées dans la BCCO, en utilisant des techniques d’intelligence artificielle pour l’apprentissage automatique, comme par exemple, un modèle de charge mentale. L’homme du métier appliquera les mêmes principes pour construire tout autre modèle cognitif correspondant à d’autres aspects de l’état cognitif des opérateurs en interaction avec un système complexe donné.

[0055] Un autre procédé permet de construire à partir des données enregistrées dans la BCCO et en utilisant des techniques d’intelligence artificielle pour l’apprentissage automatique, des modèles de comportement pour simulation constructive, appelés en anglais « Constructive Models », qui sont aussi désignés comme « modèles procéduraux ».

[0056] Les données de la BCCO, les données de la base de modèles cognitifs, les données de la base de modèles procéduraux, sont ensuite utilisés pour construire par apprentissage :

- des modèles d’état cognitif permettant de modéliser l’évolution de paramètres de facteurs humains d’influence, en fonction du contexte représenté par l’opérateur et la tâche qu’il réalise dans son interaction avec le système complexe ;

- des modèles de mission intégrant dans leurs règles de fonctionnement, basées sur les modèles procéduraux, les paramètres de facteurs humains d’influence provenant des modèles d’état cognitif, la prise en compte des facteurs humains intervenant selon trois niveaux d’influence ; la réunion de modèles d’état cognitif et de modèles de mission constituant des modèles de comportement humain d’opérateur ou de catégorie d’opérateurs.

[0057] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :

[0058] [Fig.1 ] illustre de manière schématique pour l’exemple d’un pilote, la phase de modélisation de modèles cognitifs et la phase d’exécution des modèles pour évaluer l’état cognitif d’un pilote;

[0059] [Fig.2] illustre de manière schématique, comment la phase de modélisation de modèles procéduraux et la phase d’exécution des modèles pour générer le comportement d’un pilote virtuel dans une simulation constructive;

[0060] [Fig.3] illustre les étapes de construction d’un modèle du comportement humain selon l’invention, sur l’exemple d’un pilote;

[0061] [Fig.4] illustre de manière schématique un environnement permettant de mettre en oeuvre le procédé de prédiction de l’invention;

[0062] [Fig.5] illustre un enchaînement d’étapes du procédé de l’invention pour l’analyse prédictive du comportement d’un opérateur en interaction avec un système complexe au cours d’une mission réelle ou simulée;

[0063] [Fig.6] illustre un exemple d’implémentation de la structure sous-jacente du modèle du comportement humain de l’invention ; et

[0064] [Fig.7] illustre un exemple de prédiction des actions d’un pilote d’aéronef, en s’appuyant sur la structure hiérarchique de la figure 6.

[0065] Bien que l’invention soit décrite pour un mode de réalisation préféré dans le domaine de l’avionique, afin d’analyser l’état et le comportement d’un pilote et de prédire son comportement, l’homme du métier pourra transposer les principes décrits à d’autres domaines.

[0066] Par ailleurs dans la description, il est donné les définitions suivantes aux termes ci-après listés : - Opérateur : individu, sujet, personne, humain en interaction avec (i.e. piloter, contrôler, activer, opérer, agir sur) un système complexe. Pour le mode de réalisation décrit, l’opérateur est un pilote, et l’un ou l’autre terme peut être utilisé sans distinction.

- Système complexe : système comprenant de nombreux dispositifs avec lesquels un opérateur doit interagir, et qui peuvent mobiliser de sa part une implication plus ou moins importante dans son temps de manipulation ainsi que dans sa charge mentale. Le système complexe est un cockpit d’aéronef pour le mode de réalisation décrit.

[0067] Avant de décrire l’invention, il est fait les rappels suivants, qui sont nécessaires à sa bonne compréhension.

[00681 Rappel sur l’analyse des facteurs humains :

[0069] L’analyse des facteurs humains, et en particulier l’analyse du comportement d’un opérateur d’un système complexe, s’appuie sur la réalisation et l’utilisation de modèles cognitifs dont l’objet est d’évaluer, pour chacun de ces modèles, un aspect de l’état cognitif de la personne observée. L’un de ces modèles cognitifs est celui qui permet d’évaluer la charge mentale par exemple d’un pilote en cours d’exercice ou de mission.

[0070] La constitution d’une « Base de Connaissances de Comportement des Pilotes » (BCCP) regroupant sur de nombreuses séances de vols, opérationnels ou simulés, des données enregistrées sur le comportement de pilote d’avion civile devrait permettre de construire de nouveaux modèles cognitifs, capables d’évaluer d’autres aspects de l’état du pilote (vigilance, somnolence, incapacité, etc.). D’autres modèles cognitifs peuvent être réalisés pour d’autres domaines d’application (contrôleur aérien, opérateur d’une centrale nucléaire, etc.).

[00711 Rappel sur la modélisation du comportement :

[0072] Les modèles de comportement sont utilisés par les simulations constructives et par les jeux vidéo pour animer le comportement des acteurs non joués par l’entrainé, le joueur ou, plus généralement l’opérateur de ce type d’application. Ces modèles permettent de générer le comportement d’acteurs artificiels qui vont réaliser des tâches ou des missions dans le cadre d’un scénario prédéfini. [0073] Dans la quasi-totalité des simulations constructives ou de jeux, les modèles de comportement sont procéduraux, c’est-à-dire que le comportement généré correspond à une suite d’actions préenregistrées, généralement organisées sous forme de graphe ou par un ensemble de règles « Conditions-> Actions », s’activant en fonction des perceptions de l’acteur dans son environnement.

[0074] Les modèles procéduraux de comportement sont généralement développés à la main par un expert du domaine (un « game-designer » pour les jeux) sous une forme procédurale (graphe, arborescence, etc.) pour modéliser les différents enchaînements possibles du déroulement d’une mission.

[0075] Ces modèles procéduraux sont généralement construits en amont par le modélisateur pour être utilisés pendant l’exécution de la simulation ou du jeu mais, du fait de leur simplicité, ils peuvent aussi être construits ou modifiés pendant le déroulement de cette simulation ou de ce jeu.

[0076] Rappel sur la modélisation du comportement humain :

[0077] Le concept de modélisation du comportement humain (MCH) est apparu dans le domaine de la simulation dans les années 90 avec l’idée que l’on ne pourrait pas faire l’économie d’une modélisation des facteurs humains pour paramétrer la manière dont les automates doivent effectuer leurs choix de comportement, et éviter ainsi le biais de se confronter à un ennemi virtuel au comportement robotisé, facilement prédictible et que l’on arrive souvent à leurrer.

[0078] Au contraire du comportement qui peut être généré par des automates procéduraux, le comportement humain se caractérise par l’implication de l’état cognitif dans la prise de décision. Ce faisant, le comportement d’un être humain est non seulement beaucoup plus riche que celui de n’importe quel automate, mais il est également beaucoup moins prédictible puisqu’un observateur extérieur n’a généralement pas accès à l’état cognitif de la personne observée, à moins de ne pouvoir déduire une partie de cet état caché par l’expression de son visage, par sa posture ou par tout autre indicateur de son état physiologique.

[0079] Il existe de nombreux travaux dans le domaine académique sur la caractérisation de différents aspects de l’état cognitif d’un être humain, comme par exemple : - les travaux sur la reconnaissance du comportement humain (« Human Behavior Récognition » ou HBR) qui s’appuient sur des modèles psychologiques ou psychophysiologiques (comme par exemple les modèles de vigilance ou de charge mentale) ;

- de nombreux systèmes d’intelligence Artificielle académiques se sont aussi inspirés de modèles psychologiques, par exemple le modèle BDI (« Believe, Desire, Intent » de Michael Bratman), de modèles psychophysiologiques, par exemple le modèle de Nico Frijda sur les émotions, ou de modèles biomimétiques, par exemple les modèles de David McFarland et de Toby Tyrrell sur les motivations.

[0080] Dans le domaine de la simulation constructive, il a été démontré que l’on pouvait utiliser les facteurs humains (FH), qui correspondent aux différents paramètres psychologiques et physiologiques caractérisant une vraie personne, pour influencer la prise de décision des acteurs artificiels.

[0081] Ainsi, les facteurs humains peuvent intervenir à trois niveaux dans la prise de décision :

- un premier niveau (FH1 ) où les facteurs humains peuvent déclencher un nouveau comportement, par exemple pour satisfaire une motivation ou pour répondre à une certaine émotion ;

- un second niveau (FH2) où les facteurs humains peuvent influencer le choix entre plusieurs manières de réaliser un comportement donné ;

- un troisième niveau (FH3) où les facteurs humains peuvent avoir une influence sur l’efficacité avec laquelle des actions sélectionnées vont être réalisées.

[0082] Revenant sur la présente invention, elle inclut un procédé de modélisation qui permet de construire une base de données de modèles de comportements humains des opérateurs et elle porte sur un dispositif de prédiction de comportement qui s’appuie cette base de données pour prédire le comportement d’un opérateur.

[0083] Les modèles de comportement humain des opérateurs sont construits selon un procédé qui combine des modèles cognitifs et des modèles procéduraux de comportement. Chaque modèle de comportement humain correspond à un opérateur donné et/ou à une classe d’opérateurs, pour un système complexe donné. [0084] Le procédé de construction de ce nouveau modèle de comportement humain met en oeuvre :

- un format de modèle de comportement qui combine les deux catégories de modèles impliqués (cognitif et procédural);

- une expertise métier pour identifier à quels niveaux de l’arborescence du modèle procédural des liens avec les « facteurs humains » (FH) générés par les modèles cognitifs (en suivant les trois niveaux d’influence des FH décrits plus haut) peuvent s’intégrer ;

- une amélioration progressive des modèles de comportement humain de l’opérateur par des techniques d’apprentissage automatique utilisant les données de la base de connaissance du comportement des opérateurs (BCCO) comme référence.

[0085] Le moteur de prédiction du comportement permet de prédire les prochaines / futures actions d’un opérateur (à court terme), en utilisant le modèle de comportement humain correspondant le mieux à cet opérateur, selon l’analyse de l’état et du comportement procédural de l’opérateur qui est faite à partir de l’ensemble des données collectées, pour le système complexe avec lequel il interagit et selon la tâche qu’il doit réaliser (par rapport à la mission en cours).

[0086] Les données en entrée du moteur de prédiction correspondent à un ensemble de données enregistrées au moment de la requête de prédiction : données sur les actions d’observation, de manipulation et de communication de l’opérateur, données physiologiques enregistrées sur cet opérateur et données contextuelles relatives à l’état et à la dynamique du système complexe, à l’environnement ou à la mission de l’opérateur par exemple.

[0087] Les données en sortie du moteur de prédiction correspondent à des actions prédites, associées aux éléments de comportement qui ont été identifiés et sélectionnés pour l’analyse de prédiction.

[0088] Lorsque plusieurs actions sont proposées, celles-ci sont associées à un coefficient de probabilité.

[0089] Les avantages du dispositif de l’invention et du procédé associé sont de combiner dans le modèle qui est utilisé pour réaliser la prédiction, à la fois des données objectives correspondant aux procédures mises en oeuvre par l’opérateur et des données correspondant à une évaluation de l’état de cet opérateur. Ce faisant, il est possible d’identifier dans les données de cas d’usage enregistrées dans la BCCO, le contexte dans lequel est prise chaque décision de l’opérateur et de réutiliser cette information pour pouvoir anticiper lors d’une nouvelle expérience le comportement d’un opérateur identique ou considéré comme proche dans son comportement.

[0090] Les différentes phases qui permettent de créer les modèles nécessaires au fonctionnement d’un moteur de prédiction du comportement d’un opérateur en interaction avec un système complexe selon l’invention, sont maintenant décrites. Elles comportent :

(A) Une phase de constitution d’une « Base de Connaissances de Comportement des Opérateurs » ;

(B) Une phase de construction de modèles cognitifs ;

(C)Une phase de construction de modèles procéduraux ; et

(D)Une phase de construction de modèles du comportement humain.

[0091 ] (A) Constitution d’une Base de Connaissances de Comportement des Opérateurs (BCCO)

[0092] La constitution d’une Base de Connaissances de Comportement des Opérateurs (BCCO) permet de disposer des cas d’usage de comportement et des données correspondantes qui sont nécessaires pour construire les modèles utilisés pour prédire le comportement d’un opérateur en interaction avec un système complexe donné.

[0093] La BCCO peut être réalisée, dans un premier temps, à partir de données issues d’expérimentations sur des simulateurs instrumentés du système complexe, ce qui facilite à la fois leur collecte et leur sauvegarde ultérieure. Par exemple, des modèles cognitifs de pilotes ont été construits à partir de données collectées sur des simulateurs d’avions civils.

[0094] Il est possible de réaliser une collecte de données directement sur des systèmes réels (par exemple sur un avion civil pendant un vol).

[0095] La Base de Connaissances de Comportement des Opérateurs est enrichie et complétée au fil du temps pour pouvoir affiner les modèles et, en particulier, ceux qui sont utilisés pour la prédiction. [0096] La BCCO est composée de données de différentes natures enregistrées, par des capteurs appropriés, de manière synchrone telles que :

- des données relatives aux actions de l’opérateur :

- actions d’observation (ce que regarde l’opérateur) ;

- actions de manipulation (ce que fait l’opérateur en utilisant les instruments du système) ;

- actions de communication (ce que l’opérateur transmet par la voix en utilisant le système) ;

- des données physiologiques (enregistrées sur l’opérateur à partir de capteurs biométriques) ;

- des données contextuelles (état et dynamique du système, environnement du système, mission ou tâche courante de l’opérateur, actions perçues des autres acteurs, auto-évaluation de l’opérateur ou évaluation d’une personne externe, etc.).

[0097] Dans le cas de la prédiction du comportement d’un pilote, il s’agit en plus des dispositifs propres au cockpit, d’instrumenter le cockpit de l’aéronef et le pilote d’un ensemble de capteurs, permettant d’enregistrer tous les précédents types de données, pour constituer une base de connaissance du comportement pilote (BCCP).

[0098] Dans un mode de réalisation, un traitement de variabilité inter/intra personnelle et inter/intra opérationnelle peut être appliqué sur les données afin de les grouper, et permettre la construction de modèles plus génériques (c’est-à-dire non liés à un seul opérateur). Par exemple, dans le cas de pilotes :

- il est possible de regrouper des données de pilotes qui sont jugées suffisamment proches en termes de formation, d’ancienneté, de parcours, etc. pour construire des modèles pour des classes de pilotes ;

- il est possible de regrouper des données de pilotes différents mais volant sur une même classe d’aéronef et sur des parcours similaires pour construire des modèles pour des classes de missions.

[0099] L’homme du métier comprend ainsi que la qualité de la prédiction dépend de la qualité de la base de données des modèles du comportement humain des opérateurs qui, elle-même, dépend de la quantité de données qui auront pu être collectées dans la BCCO.

[0100] (B) Construction de modèles cognitifs

[0101] Les « Modèles de Comportement Cognitif » ou « Modèles Cognitifs », sont utilisés pour l’analyse des facteurs humains.

[0102] La figure 1 illustre de manière schématique pour l’exemple d’un pilote, comment les modèles cognitifs (102) sont élaborés (Phase de Modélisation) et comment ces modèles sont utilisés (Phase d’Exécution) pour évaluer (120) l’état cognitif d’un pilote, en utilisant les données d’une « Base de Connaissances de Comportement des Pilotes » (BCCP) (104) regroupant sur de nombreuses séances de vols, opérationnels ou simulés, des données (106) enregistrées sur le comportement du pilote : actions du pilote (actions d’observation de l’extérieur du cockpit et des instruments, actions de manipulation sur les commandes et les instruments de l’avion, actions de communication) ; paramètres physiologiques enregistrés par des capteurs biométriques ; informations contextuelle sur l’état et la dynamique du système complexe (l’avion), sur l’environnement (météo, autres acteurs/tactiques/trafic, ...), sur la mission du pilote (plan et phases de vol par exemple) ou sur des informations plus subjectives sur son comportement (observation, déclaration, annotation, qualification, ...).

[0103] Les modèles cognitifs sont élaborés par des techniques d’intelligence artificielle pour l’apprentissage, à partir de données (108) collectées lors de plusieurs exercices où le système complexe et l’opérateur sont instrumentés (110), par exemple dans un simulateur d’avion instrumenté à cette fin. Des exercices correspondant à des scénarios réalistes et productifs avec des variations opérationnelles et cognitives sont effectués. Les données collectées qui regroupent des données objectives (mesures de capteurs ; sonde du simulateur ; scénario) et des données subjectives (auto-appréciation ; expertise externe) sont synchronisées, et fournies à la Base de Connaissance du Comportement des Pilotes, ou plus généralement des Opérateurs (104).

[0104] Il est à noter que l’apprentissage n’est jamais fait à l’aveugle et, le plus souvent, il fait intervenir des experts (112) pour définir le type de modèle que l’on cherche à construire en choisissant, par exemple, les paramètres à utiliser. [0105] La constitution préalable d’une Base de Connaissances de Comportement des Pilotes (BCCP) ou plus généralement d’une Base de Connaissances de Comportement d’Opérateurs (BCCO) contenant des enregistrements synchronisés de séances d’interaction avec le système complexe utilisé, est ainsi un prérequis pour construire des modèles cognitifs, que ce soit pour évaluer la charge mentale d’un opérateur ou d’autres aspects de l’état d’un opérateur, i.e. sa vigilance, sa somnolence, son incapacité, etc.

[0106] Comme illustré sur la figure 1 , en phase d’exécution, les données collectées sont des entrées d’un moteur d’exécution (114) qui instancie le modèle cognitif (102) approprié afin de délivrer des informations (120) représentatives de l’état cognitif du pilote/opérateur.

[0107] (C) Construction de modèles procéduraux

[0108] Les « modèles constructifs de comportement » ou « modèles procéduraux », sont utilisés par les simulations constructives pour générer le comportement de chaque acteur non joué par l’entrainé ou par l’instructeur, et pour permettre à cet acteur de réaliser sa mission en fonction de la situation qu’il perçoit.

[0109] Les modèles procéduraux sont généralement développés à la main par un expert sous une forme procédurale (avec une représentation en graphe, arborescence, etc.), pour modéliser les différents enchaînements possibles du déroulement d’une mission. Ces modèles procéduraux peuvent être construits en direct par l’entrainé ou l’instructeur pendant l’exercice, ou ils peuvent être construits par un modélisateur et enregistrés dans une base de données pour être réutilisés pendant le cours de l’exercice.

[0110] Il existe des techniques permettant de construire des modèles procéduraux qui sont en partie le résultat d’un apprentissage automatique et où l’expert intervient en amont pour, par exemple :

- Structurer l’organisation des comportements (par exemple : un apprentissage génétique de missions collectives) ;

- Simplifier les données en entrée (par exemple : un apprentissage d’arbres comportementaux) ;

- Définir les expériences à enregistrer (par exemple : un apprentissage par cas). [0111] L’utilisation de l’apprentissage est surtout utile lorsqu’il est difficile, ou que cela prendrait trop de temps, de construire un modèle procédural de comportement qui répond à toutes les situations rencontrées. Dès que le problème devient trop complexe en nombre de situations possibles, il devient nécessaire de construire un modèle plus générique en utilisant un apprentissage automatique.

[0112] En revanche, comme dans le cas de l’apprentissage de modèles cognitifs, le temps de calcul d’un modèle procédural de comportement complet devient rapidement prohibitif sans l’aide d’un expert du système étudié pour identifier les paramètres à optimiser ou pour définir par avance la structure du modèle.

[0113] La figure 2 illustre de manière schématique, comment les modèles procéduraux (202) sont élaborés (Phase de Modélisation) et comment ces modèles sont utilisés (Phase d’Exécution) pour générer (220) le comportement du pilote virtuel dans une simulation constructive.

[0114] La phase de modélisation permet de construire des modèles procéduraux en utilisant comme référence pour apprendre un comportement plus général que celui proposé par des experts opérationnels (212), les données enregistrées dans une « Base de Connaissances de Comportement des Pilotes » (BCCP) (204) regroupant sur de nombreuses séances de vols, opérationnels ou simulés, des données (206) enregistrées sur le comportement du pilote : actions du pilote (actions d’observation de l’extérieur du cockpit et des instruments, actions de manipulation sur les commandes et les instruments de l’avion, actions de communication) ; paramètres physiologiques enregistrés par des capteurs biométriques ; informations contextuelle sur l’état et la dynamique du système complexe (l’avion), sur l’environnement (météo, autres acteurs/tactiques/trafic, ), sur la mission du pilote (plan et phases de vol par exemple) ou sur des informations plus subjectives sur son comportement (observation, déclaration, annotation, qualification, ).

[0115] En phase d’exécution, les modèles procéduraux (202) sont instanciés dans le moteur de comportement d’une simulation constructive (214) avec les données d’une simulation (208, 210) pour générer (220) des informations représentatives du comportement du pilote artificiel.

[0116] (D) Construction de modèles du comportement humain [0117] Les modèles de comportement humain élaborés par les inventeurs sont des modèles enrichissant les modèles procéduraux de paramètres supplémentaires qui proviennent de l’évaluation de l’état cognitif de l’opérateur.

[0118] Avantageusement, les modèles des deux catégories de modèles connus (procéduraux ; cognitifs) sont combinés dans une seule et unique structure de modélisation.

[0119] L’apprentissage des nouveaux modèles de comportement humain s’appuie sur chacune de ces deux catégories en intégrant à la fois des composantes procédurales et des composantes cognitives de la prise de décision.

[0120] Comme il a été développé précédemment, il est possible de construire un modèle procédural suffisamment évolué pour pouvoir prédire le comportement d’un opérateur en interaction avec un système complexe, à condition que cet opérateur suive à la lettre les procédures d’utilisation de ce système et que le dispositif de prédiction dispose des mêmes entrées que l’opérateur pour effectuer ses prédictions.

[0121] Cependant, cette dernière condition n’est pas toujours remplie puisque les opérateurs humains peuvent ne pas suivre à la lettre les procédures, en tenant compte de facteurs cachés qui sont difficiles à évaluer de l’extérieur.

[0122] Même si l’autonomie décisionnelle d’un opérateur humain le rend donc relativement imprédictible, en tout cas dans les situations délicates ou imprévues, il est possible d’augmenter l’efficacité d’un système de prédiction en essayant d’évaluer les facteurs intrinsèques qui peuvent intervenir dans sa prise de décision.

[0123] Ces facteurs intrinsèques peuvent être en particulier les facteurs humains (FH) déjà évoqués et pour lesquels quelques modèles existants permettent, par exemple, aux instructeurs de faciliter l’évaluation de leurs élèves pilotes.

[0124] Pourtant, il n’est bien sûr pas possible d’évaluer tous les facteurs intrinsèques qui vont faire dévier l’opérateur des procédures, mais juste celles qui ont un rapport avec son métier d’opérateur. Ainsi, pour un pilote, il sera possible d’évaluer sa vigilance, sa prise en compte de la situation, son stress ou sa charge mentale par exemple. Mais d’autres facteurs indétectables pourraient intervenir pour amener le pilote à faire d’autres choix de comportement. [0125] Cette problématique complexe a conduit les inventeurs à vouloir « augmenter » les modèles procéduraux, de paramètres supplémentaires provenant de l’évaluation de l’état cognitif de l’opérateur.

[0126] La figure 3 illustre de manière schématique et synthétique le processus de construction d’un modèle du comportement humain (300) selon l’invention, sur l’exemple d’un pilote.

[0127] La première étape consiste à construire une base de connaissance de comportement des pilotes BCCP (302) (ou plus généralement, une base de connaissance de comportement des opérateurs BCCO d’une application concernée). Comme décrit précédemment, la base est construite avec des données collectées (304) lors de l’exécution de nombreux exercices impliquant différents pilotes (ou des opérateurs de l’application concernée), en interaction avec un système complexe (306) (ici, des pilotes dans leur aéronef). Les données collectées caractérisent des actions d’observation, de manipulation et de communication de l’opérateur, des données physiologiques relatives à l’opérateur et des données contextuelles regroupant des données sur l’état et la dynamique du système complexe, des données d’environnement, et des données relatives au contexte de la mission, et éventuellement, des données subjectives sur le comportement de l’opérateur. Ces données collectées pourront être utilisées dans un deuxième temps par le moteur prédictif.

[0128] En phase de modélisation, la Base de Connaissances du Comportement des Pilotes (302) est utilisée pour construire une base de données de modèles de cognitifs (308) avec l’aide d’experts médicaux et en utilisant des algorithmes d’apprentissage automatique.

[0129] En parallèle, pendant la phase de modélisation de la BCCP, des modélisateurs (310) aidés par des experts opérationnels (ici, des pilotes expérimentés) définissent et construisent la structure des modèles procéduraux (312) qui sont ensuite adaptés par des techniques d’apprentissage en utilisant les données de la BCCP (302), pour constituer des bases de données de modèles procéduraux qui sont spécifiques à chaque opérateur ou chaque catégorie d’opérateurs. [0130] Toujours dans la phase de modélisation, les données d’exercices collectées qui sont synchronisées (304) et enregistrées dans la Base de Connaissances de Comportement des Pilotes vont permettre de réaliser, en combinaison avec les modèles cognitifs et les modèles procéduraux, un apprentissage (314) pour construire :

- des modèles d’état cognitif (316) permettant de modéliser l’évolution des paramètres de facteurs humains d’influence en fonction du contexte représenté par l’opérateur et la tâche qu’il réalise en utilisant le système complexe (par exemple, le pilote réalisant sa mission) ; et

- des modèles de mission (318) intégrant dans leurs règles de fonctionnement des paramètres de facteurs humains d’influence, provenant des modèles d’état cognitif (316), la prise en compte des facteurs humains intervenant selon trois niveaux d’influence (les trois types de connexions FH1 , FH2, FH3, décrites dans la section précédente).

[0131] La combinaison des deux catégories de modèles, les modèles d’état cognitif et les modèles de mission, prenant en compte les paramètres de facteurs humains d’influence, constitue les modèles du comportement humain (300) (de pilote ou plus généralement d’opérateur).

[0132] Les données enregistrées dans la BCCO sont donc utilisées pour caractériser les choix de comportement des opérateurs en construisant des modèles de comportement humain différents pour chaque opérateur individuel (ou pour des catégories d’opérateurs proches dans leur comportement).

[0133] Le modèle de comportement humain qui est appris et instancié pour un opérateur, sert, en mode exploitation, à initialiser un moteur prédictif de comportement qui, à partir des données d’entrée caractérisant la situation courante de l’opérateur, est capable de produire en sortie la probabilité de chacune des actions que pourrait réaliser l’opérateur dans un avenir proche.

[0134] Il ressort que les difficultés et verrous techniques de l’approche proposée, portent sur :

- La constitution d’une base de connaissances de comportement des opérateurs (302) BCCO de l’application concernée (BCCP pour les pilotes) suffisamment riche pour réaliser l’ensemble des apprentissages ; - La constitution d’une base de modèles d’état cognitif (316) dont les paramètres sont suffisants pour décrire les influences de l’état d’un opérateur (par exemple un pilote) sur ses choix de comportement ;

- La possibilité d’apprendre les modèles d’évolution des différents paramètres caractérisant l’état cognitif de l’opérateur (par exemple du pilote) en fonction de ses caractéristiques personnelles, de ses perceptions et de ses actions ;

- La possibilité d’apprendre à partir des données de la BCCO (par exemple de la BCCP) des modèles procéduraux (312) pertinents et différentiés suivant les opérateurs (ex : les pilotes) ou catégories d’opérateurs (ex : catégories de pilotes) ;

- La capacité à relier par un apprentissage automatique les données provenant des modèles d’état cognitif et des modèles procéduraux pour reproduire les comportements des opérateurs (ex : des pilotes) enregistrés dans la BCCO (ex : la BCCP).

[0135] Ce dernier point est le plus délicat à traiter puisque si l’on peut supposer que les choix de comportement d’un opérateur en interaction avec un système complexe (par exemple un pilote dans son aéronef) dépendent à la fois de sa perception de son environnement et de son état cognitif, il est plus difficile de s’assurer que toutes les perceptions pertinentes pour l’opérateur seront prises en compte dans le modèle et, plus encore, que les mesures capturées sur l’opérateur seront suffisantes pour construire les modèles adéquats.

[0136] La figure 4 illustre de manière schématique un environnement permettant de mettre en oeuvre le procédé de prédiction de l’invention. L’exemple est illustré pour un environnement aéronautique en vue d’appliquer le procédé de prédiction à un pilote. Cependant l’homme du métier peut appliquer les principes décrits à tout autre environnement tel que cité précédemment, comme l’industrie et le transport ferroviaire ou routier, les domaines de la sécurité, les domaines du contrôle de processus, etc. et pour tout opérateur.

[0137] Un pilote évolue dans un environnement au cours d’un entrainement de simulation ou au cours d’une mission réelle, illustré par une plateforme (402). La plateforme (cockpit d’un aéronef) est un système complexe équipé de nombreux et différents systèmes avec lesquels le pilote peut interagir. Entre autre, les cockpits d’aéronef sont pourvus de systèmes de visualisation complexes, permettant de représenter sur des écrans plusieurs zones d’affichage simultanément. Ces systèmes sont capables d’afficher les informations nécessaires à la gestion de l’avion et offrent différentes fonctions pour la surveillance de la mission en cours, comme les fonctions du FMS (« Flight Management System »), du FWS (« Flight Warning System »), des fonctions d’aide à la résolution de pannes avec affichage de procédures de résolution et leur traitement. L’interaction du pilote avec le système complexe se définit alors comme toute action sur ces systèmes ou toute interaction avec des interfaces homme-machine (IHM) de son environnement.

[0138] Le pilote est équipé de capteurs et la plateforme déjà équipée de moyens de collecte de données standards (comme les manipulandum) peut aussi être instrumentée, afin de collecter des données caractérisant l’interaction du pilote avec le système complexe pour une situation en cours (simulation ou mission réelle). Les données sont synchronisées et regroupées dans un module de données de situation (404) qui enregistre des données relatives aux actions du pilote, des données physiologiques relatives au pilote, des données contextuelles relatives à l’état et la dynamique du système complexe, relatives à l’environnement et relatives au contexte de la mission.

[0139] Les données relatives aux actions du pilote et les données physiologiques sont acquises au moyen de capteurs capable de collecter par exemple, et sans limitation ; i) le rythme cardiaque au moyen d’un bracelet cardiofréquencemètre ou d’une ceinture pectorale ; ii) le rythme respiratoire grâce à la même ceinture pectorale ou grâce à un nappe de capteurs située dans ou sur le siège ; iii) les données d’oculométrie récoltées au moyen d’une caméra située soit à distance du pilote sur le tableau de bord soit sur des lunettes portées par le pilote ; iv) la résistance cutanée au moyen de la montre cardiofréquencemètre ou d’un bracelet dédié ; v) des données sur la vitesse et l’accélération des palonniers, du manche et des manettes par des capteurs de mouvements portés par l’opérateur au niveau de la tête, du tronc, des membres supérieurs et inférieurs ou disposés au niveau de ses manipulandum ; vi) des données relatives aux communications verbales de l’opérateur.

[0140] Concernant ces données physiologiques ou relatives aux actions du pilote, de manière préférentielle, des objets usuels déjà présents dans le cockpit ou l’habillement du pilote peuvent être équipés de capteurs afin de ne pas rajouter d’éléments perturbants et ainsi diminuer la gêne du pilote dans son interaction avec le système complexe. Ainsi, il peut être implémenté des capteurs sur :

- un bracelet en contact avec le poignet et le bras du pilote. Le bracelet peut être équipé de capteurs de rythme cardiaque, d’humidité (transpiration), température, d’accéléromètre et inertiel (IMU) ;

- un vêtement en contact avec la peau du pilote. Le vêtement peut supporter, intégrés dans le tissu, des capteurs de température du corps ; d’électrocardiogramme ECG et rythme cardiaque, et d’accélération (IMU) ;

- un siège en contact avec le fessier et le dos du pilote. Le siège peut être équipé de capteurs de pression, de température, de capteurs cardiaques et respiratoires ;

- un casque (audio) en contact avec le crâne du pilote. Le casque peut en plus du micro qui est un capteur de la voix, supporter des capteurs EEG (voire EOG), accéléromètre et IMU, et une caméra faciale.

[0141] De manière préférentielle, le système complexe est instrumenté de capteurs à distance rapprochés du pilote. Les capteurs à distance comprennent différentes caméras (caméras de scène, caméras faciales, caméras 3D, caméras de suivi du regard), fixées dans le cockpit (i.e. intégrées dans le tableau de bord et/ou les montants). Ces caméras sont aptes à capturer une scène (l’attitude du pilote, les actions réalisées, etc.), d’en déduire des postures, des expressions du visage, et toutes informations utiles pour composer des données qui vont alimenter le moteur prédictif du comportement du pilote.

[0142] Les données relatives à l’environnement peuvent comprendre des informations, obtenues de différentes sources, sur les conditions météorologiques, sur l’état du trafic aérien, les données relatives au contexte de la mission en cours (réelle ou simulée).

[0143] Les données sur le contexte de la mission peuvent comprendre des informations sur l’état du système complexe (i.e. de l’information sur des états inhérents à un fonctionnement normal, comme par exemple un pourcentage de puissance des moteurs, si les ailettes sont repliées ou dépliées, l’état des réservoirs de carburant, etc., et de l’information sur des états inhérents à un fonctionnement anormal, comme par exemple l’information que le moteur gauche est défaillant, la pédale droite du siège copilote est défaillante, ou toute sorte de potentielle défaillance). Les données de contexte peuvent comprendre des données de vol telles que : l’itinéraire, l’altitude, la vitesse, l’accélération, l’assiette et l’enveloppe. De plus, les paramètres de l’avion peuvent être pris en compte, tels que : la date de la dernière maintenance, les événements survenus en vol, etc.

[0144] Le dispositif de l’invention comprend des ressources de calcul ou module de traitement de données (406) configuré pour mettre en oeuvre un moteur prédictif du comportement du pilote avec les données de situation recueillies.

[0145] Les modèles de comportement humain (300) du module de modélisation qui ont été obtenus par apprentissage (tel que décrit en référence à la figure 3), sont instanciés dans le moteur prédictif du comportement (406) en utilisant les données de situation relevées qui sont propres au pilote observé, et ainsi produire des données de prédiction (408) quant à des actions et des comportements possibles à court terme que le pilote pourrait faire ou adopter.

[0146] Le moteur prédictif de comportement de l’invention, produit un ensemble de données prédictives d’actions et de comportements possibles du pilote à plusieurs niveaux de granularité : depuis des comportements « les plus hauts » liés à la mission et aux procédures, jusqu’à des actions élémentaires de l’opérateur.

[0147] Les ressources de calcul peuvent être configurées pour analyser et évaluer les données de prédiction obtenues en vue de déterminer si des adaptations techniques, des réglages techniques sur des équipements de l’environnement seraient à apporter, si des recommandations seraient à faire au pilote ou à des tiers en fonction des résultats de l’analyse prédictive, de manière à adapter l’interaction courante de l’opérateur avec le système.

[0148] Les recommandations pour un pilote par exemple, peuvent être faites par voie d’affichage graphique sur un ou plusieurs écrans ou par projection d’informations dans le cockpit.

[0149] Le dispositif de l’invention peut de plus comprendre des moyens qui peuvent être une partie du module de traitement de données (406), pour analyser les données de prédiction probabiliste de comportement afin d’anticiper les évolutions possibles (toujours en probabilité) de l’état cognitif de l’opérateur. [0150] Avantageusement, le dispositif de l’invention est configuré pour rétroagir sur le module de modélisation (flèche 303 sur la figure 3 entre le module d’exécution et la base de connaissance de comportement BCCO ou BCCP). Les données de situation enregistrées et associées au comportement du pilote, sont fournies à la BCCO pour être utilisées comme données d’apprentissage et améliorer le module de modélisation pour affiner les modèles de comportement humain de ce pilote en particulier, mais aussi pour affiner les modèles des différentes catégories de pilotes auxquelles il peut appartenir.

[0151] Avantageusement, la boucle de rétroaction (303) vers la base de données de connaissance des données opérateur recueillies au cours de l’exécution d’une mission, permet d’enrichir la BCCO et d’améliorer ultérieurement la prédiction du comportement de chaque opérateur pendant son interaction avec le système complexe.

[0152] La rétroaction exécution-modélisation permet aussi de constituer et enrichir des bases de connaissances du comportement de plusieurs catégories d’opérateurs, ces bases pouvant ensuite servir pour l’apprentissage de différents modèles pour prédire le comportement d’autres opérateurs mais aussi servir d’étalon pour évaluer un comportement par exemple.

[0153] La figure 5 illustre un enchaînement d’étapes du procédé de l’invention pour l’analyse prédictive du comportement d’un opérateur en interaction avec un système complexe au cours d’une mission réelle ou simulée. Le procédé est mis en oeuvre par ordinateur et comprend des étapes consistant à :

- (502) : collecter des données correspondant aux actions de l’opérateur, des données physiologiques relatives à cet opérateur et des données contextuelles caractérisant la situation en cours regroupant des données relatives à l’état et à la dynamique du système complexe, des données relatives à l’environnement et des données relatives au contexte de la mission ;

- (504) : utiliser les données collectées comme entrées d’un moteur prédictif de comportement pour générer des données de prédiction représentant des actions et des comportements que ledit opérateur pourrait réaliser à court terme ; et - (506) analyser les données de prédiction pour déterminer (508) si des adaptations techniques sont à apporter à l’interaction de l’opérateur avec le système complexe.

[0154] Le procédé de l’invention est caractérisé en ce que l’étape pour générer des données prédictives est faite par un moteur prédictif de comportement qui met en oeuvre avec les données collectées un modèle de comportement humain qui est configuré pour modéliser le comportement de l’opérateur observé, à la fois sur le plan cognitif et le plan procédural, ce modèle de comportement humain étant instancié pour cet opérateur et ayant été appris dans une phase d’apprentissage tel que précédemment décrit, par l’application de techniques d’intelligence artificielle sur des modèles cognitifs et sur des modèles procéduraux, avec des données capitalisées dans une base de connaissances du comportement d’opérateurs de systèmes complexes.

[0155] L’analyse des données de prédiction qui liste des actions et des comportements que l’opérateur pourraient réaliser à court terme, peut permettre de déterminer si une ou des actions, si un ou des comportements prédits, sont susceptibles d’amener une situation problématique. Cette analyse peut être faite tant automatiquement qu’avec l’aide d’experts et elle a pour but de déterminer si des adaptations techniques sont à apporter au mode d’interaction de l’opérateur avec le système complexe dans toutes les composantes de son interaction.

[0156] Ainsi, le procédé de l’invention peut être complété par une étape (510) d’exploitation des résultats de l’analyse afin de déterminer, en fonction de possibles risques pour la mission, liés à des actions et comportements prédits de l’opérateur, des options d’adaptation. Les adaptations peuvent être, sans limitation :

- de générer des alertes (écrites ; visuelles ; sonores) à destination de l’opérateur et/ou de co-opérateurs et/ou de services de contrôle ; et/ou

- de générer des propositions d’assistance (écrites ; visuelles ; sonores) à destination de l’opérateur et/ou de tiers ; et/ou

- d’adapter, de reconfigurer des IHM utilisées par l’opérateur afin de faciliter ses actions ; et/ou

- d’adapter, de modifier un fonctionnement au niveau du système complexe afin qu’une action prédite ne se réalise pas ou se réalise différemment (des contre- mesures peuvent être mises en œuvre pour pallier les risques détectés et assurer la sécurité et/ou la performance de la mission).

[0157] Les exemples d’adaptation ne sont donnés qu’à titre indicatif et l’homme du métier pourra dériver d’autres options d’adaptation de l’interaction homme-système selon le contexte de l’application.

[0158] L’étape de mise en œuvre du modèle de comportement humain peut comprendre des étapes consistant à :

- déterminer, à partir d’un sous-ensemble des données collectées, un ou plusieurs états cognitifs de l’opérateur ;

- caractériser, à partir d’un sous-ensemble des données collectées, la perception de la situation par ledit opérateur pour la phase opérationnelle en cours de la mission ;

- utiliser les données d’états cognitifs comme paramètres de facteurs humains d’influence pour la détermination de comportements et d’actions de l’opérateur en fonction de la perception de la situation ; le modèle de comportement humain étant représenté comme un graphe hiérarchique comprenant des modules de comportements cognitifs et des modules de tâches relatifs à une mission, les modules de comportements cognitifs et les modules de tâches étant décomposés en modules de comportements, les modules de comportement étant décomposés en modules d’actions, les action étant des actions élémentaires observables au niveau de l’opérateur, le graphe comprenant un niveau de sortie correspondant à une sélection d’actions élémentaires.

[0159] Avantageusement, les paramètres de facteurs humains d’influence sur la détermination de comportements et d’actions de l’opérateur, sont utilisés à plusieurs niveaux du graphe hiérarchique.

[0160] Dans un mode de réalisation, les paramètres de facteurs humains d’influence sont utilisés à un premier niveau du graphe pour déterminer des comportements cognitifs, à un deuxième niveau du graphe pour déterminer des comportements et des actions, et à un troisième niveau du graphe pour déterminer la sélection des actions effectivement prédites. [0161 ] Dans un mode de réalisation, les données collectées sont fournies en entrée du modèle de comportement humain comme données d’apprentissage, permettant de faire évoluer le modèle.

[0162] Comme détaillé en référence à la figure 3, les modèles de comportement humain (300) de l’invention, sont le résultat de l’interconnexion et de l’influence mutuelle, de modèles cognitifs (308) et de modèles procéduraux (312) du comportement. Ces modèles de comportement humain vont, en particulier, permettre de prédire et d’anticiper le comportement d’un opérateur en interaction avec un système complexe.

[0163] La figure 6 illustre un exemple d’implémentation de la structure sous-jacente du modèle du comportement humain de l’invention qui permet d’instancier, via le moteur de prédiction, le modèle de comportement d’un opérateur qui est observé, ce modèle de comportement pour cet opérateur ayant été obtenu à partir des modèles de comportement humain construits par apprentissage en utilisant une base de connaissances de comportement d’opérateurs (BCCO).

[0164] Pour des raisons de clarté de la description, il est pris pour convention sur la figure 6, que la partie gauche de l’arborescence représente la structure associée aux modèles cognitifs, et la partie droite de l’arborescence représente la structure associée aux modèles procéduraux de comportement.

[0165] Le modèle de comportement humain (300) permet de procéder à une évaluation de l’état cognitif d’un opérateur, en intégrant cet état dans l’évaluation de la situation perçue par l’opérateur pour la mission en cours.

[0166] L’état cognitif d’un opérateur est évalué à partir de différentes composantes Ei qui représentent autant de modèles psychophysiologiques permettant d’évaluer à partir des données physiologiques provenant des capteurs, dans quel état cognitif l’opérateur observé se trouve. Ainsi par exemple, les composantes E1 , E2 et E3 sur la figure 6 peuvent représenter, pour un pilote, une évaluation de son stress (E1) à partir d’un modèle cognitif d’évaluation de stress, une évaluation de sa vigilance (E2) à partir d’un modèle cognitif d’évaluation de vigilance, une évaluation de sa charge mentale (E3) à partir d’un modèle cognitif d’évaluation de charge mentale.

[0167] Un comportement cognitif CCi de l’opérateur peut être déclenché par une certaine configuration de son état cognitif. Ce comportement correspond à une influence de premier niveau des facteurs humains (représentée par la flèche FH1 ), i.e. un niveau où les facteurs humains peuvent déclencher un nouveau comportement. Ainsi, par exemple, l’évaluation de l’état cognitif d’un pilote montrant un très bas niveau de sa vigilance, peut engendrer un comportement cognitif qui soit l’endormissement du pilote.

[0168] Or un comportement cognitif n’est pas nécessairement élémentaire, et il peut être décomposé en une pluralité de comportements Ci plus simples (par exemple les modules de comportement C1 à C4).

[0169] Les comportements Ci peuvent eux-mêmes être chacun décomposé en une pluralité d’actions élémentaires observables Ai de l’opérateur (par exemple les modules d’actions A1 à A5).

[0170] L’ensemble de cette structure hiérarchique (Ci; Ai) du modèle du comportement cognitif peut être le résultat d’un apprentissage automatique, combiné avec une expertise sur les modèles cognitifs.

[0171] Sur le plan procédural, l’évaluation de la situation pour une mission en cours, qui est celle perçue par un opérateur ou elle de l’opérateur, regroupe un ensemble de données collectées Sj qui sont enregistrées à partir de capteurs permettant d’évaluer ce que l’observateur observé voit, entend ou connaît, et ce qu’il ressent.

[0172] L’opérateur a une ou plusieurs missions qui sont supposées connues. Chacune de ces missions peut être décomposée de manière hiérarchique en une pluralité de tâches procédurales Tj (par exemple les modules de tâches T1 , T2, T3), qui, elles-mêmes, sont chacune décomposable en comportements (par exemple les modules de comportements C3 à C7).

[0173] Les comportements Cj peuvent eux-mêmes être chacun décomposé en une pluralité d’actions élémentaires observables Aj de l’opérateur (par exemple les modules d’actions A1 à A5) qu’il peut effectuer pour réaliser sa mission.

[0174] De la même manière que pour les comportements cognitifs, la structure hiérarchique (Tj; Cj; Aj) des comportements procéduraux peut être le résultat d’un apprentissage automatique, combiné avec des connaissances doctrinales d’un expert opérationnel. [0175] Avantageusement, le modèle de comportement humain de l’invention établit des liens entre les modèles cognitifs et les modèles procéduraux de comportement, selon la structure hiérarchique de l’arbre comportemental et de l’arbre de missions. Ces liens (illustrés sur la figure 6 par toutes les interconnexions entre les différents niveaux hiérarchiques de deux catégories de modèles), permettent d’aboutir à une représentation du comportement d’un opérateur dans toutes ses composantes (cognitive et procédurale).

[0176] Un premier niveau d’interconnexion est la possibilité d’avoir des modules de comportement (Ci, Cj) qui soient communs dans l’arborescence, ces modules de comportement pouvant être activés soit par un comportement cognitif, soit par une tâche d’une mission, soit par les deux simultanément.

[0177] La figure 6 illustre que le module de comportement C3 est un module de comportement commun. Le module de comportement C3 est issu d’un comportement cognitif CCi et il provient aussi de la décomposition de la tâche référencée dans le module de tâches T 1. Ainsi, lors de la mise en oeuvre du modèle de comportement humain, des modules de comportement qui sont communs aux deux modèles, peuvent être activés soit par un comportement cognitif, soit par une tâche d’une mission, soit par les deux simultanément (et alors proposer un comportement de compromis).

[0178] Un deuxième niveau d’interconnexion correspond au deuxième niveau d’influence des facteurs humains (FH2), i.e. le niveau où les facteurs humains peuvent influencer le choix entre plusieurs manières de réaliser un comportement donné. Le principe consiste à utiliser l’état cognitif de l’opérateur pour influencer la décomposition des tâches Tj ou la décomposition des comportements (Ci, Cj) de l’arbre de mission. Par exemple, un état de vigilance très bas révélé par l’évaluation de l’état cognitif de l’opérateur, peut augmenter le poids dans l’arbre comportemental d’un comportement plus prudent.

[0179] Un troisième niveau d’interconnexion se situe au niveau du déclenchement des actions. En effet, les deux hiérarchies comportementales (cognitif ; procédural) sont nécessairement mises en concurrence à ce niveau-là. Chaque module d’action (Ai, Aj) peut être activé par un module de l’arbre cognitif, par un module de l’arbre de mission ou par les deux à la fois. [0180] La figure 6 illustre par exemple que le module d’actions A1 est commun au module de comportement C1 provenant de la décomposition d’un comportement cognitif et au module de comportement C4 provenant de la décomposition du module de tâche (T1 et/ou T2).

[0181] Le dernier niveau de l’arborescence est celui de la sélection des actions prédites (illustré au bas de la figure 6). Ce niveau fonctionne suivant le principe connu des actuateurs. Chaque action prédite est représentée par une combinaison d’un ou de plusieurs actuateurs (Actul , Actu2 et Actu3). Ceci détermine la possibilité d’exclure des actions simultanées mais aussi de réaliser plusieurs actions simultanément. L’exemple pour un pilote militaire est qu’il ne peut pas regarder en même temps ses instruments et l’extérieur de son cockpit. En revanche, il peut très bien réaliser une de ces deux actions et appuyer en même temps sur la gâchette de son canon.

[0182] A la fin du processus de sélection des actions, le modèle de comportement humain de l’invention fait intervenir sur ce dernier niveau de l’arborescence, le dernier niveau (FH3) d’influence des facteurs humains sur le comportement (illustré par la flèche FH3 sur la figure 6), i.e. le niveau où les facteurs humains peuvent avoir une influence sur l’efficacité avec laquelle des actions vont être réalisées.

[0183] En effet, l’état cognitif de l’opérateur peut altérer l’efficacité des actuateurs, limitant ainsi la performance des actions sélectionnées. L’état cognitif est alors pris en compte pour la sélection des actions. Par exemple, un tremblement des mains dû au stress ou le phénomène de tunnélisation qui limite le champ de vision, peuvent être modélisés et pris en compte dans la sélection des actions faites par le modèle.

[0184] La figure 7 illustre un exemple de prédiction des actions d’un pilote d’aéronef, en s’appuyant sur la structure hiérarchique de la figure 6.

[0185] Dans cet exemple, volontairement simplifié par rapport aux véritables modèles de comportement humain, il est pris pour hypothèse que le pilote est instrumenté de capteurs, et que des modèles cognitifs préalablement appris permettent d’évaluer le stress, la vigilance et la charge mentale du pilote observé, lors de la phase de décollage de son avion. [0186] Le moteur prédictif permet de suivre le déroulement des procédures réalisées par le pilote lors des différentes étapes de cette phase de vol allant de l’alignement sur la piste de départ jusqu’à la montée initiale.

[0187] Dans ce scénario d’exercice, il est introduit au moment de la phase de rotation, qui est la phase qui permet de rouler sur la piste en augmentant les gaz jusqu’à atteindre la vitesse de décollage, un incident consistant en la traversée de la piste par une volée d’oiseaux, cet incident pouvant être une source de danger pour l’avion et ses occupants.

[0188] La construction du modèle de comportement humain permet de modéliser puis de prédire le comportement du pilote dans cette situation.

[0189] L’état cognitif de stress du pilote a une influence sur son comportement cognitif (facteur humain d’influence FH1). Ainsi, une montée du stress du pilote peut activer un comportement de « Sauvegarde ».

[0190] Un comportement de sauvegarde avec un niveau de stress augmenté, peut avoir comme conséquence de comportement un abandon du décollage.

[0191] La vigilance du pilote peut influencer ses comportements procéduraux pour la mission en cours (facteur humain d’influence FH2). Ainsi, l’évaluation d’une absence de vigilance du pilote peut influencer son comportement procédural, et l’entraîner à continuer son « Accélération » comme si de rien n’était.

[0192] En revanche, une vigilance accrue ou un stress plus maîtrisé peuvent entraîner le pilote à adopter deux autres comportements, soit un « Ralentissement », soit un « Maintien Vitesse », pour permettre au pilote de laisser passer la volée d’oiseaux avant de reprendre le cours de son décollage.

[0193] Quel que soit le comportement prédit par le moteur en fonction de la situation perçue et de l’état du pilote, ce comportement prédit se décompose en plusieurs actions élémentaires, qui peuvent éventuellement être simultanées. Ces actions élémentaires peuvent elles aussi être altérées par un niveau élevé de la charge mentale du pilote (facteur humain d’influence FH2).

[0194] Dans l’exemple de l’abandon du décollage, les actions élémentaires du pilote peuvent par exemple être, une action de freinage, une action de surveillance extérieure, une action de surveillance des instruments. [0195] La réalisation effective des actions sélectionnées par le pilote passe par l’utilisation d’actuateurs (mains, pieds, yeux) dont l’efficacité elle-aussi peut être diminuée par un niveau anormal de l’état du pilote (facteur humain d’influence FH3).

[0196] Quelle que soit la situation de l’appareil et l’état cognitif du pilote, le modèle de comportement humain appris doit permettre au moteur prédictif, non seulement de prédire les actions qui seront effectivement réalisées par le pilote, mais aussi de fournir un niveau de qualité de cette prédiction sous la forme d’une valeur de probabilité.

[0197] La présente description illustre une implémentation préférentielle de l’invention qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, en particulier au domaine de l’avionique, mais ils ne sont pas exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation selon les domaines d’application, en conservant les mêmes principes.

[0198] Le dispositif et le procédé de l’invention sont avantageux pour tous les systèmes impliquant une interaction entre un opérateur et un système complexe, en ce sens qu’ils permettent une meilleure prédiction du comportement de l’opérateur dans l’exécution de ses tâches (par l’analyse des facteurs humains).

[0199] De nombreuses applications industrielles trouveront des avantages à l’implémentation du dispositif et du procédé de l’invention, notamment de manière non exhaustive :

- le domaine des transports (aéronautique, ferroviaire, maritime, automobile, etc.) ;

- le domaine de la gestion de situation (contrôle aérien, sécurité publique, etc.) ;

- le domaine de la gestion de processus (production d’énergie, etc.) ;

[0200] L’exploitation de l’invention peut concerner :

- le suivi ou « monitoring » de l’exécution, par un opérateur, d’une mission ou d’un processus mettant en oeuvre un système complexe ;

- la formation et l’entraînement des opérateurs à la conduite de leur système.

[0201] En résumé, les éléments principaux de la présente invention portent sur : - un procédé de création d’une base de données de modèles de comportement humain d’opérateurs en interaction avec un système complexe, intégrant à la fois des éléments cognitifs (état de l’opérateur), des éléments procéduraux (missions et procédures de l’opérateur) et les différentes interactions entre ces deux catégories d’éléments. Cette base de données est constituée grâce à un apprentissage automatique à partir de données enregistrées dans une base de connaissances du comportement des opérateurs lors de séances d’interaction d’une cohorte d’opérateurs avec le système complexe étudié ;

- un dispositif (et son procédé) permettant de prédire le comportement d’un opérateur en interaction avec un système complexe, et l’évolution de son état cognitif, à partir de données courantes de la séance d’interaction de l’opérateur avec ce système complexe. Le dispositif s’appuie sur la base de données de modèles de comportement humain des opérateurs qui a été constituée, pour produire des modèles de comportement qui bénéficient à la fois des aspects cognitifs et des aspects procéduraux que l’on peut observer sur une vraie personne.

[0202] Au-delà de ces points, la présente invention constitue une nouvelle manière d’appréhender la modélisation du comportement d’un opérateur ou d’une classe d’opérateurs par un apprentissage automatique qui est capable d’exploiter à la fois des données expertes caractérisant de manière procédurale le comportement de cet opérateur ou de cette classe d’opérateurs, et des données réelles provenant de l’enregistrement en situation d’interaction du comportement de cet opérateur ou de cette classe d’opérateurs avec le système complexe étudié.

Claims

REVENDICATIONS

1. Procédé d’analyse prédictive du comportement d’un opérateur en interaction avec un système complexe au cours d’une mission, réelle ou simulée, le procédé étant mis en oeuvre par ordinateur et comprenant des étapes consistant à :

- collecter (502) des données caractérisant des actions d’observation, de manipulation et de communication de l’opérateur, des données physiologiques relatives à l’opérateur et des données contextuelles regroupant des données sur l’état et la dynamique du système complexe, des données d’environnement, et des données relatives au contexte de la mission;

- utiliser les données collectées comme entrées d’un moteur prédictif de comportement pour générer (504) des données de prédiction représentant des actions et des comportements que ledit opérateur pourrait réaliser à court terme ; et

- analyser (506) les données de prédiction pour déterminer (508) si des adaptations techniques sont à apporter à l’interaction entre l’opérateur et le système complexe ; le procédé étant caractérisé en ce que l’étape de générer des données de prédiction consiste via ledit moteur prédictif de comportement à mettre en oeuvre, avec les données collectées, un modèle de comportement humain configuré pour modéliser le comportement dudit opérateur observé sur les plans cognitif et procédural, ledit modèle de comportement humain instancié pour ledit opérateur observé ayant été appris, dans une phase d’apprentissage, par l’application de techniques d’intelligence artificielle sur des modèles cognitifs et sur des modèles procéduraux, utilisant sur de nombreuses simulations, une pluralité de données d’apprentissage de même nature que lesdites données collectées, mais pour différents opérateurs, les données d’apprentissage étant capitalisées dans une base de connaissances du comportement d’opérateurs de systèmes complexes.

2. Le procédé selon la revendication 1 dans lequel l’étape de mise en oeuvre du modèle de comportement humain pour ledit opérateur comprend des étapes consistant à :

3. Le procédé selon la revendication précédente dans lequel les paramètres de facteurs humains d’influence sur la détermination de comportements et d’actions de l’opérateur, sont utilisés à plusieurs niveaux du graphe hiérarchique.

4. Le procédé selon la revendication précédente dans lequel les paramètres de facteurs humains d’influence sont utilisés à un premier niveau du graphe pour déterminer des comportements cognitifs, à un deuxième niveau du graphe pour déterminer des comportements et des actions, et à un troisième niveau du graphe pour déterminer une sélection d’actions.

5. Le procédé selon l’une quelconque des revendications précédentes dans lequel l’étape d’analyser les données de prédiction pour déterminer si des adaptations techniques sont à apporter à l’interaction entre l’opérateur et le système complexe, consiste à identifier de possibles risques pour la mission, liés à des actions et comportements prédits de l’opérateur.

6. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus une étape consistant à déterminer des propositions d’adaptation quant à l’interaction entre ledit opérateur observé et le système complexe.

7. Le procédé selon la revendication précédente comprenant de plus des étapes consistant à :

- adapter, modifier un fonctionnement au niveau du système complexe afin qu’une action prédite ne se réalise pas ou se réalise différemment.

8. Le procédé selon l’une quelconque des revendications précédentes comprenant de plus une étape consistant à fournir les données collectées en entrée du modèle de comportement humain comme données d’apprentissage.

9. Le procédé selon l’une quelconque des revendications précédentes comprenant des étapes initiales consistant en un apprentissage automatique de modèles de comportement humain.

10. Le procédé selon la revendication précédente dans lequel l’étape d’apprentissage automatique des modèles de comportement humain comprend des étapes consistant à :

11. Un dispositif d’analyse prédictive du comportement d’un opérateur en interaction avec un système complexe au cours d’une mission, réelle ou simulée, le dispositif comprenant :

- une pluralité de capteurs configurés pour collecter des données caractérisant des actions d’observation, de manipulation et de communication de l’opérateur, des données physiologiques relatives à l’opérateur et des données contextuelles regroupant des données sur l’état et la dynamique du système complexe, des données d’environnement, et des données relatives au contexte de la mission ;

12. Le dispositif selon la revendication 11 comprenant de plus des moyens pour mettre en oeuvre les étapes du procédé selon l’une quelconque des revendications 2 à 10.

13. Utilisation du dispositif selon la revendication 11 ou la revendication 12 pour l’analyse prédictive du comportement d’un opérateur en interaction avec une plateforme d’aéronef au cours d’une mission réelle ou simulée.

14. Programme d'ordinateur comportant des instructions de code pour l'exécution des étapes du procédé selon l’une quelconque des revendications 1 à 10, lorsque ledit programme est exécuté par un processeur.

15. Procédé de construction de modèles de comportement humain, comprenant des étapes consistant à :

- utiliser les données de la BCCO pour construire par apprentissage une base de données de modèles cognitif ;

- utiliser les données de la BCCO, les données de la base de modèles de cognitifs, les données de la base de modèles spécifiques, pour construire par apprentissage :

- des modèles d’état cognitif permettant de modéliser l’évolution de paramètres de facteurs humains d’influence, en fonction du contexte représenté par l’opérateur et la tâche qu’il réalise dans son interaction avec le système complexe ; - des modèles de mission intégrant dans leurs règles de fonctionnement les paramètres de facteurs humains d’influence provenant des modèles d’état cognitif, la prise en compte des paramètres intervenant selon trois niveaux d’influence ; la réunion de modèles d’état cognitif et de modèles de mission constituant des modèles de comportement humain d’opérateur ou de catégorie d’opérateurs.

16. Dispositif pour construire des modèles de comportement humain comprenant des moyens pour mettre en oeuvre les étapes du procédé selon la revendication 15.

17. Le dispositif selon la revendication 16 dans lequel les moyens comprennent des moyens d’intelligence artificielle pour faire de l’apprentissage automatique.