EP1915662A2 - Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule - Google Patents

Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule

Info

Publication number
EP1915662A2
EP1915662A2 EP06778868A EP06778868A EP1915662A2 EP 1915662 A2 EP1915662 A2 EP 1915662A2 EP 06778868 A EP06778868 A EP 06778868A EP 06778868 A EP06778868 A EP 06778868A EP 1915662 A2 EP1915662 A2 EP 1915662A2
Authority
EP
European Patent Office
Prior art keywords
interface
information
model
interface elements
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP06778868A
Other languages
German (de)
English (en)
Inventor
Alexandre-Lucas Stephane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus SAS
Original Assignee
Airbus SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus SAS filed Critical Airbus SAS
Publication of EP1915662A2 publication Critical patent/EP1915662A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D7/00—Indicating measured values
    • G01D7/02—Indicating value of two or more variables simultaneously
    • G01D7/08—Indicating value of two or more variables simultaneously using a common indicating element for two or more variables
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration

Definitions

  • the invention relates to a method and a system for determining a model of an interface between a pilot and his environment on board a vehicle.
  • instrument panels having a plurality of interface elements.
  • piloting interface elements To carry out its task, the user of the vehicle in question, piloting interface elements, must be perfectly familiar with the functions performed by these interface elements, the information they deliver, as well as the procedures describing sequences of interfaces. actions (manual, visual, auditory) to be performed in relation to the interface elements.
  • the subject of the present invention is a method for determining a model of an interface between a user and his environment on board a vehicle, characterized in that it comprises the following steps: - development of an interface model from, on the one hand, a first type of information representative of vehicle interface elements and, on the other hand, a second type of representative information knowledge held by a user about the use of interface elements,
  • the interface model is developed on the basis of the technical user-system duality and not only on the technical information representative of the system, which makes it possible to obtain a very reliable model built on a set of structured information between them. a way that is particularly representative of the interaction between the user and his environment on board the vehicle, including the interface elements of the latter.
  • the two types of information are provided, with identical configuration, to a dynamic database having a structure symmetric user-technical system.
  • the information of the two types is configured according to the same multi-agent cognitive model.
  • the configuration of the information of the first type according to a cognitive multi-agent model comprises a step of establishing a link between the procedures for using the vehicle and the interface elements of the vehicle.
  • the configuration of the information of the first type according to a multi-agent cognitive model comprises a step of identifying functional areas on each interface element considered. By defining such areas within the same interface element, it will be possible to obtain a detailed model of each interface element and thus to obtain subsequently, during the step of data acquisition, detailed information about the interaction between the user (eg the driver) and the zones, or even several areas of different interface elements. The model will thus be even more complete and therefore more reliable by acquiring, for example, eye-tracking data relating to these areas of the same interface element or of several of them.
  • the configuration of the information of the first type according to a multi-agent cognitive model comprises for each interface element the following steps:
  • the model thus established is particularly representative of the interaction of the user (eg pilot) with the considered interface element, taking into account the tasks assigned to the interface element and which are determined, for example, by the procedures for using the vehicle (eg driving).
  • the human activity solicited during the interaction between the user and the interface elements is selected from vision, speech, hearing, motor skills, physiological manifestations and reactions of the human body.
  • the acquisition and analysis of data reflecting a wide variety of human activities provides very useful information for, for example, completing / modifying the interaction model.
  • the data acquisition apparatus is an eye-tracking apparatus recording visual data representative of the user's visual journey on the interface elements.
  • Such a device is particularly useful for describing the visual behavior of the user (eg pilot) when his gaze travels through different interface elements as well as the external visual, or even particular areas within one or more elements interface.
  • This device can be coupled with another device for recording, for example, in video form the actions of the pilot, while the position of his gaze is followed by the first device. Records audio can also be very useful.
  • the interface model determined as briefly described above has applications in many fields (aeronautics, space, automobile, maritime ...) and can be used in many applications:
  • the invention also relates to a system for determining a model of an interface between a user and his environment on board a vehicle, characterized in that it comprises:
  • FIG. 1a generally represents an algorithm of the method for determining an interface model according to the invention
  • FIG. 1b schematically shows a system for implementing the method according to the invention
  • FIG. 2 is a schematic representation of the process of developing the interface model according to the invention.
  • FIG. 3 schematically represents an algorithm detailing the steps illustrated on the algorithm of FIG. 1a;
  • FIG. 4 is a table illustrating the correspondence between a flight procedure and the flight instruments used at each stage of the procedure
  • FIG. 5 illustrates the identification of different information zones on an on-board instrument
  • FIG. 6 schematically illustrates the functions assigned to the zones defined in FIG. 5;
  • FIG. 7 represents in tabular form the connection between the agents of the cognitive model and the functional areas of the instrument panel illustrated in FIG. 5;
  • FIG. 8 illustrates an example of drawing up tables 16 and 18 of FIG. 1a.
  • the invention finds a particularly interesting application in aeronautics, particularly in the modeling of the interface elements of an aircraft cockpit.
  • main instrument panel IP main instrument pane! In English terminology
  • PF Peak Flying
  • PNF Packet Non Flying
  • ND Navigation Display
  • central panel CP central paner in English terminology
  • top panel OP overhead paner in English terminology
  • windshield GS windshield GS
  • the user of the cockpit namely the pilot, uses all the interface elements of the abovementioned instrumentation panels for piloting the aircraft, for navigation tasks, as well as for protection tasks for the aircraft. maintain the aircraft in the flight area.
  • the algorithm of FIG. 1a illustrates the main steps of the method according to the invention for determining such a pilot-cockpit interface model.
  • This algorithm is executed by a computer operating in cooperation with data storage means / information (databases, memories ).
  • a cockpit interface model based on two types of information, a first type of information, relating to the technical system and more particularly representative of data elements.
  • cockpit interface and a second type of human-related information, and in particular, representative of pilot knowledge of the use of cockpit interface elements and flight procedures, as well as of his behaviors (airplane pilot experience).
  • the pilot-cockpit interaction is interface-based, with a dynamic character, including user and technical system behaviors.
  • This step relies on the use of both technical and human origin information in order to take into account the user-system pair during the development of the interaction model.
  • the information of the two aforementioned types is provided to a dynamic database 10 having a pilot symmetric structure (human) -technical system with respect to the interaction axis separating the part of the base relating to the human aspect 12 and that relating to the technical aspect 14.
  • the information is poured into this database in a structured way according to an identical configuration which is defined, according to each aspect (human and technical), by an input-output level detailing all the inputs and outputs used and by a level of treatment detailing the different subsystems used.
  • the model is developed starting with the identification of inputs and outputs on the human side and the technical system side, before moving on to the identification of subsystems in information processing.
  • the symmetrical development of the human-technical interaction model makes it possible to apply the same methods to all the entities involved. Since the technical system as well as the human are considered as complex systems, and decomposed analogously in subsystems (ie if we consider the vocal alarms (belonging to the vocal subsystem) and the graphic alarms (belonging to the sub-system).
  • the information of technical origin (first type) and of human origin (second type) are identically configured according to the same multi-agent cognitive model and we use the known language UML ("Unified Modeling Language" in English terminology) to formalize the pilot-cockpit pair.
  • UML Unified Modeling Language
  • This multiagents representation is particularly adapted to the description of processes that can take place simultaneously.
  • a pilot may have to analyze visual information (input from the human side and output from the technical system side) along with auditory information, such as audible alarms.
  • This multi-agent representation is also particularly suitable when it comes to following information in a sequential manner and which can take place between different independent interface elements. Furthermore, this representation is also useful for properly ranking and classifying information in order to facilitate the subsequent analysis of data representative of human activities occurring during the interaction between the driver and interface elements.
  • agents of the cognitive model are identified by their roles, responsibilities, resources or functions, and goals to be attained.
  • the application domain namely the use of interface elements of the aircraft cockpit, is analyzed in terms of needs to be met in a given context.
  • the agents are goal oriented and allow to account for the desire relative to the constitutive schema of the pilot's belief.
  • the pilot thinks that to change the flight level he needs a certain number of conditions to ensure the smooth running of his maneuver: visibility, engine conditions, atmospheric conditions ...
  • the pilot therefore wishes to obtain this information to be able to accomplish its task and will therefore use the cognitive resources provided by the interface elements (instruments). He thus completes his awareness of the situation and can plan for the future and act accordingly.
  • each agent satisfies the goals set by means of action plans that are, for example, in aeronautics, procedures defining the use of the instruments in the operations manual of the crew called FCOM ( "Flight Crew Operating Manuat” in English terminology) and which includes the review of different check lists, landing and takeoff phases ...
  • FCOM "Flight Crew Operating Manuat” in English terminology
  • these action plans correspond to the mental representation that the user has of the written flight procedures and which varies according to the experience.
  • the cognitive architecture is based on two main levels, namely the input-output level and the level of information processing. Agents are classified by level (input-output or processing) and by type (input-output channel or processing system).
  • agents are characterized by one or more roles, responsibilities, and resources.
  • an agent is defined with respect to a task or sub-task (for example, relating to the control of the vehicle) to be performed.
  • the responsibilities of the agent are to perform the task or subtask and the resources used allow the actual execution of the task or subtask.
  • a scene in three dimensions can be represented by a set of agents that are each in charge of a particular characteristic of the scene, such as relief, textures.
  • the textures correspond to the grid of the relief which can be variable or constant, according to the field databases, that is to say that one can have meshes of the same size everywhere or then meshes of different sizes according to the zones of relief represented, the colors and the symbology.
  • the resources of these agents are classified by level (input-output or processing) and by type (input-output channels or processing system).
  • level input-output or processing
  • type input-output channels or processing system.
  • the relief of the aforementioned three-dimensional visual scene which may be represented by an agent, may have varied resources that are used to detect and analyze valleys, rivers, woods, roads, buildings. .. of the visual scene.
  • the agents of the multiagents cognitive model are determined according to the steps of the process indicated below, which are performed iteratively in two approaches, the top-down approach
  • the "Top-Down” approach is based on knowledge of pilots and their use of cockpit interface elements and facilitates classification into agents.
  • the modeling of the cockpit following this multi-agent cognitive model makes it possible to define the elements of the visual scene at a level of fine granularity which takes into consideration elements constituting each interface element (instrument instruments), namely the information zones. of these interface elements, not each interface element as a set (high level of granularity).
  • the resources of the agents thus defined are assigned to the processing of the interface elements.
  • the formalization of the pilot-cockpit pair does not merely represent disparate entities, but proposes to define links between these entities, as represented in FIG. 2, by organizing the entities in the form of tables 16, 18 containing resources, agents, liaison officers and plans, both on the human side and on the technical system side.
  • the liaison agents make it possible to define direct links with specific resources of another agent. Without these linkers, it would be possible to link only agents, not resources to agents.
  • the modeling of the technical system is represented on the left of FIG. 2 by the modeling of the PFD interface element 20 which will be detailed below, while on the right side of this same FIG. , we have represented the architecture of the cognitive modeling of the human side 22 on the two main levels, namely inputs-outputs 24 and level 26 where the information processing takes place.
  • LTM Long-Term Memory
  • WM Work Memory
  • Decision Making Making
  • data are acquired that are representative of one or more human activities (for example, vision, speech, hearing, movement of human limbs, kinesthesia, and physiological reactions of the human body ”) that are involved in the interaction of the driver with the interface elements.
  • human activities for example, vision, speech, hearing, movement of human limbs, kinesthesia, and physiological reactions of the human body .
  • the pilot looks at an area of an interface element of the cockpit, the information or information being detected by an eye-tracking device and automatically integrated into a database. of results and, on the other hand, acts at the same time on the handle and / or other equipment, the information or the corresponding information being collected by a video recording system or other and also stored.
  • step E3 After acquisition of these data, during the next step we proceed to their study (step E3), for example, by the expert pilot or pilots who were the subject of the experiment referred to in step E2.
  • the test subject examines the results and interprets them in an attempt to determine whether an action he performed at a given point in the experiment was appropriate and whether intervened at the right time. More generally, it explains the relationship between taking information / not taking information and acting / not acting.
  • the subject of the experiment determines, for example, why his gaze has followed a given visual path on one or more consecutive interface elements and / or on one or more zones of a same interface element.
  • pilot-cockpit interface such as it has been developed or adjust it.
  • it can be seen that it lacks an interface element to allow the pilot to carry out his task of piloting, navigation or other task, or a navigation interface element (display .. .).
  • the level of granularity retained during the development of the interface model is too fine and therefore not very representative of the real context or, on the contrary, that the level of granularity is too important and therefore does not allow obtain sufficient relevant information representative of this context.
  • step E3 This can, for example, be observed after experiencing significant fatigue and high stress of the subject of the experiment. It is therefore possible to improve the interaction model according to the results of step E3. This is done iteratively by performing the loop shown in FIG. 1a between step E4 and step E1 until the model is obtained. desired interaction that is as representative as possible of the aircraft's on-board environment.
  • the latter validated model
  • the latter can be used, for example, for the training of future pilots in a flight simulator or for the improvement of the interfaces proposed by the system (layout, sequence of information, spatial and multimodal redundancy, etc.).
  • FIG. 1b represents a system 30 for determining a model according to the invention, representative of the interaction between the user 32 and the interface elements 34.
  • This system comprises a computer 36 having inputs outputs to cooperate with the user 32 and the interface elements 34, as well as with a data acquisition apparatus 38 (for example an eye-tracking device) which transmits to the computer 36 the acquired data to be analyzed.
  • a data acquisition apparatus 38 for example an eye-tracking device
  • the algorithm of FIG. 3 illustrates in more detail the steps of the algorithm of FIG. 2 by highlighting the symmetrical formalization of the pilot-cockpit pair.
  • the development of the interface model on the technical system side begins with a first step E10, during which a link is established between the flight procedures defined in the FCOM manual and the interface elements of the cockpit (flight instruments such as PFD, ND ...) that the pilot (PF) and the co-pilot (PNF) must consult for each action described in the flight procedure concerned.
  • These procedures include the take-off procedure, the take-off procedure, the climb procedure in English terminology, and the cruise flight procedure in terminology. anglosaxon), the procedure of descent preparation ("descent preparation” in English terminology), the descent procedure ("descent” in English terminology), the standard approach procedure (“standard approach” in English terminology), the approach procedure non-precision (“non-precision approach” in English terminology) and the landing procedure (“landing" in English terminology).
  • the table shown in FIG. 4 is obtained, showing, for example, that the pilot must consult the instrument called FCU ("Flight Control Unif in English terminology") of the GS panel in SET-value mode and the PFD instrument of the IP main panel in CHECK mode to read the BARO reference (barometric reference). even during the climb, the pilot must consult the PFD instrument on the main panel to view the speed and altitude information, as well as the altitude of the aircraft.
  • FCU Fluor Unif in English terminology
  • BARO reference barometric reference
  • the algorithm of FIG. 3 provides a next step E12 during which the information zones of the cockpit are identified. each interface element of the cockpit, as well as the determination of the functions performed by these zones.
  • step E14 is used to determine the roles and responsibilities (functions of the different zones in view of the tasks and sub-tasks relating to the piloting of the aircraft and in which each interface element is used). From this determination of roles and responsibilities of the zones, it will be possible to determine the agents of the multiagents cognitive model.
  • the PFD interface element there are three basic tasks that are the piloting of the aircraft (T1), the navigation (T2) and the protection to keep the aircraft in the flight range (T3 ).
  • zone Z1 qualified as "FMA”("Flight Mode Annunciatof” in English terminology) from which four sub-zones can be identified which provide information on the piloting mode (for example, automatic pilot mode) and
  • the Z2 zone referred to as "VA" provides information on the air speed and can be broken down into two sub-zones.
  • the zone Z3 qualified as "AA” and which can be decomposed into two sub-zones provides information on the attitude of the aircraft (pitch, trim, roll, guidance, joystick ).
  • the zone Z4 qualified as "A / Vv" and which can be decomposed into three sub-zones serves as an altimeter and provides information on the vertical speed of the aircraft.
  • Zone Z5 qualified as "ILS-GS” (ILS for “Instrument Landing System” and GS for “Glide Slope” in English terminology) provides information on the vertical position of the ILS instrument landing system, relative to the slope GS .
  • Zone Z6 qualified. "ILS-Loc” provides information on the ILS horizontal position, relative to the locator ("localizer" in English terminology).
  • the zone Z7 qualified as "M / l" provides information on the Mach number of the aircraft and navigation information.
  • the zone Z8 qualified as "H / T" ("heading / track zone” in English terminology) provides information on the guidance and the heading of the aircraft.
  • zone Z9 described as "Ref / Alt" provides information on the height reference. It will be noted that the name of the zones acts as a definition of the role of the agent which will be defined later.
  • cognitive agents are determined which make it possible to describe the cognitive processes for using the different zones of the PFD interface element as shown in FIG. , agents related to vertical displacement analysis are determined
  • the agent A1 has the role of analyzing the vertical displacement of the aircraft by looking at the parameters of altitude and vertical speed and, to fulfill this role, it is responsible for the values of the vertical parameters and the symbols of these parameters.
  • the agent A1 relies on four cognitive resources related to the responsibility of the values of vertical parameters, on the one hand, and on two cognitive resources related to the responsibility of the symbology, on the other hand. This allows the agent to perform the tasks related mainly to the control of the apparatus (T11 and T12) and which are located in the zone Z4 of the PFD interface element.
  • the inputs and outputs of the system are identified with respect to the context of use, that is to say that information provided by the system is identified (elements such as the PFD) at a given time with respect to a given use situation, such as take-off or climb.
  • step E20 of the algorithm it is intended to identify system information (e.g., the PFD interface element) located at the processing level.
  • system information e.g., the PFD interface element
  • FIG. 8 illustrates in detail the preparation of the tables 16 and 18 of FIG. 2 according to the plan structure, the link agent, the agent and the resources, on the technical system side as well as on the human side, in the context of the monitoring of the altitude relative to the PFD instrument.
  • Human-source information is provided, for example, through interviews with pilots or flight process experts. During these interviews describing given situations (ie use of instruments that present information in two dimensions, for example, ND, PFD, compared to the use of an instrument that would present the same information directly in three dimensions) asks the experts to indicate the actions they would consider undertaking, the controls to be carried out, the information they would need to act ...
  • a first step E22 it is intended to identify, at the input-output level of the human interface interface model, the modes of interaction with the technical system, namely, for example, the input-output channels. outputs that constitute human vision, human language, hearing, kinesthesia ...
  • the necessary resources are also identified to undertake the appropriate maneuver, ie to perceive (look at) the altitude information provided by the corresponding area of the PFD interface element, hear (listen) the audible alarm ("call-ouf in English terminology)" TERRAIN "(meaning that the aircraft is outside the safety zone with respect to the terrain, that is, ie too low), pull the handle, or even put the gas.
  • the interactions between the different modalities previously identified from cases identified during the interviews such as that of perceiving the altitude information on the interface element considered and hearing the alarm. auditory and as well as to pull on the handle.
  • step E26 it is planned to define the level of processing of the cognitive model on the human side.
  • step E26 the information processing is identified according to the different modalities (input-output channels) previously identified.
  • the representative table 16 of the human side modeling corresponding to table 18 on the technical system side is constructed, as part of the monitoring of the altitude of the aircraft with respect to the PFD instrument, from the defined plane, to know how to use the PFD and how to fly the plane.
  • the resources used are determined / identified at the input-output and processing levels.
  • the visual input-outputs are identified, namely the altitude monitoring provided by the PFD and the corresponding processing, namely the Working Memory (WM) and the Long-Term Memory (LTM), as well as the Taking of Decision.
  • the corresponding agent is the "PFD” and the aforementioned resources are linked to the "Flight Plan Monitoring” agent.
  • the pilot-cockpit multi-agent cognitive model is symmetrically developed.
  • E28 completes the human cognitive model and validates it with an expert in the field (specialist in cognitive psychology, physiology, language).
  • step E30 it is planned to validate the representative model of the human-technical system pair (pilot-cockpit) with experts from the various fields involved, namely experts in the flight procedure, experts pilots, designers and experts in human factors (experts in vision, hearing, language, kinesthesia ). It should be noted that, optionally, steps E28 and E30 can be combined.
  • step E2 Once the model is developed, proceed to step E2 previously described in which human factors analysis methods are used to collect data reflecting corresponding human activities through an experimental protocol. .
  • the eye-tracking device 38 of FIG. 1b makes it possible to record the position of the pilot's gaze on a visual scene, thus making it possible to follow the various visual elements traversed by the pilot's gaze on the interface elements of the cockpit. , as well as on the external visual.
  • the eye-tracking device comprises an analog device, namely the eye tracker, which records the movements of the pilot's eye.
  • the eye tracker has three elements, namely, a camera recording the movements of the eye, an infrared source emitting an infrared ray in the eye and a camera recording the visual scene seen by the pilot.
  • the video data acquired by the camera recording the movements of the eye and the video data acquired by the camera recording the visual scene seen by the pilot are superimposed and the position of the gaze of the pilot is represented by a pointer (for example, a circle or a reticle) that moves on the visual stage.
  • a pointer for example, a circle or a reticle
  • the oculometer is associated with a magnetic field generator to provide maximum accuracy.
  • the magnetic field generator is used as a reference in the three-dimensional space to capture the position of the pilot's head relative to the coordinates of the different surfaces and planes that make up the actual environment of the latter.
  • the surfaces and planes concerned are those corresponding to the cockpit screens and control panels constituting regions of interest which can be decomposed into zones and subfields of interest as seen previously for each interface element.
  • a magnetic field generator and a receiver fixed to the pilot's head are thus used, and these elements, combined with the aforementioned analog device (oculometer), make it possible to obtain maximum precision the position of the user's gaze on a visual scene.
  • the receiver attached to the pilot's head provides the exact position of the head in the three-dimensional model.
  • the distance between this head receiver and the camera recording the scene, as well as the distance between the head receiver and the pilot's eyes are then introduced into the three-dimensional model.
  • the first of the aforementioned distances is necessary to perform the calibration of the camera with respect to the scene and the second of these distances is necessary to calibrate the analog device (eye tracker).
  • the adaptation of the aforesaid eye-tracking device to the cockpit in order to provide maximum precision by combining the data provided by the position of the pilot's head and those provided by the position of his gaze takes account of the geometric study of the cockpit and the study of the pilot's posture.
  • the Applicant realized that to implant the magnetic field generator on a support in the cockpit, it was necessary to ensure that the distance between the generator and any metal surface is large enough to minimize magnetic interference that may occur with the eye tracking device.
  • the Applicant has found that the distance between the magnetic field generator and the receiver of the position of the pilot's head must be strictly less than distance between the receiver of the position of the pilot's head and any metal surface, again to minimize magnetic interference. It should be noted that the pilot's postural study makes it possible to define the limits of his movement volume and thus the distances between the head receiver and the magnetic field source.
  • the aforementioned eye-tracking device it is possible to record very precisely the eye movements (behaviors) such as the bindings, sweeps and pursuits that characterize the way the pilot looks at the specific elements of an aeronautical visual scene ( instrumentation and external visual) .
  • the constituent elements of an eye-tracking device namely the analog device, the magnetic field generator and a helmet carrying the head receiver, are available from the company Senso-Motric.
  • step E3 which follows the data acquisition step, these data are analyzed with the subject or subjects of the (pilot) experiment in order to check the coherence and the reliability of the results of the experiment.
  • the invention may indeed apply to fields other than the aeronautical field
  • the instructor and the student can Once the course is over and viewing the video data recorded with the eye tracker, better understand why the student did not look in the rear view mirror before turning.
  • step E3 All the data collected during step E2, analyzed and interpreted during step E3, are then validated at a first intra-domain collective level with the experts of the field concerned (for example, aeronautics made up of a population of pilots) and are then validated at a collective inter-domain level with experts from different fields (experts in human factors, engineers, pilots), so that this data is shared with all concerned stakeholders.
  • the experts of the field concerned for example, aeronautics made up of a population of pilots
  • a collective inter-domain level with experts from different fields (experts in human factors, engineers, pilots), so that this data is shared with all concerned stakeholders.
  • the method according to the invention makes it possible to determine when a display system placed at a height above the pilot's head ("Head Up Display" in English terminology) should be used to optimize use.
  • the method according to the invention also makes it possible to determine whether such a display system is actually used by the pilot on a particular type of vehicle.
  • the method according to the invention makes it possible to realize that the pilot mentally constructs a three-dimensional visual representation of the position of his vehicle in space, and this, solely on the basis of information in two dimensions provided by aircraft instruments.
  • the method according to the invention can then serve as a basis for designing a new instrument providing a three-dimensional visual representation of the position of the vehicle in space.
  • the method is particularly advantageous for determining the really useful information that is provided by interface elements of the dashboard. Indeed, thanks in particular to the acquisition and analysis of data, for example, oculometric, the method makes it possible to separate the information essential to the user from those that are not particularly useful or that are redundant.

Abstract

L'invention concerne un procédé de détermination d'un modèle d'une interface entre un utilisateur et son environnement à bord d'un véhicule, caractérisé en ce qu'il comporte les étapes suivantes : - élaboration (E1 ) d'un modèle d'interface à partir, d'une part, d'un premier type d'informations représentatives d'éléments d'interface du véhicule et, d'autre part, d'un second type d'informations représentatives des connaissances détenues par un utilisateur sur l'utilisation des éléments d'interface, - acquisition (E2) de données représentatives d'au moins une activité humaine qui est sollicitée lors de l'interaction entre l'utilisateur et ces éléments d'interface, l'acquisition de ces données étant effectuée par l'intermédiaire d'au moins un appareil d'acquisition de données, - analyse (E3) des données ainsi acquises, - ajustement (E4) du modèle d'interface en fonction de l'analyse des données.

Description

Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule
L'invention concerne un procédé et un système de détermination d'un modèle d'une interface entre un pilote et son environnement à bord d'un véhicule.
Dans différents secteurs (aéronautique, automobile, maritime...), les véhicules aériens, terrestres ou maritimes nécessitent, pour leur utilisation
(pilotage ou conduite, navigation, communication, surveillance de l'environnement, gestion des systèmes...) des panneaux d'instrumentation dotés d'une pluralité d'éléments d'interface.
Pour mener à bien sa tâche, l'utilisateur du véhicule considéré, pilote des éléments d'interface, doit connaître parfaitement les fonctions remplies par ces éléments d'interface, les informations que ces derniers délivrent, ainsi que les procédures décrivant des séquences d'actions (manuelles, visuelles, auditives) à accomplir en relation avec les éléments d'interface.
On comprend ainsi que, lors du pilotage d'un véhicule, l'interaction entre l'utilisateur et les éléments d'interface disposés à bord du véhicule revêt une grande importance et fait donc l'objet de beaucoup d'attention.
Il serait donc intéressant de pouvoir évaluer de façon nouvelle et efficace cette interaction afin, par exemple, d'être en mesure d'améliorer des éléments d'interface existants, d'en concevoir de nouveaux, ou d'améliorer des procédures de vol, ou bien d'améliorer l'agencement de plusieurs éléments d'interface les uns par rapport aux autres.
A cet effet, la présente invention a pour objet un procédé de détermination d'un modèle d'une interface entre un utilisateur et son environnement à bord d'un véhicule, caractérisé en ce qu'il comporte les étapes suivantes : - élaboration d'un modèle d'interface à partir, d'une part, d'un premier type d'informations représentatives d'éléments d'interface du véhicule et, d'autre part, d'un second type d'informations représentatives des connaissances détenues par un utilisateur sur l'utilisation des éléments d'interface,
- acquisition de données représentatives d'au moins une activité humaine qui est sollicitée lors de l'interaction entre l'utilisateur et ces éléments d'interface, l'acquisition de ces données étant effectuée par l'intermédiaire d'au moins un appareil d'acquisition de données,
- analyse des données ainsi acquises,
- ajustement du modèle d'interface en fonction de l'analyse des données.
Le modèle d'interface est élaboré sur le fondement de la dualité utilisateur-système technique et non sur les seules informations techniques représentatives du système, ce qui permet d'obtenir un modèle très fiable bâti sur un ensemble d'informations structurées entre elles d'une façon qui est particulièrement représentative de l'interaction entre l'utilisateur et son environnement à bord du véhicule, et notamment des éléments d'interface de ce dernier.
Grâce aux données enregistrées qui traduisent le comportement visuel et/ou gestuel et/ou vocal et/ou physiologique de l'utilisateur en relation avec les éléments d'interface et à l'interprétation de ces données, il est possible d'enrichir le modèle d'interface préalablement élaboré et donc de l'ajuster au plus près du contexte qu'il doit représenter.
On peut, par exemple, détecter des anomalies de fonctionnement dans les éléments d'interface, évaluer de nouveaux éléments d'interface, déterminer qu'un élément d'interface devrait délivrer certaines informations ou assurer certaines fonctions, ou bien encore déterminer qu'un nouvel élément d'interface remplissant une ou plusieurs fonctions données serait particulièrement utile. Selon une caractéristique, les deux types d'informations, le premier type d'informations d'origine technique et le second type d'informations d'origine humaine, sont fournies, avec une configuration identique, à une base de données dynamique ayant une structure symétrique utilisateur-système technique.
Dans la mesure où les informations des deux types sont toujours fournies dans le même format unique, il s'ensuit un gain de temps et d'efficacité dans le traitement de ces informations et donc dans l'élaboration du modèle.
Selon une caractéristique, les informations des deux types sont configurées selon un même modèle cognitif multiagents.
Une telle représentation des informations s'avère particulièrement adaptée et efficace pour élaborer le modèle d'interaction.
Selon une caractéristique, la configuration des informations du premier type selon un modèle cognitif multi-agents comprend une étape d'établissement d'une liaison entre des procédures d'utilisation du véhicule et les éléments d'interface du véhicule.
On établit ainsi une correspondance entre les différentes étapes des procédures d'utilisation du véhicule (par exemple, de pilotage) et les éléments d'interface intervenant à chaque étape en vue de la modélisation de ces derniers.
Selon une caractéristique, la configuration des informations du premier type selon un modèle cognitif multiagents comprend une étape d'identification de zones fonctionnelles sur chaque élément d'interface considéré. En définissant de telles zones à l'intérieur d'un même élément d'interface, il va être possible d'obtenir un modèle détaillé de chaque élément d'interface et donc d'obtenir par la suite, lors de l'étape d'acquisition de données, des informations détaillées sur l'interaction entre l'utilisateur (ex. le pilote) et les zones, voire plusieurs zones de différents éléments d'interface. Le modèle sera ainsi encore plus complet et donc plus fiable en acquérant, par exemple, des données oculométriques relatives à ces zones d'un même élément d'interface ou de plusieurs d'entre eux. Selon une caractéristique, la configuration des informations du premier type selon un modèle cognitif multiagents comprend pour chaque élément d'interface les étapes suivantes :
- détermination des tâches relatives à l'utilisation du véhicule remplies par l'élément d'interface considéré,
- détermination des agents du modèle cognitif multiagents par rapport aux tâches déterminées,
- établissement d'une liaison entre les agents du modèle cognitif ainsi déterminés et les zones fonctionnelles identifiées de l'élément d'interface considéré.
Le modèle ainsi établi est particulièrement représentatif de l'interaction de l'utilisateur (ex. pilote) avec l'élément d'interface considéré, compte tenu des tâches affectées à l'élément d'interface et qui sont déterminées, par exemple, par les procédures d'utilisation du véhicule (par exemple, de pilotage).
Selon une caractéristique, l'activité humaine sollicitée lors de l'interaction entre l'utilisateur et les éléments d'interface est sélectionnée parmi la vision, la parole, l'audition, la motricité, les manifestations et réactions physiologiques du corps humain. L'acquisition et l'analyse de données traduisant des activités humaines très diverses fournissent des informations très utiles permettant, par exemple, de compléter/modifier le modèle d'interaction.
Selon une caractéristique, l'appareil d'acquisition de données est un appareil oculométrique enregistrant des données visuelles représentatives du parcours visuel de l'utilisateur sur les éléments d'interface.
Un tel appareil est particulièrement utile pour décrire le comportement visuel de l'utilisateur (ex. pilote) lorsque son regard parcourt différents éléments d'interface ainsi que le visuel extérieur, voire des zones particulières à l'intérieur d'un ou de plusieurs éléments d'interface. Cet appareil peut être couplé avec un autre appareil permettant d'enregistrer, par exemple, sous forme vidéo les gestes du pilote, tandis que la position de son regard est suivie par le premier appareil. Des enregistrements audio peuvent également être très utiles. On dispose ainsi d'un plus grand nombre de données à traiter et d'une plus grande variété de données, ce qui permet d'enrichir le modèle d'interface et de le rendre encore plus fidèle au contexte qu'il doit représenter. Le modèle d'interface déterminé comme brièvement décrit ci-dessus trouve des applications dans de nombreux domaines (aéronautique, spatial, automobile, maritime...) et peut être utilisé dans de nombreuses applications :
- amélioration d'un ou de plusieurs éléments d'interface ;
- conception d'un ou de plusieurs éléments d'interface ; - évaluation d'un ou de plusieurs nouveaux éléments d'interface ;
- modification d'une procédure d'utilisation (par exemple, de pilotage) du véhicule ;
- formation d'utilisateurs (par exemple, de pilotes) au pilotage du véhicule. L'invention a également pour objet un système de détermination d'un modèle d'une interface entre un utilisateur et son environnement à bord d'un véhicule, caractérisé en ce qu'il comporte :
- des moyens d'élaboration d'un modèle d'interface à partir, d'une part, d'un premier type d'informations représentatives d'éléments d'interface du véhicule et, d'autre part, d'un second type d'informations représentatives des connaissances détenues par un utilisateur sur l'utilisation des éléments d'interface,
- au moins un appareil d'acquisition de données représentatives d'au moins une activité humaine qui est sollicitée lors de l'interaction entre l'utilisateur et ces éléments d'interface,
- des moyens d'analyse des données ainsi acquises,
- des moyens d'ajustement du modèle d'interface en fonction de l'analyse des données.
Ce système comporte les mêmes aspects et avantages que ceux présentés ci-dessus à l'égard du procédé et ils ne seront donc pas rappelés ici. D'autres caractéristiques et avantages apparaîtront au cours de la description qui va suivre, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés, sur lesquels :
- la figure 1a représente de façon générale un algorithme du procédé de détermination d'un modèle d'interface selon l'invention
- la figure 1b représente de façon schématique un système de mise en œuvre du procédé selon l'invention ;
- la figure 2 représente de façon schématique le processus d'élaboration du modèle d'interface selon l'invention ;
- la figure 3 représente de façon schématique un algorithme détaillant les étapes illustrées sur l'algorithme de la figure 1a ;
- la figure 4 est un tableau illustrant la correspondance entre une procédure de vol et les instruments de bord utilisés à chaque étape de la procédure ;
- la figure 5 illustre l'identification de différentes zones d'information sur un instrument de bord ;
- la figure 6 illustre de façon schématique les fonctions affectées aux zones définies sur la figure 5 ; - la figure 7 représente sous forme de tableau la liaison entre les agents du modèle cognitif et les zones fonctionnelles de l'instrument de bord illustré à la figure 5 ;
- la figure 8 illustre un exemple d'élaboration des tableaux 16 et 18 de la figure 1a. L'invention trouve une application particulièrement intéressante dans l'aéronautique, notamment dans la modélisation des éléments d'interface d'un cockpit d'avion.
Dans un cockpit d'avion, on trouve plusieurs types de panneaux d'instrumentation, par exemple, le panneau d'instrumentation principal IP ("main instrument pane!" en terminologie anglosaxonne) sur lequel sont agencés plusieurs instruments de bord jouant le rôle d'éléments d'interface pour le pilote appelé PF ("Pilot Flying" en terminologie anglosaxonne) et le copilote appelé PNF ("Pilot Non Flying" en terminologie anglosaxonne), à savoir, par exemple, l'instrument appelé PFD ou afficheur de vol primaire ("Primary Flight Display" en terminologie anglosaxonne) et l'instrument appelé ND ou afficheur de navigation ("Navigation Display" en terminologie anglosaxonne). On trouve également un panneau central CP ("central paner en terminologie anglosaxonne), un panneau supérieur OP ("overhead paner en terminologie anglosaxonne) et un panneau en dessous du pare-brise GS ("glareshield paneF' en terminologie anglosaxonne).
L'utilisateur du cockpit, à savoir le pilote, utilise tous les éléments d'interface des panneaux d'instrumentation de bord précités pour procéder au pilotage de l'avion, à des tâches de navigation, ainsi qu'à des tâches de protection pour maintenir l'avion dans le domaine de vol.
Afin de faciliter l'exécution de ces tâches par le pilote et de lui permettre d'exercer son activité avec un maximum de sécurité, il s'est avéré utile de déterminer un modèle d'interface entre le pilote et son environnement à bord de l'avion.
L'algorithme de la figure 1a illustre les principales étapes du procédé selon l'invention de détermination d'un tel modèle d'interface pilote- cockpit. Cet algorithme est exécuté par un calculateur fonctionnant en coopération avec des moyens de stockage de données/d'informations (bases de données, mémoires...).
Au cours d'une première étape E1 , il est prévu d'élaborer un modèle d'interface de cockpit à partir de deux types d'informations, un premier type d'informations, relatives au système technique et plus particulièrement représentatives d'éléments d'interface du cockpit, et un second type d'informations, relatives à l'humain et, plus particulièrement, représentatives des connaissances détenues par un pilote sur l'utilisation des éléments d'interface du cockpit et sur les procédures de vol, ainsi que de ses comportements (expérience de pilote d'avion). L'interaction pilote-cockpit est basée sur les interfaces, avec un caractère dynamique, incluant les comportements de l'utilisateur et du système technique.
Cette étape s'appuie sur l'utilisation d'informations à la fois d'origine technique et d'origine humaine afin de prendre en compte le couple utilisateur- système technique lors de l'élaboration du modèle d'interaction.
Comme illustré sur la figure 2, les informations des deux types précités sont fournies à une base de données dynamique 10 dotée d'une structure symétrique pilote (humain)-système technique par rapport à l'axe d'interaction séparant la partie de la base relative à l'aspect humain 12 et celle relative à l'aspect technique 14.
On notera que les informations sont déversées dans cette base de données de façon structurée suivant une configuration identique qui est définie, selon chaque aspect (humain et technique), par un niveau d'entrées-sorties détaillant toutes les entrées et les sorties utilisées et par un niveau de traitement détaillant les différents sous-systèmes utilisés.
Le modèle est élaboré en commençant par l'identification des entrées-sorties du côté humain et du côté système technique, avant de passer à l'identification des sous-systèmes au niveau du traitement de l'information. L'élaboration de façon symétrique du modèle d'interaction humain- système technique permet d'appliquer les mêmes méthodes à l'ensemble des entités en présence. Puisque le système technique ainsi que l'humain sont envisagés comme des systèmes complexes, et décomposés de façon analogue en sous systèmes (i.e. si l'on considère les alarmes vocales (appartenant au sous-système vocal) et les alarmes graphiques (appartenant au sous-système graphique) côté système technique), il faut considérer les sous-systèmes à l'aide desquels l'humain percevra, prendra conscience et traitera ces alarmes : côté humain, ces sous-systèmes sont assimilés aux modalités auditive et visuelle, à l'attention, au système de traitement des symboles, à la mémoire à court et long terme et à la prise de décision.
Les informations d'origine technique (premier type) et d'origine humaine (second type) sont configurées de façon identique selon un même modèle cognitif multiagents et l'on utilise le langage connu UML ("Unified Modelling Language" en terminologie anglosaxonne) pour formaliser le couple pilote-cockpit.
Dans le modèle cognitif multiagents on va définir des agents permettant de décrire les processus de connaissance du pilote en relation avec les éléments d'interface du cockpit.
Cette représentation multiagents est particulièrement adaptée à la description de processus pouvant se dérouler simultanément.
En effet, un pilote peut avoir à analyser des informations visuelles (en entrée du côté humain et en sortie du côté système technique) en même temps que des informations auditives, telles que des alarmes sonores.
Cette représentation multiagents est également particulièrement adaptée lorsqu'il s'agit de suivre des informations selon un parcours séquentiel et qui peuvent avoir lieu entre différents éléments d'interface indépendants. Par ailleurs, cette représentation est également utile pour hiérarchiser et classer de façon appropriée des informations en vue de faciliter l'analyse ultérieure des données représentatives d'activités humaines intervenant lors de l'interaction entre le pilote et des éléments d'interface.
Dans la modélisation cognitive basée sur des agents et des ressources, on détermine les agents du modèle cognitif par leurs rôles, leurs responsabilités, leurs ressources ou fonctions et les buts à atteindre.
Suivant cette approche multiagents, le domaine d'application, à savoir l'utilisation des éléments d'interface du cockpit d'avion, est analysé en termes de besoins à satisfaire dans un contexte donné. Les agents sont orientés par un but et permettent de rendre compte du désir relatif au schéma constitutif de la croyance du pilote.
Par exemple, le pilote pense que pour changer le niveau de vol il a besoin d'un certain nombre de conditions afin d'assurer la bonne marche de sa manœuvre : visibilité, états de moteurs, conditions atmosphériques... Le pilote désire donc obtenir ces informations pour être à même d'accomplir sa tâche et va donc utiliser les ressources cognitives que lui fournissent les éléments d'interface (instruments de bord). II complète ainsi la conscience qu'il a de la situation et peut se projeter dans l'avenir et agir en conséquence.
Tous ces aspects vont donc pouvoir être évalués dans un cadre expérimental s'appuyant sur la modélisation cognitive multiagents. Ces agents qui contribuent à des processus cognitifs portent sur la perception, la compréhension et la représentation mentale des éléments d'interface du cockpit.
Ainsi, chaque agent satisfait les buts fixés à l'aide de plans d'action qui sont par exemple, dans l'aéronautique, des procédures définissant l'utilisation des instruments de bord dans le manuel d'opérations de l'équipage appelé FCOM ("Flight Crew Operating Manuat' en terminologie anglosaxonne) et qui prévoit notamment la revue des différentes check lists, des phases d'atterrissage et de décollage...
Du côté de l'utilisateur (pilote), ces plans d'action correspondent à la représentation mentale que l'utilisateur a des procédures de vol écrites et qui varie en fonction de l'expérience.
Comme déjà mentionné ci-dessus en référence à la figure 2, l'architecture cognitive est basée sur deux niveaux principaux, à savoir le niveau d'entrées-sorties et le niveau de traitement de l'information. Des agents sont classés par niveau (entrées-sorties ou traitement) et par type (canal d'entrées-sorties ou système de traitement).
Ainsi, sur le même niveau, on rencontre plusieurs types : au niveau des entrées-sorties, on dispose d'agents de type visuel, d'agents de type auditif, etc. et, au niveau du traitement, on dispose d'agents attentionnels, d'agents mnémoniques, d'agents de prise de décision, etc..
Comme indiqué ci-dessus, les agents sont caractérisés par un ou plusieurs rôles, des responsabilités et des ressources.
Plus particulièrement, le rôle d'un agent est défini par rapport à une tâche ou sous-tâche (par exemple, relative au pilotage du véhicule) qui doit être réalisée. Les responsabilités de l'agent sont d'exécuter la tâche ou la sous- tâche et les ressources utilisées permettent l'exécution effective de la tâche ou de la sous-tâche.
Ainsi, par exemple, une scène en trois dimensions peut être représentée par un ensemble d'agents qui sont chacun en charge d'une caractéristique particulière de la scène, telle que le relief, les textures. Les textures correspondent au quadrillage du relief qui peut être variable ou constant, en fonction des bases de données terrain, c'est-à-dire que l'on peut avoir des mailles de la même taille partout ou alors des mailles de tailles différentes selon les zones de relief représentées, les couleurs et la symbologie.
Tout comme les agents, les ressources de ces agents sont classées par niveau (entrées-sorties ou traitement) et par type (canaux d'entrées-sorties ou système de traitement). Ainsi, par exemple, le relief de la scène visuelle en trois dimensions précitée, pouvant être représenté par un agent, peut disposer de ressources variées qui sont utilisées pour détecter et analyser les vallées, les rivières, les bois, les routes, les constructions... de la scène visuelle.
La détermination des agents du modèle cognitif multiagents s'effectue selon les étapes du procédé indiqué ci-dessous, qui sont effectuées de façon itérative en suivant deux approches, l'approche allant du Haut vers le
Bas, qualifiée de "Top-Down", et l'approche du Bas vers le Haut, qualifiée de
"Bottom-Up".
L'approche "Top-Down" est fondée sur les connaissances que l'on peut avoir sur les pilotes ainsi que sur leur façon d'utiliser les éléments d'interface du cockpit et permet de faciliter la classification en agents.
L'approche "Bottom-Up" est fondée sur les éléments d'interface du cockpit et les indications visuelles que l'on regroupe afin de mettre en évidence des responsabilités et des agents. Top Down
- 1. Identification des tâches
- 2. Identification des sous-systèmes utilisés pour effectuer chaque tâche
- 3. Identification des agents à l'intérieur de chaque sous-système
- Identification des liens entre les agents
- Identification des ressources de chaque agent
- Identification des liens entre les ressources et les autres agents
- 3. Appariement des catégories et des agents
- 2. Regroupement des ressources en catégories
- 1. Identification des ressources liées aux éléments de la scène visuelle
Bottom Ùp
La modélisation du cockpit suivant ce modèle cognitif multiagents permet de définir les éléments de la scène visuelle à un niveau de granularité fin qui prend en considération des éléments constitutifs de chaque élément d'interface (instruments de bord), à savoir les zones d'informations de ces éléments d'interface, et non chaque élément d'interface comme un ensemble (niveau de granularité important).
Dans le cadre de ce modèle, les ressources des agents ainsi définies sont affectées au traitement des éléments d'interface.
De façon générale, la formalisation du couple pilote-cockpit ne se contente pas de représenter des entités disparates, mais propose de définir des liens entre ces entités, comme représenté sur la figure 2, en organisant les entités sous forme de tableaux 16, 18 contenant des ressources, des agents, des agents de liaison et des plans, tant du côté humain que du côté du système technique. On notera que les agents de liaison permettent de définir des liens directs avec des ressources spécifiques d'un autre agent. Sans ces agents de liaison, il serait possible de relier seulement des agents, et non des ressources à des agents.
Comme illustré sur la figure 2, la modélisation du système technique est représentée sur la gauche de la figure 2 par la modélisation de l'élément d'interface PFD 20 qui sera détaillée ci-après, tandis que sur la partie droite de cette même figure, on a représenté l'architecture de la modélisation cognitive du côté humain 22 sur les deux niveaux principaux, à savoir des entrées-sorties 24 et le niveau 26 où le traitement de l'information s'effectue.
Chacun de ces niveaux peut être décomposé en plusieurs sous- systèmes, par exemple, celui de la vision, de l'audition, du langage et de la motricité pour le premier et celui de l'Attention, de la Mémoire à Long Terme (LTM pour "Long Term Memory" en terminologie anglosaxonne), de la Mémoire de Travail (WM pour "Work Memory" en terminologie anglosaxonne) et de la Prise de Décision ("Décision Making" en terminologie anglosaxonne) pour le second.
Dès lors que le modèle d'interface a été élaboré à partir des deux types d'informations (informations représentatives des éléments d'interface et informations représentatives des connaissances et comportements humains sur l'utilisation des éléments d'interface), l'algorithme de la figure 1a prévoit une étape
E2 d'acquisition de données.
Au cours de cette étape, on procède à l'acquisition de données qui sont représentatives d'une ou de plusieurs activités humaines (par exemple, la vision, la parole, l'audition, le mouvement des membres humains, la kinesthésie, les manifestations et réactions physiologiques du corps humain...) qui sont impliquées dans l'interaction du pilote avec les éléments d'interface.
Ainsi par exemple, à un instant donné, le pilote, d'une part, regarde une zone d'un élément d'interface du cockpit, l'information ou les informations étant détectées par un appareil oculométrique et automatiquement intégrées dans une base de données de résultats et, d'autre part, agit en même temps sur le manche et/ou sur d'autres équipements, l'information ou les informations correspondantes étant recueillies par un système d'enregistrement vidéo ou autre et également stockées.
On notera qu'en fonction de la nature de l'activité humaine concernée, on utilise un appareil d'acquisition de données adapté (oculomètre, enregistreur vidéo, sonde électrodermale...).
Après acquisition de ces données, au cours de l'étape suivante on procède à leur étude (étape E3), par exemple, par le ou les pilotes experts qui ont fait l'objet de l'expérience visée à l'étape E2. Au cours de l'analyse des données acquises, le sujet d'expérience examine les résultats et procède à leur interprétation en essayant de déterminer si une action qu'il a effectuée à un moment donné de l'expérience était bien appropriée et si elle est intervenue au bon moment. Plus généralement, il explicite la relation entre prise d'information/absence de prise d'information et action/absence d'action.
Au cours de l'interprétation de ces résultats, le sujet de l'expérience détermine, par exemple, pourquoi son regard a suivi un parcours visuel donné sur un ou plusieurs éléments d'interface consécutifs et/ou sur une ou plusieurs zones d'un même élément d'interface.
En fonction des résultats de cette analyse et de leur interprétation par le sujet de l'expérience et, éventuellement, par d'autres experts de différents domaines, il est possible de valider le cadre de la modélisation de l'interface pilote-cockpit tel qu'il a été élaboré ou d'ajuster ce dernier. Ainsi, par exemple, on peut constater qu'il manque un élément d'interface pour permettre au pilote de mener à bien sa tâche de pilotage, de navigation ou une autre tâche, ou bien un élément d'interface de navigation (afficheur...).
On peut également constater que le niveau de granularité retenu lors de l'élaboration du modèle d'interface est trop fin et donc peu représentatif du contexte réel ou, au contraire, que le niveau de granularité est trop important et donc ne permet pas d'obtenir suffisamment d'informations pertinentes représentatives de ce contexte.
L'interprétation des résultats de l'expérience permet également de mettre en évidence des dysfonctionnements des éléments d'interface ou des procédures de vol.
Ceci peut, par exemple, être observé après avoir constaté une fatigue importante et un stress élevé du sujet de l'expérience. Il est donc possible d'améliorer le modèle d'interaction en fonction des résultats de l'étape E3. On procède ainsi de façon itérative en effectuant la boucle représentée sur la figure 1a entre l'étape E4 et l'étape E1 jusqu'à obtenir le modèle d'interaction souhaité qui soit le plus représentatif possible de l'environnement de bord de l'avion.
Dès lors que le modèle d'interface a été déterminé par le procédé selon l'invention conformément aux buts fixés, alors ce dernier (modèle validé) peut être utilisé, par exemple, pour la formation de futurs pilotes dans un simulateur de vol ou encore pour l'amélioration des interfaces proposées par le système (disposition, enchaînement des informations, redondance spatiale et multi- modale, etc.).
On notera que la figure 1 b représente un système 30 de détermination d'un modèle selon l'invention, représentatif de l'interaction entre l'utilisateur 32 et les éléments d'interface 34. Ce système comprend un calculateur 36 ayant des entrées-sorties pour coopérer avec l'utilisateur 32 et les éléments d'interface 34, ainsi qu'avec un appareil d'acquisition de données 38 (par exemple un appareil oculométrique) qui transmet au calculateur 36 les données acquises qui sont à analyser.
L'algorithme de la figure 3 illustre de façon plus détaillée les étapes de l'algorithme de la figure 2 en mettant en évidence la formalisation symétrique du couple pilote-cockpit.
L'élaboration du modèle d'interface du côté du système technique débute par une première étape E10, au cours de laquelle on établit un lien entre les procédures de vol définies dans le manuel FCOM et les éléments d'interface du cockpit (instruments de bord tels que PFD, ND...) que le pilote (PF) et le copilote (PNF) doivent consulter pour chaque action décrite dans la procédure de vol concernée. Parmi ces procédures, on trouve la procédure de décollage ("take ofl" en terminologie anglosaxonne), d'après décollage, la procédure de montée ("climb" en terminologie anglosaxonne), la procédure de vol de croisière ("cruise" en terminologie anglosaxonne), la procédure de préparation à la descente ("descent préparation" en terminologie anglosaxonne), la procédure de descente ("descent" en terminologie anglosaxonne), la procédure d'approche standard ("standard approach" en terminologie anglosaxonne), la procédure d'approche non précise ("non-precision approach" en terminologie anglosaxonne) et la procédure d'atterrissage ("landing" en terminologie anglosaxonne).
En associant les instruments de bord concernés par chaque action décrite dans la procédure de vol de montée ("climb") du manuel de pilotage d'un Airbus A340, on obtient le tableau illustré sur la figure 4 montrant, par exemple, que le pilote doit consulter l'instrument appelé FCU ("Flight Control Unif en terminologie anglosaxonne) du panneau GS en mode SET-valeur et l'instrument PFD du panneau principal IP en mode CHECK pour lire l'indication BARO réf. (référence barométrique). De même, durant la montée, le pilote doit consulter l'instrument PFD du panneau principal pour visualiser les informations de vitesse et d'altitude, ainsi que l'altitude de l'avion.
Dès lors que l'on a relié les procédures de vol avec les éléments d'interface du cockpit concernés, l'algorithme de la figure 3 prévoit une étape suivante E12 au cours de laquelle on procède à l'identification des zones d'information de chaque élément d'interface du cockpit, ainsi qu'à la détermination des fonctions remplies par ces zones.
A titre d'exemple, on identifie les différentes zones d'informations sur l'élément d'interface PFD d'affichage de vol primaire ("Primary Flight Display" en terminologie anglosaxonne) en référence à la figure 5.
Cette figure est décomposée en deux parties : sur la partie gauche, l'élément d'interface PFD est représenté et, sur la partie droite, on a identifié les différentes zones d'informations de cet élément d'interface ainsi que leur localisation sur ce dernier. On dénombre ainsi neuf zones d'informations repérées par les chiffres de 1 à 9 sur la partie droite de la figure 5 et qui seront désignées par la suite par les références Z1 à Z9.
Après l'identification des zones de chaque élément d'interface, on procède au cours de l'étape suivante E14 à la détermination des rôles et des responsabilités (fonctions des différentes zones compte tenu des tâches et sous- tâches relatives au pilotage de l'avion et dans lesquelles chaque élément d'interface est utilisé). A partir de cette détermination des rôles et des responsabilités des zones, il sera possible de déterminer les agents du modèle cognitif multiagents.
Ainsi, par exemple pour l'élément d'interface PFD, on distingue trois tâches fondamentales qui sont le pilotage de l'avion (T1), la navigation (T2) et la protection pour maintenir l'avion dans le domaine de vol (T3).
Au sein de chacune de ces trois tâches, il est possible de déterminer des sous-tâches plus précises :
- indiquer des valeurs de paramètres de l'avion (T11 ),
- indiquer des valeurs ou des points sélectionnés (venant du FMGS : "Flight Management and Guidance System" en terminologie anglosaxonne) (T12),
- indiquer les tendances de vol (T13),
- donner les indications des instruments de radionavigation et du FMGS (T21 ),
- permettre de suivre facilement les indications fournies par le FMGS (T22),
- présenter les limites du domaine de vol (T31), et - alerter (T32).
Dès lors que ces tâches et sous-tâches ont été déterminées, on procède à la détermination du rôle et des responsabilités des différentes zones de chaque élément d'interface et, par exemple, du PFD.
Sur la figure 6 on a identifié et représenté dans un tableau différentes fonctions ou responsabilités des zones précédemment identifiées.
Ainsi, la zone Z1 qualifiée de "FMA" ("Flight Mode Annunciatof' en terminologie anglosaxonne) à partir de laquelle on peut identifier quatre sous- zones qui fournissent des informations sur le mode de pilotage (par exemple, mode de pilotage automatique) et sur la radionavigation. La zone Z2 qualifiée de "VA" fournit des informations sur la vitesse de l'air et peut être décomposée en deux sous-zones. La zone Z3 qualifiée de "AA" et qui peut être décomposée en deux sous-zones fournit des informations sur l'attitude de l'avion (tangage, assiette, roulis, guidage, manche...).
La zone Z4 qualifiée de "A/Vv" et qui peut être décomposée en trois sous-zones sert d'altimètre et fournit des informations sur la vitesse verticale de l'avion.
La zone Z5 qualifiée de "ILS-GS" (ILS pour "Instrument Landing System" et GS pour "Glide Slope" en terminologie anglosaxonne) fournit des informations sur la position verticale du système d'atterrissage instrument ILS, par rapport à la pente GS.
La zone Z6 qualifiée . de "ILS-Loc" fournit des informations sur la position horizontale ILS, par rapport au localisateur ("localizer" en terminologie anglosaxonne).
La zone Z7 qualifiée de "M/l" fournit des informations sur le nombre de Mach de l'avion et des informations de navigation.
La zone Z8 qualifiée de "H/T" ("heading/track zone" en terminologie anglosaxonne) fournit des informations sur le guidage et sur le cap de l'avion.
Enfin, la zone Z9 qualifiée de "Ref/Alt" fournit des informations sur la référence altimétrique. On notera que le nom des zones tient lieu de définition du rôle de l'agent qui sera défini ultérieurement.
Grâce au tableau de la figure 6 et à la détermination des tâches et sous-tâches, il est possible de déterminer au cours de l'étape suivante E16 les agents cognitifs servant à bâtir le modèle cognitif selon les critères liés au pilotage et à la navigation.
Pour reprendre l'exemple de modélisation de l'élément d'interface PFD, on détermine les agents cognitifs qui permettent de décrire les processus cognitifs d'utilisation des différentes zones de l'élément d'interface PFD comme représenté sur la figure 7. Ainsi, on détermine des agents liés à l'analyse du déplacement vertical
(altitude,V/S), à l'analyse du déplacement horizontal (vitesse et cap), à l'analyse d'attitude /KJC, au traquage des ordres FMGS, à l'orientation/ILS, au FMA, au code couleur et à l'alerte.
Comme indiqué dans la colonne "responsabilités agents", par exemple, l'agent A1 a pour rôle d'analyser le déplacement vertical de l'avion en s'intéressant aux paramètres d'altitude et de vitesse verticale et, pour remplir ce rôle, il est responsable des valeurs des paramètres verticaux et des symboles de ces paramètres.
Pour remplir ce rôle, l'agent A1 s'appuie sur quatre ressources cognitives liées à la responsabilité des valeurs de paramètres verticaux, d'une part, et sur deux ressources cognitives liées à la responsabilité de la symbologie, d'autre part. Ceci permet à l'agent d'effectuer les tâches liées principalement au pilotage de l'appareil (T11 et T12) et qui sont localisées dans la zone Z4 de l'élément d'interface PFD.
Au cours de l'étape suivante E18, on procède à l'identification des entrées et des sorties du système par rapport au contexte d'utilisation, c'est-à-dire que l'on identifie des informations proposées par le système (éléments d'interface tels que le PFD) à un moment donné par rapport à une situation d'utilisation donnée, telle que le décollage ou la montée.
Au cours de l'étape suivante E20 de l'algorithme, il est prévu d'identifier des informations du système (par exemple, l'élément d'interface PFD) situées au niveau du traitement.
La figure 8 illustre de façon détaillée l'élaboration des tableaux 16 et 18 de la figure 2 suivant la structure plan, agent de liaison, agent et ressources, tant du côté système technique que du côté humain, dans le cadre de la surveillance de l'altitude par rapport à l'instrument PFD.
Ainsi, du côté système technique (tableau 18), on détermine dans le cadre d'un plan relatif à la procédure de montée ("CLIMB") illustrée sur la figure 4, que les ressources mises en œuvre sont les zones Z4 et Z9 du PFD (figure 7), l'agent est l'agent A1 du PFD et l'agent de liaison est l'agent A3 des instruments de bord "EFIS" ("Electronic Flight Instrument System" en terminologie anglosaxonne).
Le tableau 16 (côté humain) sera décrit ultérieurement. En parallèle de la description qui vient d'être faite au cours des étapes E10 à E20, on procède à rétablissement d'un modèle d'interaction du côté humain en référence aux étapes E22 à E28 qui vont être décrites ci-après.
Des informations d'origine humaine sont fournies, par exemple, par l'intermédiaire d'entretiens avec des experts en pilotage ou en procédure de vol. Au cours de ces entretiens décrivant des situations données (i.e. utilisation des instruments qui présentent des informations en deux dimensions, par exemple, ND, PFD, par rapport à l'utilisation d'un instrument qui présenterait les mêmes informations directement en trois dimensions) on demande aux experts d'indiquer les actions qu'ils envisageraient d'entreprendre, les contrôles à effectuer, les informations dont ils auraient besoin pour agir...
Au cours d'une première étape E22, il est prévu d'identifier au niveau des entrées-sorties du modèle d'interface côté humain des modalités d'interaction avec le système technique, à savoir, par exemple, les canaux d'entrées-sorties que constituent la vision humaine, le langage humain, l'audition, la kinesthésie...
Au cours de cette même étape, on procède également à l'identification des ressources nécessaires pour entreprendre la manœuvre appropriée c'est-à- dire, par exemple, percevoir (regarder) l'information d'altitude fournie par la zone correspondante de l'élément d'interface PFD, entendre (écouter) l'alarme auditive ("call-ouf en terminologie anglosaxonne) "TERRAIN" (signifiant que l'avion est en dehors de la zone de sécurité par rapport au terrain, c'est-à-dire trop bas), tirer sur le manche, ou bien encore remettre les gaz.
Il convient de noter que, de façon optionnelle, on peut également se limiter au niveau des entrées-sorties à des situations d'utilisation restreintes telles que, par exemple, le décollage. Il s'agit d'un découpage par rapport à des phases de vol, donc à des procédures ou sous-sections de procédure, spécifiques. Il est possible d'aller en profondeur dans ces phases spécifiques, en étudiant leur réalisation en conditions difficiles - mauvaise météo, pannes moteur, défauts dans la présentation de l'information, stress ou fatigue de l'utilisateur. Au cours de l'étape suivante E24, il est prévu d'identifier les interactions multimodales au niveau des entrées-sorties du modèle cognitif humain, c'est-à- dire les interactions entre les différents canaux (vision, audition...). Ainsi, par exemple, on identifie les interactions entre les différentes modalités précédemment identifiées à partir de cas recensés lors des entretiens, tels que celui consistant à percevoir l'information d'altitude sur l'élément d'interface considéré et à entendre l'alarme auditive et ainsi qu'à tirer sur le manche.
Au cours de l'étape suivante E26, il est prévu de définir le niveau de traitement du modèle cognitif côté humain.
Pour ce faire, on prévoit, d'une part, d'identifier les actions à entreprendre par le pilote et/ou les décisions à prendre qui s'avèrent particulièrement difficiles ou délicates à mettre en œuvre par rapport à la modélisation qui en est faite du côté système technique et, d'autre part, d'établir des hypothèses sur le traitement qui est fait de ces parties sensibles ou difficiles.
Ainsi, par exemple, on suppose que l'utilisateur prendra la bonne décision par rapport aux informations visuelles et auditives que les éléments d'interface du système technique lui fournissent en cas d'alerte collision.
Au cours de cette même étape E26, on procède à l'identification du traitement des informations suivant les différentes modalités (canaux d'entrées- sorties) précédemment identifiées.
Le tableau 16 représentatif de la modélisation du côté humain correspondant au tableau 18 du côté système technique est construit, dans le cadre de la surveillance de l'altitude de l'avion par rapport à l'instrument PFD, à partir du plan défini, à savoir l'utilisation du PFD et le pilotage de l'avion.
Dans ce tableau, on détermine/identifie les ressources utilisées, au niveau des entrées-sorties et du traitement. Ainsi, on identifie les entrées-sorties visuelles, à savoir la surveillance de l'altitude fournie par le PFD et le traitement correspondant, à savoir la Mémoire de Travail (WM) et la Mémoire à Long Terme (LTM), ainsi que la Prise de Décision.
L'agent correspondant est le "PFD" et les ressources précitées sont liées à l'agent "Suivi Plan de Vol".
On élabore ainsi de façon symétrique le modèle cognitif multiagents pilote-cockpit. L'étape suivante E28 permet de compléter le modèle cognitif humain et de le valider avec un expert du domaine (spécialiste en psychologie cognitive, en physiologie, en langage).
Au cours de l'étape suivante E30, il est prévu de procéder à la validation du modèle représentatif du couple humain-système technique (pilote- cockpit) avec les experts des différents domaines impliqués, à savoir des experts en procédure de vol, des experts pilotes, des concepteurs et des experts en facteurs humains (experts de la vision, de l'audition, du langage, de la kinesthésie...). On notera que, de façon optionnelle, les étapes E28 et E30 peuvent être réunies.
Une fois le modèle élaboré, on passe à l'étape E2 précédemment décrite au cours de laquelle on utilise les méthodes d'analyse des facteurs humains afin de recueillir des données traduisant des activités humaines correspondantes par l'intermédiaire d'un protocole d'expérimentation.
On peut ainsi faire intervenir plusieurs méthodes d'analyse, comme indiqué précédemment, pour acquérir les données visuelles représentatives du parcours visuel du pilote, au cours du temps, sur un ou plusieurs des éléments d'interface du cockpit (plus particulièrement, pour suivre la position du regard du pilote d'une zone d'un élément d'interface à une autre zone d'un autre élément d'interface) par l'intermédiaire d'un appareil oculométrique et acquérir, par l'intermédiaire du système vidéo du cockpit, des données vidéo représentatives des mouvements du pilote qui agit, par exemple, sur le manche, et/ou des données auditives au moyen d'un appareil d'enregistrement audio. Grâce au cadre ou modèle défini au cours des étapes précédentes, il est possible de relier, par exemple, les deux types de données d'activité humaine (données oculométriques et données relatives à la motricité du corps humain) dans la mesure où un réceptacle commun (base de données) a été mis en place pour recueillir les deux types d'informations d'origine technique et d'origine humaine.
On notera que les protocoles expérimentaux sur lesquels sont fondés les différentes évaluations des facteurs humains sont dérivés du modèle d'interaction précédemment élaboré et alimentent également ce modèle de par les résultats qu'ils produisent.
Par ailleurs, on notera que l'utilisation d'un réceptacle commun interméthodes et interévaluations assure une cohérence, une homogénéité et une traçabilité des données recueillies.
Plus particulièrement, l'appareil oculométrique 38 de la figure 1 b permet d'enregistrer la position du regard du pilote sur une scène visuelle, permettant ainsi de suivre les différents éléments visuels parcourus par le regard du pilote sur les éléments d'interface du cockpit, ainsi que sur le visuel externe. L'appareil oculométrique comporte un dispositif analogique, à savoir l'oculomètre, qui enregistre les mouvements de l'oeil du pilote. L'oculomètre comporte trois éléments, à savoir, une caméra enregistrant les mouvements de l'œil, une source infrarouge émettant un rayon infrarouge dans l'œil et une caméra enregistrant la scène visuelle vue par le pilote. Ainsi, les données vidéo acquises par la caméra enregistrant les mouvements de l'œil et les données vidéo acquises par la caméra enregistrant la scène visuelle vue par le pilote sont superposées et la position du regard du pilote est représentée par un pointeur (par exemple, un cercle ou un réticule) qui se déplace sur la scène visuelle. L'utilisation de l'oculomètre seul, bien que suffisante pour le visuel externe, n'apporte pas suffisamment de précisions si l'on veut enregistrer des détails particulièrement fins du parcours visuel du pilote, par exemple, la lecture de textes ou la prise d'informations sur des zones spécifiques d'écrans.
Ainsi, on associe à l'oculomètre un générateur de champ magnétique pour apporter une précision maximum.
Le générateur de champ magnétique est utilisé comme référentiel dans l'espace à trois dimensions pour capter la position de la tête du pilote par rapport aux coordonnées des différentes surfaces et plans qui composent l'environnement réel de celui-ci. A cet égard, les surfaces et plans concernés sont ceux correspondant aux écrans et aux panneaux de commande du cockpit constituant des régions d'intérêt qui peuvent être décomposées elles-mêmes en zones et sous-zones d'intérêt comme on l'a vu précédemment pour chaque élément d'interface.
Pour analyser les mouvements de la tête du pilote, on fait donc appel à un générateur de champ magnétique ainsi qu'à un récepteur fixé à la tête du pilote et ces éléments combinés au dispositif analogique précité (oculomètre) permettent d'obtenir une précision maximale de la position du regard de l'utilisateur sur une scène visuelle.
Plus particulièrement, le récepteur fixé à la tête du pilote fournit la position exacte de la tête dans le modèle en trois dimensions. La distance entre ce récepteur de tête et la caméra enregistrant la scène, ainsi que la distance entre le récepteur de tête et les yeux du pilote sont ensuite introduites dans le modèle en trois dimensions. La première des distances précitées est nécessaire pour effectuer la calibration de la caméra par rapport à la scène et la seconde de ces distances est nécessaire pour calibrer le dispositif analogique (oculomètre).
On notera que l'adaptation de l'appareil oculométrique précité au cockpit en vue d'apporter un maximum de précision en combinant les données fournies par la position de la tête du pilote et celles fournies par la position de son regard tient compte de l'étude géométrique du cockpit et de l'étude de la posture du pilote.
En effectuant l'étude géométrique du cockpit, la Demanderesse s'est aperçue que pour implanter le générateur de champ magnétique sur un support dans le cockpit, il convenait de s'assurer que la distance entre le générateur et toute surface métallique soit suffisamment grande pour réduire au minimum les interférences magnétiques pouvant se produire avec l'appareil oculométrique.
Par ailleurs, lors de la configuration des différents éléments constituant l'appareil oculométrique au sein du cockpit, la Demanderesse a constaté que la distance entre le générateur de champ magnétique et le récepteur de la position de la tête du pilote devait être strictement inférieure à la distance entre le récepteur de la position de la tête du pilote et toute surface métallique, là encore pour réduire le plus possible les interférences magnétiques. II convient de noter que l'étude posturale du pilote permet de définir les limites de son volume de mouvement et donc les distances entre le récepteur de tête et la source de champ magnétique.
Grâce à l'appareil oculométrique précité, il est possible d'enregistrer de manière très précise les mouvements oculaires (comportements) tels que les fixations, balayages et poursuites qui caractérisent la façon dont le pilote regarde les éléments spécifiques d'une scène visuelle aéronautique (instruments de bord et visuel extérieur).Les éléments constitutifs d'un appareil oculométrique, à savoir le dispositif analogique, le générateur de champ magnétique et un casque portant le récepteur de tête, sont disponibles auprès de la société Senso-Motric
Instruments GmbH, Warthestrasse 21 , D-14513 Teltow, Allemagne.
Comme déjà indiqué ci-dessus, au cours de l'étape E3 qui fait suite à l'étape d'acquisition des données, ces dernières sont analysées avec le ou les sujets de l'expérience (pilote) afin de vérifier la cohérence et la fiabilité des résultats de l'expérience.
Ainsi, selon un exemple emprunté au domaine automobile (l'invention pouvant en effet s'appliquer à d'autres domaines que le domaine aéronautique), en utilisant un oculomètre dans un véhicule d'auto-école, le moniteur et l'élève peuvent, une fois le cours terminé et en visualisant les données vidéo enregistrées avec l'oculomètre, mieux comprendre pourquoi l'élève n'a pas regardé dans le rétroviseur avant de tourner.
Toutes les données recueillies au cours de l'étape E2, analysées et interprétées au cours de l'étape E3, sont ensuite validées à un premier niveau collectif intra-domaine avec les experts du domaine concerné (par exemple, aéronautique constitué d'une population de pilotes) et sont ensuite validées à un niveau collectif inter-domaine avec les experts de différents domaines (experts en facteurs humains, ingénieurs, pilotes), afin que ces données soient partagées avec tous les intervenant concernés.
Ainsi, les données d'expériences sont explicitées et partagées à trois niveaux, un niveau individuel, un niveau intra-domaine et un niveau inter-domaine.
Cette validation avec les experts permet de revenir sur la définition du cadre déterminé lors des premières étapes (élaboration du modèle cognitif multiagents) et d'ajuster et de parfaire le modèle en fonction des résultats d'expériences et de leur interprétation par les experts.
Dès lors que le modèle est validé, on peut en déduire des améliorations possibles aux éléments d'interface pilote-cockpit, aux procédures d'utilisation de ces éléments d'interface (par exemple, procédure de vol...), ou se servir de ce modèle pour apprendre aux pilotes à se former aux éléments d'interface du cockpit.
A titre d'exemple, le procédé selon l'invention permet de déterminer à quel moment un système d'affichage placé en hauteur, au-dessus de la tête du pilote ("Head Up Display" en terminologie anglosaxonne) devrait être utilisé pour en optimiser l'utilisation. Le procédé selon l'invention permet également de déterminer si un tel système d'affichage est réellement utilisé par le pilote sur un type de véhicule particulier.
Dans un autre exemple, le procédé selon l'invention permet de se rendre compte que le pilote construit mentalement une représentation visuelle en trois dimensions de la position de son véhicule dans l'espace, et ce, uniquement sur la base d'informations en deux dimensions fournies par des instruments de bord.
Le procédé selon l'invention peut alors servir de base pour concevoir un nouvel instrument fournissant une représentation visuelle en trois dimensions de la position du véhicule dans l'espace.
Le procédé est particulièrement avantageux pour déterminer les informations réellement utiles qui sont fournies par des éléments d'interface du tableau de bord. En effet, grâce notamment à l'acquisition et à l'analyse de données, par exemple, oculométriques, le procédé permet de séparer les informations indispensables à l'utilisateur de celles qui ne sont pas particulièrement utiles ou alors qui sont redondantes.

Claims

REVENDICATIONS
1. Procédé de détermination d'un modèle d'une interface entre un utilisateur et son environnement à bord d'un véhicule, caractérisé en ce qu'il comporte les étapes suivantes :
- élaboration (E1) d'un modèle d'interface à partir, d'une part, d'un premier type d'informations représentatives d'éléments d'interface du véhicule et, d'autre part, d'un second type d'informations représentatives des connaissances détenues par un utilisateur sur l'utilisation des éléments d'interface,
- acquisition (E2) de données représentatives d'au moins une activité humaine qui est sollicitée lors de l'interaction entre l'utilisateur et ces éléments d'interface, l'acquisition de ces données étant effectuée par l'intermédiaire d'au moins un appareil d'acquisition de données,
- analyse (E3) des données ainsi acquises,
- ajustement (E4) du modèle d'interface en fonction de l'analyse des données.
2. Procédé selon la revendication 1 , caractérisé en ce que les deux types d'informations, le premier type d'informations d'origine technique et le second type d'informations d'origine humaine, sont fournies, avec une configuration identique, à une base de données dynamique ayant une structure symétrique utilisateur-système technique.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que les informations des deux types sont configurées selon un même modèle cognitif multiagents.
4. Procédé selon la revendication 3, caractérisé en ce que la configuration des informations du premier type selon un modèle cognitif multiagents comprend une étape d'établissement d'une liaison entre des procédures d'utilisation du véhicule et les éléments d'interface du véhicule.
5. Procédé selon la revendication 3 ou 4, caractérisé en ce que la configuration des informations du premier type selon un modèle cognitif multiagents comprend une étape d'identification de zones fonctionnelles sur chaque élément d'interface considéré.
6. Procédé selon les revendications 3 à 5, caractérisé en ce que la configuration des informations du premier type selon un modèle cognitif multiagents comprend pour chaque élément d'interface les étapes suivantes :
- détermination des tâches relatives à l'utilisation du véhicule remplies par l'élément d'interface considéré,
- détermination des agents du modèle cognitif multiagents par rapport aux tâches déterminées, - établissement d'une liaison entre les agents du modèle cognitif ainsi déterminés et les zones fonctionnelles identifiées de l'élément d'interface considéré.
7. Procédé selon l'une des revendications 1 à 6, caractérisé en ce que l'activité humaine sollicitée lors de l'interaction entre l'utilisateur et les éléments d'interface est sélectionnée parmi la vision, la parole, l'audition, la motricité, les manifestations et réactions physiologiques du corps humain.
8. Procédé selon l'une des revendications 1 à 7, caractérisé en ce que l'appareil d'acquisition de données est un appareil oculométrique enregistrant des données visuelles représentatives du parcours visuel de l'utilisateur sur les éléments d'interface.
9. Procédé selon l'une des revendications 1 à 8, caractérisé en ce que les éléments d'interface sont les instruments de bord d'un cockpit d'avion.
10. Procédé selon l'une des revendications 1 à 9, caractérisé en ce que les éléments d'interface sont les instruments d'un tableau de bord de véhicule automobile.
11. Utilisation du modèle d'interaction déterminé selon l'une des revendications 1 à 10 pour concevoir un ou plusieurs éléments d'interface et/ou l'agencement de ceux-ci.
12. Utilisation du modèle d'interaction déterminé selon l'une des revendications 1 à 10 pour évaluer un ou plusieurs nouveaux éléments d'interface.
13. Utilisation du modèle d'interaction déterminé selon l'une des revendications 1 à 10 pour modifier une procédure d'utilisation du véhicule.
14. Utilisation du modèle d'interaction déterminé selon l'une des revendications 1 à 10 pour la formation d'un pilote.
15. Système (30) de détermination d'un modèle d'une interface entre un utilisateur et son environnement à bord d'un véhicule, caractérisé en ce qu'il comporte :
- des moyens (36) d'élaboration d'un modèle d'interface à partir, d'une part, d'un premier type d'informations représentatives d'éléments d'interface du véhicule et, d'autre part, d'un second type d'informations représentatives des connaissances détenues par un utilisateur sur l'utilisation des éléments d'interface,
- au moins un appareil d'acquisition de données (38) représentatives d'au moins une activité humaine qui est sollicitée lors de l'interaction entre l'utilisateur et ces éléments d'interface,
- des moyens (36) d'analyse des données ainsi acquises,
- des moyens (36) d'ajustement du modèle d'interface en fonction de l'analyse des données.
EP06778868A 2005-07-25 2006-07-12 Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule Withdrawn EP1915662A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0507894A FR2888967B1 (fr) 2005-07-25 2005-07-25 Procede et systeme de modelisation d'une interface entre un utilisateur et son environnement a bord d'un vehicule
PCT/FR2006/001701 WO2007012723A2 (fr) 2005-07-25 2006-07-12 Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule

Publications (1)

Publication Number Publication Date
EP1915662A2 true EP1915662A2 (fr) 2008-04-30

Family

ID=36095781

Family Applications (1)

Application Number Title Priority Date Filing Date
EP06778868A Withdrawn EP1915662A2 (fr) 2005-07-25 2006-07-12 Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule

Country Status (8)

Country Link
EP (1) EP1915662A2 (fr)
JP (1) JP5032476B2 (fr)
CN (1) CN101351763B (fr)
BR (1) BRPI0615543A2 (fr)
CA (1) CA2615250C (fr)
FR (1) FR2888967B1 (fr)
RU (1) RU2423294C2 (fr)
WO (1) WO2007012723A2 (fr)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101830287B (zh) * 2010-04-30 2013-02-13 西安理工大学 驾驶员呼叫板装置
CN102467596B (zh) * 2010-11-15 2016-09-21 商业对象软件有限公司 仪表板评估器
FR2989181B1 (fr) 2012-04-04 2015-03-27 Eurocopter France Procede et dispositif d'adaptation de l'interface homme-machine d'un aeronef selon le niveau de l'etat fonctionnel du pilote
RU2605230C1 (ru) * 2015-06-03 2016-12-20 Открытое акционерное общество "Ракетно-космическая корпорация "Энергия" имени С.П. Королева" Способ контроля готовности экипажа космического аппарата к нештатным ситуациям и система для его осуществления
US11151810B2 (en) * 2018-10-12 2021-10-19 Aurora Flight Sciences Corporation Adaptable vehicle monitoring system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8051102B2 (en) * 2002-07-26 2011-11-01 Levitronics, Inc. Data base and knowledge operating system
JP4122434B2 (ja) * 2003-08-20 2008-07-23 独立行政法人産業技術総合研究所 仮想ユーザを用いた操作性評価処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007012723A3 *

Also Published As

Publication number Publication date
FR2888967B1 (fr) 2008-05-09
CA2615250C (fr) 2014-02-25
FR2888967A1 (fr) 2007-01-26
CA2615250A1 (fr) 2007-02-01
JP2009503664A (ja) 2009-01-29
RU2008106916A (ru) 2009-09-10
BRPI0615543A2 (pt) 2011-05-17
WO2007012723A8 (fr) 2007-04-26
CN101351763A (zh) 2009-01-21
JP5032476B2 (ja) 2012-09-26
WO2007012723A2 (fr) 2007-02-01
WO2007012723A3 (fr) 2007-03-22
RU2423294C2 (ru) 2011-07-10
CN101351763B (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
JP7158876B2 (ja) 没入型シミュレータのためのシステム及び方法
EP2647959B1 (fr) Procédé et dispositif d'adaptation de l'interface homme-machine d'un aéronef selon le niveau de l'état fonctionnel du pilote
EP0292381A1 (fr) Procédé d'élaboration d'un modèle statistique pour déterminer la charge de travail d'un pilote d'aéronef, modèle en résultant, dispositif pour la mise en oeuvre de ce procédé et applications du modèle
FR3026508A1 (fr) Aide contextuelle a la gestion du vol
US8214183B2 (en) Process and system of modeling of an interface between a user and his environment aboard a vehicle
EP1915662A2 (fr) Procédé et système de modélisation d'une interface entre un utilisateur et son environnement à bord d'un véhicule
Oury et al. Building better interfaces for remote autonomous systems: An introduction for systems engineers
EP4292072A1 (fr) Dispositif et procede d'evaluation des competences
WO2021122900A1 (fr) Procede et dispositif d'aide au suivi des etats cognitifs d'un individu
EP4016417A1 (fr) Système de détermination d'un état opérationnel d'un équipage d aéronef en fonction d'un plan de tâches adaptatif et procédé associé
EP1915591A1 (fr) Procede de traitement de donnees en vue de la determination de motifs visuels dans une scene visuelle
Brock et al. Making ATIS accessible for pilots who are deaf or hard of hearing
Loukissas et al. Visual apollo: A graphical exploration of computer-human relationships
Dixon Investigation of Mitigating Pilot Spatial Disorientation with a Computational Tool for Real-Time Triggering of Active Countermeasures
US20240112562A1 (en) Systems and methods for increasing the safety of voice conversations between drivers and remote parties
Chittaluri Development and Evaluation of Cueing Symbology for Rotorcraft Operations in Degraded Visual Environment (DVE)
Machado Human Interaction and Emerging Technologies (IHIET-AI 2024), Vol. 120, 2024, 114-122
Andrade Using Situated-Action Networks to visualize complex learning
Causse et al. The 1st International Conference on Cognitive Aircraft Systems–ICCAS 2020
Durand et al. ISAE-SUPAERO Conference paper
Salehi Mental models of hazards and the issue of trust in automation
von Thaden Information behavior among commercial aviation CFIT accident flight crews: transcript analyses
FR3124616A1 (fr) Procede et dispositif d'analyse predictive du comportement d'un operateur en interaction avec un systeme complexe
De Piano Concepts of multimodal interactions to support Human Performance in Remote Tower Operations
Small et al. Multisensory integration for pilot spatial orientation (MIPSO)

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20080225

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20100201

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20150203