EP4162402A1 - Communication bidirectionnelle homme-machine - Google Patents

Communication bidirectionnelle homme-machine

Info

Publication number
EP4162402A1
EP4162402A1 EP21728090.8A EP21728090A EP4162402A1 EP 4162402 A1 EP4162402 A1 EP 4162402A1 EP 21728090 A EP21728090 A EP 21728090A EP 4162402 A1 EP4162402 A1 EP 4162402A1
Authority
EP
European Patent Office
Prior art keywords
data
machine
abstraction
translation
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21728090.8A
Other languages
German (de)
English (en)
Inventor
Aurélien THIRIET
Jaime DIAZ PINEDA
Daniel Hauret
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP4162402A1 publication Critical patent/EP4162402A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/0285—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks and fuzzy logic
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Definitions

  • the invention relates to the technical field of man-machine interfaces, and more particularly describes examples of man-machine dialogue systems and methods.
  • the risk can be quantified or objectified (e.g. from measurements), for example positioned on a graphic scale.
  • the concept of risk can indeed be based on more quantifiable and measurable pillars or factors. In particular, these factors may correspond to intentions for action, or to concerns induced by the context (absence or limit of mastery of constraints).
  • the document describes systems and methods for two-way man-machine communication, in particular capable of capturing or receiving or otherwise retrieving the intentions (of action) of the pilot and of translating them into a language understandable by the system (then called " clever ").
  • the systems and methods according to the invention make the solutions calculated by the system understandable to humans. As interactions arise, trust in the communication system can grow.
  • systems and methods according to the invention are advantageous for the man-machine dialogue can in particular reduce the semantic difference between the level of abstraction of the operator (called high level) and that of the system (called low level).
  • a bidirectional communicator for optimizing a dialogue or an interaction (succession of actions and display of information from computers in particular from sensors) between an operator and a complex system .
  • the use of one or more universal "approximators" can be advantageous for performing the upward and downward translation functions.
  • the adjustment of the upward translator is carried out by supervised learning on the basis of collection of operational knowledge.
  • the adjustment of the descending translator can for its part be carried out by reinforced learning using the complex system and the ascending translator previously adjusted.
  • the systems and methods for two-way human-machine communication can integrate and use a plurality of translators (eg ascending and / or descending, congruent or competing, arranged in series and / or in parallel. ) between the operator and the complex system.
  • a plurality of translators eg ascending and / or descending, congruent or competing, arranged in series and / or in parallel.
  • These translators can in particular be used independently (for example according to the operational need, e.g. control of the downward translator, control of the upward translator for an explicability of the response of the system).
  • the advanced systems and methods described in this document can be advantageous in many technical fields requiring interactions between humans and machines (eg construction, public works, medicine, economic decision support systems, etc.).
  • the adaptation of the systems and methods according to the invention to a new technical field could for example make use of new HLOM (high level abstraction metrics eg intentions) and LLOM (low level operational metrics).
  • the methods and systems according to the invention can be used to continuously monitor the synergy of the human / machine pair.
  • the methods and systems according to the invention can relate to different phases of preparation, modification, evaluation or progress of the mission, during which the level of complexity is high.
  • the methods and systems according to the invention can implement natural interactions, less costly in cognitive resources, and capable of establishing a good level of trust between man and machine.
  • the methods and systems according to the invention can be used in any other field for the management of complex systems, for example in particular for the control of autonomous cars, the management of sensor services in airborne surveillance, interactions with a virtual assistant, etc.
  • the methods and systems according to the invention can allow the pilot not to exceed the level of risk imposed by the hierarchy (e.g. flight safety and operational risk management).
  • the methods and systems according to the invention can allow the pilot to detect any discrepancies between his own mental representation of the situation (his intentions) and that of his digital partner.
  • fuzzy logic makes it possible to manipulate data at a high level of abstraction.
  • decision trees makes it possible to evaluate and understand the propositions calculated by the machines.
  • FIG. 1 illustrates the state of the art of man-machine dialogue
  • FIG. 3 illustrates an example of a fuzzy logic decision tree used in one embodiment of the invention
  • FIG. 4 illustrates a possible generalization of the invention.
  • an "aircraft” can be a drone, or a commercial aircraft, or a freight aircraft, or even a helicopter, whether or not carrying passengers, or any element being susceptible to be remotely controlled (by radio link, satellite, or other), at least partially (intermittently, or periodically, or even opportunistically over time).
  • the embodiments of the systems and methods according to the invention aim to provide the pilot with a communication tool making it possible to transmit high-level instructions to a complex system (downward direction, or first direction) and vice versa ( ascending sense, or second sense according to a man-machine axiology), to present in an understandable way the proposed mode of operation.
  • the levels of abstraction manipulated by the invention can be various. By convention, we will count N levels of abstraction (cascade or nesting of terms).
  • N 5.
  • Rasmussen's work in the field of human-machine interaction is known in design science. These works make it possible to classify an object or a function according to a hierarchy established on 5 levels of abstraction. The lowest of these levels designates that of physical forms (technical / design solution). The intermediate levels relate to physical processes (interaction / information processing), general functions and abstract functions (diagrams or modes of operation). Finally, the highest level of abstraction is that of functional goals and intentions. A functional objective is what the information is designed for (eg “I want to detect and protect myself at the same time”).
  • An abstract function denotes known or envisaged procedures and schemes (eg electromagnetic waves from radar and jammer interfering with each other).
  • a general function refers to information that relies on the technical potential of an object (for example, I want a function that optimizes radar detection and interference by tradeoff).
  • a physical process designates a type of interaction and information processing (depending on the context I want to choose between a single radar mode or a single jamming mode is a compromise of the two).
  • a physical form relates to the form of information (symbology).
  • the method manipulates HLOM, LLOM, MLOM and LLTP data, acronyms which will be developed later.
  • a "universal approximator” generally designates a neural network.
  • a neural network is indeed capable of imitating practically any process, after adjusting its parameters by learning.
  • any sufficiently regular bounded function can be approximated with an arbitrary precision, in a finite domain of the space of its variables, by a neural network comprising a layer of hidden neurons in finite number, all possessing the same function d activation, and a linear output neuron.
  • This property is not specific to neural networks: many other families of parameterized functions have this property.
  • the specificity of neural networks lies in the “parsimonious” nature of the approximation: for equal precision, neural networks require fewer adjustable parameters than other known approximators.
  • the method can comprise one or more algorithms (eg put in competition) among the algorithms comprising: “support vector machines” or “wide margin separators” (in English “Support Vector Machine”, acronym SVM); “boosting"(classifiers); neural networks (in unsupervised learning); decision trees ("Random Forest"), statistical methods such as the mixture model Gaussian; logistic regression; linear discriminant analysis; and genetic algorithms.
  • algorithms eg put in competition among the algorithms comprising: “support vector machines” or “wide margin separators” (in English “Support Vector Machine”, acronym SVM); “boosting”(classifiers); neural networks (in unsupervised learning); decision trees (“Random Forest”), statistical methods such as the mixture model Gaussian; logistic regression; linear discriminant analysis; and genetic algorithms.
  • Machine learning tasks are generally classified into two broad categories, depending on whether there is a “signal” or learning inputs or “feedback” or “available outputs”.
  • supervised learning denotes a situation in which the computer is presented with examples of inputs and examples of outputs (actual or desired). Learning then consists of the identification of an interlacing of rules matching the inputs to the outputs (these rules may or may not be understandable to humans).
  • force learning consists in learning the actions to be taken, from experiences, in order to optimize a quantitative reward over time.
  • a decision-making behavior (called strategy or policy, which is a function associating with the current state the action to be executed) is determined as being optimal, in that it maximizes the sum of the rewards during time.
  • unsupervised learning also called deep learning or deep learning denotes a situation in which no annotation exists (no label, no description, etc.), leaving the learning algorithm alone. to find one or more structures, between inputs and outputs.
  • Unsupervised learning can be a goal in itself (uncovering hidden structures in data) or a means to a goal (learning through functionality).
  • the human contribution in the machine learning steps can vary.
  • machine learning is applied to machine learning itself (reflective).
  • the whole learning process can in fact be automated, in particular by using several models and by comparing the results produced by these models.
  • humans participate in learning automatic ("Human in the loop"). Developers or curators are responsible for maintaining data clusters: data ingestion, data cleaning, model discovery, etc.
  • Machine learning can correspond to hardware architectures which are emulable by computer (e.g. CPU-GPU), but sometimes not (circuits dedicated to learning may exist).
  • the method may comprise one or more algorithms from among the algorithms comprising: “support vector machines” or “wide margin separators” (in English “Support Vector Machine”, acronym SVM); “boosting” (classifiers); neural networks (in unsupervised learning); decision trees ("Random Forest"), statistical methods such as the Gaussian mixture model; logistic regression; linear discriminant analysis; and genetic algorithms.
  • a neural network according to the invention can be one or more neural networks chosen from neural networks comprising: a) an artificial neural network (in English “feedforward neural network”; b) an acyclic artificial neural network, eg a multi-layered perceptron, thus distinguishing itself from recurrent neural networks; c) a forward propagation neural network; d) a Hopfield neural network (a discrete-time recurrent neural network model whose connection matrix is symmetrical and zero on the diagonal and where the dynamics are asynchronous, a single neuron being updated at each unit of time ); e) a recurrent neural network (made up of interconnected units interacting non-linearly and for which there is at least one cycle in the structure); f) a convolutional neural network (in English "CNN” or “ConvNet” for "Convolutional Neural Networks", a type of feedforward acyclic artificial neural network, by multi
  • Fuzzy logic Fuzzy logic is a versatile logic where the truth values of the variables - instead of being true or false - are reals between 0 and 1. In this sense, it extends classical Boolean logic with partial truth values.
  • the degree of truth of a fuzzy relation between two or N objects is the degree of belonging of the pair or of the N-uple to the fuzzy set associated with the relation.
  • fuzzy logic brings with it the use of words from a dictionary, which can generally be expressed in natural language (advantageous interface in man-machine interfaces)
  • FIS Fuzzy Inference System
  • Fuzzy inference systems take the inputs and process them according to predefined rules to produce the outputs. Both inputs and outputs have real value, while internal processing is based on fuzzy rules and fuzzy arithmetic.
  • An FIS generally uses six steps (determining fuzzy rules, blurring entries by the membership classes, combining fuzzy entries according to these fuzzy rules, determining one or more consequences of the application of the rules, combining the consequences in an output distribution, making said distribution non-fuzzy).
  • the method according to the invention can use an ANFIS system, in addition to or in substitution for fuzzy decision trees.
  • An adaptive fuzzy inference system or adaptive network based fuzzy inference system is a type of artificial neural network which is based on the Takagi-Sugeno fuzzy inference system. The technique was developed in the early 1990s. Integrating both neural networks and logic fuzzy, it captures the benefits of both approaches in a single frame. Its inference system corresponds to a set of fuzzy IF-THEN rules which have a learning capacity to approach nonlinear functions. An ANFIS is therefore considered to be a universal approximator. To use ANFIS more efficiently and optimally, it is advantageous to use the best parameters obtained by genetic algorithmy.
  • a genetic algorithm belongs to the family of evolutionary algorithms, the goal of which is to obtain an approximate solution to an optimization problem when there is no exact method (or the solution is unknown) for it. resolve in a reasonable time. Genetic algorithms take the notion of natural selection and apply it to a population of potential solutions to the given problem.
  • a genetic algorithm generally comprises at least three steps (selection, evaluation, generation by selection and / or mutation).
  • a base population is determined (e.g. generated or selected).
  • the N sets of parameters also called individuals
  • the N sets of parameters are initialized, for example to a random value.
  • the starting population can also be received from a third party system, or result from a selection from a set of individuals.
  • the initialization of the genetic loop can take as input the output of this same genetic loop ".
  • a second step the population is evaluated.
  • a large number of trajectory calculations are carried out (in general several million or even billions, the larger the number the more the result obtained is accurate but the longer the simulation time is) to each of the N sets of parameters then each of these sets is evaluated with the evaluation function f.
  • the best individuals are selected for the next iteration. For example, we can retain the 20% of individuals with the best evaluation. We can also decide to keep 5% of the rest of the population at random, in order to maintain diversity. Different selection modes are possible (eg thresholding, threshold ranges, analytical functions, etc.).
  • the k samples with the best score are selected, with k being received or calculated.
  • k is predefined.
  • only the samples having a score greater than a predefined threshold are kept (for example the k samples having a score greater than 70%, if the score is between 0 and 100%).
  • one or more of the thresholds used depend on the iteration of the algorithm (increasing selectivity).
  • the selection is by a "biased wheel" method: samples are selected in proportion to their score (more samples with a high score are selected than with a low score).
  • the B best scores are kept in the office. All these embodiments can be combined with one another (parametric selection, selection by analytical functions in an algorithmic manner).
  • crossover (s) / mutation (s) is carried out.
  • This complement can be achieved in different ways.
  • Crossbreeding involves creating new individuals from other individuals. For example for two individuals with 4 parameters or "genes" [a, b, c, d] and [a ', b', c ', d'] we can obtain [a, b, c ', d'] and [a ', b', c, d].
  • the crosses can for example be done in pairs (eg by randomly choosing two samples ("father", "mother”) which are crossed to obtain two new samples ("children").
  • the crossing method is a multiple point crossing. In one embodiment, the crossing method is a one point crossing.
  • a mutation consists in randomly modifying an individual of the population, for example by modifying the value of one of the parameters of an individual to a new random value in the defined domain. For example for an individual with 4 genes or parameters [a, b, c, d] becomes [a, e, c, d]. Mutations can be made by random selection d one gene and replacement with another gene For example, in one embodiment, the mutation rate can be set at m% (between 0.01 and 2%), and the gene change follows a uniform law.
  • a subsequent step it is determined whether the loop is continued (eg looped back, reiterated), or else stopped. At this stage, it is a question of deciding if an optimum has been found and in this case considering the individual with the best function. evaluation as the optimum set of parameters. Otherwise, calculations continue. In general, an optimum is found if the average of the evaluation function of all individuals is close to the best evaluation function of an individual. An alternative may be to simply consider a given value from which the population score is deemed satisfactory. The best set of parameters is therefore determined.
  • the best set of parameters is validated (or not) and the performance is quantified.
  • we have an optimal set of parameters best individual found in the 5th sub-step.
  • machine learning includes a GFT fuzzy logic genetic decision tree.
  • machine learning comprises the implementation of a genetic algorithm (2211), which generates the adjustment of the GFTs used in the up and down translators, namely the adjustment of the membership functions and of the fuzzy rule bases of each FIS making up the GFT, by breaking down membership functions and rule bases into a plurality of associated genes, then mixing them randomly and / or randomly replacing one or more genes with others.
  • a genetic algorithm (2211) which generates the adjustment of the GFTs used in the up and down translators, namely the adjustment of the membership functions and of the fuzzy rule bases of each FIS making up the GFT, by breaking down membership functions and rule bases into a plurality of associated genes, then mixing them randomly and / or randomly replacing one or more genes with others.
  • a genetic algorithm (2211)
  • fuzzy logic in an FIS (Fuzzy Inference System) makes it possible to develop control orders as a function of inputs. These orders are developed by “linear” laws (a minimum), depending on “control parameters”.
  • the step of determining orders for the FMS / AP can be guided or governed or framed by a fuzzy logic control assembly.
  • machine learning can make it possible to best adjust (or optimize) the control parameters of the FIS, so that the mission success score is as high as possible (calculated by a fitness function).
  • the FIS or GFT (FIS organized in a tree) intervene in certain aspects as would a pilot knowing his aircraft: the pilot ends up knowing the orders to be developed in order to have an optimal result with regard to the mission.
  • a tree set of FIS can therefore be used to develop all of the parameters associated with the unit elements.
  • control algorithm can be based on a neural network.
  • learning is carried out by gradient backpropagation, so as to optimize the weightings of the different neurons involved.
  • the output of each neuron in the terminal layer can correspond respectively to the orders of orientation and of speed of each unit element (like what is proposed for the algorithm of type GFT).
  • a black box between one or more inputs and one or more outputs, designates a process for which access to intermediate data and / or calculation rules is not possible, or, where appropriate, cannot be. directly intelligible to man.
  • a white box designates a process for which the intermediate data and / or calculation rules are accessible and directly intelligible to humans.
  • the method uses one or more genetic algorithms.
  • a genetic algorithm iteratively manipulates a set of vectors of real variables using mutation, selection and crossing operators.
  • a genetic algorithm iteratively manipulates a set of vectors of real variables using operators.
  • a mutation step is performed by adding a random value drawn from within a distribution which is generally normal. Selection is carried out by a deterministic choice of the best individuals, or by recombination, according to the value scale of an objective function. The use of a recombination operator generally makes it possible to avoid being trapped in local optima.
  • Decision tree learning refers to a method based on the use of a decision tree as a predictive model.
  • a decision tree can be used to explicitly represent the decisions made and the processes that lead to them. It is a supervised learning technique: we use a set of data for which we know the value of the target variable in order to build the tree (so-called labeled data), then we extrapolate the results to the set of data test.
  • the tree is generally constructed by separating all of the data into subsets as a function of the value of an input characteristic. This process is repeated on each subset obtained recursively, so it is a recursive partitioning.
  • Certain techniques improve the quality or reliability of the prediction by building several decision trees from the data (eg bagging, classification by forests of random trees, tree boosting classification and regression, classification by rotation of decision tree forests, etc.).
  • Decision trees are sometimes combined with each other or with other learning techniques. Procedures for aggregating the performance of the different models used (such as decisions by consensus) are put in place to obtain maximum performance, while controlling the level of complexity of the models used.
  • the decision trees correspond to a white box model: if a certain situation is observed on a model, it can be explained using Boolean logic, unlike black box models like neural networks, whose explanation of the results is difficult to understand.
  • Decision trees have many advantages: little data preparation (no normalization, empty values to delete, or dummy variable); management of numerical values and categories.
  • evolutionary algorithms can be used to avoid separations leading to local optima.
  • the method uses a CMA-ES algorithm (acronym for “Covariance Matrix Adaptation Evolution Strategies”), or one of its variants (e.g. hierarchical evolution strategies Meta-ES or Nested-ED).
  • CMA-ES acronym for “Covariance Matrix Adaptation Evolution Strategies”
  • one of its variants e.g. hierarchical evolution strategies Meta-ES or Nested-ED.
  • the CMA-ES algorithm is based in particular on the adaptation, during the iterations, of the variance-covariance matrix of the multi-normal distribution used for the mutation.
  • CMA-ES type algorithms are advantageous, in particular for non-convex, non-separable, malformed, multimodal or noisy functions.
  • Black box optimization studies have shown that CMA-ES is effective in "harsh conditions" or large search spaces.
  • CMA-ES algorithms have also been extended to multi-objective optimization problems (MO-CMA-ES).
  • a CMA-ES algorithm comprises in particular a principle of maximum likelihood (the covariance matrix is updated incrementally so that the likelihood of the previous search steps is increased).
  • the CMA-ES algorithm can be replaced by a distribution estimation algorithm or "Cross-Entropy Method”.
  • the CMA-ES algorithm can be replaced by a “DownhHI simplex method 'or“ Surrogate-based methods ”, by“ BFGS ”or“ NEWUOA ”methods or even“ Multilevel Coordinate Search (MCS ) ”.
  • a black box does not display its content (or its accessible content is not intelligible).
  • the evaluation can have a cost. For simple BNs, it is possible to sample randomly, deterministically or according to predefined patterns. It is also possible to intensify the exploration around a specific point or to search for borders.
  • a method for a bidirectional man-machine dialogue comprising the steps consisting in: translating, according to a so-called downward translation, so-called general commands from a predefined semantic repository into data of 'inputs that can be manipulated by the machine, by one or more universal approximators, for example one or more neural networks and / or fuzzy logic decision trees; and, translate, according to a so-called upward translation, raw output data determined by the machine, into data expressed in said predefined semantic repository, by one or more white boxes comprising one or more fuzzy logic decision trees.
  • the method can be learned / optimized so that the upward translation resulting from a given command is the closest to that naturally recorded (communication histories, etc.).
  • the commands can be abstract or general.
  • a black box, between one or more inputs and one or more outputs, designates a process for which access to intermediate data and / or calculation rules is not possible, or, where applicable, cannot be directly intelligible to the man.
  • a white box designates a process in which the intermediate data and / or calculation rules are accessible and directly intelligible to humans.
  • a universal approximator can be in a white box or in a black box.
  • the downward translation comprises at least one or more black boxes. These black boxes can be arranged in series and / or in parallel.
  • the ascending translation (or ascending or ascending) can also use one or more white boxes.
  • the upward translation starts from the technical parameters of the output of the system of systems to arrive at proposals with a high level of abstraction; this translation is performed using fuzzy logic decision trees.
  • the method uses a genetic optimization algorithm.
  • a genetic optimization algorithm iteratively manipulates a set of vectors of real variables using mutation and selection operators.
  • a mutation step is performed by adding a random value drawn from within a distribution which is generally normal. Selection is made by a deterministic choice of the best individuals, or by recombination, according to the value scale of an objective function. The use of a recombination operator generally helps to avoid being trapped in local optima.
  • a fuzzy logic decision tree captures one or more business logic.
  • the method further comprises the steps of: receiving the output data from the machine in response to the input data; compare the input high-level abstraction data captured by the pilot's HMI with the translated high-level abstraction data. This step qualifies or constitutes a cycle ⁇ capture, downward translation, upward translation, restitution ⁇ . Millions of cycles can be repeated. Analog rendering can be part of it (interface and analog rendering, i.e. to the edges of human cognition).
  • the method further comprises the step of selecting output data from among several, by filtering and / or thresholding, or in particular by traversing the upward translation made up of fuzzy logic decision trees.
  • GFT fuzzy logic decision trees
  • the method further comprises the step of controlling at least one black box by at least one white box, a white box.
  • white comprising one or more fuzzy logic GFT decision trees.
  • the method indeed manipulates a white box and a black box.
  • the step of controlling a network of descending black boxes by an ascending white box comprises the step of optimizing said black box by automatic learning.
  • the method indeed manipulates a white box (upward translation) against N black boxes (several black boxes i.e. a “network”, according to an arrangement, or a “plurality of” black boxes).
  • the white box can be composed of a plurality of white boxes, in finite number, which white boxes control the optimization of several black boxes.
  • the white box (s) (upward translation) "encode” the business expertise specific to an application area. These white boxes are therefore “settled” (in the sense of a manual operation).
  • a box is said to be black in the sense that the weightings and the intermediate states in neural networks are only rarely intelligible directly to the non-expert.
  • the black box or boxes “encode” (by learning on a mass of data observing the activities of numerous pilots in various aircraft) the downward translation.
  • BNs allow the injection of great computing power. Human judgments are embedded in the machine, but in ways that are generally not accessible or interpretable. BNs do not encode business expertise (vertical application, field of application).
  • the method can therefore be “asymmetric” in that the downward translation in black box (left) is optimized by - relies on - the upward translation (right), which is carefully regulated by humans, and which encodes business expertise.
  • the asymmetry can be reversed.
  • the translation operations can be "learned” (massive data) or “adjusted” (manual frugal adjustment, simple cases). In reality, all intermediate situations can be observed on the continuum. Automation can be more or less extensive and sometimes (pragmatically) exceed human processing capacities.
  • the invention provides the BN / BB architecture described in the document, and its various options (eg modifications of the graphs in GFTs, BNs in series and / or in parallel, networks of approximators).
  • the method further comprises the step of selecting a network of universal approximators from among several, by machine learning.
  • the method indeed handles N white boxes and M black boxes.
  • the algorithms can be put in competition, by clusters or entire networks. The machine part can therefore be pushed to its limits. For example, current data may argue for using a more efficient network than the default network.
  • the step of optimizing the graph of fuzzy inference systems FIS of a GFT is performed by machine learning.
  • a universal approximator is a parameterized function and / or a neural network and / or a CMA-ES network.
  • a neural network is a parsimonious approximator.
  • the use of a CMA-ES network is particularly advantageous.
  • automatic learning comprises the implementation of a genetic algorithm, which determines the adjustment of the fuzzy decision trees GFT used in the up and / or down translators, in particular the adjustment of the functions of. membership and fuzzy rule bases of each FIS fuzzy inference system composing the GFT fuzzy decision tree.
  • said adjustment is carried out by breaking down the membership functions and the rule bases into a plurality of associated genes, then mixing them randomly and / or randomly replacing one or more genes with others.
  • the method further comprises the step of optimizing by genetic algorithm the structure of a fuzzy logic decision tree.
  • the method further comprises the step of updating current data relating to the aircraft or its environment, said data independently modifying the data of the white boxes and / or black boxes.
  • the data refresh rate may vary depending on the application. Refreshment can be extremely slow, possibly years (satellite, Martian robots) but can conversely be extremely fast (e.g. road traffic, intensity of actions).
  • the current data is raw data (radar, mount, cloud) and / or space partition data (peaceful zone, supply zone), etc.); a subset of which is sent to the downward translation.
  • the method further comprises the step of accessing one or more intermediate values manipulated in the fuzzy logic GFT decision trees.
  • the method further comprises the step of displaying one or more intermediate values manipulated in the GFT fuzzy logic decision trees.
  • one or more of the white boxes of the upward translation are displayed on demand in a man-machine interface.
  • the white boxes can indeed be “unfoldable” ie displayable on request (display of intermediate values, root cause, etc.).
  • a fuzzy inference system can be "open”, ie displayed or otherwise rendered (for example to see the rules used, display LLOMs, display one or more levels of dialogue abstraction, etc.).
  • the upward translation is regulated by supervised learning (eg the coefficients of the neural networks are adjusted by considering a large number of data eg a large quantity of descending-ascending-judgment cycles).
  • supervised learning eg the coefficients of the neural networks are adjusted by considering a large number of data eg a large quantity of descending-ascending-judgment cycles.
  • the top-down translation is adjusted or tuned by reinforcement learning relying on the tuned or learned up-translator.
  • the coefficients of the neural networks and / or of the GFTs can in particular be adjusted by considering a large number of data (a large number of descending-ascending-judgment cycles).
  • learning can lead to a reduction in the number of states, for example to serve to filter very early and not only at the very end (in addition to a thresholding).
  • the black box optimization of top-down translation then takes on its full meaning.
  • the descending black boxes are put in competition.
  • one or more of the intermediate calculation results, information relating to the root causes and / or the calculation context of one or more of the steps of the method are displayed in a man-machine interface.
  • the display may allow you to press a "why" or “explain” button, the actuation of which may trigger the display of one or more of the applied fuzzy logic rules.
  • Unstructured data e.g. images, videos
  • a neural network can transform unstructured data into structured data
  • It is also possible to "plug" into intermediate layers of a neural network unstructured data but in a reduced number compared to the input of the neural network).
  • automatic learning is performed online.
  • the machine learning is performed offline.
  • the training data can be historical data.
  • machine learning is performed online. This is because machine learning can be done incrementally or online.
  • the model is known (stabilized weights in neural networks and / or GFT) and embedded, it is possible to continue learning in data flow (to improve the existing model, without starting from scratch).
  • Offline machine learning learns from a complete data set while online learning can continue to learn (“learning transfer”), on-board, without having to re-ingest the starting data.
  • the learning can be carried out beforehand (basic, preliminary) then personalized on the data specific to a company or to a particular pilot.
  • fuzzy logic uses words from a finite dictionary in natural language, i.e. carrying semantics.
  • fuzzy logic implies intelligibility for the pilot.
  • the use of fuzzy logic presupposes the use of natural language words (carrying semantics) and fuzzy logic operators, but not necessarily formed sentences.
  • the method according to the invention does not manipulate semantics, but syntactic forms or rules IF ... THEN ...
  • the method according to the invention comprises a TAL module (descending or ascending).
  • the lexicon / lexical field is predefined.
  • the machine proposals are expressed while respecting the semantic field of the pilot (in order to make it understandable). If necessary, the outputs of the machine are forced on the words of the dictionary used.
  • machine learning comprises one or more algorithms selected from algorithms comprising: support vector machines or wide margin separators; classifiers; neural networks; decision trees and / or stages of statistical methods such as the Gaussian mixture model, logistic regression, linear discriminant analysis and / or genetic algorithms.
  • one or more data processing operations are governed by a certified FMS avionics flight management system internalizing predefined constraints.
  • a computer program product comprising code instructions for performing one or more of the process steps, when said program is executed on a computer.
  • a system for a bidirectional man-machine dialogue comprising - hardware memory and / or calculation resources, accessed locally and / or remotely, configured to: translate, according to a so-called downward translation, of the so-called commands.
  • translate according to a so-called downward translation, of the so-called commands.
  • one or more universal approximators for example one or more neural networks and / or fuzzy logic decision trees
  • translate according to a so-called upward translation, raw output data determined by the machine, into data expressed in said predefined semantic repository, by one or more white boxes comprising one or more fuzzy logic decision trees.
  • the method further comprises one or more neural networks configured for machine learning, said one or more neural networks being chosen from neural networks comprising: an artificial neural network; an acyclic artificial neural network; a recurrent neural network; a forward propagation neural network; a convolutional neural network; - a network of generative antagonist neurons; said one or more neural networks being software emulated and / or being physical circuits.
  • FIG. 1 illustrates the state of the art.
  • UMIs 15 eg speech-to-text, command by speech, automatic language processing, physical sensors and / or actuators, control by gestures, via tactile interfaces, possibly from data representations in axiological, 2D, 3D, radar view, etc.
  • man 1 provides inputs (quantified and quantifiable) to complex systems 2.
  • the complex system 2 After processing the information, the complex system 2 produces solutions according to different levels of abstraction 12 (e.g. a point on a map, a plot on a map).
  • levels of abstraction 12 e.g. a point on a map, a plot on a map.
  • FIG. 2 illustrates some general principles of the invention.
  • the invention consists in particular in implementing a descending 110 and ascending 130 translation for an improved dialogue between man 1 and machine 2 (e.g. system of systems).
  • the downward translation in order to pass from commands at a high level of abstraction 16 expressed by the pilot to technical parameters of low level 11 required by the system of systems, comprises one or more "black" boxes or universal approximators (GFT and / or RN and / or CMA-ES), congruent or concurrent (series-parallel). These boxes are black in the sense that the weightings in neural networks are only rarely intelligible directly to the non-expert), these black boxes having learned
  • the upward translation starts from the low level operational parameters of the output of the system of systems 2 to arrive at high level proposals. of abstraction; this translation is performed using fuzzy logic decision trees.
  • High level abstraction data (HLOM) 100 supplied by pilot 1 are translated 110 into a set of low level abstraction data 11 ("low level abstraction technical data” or LLTP) that can be manipulated. by machine system 2.
  • HLOM High level abstraction data
  • LLTP low level abstraction technical data
  • HLOM data refers to sets of metrics at a high level of abstraction (intentions), often non-quantifiable, or "fuzzy” (in the sense of fuzzy logic). These data are expressed in the lexical field (or “ontology”) of the operator, making it possible to command an intention for a system (eg: “find a safe and efficient solution”, “detect small boats in heavy seas”, etc).
  • Examples of data at a high level of abstraction include (for example) objectives, expressed in formal language (UML, symbology, etc.) and / or in natural language, ie predefined keywords or expressions or sentences such as "Optimize fuel consumption”, “reduce noise on the ground”,
  • LLOM data refers to quantifiable operational metrics, provided by the system, allowing humans to interpret and judge a service rendered by the intelligent system. They are used by operations when developing their judgment and understanding the service provided.
  • Examples of data at a low level of abstraction include (for example) values (numerical and / or symbolic): roll value, angle of incidence, pressure value, opening of a solenoid valve, active state or inactive equipment, etc. These data are possibly associated with technical functions (for example trajectory control).
  • different N intermediate objects can be used, ie between the HLOMs and LLOMs.
  • MLOMs Metal Level Operational Metrics
  • N can be restricted (few objects or levels) or high (very large number of abstraction sublevels); the process steps may remain essentially the same.
  • all or part of the data handled can be a function of the "context" 120, i.e. current data concerning the aircraft. Context can be perceived, measured, informed or otherwise constructed from sensor measurements.
  • the context can be the flight context (takeoff phases, cruise) but also according to any division of time and / or space (eg approach phase in a given mission, priority level given among a predefined plurality, etc.)
  • the “context” thus determined can influence or control, directly or indirectly, or otherwise modify the data handled (selection, different levels of priorities, etc.).
  • the declared "intentions" of pilot 1 are high level abstraction factors (HLOM) and relate to the conduct of the mission as a whole.
  • the pilot declares intentions 100, for example via “instructions”. These instructions are broken down into “tasks” to be carried out which are generally combined (linked and implemented simultaneously). For example, the pilot can seek to optimize his fuel consumption while respecting the noise constraints on the ground.
  • the low level abstraction parameters (LLOM) 120 relating to the tasks to be performed are technical, quantifiable, measurable and contribute to the implementation of calculation algorithms (often constraint solvers). They are linked to a specific task (optimized trajectory, reaction to constraints, action plan, etc.).
  • Operational intentions are thus translated 110 into intelligible technical parameters 11 by a decision support system 2.
  • the recommendations of the decision support system are expressed 130 in the semantic reference (intentions) of the human.
  • the use of known words and / or expressions advantageously makes it possible to contribute to the explicability of the man-machine dialogue (in particular in the machine-man sense).
  • the TBB technical blocks (acronym for "Technical Building Block") designate the functions performed by the complex system making it possible to produce one or more "services”.
  • each of the ascending and descending directions may be the subject of particular and advantageous treatments, which are described below in more detail.
  • the top-down translation 110 performs an ontology translation (descent into abstraction) which must absorb the "transfer function" of the system. Apart from very simple cases, a person cannot properly set this translator.
  • machine learning steps for the top-down translation can be based on an already-tuned bottom-up translator.
  • the ascending part serves as a frame of reference or a fixed point to determine or stabilize the descending part.
  • the downlink translator is trained in or by a learning process (eg, reinforcement learning) which includes in the chain (processing) the upward translator already set.
  • a learning process eg, reinforcement learning
  • the objective of optimization by reinforcement is to reduce the difference between, on the one hand, the instruction / intention (expressed in HLOM); and on the other hand, the characterization of the solution deduced from the setpoint (also in HLOM) obtained by crossing the adjusted ascending translator.
  • the machine learning process of the top-down translation can advantageously rely on an already-tuned bottom-up translator.
  • the efficiency and robustness of the learned model may depend on the variety and coverage of the input data, here learning scenarios.
  • the top-down translation operates an ontology translation, i.e. an abstraction descent (and must also absorb the transfer function of the system, ie the elements that do not fall under the NLP).
  • the recommendations of the decision support system are expressed 130 in the semantic repository or lexical field of the operator.
  • the use of natural language words and / or expressions allows the pilot to understand the calculations of the machine.
  • the upward translation ensures an increase in abstraction within the same (operational) ontology.
  • the upward translation can be noted. It is advantageously in a "white box" to allow the operator to understand the service provided with a different level of abstraction.
  • the upward translation can also be in a black box, if the previous level of explainability is not desired or required (for example by noting only the output or the result of the upward translation. can advantageously be adapted to the reasoning of the operational to judge the solution (precise, relevant, unambiguous information, ).
  • one or more multi-criteria decision trees such as a GFT can be used.
  • the technical choice having been made on universal approximators adjusted by learning, different learning methods can be implemented.
  • the ascending translator may be set by supervised learning and the descending translator may be tuned by enhanced learning relying on the ascending translator set.
  • the upward translator is adjusted in a supervised manner, on the basis of an operational data collection consisting in relating, a context, a solution, a vector of LLOM (calculated or provided) on this solution, and a vector of HLOM provided by the operational.
  • the learning base is tagged and serves as a reference in a supervised learning process aimed at adjusting the backward translator.
  • the learning loops in order to make the descending translator converge so that the "distance" between the high-level operational metrics desired and supplied at the input of the system and the high-level operational metrics observed on the response of the latter is minimum on a large number of samples.
  • the machine learning of the downlink translator can be carried out in such a way as to make it "converge” (in the sense of stabilizing the hyper-parameters associated with the chosen universal approximator) towards the ascending semantics.
  • the decision support 2) must be minimal or at least can be minimized on a large number of samples.
  • the distance can be an edit distance or any other measurement system (metric).
  • FIG. 3 illustrates an example of a fuzzy logic decision tree used in one embodiment of the invention.
  • the method uses one or more fuzzy decision trees (fuzzy logic), for example 110, 111, 112, etc.
  • a GFT includes one or more FIS ("Fuzzy Inference System"), for example the tree 110 includes FIS 301, 311, 312, 321, 322, 323, 324 etc.
  • FIS Fuzzy Inference System
  • the user indicates to the machine a destination point 301, to which the machine responds with two possibly antagonistic objectives: an ecological journey 311 and a economic toll-free travel 312.
  • Each of the branches actually corresponds to different possibilities, common or mutually exclusive.
  • the type of fuel has both an ecological and an economic impact (e.g. diesel).
  • the driving style, mountain passages, etc. also come into play.
  • Facts (e.g. 331) and / or fuzzy rules (e.g. 312) are handled in / by tree 110.
  • the system and method according to the invention can arbitrate, i.e. select between one and more predefined trees, depending on current conditions (for example depending on whether the car is entering or leaving a motorway network). Even more, the processes and systems can learn, i.e. modify the structure of fuzzy decision trees (for example a tree 111 will be derived from a tree 110) by meta-learning.
  • the pilot formulates a compromise, captured by a man-machine interface, between three objectives which can be at least partially antagonistic: the efficiency of the flight (result achieved or expected versus a given objective), the endurance of the aircraft (eg representative of the level of material stress) and the safety of the flight or the mission.
  • Some compromises may not make sense, but there are a number of solutions (almost continuous). Being totally efficient, for example, would be to the detriment of flight safety (by taking reckless risks).
  • the pilot may prioritize the endurance of his aircraft (called to fulfill other missions) first, then flight safety, over the effectiveness of the mission.
  • the number of intentions will depend (in particular) on the field, on the operational needs and on the context of use. Those intentions can be independent or keep an antagonistic relationship, partially decoupled, linear or non-linear proportional, etc.
  • FIG. 4 illustrates a possible generalization of the invention.
  • a machine-to-human translation white box 410 can set, or adjust, or otherwise optimize 421 the parameters of a human-to-machine translation black box 420.
  • the black box 420 can include one or more white boxes 421, which can symmetrically control one or more black boxes 422 within the white box 410.
  • the white boxes and the black boxes can be arranged in very different ways: e.g. in series, in parallel, in competition, in congruence, etc. Arrangement schemes or patterns can follow graphs, be hierarchical, formed in a "fractal" way (recurrence of a pattern), etc. Part of the calculation concerning one or more parameters of which it is advantageous if they are accessible to human intelligence could thus be the subject of one or more white boxes (of which the perimeter is sufficient, ie a few calculation steps in upstream and / or downstream), while calculations which may escape intelligibility (eg millions of correlations, etc.) may remain inaccessible ie in black box (s).
  • the perimeters can be scalable, even adaptive: a black box can be "open” to a white box (at least partially) and vice versa.
  • Cross-learning can be carried out on different parts of the calculation steps and / or of the hyper-parameters and / or of the inputs / outputs of the black or white boxes.
  • the man-machine interaction according to the invention 15 can be variously sophisticated.
  • a method according to the invention can comprise one or more feedback loops (eg downstream feedback on the upstream, feedforward, etc.).
  • a feedback loop can be “closed”, that is to say inaccessible to human control (it is executed by the machine). It can be “open” (eg display step in a man-machine interface, validation or any other human confirmation system).
  • Different embodiments can lead to different implementations by closing, respectively by opening, one or more open loops, respectively closed.
  • the method according to the invention can invoke only open feedback loops (ie the pilot intervenes at all stages), or else only closed feedback loops (eg total automation), or else a combination of two (the human contribution being variable or configurable).
  • the process (which can be "artificial intelligence") can be interpreted as "transparent", in the sense of controllable.
  • the display may concern intermediate calculation results, information relating to root causes, and / or the calculation context. In this way, the process can be considered “explicable”.
  • the system comprises avionic flight management means of the Flight Management System type and / or non-avionic means of the Electronic Flight Bag (or "electronic bag") type and / or augmented reality means. and / or virtual.
  • the AR means comprise in particular systems of the FIUD ("Flead Up Display” type head-up display) type and the VR means in particular include systems of the EVS ("Enhanced Vision System”) or SVS ("Synthetic Vision System”) type. ").
  • the individual display means can comprise an opaque virtual reality headset or a semi-transparent augmented reality headset or a configurable transparency headset, projectors (pico-projectors for example, or video projectors to project the simulation scenes) or even a combination of such devices.
  • the individual display headset can be a virtual reality headset (VR or VR in English), or an augmented reality headset (AR or AR in English) or high aim, etc.
  • the helmet can therefore be a "head-mounted display", a "wearable computer”, “glasses", a head-mounted display, etc.
  • the information displayed can be entirely virtual (displayed in the individual helmet), entirely real (for example projected onto the flat surfaces available in the actual cockpit environment) or a combination of the two (partly a virtual display superimposed or merged with the reality and partly a real display via projectors).
  • the device comprises means for selecting one or more portions of the virtual display.
  • the pointing of the man-machine interfaces (HMI) or of portions of these interfaces or information can be accessible via different devices, for example a pointing device of the “mouse” type or a designation based on a manual pointing; via acquisition interfaces (button, wheel, joystick, keyboard, remote control, motion sensors, microphone, etc.), via combined interfaces (touch screen, force feedback control, gloves or glove, etc.).
  • HMI man-machine interfaces
  • the man-machine interfaces can in fact include one or more selection interfaces (menus, pointers, etc.), graphical interfaces, voice interfaces, gesture and position interface.
  • the information and menus are selected using a designation system (for example by pointer, via a mouse and / or a trackpad and / or a joystick, by voice command, etc.) completed by if necessary by a detection of the direction of the gaze incorporated in the semi-transparent helmet.
  • the selection of these screens can be performed by one or more head movements.
  • a device may include a communication bus to which a central processing unit or microprocessor (CPU, acronym for “Central Processing Unit”) is connected, which processor can be "multi-core” or “many-core” read-only memory (ROM, acronym for "Read On ly Memory” in English) which may include the programs necessary for the implementation of the invention; a random access memory or cache memory (RAM, acronym for "Random Access Memory” in English) comprising registers suitable for storing variables and parameters created and modified during the execution of the aforesaid programs; and a communication interface or I / O (I / O acronym for “Input / ouput”) suitable for transmitting and receiving data.
  • CPU central processing unit
  • ROM read-only memory
  • RAM Random Access Memory
  • the corresponding program (that is to say the sequence of instructions) can be stored in or on a storage medium removable (for example an SD card, or mass storage such as a hard disk eg an SSD) or non-removable, volatile or non-volatile, this storage medium being partially or totally readable by a computer or a processor.
  • a storage medium for example an SD card, or mass storage such as a hard disk eg an SSD
  • non-removable, volatile or non-volatile this storage medium being partially or totally readable by a computer or a processor.
  • Reference to a computer program which, when executed, performs any of the functions described above, is not limited to an application program running on a single host computer. Rather, the terms computer program and software are used herein in a general sense to refer to any type of computer code (eg, application software, firmware, firmware, or any other form of computer code).
  • the computing means or resources can in particular be distributed (“Cloud computing”), possibly with or according to peer-to-peer and / or virtualization technologies.
  • Software code can be executed on any suitable processor (e.g., microprocessor) or processor core, or a set of processors, whether provided in a single computing device or distributed among multiple computing devices (e.g. example such as possibly accessible in the environment of the device).
  • Security technologies crypto-processors, possibly biometric authentication, encryption, smart card, etc. can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Physiology (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Le document concerne des systèmes les procédés pour un dialogue homme- machine amélioré, comprenant des traductions bidirectionnelles notamment par la traduction de commandes par l'homme sous forme manipulable pour la machine, et inversement de résultats produits par la machine sous forme intelligible par l'homme. Des développements décrivent notamment l'affichage de parties de raisonnements intermédiaires poursuivis par la machine (e.g. explicitation de causes racines).

Description

DESCRIPTION
Titre de l’invention : Communication bidirectionnelle homme-machine [0001] Domaine de l’invention
[0002] L’invention concerne le domaine technique des interfaces homme-machine, et décrit plus particulièrement des exemples de systèmes et de procédés de dialogue homme-machine.
[0003] Etat de la Technique
[0004] En aéronautique, la communication entre le pilote et les systèmes complexes embarqués est conçue et construite pour augmenter la performance opérationnelle et la gestion du risque de la mission. La notion de risque se décline parfois en prise de risque associé à une action donnée, que ce risque soit subi, imposé ou consenti.
[0005] Dans une certaine mesure, le risque peut être quantifié ou objectivé (e.g. à partir de mesures), par exemple positionné sur une échelle graphique. La notion de risque peut en effet s’appuyer sur des piliers ou facteurs plus quantifiables et mesurables. En particulier, ces facteurs peuvent correspondre à des intentions d’action, ou à des préoccupations induites par le contexte (absence ou limite de maîtrise des contraintes).
[0006] Dans le cadre des interactions avec des systèmes complexes (désigné par « la machine » ou « les machines »), de nombreux problèmes techniques peuvent se poser. Un des problèmes technique à résoudre peut résider dans le fait de faire « comprendre » à un système complexe les intentions du pilote, afin de produire une réponse technique adaptée. Cette réponse doit notamment être adaptée au contexte et être compréhensible par le pilote.
[0007] Différents travaux en psychologie peuvent éclairer les choix techniques avantageux dans le pilotage de systèmes complexes. Des travaux d’Amalberti [2011] permettent notamment de définir le concept de « compromis cognitif » chez le pilote d’aéronef. Il s’agit d’un contrôle de l’activité établi sur un compromis permanent {e. g. négocié en continu) sous-tendu par les contraintes temporelles de l’activité dynamique entre le risque externe encouru (menace environnementale) et le risque interne de ne pas réaliser le processus en cours (compétences pour l’aspect cognitif et/ou stress/fatigue pour l’aspect physiologique). [0008] Dans l’aéronautique contemporaine, un pilote adopte et s’adapte à des niveaux d’abstractions variés, en vue d’interagir avec les systèmes complexes embarqués dans son cockpit. Cependant, ces niveaux d’abstraction ne correspondent pas toujours directement à des entrées évidentes pour le système technique. C’est le cas lorsque le niveau d’abstraction adopté est celui des intentions. Chaque intention est conditionnée par l’objectif de la mission à réaliser, l’environnement, la situation tactique et l’état des systèmes. Elle conduit alors le pilote à « traduire » les intentions en termes techniques (c’est-à-dire en « langage » machine, e.g. une suite d’opérations) et ainsi à construire une combinaison d’instructions à destination du système.
[0009] Ce type de traductions vers et depuis les machines complexes peut devenir excessivement acrobatique voire impossible lorsque le pilote doit gérer de nombreux systèmes (notamment sous fortes contraintes temporelles), et a fortiori sous forte charge cognitive, ce qui peut conduire à des situations à risque.
[0010] La littérature scientifique et la littérature brevet décrivent peu de solutions satisfaisantes à ces problèmes techniques, essentiellement liés aux difficultés rencontrées dans les interactions entre l’homme et la machine.
[0011] Il existe un besoin pour des systèmes et des procédés avancés pour des interactions homme-machine, et notamment une communication bidirectionnelle.
[0012] Résumé de l’invention
[0013] Le document décrit des systèmes et procédés pour une communication bidirectionnelle homme - machine, notamment capable de capturer ou recevoir ou autrement récupérer les intentions (d’action) du pilote et de les traduire en un langage compréhensible par le système (alors dit « intelligent »). Réciproquement, les systèmes et procédés selon l’invention rendent compréhensible par l’homme les solutions calculées par le système. A mesure des interactions, la confiance dans le système de communication peut se renforcer.
[0014] Pour assurer une communication bidirectionnelle et efficace entre l’homme et la machine complexe, il est avantageux de capturer ou de récupérer les intentions du pilote et de traduire ces données dans un langage compréhensible par la machine. Dans le même temps, il est également avantageux d’analyser les solutions fournies par le système et de les rendre compréhensibles par l’homme. De la sorte le niveau de confiance peut être progressivement construit. Dit autrement, des systèmes et des procédés selon l’invention sont avantageux pour le dialogue homme-machine peuvent en particulier réduire l’écart sémantique entre le niveau d’abstraction de l’opérateur (dit de haut niveau) et celui du système (dit de bas niveau).
[0015] Dans un mode de réalisation, il est décrit un communicateur bidirectionnel pour optimiser un dialogue ou une interaction (succession d’actions et d’affichage d’informations issues de calculateurs notamment à partir de capteurs) entre un opérateur et un système complexe.
[0016] Dans un mode de réalisation, l’utilisation d’un ou de plusieurs « approximateurs » universels peut se révéler avantageuse pour réaliser les fonctions de traduction ascendante et descendante. Dans un mode de réalisation avantageux, le réglage du traducteur ascendant est réalisé par apprentissage supervisé sur la base de recueil de connaissances opérationnelles. Le réglage du traducteur descendant peut quant à lui être réalisé par apprentissage renforcé mettant en oeuvre le système complexe et le traducteur ascendant précédemment réglé.
[0017] Dans un mode de réalisation, les systèmes et procédés pour une communication bidirectionnelle homme-machine peut intégrer et utiliser une pluralité de traducteurs (e.g. ascendants et/ou descendants, congruents ou mis en concurrence, arrangés en série et/ou en parallèle) entre l’opérateur et le système complexe.
[0018] Ces traducteurs peuvent notamment être utilisés de manière indépendante (par exemple selon le besoin opérationnel e.g. contrôle du traducteur descendant, contrôle du traducteur ascendant pour une explicabilité de la réponse du système).
[0019] Les systèmes et procédés avancés décrits dans ce document peuvent être avantageux dans de nombreux domaines techniques nécessitant des interactions entre hommes et machines (e.g. construction BTP, médecine, systèmes d’aide à la décision économique, etc.). L’adaptation des systèmes et procédés selon l’invention à un nouveau domaine technique pourra par exemple se servir de nouvelles HLOM (métriques à haut niveau d’abstraction e.g. intentions) et LLOM (métriques opérationnelles de bas niveau). [0020] Avantageusement, les procédés et systèmes selon l’invention peuvent servir à contrôler en continu la synergie du couple humain / machine.
[0021] Avantageusement, les procédés et systèmes selon l’invention peuvent concerner différentes phases de préparation, modification, évaluation ou déroulement de la mission, pendant lesquelles le niveau de complexité est élevé.
[0022] Avantageusement, les procédés et systèmes selon l’invention peuvent mettre en oeuvre des interactions naturelles, moins coûteuses en ressources cognitives, et capables d’établir un bon niveau de confiance entre l’homme et la machine.
[0023] Avantageusement, les procédés et systèmes selon l’invention peuvent être utilisés dans tout autre domaine pour la gestion des systèmes complexes, par exemple notamment pour le contrôle de voiture autonome, la gestion des services des senseurs dans la surveillance aéroportée, les interactions avec un assistant virtuel, etc.
[0024] Avantageusement, les procédés et systèmes selon l’invention peuvent permettre au pilote de ne pas outrepasser le niveau de risque imposé par la hiérarchie (e.g. sécurité des vols et gestion du risque opérationnel).
[0025] Avantageusement, les procédés et systèmes selon l’invention peuvent permettre au pilote de détecter d’éventuelles divergences entre sa propre représentation mentale de la situation (ses intentions) et celle de son partenaire numérique.
[0026] Avantageusement, l’utilisation d’approximateurs universels permet de capturer des fonctions de traductions par apprentissage automatique (alors que la complexité croissante des systèmes rend en soi très délicate un réglage manuel des fonctions de traduction).
[0027] Avantageusement, l’utilisation de logique floue permet de manipuler des données à haut niveau d’abstraction.
[0028] Avantageusement, l’utilisation d’arbres de décisions permet d’évaluer et de comprendre les propositions calculées par les machines.
[0029] Description des figures
[0030] D’autres caractéristiques et avantages de l’invention apparaîtront à l’aide de la description qui suit et des figures des dessins annexés dans lesquels : [0031] La [FIG. 1] illustre l’état de la technique du dialogue homme-machine ;
[0032] La [FIG. 2] illustre quelques principes généraux de l’invention ;
[0033] La [FIG. 3] illustre un exemple d’arbre de décision à logique floue utilisé dans un mode de réalisation de l’invention ;
[0034] La [FIG. 4] illustre une généralisation possible de l’invention.
[0035] Description détaillée de l’invention [0036] Aéronef
[0037] Selon les modes de réalisation de l’invention, un « aéronef » peut être un drone, ou un avion commercial, ou un avion de fret, ou bien encore un hélicoptère, embarquant ou non des passagers, ou tout élément étant susceptible d’être télé piloté (par liaison radio, satellite, ou autre), au moins partiellement (de manière intermittente, ou périodique, ou même opportuniste au cours du temps).
[0038] Niveaux d’abstraction
[0039] Les modes de réalisation des systèmes et procédés selon l’invention visent à fournir au pilote un outil de communication permettant de transmettre des consignes de haut niveau à un système complexe (sens descendant, ou premier sens) et à l’inverse (sens remontant, ou deuxième sens selon une axiologie homme-machine), de présenter de manière compréhensible le mode de fonctionnement proposé.
[0040] Les niveaux d’abstraction manipulés par l’invention peuvent être divers. Par convention, on dénombrera N niveaux d’abstraction (cascade ou emboîtements de termes).
[0041] Dans un mode de réalisation N=5. Par exemple, des travaux de Rasmussen dans le domaine de l’interaction homme-machine sont connus en science de la conception. Ces travaux permettent de classer un objet ou une fonction selon une hiérarchie établie sur 5 niveaux d’abstraction. Le plus bas de ces niveaux désigne celui des formes physiques (solution technique/design). Les niveaux intermédiaires portent sur des processus physiques (interaction / traitement de l’information), des fonctions générales et des fonctions abstraites (schémas ou modes opérations). Enfin, le niveau d’abstraction le plus élevé est celui des objectifs fonctionnels et des intentions. Un objectif fonctionnel désigne ce pourquoi l’information est conçue (par exemple « je veux détecter et me protéger en même temps »). Une fonction abstraite désigne des modes opératoires et des schémas connus ou envisagés (par exemple les ondes électromagnétiques du radar et du brouilleur se perturbent). Une fonction générale désigne les informations qui s’appuient sur le potentiel technique d’un objet (par exemple, je veux une fonction qui optimise par un compromis la détection radar et le brouillage). Un processus physique désigne un type d’interaction et de traitement de l’information (selon le contexte je veux choisir entre un mode unique radar un mode unique brouillage est un compromis des deux). Une forme physique concerne la forme de l’information (symbologie).
[0042] Dans certains modes de réalisation, le procédé manipule des données HLOM, LLOM, MLOM et LLTP, acronymes qui seront développés plus loin.
[0043] Approximateur universel
[0044] Un « approximateur universel » désigne généralement un réseau de neurones. Un réseau de neurones est en effet capable d'imiter pratiquement n'importe quel processus, après ajustement de ses paramètres par apprentissage. En termes mathématiques, toute fonction bornée suffisamment régulière peut être approchée avec une précision arbitraire, dans un domaine fini de l'espace de ses variables, par un réseau de neurones comportant une couche de neurones cachés en nombre fini, possédant tous la même fonction d'activation, et un neurone de sortie linéaire. Cette propriété n'est pas spécifique des réseaux de neurones : bien d'autres familles de fonctions paramétrées possèdent cette propriété. La spécificité des réseaux de neurones réside dans le caractère « parcimonieux » de l'approximation : à précision égale, les réseaux de neurones nécessitent moins de paramètres ajustables que les autres approximateurs connus.
[0045] Apprentissage automatique
[0046] Différents algorithmes d’apprentissage peuvent être utilisés, en combinaison avec les caractéristiques selon l’invention. Le procédé peut comprendre un ou plusieurs algorithmes (e.g. mis en concurrence) parmi les algorithmes comprenant: les "machines à vecteur de support" ou "séparateurs à vaste marge" (en anglais « Support Vector Machine », acronyme SVM); le « boosting » (classifieurs); les réseaux de neurones (en apprentissage non-supervisé); les arbres de décision ("Random Forest"), les méthodes statistiques comme le modèle de mixture gaussienne; la régression logistique; l'analyse discriminante linéaire; et les algorithmes génétiques.
[0047] Les tâches d'apprentissage automatique sont généralement classées en deux grandes catégories, selon qu'il existe un "signal" ou des entrées d'apprentissage ou des "retours d'information" ou « sorties disponibles ».
[0048] L’expression « apprentissage supervisé » désigne une situation dans laquelle il est présenté à l’ordinateur des exemples d'entrées et des exemples de sorties (réelles ou souhaitées). L’apprentissage consiste alors en l’identification d’un entrelacs de règles fait correspondre les entrées aux sorties (ces règles peuvent être compréhensibles ou non pour l’homme).
[0049] L’expression «apprentissage semi-supervisé» désigne une situation dans laquelle l'ordinateur ne reçoit qu'un ensemble de données incomplet: par exemple il existe des données de sortie manquantes.
[0050] L’expression « apprentissage par renforcement» consiste à apprendre les actions à prendre, à partir d'expériences, de façon à optimiser une récompense quantitative au cours du temps. Au travers d'expériences itérées, un comportement décisionnel (appelé stratégie ou politique, qui est une fonction associant à l'état courant l'action à exécuter) est déterminé comme étant optimal, en ce qu'il maximise la somme des récompenses au cours du temps.
[0051] L’expression « apprentissage non supervisé» (également appelé apprentissage approfondi ou apprentissage profond) désigne une situation dans laquelle aucune annotation n’existe (pas de libellé, pas de description, etc), laissant l'algorithme d'apprentissage seul pour trouver une ou plusieurs structures, entre entrées et sorties. L'apprentissage non-supervisé peut être un objectif en soi (découverte de structures cachées dans les données) ou un moyen de parvenir à un objectif (apprentissage par les fonctionnalités).
[0052] Selon les modes de réalisation, la contribution humaine dans les étapes d'apprentissage automatique peut varier. Dans certains modes de réalisation, l'apprentissage automatique est appliqué à l'apprentissage automatique lui-même (réflexif). L'ensemble du processus d’apprentissage peut en effet être automatisé, notamment en utilisant plusieurs modèles et en comparant les résultats produits par ces modèles. Dans la plupart des cas, les humains participent à l’apprentissage automatique («Human in the loop »). Les développeurs ou curateurs sont responsables de la maintenance des amas de données: ingestion de données, nettoyage des données, découverte de modèles etc.
[0053] L’apprentissage automatique peut correspondre à des architectures matérielles qui sont émulables par ordinateur (e.g. CPU-GPU), mais parfois non (des circuits dédiés à l’apprentissage peuvent exister).
[0054] Différents algorithmes d’apprentissage peuvent être utilisés. Le procédé peut comprendre un ou plusieurs algorithmes parmi les algorithmes comprenant: les "machines à vecteur de support" ou "séparateurs à vaste marge" (en anglais « Support Vector Machine », acronyme SVM); le « boosting » (classifieurs); les réseaux de neurones (en apprentissage non-supervisé); les arbres de décision ("Random Forest"), les méthodes statistiques comme le modèle de mixture gaussienne; la régression logistique; l'analyse discriminante linéaire ; et les algorithmes génétiques.
[0055] Matériellement, selon les modes de réalisation, le procédé selon l’invention peut être mis en oeuvre sur ou par un ou plusieurs réseaux de neurones. Un réseau de neurones selon l’invention peut être un ou plusieurs réseaux de neurones choisis parmi les réseaux de neurones comprenant : a) un réseau de neurones artificiels (en anglais « feedforward neural network »; b) un réseau de neurones artificiels acyclique, e.g. un perceptron multicouche, se distinguant ainsi des réseaux de neurones récurrents ; c) un réseau de neurones à propagation avant ; d) un réseau de neurones de Hopfield (un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone, un seul neurone étant mis à jour à chaque unité de temps) ; e) un réseau de neurones récurrents (constitué d'unités interconnectées interagissant non-linéairement et pour lequel il existe au moins un cycle dans la structure) ; f) un réseau neuronal convolutif (en anglais « CNN » ou « ConvNet » pour « Convolutional Neural Networks », un type de réseau de neurones artificiels acycliques feedforward, par empilage multicouche de perceptrons) ou g) un réseau antagonistes génératifs (en anglais « generative adversarial networks » acronymes GANs, classe d'algorithmes d'apprentissage non-supervisé)
[0056] Logique floue [0057] La logique floue (« fuzzy logic », en anglais) est une logique polyvalente où les valeurs de vérité des variables - au lieu d'être vrai ou faux - sont des réels entre 0 et 1. En ce sens, elle étend la logique booléenne classique avec des valeurs de vérités partielles. Le degré de vérité d'une relation floue entre deux ou N objets est le degré d'appartenance de la paire ou du N-uple à l'ensemble flou associé à la relation.
[0058] Avantageusement, l’utilisation de logique floue entraîne avec elle l’utilisation de mots d’un dictionnaire, lequel peut généralement être exprimé en langage naturel (interface avantageuse dans les interfaces homme-machine)
[0059] Système d’inférence à logique floue FIS
[0060] Un « Fuzzy Inference System » (FIS) est un système qui utilise la logique floue pour établir la correspondance entre des données d’entrée (features) à des données de sorties (classification) ou des sorties continues (régression). Le choix de la méthode de défuzzification impliquera soit une classification (sortie discrète), soit une régression (sortie continue).
[0061] Les systèmes d'inférence floue prennent les entrées et les traitent en fonction de règles prédéfinies pour produire les sorties. Tant les entrées que les sorties ont une valeur réelle, tandis que le traitement interne est basé sur des règles floues et une arithmétique floue.
[0062] Un FIS utilise généralement six étapes (déterminer des règles floues, rendre floues des entrées par les classes d’appartenance, combiner des entrées floues en fonction de ces règles floues, déterminer une ou plusieurs conséquences de l’application des règles, combiner les conséquences en une distribution de sortie, rendre non-floue ladite distribution).
[0063] Système d'inférence flou adaptatif AN-FIS
[0064] Dans un mode de réalisation optionnel, le procédé selon l’invention peut utiliser un système ANFIS, en complément ou en substitution d’arbres de décision flous.
[0065] Un système d'inférence flou adaptatif ou système d'inférence floue basé sur un réseau adaptatif (ANFIS) est un type de réseau neuronal artificiel qui est basé sur le système d'inférence floue Takagi-Sugeno. La technique a été développée au début des années 1990. Intégrant à la fois des réseaux de neurones et de la logique floue, elle permet de capturer les avantages des deux approches dans un cadre unique. Son système d'inférence correspond à un ensemble de règles IF-THEN floues qui ont une capacité d'apprentissage pour approcher des fonctions non linéaires. Un ANFIS est donc considéré comme un approximateur universel. Pour utiliser l'ANFIS de manière plus efficace et optimale, il est avantageux d’utiliser les meilleurs paramètres obtenus par algorithmie génétique.
[0066] Algorithmes génétiques
[0067] Un algorithme génétique appartient à la famille des algorithmes évolutionnistes, dont le but est d'obtenir une solution approchée à un problème d'optimisation lorsqu'il n'existe pas de méthode exacte (ou que la solution est inconnue) pour le résoudre en un temps raisonnable. Les algorithmes génétiques utilisent la notion de sélection naturelle et l'appliquent à une population de solutions potentielles au problème donné.
[0068] Un algorithme génétique comprend généralement au moins trois étapes (sélection, évaluation, génération par sélection et/ou mutation).
[0069] Dans une première étape, une population de base est déterminée (e.g. générée ou sélectionnée). Les N jeux de paramètres (aussi appelé individus) sont initialisés, par exemple à une valeur aléatoire. Indifféremment, la population de départ peut aussi être reçue d’un système tiers, ou résulter d’une sélection parmi un ensemble d’individus. En particulier, l’initialisation de la boucle génétique peut prendre en entrée la sortie de cette même boucle génétique ».
[0070] Dans une deuxième étape, la population est évaluée. A l’aide d’outils de simulation, on réalise par exemple un grand nombre de calcul de trajectoire (en général plusieurs millions voir milliards, plus le nombre est grand plus le résultat obtenu est juste mais plus le temps de simulation est allongé) pour chacun des N jeux de paramètres puis on évalue chacun de ces jeux avec la fonction d’évaluation f. Dans l’exemple considéré, on pourra choisir de simuler toutes les routes existantes dans la base de données des procédures, avec un certain nombre de jeux de prédictions. Dans une troisième étape, les meilleurs individus sont sélectionnés pour la prochaine itération. On pourra par exemple retenir les 20% d’individus avec la meilleure évaluation. On peut également décider de conserver aléatoirement 5% du reste de la population, pour conserver de la diversité. Différents modes de sélection sont envisageables (e.g. seuillage, plages de seuils, fonctions analytiques, etc).
Dans un mode de réalisation, les k échantillons ayant le meilleur score (e.g. k < 50) sont sélectionnés, k étant reçu ou calculé. Dans un mode de réalisation, k est prédéfini. Dans un mode de réalisation, seuls les échantillons présentant un score supérieur à un seuil prédéfini sont conservés (par exemple les k échantillons ayant un score supérieur à 70%, si le score est compris entre 0 et 100%). Dans un mode de réalisation, un ou plusieurs des seuils utilisés sont fonction de l’itération de l’algorithme (sélectivité croissante). Dans un mode de réalisation, la sélection se fait par une méthode de «roue biaisée»: les échantillons sont sélectionnés proportionnellement à leur score (plus d’échantillons à haut score sont sélectionnés qu’à bas score). Dans un mode de réalisation, les B meilleurs scores sont conservés l’office. Tous ces modes de réalisation peuvent être combinés entre eux (sélection paramétrique, sélection par fonctions analytiques de manière algorithmique).
[0071] Dans une étape ultérieure, il est effectué un ou plusieurs croisement(s)/mutation(s). A cette étape il s’agit de compléter la population afin de conserver une population constante. Ce complément peut être réalisé de différentes manières. Un croisement consiste à créer de nouveaux individus à partir d’autres individus. Par exemple pour deux individus avec 4 paramètres ou « gènes » [a, b, c, d] et [a’, b’, c’, d’] on peut obtenir [a, b, c’, d’] et [a’, b’, c, d]. Les croisements peuvent par exemple se faire par paire (e.g. en choisissant aléatoirement deux échantillons (« père », « mère ») qui sont croisés pour obtenir deux nouveaux échantillons (« enfants »). Dans un mode de réalisation, la méthode de croisement est un croisement à point multiple. Dans un mode de réalisation, la méthode de croisement est un croisement à un point. Une mutation consiste à modifier aléatoirement un individu de la population, par exemple en modifiant la valeur d’un des paramètres d’un individu à une nouvelle valeur aléatoire dans le domaine défini. Par exemple pour un individu avec 4 gènes ou paramètres [a, b, c, d] devient [a, e, c, d]. Les mutations peuvent se faire par sélection au hasard d’un gène et remplacement par un autre gène. Par exemple, dans un mode de réalisation, le taux de mutation peut être fixé à m% (entre 0,01 et 2%), et le changement de gène suit une loi uniforme.
[0072] Dans une étape ultérieure, il est déterminé si la boucle est continuée (e.g. rebouclée, réitérée), ou bien arrêtée. A cette étape, il s’agit de décider si un optimum a été trouvé et dans ce cas considérer l’individu avec la meilleure fonction d’évaluation comme le jeu de paramètres optimum. Dans le cas contraire, les calculs continuent. En général un optimum est trouvé si la moyenne de la fonction d’évaluation de tous les individus est proche de la meilleure fonction d’évaluation d’un individu. Une alternative peut être de considérer simplement une valeur donnée à partir de laquelle le score de la population est jugé satisfaisant. Le meilleur jeu de paramètres est donc alors déterminé.
[0073] Dans une étape ultérieure, le meilleur jeu de paramètres est validé (ou pas) et la performance est quantifiée. A cette étape, on dispose d’un jeu de paramètre optimal (meilleur individu trouvé à la 5ème sous-étape). On dispose également de l’ensemble des simulations de ce jeu de paramètres ce qui permet de caractériser la performance du produit. Si la performance du produit est jugée conforme cela valide le jeu de paramètre ; dans le cas contraire, il sera possible d’analyser les causes de ces erreurs et envisager de revoir les logiques et pourquoi pas d’introduire de nouveaux paramètres qu’il faudra régler en recommençant la recherche.
[0074] Arbres de décision à logique floue (GFT)
[0075] Dans un développement, l’apprentissage automatique comprend un arbre de décision génétique à logique floue GFT.
[0076] Dans un développement, l’apprentissage automatique comprend la mise en oeuvre d’un algorithme génétique (2211), lequel génère le réglage des GFT utilisés dans les traducteur remontant et descendant, à savoir le réglage des fonctions d’appartenance et des bases de règles floues de chaque FIS composant le GFT, et ce en décomposant fonctions d’appartenance et bases de règles en une pluralité de gènes associés, puis à les mélanger aléatoirement et/ou remplacer aléatoirement un ou plusieurs gènes par d’autres. Avantageusement, on pourra également encoder dans les gènes la structure même de l’arbre GFT est ainsi l’optimiser via l’algorithme génétique.
[0077] L’utilisation de logique floue dans un FIS (Fuzzy Inference System) permet d’élaborer des ordres de contrôles en fonction d’entrées. Ces ordres sont élaborés par des lois « linéaires » (a minima), dépendant de « paramètres de contrôle ». L’étape consistant à déterminer des ordres à destination du FMS/AP peut être guidée ou gouvernée ou encadrée par un ensemble de contrôle de logique floue. [0078] Dans un mode de réalisation, l’apprentissage automatique peut permettre de régler au mieux (ou optimiser) les paramètres de contrôle des FIS, de façon à ce que le score de réussite de la mission soit le plus élevé possible (calculé par une fonction de fitness).
[0079] Les FIS ou GFT (FIS organisés en arbre) interviennent par certains aspects comme le ferait un pilote connaissant son aéronef : le pilote finit par connaître les ordres à élaborer pour avoir un résultant optimal en regard de la mission.
[0080] Un ensemble arborescent de FIS peut donc être utilisé pour élaborer l’ensemble des paramètres associés aux éléments unitaires.
[0081] L’utilisation de mécanismes génétiques permet de faire varier les paramètres internes de contrôle des différentes logiques floues et d’aboutir à un ensemble optimisé pour l’ensemble des missions considérées.
[0082] Dans un mode de réalisation de l’invention, l’algorithme de contrôle peut se fonder sur un réseau de neurones. Le cas échéant, l’apprentissage s’effectue par rétro-propagation de gradient, de manière à optimiser les pondérations des différents neurones impliqués. Dans un mode de réalisation, en l’espèce, la sortie de chaque neurone en couche terminale peut correspondre respectivement aux ordres d’orientation et de vitesse de chaque élément unitaire (à l’instar de ce qui est proposé pour l’algorithme de type GFT).
[0083] « Boites noires » versus « boites blanches »
[0084] Une boite noire, entre une ou plusieurs entrées et une ou plusieurs sorties, désigne un procédé dont l’accès aux données intermédiaires et/ou règles de calcul n’est pas possible, ou, le cas échéant, ne peut pas être directement intelligible à l’homme.
[0085] Une boite blanche désigne un procédé dont les données intermédiaires et/ou règles de calcul sont accessibles et directement intelligible à l’homme.
[0086] Algorithme génétique
[0087] Dans un mode de réalisation, le procédé utilise un ou plusieurs algorithmes génétiques. Un algorithme génétique manipule itérativement un ensemble de vecteurs de variables réelles à l'aide d'opérateurs de mutation, de sélection et de croisement (« Crossing over »). Un algorithme génétique manipule itérativement un ensemble de vecteurs de variables réelles à l'aide d'opérateurs. Une étape de mutation est effectuée par l'ajout d'une valeur aléatoire tirée au sein d'une distribution qui est généralement normale. La sélection s'effectue par un choix déterministe des meilleurs individus, ou une recombinaison, selon l'échelle de valeur d’une fonction objectif. L’utilisation d’un opérateur de recombinaison permet généralement d'éviter d'être piégé dans des optimums locaux.
[0088] Arbres de décision à logique floue GFT (Genetic Fuzzy Trees)
[0089] L’apprentissage par arbre de décision désigne une méthode basée sur l'utilisation d'un arbre de décision comme modèle prédictif.
[0090] En analyse de la décision, un arbre de décision peut être utilisé pour représenter de manière explicite les décisions réalisées et les processus qui les amènent. C'est une technique d'apprentissage supervisée : on utilise un ensemble de données pour lesquelles on connaît la valeur de la variable-cible afin de construire l'arbre (données dites étiquetées), puis on extrapole les résultats à l'ensemble des données de test.
[0091] L'arbre est en général construit en séparant l'ensemble des données en sous- ensembles en fonction de la valeur d'une caractéristique d'entrée. Ce processus est répété sur chaque sous-ensemble obtenu de manière récursive, il s'agit donc d'un partitionnement récursif.
[0092] Certaines techniques, appelées méthodes d'ensembles (ensemble methods), améliorent la qualité ou la fiabilité de la prédiction en construisant plusieurs arbres de décision depuis les données (e.g. ensachage, classification par forêts d'arbres aléatoires, boosting d'arbre de classification et de régression, classification par rotation de forêts d'arbres de décision, etc).
[0093] Les arbres de décision sont parfois combinés entre eux ou à d'autres techniques d'apprentissage. Des procédures d'agrégation des performances des différents modèles utilisés (telles que les décisions par consensus), sont mises en place pour obtenir une performance maximale, tout en contrôlant le niveau de complexité des modèles utilisés.
[0094] Les arbres de décision correspondent à un modèle boîte blanche : si l'on observe une certaine situation sur un modèle, celle-ci peut être expliquée à l'aide de la logique booléenne, au contraire de modèles boîte noire comme les réseaux neuronaux, dont l'explication des résultats est difficile à comprendre.
[0095] Les arbres de décision présentent de nombreux avantages : peu de préparation des données (pas de normalisation, de valeurs vides à supprimer, ou de variable muette); gestion des valeurs numériques et des catégories.
[0096] Avantageusement, des algorithmes évolutionnistes peuvent être utilisés pour éviter les séparations amenant à des optimums locaux.
[0097] Algorithme CMA-ES
[0098] Dans un mode de réalisation, le procédé utilise un algorithme CMA-ES (acronyme de « Covariance Matrix Adaptation Evolution Strategies »), ou une de ses variantes (e.g. stratégies d'évolution hiérarchiques Meta-ES ou Nested-ED ).
[0099] L'algorithme CMA-ES repose notamment sur l'adaptation, au cours des itérations, de la matrice de variance-covariance de la distribution multi-normale utilisée pour la mutation.
[0100] Les algorithmes de type CMA-ES sont avantageux, en particulier pour les fonctions non-convexe, non-séparables, malformées, multimodales ou bruitées. Des études portant sur l’optimisation de boite noire ont montré que CMA-ES est efficace dans des « conditions difficiles » ou de grands espaces de recherche. Les algorithmes CMA-ES ont aussi été étendus aux problèmes d’optimisation multi- objectifs (MO-CMA-ES).
[0101] Un algorithme CMA-ES comprend notamment un principe de vraisemblance maximale (la matrice de covariance est mise à jour de manière incrémentale de sorte que la vraisemblance des étapes de recherches précédentes soit augmentée).
[0102] Dans d’autres modes de réalisation, l’algorithme CMA-ES peut être remplacé par un algorithme d’estimation des distributions ou des méthodes “Cross-Entropy Method”. Dans d’autres modes de réalisation, l’algorithme CMA-ES peut être remplacé par un “DownhHI simplex method’ ou “Surrogate-based methods”, par des méthodes “BFGS” ou “NEWUOA” ou encore “Multilevel Coordinate Search (MCS)”.
[0103] Optimisation de boîte noire
[0104] Une boite noire n’exhibe pas son contenu (ou son contenu accessible n’est pas intelligible). [0105] L’évaluation peut présenter un coût. Pour les BN simples, il est possible d’échantillonner de manière aléatoire, de manière déterministe ou selon des schémas prédéfinis. Il est aussi possible d’intensifier l’exploration autour d’un point précis ou bien de chercher les frontières.
[0106] Des algorithmes génétiques avec une fonction d’évaluation peuvent avantageusement être utilisés. Ils sont faciles à implémenter et à paralléliser, bien qu’il n’y ait presque pas de théorie quant à la convergence et que les performances soient généralement assez faibles.
[0107] Dans un mode de réalisation, il est décrit un procédé pour un dialogue bidirectionnel homme-machine comprenant les étapes consistant à : - traduire, selon une traduction dite descendante, des commandes dites générales d’un référentiel sémantique prédéfini vers des données d’entrées manipulables par la machine, par un ou plusieurs approximateurs universels, par exemple un ou plusieurs réseaux de neurones et/ou des arbres de décision à logique floue ; et, traduire, selon une traduction dite ascendante, des données brutes de sortie déterminées par la machine, vers des données exprimées dans ledit référentiel sémantique prédéfini, par un ou plusieurs boites blanches comprenant un ou plusieurs arbres de décision à logique floue.
[0108] Dans un mode de réalisation, le procédé peut être appris/optimisé de manière à ce que la traduction ascendante issue d’une commande donnée soit la plus proche de celle naturellement enregistrée (historiques de communications, etc).
[0109] Les commandes peuvent être abstraites ou générales. Une boite noire, entre une ou plusieurs entrées et une ou plusieurs sorties, désigne un procédé dont l’accès aux données intermédiaires et/ou règles de calcul n’est pas possible, ou, le cas échéant, ne peut pas être directement intelligible à l’homme.
[0110] Une boite blanche désigne un procédé dont les données intermédiaires et/ou règles de calcul sont accessibles et directement intelligible à l’homme.
[0111] Un approximateur universel peut être en boite blanche ou en boite noire.
[0112] Selon les modes de réalisation, la traduction descendante comprend au moins une ou plusieurs boites noires. Ces boites noires peuvent être arrangées en série et/ou en parallèle. [0113] La traduction ascendante (ou montante ou remontante) peut aussi utiliser une ou plusieurs boites blanches. La traduction ascendante part des paramètres techniques de sortie du système de systèmes pour arriver à des propositions à haut niveau d’abstraction ; cette traduction est effectuée en utilisant des arbres de décision à logique floue.
[0114] Dans un mode de réalisation, le procédé utilise un algorithme d’optimisation génétique. Un algorithme d’optimisation génétique manipule itérativement un ensemble de vecteurs de variables réelles à l'aide d'opérateurs de mutation et de sélection. Une étape de mutation est effectuée par l'ajout d'une valeur aléatoire tirée au sein d'une distribution qui est généralement normale. La sélection s'effectue par un choix déterministe des meilleurs individus, ou une recombinaison, selon l'échelle de valeur d’une fonction objectif. L’utilisation d’un opérateur de recombinaison permet généralement d'éviter d'être piégé dans des optimums locaux.
[0115] Un arbre de décision à logique floue capture une ou plusieurs logiques métiers.
[0116] Dans un mode de réalisation, le procédé comprend en outre les étapes consistant à : recevoir les données de sortie de la machine en réponse aux données d’entrée; comparer les données à haut niveau d’abstraction entrées capturées par IHM du pilote et les données à haut niveau d’abstraction traduites. Cette étape qualifie ou constitue un cycle { capture, traduction descendante, traduction ascendante, restitution}. Des millions de cycles peuvent être réitérés. Le rendu analogique peut en faire partie (interface et rendu analogique, i.e. jusqu’aux bords de la cognition humaine).
[0117] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à sélectionner des données de sortie parmi plusieurs, par filtrage et/ou seuillage, ou notamment en traversant la traduction ascendante constituée d’arbres de décision à logique floue GFT. Un très grand nombre de solutions correspondant aux sorties brutes peut être produit. Le filtrage de ces solutions peut s’effectuer de différentes manières, notamment en traversant la traduction ascendante (e.g. via le filtrage métier encodé dans les GFTs). Les solutions calculées peuvent être notées ou scorées (seuillage, min-max etc).
[0118] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à contrôler au moins une boite noire par au moins une boite blanche, une boite blanche comprenant un ou plusieurs arbres de décision à logique floue GFT. Dans un mode de réalisation, le procédé manipule en effet une boite blanche et une boite noire.
[0119] Dans un mode de réalisation, l’étape consistant à contrôler un réseau de boites noires descendantes par une boite blanche ascendante comprend l’étape consistant à optimiser ladite boite noire par apprentissage automatique. Dans un mode de réalisation, le procédé manipule en effet une boite blanche (traduction ascendante) contre N boites noires (plusieurs boites noires i.e. un « réseau », selon un arrangement, ou une « pluralité de » boites noires). La boite blanche peut être composée d’une pluralité de boites blanches, en nombre fini, lesquelles boites blanches contrôlent l’optimisation de plusieurs boites noires. La ou les boites blanches (traduction ascendante) « encodent » l’expertise métier spécifique à un domaine d’application. Ces boites blanches sont donc « réglées » (au sens d’une opération manuelle).
[0120] Une boite est dite noire au sens où les pondérations et les états intermédiaires dans des réseaux de neurones ne sont que rarement intelligibles de manière directe au non-expert. La ou les boites noires « encodent » (par apprentissage sur une masse de données observant les activités de nombreux pilotes dans des aéronefs variés) la traduction descendante. Les BN permettent l’injection d’une grande puissance de calcul. Les jugements humains sont engravés dans la machine, mais d’une façon qui n’est généralement pas accessible ou interprétable. Les BN n’encodent pas une expertise métier (application verticale, domaine d’application).
[0121] Le procédé peut donc être « asymétrique » en ce que la traduction descendante en boite noire (gauche) est optimisée par - s’appuie sur - la traduction ascendante (droite), laquelle est réglée avec soin, par l’homme, et qui encode une expertise métier.
[0122] Dans un mode de réalisation, l’asymétrie peut être inversée.
[0123] Le choix de spécifier ou une boite blanche peut (notamment) se justifier par des motivations d’explicabilité (« intelligence artificielle explicable » ou « contrôlable >>)
[0124] Selon les cas, les opérations de traduction peuvent être « apprises » (données massives) ou « réglées » (réglage frugal manuel, cas simples). En réalité, toutes les situations intermédiaires peuvent être observées sur le continuum. L’automatisation peut être plus ou moins poussée et parfois (pragmatiquement) dépasser les capacités humaines de traitement. L’invention apporte l’architecture BN/BB décrite dans le document, et ses différentes options (e.g. modifications des graphes dans les GFT, BN en série et /ou en parallèles, réseaux d’approximateurs).
[0125] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à sélectionner un réseau d’approximateurs universels parmi plusieurs, par apprentissage automatique.
[0126] Dans un mode de réalisation, le procédé manipule en effet N boites blanches et M boites noires. Dans ce type de configuration, à haute intensité computationnelle, les algorithmes peuvent être mis en concurrence, par grappes ou réseaux entiers. La partie machine peut donc être poussée dans ses retranchements. Par exemple, il se peut que les données courantes plaident pour l’utilisation d’un réseau plus efficace que le réseau par défaut.
[0127] Dans un mode de réalisation, l’étape consistant à optimiser le graphe des systèmes d’inférence flous FIS d’un GFT est effectuée par apprentissage automatique.
[0128] Dans un mode de réalisation, un approximateur universel est une fonction paramétrée et/ou un réseau de neurones et/ou un réseau CMA-ES. Un réseau de neurones est un approximateur parcimonieux. L’utilisation d’un réseau CMA-ES est particulièrement avantageuse.
[0129] Dans un mode de réalisation, un apprentissage automatique comprend la mise en oeuvre d’un algorithme génétique, lequel détermine le réglage des arbres de décision flous GFT utilisés dans les traducteurs remontant et/ou descendant, notamment le réglage des fonctions d’appartenance et des bases de règles floues de chaque système d’inférence flou FIS composant l’arbre de décision flous GFT.
[0130] Dans un mode de réalisation, ledit réglage est effectué en décomposant les fonctions d’appartenance et les bases de règles en une pluralité de gènes associés, puis à les mélanger aléatoirement et/ou remplacer aléatoirement un ou plusieurs gènes par d’autres. [0131] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à optimiser par algorithme génétique la structure d’un arbre de décision à logique floue.
[0132] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à actualiser des données courantes relatives à l’aéronef ou son environnement, lesdites données modifiant indépendamment les données des boites blanches et/ou boites noires. La fréquence de rafraîchissement des données peut être variable selon les applications. Le rafraîchissement peut être extrêmement lent, possiblement des années (satellite, robots martiens) mais peut à l’inverse être extrêmement rapide (e.g. trafic routier, intensité d’actions).
[0133] Dans un mode de réalisation, les données courantes sont des données brutes (radar, montage, nuage) et/ou des données de partitions de l’espace (zone pacifique, zone de ravitaillement)...); dont un sous ensemble est envoyé vers la traduction descendante.
[0134] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à accéder à une ou plusieurs valeurs intermédiaires manipulées dans les arbres de décision à logique floue GFT.
[0135] Dans un mode de réalisation, le procédé comprend en outre l’étape consistant à afficher une ou plusieurs valeurs intermédiaires manipulées dans les arbres de décision à logique floue GFT.
[0136] Dans un mode de réalisation, une ou plusieurs des boites blanches de la traduction ascendante sont affichées sur demande dans une interface homme- machine. Les boites blanches peuvent en effet être « dépliables » i.e. affichable sur demande (affichage valeurs intermédiaires, cause racines, etc). Un système d’inférence flou peut être « ouvert », cad affiché ou autrement restitué (par exemple pour voir les règles utilisées, afficher les LLOM, afficher un ou plusieurs niveaux d’abstraction du dialogue, etc).
[0137] Dans un mode de réalisation, la traduction ascendante est réglée par apprentissage supervisé (e.g. les coefficients des réseaux de neurones sont ajustés en considérant un grand nombre de données e.g. une grande quantité de cycles descendant-ascendant-jugement). En l’espèce, il est avantageux d’utiliser un apprentissage supervisé pour l’arbre remontant et par renforcement pour l’arbre descendant.
[0138] Dans un mode de réalisation, la traduction descendante est ajustée ou réglée par apprentissage par renforcement en s’appuyant sur le traducteur ascendant réglé ou appris. Les coefficients des réseaux de neurones et/ou des GFT peuvent notamment être ajustés en considérant un grand nombre de données (une grande quantité de cycles descendant-ascendant-jugement). Avantageusement, il n’y a pas de combinatoire brute-force, l’apprentissage peut conduire à une réduction du nombre d’états, par exemple pour servir à filtrer très en amont et pas seulement à la toute fin (en sus d’un seuillage). LToptimisation boite noire de la traduction descendante prend alors tout son sens.
[0139] Dans un mode de réalisation, les boites noires descendantes sont mises en concurrence.
[0140] Dans un mode de réalisation, un ou plusieurs des résultats de calcul intermédiaires, des informations relatives aux causes racines et/ou du contexte de calcul d’une ou de plusieurs des étapes du procédé font l’objet d’un affichage dans une interface homme-machine. Par exemple, l’affichage peut permettre d’appuyer sur un bouton « pourquoi » ou « expliquer », dont l’actionnement peut déclencher l’affichage d’une ou plusieurs des règles de logique floue appliquées.
[0141] Le procédé selon l’invention traite des données structurées. Des données non structurées (e.g. images, vidéos) peut être intégrées au procédé (un réseau de neurones peut transforme les données non structurées en données structurées). Il est également possible de se « brancher » sur des couches intermédiaires d’un réseau de neurones, des données non structurées mais en nombre réduit par rapport à l’entrée du réseau de neurones).
[0142] Dans un mode de réalisation, un apprentissage automatique est effectué en ligne. Dans un mode de réalisation, l’apprentissage automatique est effectué hors ligne. Les données d’apprentissage peuvent être des données historiques. Dans un mode de réalisation, l’apprentissage automatique est effectué en ligne. En effet, l’apprentissage automatique peut être effectué de manière incrémentale ou en ligne. Quand le modèle est connu (poids stabilisés dans les réseaux de neurones et/ou GFT) et embarqué, il est possible de poursuivre l'apprentissage en flux de données (pour améliorer le modèle existant, sans repartir de zéro). Un apprentissage automatique hors ligne apprend sur un ensemble de données complet tandis qu’un apprentissage en ligne peut continuer d’apprendre (« learning transfert »), de manière embarquée, sans avoir à ré-ingérer les données de départ. Avantageusement, l’apprentissage peut être préalablement effectué (de base, préalable) puis personnalisé sur les données spécifiques à une compagnie ou à un pilote particulier.
[0143] Dans un mode de réalisation, la logique floue utilise des mots d’un dictionnaire fini en langage naturel, i.e. porteurs de sémantique.
[0144] De manière inhérente, l’utilisation de la logique floue implique l’intelligibilité pour le pilote. L’utilisation de la logique floue présuppose l’utilisation de mots en langue naturelle (porteur de sémantique) et d’opérateurs de logique floue, mais pas nécessairement de phrases formées. Dans un mode de réalisation, le procédé selon l’invention ne manipule pas la sémantique, mais des formes syntaxiques ou des règles IF... THEN ... Dans un mode de réalisation, le procédé selon l’invention comprend un module de TAL (descendante ou ascendante).
[0145] Le lexique / champ lexical est prédéfini. Les propositions machine sont exprimées en respectant le champ sémantique du pilote (afin de la rendre compréhensible). Au besoin des sorties de la machine sont forcées sur les mots du dictionnaire utilisé.
[0146] La logique — signifiant à la fois « raison », « langage » et « raisonnement » — est l'étude des règles formelles que doit respecter toute argumentation correcte. La logique exprime par la quantification un large échantillon de propositions du langage naturel. Le pilote peut valider - ou pas - la proposition du système.
[0147] Dans un mode de réalisation, l’apprentissage automatique comprend un ou plusieurs algorithmes sélectionné parmi les algorithmes comprenant: des machines à vecteur de support ou des séparateurs à vaste marge; des classifieurs; des réseaux de neurones; des arbres de décision et/ou des étapes de méthodes statistiques comme le modèle de mixture gaussienne, la régression logistique, l'analyse discriminante linéaire et/ou des algorithmes génétiques. [0148] Dans un mode de réalisation, un ou plusieurs traitements de données sont gouvernés par un système de gestion de vol avionique FMS certifié internalisant des contraintes prédéfinies.
[0149] Il est décrit un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer une ou plusieurs des étapes du procédé, lorsque ledit programme est exécuté sur un ordinateur.
[0150] Il est décrit un système pour un dialogue bidirectionnel homme-machine comprenant - des ressources matérielles de mémoire et/ou de calcul, accédées localement et/ou à distance, configurées pour : traduire, selon une traduction dite descendante, des commandes dites générales d’un référentiel sémantique prédéfini vers des données d’entrées manipulables par la machine, par un ou plusieurs approximateurs universels, par exemple un ou plusieurs réseaux de neurones et/ou des arbres de décision à logique floue ; et, traduire, selon une traduction dite ascendante, des données brutes de sortie déterminées par la machine, vers des données exprimées dans ledit référentiel sémantique prédéfini, par un ou plusieurs boites blanches comprenant un ou plusieurs arbres de décision à logique floue.
[0151] Dans un développement, le procédé comprend en outre un ou plusieurs réseaux de neurones configurés pour l’apprentissage automatique, lesdits un ou plusieurs réseaux de neurones étant choisis parmi les réseaux de neurones comprenant : un réseau de neurones artificiels; un réseau de neurones artificiels acyclique ; un réseau de neurones récurrents ; un réseau de neurones à propagation avant ; un réseau neuronal convolutif;- un réseau de neurones antagonistes génératifs ; lesdits un ou plusieurs réseaux de neurones étant émulés de manière logicielle et/ou étant des circuits physiques.
[0152] La [FIG. 1 ] illustre l’état de la technique.
[0153] L’homme 1 face à des systèmes complexes ou un système de systèmes 2 doit adapter son « discours » : il doit mentalement gérer la stratégie et la tactique, c’est-à- dire qu’il doit adapter son vocabulaire, plus généralement ses entrées, face aux systèmes techniques auxquels il s’adresse. Inversement, il doit interpréter les résultats produits par la machine.
[0154] Au travers d’une ou de plusieurs IHM 15 (e.g. speech-to-text, commande par la parole, traitement automatique des langues, capteurs et/ou actuateurs physiques, commande par gestes, via des interfaces tactiles, éventuellement à partir de représentations de données sous forme axiologiques, 2D, 3D, vue radar, etc), l’homme 1 fournit des entrées (quantifiées et quantifiables) aux systèmes complexes 2.
[0155] Les systèmes complexes 2 requièrent généralement des entrées de bas niveau, techniques, 11 , par exemple une position GPS, parfois des entrées d’abstraction intermédiaires (compromis économique i.e. « trajet sans péages »).
[0156] Après traitement de l’information le système complexe 2 produit des solutions selon différents niveaux d’abstraction 12 (e.g. un point sur une carte, un tracé sur une carte).
[0157] Le traitement de l’information par le système complexe est souvent brute-force, cad non nécessairement optimisé.
[0158] Une fois encore, l’humain doit interpréter les produits 12 du système 2 (e.g. agréger, interpréter, retraiter).
[0159] Ces situations courantes indiquent que le dialogue machine est « asymétrique », au sens où les niveaux d’abstraction sont imposés à l’être humain, qui doit jongler / faire avec différents niveaux d’abstraction.
[0160] La [FIG. 2] illustre quelques principes généraux de l’invention.
[0161] L’invention consiste notamment à mettre en oeuvre une traduction descendante 110 et ascendante 130 pour un dialogue amélioré entre l’homme 1 et la machine 2 (e.g. système de systèmes).
[0162] La traduction descendante, pour passer de commandes à haut niveau d’abstraction 16 exprimées par le pilote à des paramètres techniques de bas niveau 11 requis par le système de systèmes, comprend une ou plusieurs boites « noires » ou approximateurs universels (GFT et/ou RN et/ou CMA-ES), congruentes ou concurrentes (série-parallèle). Ces boites sont noires au sens où les pondérations dans des réseaux de neurones ne sont que rarement intelligibles de manière directe au non-expert), ces boites noires ayant appris
[0163] La traduction ascendante part des paramètres opérationnels de bas niveau de sortie du système de systèmes 2 pour arriver à des propositions à haut niveau d’abstraction ; cette traduction est effectuée en utilisant des arbres de décision à logique floue.
[0164] Des données à haut niveau d’abstraction (HLOM) 100 fournies par le pilote 1 sont traduites 110 en un ensemble de données à bas niveau d’abstraction 11 (« données technique à bas niveau d’abstraction » ou LLTP) manipulables par le système machine 2.
[0165] HLOM (acronyme de l’anglais ”High Level Operational Metrics”)
[0166] Les données HLOM désignent des ensembles des métriques à haut niveau d’abstraction (intentions), souvent non-quantifiables, ou « floues » (au sens de la logique floue). Ces données sont exprimées dans le champ lexical (ou « ontologie ») de l’opérateur, permettant de commander une intention à un système (Ex : « trouver une solution sûre et efficace », « détecter de petits bateaux dans une mer forte », etc).
[0167] Des exemples de données à haut niveau d’abstraction comprennent (par exemple) des objectifs, exprimés en langage formel (UML, symbologie, etc) et/ou en langue naturelle, i.e. des mots clefs prédéfinis ou des expressions ou phrases comme « optimiser la consommation de carburant », « diminuer le bruit au sol »,
« augmenter le niveau de sûreté ». Des expressions plus complexes peuvent également être manipulées « prioriser la consommation de carburant au détriment de la sécurité », « diminuer l’altitude malgré le bruit au sol », « augmenter vitesse et altitude pour augmenter la sûreté).
[0168] LLOM (acronyme de « Low Level Operational Metrics »
[0169] Des données LLOM désignent des métriques opérationnelles quantifiables, fournies par le système, permettant à l’humain d’interpréter et de juger un service rendu par le système intelligent. Elles servent à l’opérationnel lors de l’élaboration de son jugement et de sa compréhension du service rendu.
[0170] Des exemples de données à bas niveau d’abstraction comprennent (par exemple) des valeurs (numériques et/ou symboliques) : valeur de roulis, angle d’incidence, valeur de pression, ouverture d’une électrovanne, état actif ou inactif d’un matériel, etc. Ces données sont éventuellement associées à des fonctions techniques (par exemple contrôle de trajectoire). [0171] Selon les modes de réalisation différents N objets intermédiaires peuvent être utilisés, i.e. entre les HLOM et LLOM. Par exemple, des MLOM (« Mid Level Operational Metrics ») peuvent être des métriques lisibles dans les étages intermédiaires d’un arbre (remontant ou ascendant, boite blanche)
[0172] Différentes autres terminologies peuvent être associées à ces objets intermédiaires, associés à N niveaux d’abstraction distincts (e.g. intentions, consignes, tâches, paramètres techniques), selon des granularités variables (définitions périmétriques). La variété des objets et de leurs emboîtements, avec ou sans recoupement, est indifférente pour le procédé revendiqué. N peut être restreint (peu d’objets ou de niveaux) ou élevé (très grand nombre de sous-niveaux d’abstraction) ; les étapes de procédés peuvent rester essentiellement les mêmes.
[0173] Aspect particulier, tout ou partie des données manipulés peut être fonction du « contexte » 120, i.e. des données courantes concernant l’aéronef. Le contexte peut être perçu, mesuré, informé ou autrement construit à partir de mesures de capteurs. Le contexte peut être le contexte de vol (phases de décollage, croisière) mais également selon tout découpage de temps et/ou d’espace (e.g. phase d’approche dans une mission donnée, niveau de priorité donné parmi une pluralité prédéfinie, etc) Le « contexte » ainsi déterminé peut influencer ou contrôler, directement ou indirectement, ou autrement modifier les données manipulées (sélection, niveaux de priorités différents, etc).
[0174] Selon une terminologie et hiérarchie particulière, fournie pour l’exemple, les « intentions » déclarées du pilote 1 sont des facteurs de haut niveau d’abstraction (HLOM) et concernent la conduite de la mission dans sa globalité. Le pilote déclare des intentions 100, par exemple via des « consignes ». Ces consignes se déclinent en « tâches » à réaliser qui sont généralement combinées (liées et mises en oeuvre simultanément). Par exemple, le pilote peut chercher à optimiser sa consommation de carburant tout en respectant les contraintes de bruit au sol. Les paramètres de bas niveau d’abstraction (LLOM) 120 relatifs aux tâches à réaliser sont techniques, quantifiables, mesurables et contribuent à la mise en oeuvre d’algorithmes de calculs (souvent des solveurs de contraintes). Ils sont liés à une tâche spécifique (trajectoire optimisée, réaction face au contraintes, plan d’action, etc). Les intentions opérationnelles sont ainsi traduites 110 en paramètres techniques intelligibles 11 par un système d’aide à la décision 2. [0175] En retour, les recommandations du système d’aide à la décision sont exprimées 130 dans le référentiel sémantique (intentions) de l’humain. L’utilisation de mots et/ou d’expressions connues permet avantageusement de contribuer à Yexplicabilité du dialogue homme-machine (en particulier dans le sens machine- homme).
[0176] LLTP (acronyme de « Low Level Technical Parameters »)
[0177] Ces données désignent des paramètres à bas niveau d’abstraction, quantifiables, exprimés dans les champs lexicaux (ou ontologies) du système permettant à celui-ci de produire un service. Les LLTP correspondent aux entrées techniques du système. Chaque système a un sous-ensemble de paramètres techniques à l’entrée pour assurer son fonctionnement correct.
[0178] Les blocs techniques TBB (acronyme de « Technical Building Block ») désignent les fonctions réalisées par le système complexe permettant de produire un ou plusieurs « services »
[0179] Dans un mode de réalisation, chacun des sens ascendants et descendant peut faire l’objet de traitements particuliers et avantageux, qui sont décrits ci-après plus en détails.
[0180] Sens descendant 110
[0181] Dans un mode de réalisation, la traduction descendante 110 opère une traduction d’ontologie (descente en abstraction) qui doit absorber la « fonction de transfert » du système. Hormis des cas très simples, une personne ne peut pas régler correctement ce traducteur. Avantageusement, des étapes d’apprentissage automatique pour la traduction descendante peuvent s’appuyer sur un traducteur ascendant déjà réglé. Dit autrement, dans un mode de réalisation, la partie ascendante sert de référentiel ou de point fixe pour déterminer ou stabiliser la partie descendante.
[0182] Dans un mode de réalisation, le traducteur descendant est entraîné dans ou par un processus d’apprentissage (par exemple d’apprentissage par renforcement) qui inclut dans la chaîne (de traitement) le traducteur ascendant déjà réglé.
[0183] L’objectif de l’optimisation par renforcement est de réduire l’écart entre, d’une part, la consigne / l’intention (exprimé en HLOM) ; et d’autre part, la caractérisation de la solution déduite de la consigne (en HLOM également) obtenue en traversant le traducteur ascendant réglé.
[0184] Dit autrement, le processus d’apprentissage automatique de la traduction descendante peut avantageusement s’appuyer sur un traducteur ascendant déjà réglé.
[0185] Comme tout processus d’apprentissage automatique par renforcement, l’efficacité et la robustesse du modèle appris peut dépendre de la variété et de la couverture des données en entrée, ici des scénarios d’apprentissage.
[0186] Ces scénarios sont spécifiques du système complexe avec lequel la communication doit s’établir. Il s’agit d’encoder l’expertise humaine spécialisée.
[0187] De manière générale, la traduction descendante opère une traduction d’ontologie, i.e. une descente d’abstraction (et doit absorber de plus la fonction de transfert du système, cad les éléments qui ne relèvent pas du TAL).
[0188] Sens ascendant 130
[0189] Dans un mode de réalisation, les recommandations du système d’aide à la décision sont exprimées 130 dans le référentiel sémantique ou champ lexical de l’opérateur. L’utilisation de mots et/ou d’expressions en langage naturel (prédéfinies et connues) permet au pilote de comprendre les calculs de la machine.
[0190] Dans un mode de réalisation, la traduction ascendante assure une montée en abstraction au sein de la même ontologie (opérationnelle).
[0191] Certaines particularités concernant la traduction ascendante peuvent être notées. Elle est avantageusement en « boite blanche » pour permettre à l’opérateur de comprendre le service rendu avec un niveau d’abstraction différent. Dans une variante de réalisation, la traduction ascendante peut également être en boite noire, si le niveau d’explicabilité précédent n’est pas souhaité ou requis (par exemple en ne constatant que la sortie ou le résultat de la traduction remontante. La traduction ascendante peut avantageusement être adaptée au raisonnement de l’opérationnel pour juger la solution (des informations précises, pertinentes, sans ambigüité,...).
[0192] Dans un mode de réalisation, un ou plusieurs arbres de décision multicritères tels qu’un GFT peut être utilisé. [0193] Le choix technique s’étant porté sur des approximateurs universels réglés par apprentissage, différents procédés d’apprentissage peuvent être mis en oeuvre.
[0194] Dans un mode de réalisation, le traducteur ascendant peut être réglé par apprentissage supervisé et le traducteur descendant peut être réglé par apprentissage renforcé en s’appuyant sur le traducteur ascendant réglé
[0195] Dans un mode de réalisation, le traducteur ascendant est réglé de manière supervisée, sur la base d’un recueil de données opérationnel consistant à mettre en relation, un contexte, une solution, un vecteur de LLOM (calculé ou fourni) sur cette solution, et un vecteur de HLOM fourni par l’opérationnel.
[0196] La base d’apprentissage est tagguée et sert de référence dans un processus d’apprentissage supervisé visant à régler le traducteur remontant.
[0197] Rétroaction 120
[0198] L’apprentissage boucle afin de faire converger le traducteur descendant de telle sorte que la « distance » entre les métriques opérationnelles haut niveau désirées et fournies en entrée du système et les métriques opérationnelles hauts niveaux observée sur la réponse de celui-ci soit minimale sur un grand nombre d’échantillons.
[0199] En particulier, l’apprentissage automatique du traducteur descendant peut être conduit de manière à le faire « converger » (au sens de stabiliser les hyper- paramètres associés à l’approximateur universel choisi) vers la sémantique ascendante.
[0200] La « distance » entre les métriques opérationnelles à haut niveau (HLOM) désirées fournies en entrée du système (par le pilote 1) et les métriques opérationnelles à haut niveau observées sur la réponse de celui-ci (exprimée par le système d’aide à la décision 2) doit être minimale ou à tout le moins peut être minimisée sur un grand nombre d’échantillons.
[0201] La distance peut être une distance d’édition ou tout autre système de mesure (métrique).
[0202] La [FIG. 3] illustre un exemple d’arbre de décision à logique floue utilisé dans un mode de réalisation de l’invention. [0203] Dans un mode de réalisation avantageux de l’invention, le procédé utilise un ou plusieurs d’arbres de décision flous (à logique floue), par exemple 110, 111, 112, etc.
[0204] Un GFT comprend une ou plusieurs FIS (« Fuzzy Inference System »), par exemple l’arbre 110 comprend des FIS 301 , 311 , 312, 321 , 322, 323, 324 etc.
[0205] En l’espèce, à l’aide d’une interface homme-machine, l’utilisateur indique à la machine un point de destination 301 , à laquelle la machine répond par deux objectifs possiblement antagonistes : un voyage écologique 311 et un voyage économique sans péage 312. Chacune des branches correspond en réalité à différentes possibilités, communes ou mutuellement exclusives. Par exemple ici, le type de carburant a un impact tant écologique qu’économique (e.g. diesel). Interviennent également le style de conduite, des passages en montagne, etc. Les faits (e.g. 331) et/ou règles floues (e.g. 312) sont manipulés dans / par l’arbre 110.
[0206] A un échelon plus élevé, le système et procédé selon l’invention peut arbitrer i.e. sélectionner entre un et plusieurs arbres prédéfinis, en fonction des conditions courantes (par exemple selon que la voiture entre ou sort d’un réseau autoroutier). Plus encore, les procédés et systèmes peut apprendre, i.e. modifier la structure des arbres de décisions flous (par exemple un arbre 111 sera dérivé d’un arbre 110) par méta-apprentissage.
[0207] Dans un mode de réalisation (non représenté), le pilote formule un compromis, capturé par une interface homme-machine, entre trois objectifs qui peuvent être au moins partiellement antagonistes : l’efficacité du vol (résultat atteint ou attendu versus un objectif donné), l’endurance de l’aéronef (e.g. représentatif du niveau de sollicitation matérielle) et la sûreté du vol ou de la mission. Certains compromis peuvent ne pas avoir de sens, mais il existe un certain nombre de solutions (quasi- continu). Etre totalement efficace, par exemple, se ferait au détriment de la sûreté du vol (en prenant des risques inconsidérés). Dans un cas spécifique, le pilote peut privilégier l’endurance de son appareil (appelé à remplir d’autres missions) en premier lieu, puis la sûreté du vol, sur l’efficacité de la mission.
[0208] Dans d’autres exemples (non représentés), le nombre d’intentions dépendra (notamment) du domaine, des besoins opérationnels et du contexte d’utilisation. Ces intentions peuvent être indépendantes ou garder une relation antagoniste, partiellement découplée, proportionnelle linéaire ou non linéaire, etc.
[0209] La [FIG. 4] illustre une généralisation possible de l’invention.
[0210] Dans un procédé dans lequel une boite noire est un réseau de neurones artificiels et une boite blanche est un système dont certains états intermédiaires sont accessibles et exprimés sous forme de faits et/ou de règles en logique floue exprimés à l’aide de mots d’un dictionnaire en langage naturel, une boite blanche 410 de traduction machine vers homme peut régler, ou ajuster, ou autrement optimiser 421 les paramètres d’une boite noire 420 de traduction homme vers machine. La boite noire 420 peut comprendre une ou plusieurs boites blanches 421 , lesquelles peuvent symétriquement contrôler une ou plusieurs boites noires 422 au sein de la boite blanche 410.
[0211] De manière très générale, les boites blanches et les boites noires peuvent être arrangées de très diverses manières : e.g. en série, en parallèle, en compétition, en congruence, etc. Les schémas ou patterns d’arrangement peuvent suivre des graphes, être hiérarchiques, formés de manière « fractale » (récurrence d’un motif), etc. Une partie du calcul concernant un ou des paramètres dont il est avantageux qu’ils soient accessibles à l’intelligence humaine pourra ainsi faire l’objet d’une ou de plusieurs boites blanches (dont le périmètre est suffisant, i.e. quelques étapes de calcul en amont et/ou en aval), tandis que les calculs qui peuvent échapper à l’intelligibilité (e.g. millions de corrélations, etc) peuvent rester inaccessible i.e. en boite(s) noire(s). Dans certains développements de l’invention, les périmètres peuvent être évolutifs, voire adaptatifs : une boite noire peut être « ouverte » en boite blanche (au moins partiellement) et vice-versa. Des apprentissages croisés peuvent être effectués sur des parties différentes des étapes de calcul et/ou des hyper- paramètres et/ou des entrées/sorties des boites noires ou blanches.
[0212] IHM (15)
[0213] L’interaction homme-machine selon l’invention 15 peut être diversement sophistiquée.
[0214] Des vues en 3D, 2D ou axiologiques sont possibles. Des évaluations avec plus de 4 degrés de liberté sont également possible (non représentés) [0215] Un procédé selon l’invention peut comprendre une ou plusieurs boucles de rétroaction (e.g. aval rétroagissant sur l’amont, feedforward, etc). Une boucle de rétroaction peut être « fermée » c’est-à-dire inaccessible au contrôle par l’humain (elle est exécutée par la machine). Elle peut être « ouverte » (e.g. étape d’affichage dans une interface homme-machine, validation ou tout autre système de confirmation par l’humain). Différents modes de réalisation peuvent aboutir à des implémentations différentes en fermant, respectivement en ouvrant, une ou plusieurs boucles ouvertes, respectivement fermées.
[0216] Par exemple, le procédé selon l’invention peut invoquer uniquement des boucles de rétroaction ouvertes (i.e. le pilote intervient à tous les stades), ou bien uniquement des boucles de rétroaction fermée (e.g. automatisation totale), ou bien une combinaison des deux (la mise à contribution de l’humain étant variable ou configurable). De la sorte, le procédé (qui peut être d’ « intelligence artificielle ») peut être interprété comme « transparent », au sens de contrôlable. L’affichage peut concerner des résultats de calcul intermédiaires, des informations relatives aux causes racines, et/ou au contexte de calcul. De la sorte le procédé peut être considéré comme « explicable ».
[0217] Moyens matériels
[0218] Dans un développement, le système comprend des moyens avioniques de gestion de vol de type Flight Management System et/ou des moyens non-avioniques de type Electronic Flight Bag (ou "sac électronique") et/ou des moyens de réalité augmentée et/ou virtuelle.
[0219] Les moyens AR comprennent en particulier des systèmes de type FIUD ("Flead Up Display" visée tête haute) et les moyens VR comprennent en particulier des systèmes de type EVS ("Enhanced Vision System") ou SVS ("Synthetic Vision System").
[0220] Les moyens d'affichage individuel peuvent comprendre un casque de réalité virtuelle opaque ou un casque de réalité augmentée semi transparent ou un casque à transparence configurable, des projecteurs (pico-projecteurs par exemple, ou vidéoprojecteurs pour projeter les scènes de simulation) ou bien encore une combinaison de tels appareils. Le casque d'affichage individuel peut être un casque de réalité virtuelle (RV ou VR en anglais), ou un casque de réalité augmentée (RA ou AR en anglais) ou une visée haute, etc. Le casque peut donc être un "head-mounted display", un "wearable computer", des "glasses", un visiocasque, etc. les informations affichées peuvent être entièrement virtuelles (affichées dans le casque individuel), entièrement réelles (par exemple projetées sur les surfaces planes disponibles dans l'environnement réel du cockpit) ou une combinaison des deux (en partie un affichage virtuel superposé ou fusionné avec la réalité et en partie un affichage réel via des projecteurs).
[0221] Dans un développement, le dispositif comprend des moyens de sélection d'une ou plusieurs portions de l'affichage virtuel. Les pointages des interfaces homme-machine (IHM) ou de portions de ces interfaces ou informations peuvent être accessibles via différents dispositifs, par exemple un dispositif de pointage de type « souris » ou une désignation basée sur un pointage manuel ; via des interfaces d'acquisition (bouton, molette, joystick, clavier, télécommande, capteurs de mouvement, microphone, etc.), via des interfaces combinées (écran tactile, commande à retour d'effort, gants ou glove, etc.).
[0222] Les interfaces homme-machine peuvent en effet comprendre une ou plusieurs interfaces de sélection (menus, pointeurs, etc.), interfaces graphiques, interfaces vocales, interface gestuelle et de position. Par exemple et dans un mode de réalisation particulier les informations et menus sont sélectionnés grâce à un système de désignation (par exemple par pointeur, via une souris et/ou un trackpad et/ou un joystick, par commande vocale, etc.) complété le cas échéant par une détection de la direction du regard incorporée au casque semi-transparent. Dans un mode de réalisation, la sélection de ces écrans peut être effectuée par un ou plusieurs mouvements de tête.
[0223] Dans un mode de réalisation, le procédé est mis en oeuvre par ordinateur. A titre d'exemple d'architecture matérielle adaptée à mettre en oeuvre l'invention, un dispositif peut comporter un bus de communication auquel sont reliés une unité centrale de traitement ou microprocesseur (CPU, acronyme de « Central Processing Unit » en anglais), lequel processeur peut être " multi-core" ou " many-core une mémoire morte (ROM, acronyme de « Read On ly Memory » en anglais) pouvant comporter les programmes nécessaires à la mise en oeuvre de l'invention; une mémoire vive ou mémoire cache (RAM, acronyme de « Random Access Memory » en anglais) comportant des registres adaptés à enregistrer des variables et paramètres créés et modifiés au cours de l'exécution des programmes précités ; et une interface de communication ou E/S (I/O acronyme de « Input/ouput » en anglais) adaptée à transmettre et à recevoir des données. Dans le cas où l'invention est implantée sur une machine de calcul reprogrammable (par exemple un circuit FPGA), le programme correspondant (c'est-à-dire la séquence d'instructions) peut être stocké dans ou sur un médium de stockage amovible (par exemple une carte SD, ou un stockage de masse tel que un disque dur e.g. un SSD) ou non-amovible, volatile ou non-volatile, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur. La référence à un programme d'ordinateur qui, lorsqu'il est exécuté, effectue l'une quelconque des fonctions décrites précédemment, ne se limite pas à un programme d'application s'exécutant sur un ordinateur hôte unique. Au contraire, les termes programme d'ordinateur et logiciel sont utilisés ici dans un sens général pour faire référence à tout type de code informatique (par exemple, un logiciel d'application, un micro logiciel, un microcode, ou toute autre forme d'instruction d'ordinateur, comme des web services ou SOA ou via des interfaces de programmation API) qui peut être utilisé pour programmer un ou plusieurs processeurs pour mettre en oeuvre des aspects des techniques décrites ici. Les moyens ou ressources informatiques peuvent notamment être distribués (" Cloud computing"), éventuellement avec ou selon des technologies de pair-à-pair et/ou de virtualisation. Le code logiciel peut être exécuté sur n'importe quel processeur approprié (par exemple, un microprocesseur) ou cœur de processeur ou un ensemble de processeurs, qu'ils soient prévus dans un dispositif de calcul unique ou répartis entre plusieurs dispositifs de calcul (par exemple tels qu’éventuellement accessibles dans l’environnement du dispositif). Des technologies de sécurisation (crypto-processeurs, authentification éventuellement biométrique, chiffrement, carte à puce, etc) peuvent être utilisées.

Claims

Revendications
1. Procédé mis en oeuvre par ordinateur pour améliorer un dialogue bidirectionnel entre l’homme et la machine, le procédé étant mis en oeuvre entre un pilote et une plateforme d’aéronef, pour la conduite d’une mission, et comprenant des étapes consistant à :
- pour le dialogue homme vers machine :
- recevoir en entrée d’un système de traduction dit traducteur descendant (110), des données à haut niveau d’abstraction, les données à haut niveau d’abstraction étant des commandes générales (16) exprimées par le pilote dans un référentiel sémantique prédéfini afin d’exprimer une intention concernant la conduite de la mission ; et
- traduire les données à haut niveau d’abstraction en un ensemble de données à bas niveau d’abstraction, les données à bas niveau d’abstraction étant des données techniques (11), la traduction descendante des données homme-machine consistant à fournir en entrée, via une interface homme-machine, les commandes exprimées par le pilote (16) à un ou plusieurs approximateurs universels basés sur de l’apprentissage automatique, par exemple un ou plusieurs réseaux de neurones (1101 , 1102...) et/ou des arbres de décision à logique floue, qui produisent des paramètres techniques requis (11), lesdits paramètres techniques requis étant manipulables par un système d’aide à la décision (2) de la plateforme d’aéronef pour déterminer des tâches spécifiques permettant de réaliser l’intention exprimée par le pilote ;
- pour le dialogue machine vers homme :
- recevoir en entrée d’un système de traduction dit traducteur ascendant (130), des paramètres techniques bruts (12) d’un système d’aide à la décision (2) de la plateforme d’aéronef, les paramètres techniques bruts étant des données à bas niveau d’abstraction représentatifs de tâches recommandées par le système d’aide à la décision pour réaliser une intention exprimée par le pilote ; et
- traduire les données à bas niveau d’abstraction reçues (12) en des données à haut niveau d’abstraction (17), les données à haut niveau d’abstraction étant des expressions dudit référentiel sémantique prédéfini, la traduction ascendante des données machine-homme consistant à fournir en entrée les paramètres techniques bruts (12) à une ou plusieurs boites blanches comprenant un ou plusieurs arbres de décision à logique floue (1301), qui produisent des expressions en langage naturel caractérisant les recommandations du système d’aide à la décision.
2. Procédé selon la revendication 1 , comprenant en outre les étapes consistant à :
- recevoir les données à bas niveau d’abstraction reçues (12) de la machine en réponse aux données d’entrée (11 );
- comparer les données d’entrées à haut niveau d’abstraction (16) capturées par un IHM d’un pilote et les données à haut niveau d’abstraction (17) traduites.
3. Procédé selon la revendication 2, comprenant en outre l’étape consistant à sélectionner des données de sortie parmi plusieurs, par filtrage et/ou seuillage, ou notamment en traversant la traduction ascendante constituée d’arbres de décision à logique floue GFT.
4. Procédé selon la revendication 1 , comprenant en outre l’étape consistant à contrôler (125) au moins une boite noire (1101) par au moins une boite blanche (1301), le traducteur descendant comprenant une ou plusieurs boites noires, une boite blanche comprenant un ou plusieurs arbres de décision à logique floue GFT.
5. Procédé selon la revendication 4, comprenant en outre une étape consistant à contrôler un réseau (110) de boites noires descendantes par une boite blanche ascendante, l’étape de contrôle consistant à optimiser (125) lesdites boites noires par apprentissage automatique.
6. Procédé selon la revendication 1 , comprenant en outre une étape consistant à sélectionner un réseau (110) d’approximateurs universels (1101 , 1102, ...) parmi plusieurs (110, 111 , ....) par apprentissage automatique.
7. Procédé selon la revendication 1 , comprenant en outre une étape consistant à optimiser (125) un graphe de systèmes d’inférence flous FIS d’un GFT par apprentissage automatique.
8. Procédé selon la revendication 1 , dans lequel un approximateur universel est une fonction paramétrée et/ou un réseau de neurones et/ou un algorithme CMA-ES.
9. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’apprentissage automatique comprend la mise en oeuvre d’un algorithme génétique (2211), lequel détermine le réglage des arbres de décision flous GFT utilisés dans les traducteurs ascendant et/ou descendant, notamment le réglage des fonctions d’appartenance et des bases de règles floues de chaque système d’inférence flou FIS composant l’arbre de décision flous GFT.
10. Procédé selon la revendication 9, dans lequel ledit réglage est effectuée en décomposant les fonctions d’appartenance et les bases de règles en une pluralité de gènes associés, puis à les mélanger aléatoirement et/ou remplacer aléatoirement un ou plusieurs gènes par d’autres.
11. Procédé selon la revendication 9, comprenant en outre une étape consistant à optimiser par algorithme génétique la structure d’un arbre de décision à logique floue.
12. Procédé selon la revendication 4, comprenant en outre une étape consistant à actualiser (120) des données courantes relatives à un aéronef ou à son environnement, lesdites données modifiant indépendamment les données des boites blanches et/ou des boites noires.
13. Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape consistant à accéder à une ou plusieurs valeurs intermédiaires manipulées dans les arbres de décision à logique floue GFT.
14. Procédé selon l’une quelconque des revendications précédentes, comprenant en outre une étape consistant à afficher une ou plusieurs valeurs intermédiaires manipulées dans les GFT.
15. Procédé selon l’une quelconque des revendications précédentes, dans lequel une ou plusieurs des boites blanches de la traduction ascendante sont affichées sur demande dans une interface homme-machine.
16. Procédé selon l’une quelconque des revendications précédentes, dans lequel la traduction ascendante est réglée par apprentissage supervisé.
17. Procédé selon l’une quelconque des revendications précédentes, dans lequel la traduction descendante est ajustée ou réglée par apprentissage par renforcement en s’appuyant sur le traducteur ascendant réglé ou appris.
18. Procédé selon la revendication 4, dans lequel les boites noires descendantes sont mises en concurrence.
19. Procédé selon l’une quelconque des revendications précédentes, dans lequel un ou plusieurs des résultats de calcul intermédiaires, des informations relatives aux causes racines et/ou du contexte de calcul d’une ou de plusieurs des étapes du procédé fait l’objet d’un affichage dans une interface homme-machine.
20. Procédé selon l’une quelconque des revendications précédentes, dans lequel un apprentissage automatique est effectué en ligne.
21. Procédé selon la revendication 1 , dans lequel la logique floue utilise des mots d’un dictionnaire fini et porteurs de sémantique.
22. Procédé selon l’une quelconque des revendications précédentes, dans lequel l’apprentissage automatique comprend un ou plusieurs algorithmes sélectionné parmi les algorithmes comprenant: des machines à vecteur de support ou des séparateurs à vaste marge; des classifieurs; des réseaux de neurones; des arbres de décision et/ou des étapes de méthodes statistiques comme le modèle de mixture gaussienne, la régression logistique, l'analyse discriminante linéaire et/ou des algorithmes génétiques.
23. Procédé selon l’une quelconque des revendications précédentes, dans lequel un ou plusieurs traitements de données sont gouvernés par un système de gestion de vol avionique FMS certifié internalisant des contraintes prédéfinies.
24. Un produit programme d’ordinateur, ledit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé selon l'une quelconque des revendications 1 à 23, lorsque ledit programme est exécuté sur un ordinateur.
25. Système pour améliorer un dialogue bidirectionnel entre l’homme et la machine comprenant des ressources de mémoire et de calcul, accédées localement et/ou à distance, et des ressources de traitement de données configurées pour :
- lors du dialogue homme vers machine :
- recevoir en entrée d’un système de traduction dit traducteur descendant (110), des données à haut niveau d’abstraction, les données à haut niveau d’abstraction étant des commandes générales (16) d’un référentiel sémantique prédéfini ; et
- traduire les données à haut niveau d’abstraction en des données d’entrées (11) manipulables par une machine, la traduction descendante étant opérée par un ou plusieurs approximateurs universels basés sur de l’apprentissage automatique, par exemple un ou plusieurs réseaux de neurones (1101 , 1102...) et/ou des arbres de décision à logique floue ;
- lors du dialogue machine vers homme :
- recevoir en entrée d’un système de traduction dit traducteur ascendant (130), des données brutes de sortie (12) déterminées par la machine ; et
- traduire les données brutes de sortie (12) en des données (17) exprimées dans ledit référentiel sémantique prédéfini, la traduction ascendante étant opérée par une ou plusieurs boites blanches comprenant un ou plusieurs arbres de décision à logique floue (1301).
26. Système selon la revendication 25, comprenant en outre un ou plusieurs réseaux de neurones configurés pour l’apprentissage automatique, lesdits un ou plusieurs réseaux de neurones étant choisis parmi les réseaux de neurones comprenant :
- un réseau de neurones artificiels ;
- un réseau de neurones artificiels acyclique ;
- un réseau de neurones récurrents ; - un réseau de neurones à propagation avant ;
- un réseau neuronal convolutif ;
- un réseau de neurones antagonistes génératifs ; lesdits un ou plusieurs réseaux de neurones étant émulés de manière logicielle et/ou étant des circuits physiques.
EP21728090.8A 2020-06-04 2021-06-01 Communication bidirectionnelle homme-machine Pending EP4162402A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2005823A FR3111210B1 (fr) 2020-06-04 2020-06-04 Communication bidirectionnelle homme-machine
PCT/EP2021/064608 WO2021245049A1 (fr) 2020-06-04 2021-06-01 Communication bidirectionnelle homme-machine

Publications (1)

Publication Number Publication Date
EP4162402A1 true EP4162402A1 (fr) 2023-04-12

Family

ID=74045455

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21728090.8A Pending EP4162402A1 (fr) 2020-06-04 2021-06-01 Communication bidirectionnelle homme-machine

Country Status (4)

Country Link
US (1) US20230312132A1 (fr)
EP (1) EP4162402A1 (fr)
FR (1) FR3111210B1 (fr)
WO (1) WO2021245049A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115017276B (zh) * 2022-03-28 2022-11-29 连芷萱 政务咨询多轮对话方法、系统、政务机器人和存储介质
FR3147795B1 (fr) 2023-04-17 2026-01-09 Thales Sa Procédé et dispositif électronique d’aide au pilotage d’un aéronef via la surveillance d’au moins un critère opérationnel, programme d’ordinateur et aéronef associés
KR102868176B1 (ko) * 2025-01-24 2025-10-13 주식회사 듀얼소프트 생성형 ai 이용한 plc, pc, hmi 자동구성을 수행하는 전자 장치 및 그 동작 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983144A (en) * 1997-12-29 1999-11-09 General Electric Company System and method for tuning look-ahead error measurements in a rail-based transportation handling controller
US7526455B2 (en) * 2005-05-03 2009-04-28 Palomar Technology, Llc Trusted decision support system and method
US20070204323A1 (en) * 2006-02-24 2007-08-30 Rockwell Automation Technologies, Inc. Auto-detection capabilities for out of the box experience
CN104008160A (zh) * 2014-05-29 2014-08-27 吴春尧 一种实现并行话题控制的模糊推理聊天机器人方法和系统
US10489713B1 (en) * 2015-08-26 2019-11-26 Psibernetix, Inc. Self-optimized system and method using a fuzzy genetic algorithm
US10546066B2 (en) * 2016-08-31 2020-01-28 Microsoft Technology Licensing, Llc End-to-end learning of dialogue agents for information access
US10699012B2 (en) * 2017-01-11 2020-06-30 Cylance Inc. Endpoint detection and response utilizing machine learning
US11315560B2 (en) * 2017-07-14 2022-04-26 Cognigy Gmbh Method for conducting dialog between human and computer
US10426393B2 (en) * 2017-09-22 2019-10-01 Aurora Flight Sciences Corporation Systems and methods for monitoring pilot health
US20190258953A1 (en) * 2018-01-23 2019-08-22 Ulrich Lang Method and system for determining policies, rules, and agent characteristics, for automating agents, and protection
US10140977B1 (en) * 2018-07-31 2018-11-27 botbotbotbot Inc. Generating additional training data for a natural language understanding engine
US11294340B2 (en) * 2019-04-29 2022-04-05 Saudi Arabian Oil Company Online system identification for data reliability enhancement
US10629191B1 (en) * 2019-06-16 2020-04-21 Linc Global, Inc. Methods and systems for deploying and managing scalable multi-service virtual assistant platform
US11843565B2 (en) * 2019-09-19 2023-12-12 International Business Machines Corporation Dialogue system based on contextual information
US11580358B1 (en) * 2020-05-12 2023-02-14 Thales, S.A. Optimization with behavioral evaluation and rule base coverage

Also Published As

Publication number Publication date
US20230312132A1 (en) 2023-10-05
FR3111210A1 (fr) 2021-12-10
FR3111210B1 (fr) 2022-07-08
WO2021245049A1 (fr) 2021-12-09

Similar Documents

Publication Publication Date Title
US11797835B2 (en) Explainable transducer transformers
US20240303494A1 (en) Method for few-shot unsupervised image-to-image translation
US10902616B2 (en) Scene embedding for visual navigation
Sun et al. Simulating organizational decision-making using a cognitively realistic agent model
US20190279075A1 (en) Multi-modal image translation using neural networks
EP3671392A1 (fr) Apprentissage automatique en avionique
WO2021013908A1 (fr) Analyse de trajectoires d&#39;aeronefs
WO2021245049A1 (fr) Communication bidirectionnelle homme-machine
Vieira et al. Introduction to deep learning business applications for developers
FR3101703A1 (fr) Apprentissage automatique pour systeme de mission
EP4567629A1 (fr) Procédé et système pour effectuer des tâches sur la base du contexte d&#39;un dialogue orienté vers une tâche
Nizam et al. Explainable artificial intelligence (XAI): conception, visualization and assessment approaches towards amenable XAI
Rizvi et al. Neural networks with variational quantum circuits
Narayanan et al. Introduction to deep learning
Paleja et al. Learning interpretable, high-performing policies for continuous control problems
Kumari et al. Introduction to data-driven intelligent systems
Benítez-Buenache et al. Bayesian parameterized quantum circuit optimization (BPQCO): A task and hardware-dependent approach
Manjunatha et al. Karnet: Kalman filter augmented recurrent neural network for learning world models in autonomous driving tasks
Ithnin et al. Intelligent locking system using deep learning for autonomous vehicle in internet of things
Hosseinalizadeh et al. Computing the Future: Research at the Convergence of Computer Engineering, Artificial Intelligence and Intelligent Technologies
Sangeetha et al. Current trends on sentimental analysis on Youtube videos
KR102851451B1 (ko) 웹소설 콘텐츠에 대한 자연어 처리를 통한 게임 제작을 위한 정보 추출 및 재구성 자동화 솔루션 제공 방법, 장치 및 시스템
El Namaki A Systems Approach to the Artificial Intelligence Concept
Bouakba et al. SQO-LSTM: a single quantum-output long short-term memory for classification tasks: Y. Bouakba et al.
KR102453919B1 (ko) 인공지능 기반 문화 콘텐츠 관련 가이드 음원의 검증 방법, 장치 및 시스템

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20221121

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230427

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
R17P Request for examination filed (corrected)

Effective date: 20221121

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20260317