EP4128055A1 - Dispositif et procédé d'aide à la décision d'un système cognitif artificiel - Google Patents

Dispositif et procédé d'aide à la décision d'un système cognitif artificiel

Info

Publication number
EP4128055A1
EP4128055A1 EP21709420.0A EP21709420A EP4128055A1 EP 4128055 A1 EP4128055 A1 EP 4128055A1 EP 21709420 A EP21709420 A EP 21709420A EP 4128055 A1 EP4128055 A1 EP 4128055A1
Authority
EP
European Patent Office
Prior art keywords
data
representation
unit
processing unit
decision support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21709420.0A
Other languages
German (de)
English (en)
Inventor
Andrea Ancora
Matthieu DA-SILVA-FILARDER
Maxime DEROME
Maurizio FILIPPONE
Pietro Michiardi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ampere SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP4128055A1 publication Critical patent/EP4128055A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • Artificial cognitive systems are equipped with sensors configured to capture physical quantities and collect information.
  • the raw data collected by the different sensors can be merged before processing.
  • the purpose of merging data from multiple sensors or multiple data sources is to combine that data so that the resulting information has less uncertainty than what would be obtained when these data sources are used individually. Reducing uncertainty may mean obtaining more precise, complete, or more reliable information, or may refer to the outcome of an emergent view, such as stereoscopic viewing (e.g., calculating depth information by combining two-dimensional images from two cameras at different points of view).
  • the data fusion algorithm is derived from a machine learning algorithm.
  • the invention further provides a decision support process for a cognitive system from data originating from a plurality of data sources, comprising the steps of:
  • the embodiments of the invention allow, through the reconstruction of sensor data, the detection of faults or anomalies of the sensors and the generation of virtual sensor data from existing sensors.
  • the embodiments of the invention offer increased reliability and precision thanks to the combination of all the information available to reconstruct the data of an improved sensor.
  • Figure 1 is a diagram showing a device 10 for decision support of a cognitive system 1, according to certain embodiments of the invention.
  • the cognitive system 1 can be part of or can be a tracking system, a detection system, a surveillance system, a navigation system, or an intelligent transport system.
  • an air traffic control radar for example a primary radar or a secondary radar
  • the cognitive system 1 can be implemented in an airborne surveillance system operating, for example, inside a surveillance aircraft.
  • a data source 11-i can be any type of image or video acquisition device configured to acquire image streams or video streams from the environment in which the cognitive system operates 1.
  • Cognitive system 1 to robotics include connected autonomous vehicles (Internet of vehicles and vehicle-to-vehicle communications or vehicle-to-infrastructure or vehicle and any object), home automation / smart home, smart cities, technology portable and connected health.
  • the data coming from the different data sources 11-i, for i varying from 1 to N, can have different representations in different data representation spaces.
  • the embodiments of the invention provide a device 10 for decision support of a cognitive system 1 from data from the plurality of data sources 11-i, with i ranging from 1 to N, implementing machine learning techniques for merging and reconstructing data from data sources 11-i in order to provide decision unit 12 with a representation of data based on from which the decision unit 12 can determine one or more actions to be implemented by the cognitive system 1.
  • the last layer of each auto encoder implemented in each encoding unit 1030-i can produce an average and variance vectors characterizing a multivariate normal distribution of the same dimension for the set of encoding units 1030-i associated with the plurality of data sources 11-i.
  • the model of representation of the environment (or even the modeling of the latent world) can be used by the decision unit 12 to determine an action to be implemented by the cognitive system 1 and / or can be used for other cognitive system 1 tasks such as understanding the context, trajectory planning or any other decision-making task.
  • a processing unit 103-i associated with the data source 11-i, for i varying from 1 to N can further comprise a comparison unit 1032-i configured to compare the data from the data source 11-i with the reconstructed representation of data determined by the data reconstruction unit 1031 -i associated with the data source 11-i.
  • the comparison makes it possible to detect random or systematic errors (for example, false alarms due to 'phantom' detections which can be highlighted by comparing the data coming from the data source with the reconstructed data), calibrate data sources (for example detecting misalignment of the support of a sensor due to a shock or estimating a delay), and more generally, detecting if a data source deviates from its nominal operating point using data reconstructed as a reference for uncorrupted nominal data calibrated at the factory).
  • calibrate data sources for example detecting misalignment of the support of a sensor due to a shock or estimating a delay
  • generative antagonist networks As discriminators to help the data reconstruction units 1031 -1 to 1031 -3 to provide images of better fidelity.
  • These generative antagonist networks are for example hybridized with generative variational autoencoders.
  • the reconstruction of data according to the embodiments of the invention also allows the transfer of information between the data sources, by extending the set of training data for a data source by exploiting the data of the data sources. other data sources. Data transfer also ignores the nature and position of data sources.
  • the decision unit 12 can be configured to determine an action to be implemented by the cognitive system 1 according to the model of representation of the environment and / or according to the comparisons made between the original data coming from the data sources 11 - i with the reconstructed data representations determined by the data reconstruction units 1031-i, for i ranging from 1 to N and / or as a function of the reconstructed representations.
  • the data reconstruction units 1031 -i can also be co-located with the data sources 11-i and the encoding units 1030-i, for i ranging from 1 to N.
  • a return channel from the modeling of the a posteriori world from the data fusion unit 105 to the processing unit of the data source 11-i can be implemented.
  • This architecture advantageously makes it possible to co-locate the comparison units 1032-i online, which can be configured to implement general tasks of monitoring data sources 11-i including for example dynamic activation / deactivation, calibration, time stamping, anomaly detection, and communication of the general state of the data source 11-i.
  • the data coming from the data sources can comprise data generated in real time by the data sources, data previously processed, and / or contextual data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Dispositif (10) d'aide à la décision d'un système cognitif (1) à partir de données provenant d'une pluralité de sources de données (11-1,11-2,11-N), le dispositif (10) comprenant une unité de traitement (103-i) associée à chaque source de données (11-i), chaque unité de traitement (103-i) comprenant une unité d'encodage (1030-i) configurée pour déterminer, à partir des données provenant de la source de données (11-i) associée à ladite unité de traitement (103-i), une représentation de données dans un espace de représentation commun en appliquant un algorithme d'apprentissage machine auxdites données, le dispositif (10) comprenant en outre une unité de fusion de données (105) configurée pour déterminer un modèle de représentation d'un environnement du système cognitif (1) en combinant les représentations de données déterminées par les unités d'encodage (1030-i) associées à la pluralité de sources de données par application d'un algorithme de fusion de données.

Description

Dispositif et procédé d’aide à la décision d’un système cognitif artificiel
[0001] L’invention concerne de manière générale les systèmes cognitifs artificiels et en particulier un dispositif et un procédé d’aide à la décision pour les systèmes cognitifs artificiels.
[0002] Le développement de systèmes d’aide à la décision a connu un essor croissant ces dernières années et s’est étendu à de nombreux secteurs industriels tels que l’industrie automobile et la vidéo-surveillance (terrestre, ferroviaire, maritime et aérienne).
[0003] Avec le développement de l’intelligence artificielle et des sciences de la cognition, des systèmes avancés d’aide à la décision, tels que les systèmes d’aide à la conduite pour les véhicules autonomes et les véhicules connectés, ont émergé. De tels systèmes mettent en œuvre des processus cognitifs pour la perception de l’information, son traitement, et la prise de décision en répondant à l’information perçue par une ou plusieurs actions. Les systèmes artificiels capables de réaliser des processus cognitifs sont appelés ‘systèmes cognitifs artificiels’.
[0004] Les systèmes cognitifs artificiels sont équipés de capteurs configurés pour capter des grandeurs physiques et recueillir des informations. Les données brutes collectées par les différents capteurs peuvent être fusionnées avant leur traitement. Le but de la fusion des données provenant de plusieurs capteurs ou de plusieurs sources de données consiste à combiner ces données de manière à ce que l’information résultante ait moins d’incertitude que ce qui serait obtenu lorsque ces sources de données sont utilisées individuellement. La réduction de l’incertitude peut signifier obtenir une information plus précise, plus complète, ou plus fiable, ou peut se référer au résultat d’une vue émergente, telle que la vision stéréoscopique (par exemple le calcul des informations de profondeur en combinant des images bidimensionnelles provenant de deux caméras à des points de vue différents).
[0005] La fusion de données sensorielles est fondamentale pour recueillir les informations de tout capteur disponible et reconstruire un modèle fiable et aussi complet que possible du milieu environnant afin de prévoir et d’appréhender les objets et l’infrastructure qui le composent.
[0006] La reconstruction des données de capteurs consiste à transformer des données d’un capteur en une représentation d’un autre capteur. Ce problème est particulièrement complexe dans le cas de capteurs hétérogènes ou mal alignés spatialement et temporellement.
[0007] Les problèmes de fusion et de reconstruction de données de capteurs sont généralement traités dans la littérature de façon indépendante. Les solutions existantes pour la fusion de données de capteurs et celles qui sont relatives à la reconstruction des données de capteurs ne permettent pas de résoudre les deux problèmes de manière conjointe dans le contexte des systèmes cognitifs autonomes.
[0008] Il existe donc un besoin de développer des techniques permettant de résoudre le problème de fusion et de reconstruction de données de capteurs pour les systèmes cognitifs artificiels, tout en augmentant l’efficacité de la précision et de l’incertitude des données reconstruites et de l’information déterminée en combinant les données provenant de différentes sources de données.
Définition générale de l’invention
[0009] A cet effet, l’invention a pour but de fournir un dispositif et un procédé d’aide à la décision d’un système cognitif à partir de données provenant d’une pluralité de sources de données.
[0010] Plus précisément, l’invention fournit un dispositif (10) d’aide à la décision d’un système cognitif (1) à partir de données provenant d’ une pluralité de sources de données (11-1,11-2,11 -N), le dispositif (10) comprenant une unité de traitement (103- i) associée à chaque source de données (11-i), chaque unité de traitement (103-i) comprenant une unité d’encodage (1030-i) configurée pour déterminer, à partir des données provenant de la source de données (11-i) associée à ladite unité de traitement (103-i), une représentation de données dans un espace de représentation commun, le dispositif (10) comprenant en outre une unité de fusion de données (105) configurée pour déterminer un modèle de représentation d’un environnement du système cognitif (1) en combinant les représentations de données déterminées par les unités d’encodage (1030-i) associées à la pluralité de sources de données par application d’un algorithme de fusion de données, chaque unité de traitement (103-i) associée à une source de données (11-i) comprenant une unité de reconstruction de données (1031-i) configurée pour déterminer, à partir dudit modèle de représentation de l’environnement, une représentation reconstruite de données, l’unité d’encodage (1030-i) comprise dans ladite unité de traitement (103-i) étant configurée pour mettre en oeuvre lors d’une phase d’entrainement un algorithme d’apprentissage machine en utilisant des données d’entraînement, caractérisé en ce qu’au moins une unité de reconstruction de données d’une unité de traitement est configurée pour déterminer, à partir dudit modèle de représentation de l’environnement, une représentation reconstruite de données associée à une source de données manquante associée à une unité d’encodage utilisée lors d’une phase préalable d’entraînement dudit dispositif mais inhibée lors d’une phase d’exploitation dudit dispositif.
[0011] Ladite au moins une unité de reconstruction de données utilise préférentiellement un algorithme issu d’un apprentissage machine utilisant des réseaux génératifs antagonistes.
[0012] Ladite au moins une unité de reconstruction de données correspond à un capteur « bird view » virtuel, ledit dispositif recevant des images issues d’une caméra arrière-gauche et d’une caméra arrière-droite d’un véhicule. Les inventeurs ont constaté qu’une phase d’entraînement avec trois caméras dont une filmant le véhicule vu du dessus, suffisait à permettre l’obtention d’un capteur virtuel de bonne qualité.
[0013] Les données d’entraînement sont dans certains cas des données dérivées de la représentation reconstruite de données déterminée par ladite unité de reconstruction de données.
[0014] Selon certains modes de réalisation, une unité de reconstruction de données peut être configurée pour déterminer, à partir du modèle de représentation de l’environnement, une représentation reconstruite de données associée à une source de données manquante.
[0015] Selon certains modes de réalisation, une unité de traitement peut comprendre une unité de comparaison configurée pour comparer les données provenant de la source de données associée à ladite unité de traitement avec la représentation reconstruite de données déterminée par G unité de reconstruction de données associée à ladite source de données. [0016] Selon certains modes de réalisation, le dispositif d’aide à la décision peut comprendre une unité de décision configurée pour déterminer une action à mettre en oeuvre par le système cognitif en fonction du modèle de représentation de l’environnement et/ou en fonction de ladite comparaison.
[0017] Selon certains modes de réalisation, l’algorithme d’apprentissage machine utilise un réseau de neurones.
[0018] Selon certains modes de réalisation, le réseau de neurones peut être un auto encodeur multicanaux séquentiel.
[0019] Selon certains modes de réalisation, l’algorithme de fusion de données est issu d’un algorithme d’apprentissage machine.
[0020] L’invention fournit en outre un procédé d’aide à la décision d’un système cognitif à partir de données provenant d’une pluralité de sources de données, comprenant les étapes consistant à :
- déterminer, à partir des données provenant de chaque source de données, une représentation de données dans un espace de représentation commun en appliquant un algorithme d’apprentissage machine auxdites données, et
- déterminer un modèle de représentation d’un environnement dudit système cognitif en combinant les représentations de données déterminées en association avec la pluralité des sources de données en appliquant un algorithme de fusion de données.
[0021] Avantageusement, les modes de réalisation de l’invention permettent la fusion de données provenant d’une pluralité de sources de données homogènes ou hétérogènes, de sources de données logicielles et de leurs valeurs historiques.
[0022] Avantageusement, les modes de réalisation de l’invention permettent la reconstruction des données de capteurs pour les systèmes cognitifs artificiels autonomes.
[0023] Avantageusement, les modes de réalisation de l’invention permettent, à travers la reconstruction de données de capteurs, la détection de défauts ou d’anomalies des capteurs et la génération de données de capteurs virtuels à partir de capteurs existants. [0024] Avantageusement, les modes de réalisation de l’invention offrent une fiabilité et une précision accrues grâce à la combinaison de toutes les informations disponibles pour reconstruire les données d’un capteur amélioré.
[0025] Avantageusement, les modes de réalisation de l’invention permettent de transférer les informations (dont des ensembles de données d’entraînement) entre les différentes sources de données.
[0026] Avantageusement, les modes de réalisation de l’invention permettent de faire circuler les données librement dans les deux sens entre les multiples espaces de représentation des sources de données et l’espace de représentation commun du modèle de l’environnement.
Brève description des dessins
[0027] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :
[0028] [Fig. 1]La figure 1 est un schéma représentant un dispositif 10 d’aide à la décision d’un système cognitif 1, selon certains modes de réalisation de l’invention.
[0029] [Fig. 2]La figure 2 est un organigramme représentant un procédé d’aide à la décision d’un système cognitif, selon certains modes de réalisation de l’invention.
Description détaillée
[0030] Les modes de réalisation de l’invention fournissent un dispositif et un procédé d’aide à la décision d’un système cognitif à partir de données provenant d’une pluralité de sources de données.
[0031] Les modes de réalisation de l’invention peuvent être utilisés dans diverses applications mettant en oeuvre un système ou un dispositif cognitif artificiel, doté de sources de données et de moyens logiciels et/ou matériels de traitement de l’information et d’exécution d’une ou plusieurs actions en fonction des informations captées et traitées. Les applications exemplaires comprennent, sans limitation, la surveillance (par exemple la vidéo-surveillance), la navigation (par exemple la navigation routière et maritime), la robotique, et la sécurité. [0032] La figure 1 représente un système cognitif 1 dans lequel peuvent être implémentés un dispositif 10 d’aide à la décision et un procédé d’aide à la décision selon les modes de réalisation de l’invention.
[0033] Le système cognitif 1 peut être tout type de système ou machine ou dispositif comprenant au moins une pluralité de N ³ 2 sources de données désignées 11-1 à 11 -TV configurées pour générer des données (brutes ou traitées), un dispositif 10 d’aide à la décision configuré pour traiter les données provenant de la pluralité de sources de données 11-1 à 11 -TV, et une unité de décision 12 configurée pour déterminer au moins une action à mettre en œuvre par le système cognitif 1 en réponse aux données reçues et traitées par le dispositif 10 d’aide à la décision.
[0034] A titre d’exemples non limitatifs, le système cognitif 1 peut faire partie ou peut être un système de pistage, un système de détection, un système de surveillance, un système de navigation, ou un système de transport intelligent.
[0035] Un système de pistage peut être utilisé dans les systèmes de contrôle de trafic aérien pour la gestion du trafic aérien et la prévention des collisions entre aéronefs.
[0036] En application aux systèmes de pistage, une source de donnée 11-i, avec i variant entre 1 et N, peut être un capteur terrestre, de surface, ou aérien, tel que :
- un radar de contrôle aérien (par exemple un radar primaire ou un radar secondaire) ;
- un système de multi-latération (utilisant par exemple la technologie multi-latération à grande distance ou encore Wide Area Multilateration ou WAM en langage anglo- saxon) composé de plusieurs balises qui reçoivent les signaux émis par le transpondeur d’un avion pour le localiser ;
- un système ADS-C (acronyme de ‘Automatic Dépendant Surveillance-Contract’ en langue anglo-saxonne) dans lequel un avion utilise ses systèmes de navigation pour automatiquement déterminer et transmettre sa position à un centre de traitement, ou
- un système ADS-B (acronyme de ‘Automatic Dépendant Surveillance-Broadcast’ en langue anglo-saxonne) dans lequel un avion utilise ses systèmes de navigation pour automatiquement déterminer et diffuser sa position ainsi que d’autres informations comme la vitesse et l’indicatif de vol.
[0037] Un système de détection peut être utilisé par diverses infrastructures de contrôle (par exemple pour la détection de sous-marins ou d’objets posés sur le fond marin, dans le domaine de la pêche pour la détection de bancs de poissons, dans le domaine de la cartographie pour cartographier une zone géographique, le fond des océans et d’autres plans d’eau, ou encore dans le domaine de l’archéologie, par exemple l’archéologie subaquatique et sous-marine).
[0038] En application aux systèmes de détection, une source de données 11-i peut être un sonar (passif ou actif). Les données générées par la source de données 11-i peuvent être des données brutes représentant les ondes acoustiques réfléchies suite aux différentes réflexions dans l’environnement du système de détection ou peuvent être des données traitées (par exemple après l’application d’opération de filtrage, de démodulation, et d’échantillonnage) représentées dans un format image (par exemple les représentations de la couverture spatiale d’un sonar).
[0039] Un système de surveillance peut être un système de vidéo-surveillance utilisé par exemple dans de nombreuses applications civiles et militaires telles que la sécurité maritime, la navigation maritime, le contrôle de l’environnement, les opérations de sauvetage, et la surveillance du trafic maritime.
[0040] En application aux systèmes de surveillance, le système cognitif 1 peut être implémenté dans un système de surveillance aéroporté fonctionnant par exemple à l’intérieur d’un aéronef de surveillance. Une source de donnée 11-i peut être tout type de dispositif d’acquisition d’images ou de vidéos configuré pour acquérir des flux d’images ou des flux de vidéos de l’environnement dans lequel évolue le système cognitif 1.
[0041] Selon certains modes de réalisation, une source de données 11-i peut être configurée pour acquérir des flux images ou vidéos dans le spectre de la lumière visible. Le spectre de la lumière visible comprend les radiations électromagnétiques visibles par l’œil humain et ayant des longueurs d’onde comprises entre 400 et 700 nanomètres. Un flux d’images ou de vidéos acquis en lumière visible se compose de couleurs dans les trois bandes RGB (rouge, vert, et bleu).
[0042] Selon certains modes de réalisation, une source de données 11-i configurée pour acquérir des images ou des vidéos en lumière visible peut être tout capteur de lumière visible adapté pour effectuer la télédétection, tout instrument de spectrométrie d’imagerie configuré pour acquérir des images à résolution spectrale de l’environnement du système cognitif 1 , ou toute caméra RGB configurée pour enregistrer les flux images ou vidéos dans le spectre de lumière visible.
[0043] Un système de navigation peut être utilisé dans tout type de véhicule (ex. voitures, camions, autobus, motos, machines agricoles, trains, aéronefs, navires) pour la gestion du trafic routier, la gestion du trafic ferroviaire, la gestion du trafic maritime, la gestion du trafic aérien, la détection de franchissement de vitesse, et pour les activités ludiques comme la pratique de la randonnée ou le vélo.
[0044] En application aux systèmes de navigation, une source de données 11-i peut être, par exemple, un capteur de position embarqué, un radar (routier, ferroviaire, ou aérien), ou un système de localisation ou de positionnement par satellite (par exemple, le système de positionnement global GPS ou ‘Global Positionning System’ en langue anglo-saxonne), configurés pour générer des données de position.
[0045] Les modes de réalisation de l’invention peuvent être utilisés pour fournir une assistance à la conduite à un véhicule client opérant et/ou communicant dans un système de transport intelligent. Le véhicule client peut implémenter des technologies de capteurs, des moyens de traitement, de communication, et d’interface homme/machine pour recueillir des informations du système de transport intelligent, traiter les informations reçues de son environnement, et échanger des informations en temps réel avec un serveur distant et/ou avec un ou plusieurs véhicules connectés dans le système de transport intelligent.
[0046] En application aux systèmes de transport intelligents, le dispositif 10 d’aide à la décision et le procédé d’aide à la décision selon les modes de réalisation peuvent être implémentés dans un système cognitif 1 qui est implémenté dans un véhicule opérant dans un système de transport intelligent. Le véhicule peut être automatisé ou semi-automatisé, comme par exemple les véhicules autonomes et les véhicules connectés. Les systèmes d’aide à la conduite exemplaires comprennent les systèmes ADAS (acronyme pour ‘Advanced Driver-Assistance Systems’ en langage anglo-saxon) ou les systèmes AD (acronyme pour ‘Autonomous Driving’ en langage anglo-saxon).
[0047] En application aux systèmes de transport intelligents, une source de données 11-i peut être tout type de capteur embarqué ou de radar approprié à la détection de véhicules, à la reconnaissance de leurs plaques d’immatriculation, à la détection d’objets environnants (par exemple les panneaux de signalisation, les obstacles), les agents en mouvement sur la route (par exemple les piétons, les cyclistes et les autres véhicules) et à la perception vers l’avant et/ou vers l’arrière et/ou sur les côtés du véhicule.
[0048] Les données provenant des sources de données 11-i d’un véhicule peuvent comprendre la vitesse, la position, la direction, la température, l’état des airbags, les précipitations, l'humidité, la vitesse du vent, le contenu du sol, des données provenant des caméras anticollision, des données provenant des radars de parkings, des données provenant des émetteurs/récepteurs ultra-sons, et les numéros des plaques d’immatriculation des véhicules environnants au véhicule dans le système de transport intelligent.
[0049] Des applications du système cognitif 1 à la robotique comprennent les véhicules autonomes connectés (Internet des véhicules et les communications véhicule à véhicule ou véhicule à infrastructure ou véhicule et tout objet), la domotique/maison intelligente, les villes intelligentes, la technologie portable et la santé connectée.
[0050] Selon certains modes de réalisation, le système cognitif 1 peut être un dispositif choisi dans un groupe comprenant, sans limitation, les ordinateurs portables, les téléphones portables intelligents, les tablettes, et les objets connectés (par exemples les appareils médicaux, les moniteurs de température et de météo, les cartes connectées, les compteurs intelligents, les consoles de jeux, les assistants numériques personnels, les moniteurs de santé et de fitness, les lampes, thermostats, portes de garage, dispositifs de sécurité, les drones, les vêtements intelligents, les appareils e-santé, et les robots).
[0051] Selon certains modes de réalisation, une source de donnée 11-i peut correspondre à un capteur (fixe ou mobile, numérique ou analogique, embarqué ou distant) qui peut être n’importe quel organe ou objet ou appareil sensoriel (par exemple un transducteur) configuré pour mesurer des caractéristiques physiques telles que la température, l'humidité, l'acoustique, le son, les vibrations, la force/la charge/la déformation/la pression, la lumière ambiante et la position/la présence/l'accessibilité. [0052] Selon certains modes de réalisation, une source de donnée 11-i peut être un dispositif configuré pour acquérir un flux d’images ou de vidéos.
[0053] Selon certains modes de réalisation, une source de donnée 11-i peut être configurée pour appliquer un traitement aux données acquises avant de les transmettre au dispositif 10 d’aide à la décision.
[0054] Selon certains modes de réalisation, une source de données 11-i peut être choisie dans un groupe comprenant des sources extéroceptives (telles que les caméras, les LIDAR, les radars, les capteurs ultra-sons, etc.) et des sources proprioceptives (telles que les odomètres, les unités de mesure à inertie, les capteurs de position, etc.).
[0055] Selon certains modes de réalisation, les sources de données 11-i, avec i variant de 1 à N, peuvent comprendre des cartes HD et/ou des capteurs distribués non intégrés dans le système cognitif 1 dont les données peuvent être rendues accessibles au système cognitif 1 , et en particulier au dispositif 10 d’aide à la décision, à travers des canaux de communication tels que les canaux V2X (acronyme de ‘Vehicle-to-everything’ en langue anglo-saxonne).
[0056] Les sources de données 11-i avec i variant de 1 à N peuvent être homogènes ou hétérogènes. Les sources de données 11-i homogènes peuvent être configurées pour avoir des orientations spatiales qui se chevauchent complètement ou partiellement pour élargir le champ de vision (par exemple des caméras de stéréovision ou des caméras multiples montées pour couvrir tout l’espace environnant).
[0057] Selon certains modes de réalisation, une source de données 11-i peut être un capteur logiciel.
[0058] Selon certains modes de réalisation, les données provenant des sources de données 11-i, avec i variant entre 1 et N, peuvent comprendre des données historiques acquises à des instants ou des intervalles de temps passés correspondant à des mesures prises de manière séquentielle dans le temps. Le dispositif 10 d’aide à la décision peut comprendre une unité de stockage 101 configurée pour stocker ces données passées. Les données passées peuvent correspondre à tout type d’information préalable résultant d’une étape antérieure de traitement (par exemple le résultat d’un traitement déterministe tel que le filtrage de Kalman du positionnement, le résultat d’une étape antérieure impliquant l’extraction de caractéristiques spécifiques des données brutes des sources de données, etc.) ou des informations contextuelles à faible débit (par exemple les conditions météorologiques).
[0059] Selon certains modes de réalisation, les données provenant des sources de données 11-i, avec i allant de 1 à N, peuvent former un flux continu ou une séquence (par exemple des images fixes composant une vidéo).
[0060] Les données provenant des différentes sources de données 11-i, pour i variant de 1 à N, peuvent avoir des représentations différentes dans des espaces de représentation de données différents.
[0061] En référence à la figure 1, les modes de réalisation de l’invention fournissent un dispositif 10 d’aide à la décision d’un système cognitif 1 à partir de données provenant de la pluralité de sources de données 11-i, avec i allant de 1 à N, mettant en oeuvre des techniques d’apprentissage machine pour la fusion et la reconstruction de données des sources de données 11-i dans le but de fournir à l’unité de décision 12 une représentation de données en fonction de laquelle l’unité de décision 12 peut déterminer une ou plusieurs actions à mettre en oeuvre par le système cognitif 1.
[0062] Le dispositif 10 d’aide à la décision peut comprendre une unité de traitement 103-i associée à chaque source de données 11-i, l’unité de traitement 103-i étant configurée pour recevoir les données générées en temps réel par la source de données 11-i correspondante et pour recevoir des données historiques préalablement stockées dans l’unité de stockage 101. L’unité de traitement 103-i associée à la source de données 11-i peut comprendre une unité d’encodage 1030-i configurée pour déterminer, à partir des données provenant (en temps réel et/ou des données historiques préalablement sauvegardées dans l’unité de stockage 101) de la source de données 11-i associée à l’unité de traitement 103-i, une représentation de données dans un espace de représentation commun à la pluralité de sources de données 11-i, pour i allant de 1 à N, en appliquant un algorithme d’apprentissage machine. L’espace de représentation commun correspond à un espace latent commun à toutes les sources de données 11-i, qu’elles soient homogènes ou hétérogènes. [0063] Selon certains modes de réalisation, l’algorithme d’apprentissage machine implémenté dans une unité d’encodage 1030-i peut être un algorithme d’apprentissage machine non supervisé choisi dans un groupe comprenant les algorithmes de réduction de dimensionnalité linéaire (par exemple l’analyse par composante principale), les algorithmes de réduction de dimensionnalité non-linéaire (par exemples les auto-encodeurs), les algorithmes de partitionnement de données (par exemples les algorithmes de partitionnement hiérarchique et l’algorithme Oensity-based Spatial Clustering of Applications with Noise’ en langage anglo- saxon), et les méthodes à noyau (par exemple le clustering à noyau).
[0064] Selon certains modes de réalisation, l’algorithme d’apprentissage machine implémenté dans une unité d’encodage 1030-i peut être un auto-encodeur adapté à déterminer une représentation de données dans un espace de représentation commun en dimension réduite. Un auto-encodeur est un réseau de neurones artificiels utilisé pour apprendre, d’une manière non-supervisée, une représentation (ou encodage) d’un ensemble de données dans le but de réduire la dimension de cet ensemble. Ceci peut permettre, entre autre, par entrainement dédié à ignorer le bruit du signal, qui est une deuxième application typique des auto-encodeurs. L’auto encodeur est utilisé pour apprendre à reconstruire, à partir de l’encodage réduit, une représentation de données qui soit la plus proche possible à la représentation des données d’origine.
[0065] Selon certains modes de réalisation, un auto-encodeur peut être choisi dans un groupe comprenant les auto-encodeurs régularisés, les auto-encodeurs variationnels, les auto-encodeurs convolutifs et les auto-encodeurs séquentiels. Les auto-encodeurs séquentiels peuvent être utilisés pour traiter des séquences de données et gérer la structure de l’évolution temporelle des données.
[0066] Selon certains modes de réalisation, un auto-encodeur séquentiel peut être un auto-encodeur multicanaux séquentiel.
[0067] Selon certains modes de réalisation, la dernière couche de chaque auto encodeur implémenté dans chaque unité d’encodage 1030-i peut produire une moyenne et des vecteurs de variance caractérisant une distribution normale multi variée de même dimension pour l’ensemble d’unités d’encodage 1030-i associées à la pluralité de sources de données 11-i. [0068] Les unités d’encodage 1030-i associées aux différentes sources de données 11 — i , avec i variant de 1 à N, traitent de manière indépendantes les données provenant des différentes sources de données 11-i (les données reçues en temps réel et/ou les données historiques préalablement stockées dans l’unité de stockage 101) et génèrent des représentations de données dans un espace de représentation commun.
[0069] Selon certains modes de réalisation, le dispositif 10 d’aide à la décision peut en outre comprendre une unité de fusion de données 105 configurée pour recevoir et traiter les représentations de données générées par les différentes unités d’encodage 1030-i comprises dans les unités de traitements 103-i associées aux différentes sources de données 11-i. Plus précisément, l’unité de fusion de donnée 105 peut être configurée pour déterminer un modèle de représentation d’un environnement du système cognitif 1 en combinant les représentations de données déterminées par les unités d’encodage 1030-i associées à la pluralité de sources de données 11-i par application d’un algorithme de fusion de données. La fusion de données permet de combiner les représentations de données (aussi appelées des codes) pour déterminer une représentation globale aussi désignée par une ‘modélisation du monde latent’ ou ‘modélisation du monde’.
[0070] Selon certains modes de réalisation, l’unité de fusion de données 105 peut être configurée pour déterminer la modélisation du monde latent en utilisant les représentations de données générées par les unités d’encodage 1030-i associées à la pluralité de sources de données et en utilisant des données relatives à au moins un modèle latent qui a été déterminé à des instants ou des intervalles de temps passés.
[0071] Selon certains modes de réalisation, l’algorithme de fusion de données peut être un algorithme déterministe tel que, sans limitation, le filtre de Kalman selon différentes variantes. Le filtre de Kalman est un outil récursif défini par un ensemble d’équations (linéaires ou non linéaires) pour estimer l’état d’un système. A chaque itération, le filtre de Kalman estime des données à l’instant courant à partir des données observées à l’instant précédent correspondant à l’itération précédente. Une étape de correction suit l’étape d’estimation pour corriger les données prédites en utilisant les données courantes. [0072] Selon certains modes de réalisation, l’algorithme de fusion de données peut utiliser le produit d’experts (product of experts, en anglais).
[0073] Selon certains modes de réalisation, l’algorithme de fusion de données peut être un algorithme d’apprentissage machine.
[0074] Selon certains modes de réalisation, l’algorithme de fusion de données peut être un algorithme d’apprentissage machine de type réseau de neurones récurrents. En particulier, l’algorithme de fusion de données peut utiliser les réseaux LSTM (acronyme de ‘Long Short-Term Memory’ en langage anglo-saxon).
[0075] Il est à noter que l’algorithme de fusion avec apprentissage peut s’intégrer à l’encodeur et au décodeur pour apprendre de manière jointe à toute l’architecture. La fusion ne nécessite pas la présence de toutes les données de capteurs, une partie des données de chaque capteur fonctionnel suffit.
[0076] Avantageusement, l’utilisation d’un algorithme récurrent pour la fusion latente dans l’espace latent mentionné plus haut permet la synchronisation et l’alignement temporel entre les sources de données 11-i. En effet, dans le système cognitif, les sources de données 11-i, pour i allant de 1 à N, peuvent être non synchronisées, ce qui signifie que les données provenant de ces sources peuvent correspondre à des instants de mesure différents appelés horodatages. Les données provenant des différentes sources de données 11-i ayant des horodatages différents, l’unité de fusion de données 105 peut être configurée pour tenir en compte l’horodatage de chaque donnée afin de déterminer de manière cohérente la modélisation du monde complet à un instant ou intervalle de temps donné. L’étape récursive des réseaux de neurones récurrents permet de réaliser un tel alignement temporel de manière efficace.
[0077] Selon certains modes de réalisation, un indicateur de l’incertitude peut être associé à l’algorithme de fusion de données pour quantifier l’incertitude des sorties générées.
[0078] Selon certains modes de réalisation, le modèle de représentation de l’environnement (ou encore la modélisation du monde latent) peut être utilisé par l’unité de décision 12 pour déterminer une action à mettre en oeuvre par le système cognitif 1 et/ou peut être utilisé pour d’autres tâches du système cognitif 1 comme la compréhension du contexte, la planification de trajectoire ou toute autre tâche de décision.
[0079] Selon certains modes de réalisation, le modèle de représentation de l’environnement déterminé par l’unité de fusion de données 105 peut être utilisé pour la reconstruction de données. Dans ces modes de réalisation, l’unité de traitement 103-i associée à une source de données 11-i, pour i allant de 1 à N, peut comprendre une unité de reconstruction de données 1031 -i configurée pour déterminer, à partir du modèle de représentation de l’environnement déterminé par l’unité de fusion de données 105, une représentation reconstruite de données en association avec la source de données 1031-i.
[0080] Les représentations reconstruites de données associées aux sources de données 1031-i peuvent être utilisées de plusieurs manières.
[0081] Selon certains modes de réalisation, les représentations reconstruites de données peuvent être utilisées pour entraîner l’algorithme d’apprentissage machine implémenté dans au moins une unité d’encodage 1030-i. Ainsi, selon ces modes de réalisation, une unité d’encodage 1030-i comprise dans une unité de traitement 103-i peut être configurée pour mettre en œuvre une phase d’entraînement de l’algorithme d’apprentissage machine en utilisant comme données d’entraînement des données dérivées de la représentation reconstruite de données déterminée par l’unité de reconstruction de données 1031-i associée à la source de donnée 11-i. Les données dérivées de la représentation reconstruite sont donc assimilables à des données brutes issues d’un capteur virtuel.
[0082] La reconstruction de données selon les modes de réalisation de l’invention en bénéficiant de la modélisation du monde amélioré construit à partir des contributions de toutes les représentations de données associées à la pluralité de sources de données permet une reconstruction raffinée des sources de données, le dé-bruitage, la restauration, et l’amélioration générale de la qualité des données des sources de données 11-i. Un exemple de cette application est le cas de données de capteurs corrompues par de mauvaises conditions météorologiques telles que la pluie ou la neige et le cas de données obtenues dans de mauvaises conditions d’éclairage. Les capacités de dé-bruitage des auto-encodeurs exploitant les propriétés spatiales sont améliorées par l’utilisation de diverses entrées par la combinaison des auto- encodeurs séquentiels multicanaux et l’exploitation de la structure temporelle fournie par la fusion de données.
[0083] Selon certains modes de réalisation, les représentations reconstruites de données peuvent être utilisées pour la détection des défauts des sources de données, la détection de la corruption des données, et la surveillance des caractéristiques des capteurs et/ou l’étalonnage en ligne. Pour ces modes de réalisation, les représentations reconstruites peuvent être comparées, pour chaque source de données 11-i, aux données originales d’entrée provenant de chaque source de données.
[0084] Selon ces modes de réalisation, une unité de traitement 103-i associée à la source de données 11-i, pour i variant de 1 à N, peut en outre comprendre une unité de comparaison 1032-i configurée pour comparer les données provenant de la source de données 11-i avec la représentation reconstruite de données déterminée par l’unité de reconstruction de données 1031 -i associée à la source de données 11-i.
[0085] La comparaison permet de détecter des erreurs aléatoires ou systématiques (par exemple, des fausses alarmes dues à des détections ‘fantômes’ qui peuvent être mises en évidence en comparant les données provenant de la source de données avec les données reconstruites), de calibrer les sources de données (par exemple détecter un mauvais alignement du support d’un capteur dû à un choc ou estimer un retard), et plus généralement, de détecter si une source de données s’écarte de son point de fonctionnement nominal en utilisant les données reconstruites comme référence pour les données nominales non corrompues calibrées en usine).
[0086] Selon certains modes de réalisation, la reconstruction de données peut être utilisée pour la reconstruction de source de données virtuelles, le dispositif 10 d’aide à la décision étant configuré pour reconstruire les données d’une source de données manquante. Selon ces modes de réalisation, le dispositif 10 d’aide à la décision peut avoir une configuration asymétrique impliquant N unités de traitement 103-i parmi lesquelles l’unité d’encodage 1030-i comprise dans une unité de traitement 103-i associée à la source de données manquante 11-i, avec i variant entre 1 et N, peut- être désactivée et l’unité de reconstruction de données 1031 -i peut être configurée pour déterminer, à partir du modèle de représentation de l’environnement, une représentation reconstruite de données associée à la source de données manquante.
[0087] La reconstruction de sources de données virtuelles ou manquantes permet avantageusement d’imiter les capteurs de haute qualité en utilisant plusieurs capteurs moins chers (par exemple, des images de caméras converties en images Lidar), d’assurer la continuité du service au cas où un capteur serait défectueux, inférieur à un niveau de qualité donné ou déclaré non fiable et que le flux de données manquant serait comblé par la coopération de toutes les autres sources de données. Par exemple, pour un capteur qui s’avère défectueux, la reconstruction virtuelle de capteur permet, en désactivant l’unité d’encodage correspondante, de pouvoir reconstruire les données sans nuire à l’application globale du système cognitif 1.
[0088] Par exemple on utilise pour la phase d’apprentissage du réseau de neurones utilisé par l’algorithme de fusion, trois sources de données 11-1 à 11 -3 qui sont des caméras fixées respectivement à l’arrière droit d’une voiture, à l’arrière gauche de la voiture, et sur un drone filmant une vue de dessus de la voiture (« bird view » en anglais) et de son environnement. Les trois caméras envoient trois séquences synchrones d’images aux auto-encodeurs correspondants 1030-1 à 1030-3 qui sont par exemple des auto-encodeurs séquentiels. Ces auto-encodeurs envoient les données à l’algorithme de fusion qui utilise la génération croisée, c’est-à-dire que le réseau de neurones utilise une combinaison, qui peut être changeante, des données ou d’une partie des données envoyées par les auto-encodeurs 1030-1 à 1030-3.
Cela rend le processus de fusion très robuste aux pertes de données source. Une fois la phase d’apprentissage terminée, le dispositif selon l’invention est exploité sans les données issues du drone, mais uniquement avec les caméras arrière gauche et droite du véhicule. Le dispositif est néanmoins en mesure de fournie une vue de dessus précise du véhicule et de son environnement. On obtient donc un capteur « bird-view » virtuel avec un cycle préalable d’apprentissage lors du roulage d’un véhicule avec un drone.
[0089] Afin d’améliorer la qualité des images du capteur virtuel, il est possible d’utiliser des réseaux antagonistes génératifs comme discriminateurs pour aider les unités de reconstruction de données 1031 -1 à 1031 -3 à fournir des images de meilleure fidélité. Ces réseaux antagonistes génératifs sont par exemple hybridés avec des auto-encodeurs génératifs variationnels. [0090] La reconstruction de données selon les modes de réalisation de l’invention permet en outre le transfert d’information entre les sources de données, en étendant l’ensemble des données d’apprentissage pour une source de donnée en exploitant les données des autres sources de données. Le transfert de données fait aussi abstraction de la nature et de la position des sources de données.
[0091] Selon certains modes de réalisation, l’unité de décision 12 peut être configurée pour déterminer une action à mettre en œuvre par le système cognitif 1 en fonction du modèle de représentation de l’environnement et/ou en fonction des comparaisons faites entre les données d’origines provenant des sources de données 11 — i avec les représentations de données reconstruites déterminées par les unités de reconstruction de données 1031-i, pour i allant de 1 à N et/ou en fonction des représentations reconstruites.
[0092] Selon certains modes de réalisation, le dispositif 10 d’aide à la décision peut être configuré pour adapter de façon dynamique les configurations des unités d’encodage 1030-i et des unités de reconstruction de données 1031-i en fonction des besoins par activation ou désactivation des unités d’encodage et/ou de reconstruction de données. L’adaptation de la configuration hybride des unités de traitement permet avantageusement de minimiser la puissance de traitement requise.
[0093] Les modes de réalisation de l’invention peuvent être mis en œuvre par divers moyens, par exemple par du matériel (‘hardware’), des logiciels, ou une combinaison de ceux-ci.
[0094] Avantageusement, le dispositif 10 d’aide à la décision peut être mis en œuvre par une architecture matérielle à faible bande passante comprenant des interfaces sécurisées agnostiques aux sources de données.
[0095] Selon certains modes de réalisation où les unités d’encodage 1030-i et les sources de données 11-i font partie d’une même plateforme matérielle séparée de celle où est implémentée l’unité de fusion de données 105, la largeur de bande de communication peut être maintenue à un niveau bas, les données étant transportées dans le format codé de la modélisation du monde plutôt que dans un format de données brutes exigeant une grande largeur de bande (par exemple les flux de pixels d’images). Cette architecture permet en outre de standardiser les interfaces des sources de données 11-i pour qu’elles soient agnostiques et génériques aux niveaux des sources de données 11-i.
[0096] Selon certains modes de réalisation, les unités de reconstructions de données 1031 -i peuvent être également co-localisées avec les sources de données 11-i et les unités d’encodage 1030-i, pour i allant de 1 à N. Un canal de retour de la modélisation du monde à posteriori de l’unité de fusion de données 105 vers l’unité de traitement de la source de données 11-i peut être mis en oeuvre. Cette architecture permet avantageusement de co-localiser les unités de comparaison 1032-i en ligne, qui peuvent être configurées pour implémenter des tâches générales de surveillance des sources de données 11-i comprenant par exemple l’activation/désactivation dynamique, l’étalonnage, l’horodatage, la détection d’anomalies, et la communication de l’état général de la source de données 11-i.
[0097] Avantageusement, la fusion des représentations de données dans l’espace latent permet de sécuriser les interfaces matérielles du dispositif 10 d’aide à la décision. En effet, la représentation de l’espace latent permet de rendre le contenu des données obscur du point de vue d’un attaquant qui ne peut pas interpréter l’espace latent sans aucun indice ou forme de supervision. Le niveau de sécurité des interfaces peut être augmenté par l’utilisation de couches supplémentaires (par exemple le brouillage ou l’entrelacement en fonction du temps).
[0098] En référence à la figure 2, les modes de réalisation de l’invention fournissent en outre un procédé d’aide à la décision d’un système cognitif 1 à partir de données provenant d’une pluralité de sources de données.
[0099] Selon certains modes de réalisation, les sources de données peuvent être homogènes ou hétérogènes.
[0100] A l’étape 200, des données provenant d’une pluralité de sources de données peuvent être reçues.
[0101] Selon certains modes de réalisation, les données provenant des sources de données peuvent comprendre des données historiques acquises à des instants ou des intervalles de temps passés correspondant à des mesures prises de manière séquentielle dans le temps.
[0102] Selon certains modes de réalisation, les données provenant des sources de données peuvent former un flux continu ou une séquence et peuvent avoir des représentations différentes dans des espaces de représentation de données différents.
[0103] Selon certains modes de réalisation, les données provenant des sources de données peuvent comprendre des données générées en temps réel par les sources de données, des données préalablement traitées, et/ou des données contextuelles.
[0104] A l’étape 201 , une représentation de données dans un espace de représentation commun peut être déterminée en association avec chaque source de données à partir des données provenant de la source de données en appliquant un algorithme d’apprentissage machine auxdites données. L’espace de représentation est commun à la pluralité de sources de données.
[0105] Selon certains modes de réalisation, l’algorithme d’apprentissage machine peut être un algorithme d’apprentissage machine non supervisé choisi dans un groupe comprenant les algorithmes de réduction de dimensionnalité linéaire (par exemple l’analyse par composante principale), les algorithmes de réduction de dimensionnalité non-linéaire (par exemples les auto-encodeurs), les algorithmes de partitionnement de données (par exemples les algorithmes de partitionnement hiérarchique et l’algorithme Oensity-based Spatial Clustering of Applications with Noise’ en langage anglo-saxon), et les méthodes à noyau (par exemple le clustering à noyau).
[0106] Selon certains modes de réalisation, l’algorithme d’apprentissage machine peut être un auto-encodeur adapté à déterminer une représentation de données dans un espace de représentation commun en dimension réduite.
[0107] Selon certains modes de réalisation, un auto-encodeur peut être choisi dans un groupe comprenant les auto-encodeurs régularisés, les auto-encodeurs variationnels, les auto-encodeurs convolutifs et les auto-encodeurs séquentiels. Les auto-encodeurs séquentiels peuvent être utilisés pour traiter des séquences de données et gérer la structure de l’évolution temporelle des données.
[0108] Selon certains modes de réalisation, un auto-encodeur séquentiel peut être un auto-encodeur multicanaux séquentiel.
[0109] A l’étape 202, un modèle de représentation d’un environnement du système cognitif 1 peut être déterminé en combinant les représentations de données déterminées à l’étape 201 en association avec la pluralité de sources de données par l’application d’un algorithme de fusion de données.
[0110] Selon certains modes de réalisation, le modèle de représentation de l’environnement peut être déterminé à l’étape 202 en utilisant les représentations de données générées en association avec la pluralité de sources de données et en utilisant des données relatives à au moins un modèle latent qui a été déterminé à des instants ou des intervalles de temps passés.
[0111] Selon certains modes de réalisation, l’algorithme de fusion de données peut être un algorithme déterministe tel que, sans limitation, le filtre de Kalman selon différentes variantes.
[0112] Selon certains modes de réalisation, l’algorithme de fusion de données peut utiliser le produit d’un cadre expert.
[0113] Selon certains modes de réalisation, l’algorithme de fusion de données peut être un algorithme d’apprentissage machine.
[0114] Selon certains modes de réalisation, l’algorithme de fusion de données peut être un algorithme d’apprentissage machine de type réseau de neurones récurrents. En particulier, l’algorithme de fusion de données peut utiliser les réseaux LSTM.
[0115] Selon certains modes de réalisation, l’étape 202 peut comprendre la détermination d’un indicateur d’incertitude pour quantifier l’incertitude des sorties générées par l’algorithme de fusion de données.
[0116] Selon certains modes de réalisation, le modèle de représentation de l’environnement déterminé à l’étape 202 peut être utilisé pour la reconstruction de données.
[0117] Selon ces modes de réalisation, le procédé peut comprendre une étape 203 pour déterminer au moins une représentation reconstruite de données en association avec au moins une source de données à partir du modèle de représentation de l’environnement du système cognitif.
[0118] Selon certains modes de réalisation, le procédé peut en outre comprendre une étape 204 pour comparer les données provenant d’au moins une source de données à la représentation reconstruite de données déterminée en association avec ladite source de données. [0119] Selon certains modes de réalisation, le procédé peut en outre comprendre une étape 205 pour déterminer une action à mettre en oeuvre par le système cognitif en fonction de la comparaison réalisée à l’étape 204 et/ou en fonction du modèle de représentation d’un environnement du système cognitif 1.
[0120] L'invention n'est pas limitée aux modes de réalisation décrits ci-avant à titre d’exemple non limitatif. Elle englobe toutes les variantes de réalisation qui pourront être envisagées par l'homme du métier.
En général les routines exécutées pour mettre en oeuvre les modes de réalisation de l'invention, qu'elles soient mises en oeuvre dans le cadre d'un système d'exploitation ou d'une application spécifique, d'un composant, d'un programme, d'un objet, d'un module ou d'une séquence d'instructions, ou même d’un sous-ensemble de ceux-là, peuvent être désignées comme “code de programme informatique” ou simplement “code de programme”. Le code de programme comprend typiquement des instructions lisibles par ordinateur qui résident à divers moments dans des dispositifs divers de mémoire et de stockage dans un ordinateur et qui, lorsqu'elles sont lues et exécutées par un ou plusieurs processeurs dans un ordinateur, amènent l’ordinateur à effectuer les opérations nécessaires pour exécuter les opérations et/ou les éléments propres aux aspects variés des modes de réalisation de l'invention. Les instructions d'un programme, lisibles par ordinateur, pour réaliser les opérations des modes de réalisation de l'invention peuvent être, par exemple, le langage d'assemblage, ou encore un code source ou un code objet écrit en combinaison avec un ou plusieurs langages de programmation.

Claims

REVENDICATIONS
1. Dispositif (10) d’aide à la décision d’un système cognitif (1 ) à partir de données provenant d’une pluralité de sources de données (11-1 ,11-2,11 -N), le dispositif (10) comprenant une unité de traitement (103-i) associée à chaque source de données (11-i), chaque unité de traitement (103-i) comprenant une unité d’encodage (1030-i) configurée pour déterminer, à partir des données provenant de la source de données (11-i) associée à ladite unité de traitement (103-i), une représentation de données dans un espace de représentation commun, le dispositif (10) comprenant en outre une unité de fusion de données (105) configurée pour déterminer un modèle de représentation d’un environnement du système cognitif (1) en combinant les représentations de données déterminées par les unités d’encodage (1030-i) associées à la pluralité de sources de données par application d’un algorithme de fusion de données, chaque unité de traitement (103-i) associée à une source de données (11-i) comprenant une unité de reconstruction de données (1031- i) configurée pour déterminer, à partir dudit modèle de représentation de l’environnement, une représentation reconstruite de données, l’unité d’encodage (1030-i) comprise dans ladite unité de traitement (103-i) étant configurée pour mettre en œuvre lors d’une phase d’entrainement un algorithme d’apprentissage machine en utilisant des données d’entraînement, caractérisé en ce qu’au moins une unité de reconstruction de données d’une unité de traitement est configurée pour déterminer, à partir dudit modèle de représentation de l’environnement, une représentation reconstruite de données associée à une source de données manquante associée à une unité d’encodage utilisée lors d’une phase préalable d’entraînement dudit dispositif mais inhibée lors d’une phase d’exploitation dudit dispositif.
2. Dispositif selon la revendication 1 , dans lequel ladite au moins une unité de reconstruction de données utilise un algorithme issu d’un apprentissage machine utilisant des réseaux génératifs antagonistes.
3. Dispositif selon la revendication 1 ou 2, dans lequel ladite au moins une unité de reconstruction de données correspond à un capteur « bird view » virtuel, ledit dispositif recevant des images issues d’une caméra arrière-gauche et d’une caméra arrière-droite d’un véhicule.
4. Dispositif selon l’une des revendication 1 à 3, dans laquelle les données d’entraînement sont des données dérivées de la représentation reconstruite de données déterminée par ladite unité de reconstruction de données (1031-i).
5. Dispositif (10) d’aide à la décision selon l’une quelconque des revendications 2 à 4, caractérisé en ce qu’une unité de traitement (103-i) comprend une unité de comparaison (1032-i) configurée pour comparer les données provenant de la source de données (11-i) associée à ladite unité de traitement avec la représentation reconstruite de données déterminée par l’unité de reconstruction de données (1031-i) associée à ladite source de données (11-i).
6. Dispositif (10) d’aide à la décision selon la revendication 5, caractérisé en ce qu’il comprend une unité de décision (12) configurée pour déterminer une action à mettre en oeuvre par le système cognitif (1 ) en fonction dudit modèle de représentation de l’environnement et/ou en fonction de ladite comparaison.
7. Dispositif (10) d’aide à la décision selon l’une quelconque des revendications précédentes, caractérisé en ce que ledit algorithme d’apprentissage machine est un réseau de neurones.
8. Dispositif (10) d’aide à la décision selon la revendication 7, caractérisé en ce que ledit réseau de neurones est un auto-encodeur multicanaux séquentiel.
9. Dispositif (10) d’aide à la décision selon l’une quelconque des revendications précédentes, caractérisé en ce que ledit algorithme de fusion de données est issu d’un algorithme d’apprentissage machine.
EP21709420.0A 2020-03-23 2021-03-08 Dispositif et procédé d'aide à la décision d'un système cognitif artificiel Pending EP4128055A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2002789A FR3108423B1 (fr) 2020-03-23 2020-03-23 Dispositif et procédé d’aide à la décision d’un système cognitif artificiel
PCT/EP2021/055762 WO2021190910A1 (fr) 2020-03-23 2021-03-08 Dispositif et procédé d'aide à la décision d'un système cognitif artificiel

Publications (1)

Publication Number Publication Date
EP4128055A1 true EP4128055A1 (fr) 2023-02-08

Family

ID=70614252

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21709420.0A Pending EP4128055A1 (fr) 2020-03-23 2021-03-08 Dispositif et procédé d'aide à la décision d'un système cognitif artificiel

Country Status (5)

Country Link
US (1) US12499670B2 (fr)
EP (1) EP4128055A1 (fr)
CN (1) CN115461756A (fr)
FR (1) FR3108423B1 (fr)
WO (1) WO2021190910A1 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11691637B2 (en) * 2020-06-19 2023-07-04 Ghost Autonomy Inc. Handling input data errors in an autonomous vehicle
EP4431974A1 (fr) * 2023-03-15 2024-09-18 Zenseact AB Génération de représentation d'un environnement environnant d'un véhicule
FR3154842A1 (fr) * 2023-10-31 2025-05-02 Thales Procédé de contrôle de l'observation par un système de pistage d'un espace et dispositif associé
CN118468197B (zh) * 2024-07-10 2024-09-24 衢州海易科技有限公司 一种多通道特征融合车联网异常检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180275658A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007098979A (ja) * 2005-09-30 2007-04-19 Clarion Co Ltd 駐車支援装置
FR2956215B1 (fr) * 2010-02-09 2014-08-08 Renault Sa Procede d'estimation de la localisation d'un vehicule automobile
US10656657B2 (en) * 2017-08-08 2020-05-19 Uatc, Llc Object motion prediction and autonomous vehicle control
WO2019055117A1 (fr) * 2017-09-13 2019-03-21 Hrl Laboratories, Llc Analyse de composantes indépendantes de tenseurs destinés à la fusion et la reconstruction de données de capteur
KR101939349B1 (ko) * 2018-07-09 2019-04-11 장현민 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법
US11214268B2 (en) * 2018-12-28 2022-01-04 Intel Corporation Methods and apparatus for unsupervised multimodal anomaly detection for autonomous vehicles
KR102097742B1 (ko) * 2019-07-31 2020-04-06 주식회사 딥노이드 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법
CN112579745B (zh) * 2021-02-22 2021-06-08 中国科学院自动化研究所 基于图神经网络的对话情感纠错系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180275658A1 (en) * 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LE GRUENWALD ET AL: "Using data mining to handle missing data in multi-hop sensor network applications", DATA ENGINEERING FOR WIRELESS AND MOBILE ACCESS, ACM, 2 PENN PLAZA, SUITE 701 NEW YORK NY 10121-0701 USA, 6 June 2010 (2010-06-06), pages 9 - 16, XP058163895, ISBN: 978-1-4503-0151-0, DOI: 10.1145/1850822.1850825 *
See also references of WO2021190910A1 *

Also Published As

Publication number Publication date
CN115461756A (zh) 2022-12-09
US12499670B2 (en) 2025-12-16
US20230306729A1 (en) 2023-09-28
WO2021190910A1 (fr) 2021-09-30
FR3108423B1 (fr) 2022-11-11
FR3108423A1 (fr) 2021-09-24

Similar Documents

Publication Publication Date Title
WO2021190910A1 (fr) Dispositif et procédé d'aide à la décision d'un système cognitif artificiel
US10921245B2 (en) Method and systems for remote emission detection and rate determination
Miclea et al. Visibility enhancement and fog detection: Solutions presented in recent scientific papers with potential for application to mobile systems
JP7536006B2 (ja) 知覚を改善するための多重チャネル多重偏光イメージング
DE102022102189A1 (de) Multimodales Segmentierungsnetz für ein verbessertes semantisches Labelingbei einer Kartenerzeugung
KR20230023530A (ko) 신뢰할 수 없는 맵 주석 입력들을 사용하는 센서 데이터의 시맨틱 주석 달기
CN119131674A (zh) 基于多模态数据的边坡监测方法及装置
EP3828866A1 (fr) Procede et dispositif pour la determination de trajectoires d'elements mobiles
CA3233479A1 (fr) Procede de detection d'obstacles
CN120528948B (zh) 一种自然资源调查监测方法、装置及电子设备
US20260073702A1 (en) Systems and methods for predicting occupancy in a voxel representation of an environment
Ligocki et al. Brno urban dataset: Winter extension
CA2503891A1 (fr) Dispositif de traitement d'images a reconnaissance et selection de sources de lumiere
US20250113112A1 (en) Detecting sensor defects for three-dimensional time-of-flight sensors
US12505566B2 (en) Detecting and filtering the edge pixels of 3D point clouds obtained from time-of-flight sensors
US20240319375A1 (en) Precision prediction of time-of-flight sensor measurements
US20250111528A1 (en) Identification and fusion of super pixels and super voxels captured by time-of-flight sensors
US20240062349A1 (en) Enhanced high dynamic range pipeline for three-dimensional image signal processing
CN120277593B (zh) 一种基于云的测绘数据处理方法及其系统
US20260023169A1 (en) Method and system for learning scene reconstruction from polarized wavefronts
EP4641520A1 (fr) Procédés et systèmes d'acquisition de données pour le développement de systèmes de conduite automatisée
Chen et al. Intelligent Aerial-Based Recognition and Positioning System for Camel Grazing
Sarkar et al. Development of an Infrastructure Based Data Acquisition System to Naturalistically Collect the Roadway Environment
Guinoubi Survey on Lidar Sensing Technology for Vehicular Networks
Shi et al. Sensor Technologies

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20220922

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230608

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: AMPERE SAS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250721

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN