FR3138951A1 - Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile - Google Patents

Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile Download PDF

Info

Publication number
FR3138951A1
FR3138951A1 FR2208426A FR2208426A FR3138951A1 FR 3138951 A1 FR3138951 A1 FR 3138951A1 FR 2208426 A FR2208426 A FR 2208426A FR 2208426 A FR2208426 A FR 2208426A FR 3138951 A1 FR3138951 A1 FR 3138951A1
Authority
FR
France
Prior art keywords
image
projection
vehicle
images
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR2208426A
Other languages
English (en)
Inventor
Michel MOUKARI
Ahmed Nasreddinne BENAICHOUCHE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran SA
Original Assignee
Safran SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran SA filed Critical Safran SA
Priority to FR2208426A priority Critical patent/FR3138951A1/fr
Priority to PCT/FR2023/051266 priority patent/WO2024042288A1/fr
Publication of FR3138951A1 publication Critical patent/FR3138951A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/243—Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/246—Arrangements for determining position or orientation using environment maps, e.g. simultaneous localisation and mapping [SLAM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
    • G05D1/639—Resolving or avoiding being stuck or obstructed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00—Specific environments of the controlled vehicles
    • G05D2107/30—Off-road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00—Types of controlled vehicles
    • G05D2109/10—Land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00—Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10—Optical signals

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

L’invention porte sur un procédé d’aide à la navigation d’un système mobile, comprenant : la génération de données d’entrainement, comprenant:l’obtention d’une séquence d’images d’un environnement acquises par une caméra (2) embarquée à bord d’un véhicule (1) en déplacement dans l’environnement;la détermination d’une empreinte au sol du véhicule (EN) lors de l’acquisition d’une image de la séquence ;l’annotation, en tant que zone traversable par le système mobile, d’une région d’image (RI) correspondant à la projection de ladite empreinte dans une autre image de la séquence;l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par le système mobile à l’aide des données d’entrainement ;l’obtention d’images d’une scène acquises par une caméra embarquée à bord du système mobile ; et la prédiction de la traversabilité de la scène par fourniture des images de la scène au modèle ayant fait l’objet de l’apprentissage machine. Figure pour l’abrégé : Figure 3

Description

Système et procédé d’aide à la navigation d’un système mobile au moyen d’un modèle de prédiction de traversabilité d’un terrain par le système mobile
Le domaine de l’invention est celui de l’aide à la navigation d’un système mobile du type robot ou véhicule autonome. L’invention concerne plus particulièrement l’apprentissage machine d’un modèle et l’utilisation du modèle ayant fait l’objet de l’apprentissage machine pour prédire, à partir d’images d’un terrain, la traversabilité du terrain par le système mobile.
Dans le domaine de la navigation de systèmes mobiles, on connait des méthodes qui ont pour but de trouver la présence d’une route dans des images acquises par une caméra embarquée sur un système mobile. Ces méthodes utilisent des indices visuels comme les points de fuite, les textures ou encore le relief pour délimiter les contours d’une route sur une image, ou posent le problème directement comme un problème de segmentation de la route dans l’image. Cependant, ces méthodes ne s’intéressent pas aux chemins au sens le plus large du terme, qui peuvent notamment être des chemins hors-pistes non forcément goudronnés ni correctement délimités, et encore moins au thème plus général de la traversabilité correspondant à l’identification dans les images acquises de zones du terrain sur lesquelles le système mobile serait apte à se déplacer.
On trouve d’autre part des méthodes basées sur des modèles de réseaux de neurones qui identifient le type de sol sur lequel le véhicule évolue. Par exemple, le document WO 2019/241022 A1 décrit une solution utilisant un réseau de neurones profond convenablement pré-entrainé pour réaliser la détection d’une voie navigable qui n’est pas nécessairement délimitée par des marquages au sol.
L’apprentissage de tels modèles de réseaux de neurones reposent sur l’acquisition d’images lors de roulages du système mobile en situations réelles, suivis d’une étape d’annotation manuelle des images par des opérateurs humains. Cette phase d’annotation manuelle des données d’apprentissage est longue et couteuse.
L’invention a pour objectif de proposer une technique d’aide à la navigation dans laquelle l’annotation de données dédiées à l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par un système mobile pourrait être automatisée.
A cet effet, l’invention propose un procédé mis en œuvre par ordinateur d’aide à la navigation d’un système mobile, comprenant :
  • la génération de données d’entrainement pour l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par le système mobile, ladite génération comportant:
    • l’obtention d’une séquence d’images d’un environnement acquises par une caméra embarquée à bord d’un véhicule en déplacement dans l’environnement;
    • la détermination d’une empreinte au sol du véhicule lors de l’acquisition d’une image de la séquence formant une première image de référence ;
    • l’annotation, en tant que zone traversable par le système mobile, d’une région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une première image de projection ;
  • l’apprentissage machine du modèle à l’aide des données d’entrainement ;
  • l’obtention d’images d’une scène acquises par une caméra embarquée à bord du système mobile ; et
  • la prédiction de la traversabilité de la scène par fourniture des images de la scène au modèle ayant fait l’objet de l’apprentissage machine.
L’invention permet ainsi d’automatiser l’annotation des images. Il en découle une phase d’annotation moins couteuse et pouvant être réalisée plus rapidement. Elle permet en outre de constituer une base d’apprentissage comprenant un nombre accru d’images annotées. L’annotation automatique des images est en outre moins sujette à des erreurs qu’une annotation manuelle. Il en découle l’apprentissage d’un modèle de prédiction de meilleure qualité et de là une aide à la navigation plus précise.
Certains aspects préférés mais non limitatifs de ce procédé sont les suivants :
  • la génération des données d’entraînement comprend en outre :
    • l’obtention de données inertielles acquises par une centrale inertielle embarquée à bord du véhicule en déplacement dans l’environnement ;
    • la détermination, par localisation et cartographie simultanées exploitant les images de la séquence et les données inertielles, de la position de la caméra dans un repère de l’environnement lors de l’acquisition des images de la séquence ;
et la détermination de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est réalisée à partir de la position de la caméra dans le repère de l’environnement lors de l’acquisition de la première image de référence ;
  • la génération des données d’entraînement comprend en outre le calcul d’un score de similarité entre la région d’image correspondant à la projection de ladite empreinte dans la première image de projection et une région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une deuxième image de projection et, lorsque le score de similarité est inférieur à un seuil, la région d’image correspondant à la projection de ladite empreinte dans la deuxième image de projection ne fait pas l’objet d’une annotation ;
  • lors de la génération des données d’entraînement la détermination d’une empreinte au sol du véhicule est réitérée pour déterminer une empreinte au sol du véhicule lors de l’acquisition d’une autre image de la séquence formant une deuxième image de référence et comprenant en outre l’annotation en tant que zone traversable d’une région d’image correspondant à la projection dans la première image de projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence ;
  • la génération des données d’entraînement comprend en outre l’annotation en tant que zone traversable d’une région intermédiaire dans la première image de projection entre la région d’image correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence et la région d’image correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence.
D'autres aspects, buts, avantages et caractéristiques de l’invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
- la est un schéma illustrant l’annotation de données d’apprentissage et l’apprentissage machine d’un réseau de neurones ;
- la est un schéma illustrant l’utilisation d’un réseau de neurones pré-entrainé conformément à l’invention ;
- la illustre le principe général selon lequel des images acquises pendant le déplacement du véhicule présentent des régions d’image traversables correspondant aux zones où le véhicule s’est déplacé ;
- la est un schéma illustrant différentes étapes d’un processus d’annotation des données d’apprentissage conforme à l’invention ;
- la illustre la projection d’empreintes au sol du véhicule dans différentes images ;
- la illustre l’annotation d’une zone intermédiaire entre plusieurs empreintes au sol projetées dans une image.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
L’invention porte sur un procédé mis en œuvre par ordinateur de génération de données d’entrainement pour l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par un système mobile, par exemple un système mobile terrestre type tout-terrain tel qu’un robot, un drone ou un véhicule autonome.
L’invention s’étend à un procédé d’apprentissage machine, comprenant la génération de données d’entrainement et l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par un système mobile, à l’aide des données d’entrainement. En référence à la , ce procédé comprenant l’annotation ANN de données brutes RDS pour fournir des données d’entrainement ADS et l’entraînement TRAIN d’un réseau de neurones non-entraîné UNN à l’aide des données d’entrainement annotées ADS pour fournir un réseau de neurones entraîné TNN. Les données brutes RDS sont ici des images de terrain et les données d’entrainement sont des images de terrain annotées où chaque pixel est identifié comme étant traversable ou non par le système mobile. Par exemple, si le pixel est traversable, il prend la valeur 1, sinon il prend la valeur 0. On se retrouve ainsi avec une image binaire qui représente la traversabilité du terrain.
Le réseau de neurones peut être un réseau convolutif (CNN pour « Convolutional Neural Network »)) capable de faire la prédiction dense, par exemple un réseau reposant sur l’architecture U-net.
En référence à la , l’invention s’étend en outre à l’utilisation INFER du réseau de neurones entraîné TNN pour déterminer, à partir d’une image d’une scène IE, une carte de traversabilité de cette scène CT, par exemple une carte binaire dans laquelle chaque point de la scène imagée est identifié comme étant traversable ou non par le système mobile ou encore une carte dans laquelle une probabilité de traversabilité est associée à chaque point de la scène. L’image de la scène IE est acquise par une caméra embarquée sur le système mobile, de préférence une caméra monoculaire.
On retiendra que l’utilisation d’une seule caméra monoculaire pour estimer une telle carte de traversabilité présente les avantages d’une faible consommation pour un système embarqué, d’un coût réduit par rapport à un système de stéréovision ou à un système de type LiDAR et de permettre de réaliser une telle estimation sans capteur émissif.
Les images successivement acquises par la caméra sont typiquement des images RGB du terrain, assurant une fonctionnalité en lumière visible. Dans une variante de réalisation, un fonctionnement nocturne est assuré en exploitant une autre plage de longueur d’onde (infrarouge typiquement).
L’invention exploite des images formant les données brutes RDS qui ont été acquises au moyen d’une caméra embarquée à bord d’un véhicule en déplacement dans l’environnement. Ce déplacement est par exemple opéré par un conducteur humain. Différents déplacements sont de préférence réalisés afin de couvrir des environnements divers.
En admettant que le véhicule navigue a priori sur le sol, l’invention prend le postulat que les zones traversables d’un environnement correspondent aux plans du sol sur lesquels le véhicule s’est déplacé. Il s’avère dès lors possible d’annoter automatiquement les images formant les données brutes RDS en y repérant les zones sur lesquelles le véhicule a été amené à se déplacer. Cette approche permet de passer directement du déplacement, qui est une étape obligatoire pour acquérir des données brutes, à la génération d’une base de données annotée automatiquement avec les zones traversables identifiées sur les images, sans passer par une phase d’annotation manuelle des données brutes.
La illustre la mise en œuvre de cette approche. On considère ici que le véhicule 1 se déplace en marche avant (de la droite vers la gauche sur la ) et que la caméra embarquée 2 image l’environnement au-devant du véhicule. La représente ainsi le véhicule à deux instants différents au cours du déplacement. A droite, la caméra image une région du sol sur laquelle le véhicule sera ensuite amené à se déplacer. L’invention propose de déterminer l’empreinte au sol du véhicule ENlorsqu’il roule sur cette région (i.e. dans sa position de gauche sur la ) puis de venir annoter, en tant que zone traversable par le système mobile, une région d’image RI correspondant à la projection de ladite empreinte dans une image acquise par la caméra (dans cet exemple, une image préalablement acquise lorsque le véhicule est dans sa position de droite sur la ).
En référence à la qui illustre différentes étapes qui peuvent être réalisées lors de l’annotation ANN de données brutes RDS, le procédé selon l’invention comprend une étape OBT d’obtention d’une séquence d’images d’un environnement acquises par une caméra embarquée à bord d’un véhicule en déplacement dans l’environnement. Le procédé comprend par ailleurs une étape EMP de détermination d’une empreinte au sol du véhicule lors de l’acquisition d’une image de la séquence formant une première image de référence (i.e. lorsque le véhicule est à la position à gauche sur la ). Afin de déterminer cette empreinte, le sol peut être considéré comme étant localement plat sous le véhicule. Cette détermination de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est suivie d’une étape PROJ de projection de ladite empreinte dans une autre image de la séquence formant une première image de projection (i.e. l’image acquise lorsque le véhicule est à la position de droite sur la ) et d’une étape d’annotation, en tant que zone traversable par le système mobile, d’une région d’image dans la première image de projection correspondant à la projection de ladite empreinte.
Dans un souci de clarté, on a dans ce qui précède pris le cas d’une première image de référence et d’une première image de projection. En réalité, l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence peut être projetée dans une pluralité d’images de la séquence, typiquement les images précédant immédiatement l’image de référence (par exemple lorsque les images ont été acquises avec le véhicule en marche avant et la caméra pointant vers l’avant) dans la séquence ou suivant immédiatement l’image de référence dans la séquence (par exemple lorsque les images ont été acquises avec le véhicule en marche avant et la caméra pointant vers l’avant). Par ailleurs, le procédé peut être réitéré en prenant tour à tour chacune des images de la séquence comme première image de référence.
La illustre ce principe avec l’empreinte au sol du véhicule ENlors d’une l’acquisition d’une image à l’instant tNprojetée dans les images IN-1, IN- 2et IN- 3précédemment acquises aux instants tN -1, tN -2et tN -3, avec l’empreinte au sol du véhicule EN-1lors de l’acquisition de l’image IN-1 à l’instant tN -1projetée dans les images IN- 2et IN- 3précédemment acquises aux instants tN -2et tN -3et avec l’empreinte au sol du véhicule EN-2lors de l’acquisition de l’image IN- 2à l’instant tN -2projetée dans l’image IN- 3précédemment acquise à l’instant tN -3. Dans l’image IN- 3sont ainsi annotés comme pixels traversables les pixels correspondant aux projections dans cette image des empreintes EN, EN-1et EN-3.
Afin de permettre la détermination de l’empreinte au sol, dans un mode de réalisation possible, le procédé comprend l’obtention de données inertielles acquises par une centrale inertielle embarquée à bord du véhicule en déplacement dans l’environnement, ces données inertielles étant acquises de manière synchrone avec les images de la séquence d’image. Puis en référence à la , le procédé comprend une étape de détermination SLAM, par localisation et cartographie simultanées (connue en anglais sous le nom de « simultaneous localization and mapping ») exploitant les images de la séquence et les données inertielles, de la position de la caméra dans un repère de l’environnement lors de l’acquisition des images de la séquence. Ce repère, également qualifié de repère du monde, forme un repère global de référence de tout positionnement. L’étape SLAM permet plus particulièrement de reconstruire la trajectoire du véhicule en replaçant les différentes poses successives de la caméra dans le repère de l’environnement.
L’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est alors déterminée en exploitant la position de la caméra dans le repère de l’environnement lors de l’acquisition de la première image de référence ainsi qu’une connaissance a priori des dimensions du véhicule (typiquement sa longueur et sa largeur) et de la position spatiale de la caméra dans le véhicule. Cette empreinte caractérise une zone de l’environnement empruntée par le véhicule dans le repère de l’environnement à un instant donné (en l’occurrence l’instant d’acquisition de la première image de référence). En caractérisant l’empreinte au sol associée à chacune des images de la séquence, l’ensemble du chemin emprunté par le véhicule peut être déterminé.
Une fois le chemin emprunté par le véhicule déterminé, il est nécessaire de déterminer ce chemin dans les images afin de pouvoir effectuer leur annotation sur les images. Comme indiqué précédemment, cela est effectué lors de l’étape PROJ par projection des coordonnées 3D de l’empreinte au sol lors de l’acquisition d’une image dans une pluralité d’autres images de la séquence (par exemple les N images précédentes en supposant que le véhicule roule en marche avant et que la caméra regarde devant le véhicule). Cette projection permet de passer des coordonnées de l’empreinte au sol du véhicule dans le repère de l’environnement aux pixels correspondant à cette empreinte vue dans les images précédentes. Cette projection est effectuée en utilisant la matrice intrinsèque et les paramètres de distorsion de la caméra obtenues par calibration ainsi que les différentes poses de la caméra estimées par la localisation et cartographie simultanées lors de l’étape SLAM.
Par exemple, la projection d’un point 3D dans une image est donnée par l’équation suivante :
, où
  • correspondent aux coordonnées du point 3D dans le repère de l’environnement ;
  • est une matrice de rotation et est un vecteur de translation, qui permettent de représenter la position de la caméra dans le repère de l’environnement ;
  • désigne la matrice de projection de la caméra, déterminée par calibration préalable de la caméra. A noter que les paramètres de distorsion de la caméra ne sont pas utilisés, car les images sont rectifiées.
Le procédé peut par ailleurs comprendre une étape de filtrage FILT des images dans lesquelles la région d’image correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence n’est en réalité pas représentative de cette empreinte au sol. Par exemple, si une surface sur laquelle le véhicule a roulé (position associée à la première image de référence) n’est pas visible, par exemple du fait d’un occultation ou d’un virage sur le chemin emprunté, dans une image acquise à une position précédente de la caméra, alors cette image est discréditée.
Pour ce faire, l’étape de filtrage FILT peut comprendre le calcul d’un score de similarité entre la région d’image correspondant à la projection de l’empreinte au sol lors de l’acquisition de la première image de référence dans la première image de projection et la région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une deuxième image de projection. Par exemple, la première image de référence est l’image IN, la première image de projection est l’image IN-1acquise immédiatement avant l’image INet la deuxième image de projection est l’une quelconque des autres images de la pluralité d’images dans lesquelles est réalisée la projection de l’empreinte au sol lors de l’acquisition de la première image de référence. Lorsque le score de similarité est inférieur à un seuil, la région d’image correspondant à la projection de ladite empreinte dans la deuxième image de projection ne fait pas l’objet d’une annotation.
Le problème à traiter est ainsi le suivant : ayant deux pixels provenant de deux images différentes, on cherche à savoir si ces deux pixels voient le même point 3D de la scène. Une manière de répondre à cette question est d’utiliser un descripteur d’une région d’image autour de chacun des deux pixels puis de calculer une distance entre ces deux descripteurs. Des exemples de descripteurs sont les suivants : SIFT (pour « Scale-Invariant Feature Transform »), SURF (pour « Speeded Up Robust Features), BRIEF (pour « Binary Robust Independent Elementary Features »), ORB (pour « Oriented FAST and rotated BRIEF »), histogramme de couleur. La distance entre les descripteurs peut être la distance euclidienne, une distance Hamming, une distance cosine, un coefficient de corrélation, etc. La distance mesurée est comparée à un seuil afin de déclarer si les deux pixels voient le même point ou pas.
Comme indiqué précédemment, la détermination d’une empreinte au sol du véhicule est typiquement réitérée pour déterminer une empreinte au sol du véhicule lors de l’acquisition d’une autre image de la séquence prise comme deuxième image de référence et projeter cette empreinte dans la première image de projection. Le procédé comprend alors également l’annotation en tant que zone traversable d’une région d’image correspondant à la projection dans la première image de projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence.
Il est par ailleurs possible (notamment du fait d’une fréquence d’acquisition des images faible au vu de la vitesse d’avancée du véhicule) que les zones roulables visibles sur une image soient disjointes par endroits. Par exemple, comme représenté sur la , la région R1 de la première image de projection correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence et la région R2 de la première image de projection correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence sont disjointes. Dans un tel cas de figure, le procédé peut comprendre une étape INT consistant à annoter en tant que zone traversable une région intermédiaire RI dans la première image de projection entre les deux régions d’image disjointes R1, R2 susmentionnées. Cette zone intermédiaire peut être automatiquement délimitée, par exemple en joignant comme représenté les bords de la forme 2D de l’enveloppe du véhicule.
L’invention n’est pas limitée aux procédés précédemment décrits mais s’étend également à un système comprenant un processeur configuré pour la mise en œuvre de l’un ou l’autre de ces procédés ains qu’à un produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes de l’un ou l’autre de ces procédés. L’invention s’étend également à un système comprenant un premier processeur configuré pour mettre en œuvre les étapes de génération des données d’entrainement et d’apprentissage et un deuxième processeur configuré pour mettre en œuvre les étapes d’obtention des images de la scène et de prédiction de la traversabilité de la scène au moyen du modèle ayant fait l’objet de l’apprentissage.

Claims (7)

  1. Procédé mis en œuvre par ordinateur d’aide à la navigation d’un système mobile, comprenant :
    • la génération de données d’entrainement pour l’apprentissage machine d’un modèle de prédiction de traversabilité d’un terrain par le système mobile, ladite génération comportant:
      • l’obtention (OBT) d’une séquence d’images d’un environnement acquises par une caméra (2) embarquée à bord d’un véhicule (1) en déplacement dans l’environnement;
    • la détermination (EMP) d’une empreinte au sol du véhicule (EN) lors de l’acquisition d’une image de la séquence formant une première image de référence ;
    • l’annotation, en tant que zone traversable par le système mobile, d’une région d’image (RI) correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une première image de projection ;
    • l’apprentissage machine du modèle à l’aide des données d’entrainement ;
    • l’obtention d’images d’une scène acquises par une caméra embarquée à bord du système mobile ; et
    • la prédiction de la traversabilité de la scène par fourniture des images de la scène au modèle ayant fait l’objet de l’apprentissage machine.
  2. Procédé selon la revendication 1, dans lequel la génération des données d’entraînement comprend en outre :
    • l’obtention de données inertielles acquises par une centrale inertielle embarquée à bord du véhicule en déplacement dans l’environnement ;
    • la détermination (SLAM), par localisation et cartographie simultanées exploitant les images de la séquence et les données inertielles, de la position de la caméra dans un repère de l’environnement lors de l’acquisition des images de la séquence ;
    et dans lequel la détermination de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence est réalisée à partir de la position de la caméra dans le repère de l’environnement lors de l’acquisition de la première image de référence.
  3. Procédé selon l’une des revendications 1 et 2, dans lequel la génération des données d’entraînement comprend en outre le calcul d’un score de similarité (FILT) entre la région d’image correspondant à la projection de ladite empreinte dans la première image de projection et une région d’image correspondant à la projection de ladite empreinte dans une autre image de la séquence formant une deuxième image de projection et, lorsque le score de similarité est inférieur à un seuil, la région d’image correspondant à la projection de ladite empreinte dans la deuxième image de projection ne fait pas l’objet d’une annotation.
  4. Procédé selon l’une des revendications 1 à 3, dans lequel lors de la génération des données d’entraînement la détermination d’une empreinte au sol du véhicule est réitérée pour déterminer une empreinte au sol du véhicule lors de l’acquisition d’une autre image de la séquence formant une deuxième image de référence et comprenant en outre l’annotation en tant que zone traversable d’une région d’image correspondant à la projection dans la première image de projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence.
  5. Procédé selon la revendication 4, dans lequel la génération des données d’entraînement comprend en outre l’annotation (INT) en tant que zone traversable d’une région intermédiaire (RI) dans la première image de projection entre la région d’image (R1) correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la première image de référence et la région d’image (R2) correspondant à la projection de l’empreinte au sol du véhicule lors de l’acquisition de la deuxième image de référence.
  6. Produit programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre les étapes du procédé selon l’une des revendications 1 à 5.
  7. Système de traitement de données comprenant un premier processeur configuré pour mettre en œuvre les étapes de génération des données d’entrainement et d’apprentissage du procédé selon l’une des revendications 1 à 5 et un deuxième processeur configuré pour mettre en œuvre les étapes d’obtention des images de la scène et de prédiction du procédé selon l’une des revendications 1 à 5.
FR2208426A 2022-08-22 2022-08-22 Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile Pending FR3138951A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR2208426A FR3138951A1 (fr) 2022-08-22 2022-08-22 Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile
PCT/FR2023/051266 WO2024042288A1 (fr) 2022-08-22 2023-08-11 Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2208426A FR3138951A1 (fr) 2022-08-22 2022-08-22 Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile
FR2208426 2022-08-22

Publications (1)

Publication Number Publication Date
FR3138951A1 true FR3138951A1 (fr) 2024-02-23

Family

ID=85685112

Family Applications (1)

Application Number Title Priority Date Filing Date
FR2208426A Pending FR3138951A1 (fr) 2022-08-22 2022-08-22 Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile

Country Status (2)

Country Link
FR (1) FR3138951A1 (fr)
WO (1) WO2024042288A1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049082A1 (fr) * 2017-09-08 2019-03-14 Niantic, Inc. Détection, estimation et évitement de collision
WO2019241022A1 (fr) 2018-06-13 2019-12-19 Nvidia Corporation Détection de chemin pour machines autonomes utilisant des réseaux neuronaux profonds

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049082A1 (fr) * 2017-09-08 2019-03-14 Niantic, Inc. Détection, estimation et évitement de collision
WO2019241022A1 (fr) 2018-06-13 2019-12-19 Nvidia Corporation Détection de chemin pour machines autonomes utilisant des réseaux neuronaux profonds

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PANAGIOTIS PAPADAKIS: "Terrain traversability analysis methods for unmanned ground vehicles: A survey", ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE., vol. 26, no. 4, 16 February 2013 (2013-02-16), GB, pages 1373 - 1385, XP055646168, ISSN: 0952-1976, DOI: 10.1016/j.engappai.2013.01.006 *
ROBIN SCHMID ET AL: "Self-Supervised Traversability Prediction by Learning to Reconstruct Safe Terrain", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 August 2022 (2022-08-02), XP091285431 *

Also Published As

Publication number Publication date
WO2024042288A1 (fr) 2024-02-29

Similar Documents

Publication Publication Date Title
US11462023B2 (en) Systems and methods for 3D object detection
Borkar et al. A novel lane detection system with efficient ground truth generation
EP3455788A1 (fr) Procédé de traitement d'image pour la reconnaissance de marquage au sol et système pour la détection du marquage au sol
US9811743B2 (en) Tracking road boundaries
JP6670071B2 (ja) 車両用画像認識システム、及び対応法
EP2766872B1 (fr) Procede d'etalonnage d'un systeme de vision par ordinateur embarque sur un mobile
EP2275971A1 (fr) Procédé de détection d'un obstacle pour véhicule automobile
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
FR2871772A1 (fr) Procede d'aide au guidage d'un vehicule automobile sur la base de donnees d'images
EP3195077A1 (fr) Procédé et système de localisation et de cartographie
Samantaray et al. Lane detection using sliding window for intelligent ground vehicle challenge
Teutscher et al. PDC: piecewise depth completion utilizing superpixels
FR2899363A1 (fr) Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
EP2432660A1 (fr) Procede et dispositif pour etendre une zone de visibilite
WO2020165544A1 (fr) Identification de zones roulables avec prise en compte de l'incertitude par une méthode d'apprentissage profond
FR3138951A1 (fr) Système et procédé d'aide à la navigation d'un système mobile au moyen d'un modèle de prédiction de traversabilité d'un terrain par le système mobile
FR3083352A1 (fr) Procede et dispositif de detection rapide de structures repetitives dans l'image d'une scene routiere
Xin et al. ULL-SLAM: underwater low-light enhancement for the front-end of visual SLAM
FR3067144A1 (fr) Procede de determination du type de route sur laquelle evolue un vehicule
WO2017005930A1 (fr) Détection d'objets par traitement d'images
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
EP3309712A1 (fr) Procédé et système électronique de détection d'une cible, programme d'ordinateur associé
EP2769360B1 (fr) Procédé de localisation d'objets par résolution dans l'espace tridimensionnel de la scène
Ge Robust image segmentation: Applications to autonomous car and foraminifera morphology identification

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20240223