EP3555566A1 - Localisation d'un vehicule - Google Patents

Localisation d'un vehicule

Info

Publication number
EP3555566A1
EP3555566A1 EP17821992.9A EP17821992A EP3555566A1 EP 3555566 A1 EP3555566 A1 EP 3555566A1 EP 17821992 A EP17821992 A EP 17821992A EP 3555566 A1 EP3555566 A1 EP 3555566A1
Authority
EP
European Patent Office
Prior art keywords
vision
data
sensor
constraints
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP17821992.9A
Other languages
German (de)
English (en)
Inventor
Yoann Dhome
Mathieu Carrier
Vincent GAY-BELLILE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP3555566A1 publication Critical patent/EP3555566A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to the location of a vehicle in real time.
  • the applications of the invention are, for example, assistance with driving a vehicle, autonomous driving or even augmented reality.
  • the method triangulates points of the environment, called points of interest, to calculate the movement of the camera between two successive images. Using a beam adjustment, she performs a robust calculation that challenges the path traveled locally. This type of approach, calculating relative displacements between images, accumulates over time uncertainties and errors.
  • FR 2976 107 uses a model of the scene to introduce constraints within the beam adjustment step.
  • the point of view recognition module is very sensitive to occlusions and the robustness of the signature of the visual bitters (variations related to the weather, changes of illumination, seasons ).
  • Vehicle location applications use a location from a vision sensor.
  • the algorithm is here supplemented by two elements: the addition of a correction module of GPS sensor via a scene model and the integration of constraints at the beam adjustment step from data from the GPS sensor.
  • This method firstly comprises a visual location based on a recognition of points of view from a base of georeferenced visual landmarks.
  • This module includes a step of detection and matching points of interest followed by an adjustment of beams constrained by the base of visual amers.
  • an alternative location includes Bayesian filtering constrained by a lane model and merging GPS and odometric data.
  • the reliability of the recognition of points of view is related to the robustness of the signature of the visual bitters identified in relation to the variations of the weather, the luminosity, the occultations of the scene and the differences of position and angles of views.
  • the Bayesian filter module merges data from odometric sensors and GPS data. Or an odometric sensor is known to drift over time for extrinsic reasons (sliding of the wheels on the ground) and intrinsic (temporal integration of relative movement).
  • the GPS sensor for its part, is known to encounter problems in urban areas (multi-echoes, occultations of a part of the satellite constellation, "canyon" effect). Even with a very precise GPS system, for example of the GPS-RTK type, it is very likely to encounter positioning errors of several meters in urban areas.
  • the invention aims to solve the problems of the prior art by providing a method of locating a vehicle comprising at least one vision sensor and at least one of an inertial unit, a satellite navigation module and an odometric sensor, the method comprising a step of:
  • vision location from image data provided by the at least one vision sensor, for producing first location data
  • constrained beam adjustment taking into account the relative and absolute vision constraints, constraints defined from a scene model and constraints defined from data produced by at least one of the inertial unit and the satellite navigation module ,
  • Bayesian filtering using a Kalman filter taking into account the first location data, data from the at least one equipment and scene model data, to produce second location data of the vehicle.
  • the location of a vehicle is determined absolutely, accurately, robustly and in real time.
  • the location is absolute because it provides a geo-referenced and oriented positioning.
  • the location is accurate because it provides the position and orientation of the vehicle with an accuracy of a few centimeters and a few tenths of degrees.
  • Bayesian filtering takes into account data from sensors of different types.
  • the beam adjustment takes into account data from sensors of different types.
  • the step of locating by vision also comprises a step of:
  • the Bayesian filtering step of a Kalman filter also takes into account data from:
  • the step of determining relative constraints comprises steps of:
  • the invention also relates to a device for locating a vehicle comprising at least one vision sensor, at least one equipment from an inertial unit, a satellite navigation module and an odometric sensor, and means for:
  • vision location from image data provided by the at least one vision sensor, for producing first location data
  • the vision locating means comprises means for: determining relative vision constraints by a simultaneous location and mapping method applied to the image data produced by the at least one vision sensor,
  • constrained beam adjustment taking into account the relative and absolute vision constraints, constraints defined from a scene model and constraints defined from data produced by at least one of the inertial unit and the satellite navigation module ,
  • the device comprises Bayesian filtering means implementing a Kalman filter taking into account the first location data, data from the at least one equipment and data from a scene model, to produce second vehicle location data.
  • the device has advantages similar to those previously presented.
  • the steps of the method according to the invention are implemented by computer program instructions.
  • the invention also relates to a computer program on an information medium, this program being capable of being implemented in a computer, this program comprising instructions adapted to the implementation of the steps of a process as described above.
  • This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other form desirable shape.
  • the invention also relates to a computer readable information medium, and comprising computer program instructions suitable for implementing the steps of a method as described above.
  • the information carrier may be any entity or device capable of storing the program.
  • the medium may comprise storage means, such as a ROM, for example a CD ROM or a microelectronic circuit ROM, or a magnetic recording means, for example a diskette or a hard disk.
  • the information medium may be a transmissible medium such as an electrical or optical signal, which may be conveyed via an electrical or optical cable, by radio or by other means.
  • the program according to the invention can be downloaded in particular on an Internet type network.
  • the information carrier may be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the method according to the invention.
  • FIG. 1 represents an embodiment of a vehicle location device according to the present invention
  • FIG. 2 represents an embodiment of a vehicle location method according to the present invention
  • FIG. 3 represents an embodiment of a vehicle vision location step, included in the method of FIG. 1, and
  • FIG. 4 represents an embodiment of a Bayesian filtering step included in the method of FIG. DETAILED PRESENTATION OF PARTICULAR EMBODIMENTS
  • a device for locating a vehicle comprises a set of sensors installed on the vehicle. These sensors are:
  • At least one vision sensor 1 which provides image data of the environment of the vehicle
  • GNSS Global Navigation Satellite System
  • the vision sensor 1 is a perspective monocular camera whose intrinsic parameters are known and fixed.
  • the satellite navigation module 2 is optional equipment.
  • the vehicle locating device may therefore comprise only two of them, or only one of them.
  • the satellite navigation module 2 is for example a GPS (Global Positioning System) module.
  • sensors are connected to a data processing module which has the general structure of a computer. It includes a processor 100 executing a computer program implementing the method according to the invention, an input interface 101, a memory 102 and an output interface 103.
  • bus 105 These different elements are conventionally connected by a bus 105.
  • the input interface 101 is intended to receive the data provided by the sensors fitted to the vehicle.
  • the processor 100 executes the treatments exposed in the following. These processes are performed in the form of code instructions of the computer program which are stored by the memory 102 before being executed by the processor 100.
  • An MS scene model is stored in the memory 102.
  • the MS scene model is a model of the prior knowledge of the environment in which the vehicle will evolve. This may be a taxiway model and / or a 3D model of buildings.
  • the output interface 103 provides the absolute real time position and orientation of the vehicle.
  • the vehicle locating method comprises two main stages E1 and E2.
  • Step E1 is a location by vision of the vehicle.
  • the vision location exploits the image data provided by the vision sensor 1 to produce first vehicle location data.
  • Step E1 is followed by step E2 which is a Bayesian filtering of a set of data to produce second vehicle location data which are more precisely the position and the real-time orientation of the vehicle.
  • the first vehicle location data is part of the data set processed by Bayesian filtering.
  • This data set also includes data from the scene model MS and data provided by at least one of the other sensors 2, 3 and 4 fitted to the vehicle.
  • Steps E1 and E2 are detailed below.
  • FIG. 3 represents an embodiment of the step E1 of locating by vision of the vehicle.
  • Step E1 comprises steps E1 to E14.
  • Step Eli takes into account image data provided by the vision sensor 1 which equips the vehicle.
  • the step Eli is a determination of relative constraints, carried out on the basis of a simultaneous localization and mapping method, called SLAM according to the English “Simultaneous Localization And Mapping", applied to the image data.
  • Step Eli results in 2D-3D matches between keyframes. These correspondences constitute relative constraints on the displacement of the camera 1. More precisely, the SLAM method determines the position of the camera 1 and its orientation at different times of a sequence, as well as the position of a set of 3D points observed throughout the sequence.
  • Step Eli includes a detection of points of interest in the images provided by the vision sensor 1, and a mapping of the points of interest from one image to another.
  • the mapping is performed by a comparison from one image to another of descriptors, or characteristic vectors, of areas of interest corresponding to points of interest.
  • the position and the orientation of the camera are determined from already reconstructed 3D points and their 2D coordinates in the current image. It is therefore a question of determining the pose of the camera from 3D / 2D correspondences.
  • the measure used is the reprojection error. It consists of measuring the 2D distance between the observation of a 3D point in the image, ie the 2D position of the point of interest, and the projection of the 3D point reconstructed in this same image.
  • Time subsampling is then performed and some images are automatically selected as keyframes for 3D point triangulation.
  • the keyframes are selected so that they are sufficiently distant from one another to maximize the quality of the triangulation but not too far apart to be able to match them.
  • the aim of 3D point triangulation is to find the 3D position of points detected and then matched in at least two images of the video.
  • the method operates incrementally and, when a new keyframe is added, new 3D points are reconstructed.
  • Step E12 also takes into account image data provided by the vision sensor 1 which equips the vehicle.
  • Step E12 exploits a base of bitters geo-referenced visuals and performs point-of-view recognition.
  • Step E12 results in 2D-3D matches that constitute absolute constraints.
  • Points of interest detected in an image are compared with the bitters of the base of georeferenced landmarks. Their geo-referencing then makes it possible to determine an absolute positioning of the vision sensor having acquired the studied image.
  • the steps E1i and E12 are followed by an optimization step E13 by adjusting constrained beams.
  • the optimization step E13 is a forced beam adjustment which takes into account the constraints determined in steps E1i and E12, as well as constraints defined from the scene model MS, and constraints defined from data derived from at least one equipment among the inertial unit 4 and the satellite navigation module 2 that equip the vehicle.
  • Step E13 results in first vehicle location data.
  • Beam adjustment is a non-linear optimization process that consists of refining the positions of the moving vision sensor 1 and 3D points by measuring the re-projection error. This step is very expensive in computing time since the number of variable to be optimized can be very large.
  • the beam adjustment is done locally in order to optimize only the last positions of the camera 1, associated as an example with the last three keyframes and the 3D points observed by the camera. from these positions. The complexity of the problem is thus reduced without significant loss of precision compared to a beam adjustment made on all the positions of the vision sensor and all the 3D points.
  • the consideration of the scene model MS results in the association of the points of interest previously detected in the step Eli to elements of the scene model MS.
  • the beam adjustment is thus made taking into account an overall coherence of the points of interest and elements of the MS scene model. Constraints defined from data from at least one device among the inertial unit 4 and the satellite navigation module 2 are used to test the coherence of the process.
  • the inertial unit 4 and the satellite navigation module 2 provide location data that may be biased.
  • the step E14 for correcting the sensor bias is performed in parallel with the step E13.
  • a satellite navigation module bias results in a continuous temporal error, which can be worth several seconds, of the location provided in one direction.
  • the geo-referenced visual amers and the scene model are used to detect and correct this bias. For example, for a vehicle remaining on a taxiway, if the satellite navigation module provides position data corresponding to the interior of the buildings, the error can be estimated and compensated for.
  • FIG. 4 represents an embodiment of the Bayesian filtering step E2 of the data set.
  • Bayesian filtering is a Kalman filter that is a recursive estimator that typically comprises two phases: prediction and innovation or update.
  • Input data includes:
  • the input data also includes data from:
  • the first vehicle location data provided by step E1 the data of the scene model, and possibly the data from satellite navigation module 2 are used in the innovation phase.
  • the data from the odometric sensor 3 and / or the data from the inertial unit 4 are used in the prediction phase of the Bayesian filter. If the data of these sensors are not available, a predictive model is used in the prediction phase of the Bayesian filter.
  • the predictive model is for example defined by: constant speed or constant acceleration.
  • the prediction phase uses the estimated state of the previous instant to produce an estimate of the current state.
  • observations of the current state are used to correct the predicted state in order to obtain a more accurate estimate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)

Abstract

Procédé de localisation d'un véhicule comportant au moins un capteur de vision et au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, le procédé comportant les étapes de : localisation par vision (El) à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation; et filtrage bayésien (E2) par un filtre de Kalman prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.

Description

LOCALISATION D'UN VEHICULE
DESCRIPTION
DOMAINE TECHNIQUE
La présente invention concerne la localisation d'un véhicule en temps réel.
Les applications de l'invention sont par exemple l'aide à la conduite de véhicule, la conduite autonome ou encore la réalité augmentée.
ÉTAT DE LA TECHNIQUE ANTÉRIEURE
Dans le domaine ferroviaire, des modules de localisation présentés dans l'article : « Simultaneous Localization and Mapping for Path-Constrained Motion » de Carsten Hasberg, Stefan Hensel, et Christoph Stiller, IEEE Transactions on intelligent Transportation Systems, Vol. 03, N° 2, juin 2012, ou dans l'article : « Bayesian Train Localization Method Extended By 3D Géométrie Railway Track Observations From Inertial Sensors » de Oliver Heirich, Patrick Robertson, Adrian Cardalda Garcia et Thomas Strang, 2012, ou encore dans l'article: « RaiISLAM - Localization of Rail Vehicles and Mapping of Géométrie Railway Tracks » de Oliver Heirich, Patrick Robertson et Thomas Strang, IEEE International Conférence on Robotics and Automation (ICRA), mai 2013, ont pour objectif de géo-localiser des trains afin d'éviter accidents et collisions. La localisation fournie par ces approches est basée sur la fusion de données issues de capteurs GPS et de capteurs odométriques à travers un filtre bayésien intégrant des contraintes fournies par un modèle polynomiale représentant les voies de chemin de fer.
Ces méthodes n'offrent pas suffisamment de précision pour pouvoir réaliser une application de réalité augmentée ou d'automatisation partielle ou totale de conduite d'un véhicule. En effet, elles reposent principalement sur le capteur GPS et ne compensent pas les incertitudes de positionnement en ville de ce capteur dues aux phénomènes de multi-échos, d'occultations d'une partie de la constellation satellitaire, ou d'effet « canyon ». Des applications de réalité augmentée sont présentées par exemple dans EP 2 731 084. L'article « Scalable 6-DOF Localization on Mobile Devices », de Sven Middelberg, Torsten Sattler, Ole Untzelmann et Leif Kobbelt, 2014, ainsi que FR 2 976 107 offrent une solution précise de localisation basée sur un capteur vision et un algorithme de type SLAM (Simultaneous Localisation And Mapping). La méthode triangule des points de l'environnement, appelés points d'intérêt, pour calculer le déplacement de la caméra entre deux images successives. À l'aide d'un ajustement de faisceaux, elle réalise un calcul robuste remettant en cause localement la trajectoire parcourue. Ce type d'approche, calculant des déplacements relatifs entre images, accumule au cours du temps incertitudes et erreurs.
Pour limiter ce phénomène, FR 2976 107 exploite un modèle de la scène pour introduire des contraintes au sein de l'étape d'ajustement de faisceaux.
Toutefois le gain en robustesse et en précision de cet apport est fortement dépendant du point de vue, de la complexité de(s) objet(s) décrit(s) dans le modèle ainsi que des contraintes déduites.
L'article « Scalable 6-DOF Localization on Mobile Devices » utilise un module de reconnaissance de point de vue exploitant une base d'amers visuels géo- référencés pour limiter le phénomène de dérive décrit ci-dessus.
Cependant, le module de reconnaissance de point de vue est très sensible aux occultations et à la robustesse de la signature des amers visuels (variations liées à la météo, aux changements d'illumination, aux saisons...).
Ainsi, ces méthodes n'offrent pas une robustesse suffisante pour une localisation absolue précise d'un véhicule, par exemple pour un long trajet en voiture.
Des applications de localisation de véhicule utilisent une localisation à partir d'un capteur de vision.
Ainsi, l'article: « Vision-Based Differential GPS: Improving VSLAM / GPS Fusion in Urban Environment with 3D Building Models » de Dorra Larnaout, Vincent Gay- Be 11 M le, Steve Bourgeois et Michel Dhome, Second international Conférence on 3D Vision, 2014, utilise un algorithme de type SLAM (Simultaneous Localisation And Mapping). L'algorithme est ici complété par deux éléments : l'ajout d'un module de correction des biais du capteur GPS par l'intermédiaire d'un modèle de scène et l'intégration de contraintes au niveau de l'étape d'ajustement de faisceau à partir de données issues du capteur GPS.
L'article « Collaborative Methods for Real-time Localization in Urban Centers » de S. Peyraud et al. , International Journal of Advanced Robotic Systems, 2015, expose un procédé de localisation de véhicule dans un environnement urbain.
Ce procédé comporte tout d'abord une localisation visuelle basée sur une reconnaissance de points de vue à partir d'une base d'amers visuels géo-référencés. Ce module comporte une étape de détection et d'appariement de points d'intérêts suivie d'un ajustement de faisceaux contraints par la base d'amers visuels.
Lorsque le résultat de la localisation visuelle n'est pas satisfaisant, une localisation alternative comporte un filtrage bayésien contraint par un modèle de voies de circulation et fusionnant des données GPS et odométriques.
Ce procédé s'appuie sur deux modules relativement fragiles et les exploite en alternance ce qui n'est pas une vraie source de fiabilité.
La fiabilité de la reconnaissance de points de vue est liée à la robustesse de la signature des amers visuels identifiés par rapport aux variations de la météo, de la luminosité, aux occultations de la scène et aux différences de position et d'angles de prises de vues.
Le module de filtre bayésien fusionne des données issues des capteurs odométriques et des données GPS. Or un capteur odométrique est connu pour dériver dans le temps pour des raisons extrinsèques (glissements des roues sur le sol) et intrinsèques (intégration temporelle de mouvement relatif). Le capteur GPS, lui, est connu pour rencontrer des problèmes en milieu urbain (multi-échos, occultations d'une partie de la constellation satellitaire, effet « canyon »). Même avec un système GPS de très grande précision, par exemple de type GPS-RTK, il est fort probable de rencontrer des erreurs de positionnement de plusieurs mètres en zone urbaine. EXPOSÉ DE L'INVENTION
L'invention vise à résoudre les problèmes de la technique antérieure en fournissant un procédé de localisation d'un véhicule comportant au moins un capteur de vision et au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, le procédé comportant une étape de :
localisation par vision à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation,
caractérisé en ce l'étape de localisation par vision comporte des étapes de :
détermination de contraintes relatives de vision par une méthode de localisation et cartographie simultanées appliquée aux données d'images produites par l'au moins un capteur de vision,
détermination de contraintes absolues de vision par reconnaissance de points de vue à partir de données d'images produites par l'au moins un capteur de vision et d'une base d'amers visuels,
ajustement de faisceaux contraints prenant en compte les contraintes de vision relatives et absolues, des contraintes définies à partir d'un modèle de scène et des contraintes définies à partir de données produites par au moins un équipement parmi la centrale inertielle et le module satellitaire de navigation,
Et caractérisé en ce que le procédé comporte une étape de :
filtrage bayésien par un filtre de Kalman prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données du modèle de scène, pour produire des secondes données de localisation du véhicule.
Grâce à l'invention, la localisation d'un véhicule est déterminée de manière absolue, précise, robuste et en temps réel.
La localisation est absolue, car elle fournit un positionnement géo- référencé et orienté. La localisation est précise, car elle fournit la position et l'orientation du véhicule avec une précision de quelques centimètres et quelques dixièmes de degrés. Le filtrage bayésien prend en compte des données issues de capteurs de différents types.
L'ajustement de faisceaux prend en compte des données issues de capteurs de différents types.
Selon une caractéristique préférée, l'étape de localisation par vision comporte en outre une étape de :
- correction des biais de capteurs à l'aide de la base d'amers visuels et du modèle de scène.
Selon une caractéristique préférée, l'étape de filtrage bayésien par un filtre de Kalman prend également en compte des données parmi :
- des données issues du module satellitaire de navigation,
- des données issues du capteur odométrique,
- des données issues de la centrale inertielle.
Selon une caractéristique préférée, l'étape de détermination de contraintes relatives comporte des étapes de :
- détection et mise en correspondance de points d'intérêt dans des images fournies par l'au moins un capteur de vision,
- calcul de la pose du capteur vision à partir de la mise en correspondance de points d'intérêt,
- sélection d'images clé,
- triangulation de points 3D.
L'invention concerne aussi un dispositif de localisation d'un véhicule comportant au moins un capteur de vision, au moins un équipement parmi une centrale inertielle, un module satellitaire de navigation et un capteur odométrique, et des moyens de :
localisation par vision à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation,
caractérisé en ce que les moyens de localisation par vision comporte des moyens de : détermination de contraintes relatives de vision par une méthode de localisation et cartographie simultanées appliquée aux données d'images produites par l'au moins un capteur de vision,
détermination de contraintes absolues de vision par reconnaissance de points de vue à partir de données d'images produites par l'au moins un capteur de vision et d'une base d'amers visuels,
ajustement de faisceaux contraints prenant en compte les contraintes de vision relatives et absolues, des contraintes définies à partir d'un modèle de scène et des contraintes définies à partir de données produites par au moins un équipement parmi la centrale inertielle et le module satellitaire de navigation,
Et en ce que le dispositif comporte des moyens de filtrage bayésien mettant en œuvre un filtre de Kalman prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène, pour produire des secondes données de localisation du véhicule.
Le dispositif présente des avantages analogues à ceux précédemment présentés.
Dans un mode particulier de réalisation, les étapes du procédé selon l'invention sont mises en œuvre par des instructions de programme d'ordinateur.
En conséquence, l'invention vise aussi un programme d'ordinateur sur un support d'informations, ce programme étant susceptible d'être mis en œuvre dans un ordinateur, ce programme comportant des instructions adaptées à la mise en œuvre des étapes d'un procédé tel que décrit ci-dessus.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.
L'invention vise aussi un support d'informations lisible par un ordinateur, et comportant des instructions de programme d'ordinateur adaptées à la mise en œuvre des étapes d'un procédé tel que décrit ci-dessus. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé selon l'invention.
BRÈVE DESCRIPTION DES DESSINS D'autres caractéristiques et avantages apparaîtront à la lecture de la description suivante d'un mode de réalisation préféré, donné à titre d'exemple non limitatif, décrit en référence aux figures dans lesquelles :
La figure 1 représente un mode de réalisation de dispositif de localisation de véhicule selon la présente invention,
La figure 2 représente un mode de réalisation de procédé de localisation de véhicule selon la présente invention,
La figure 3 représente un mode de réalisation d'une étape de localisation par vision du véhicule, incluse dans le procédé de la figure 1, et
La figure 4 représente un mode de réalisation d'une étape de filtrage bayésien, incluse dans le procédé de la figure 1. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS
Selon un mode de réalisation préféré, représenté à la figure 1, un dispositif de localisation d'un véhicule comporte un ensemble de capteurs installés sur le véhicule. Ces capteurs sont :
- au moins un capteur de vision 1 qui fournit des données d'images de l'environnement du véhicule,
un module satellitaire de navigation 2 dit GNSS d'après l'anglais « Global Navigation Satellite System »,
un capteur odométrique 3, et
- une centrale inertielle 4.
En particulier, le capteur de vision 1 est une caméra monoculaire perspective dont les paramètres intrinsèques sont connus et fixes.
I l est à noter que le module satellitaire de navigation 2, le capteur odométrique 3 et la centrale inertielle 4 sont des équipements optionnels. Le dispositif de localisation de véhicule peut donc comporte, seulement deux d'entre eux, ou encore un seul d'entre eux. Le module satellitaire de navigation 2 est par exemple un module GPS (Global Positionning System).
Ces capteurs sont reliés à un module de traitement de données qui a la structure générale d'un ordinateur. I l comporte notamment un processeur 100 exécuta nt un progra mme d'ordinateur mettant en œuvre le procédé selon l'invention, une interface d'entrée 101, une mémoire 102 et une interface de sortie 103.
Ces différents éléments sont classiquement reliés par un bus 105.
L'interface d'entrée 101 est destinée à recevoir les données fournies par les capteurs équipant le véhicule.
Le processeur 100 exécute les traitements exposés dans la suite. Ces traitements sont réalisés sous la forme d'instructions de code du programme d'ordinateur qui sont mémorisées par la mémoire 102 avant d'être exécutées par le processeur 100. Un modèle de scène MS est mémorisé dans la mémoire 102. Le modèle de scène MS est un modèle des connaissances a priori de l'environnement dans lequel va évoluer le véhicule. Il peut s'agir d'un modèle de voies de circulation et/ou d'un modèle 3D de bâtiments.
L'interface de sortie 103 fournit la position et l'orientation temps réel absolue du véhicule.
Selon un mode de réalisation préféré, représenté à la figure 2, le procédé de localisation de véhicule comporte deux étapes principales El et E2.
L'étape El est une localisation par vision du véhicule. La localisation par vision exploite les données d'images fournies par le capteur de vision 1 pour produire des premières données de localisation du véhicule.
L'étape El est suivie de l'étape E2 qui est un filtrage bayésien d'un ensemble de données pour produire des secondes données de localisation du véhicule qui sont plus précisément la position et l'orientation en temps réel du véhicule. Ainsi, les premières données de localisation du véhicule font partie de l'ensemble de données traitées par le filtrage bayésien. Cet ensemble de données comporte également des données du modèle de scène MS et des données fournies par au moins un des autres capteurs 2, 3 et 4 équipant le véhicule.
Les étapes El et E2 sont détaillées dans la suite.
La figure 3 représente un mode de réalisation de l'étape El de localisation par vision du véhicule. L'étape El comporte des étapes Eli à E14.
L'étape Eli prend en compte des données d'images fournies par le capteur de vision 1 qui équipe le véhicule. L'étape Eli est une détermination de contraintes relatives, effectuée sur la base d'une méthode de localisation et cartographie simultanées, dite SLAM d'après l'anglais « Simultaneous Localization And Mapping », appliquée aux données d'images. L'étape Eli a pour résultat des correspondances 2D-3D entre images clé. Ces correspondances constituent des contraintes relatives sur le déplacement de la caméra 1. Plus précisément, la méthode SLAM détermine la position de la caméra 1 et son orientation à différents instants d'une séquence, ainsi que la position d'un ensemble de points 3D observés tout au long de la séquence.
L'étape Eli comporte une détection de points d'intérêt dans les images fournies par le capteur de vision 1, puis une mise en correspondance des points d'intérêt d'une image à l'autre. La mise en correspondance est effectuée par une comparaison d'une image à l'autre de descripteurs, ou vecteurs caractéristiques, de zones d'intérêt correspondant à des points d'intérêt.
Ensuite, à partir des correspondances de points d'intérêt, on détermine la position et l'orientation de la caméra (calibrée) à partir de points 3D déjà reconstruits et leurs coordonnées 2D dans l'image courante. Il s'agit donc de déterminer la pose de la caméra à partir de correspondances 3D/2D. Pour cela, la mesure utilisée est l'erreur de reprojection. Elle consiste à mesurer la distance 2D entre l'observation d'un point 3D dans l'image, c'est à dire la position 2D du point d'intérêt, et la projection du point 3D reconstruit dans cette même image.
Un sous-échantillonnage temporel est ensuite effectué et certaines images sont sélectionnées automatiquement en tant qu'images clef pour une triangulation des points 3D. Les images clef sont sélectionnées de manière à être suffisamment distantes entre elles afin de maximiser la qualité de la triangulation mais pas trop distantes pour pouvoir assurer leur mise en correspondance.
La triangulation de points 3D a pour but de retrouver la position 3D de points détectés puis appariés dans au moins deux images de la vidéo.
La méthode opère de manière incrémentale et, lorsqu'une nouvelle image clef est ajoutée, de nouveaux points 3D sont reconstruits.
L'article intitulé "Generic and Real-Time Structure from Motion", de E.
Mouragnon, M. Lhuillier, M. Dhome, F. Dekeyser, et P. Sayd, BMVC 2007 - British Machine Vision Conférence, expose les étapes précédentes.
L'étape E12 prend également en compte des données d'image fournies par le capteur de vision 1 qui équipe le véhicule. L'étape E12 exploite une base d'amers visuels géo-référencés et effectue une reconnaissance de points de vue. L'étape E12 a pour résultat des correspondances 2D-3D qui constituent des contraintes absolues.
Des points d'intérêt détectés dans une image sont comparés avec les amers de la base d'amers géo-référencés. Leur géo-référencement permet ensuite de déterminer un positionnement absolu du capteur de vision ayant acquis l'image étudiée.
Les étapes Eli et E12 sont suivies d'une étape E13 d'optimisation par ajustement de faisceaux contraints.
L'étape E13 d'optimisation est un ajustement de faisceaux contraints qui prend en compte les contraintes déterminées aux étapes Eli et E12, ainsi que des contraintes définies à partir du modèle de scène MS, et des contraintes définies à partir de données issues d'au moins un équipement parmi la centrale inertielle 4 et le module satellitaire de navigation 2 qui équipent le véhicule.
L'étape E13 a pour résultat des premières données de localisation de véhicule.
L'ajustement de faisceaux est un processus d'optimisation non linéaire qui consiste à raffiner les positions du capteur de vision 1 en mouvement et de points 3D en mesurant l'erreur de re-projection. Cette étape est très coûteuse en temps de calcul puisque le nombre de variable à optimiser peut être très grand. Afin de rester compatible avec la contrainte temps réel, l'ajustement de faisceaux est effectué localement afin d'optimiser uniquement les dernières positions de la caméra 1, associées à titre d'exemple aux trois dernières images clés et les points 3D observées par la caméra depuis ces positions. La complexité du problème est ainsi réduite sans perte de précision notable par rapport à un ajustement de faisceaux réalisé sur toutes les positions de capteur de vision et tous les points 3D.
La prise en compte du modèle de scène MS se traduit par l'association des points d'intérêts précédemment détectés à l'étape Eli à des éléments du modèle de scène MS. L'ajustement de faisceaux est donc réalisé en tenant compte d'une cohérence d'ensemble des points d'intérêt et d'éléments du modèle de scène MS. Les contraintes définies à partir de données issues d'au moins un équipement parmi la centrale inertielle 4 et le module satellitaire de navigation 2 sont utilisées pour tester la cohérence du processus.
La centrale inertielle 4 et le module satellitaire de navigation 2 fournissent des données de localisation qui sont susceptibles d'être biaisées. L'étape E14 de correction des biais de capteurs est effectuée en parallèle de l'étape E13.
De manière générale, un biais de module satellitaire de navigation se traduit par une erreur temporelle continue, pouvant valoir plusieurs secondes, de la localisation fournie suivant une direction. Les amers visuel géo-référencés et le modèle de scène sont utilisés pour détecter et corriger ce biais. Par exemple, pour un véhicule restant sur une voie de circulation, si le module satellitaire de navigation fournit des données de position correspondant à l'intérieur des bâtiments, on peut estimer l'erreur et la compenser.
Pour la centrale inertielle, il s'agit plutôt de dérive en statique ou de biais en angle sur une trajectoire « réelle ». Ces biais sont identifiables et corrigeables par l'utilisation des amers visuels et du modèle de scène.
La figure 4 représente un mode de réalisation de l'étape E2 de filtrage bayésien de l'ensemble de données.
Le filtrage bayésien est un filtre de Kalman qui est un estimateur récursif comportant classiquement deux phases : prédiction et innovation ou mise à jour.
Les données d'entrée comportent :
les premières données de localisation du véhicule fournies par l'étape El,
des données du modèle de scène.
Les données d'entrée comportent également des données parmi :
des données issues du module satellitaire de navigation 2, des données issues du capteur odométrique 3, des données issues de la centrale inertielle 4. Les premières données de localisation du véhicule fournies par l'étape El, les données du modèle de scène, et éventuellement les données issues du module satellitaire de navigation 2 sont utilisées dans la phase d'innovation.
Les données issues du capteur odométrique 3 et/ou les données issues de la centrale inertielle 4 sont utilisées dans la phase de prédiction du filtre bayésien. Si les données de ces capteurs ne sont pas disponibles, un modèle prédictif est utilisé dans la phase de prédiction du filtre bayésien. Le modèle prédictif est par exemple défini par : vitesse constante ou accélération constante.
La phase de prédiction utilise l'état estimé de l'instant précédent pour produire une estimation de l'état courant. Dans la phase d'innovation, les observations de l'état courant sont utilisées pour corriger l'état prédit dans le but d'obtenir une estimation plus précise.

Claims

REVENDICATIONS
1. Procédé de localisation d'un véhicule comportant au moins un capteur de vision (1) et au moins un équipement parmi une centrale inertielle (4), un module satellitaire de navigation (2) et un capteur odométrique (3), le procédé comportant une étape de :
localisation par vision (El) à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation,
caractérisé en ce l'étape de localisation par vision comporte des étapes de :
détermination (Eli) de contraintes relatives de vision par une méthode de localisation et cartographie simultanées appliquée aux données d'images produites par l'au moins un capteur de vision (1),
détermination (E12) de contraintes absolues de vision par reconnaissance de points de vue à partir de données d'images produites par l'au moins un capteur de vision et d'une base d'amers visuels,
- ajustement de faisceaux contraints (E13) prenant en compte les contraintes de vision relatives et absolues, des contraintes définies à partir d'un modèle de scène (MS) et des contraintes définies à partir de données produites par au moins un équipement parmi la centrale inertielle (4) et le module satellitaire de navigation (2),
Et caractérisé en ce que le procédé comporte une étape de :
filtrage bayésien (E2) par un filtre de Kalman prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données du modèle de scène (MS), pour produire des secondes données de localisation du véhicule.
2. Procédé de localisation d'un véhicule selon la revendication 1, caractérisé en ce que l'étape de localisation par vision comporte en outre une étape de :
- correction (E14) des biais de capteurs à l'aide de la base d'amers visuels et du modèle de scène.
3. Procédé de localisation d'un véhicule selon la revendication 1 ou 2, caractérisé en ce que l'étape de filtrage bayésien (E2) par un filtre de Kalman prend également en compte des données parmi :
- des données issues du module satellitaire de navigation (2),
- des données issues du capteur odométrique (3),
- des données issues de la centrale inertielle (4).
4. Procédé de localisation d'un véhicule selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'étape de détermination (Ell) de contraintes relatives de vision comporte des étapes de :
- détection et mise en correspondance de points d'intérêt dans des images fournies par l'au moins un capteur de vision (1),
- calcul de la pose du capteur vision à partir de la mise en correspondance de points d'intérêt,
- sélection d'images clé,
- triangulation de points 3D.
5. Dispositif de localisation d'un véhicule comportant au moins un capteur de vision (1), au moins un équipement parmi une centrale inertielle (4), un module satellitaire de navigation (2) et un capteur odométrique (3), et des moyens de :
localisation par vision à partir de données d'images fournies par l'au moins un capteur de vision, pour produire des premières données de localisation, caractérisé en ce que les moyens de localisation par vision comporte des moyens de :
détermination de contraintes relatives de vision par une méthode de localisation et cartographie simultanées appliquée aux données d'images produites par l'au moins un capteur de vision (1),
détermination de contraintes absolues de vision par reconnaissance de points de vue à partir de données d'images produites par l'au moins un capteur de vision et d'une base d'amers visuels,
ajustement de faisceaux contraints prenant en compte les contraintes de vision relatives et absolues, des contraintes définies à partir d'un modèle de scène (MS) et des contraintes définies à partir de données produites par au moins un équipement parmi la centrale inertielle (4) et le module satellitaire de navigation (2),
Et en ce que le dispositif comporte des moyens de filtrage bayésien mettant en œuvre un filtre de Kalman prenant en compte les premières données de localisation, des données issues de l'au moins un équipement et des données d'un modèle de scène (MS), pour produire des secondes données de localisation du véhicule.
6. Programme d'ordinateur comportant des instructions pour l'exécution des étapes du procédé selon l'une quelconque des revendications 1 à 4 lorsque ledit programme est exécuté par un ordinateur.
7. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé selon l'une quelconque des revendications 1 à 4.
EP17821992.9A 2016-12-14 2017-12-13 Localisation d'un vehicule Withdrawn EP3555566A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1662420A FR3060115B1 (fr) 2016-12-14 2016-12-14 Localisation d'un vehicule
PCT/FR2017/053551 WO2018109384A1 (fr) 2016-12-14 2017-12-13 Localisation d'un vehicule

Publications (1)

Publication Number Publication Date
EP3555566A1 true EP3555566A1 (fr) 2019-10-23

Family

ID=58779092

Family Applications (1)

Application Number Title Priority Date Filing Date
EP17821992.9A Withdrawn EP3555566A1 (fr) 2016-12-14 2017-12-13 Localisation d'un vehicule

Country Status (4)

Country Link
US (1) US20190331496A1 (fr)
EP (1) EP3555566A1 (fr)
FR (1) FR3060115B1 (fr)
WO (1) WO2018109384A1 (fr)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683618A (zh) * 2018-12-28 2019-04-26 广州中国科学院沈阳自动化研究所分所 一种航行信号识别系统及其识别方法
CN110967018B (zh) * 2019-11-25 2024-04-12 斑马网络技术有限公司 停车场定位方法、装置、电子设备及计算机可读介质
CN111596329A (zh) * 2020-06-10 2020-08-28 中国第一汽车股份有限公司 车辆定位方法、装置、设备及车辆
JP2022042630A (ja) 2020-09-03 2022-03-15 本田技研工業株式会社 自己位置推定方法
CN113405545B (zh) * 2021-07-20 2024-06-28 阿里巴巴创新公司 定位方法、装置、电子设备及计算机存储介质
US12498481B2 (en) 2022-05-16 2025-12-16 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for odometry enhanced real-time cooperative relative pose estimation for cooperative LIDAR perception
CN114719843B (zh) * 2022-06-09 2022-09-30 长沙金维信息技术有限公司 复杂环境下的高精度定位方法
CN115143952B (zh) * 2022-07-12 2025-08-08 智道网联科技(北京)有限公司 基于视觉辅助的自动驾驶车辆定位方法、装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2976107B1 (fr) * 2011-05-30 2014-01-03 Commissariat Energie Atomique Procede de localisation d'une camera et de reconstruction 3d dans un environnement partiellement connu
US20140139635A1 (en) * 2012-09-17 2014-05-22 Nec Laboratories America, Inc. Real-time monocular structure from motion
FR2998080A1 (fr) 2012-11-13 2014-05-16 France Telecom Procede d'augmentation de la realite

Also Published As

Publication number Publication date
FR3060115A1 (fr) 2018-06-15
FR3060115B1 (fr) 2020-10-23
US20190331496A1 (en) 2019-10-31
WO2018109384A1 (fr) 2018-06-21

Similar Documents

Publication Publication Date Title
WO2018109384A1 (fr) Localisation d'un vehicule
Lin et al. R 3 LIVE: A Robust, Real-time, RGB-colored, LiDAR-Inertial-Visual tightly-coupled state Estimation and mapping package
Zhao et al. A robust laser-inertial odometry and mapping method for large-scale highway environments
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
US8213706B2 (en) Method and system for real-time visual odometry
US20160068114A1 (en) Methods and Systems for Mobile-Agent Navigation
EP2984625B1 (fr) Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference
Cattaneo et al. CMRNet++: Map and camera agnostic monocular visual localization in LiDAR maps
EP3388914A1 (fr) Procédé de suivi de cible par un drone, programme d'ordinateur, système électronique et drone associés
KR102660497B1 (ko) 차량의 위치 정보 측위 시스템
FR3112215A1 (fr) Système et procédé de détection d’un obstacle dans un environnement d’un véhicule
WO2018142057A1 (fr) Procédé et dispositif pour l'étalonnage d'un système de perception comportant un ensemble de télémètres lidar
FR3129737A1 (fr) Systeme et procede de navigation autonome base vision d’un satellite
Platinsky et al. Collaborative augmented reality on smartphones via life-long city-scale maps
EP3126864B1 (fr) Procédé de géo-localisation de l'environnement d'un porteur
EP3447654A1 (fr) Procede de determination de la trajectoire d'un objet mobile, programme et dispositif aptes a la mise en oeuvre de ce procede
Rahman et al. Improving multisensor positioning of land vehicles with integrated visual odometry for next‐generation self‐driving cars
FR2938228A1 (fr) Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
Chawla et al. Monocular vision based crowdsourced 3d traffic sign positioning with unknown camera intrinsics and distortion coefficients
Ragab et al. Leveraging vision-based structure-from-motion for robust integrated land vehicle positioning systems in challenging GNSS environments
FR3115135A1 (fr) Procédé de détection d’un objet routier
Chen et al. The performance analysis of stereo visual odometry assisted low-cost INS/GPS integration system
FR2985588A1 (fr) Procede de localisation d'un mobile en milieu construit
US12143892B2 (en) Method, device, and computer program for determining a change in position and/or orientation of a mobile apparatus
FR3106886A1 (fr) Détermination d’informations d’aide à la navigation sur un réseau routier

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190625

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20200706

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20201117