EP3767328A1 - Procédé de vérification de l'intégrité de données lidar - Google Patents

Procédé de vérification de l'intégrité de données lidar Download PDF

Info

Publication number
EP3767328A1
EP3767328A1 EP20182638.5A EP20182638A EP3767328A1 EP 3767328 A1 EP3767328 A1 EP 3767328A1 EP 20182638 A EP20182638 A EP 20182638A EP 3767328 A1 EP3767328 A1 EP 3767328A1
Authority
EP
European Patent Office
Prior art keywords
lidar
points
data
detected
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP20182638.5A
Other languages
German (de)
English (en)
Other versions
EP3767328B1 (fr
EP3767328B8 (fr
Inventor
Ariane NEUSSER
Marie-Anne Mittet
Olivier Cayol
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ampere SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of EP3767328A1 publication Critical patent/EP3767328A1/fr
Publication of EP3767328B1 publication Critical patent/EP3767328B1/fr
Application granted granted Critical
Publication of EP3767328B8 publication Critical patent/EP3767328B8/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present invention relates to the field of autonomous driving, that is to say motor vehicles without a driver or in which the driver can be released at least temporarily from any driving task.
  • the invention applies in particular, but not exclusively, to private vehicles.
  • the present invention constitutes an improvement of the invention which is the subject of the application.
  • perception sensors are commonly used, not only of the lidar type, but also of the radar or camera type. However, these can suffer from detection error, or worse from non-detection. In order to overcome these difficulties, it is known practice to combine or “merge” data from cameras, radars or even lidars, with the aim of compensating for detection errors.
  • Requirement FR1852188 intends to solve this problem.
  • it discloses an innovative process making it possible to reconcile, in many cases where the raw lidar data is consistent with the mapping data, the detection results at the output of the different types of sensors, whether these are confirmed or only they contradict each other.
  • it relies in particular on a measurement of the consistency between the mapping data and the raw lidar data (commonly called “point clouds”).
  • point clouds commonly called “point clouds”.
  • data fusion uses the detected objects resulting from the processing carried out on these point clouds, which are not taken into account directly in the fusion process to establish the obstacle detections.
  • the demand FR1852188 only briefly describes what to do in cases where the raw lidar data is inconsistent with the mapping data. This is a drawback which the present invention proposes to overcome.
  • KR20160128077 attempts to deal with cases of inconsistency between lidar data and mapping data by a calibration step aiming in fact to reset the sensor on the mapping (to remedy a vehicle location error for example). But it does not deal with cases of undetected objects which would mask an area and generate inconsistency therein, an adjustment being inoperative in this case. Thus, by applying the solution of KR20160128077 , we definitely miss the undetected objects and we run the risk of attempting a registration when it is not necessary. This is again a problem that the present invention sets out to solve.
  • the object of the invention is in particular to reduce the number of missed objects and to reduce false detections, this by resolving a posteriori the inconsistencies between the cloud of lidar points and the mapping data.
  • the subject of the invention is a method for diagnosing a dysfunction of a lidar sensor. It comprises a step of comparing object detection data supplied by the lidar sensor in a geographical area with cartographic data corresponding to said area. If the detection data and the cartographic data are inconsistent, then the method further comprises a step of verifying that an object has been. detected or not in said area.
  • the method further comprises a step of assigning a confidence index to the lidar data, comprising sub-steps of identifying inconsistent points in the zone, of quantifying the l 'inconsistency for each of these points and, in the event of inconsistency beyond a predefined threshold, decrease in the confidence index on the lidar data.
  • the term “inconsistency between the detection data and the mapping data” is understood to mean the fact that objects detected by the sensor are not represented in the mapping or that objects represented in the mapping are not detected by. the sensor.
  • the horizontal lines of marking on the ground are considered as objects capable of being mapped and detected.
  • the subject of the invention is also a system comprising hardware and software means for implementing such a method, as well as a motor vehicle comprising such a system.
  • the main advantage of the present invention is also its low cost, since it uses sensors and computers already on board in most current vehicles.
  • the figure 1 illustrates, by a screenshot, an example of a method according to the prior art.
  • FIGS. 2 to 5 illustrate, by diagrams, diagrams and screenshots, an exemplary embodiment according to the invention already the subject of the application FR1852188 .
  • Lidar is a cutting-edge technology that allows you to accurately represent the environment around the sensor. This allows not only to measure distances, but also to measure the reflective character. objects that surround it. Thus, it is possible to obtain a 3D point cloud representing the environment. For each of the points, it is also possible to associate a reflectivity value.
  • the invention is based on a comparison between this cloud of points and a “signature” of what is expected on the road, this signature being deduced from a 3D map stored in the vehicle.
  • the 3D map used contains information on the infrastructure (lines, barriers, panels, etc.) but is empty of any other object.
  • the vehicle in the 3D map In order to be able to perform this comparison, it is necessary to precisely locate the vehicle in the 3D map that one wishes to use. Once located, it is possible to compare the measurement made with the signature of the expected route.
  • the signature of the expected route is possibly completed by the object or objects detected by the cameras and / or radars. If the point cloud from the lidar corresponds perfectly to the signature, then there is consistency and we can say with certainty that there are no obstacles in front of the vehicle on the road (in particular no missed object) . On the other hand, as soon as the cloud of points does not correspond to the signature, then there is inconsistency and risk that an obstacle in front of the vehicle has been missed. However, it is important to note that it will be almost impossible to get a perfect match. Indeed, several phenomena can impact the measurement.
  • the size of the smallest object to be detected is a few centimeters: this represents the size from which the vehicle tire can be damaged in the event of an impact.
  • the field of vision is open 180 ° towards the front of the vehicle.
  • the field of vision extends laterally not only beyond the lateral bands delimiting the lanes, but also up to 50 meters beyond the emergency lanes and safety barriers, (it must be possible to detect a pedestrian on the side of the road).
  • the field of vision extends longitudinally beyond 200 meters (vehicle stopping margin).
  • the field of vision extends to 25 meters in height (which corresponds to a height of 5 meters to pass over a truck, followed by a slope of 10% over 200 meters).
  • a correlation level that is to say the development of a value which represents the level of correlation between the 3D map and the data from the lidar. . If these two pieces of information correlate perfectly, then we have a correlation level equal to 1. Conversely, if these two data sources do not correlate at all, we will have a correlation level equal to 0.
  • the invention proposes a processing logic illustrated by the figures 3 and 4 , which detects objects missed by conventional sensors, while avoiding false detections.
  • a consistency map can be established. It is also used to position the various objects that could be detected.
  • the figures 3 and 4 respectively illustrate an example of algorithm and an example of software architecture implementing the invention.
  • two lidars can make it possible to obtain two point clouds with different perspectives and thus make the function more robust.
  • the use of several lidars to carry out the invention presented has several advantages. This makes the correlation calculation more reliable. Furthermore, this has the advantage of allowing a means of checking the good health of each of the lidars. Indeed, it is possible to compare each of their measurement.
  • “Road DNA” (registered trademark) designates a very high resolution cartographic base marketed by TomTom (registered trademark).
  • the same processing operations according to the invention can be carried out using only 2D mapping.
  • the mapped objects are the horizontal signage elements, commonly referred to as “white lines” or simply "lines”.
  • lidars measure a distance but also have the capacity to raise the reflectivity level of objects.
  • the markings are very reflective and are therefore detectable thanks to the data from lidars.
  • these same treatments using a correlation level according to the invention can make it possible to detect additional objects, which had not been detected by the cameras and radars, such as for example a service vehicle carrying a traffic sign, as long as it masks a horizontal line.
  • V2V Vehicle-to-vehicle
  • V2I Vehicle-to-Infrastructure
  • the latter can then alert on a problem of the freshness of the card at this location and broadcast a message to the vehicles, always by the 'intermediary of V2V or V2I connections, or even trigger the actions required to update the card.
  • the present invention can also be useful in order to deduce the possible malfunctions of a lidar sensor. Indeed, it is possible to count the inconsistencies in a given area of the inconsistency map described above, then to set thresholds from which it is considered that the inconsistency is due to a sensor malfunction, that it is this is the malfunction of a hardware element constituting a physical part of the sensor or whether it is the malfunction of a software element constituting a part of the post-processing carried out on the measurements taken by the sensor in order to detect objects.
  • these measurements may in particular relate to a marking line on the ground as illustrated in figure 6 , and to deduce from this possible dysfunctions of the lidar sensor, it is first necessary to ensure that the line is not masked by an object on the track or that it is not quite simply erased, to which case these are not errors.
  • the challenge is therefore to identify the cause of a difference between an image perceived by a lidar perception system, shown on the left on the figure 6 where a line portion is not detected, and an image from a MAP2D cartographic database, shown on the right on the figure 6 where the same line is described as having no discontinuity.
  • the line is absent in the current acquisition by the lidar, but at least one object (“Objects”) has been detected in the corresponding zone by the object detection block (“Object detection”), then the presence of the object is confirmed and one can consider that the absence of detection of the lidar is coherent.
  • Object detection object detection block
  • a difference can be observed (“Difference 2" ), which may indicate either a line erasure problem or a software or hardware malfunction of the sensor.
  • a first way to detect line erasures is to use a map that is systematically updated via V2V or V2X information, indicating line erasures, as well as any problem actually observed on the road.
  • the process illustrated by figure 8 is based on the redundancy of information from all surrounding vehicles.
  • Each vehicle is considered to have a unique lidar sensor: as soon as a vehicle detects a road anomaly (such as an erased line), it sends the information back to the cartographic database by means of an alert. .
  • a road anomaly such as an erased line
  • the database stored in a "cloud" according to English terminology, receives a number of alerts greater than a given threshold, then the information is considered to be true and the map is updated and transmitted. to other vehicles.
  • An additional way to detect line erasures is to multiply the lidar sensors, in order to obtain information with a consolidated confidence index, as illustrated in figure 9 for n lidar type sensors, or n strictly positive integer, capable of perceiving in 2D the marking lines on the ground.
  • the general logic of this figure is broadly identical to that of the figure 7 , except as regards the stages of pre-processing of the clouds of lidar points, in particular the stages of geometric and temporal registration, as well as of merging, which are described below (and illustrated in the same block of the figure 9 ).
  • the point clouds that they provide as output must however be expressed in the same frame of reference linked to the vehicle. This is done during a geometrical registration step which makes it possible to express all the point clouds with respect to a same point of origin on board, the middle of the vehicle for example.
  • a temporal synchronization of the point clouds must consequently be carried out during a time shifting step, which makes it possible to date them at the same time.
  • a merging step makes it possible to superimpose the n clouds of points aligned geometrically and temporally. If at the end of the comparison a difference (called difference 2) persists, then the integrity of the sensors or their post-processing is called into question.
  • n lidars on a vehicle where n> 0 we acquire a point cloud of each lidar.
  • the n point clouds can be brought into a frame of reference linked to the vehicle. This transformation can generate a slight inconsistency in the coordinates of the points.
  • cartography or an inertial unit to measure the inconsistency between the coordinates of the measurement of the point which is part of the acquired point cloud and the coordinates of the reference point on the cartography for example.
  • a reference point is determined with cartography, a positioning system of GPS type and an inertial unit.
  • the inconsistency between the coordinates of the point measurement (which is part of the acquired point cloud) and the coordinates of the reference point on the map can be measured and, if we want to correct the inconsistency, we must find the transfer function F, as explained below.
  • the figure 10 illustrates a method for differentiating between a sensor fault and a post-processing fault.
  • the sensor acquires a point cloud which is analyzed to extract the geometric characteristics with an Algorithm n ° 1, then these are compared with the MAP2D and with the objects detected in the plane.
  • Algorithm n ° 1 is for example of the “rule-based point cloud 2D shaping” type according to the English terminology. If at the end of this comparison, there is a difference (difference 1 ⁇ ⁇ ), then the same cloud of points is processed by Algorithm n ° 2.
  • Algor ithm No. 2 is for example of the “convolutional neuronal network” or CNN type according to English terminology.
  • the result of this analysis is also compared with the MAP2D and the objects detected in the plane. If a difference is observed (difference 2 ⁇ ⁇ ), it is compared with the first difference. If the two differences are the same, then the sensor is to blame. If the two differences are not the same, then the algorithm is to blame.
  • the figures 11, 12 illustrate the method of comparison on grids, a first grid on the left on the figures 11 and 12 being superimposed on the image formed by the lidar point cloud, a second grid on the right on the figures 11 and 12 being superimposed on the cartography.
  • a grid system makes it possible to estimate a correlation value varying from 1 to 0 between the cloud of lidar points and the cartographic data.
  • the comparison method on grids consists in particular in estimating the difference between the union of the measured points and the real points and the intersection of the measured point clouds from the sensors and the real point clouds from the mapping (i.e. calculating the difference “Union - intersection”).
  • a set of remaining points and a volume V called “error volume” defined as the volume of the envelope of said remaining points, for example the volume of the smallest sphere containing all these remaining points, is calculated. This volume is stored to calculate the confidence index later.
  • this error volume can be normalized on a sample of the last error volumes of the same sensor over a predetermined time window: it is a matter of calculating the average Vm of all these volumes of l 'error on the time window and determine the standard deviation of these volumes. Then, we consider the average volume of the error in the following processing, called hereafter “normalized error volume”.
  • the confidence index aims to exclude sensors having an error volume or a normalized error volume greater than a predetermined threshold, for example 10 liters, or having a geometric error greater than a predetermined threshold, for example 40 centimeters, or even presenting a combination of these two errors.
  • the error may have the form of an area.
  • the confidence index may aim to exclude the sensors having an error area or a normalized error area greater than a predetermined threshold, for example 100 square centimeters (cm 2 ), or having a greater geometric error. at a predetermined threshold, for example 40 centimeters, or else having a combination of these two errors.
  • the sensor can be considered as defective. You can repeat the comparisons of each point on the grid at different times. We can use recurring non-correlations, that is to say of certain particular points, to see that there is a problem. For example, the presence of droplets in front of the lidar can cause recurrent obstruction of the same points.
  • each point of the lidar point cloud which here forms a line, can be compared to a point of the marking line on the map.
  • a transfer function F can thus be calculated between its Xlidar image in the cloud of points and its Xmap representation in the cartography.
  • n points in radial coordinates one can also calculate a transfer function and one can also search for a recurrent element to correct the acquisitions. We can then reset the lidar sensor.
  • the main advantage of the invention described above is also, in addition to improving the robustness of detection of targets and free spaces, of being relatively inexpensive in processing needs, given the current calculation capacities, since the 'we manage to compress the map with a reasonable scale.
  • lidar very good detection is obtained in 2D, which is much lighter in data processing and storage compared to 3D.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

La présente invention concerne un procédé de vérification de l'intégrité de données lidar.Il comporte une étape de comparaison des données reçues d'un lidar scrutant une zone avec des données cartographiques de ladite zone.Si les données lidar et les données cartographiques sont incohérentes, alors le procédé comporte en outre une étape de vérification qu'un objet a été détecté ou pas dans ladite zone.Le dispositif selon l'invention est particulièrement adapté aux véhicules autonomes.

Description

  • La présente invention concerne le domaine de la conduite autonome, c'est-à-dire des véhicules automobiles sans conducteur ou dans lesquels le conducteur peut être libéré au moins temporairement de toute tâche de conduite. L'invention s'applique notamment, mais pas exclusivement, aux véhicules particuliers.
  • La présente invention constitue un perfectionnement de l'invention faisant l'objet de la demande FR1852188 déposée par la demanderesse. Elle vise notamment à confirmer ou infirmer, à partir d'un nuage de points issus d'un capteur de type lidar apparament incohérent des données de cartographie, les résultats d'une étape de détection d'objets ou d'obstacles par ce même capteur lidar conjointement avec d'autres capteurs, comme des caméras ou des radars.
  • En effet, un préalable à la conduite autonome est la connaissance de l'environnement général du véhicule, qu'il s'agisse de la route, du marquage au sol, des panneaux de signalisation, ou encore des autres véhicules ou des piétons. A cette fin, on utilise couramment des capteurs de perception, non seulement de type lidar, mais également de type radar ou caméra. Cependant, ceux-ci peuvent souffrir d'erreur de détection, ou pire de non détection. Dans le but surmonter ces difficultés, il est connu de combiner ou « fusionner » des données issues de caméras, de radars ou encore de lidars, dans le but de compenser les erreurs de détection. Malgré cela, il subsiste encore de nombreuses situations problématiques, comme par exemple celle illustrée par la figure 1, déjà incluse dans la demande FR1852188 , où un véhicule de service portant un panneau de signalisation stationné sur le bas-côté d'une autoroute est ignoré au motif qu'il n'est détecté que par les lidars, minoritaires en nombre, pas par les caméras et les radars. Ainsi, la diversification peut créer la confusion, voire même une apparente incohérence : comment interpréter l'incohérence entre les données issues du lidar (qui détectent un obstacle) et les autres capteurs (qui ne détectent rien)? Y a-t-il un obstacle réel sur la route non détecté par le processus de fusion ? Ou est-ce une fausse alerte due à un dysfonctionnement des lidars ? En tous cas, la détection est ratée (« Missed object » selon la terminologie anglo-saxonne)..
  • La demande FR1852188 se propose de résoudre ce problème. Pour cela, elle divulgue un procédé innovant permettant de concilier, dans de nombreux cas où les données brutes des lidars sont cohérentes des données de cartographie, les résultats de détection en sortie des différents types de capteurs, que ceux-ci se confirment ou qu'ils se contredisent. Pour cela, elle s'appuie notamment sur une mesure de la cohérence entre les données de cartographie et les données brutes des lidars (appelées couramment « nuages de points»). En effet, la fusion de données utilise les objets détectés issus des traitements effectués sur ces nuages de points, qui ne sont pas pris en compte directement dans le processus de fusion pour établir les détections d'obstacles. Toutefois, la demande FR1852188 ne décrit que rapidement comment faire dans les cas où les données brutes des lidars sont incohérentes des données de cartographie. Il s'agit là d'un inconvénient auquel la présente invention se propose de pallier.
  • Le document KR20160128077 tente de traiter des cas d'incohérence entre des données lidar et des données de cartographie par une étape de calibrage visant en fait à recaler le capteur sur la cartographie (pour palier une erreur de localisation du véhicule par exemple). Mais il ne traite pas de cas d'objets non détectés qui masqueraient une zone et y génèreraient de l'incohérence, un recalage étant inopérant dans ce cas là. Ainsi, en appliquant la solution de KR20160128077 , on rate définitivement les objets non détectés et on risque de tenter un recalage alors que ce n'est pas nécessaire. Il s'agit là encore d'un problème que la présente invention se propose de résoudre.
  • L'invention a notamment pour but de diminuer le nombre d'objets manqués et de diminuer les fausses détections, ceci en résolvant a posteriori les incohérences entre le nuage de points lidars et les données de cartographie. A cet effet, l'invention a pour objet un procédé pour diagnostiquer un dysfonctionnement d'un capteur lidar. Il comporte une étape de comparaison de données de détections d'objets fournies par le capteur lidar dans une zone géographique avec des données cartographiques correspondant à ladite zone. Si les données de détections et les données cartographiques sont incohérentes, alors le procédé comporte en outre une étape de vérification qu'un objet a été détecté ou pas dans ladite zone. Si aucun objet n'est détecté dans la zone, alors le procédé comporte en outre une étape d'assignation d'un indice de confiance aux données lidar, comportant des sous étapes d'identification des points incohérents dans la zone, de quantification de l'incohérence pour chacun de ces points et, en cas d'incohérence au-delà d'un seuil prédéfini, de diminution de l'indice de confiance sur les données lidar.
  • Dans la présente demande, on entend par « incohérence entre les données de détection et les données de cartographie » le fait que des objets détectés par le capteur ne sont pas représentés dans la cartographie ou que des objets représentés dans la cartographie ne sont pas détectés par le capteur. En particulier, dans la présente demande les lignes horizontales de marquage au sol sont considérées comme des objets susceptibles d'être cartographiés et détectés.
  • L'invention a également pour objet un système comportant des moyens matériels et logiciels pour mettre en œuvre un tel procédé, ainsi qu'un véhicule automobile comportant un tel système.
  • La présente invention a encore pour principal avantage son faible coût, puisqu'elle utilise des capteurs et des calculateurs déjà embarqués dans la plupart des véhicules actuels.
  • D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit faite en regard de dessins annexés.
  • La figure 1 illustre, par une capture d'écran, un exemple de procédé selon l'art antérieur.
  • Les figures 2 à 5 illustrent, par des schémas, des diagrammes et des captures d'écran, un exemple de réalisation selon l'invention faisant déjà l'objet de la demande FR1852188 .
  • Les figures 6 à 10 et 11, 12 et 13 illustrent, par des schémas et des diagrammes, un exemple de réalisation selon la présente invention.
  • Le lidar est une technologie de pointe qui permet de représenter précisément l'environnement qui entoure le capteur. Celui-ci permet non seulement de mesurer des distances, mais également de mesurer le caractère réfléchissant des objets qui l'entourent. Ainsi, il est possible d'obtenir un nuage de points 3D représentant l'environnement. Pour chacun des points, on pourra également associer une valeur de réflectivité. L'invention repose sur une comparaison entre ce nuage de points et une « signature » de ce qui est attendu sur la route, cette signature étant déduite d'une carte 3D mémorisée dans le véhicule. La carte 3D utilisée comporte des informations sur l'infrastructure (lignes, barrières, panneaux, etc...) mais est vide de tout autre objet.
  • Afin de pouvoir effectuer cette comparaison, il est nécessaire de localiser précisément le véhicule dans la carte 3D que l'on souhaite exploiter. Une fois localisé, il est possible de comparer la mesure effectuée avec la signature de la route attendue. La signature de la route attendue est éventuellement complétée par le ou les objets détectés par les caméras et/ou les radars. Si le nuage de point issu du lidar correspond parfaitement à la signature, alors il y a cohérence et on peut affirmer avec certitude qu'il n'y a pas d'obstacles devant le véhicule sur la route (notamment pas d'objet manqué). Par contre, dès lors que le nuage de points ne correspond pas à la signature, alors il y a incohérence et risque qu'un obstacle devant le véhicule ait été manqué. Cependant, il est important de noter qu'il sera presque impossible d'obtenir une correspondance parfaite. En effet, plusieurs phénomènes peuvent impacter la mesure. On distinguera plusieurs sources d'erreurs : l'imprécision de la localisation du véhicule, ainsi que les effets de roulis et de tangage qu'il subit, les erreurs présentes dans les cartes utilisées, ou encore un dysfonctionnement du lidar. La présente invention propose également de traiter ces différentes sources d'erreur. Dans le présent mode de réalisation, les spécifications envisagées pour des performances satisfaisantes sont les suivantes.
  • La taille du plus petit objet à détecter est de quelques centimètres : cela représente la taille à partir de laquelle le pneu du véhicule peut subir un dommage en cas d'impact.
  • Le champ de vision est ouvert à 180°vers l'avant du véhicule .
  • Le champ de vision s'étend latéralement non seulement au-delà des bandes latérales délimitant les voies, mais également jusqu'à 50 mètres au-delà des bandes d'arrêt d'urgence et des barrières de sécurité, (on doit pouvoir détecter un piéton sur le bas-côté de la chaussée).
  • Le champ de vision s'étend longitudinalement au-delà de 200 mètres (marge d'arrêt du véhicule).
  • Le champ de vision s'étend à 25 mètres en hauteur (ce qui correspond à une hauteur de 5 mètres pour passer au-dessus d'un camion, suivie d'une pente à 10% sur 200 mètres).
  • Compte tenu de l'ensemble de ces facteurs, il convient de définir un niveau de corrélation, c'est-à-dire la mise au point d'une valeur qui représente le niveau de corrélation entre la carte 3D et les données issues du lidar. Si ces deux informations corrèlent parfaitement, alors on a un niveau de corrélation égal à 1. A l'inverse, si ces deux sources de données ne corrèlent pas du tout, on aura un niveau de corrélation égal à 0.
  • Afin d'évaluer une quelconque incohérence entre les mesures des capteurs et la carte 3D, l'invention propose une logique de traitement illustrée par les figures 3 et 4, qui détecte les objets manqués par les capteurs classiques, tout en s'affranchissant des fausses détections.
  • Si l'on considère l'un des buts essentiels de cette invention, à savoir utiliser la carte 3D et le lidar comme aide pour la détection d'obstacle, nous pouvons résumer les différentes situations rencontrées dans le tableau 1 suivant, qui reprend les cas illustrés par la figure 2. [Tableau 1]
    Détection
    Capteurs Cas 1 Cas 2 Cas 3 Cas 4
    Caméra + Radar Obiets détectés Pas d'obiets détectés Obiets détectés Pas d'obiets détectés
    Lidar Nuage de points Nuage de points + obiets Nuage de points + obiets Nuage de points
    Comparaison avec la carte 3D (+ niveau de corrélation associé) Cohérence avec la carte & X1 Il existe une incohérence entre la carte et le nuage lidar & X2 Cohérence avec la carte & X3 Cohérence avec la carte & X4
    Conclusion Présence d'objet en fonction de la valeur de X1 Présence d'objet en fonction de la valeur de X2 Présence d'objet en fonction de la valeur de X3 Présence d'objet en fonction de la valeur de X4
  • Il est important de rappeler que les capteurs de type caméra et radar renvoient des objets et non des données bruts. Concernant le lidar, nous considérons qu'il renvoie quant à lui des données brutes. Nous disposons ainsi des nuages de points bruts renvoyés par le capteur directement. Par ailleurs, on considère ici que l'erreur de localisation du véhicule est maitrisée et connue. Nous pouvons décrire les cas suivants :
    • Cas°1 / Caméra + Radar : « objets détectés » signifie que la caméra et le radar ont tous les deux détecté des objets présents dans la scène. A ce stade, on ne sait pas si ces détections sont pertinentes ou pas, il peut s'agir de fausses détection de type « ghost », telle que celles présentées dans le cas du camion de service décrit auparavant.
    • Cas°1 / Lidar : « nuage de points » signifie que, comme nous l'avons mentionné auparavant, le lidar est un capteur qui permet de créer des nuages de points de l'environnement dans lequel il évolue. A ce stade, celui-ci renvoie un nuage, mais pas d'objets.
    • Cas°1 / Comparaison avec la carte 3D : dans ce cas on peut s'attendre à ce que la comparaison entre le nuage de point donné par le lidar et la carte 3D soit cohérente. C'est-à-dire que la différence entre ces deux informations est proche de zéro. Cependant, il est nécessaire de contrôler cela avec un niveau de corrélation. Une carte de cohérence peut permettre d'illustrer géographiquement l'absence d'incohérence.
    • Cas°1 / Conclusion : dans ce cas on considère qu'on s'attend à ce qu'il n'y ait en réalité pas d'objet sur la route, qu'il s'agit de « fausses » détections issues de la fusion entre le radar et la caméra. En effet, lors de la comparaison entre la carte 3D et le lidar, on compare plusieurs milliers de points 3D (capacité de mesure du lidar : 300°000 points / seconde) avec un e carte 3D très résolue. On estime donc que la corrélation entre ces deux éléments très résolus ne peut pas être fausse en tout point du nuage et de la carte. Ainsi, un niveau de corrélation élevé ne peut résulter d'une erreur de mesure du lidar (lui-même composé de plusieurs organes de mesures).
    • Cas°2 / Caméra + radar : « pas d'objet détec té » signifie que ni la caméra ni le radar n'ont détecté d'objet, ou que la fusion des mesures des deux capteurs ne renvoie pas d'objet.
    • Cas°2 / Lidar : « nuage de points + objets » signifie que le lidar renvoie un nuage de points, et à partir de celui-ci, un ou des objets ont pu être détectés.
    • Cas°2 / Comparaison avec la carte 3D : il ex iste une incohérence entre la carte 3D et les données issues du lidar. Comme précédemment, nous estimons également un niveau de corrélation entre les données issues du lidar et la carte 3D. La valeur de ce niveau de corrélation va donc nous informer sur la présence ou non d'objets. Une carte de cohérence, ou d'incohérence dans le cas présent, peut permettre de repérer géographiquement les incohérences.
    • Cas°2 / Conclusion : comme présenté précédem ment, nous savons que les sources d'incohérence peuvent apparaitre à cause de différents phénomènes. Par conséquent en fonction de ces différents phénomènes, et de la valeur du niveau de corrélation, nous serons en mesure de conclure sur la présence effective d'objets ou pas.
    • Cas°3 / Caméra + radar : on se retrouve dans le même cas de figure que le premier cas présenté, à savoir que la caméra, le radar et/ou la fusion de ces deux sources a ou ont détecté un objet.
    • Cas°3 / Lidar : « nuage de points + objets » signifie que le lidar renvoie un nuage de points, et à partir de celui-ci un ou des objets ont pu être détectés.
    • Cas°3 / Comparaison avec la carte 3D : les objets détectés par les différents capteurs sont directement « ajoutés » à la carte, notamment grâce au fait que l'on connait la position du véhicule dans la carte. On réalise alors notre opération de comparaison afin de déterminer le niveau de corrélation. De même, une carte de cohérence, ou d'incohérence, peut permettre de repérer géographiquement les incohérences.
    • Cas°3 / Conclusion : comme présenté précédem ment, nous savons que les sources d'incohérence peuvent apparaitre à cause de différents phénomènes. Par conséquent en fonction de ces différents phénomènes, et de la valeur du niveau de corrélation, nous serons en mesure de conclure sur la présence effective d'objets ou pas.
    • Cas°4 / Caméra + radar : dans ce cas, ni le radar ni la caméra, ni la fusion des deux, ne renvoient d'objets.
    • Cas°4 / Lidar : comme dans le premier cas, I e lidar renvoie ici un nuage de points.
    • Cas°4 / Comparaison avec la carte 3D : à nou veau, nous comparons les données issues des capteurs et la carte 3D afin de déterminer un niveau de corrélation. Là aussi, une carte de cohérence peut permettre d'illustrer géographiquement l'absence d'incohérence.
    • Cas°4 / Conclusion : dans ce cas de figure, on s'attend à ce que le niveau de corrélation soit élevé, ce qui signifierait une absence d'objet.
  • Comme illustré dans la figure 2, représentant les différents cas évoqués dans le tableau ci-dessus, une carte de cohérence peut être établie. Elle sert également à positionner les différents objets qui pourraient être détectés.
  • Les figures 3 et 4 illustrent respectivement un exemple d'algorithme et un exemple d'architecture logicielle mettant en œuvre l'invention.
  • Comme illustré par la figure 5, dans un mode de réalisation avantageux, deux lidars peuvent permettent d'obtenir deux nuages de points avec des perspectives différentes et ainsi robustifier la fonction. L'utilisation de plusieurs lidars pour réaliser l'invention présentée a plusieurs avantages. Cela permet de rendre le calcul de corrélation plus fiable. Par ailleurs cela présente l'avantage de permettre un moyen de contrôle de bonne santé de chacun des lidars. En effet, il est possible de comparer chacune de leur mesure. Dans le présent exemple de réalisation, « Road DNA » (marque déposée) désigne une base cartographique très haute résolution commercialisée par TomTom (Marque Déposée).
  • Dans un mode de réalisation simplifié mais avantageux visant à limiter tant la charge du calculateur que l'espace mémoire alloué, on peut réaliser les mêmes traitements selon l'invention en utilisant seulement une cartographie 2D. Dans ce cas, les objets cartographiés sont les éléments de signalisation horizontale, communément appelé « lignes blanches » ou simplement « lignes ». En effet, comme nous l'avons présenté auparavant, les lidars mesurent une distance mais ont aussi la capacité de relever le niveau de réflectivité des objets. Par nature, les marquages (lignes, flèches, etc....) sont très réfléchissants et sont donc détectables grâce aux données issues des lidars. Ainsi, dès lors qu'une ligne ou une portion de ligne cartographiée n'est pas vue par les lidars et qu'aucun objet n'a été détecté, ces mêmes traitements utilisant un niveau de corrélation selon l'invention, très peu coûteux, peuvent permettre de détecter des objets supplémentaires, qui n'avaient pas été détectés par les caméras et les radars, comme par exemple un véhicule de service portant un panneau de signalisation, dès lors que celui-ci masque une ligne horizontale.
  • Dans ce mode de réalisation en 2D, il peut être avantageux de sécuriser les non-détections de lignes par les lidars, afin de ne pas être leurré dans les cas où une ligne ou une portion de ligne n'est pas simplement masquée par un objet, mais carrément effacée. Il semble alors opportun d'utiliser plusieurs capteurs afin de les redonder. Dans le cas d'une détection de dégradation de l'infrastructure (ligne effacée, etc....) on pourra alors profiter des installations « Vehicle-to-vehicle » (V2V) ou « Vehicle-to-Infrastructure » (V2I) afin de renvoyer des messages vers un serveur de base de données hébergé dans le « cloud » selon la terminologie anglo-saxonne. Si des messages s'accumulent au-delà d'un seuil prédéfini au niveau du serveur, celui-ci peut alors alerter sur une problématique de fraicheur de la carte à cet endroit et diffuser un message à l'intention des véhicules, toujours par l'intermédiaire de connexions V2V ou V2I, ou encore déclencher les actions nécessaire à la mise à jour de la carte.
  • La présente invention peut également être utile afin de déduire les éventuels dysfonctionnements d'un capteur lidar. En effet, il est possible de comptabiliser les incohérences dans une zone donnée de la carte d'incohérence décrite précédemment, puis de fixer des seuils à partir desquels on considère que l'incohérence est due à un dysfonctionnement du capteur, qu'il s'agisse du dysfonctionnement d'un élément matériel constituant une partie physique du capteur ou qu'il s'agisse du dysfonctionnement d'un élément logiciel constituant une partie des post-traitements exécutés sur les mesures prises par le capteur afin de de détecter des objets.
  • Toutefois, avant de tenter de détecter des erreurs dans les mesures prises par le lidar, ces mesures pouvant notamment porter sur une ligne de marquage au sol comme illustré à la figure 6, et d'en déduire d'éventuels dysfonctionnements du capteur lidar, il faut d'abord s'assurer que la ligne n'est pas masquée par un objet sur la voie ou encore qu'elle n'est pas tout simplement effacée, auxquels cas il ne s'agit pas d'erreurs. Le défi à relever est donc d'identifier la cause d'une différence entre une image perçue par un système de perception lidar, illustrée à gauche sur la figure 6 où une portion de ligne n'est pas détectée, et une image issue d'une base de données cartographique MAP2D, illustrée à droite sur la figure 6 où la même ligne est décrite comme ne comportant pas de discontinuité.
  • Comme illustré à la figure 7, on peut comparer les détections issues des post-traitements du lidar (« Perception LIDAR & Post-traitement : ligne ») aux données de cartographie MAP2D et constater des différences, notamment « Différence 1 ». A ce stade où le lidar ne voit pas la même chose que ce qui est prévu dans la cartographie, on ne peut pas encore conclure quant à l'origine de cette différence, une simple alerte est donc levée indiquant que l'acquisition actuelle par le lidar (acquisition et post-traitements) n'est pas conforme à la base de données cartographiques. En effet, la différence peut être due à un objet masquant ou à une ligne effacée, et on ne peut pas encore conclure à une erreur due à un dysfonctionnement logiciel ou à un dysfonctionnement matériel du lidar.
  • Si la ligne est absente dans l'acquisition actuelle par le lidar, mais qu'au moins un objet (« Objets ») a été détecté dans la zone correspondante par le bloc de détection d'objets (« Détection d'objets »), alors la présence de l'objet est confirmée et on peut considérer que l'absence de détection du lidar est cohérente. Par contre, si la ligne est absente dans l'acquisition actuelle par le lidar mais qu'aucun objet n'a été détecté dans la zone correspondante par le bloc de détection d'objets, alors on peut constater une différence (« Différence 2 »), qui peut révéler soit un problème d'effacement de ligne, soit un dysfonctionnement logiciel ou matériel du capteur. On peut alors assigner aux données d'acquisition actuelle par le lidar un niveau de confiance, que l'on peut initialiser à 1 (niveau maximal de confiance, car on ne sait pas encore s'il y a dysfonctionnement du capteur) et susceptible de varier ultérieurement entre 1 et 0 (niveau minimal de confiance correspondant à un dysfonctionnement avéré). Il s'agit donc maintenant de tenter de détecter un effacement de ligne qui n'aurait pas été reporté dans la cartographie MAP2D.
  • Un premier moyen pour détecter les effacements de ligne, c'est d'utiliser une cartographie mise-à-jour systématiquement via les informations V2V ou V2X, indiquant les effacements de ligne, ainsi que tout problème réellement constaté sur la route. Le procédé illustré par la figure 8 est basé sur la redondance d'informations de l'ensemble des véhicules environnants. On considère que chaque véhicule dispose d'un unique capteur lidar : dès lors qu'un véhicule détecte une anomalie de route (comme une ligne effacée), il fait remonter l'information à la base de données cartographique par le biais d'une alerte. Dès lors que la base de données, stockée dans un « cloud » selon la terminologie anglo-saxonne, reçoit un nombre d'alerte supérieur à un seuil donné, alors l'information est considérée comme vraie et la cartographie est mise à jour et transmise aux autres véhicules. La suite du traitement s'effectue alors selon l'organigramme de la figure 9. En plus de résoudre le cas particulier d'une ligne effacée dans une approche de détection, cette méthode a pour avantage supplémentaire de permettre de partage d'autres informations, comme des trous dans la route, etc. Ainsi la cartographie peut être mise à jour en temps réel et informer les utilisateurs de divers événements.
  • Un moyen supplémentaire pour détecter les effacements de ligne, c'est de multiplier les capteurs lidars, afin d'obtenir une information avec un indice de confiance consolidé, comme illustré à la figure 9 pour n capteurs de type lidar, ou n entier strictement positif, capables de percevoir en 2D les lignes de marquage au sol. La logique générale de cette figure est globalement identique à celle de la figure 7, sauf en ce qui concerne des étapes de pré-traitement des nuages de points lidar, notamment des étapes de recalage géométrique et temporel, ainsi que de fusion, qui sont décrites ci-après (et illustrées dans un même bloc de la figure 9).
  • Même si les n LIDAR n'ont pas la même position sur la voiture, les nuages de points qu'ils fournissent en sortie doivent toutefois être exprimés dans un même référentiel lié au véhicule. Cela est réalisé durant une étape de recalage géométrique qui permet d'exprimer tous les nuages de points par rapport à un même point origine à bord, le milieu du véhicule par exemple. De plus, les références de temps capteurs n'étant pas forcément les mêmes pour les n lidars, une synchronisation temporelle des nuages de points doit par conséquent être réalisée durant une étape de récalage temporel, qui permet de les dater à un même instant. Une étape de fusion permet de superposer les n nuages de points recalés géométriquement et temporellement. Si à la fin de la comparaison une différence (appelée différence 2) persiste, alors l'intégrité des capteurs ou de leur post-traitement est mise en cause.
  • Avec n lidars sur un véhicule où n>0, on acquiert un nuage de points de chaque lidar. Les n nuages de points peuvent être ramenés dans un référentiel lié au véhicule. Cette transformation peut générer une légère incohérence sur les coordonnées des points. Puis, on peut superposer le nuage de points mesuré avec la cartographie pour constater les incohérences. Avec la cartographie ou une centrale inertielle pour mesurer l'incohérence entre les coordonnées de la mesure du point qui fait partie du nuage de points acquis et les coordonnées du point de référence sur la cartographie par exemple. Dans le cas d'une incohérence géométrique, un point de référence est déterminé avec la cartographie, un système de positionnement de type GPS et une centrale inertielle. Puis, l'incohérence entre les coordonnées de la mesure du point (qui fait partie du nuage de points acquis) et les coordonnées du point de référence sur la carte peut être mesurée et, si l'on veut corriger l'incohérence, il faut trouver la fonction de transfert F, comme explicité par la suite.
  • En l'absence d'effacement de ligne, le dysfonctionnement du capteur est donc finalement avéré, et on peut encore faire la différence entre dysfonctionnement matériel et dysfonctionnement logiciel, comme illustré à la figure 10.
  • Pour analyser le dysfonctionnement dans ce cadre, il peut être opportun de se baser sur la perception des lignes de marquage au sol, dont on vient justement de conclure qu'ils sont mal perçus par le lidar. De plus, ces lignes sont a priori faciles à percevoir et elles représentent moins de données à traiter et stocker en 2 dimensions.
  • La figure 10 illustre un procédé pour faire la différence entre un défaut capteur et un défaut du post-traitement. Le capteur fait l'acquisition d'un nuage de points qui est analysé pour extraire les caractéristiques géométriques avec un Algorithme n°1, puis celles-ci sont comparées avec la MAP2D et avec les objets détectés dans le plan. L'Algorithme n°1 est par exemple du type « rule-based point cloud 2D shaping » selon la terminolgioe anglo-saxonne. Si à l'issue de cette comparaison, il y a une différence (différence 1 ≠ Ø), alors le même nuage de points est traité par un Algorithme n°2. L'Algor ithme n°2 est par exemple du type « convolutional neuronal network » ou CNN selon la terminologie anglo-saxonne. Le résultat de cette analyse est également comparé avec la MAP2D et les objets détectés dans le plan. Si une différence est constatée (différence 2 ≠ Ø), celle-ci est comparée avec la première différence. Si les deux différences sont les mêmes, alors le capteur est en cause. Si les deux différences ne sont pas les mêmes, alors l'algorithme est en cause.
  • Pour définir la mesure d'incohérence entre le nuage de points lidar et la cartographie, plusieurs méthodes sont possibles : comparaison sur grilles comme illustré aux figures 11 et 12 (méthode plus adaptée à la détection d'objet) ou comparaison suivie d'un calcul de fonction de transfert F comme illustré à la figure 13.
  • Les figures 11, 12 illustrent la méthode de comparaison sur grilles, une première grille à gauche sur les figures 11 et 12 étant superposée à l'image formée par le nuage de points lidar, une deuxième grille à droite sur les figures 11 et 12 étant superposée à la cartographie. Un tel système de grilles permet d'estimer une valeur de corrélation variant de 1 à 0 entre le nuage de points lidar et les données cartographiques. On définit ensuite une fonction de transfert F pour estimer l'erreur. On peut ensuite fixer des seuils qui définissent l'incohérence des mesures, c'est-à-dire à partir de combien de comparaisons et à partir de combien de non-corrélations de points sur une grille on considère qu'il y a incohérence, chaque point de la grille étant assimilable à un pixel. On peut aussi fixer des seuils d'incohérence au-delà desquels on considère que le lidar n'est pas intègre/fiable.
  • La méthode de comparaison sur grilles consiste notamment à estimer la différence entre l'union des points mesurés et des points réels et l'intersection des nuages de points mesurés issus des capteurs et des nuages de points réels issus de la cartographie (i.e. calculer la différence « union - intersection »). On obtient un ensemble de points restants et on calcule un volume V appelé « volume d'erreur » défini comme le volume de l'enveloppe desdits points restants, par exemple le volume de la plus petite sphère contenant tous ces points restants. Ce volume est mémorisé pour calculer l'indice de confiance ultérieurement. Afin de traiter une erreur plus représentative, on peut normaliser ce volume d'erreur sur un échantillon des derniers volumes de l'erreur du même capteur sur une fenêtre temporelle prédéterminée : il s'agit de calculer la moyenne Vm de tous ces volumes de l'erreur sur la fenêtre temporelle et de déterminer l'écart-type
    Figure imgb0001
    de ces volumes. Puis, on considère le volume moyen de l'erreur
    Figure imgb0002
     dans la suite des traitements, appelé par la suite « volume d'erreur normalisé ». L'indice de confiance vise à exclure les capteurs présentant un volume d'erreur ou un volume d'erreur normalisé supérieur à un seuil prédéterminé, par exemple 10 litres, ou présentant une erreur géométrique supérieure à un seuil prédéterminé, par exemple 40 centimètres, ou encore présentant une combinaison de ces deux erreurs. Pour cela, à partir des volumes normalisés, on calcule des volumes relatifs de l'erreur par rapport aux seuil prédéterminés (10 litres ou 40 centimètres dans le présent exemple, qui représentent chacun la référence égale à 1) et l'indice de confiance est calculé de la manière suivante : Volume relatif de l ′ erreur = volume normalisé de l ′ erreur / 10
    Figure imgb0003
     Erreur géométrique relative = erreur géométrique normalisée / 40
    Figure imgb0004
     Indice = 1 − Volume relatif de l ′ erreur − erreur géométrique relative si Indice < = 0 alors Indice de confiance = 0 sinon Indice de confiance = Indice
    Figure imgb0005
  • S'il s'agit d'une comparaison entre nuage de points 2D et une cartographie 2D, l'erreur peut avoir la forme d'une aire. Dans ce cas, l'indice de confiance peut viser à exclure les capteurs présentant une aire d'erreur ou une aire d'erreur normalisée supérieure à un seuil prédéterminé, par exemple 100 centimètres carrés (cm2), ou présentant une erreur géométrique supérieure à un seuil prédéterminé, par exemple 40 centimètres, ou encore présentant une combinaison de ces deux erreurs. Pour cela, à partir des aires normalisées, on calcule des aires relatives de l'erreur par rapport aux seuil prédéterminés (100 cm2 ou 40 centimètres dans le présent exemple, qui représentent chacun la référence égale à 1) et l'indice de confiance est calculé de la manière suivante : Aire relative de l ′ erreur = aire normalisée de l ′ erreur / 100
    Figure imgb0006
     Erreur géométrique relative = erreur géométrique normalisée / 40
    Figure imgb0007
     Indice = 1 − Aire relatif de l ′ erreur − erreur géométrique relative si Indice < = 0 alors Indice de confiance = 0 sinon Indice de confiance = Indice
    Figure imgb0008
  • S'il n'y a aucune cohérence entre nuage de points et cartographie, (i.e. niveau de corrélation nul), alors le capteur peut être considéré comme défectueux. On peut répéter les comparaisons de chaque point de la grille à des moments différents. On peut utiliser des non-corrélations récurrentes, c'est-à-dire de certains points particuliers, pour constater qu'il y a un problème. Par exemple, la présence de gouttelettes devant le lidar peut entraîner l'obstruction récurrente des mêmes points.
  • Comme illustré par la figure 11, après la comparaison du nuage de points lidar et de la cartographie (pixel(xli,yli) - pixel(xmi,ymi)), le point en bas à gauche est différent (D= pixel(I1,I1)-pixel(m1,m1)=-1). Si l'incohérence est toujours à cet endroit pour n moments, une défaillance est avérée pour cet endroit.
  • Comme illustré par la figure 12, en comparant le nuage de points lidar avec la cartographie, on peut constater un décalage. On peut alors calculer une fonction de transfert F, particulièrement adaptée à la localisation. Un décalage du nuage de points par rapport à la cartographie peut aussi être déterminé à partir des lignes de marquage au sol, connues non seulement de la cartographie, mais également acquises par le capteur.
  • Comme illustré par la figure 13, chaque point du nuage de points lidar, qui forme ici une ligne, peut être comparé à un point de la ligne de marquage sur la cartographie. Pour n points de la ligne où n>0, une fonction de transfert F peut ainsi être calculée entre son image Xlidar dans le nuage de points et sa représentation Xmap dans la cartographie. On peut comparer les n fonctions de transfert pour rechercher un éventuel élément récurrent, comme un décalage commun selon une direction x. On peut aussi convertir les points dans des coordonnées radiales (r et phi) puis vérifier s'il y a un décalalge commun en r et/ou en phi. Pour n points en coordonnées radiales, on peut aussi calculer une fonction de transfert et on peut également rechercher un élément récurrent pour corriger les acquisitions. On peut alors recaler le capteur lidar.
  • L'invention décrite précédemment a encore pour principal avantage, outre l'amélioration de la robustesse de détection des cibles et des espaces libres, d'être relativement peu gourmande en besoins de traitement compte-tenu des capacités de calcul actuelles, dès lors que l'on parvient à compresser la cartographie avec une échelle raisonnable. Avec un lidar, une très bonne détection est obtenue en 2D, ce qui est beaucoup plus léger en traitement et stockage de données par rapport à la 3D.

Claims (10)

  1. Procédé pour diagnostiquer le dysfonctionnement d'un capteur, le procédé comportant une étape de comparaison de données de détections d'objets fournies par le capteur dans une zone géographique avec des données cartographiques correspondant à ladite zone, le procédé étant caractérisé en ce que, si les données de détections et les données cartographiques sont incohérentes, notamment si des objets détectés par le capteur ne sont pas représentés dans la cartographie ou que des objets représentés dans la cartographie ne sont pas détectés par le capteur, alors le procédé comporte en outre :
    - une étape de vérification qu'un objet a été détecté ou pas dans ladite zone par d'autres capteurs ;
    - si aucun objet n'a été détecté dans la zone par d'autres capteurs, une étape d'assignation d'un indice de confiance aux données de détections.
  2. Procédé selon la revendication 1, caractérisé en ce que l'étape d'assignation d'un indice de confiance aux données de détections comporte :
    - une sous-étape d'identification des points incohérents dans la zone ;
    - une sous-étape de quantification de l'incohérence pour chacun de ces points et ;
    - - en cas d'incohérence au-delà d'un seuil prédéfini, une sous-étape de diminution de l'indice de confiance sur les données de détection.
  3. Procédé selon la revendication 2, caractérisé en ce que, le capteur étant de type lidar ou caméra apte à détecter des lignes de marquage au sol, les données cartographiques sont mises à jour régulièrement tout au long de la mise en œuvre dudit procédé, incluant les données représentant des portions effacées des lignes de marquage au sol
  4. Procédé selon la revendication 3, caractérisé en ce que les données de détection sont fusionnées avec des données de détection fournies par d'autres capteurs de type lidar ou caméra, de manière à consolider l'indice de confiance sur lesdites données, incluant les données représentant les lignes de marquage au sol.
  5. Procédé selon la revendication 2 et 4, caractérisé en ce que la sous-étape d'identification des points incohérents inclut de recaler géométriquement et temporellement les points issus de différents capteurs.
  6. Procédé selon la revendication 2, caractérisé en ce que la sous-étape de quantification de l'incohérence inclut d'estimer un volume d'erreur égal au volume d'une enveloppe spatiale contenant la différence entre :
    - l'union des points détectés par les capteurs et des points réels connus de la cartographie et ;
    - - l'intersection des points détectés par les capteurs et des points réels connus de la cartographie.
  7. Procédé selon la revendication 6, caractérisé en ce que le volume d'erreur est normalisé par rapport aux volumes de l'erreur calculés précédemment sur une fenêtre temporelle prédéterminée.
  8. Procédé selon l'une des revendications 6 ou 7, caractérisé en ce que la sous-étape de diminution de l'indice de confiance sur les données de détection inclut de calculer un volume relatif d'erreur par rapport à un seuil de volume prédéterminé et de calculer une erreur géométrique relative par rapport à un seuil de distance prédéterminé, l'indice de confiance étant obtenu en soustrayant à la valeur 1 ledit volume relatif et ladite erreur géométrique relative.
  9. Système comportant des moyens matériels et logiciels pour mettre en œuvre l'une quelconque des revendications précédentes.
  10. Système comportant des moyens matériels et logiciels pour mettre en œuvre l'une quelconque des revendications précédentes.
EP20182638.5A 2019-07-19 2020-06-26 Procédé de vérification de l'intégrité de données lidar Active EP3767328B8 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1908215A FR3098924B1 (fr) 2019-07-19 2019-07-19 Procédé de vérification de l'intégrité de données lidar

Publications (3)

Publication Number Publication Date
EP3767328A1 true EP3767328A1 (fr) 2021-01-20
EP3767328B1 EP3767328B1 (fr) 2024-03-27
EP3767328B8 EP3767328B8 (fr) 2024-05-29

Family

ID=69172848

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20182638.5A Active EP3767328B8 (fr) 2019-07-19 2020-06-26 Procédé de vérification de l'intégrité de données lidar

Country Status (2)

Country Link
EP (1) EP3767328B8 (fr)
FR (1) FR3098924B1 (fr)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128077A (ko) 2015-04-28 2016-11-07 한국전자통신연구원 차량 센서의 자동 보정 장치 및 그 방법
US20190196481A1 (en) * 2017-11-30 2019-06-27 drive.ai Inc. Method for autonomous navigation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160128077A (ko) 2015-04-28 2016-11-07 한국전자통신연구원 차량 센서의 자동 보정 장치 및 그 방법
US20190196481A1 (en) * 2017-11-30 2019-06-27 drive.ai Inc. Method for autonomous navigation

Also Published As

Publication number Publication date
FR3098924B1 (fr) 2021-06-11
FR3098924A1 (fr) 2021-01-22
EP3767328B1 (fr) 2024-03-27
EP3767328B8 (fr) 2024-05-29

Similar Documents

Publication Publication Date Title
EP3137355B1 (fr) Dispositif de signalisation d&#39;objets a un module de navigation de vehicule equipe de ce dispositif
WO2019175130A1 (fr) Procédé robuste de détection d&#39;obstacles, notamment pour véhicules autonomes
US8818031B1 (en) Utility pole geotagger
FR3088308A1 (fr) Procede de mesure d&#39;un niveau d&#39;usure d&#39;un pneu d&#39;un vehicule.
EP3021302A1 (fr) Détermination automatique d&#39;une limitation de vitesse sur une route
FR3059615A1 (fr) Procede et dispositif de verification d&#39;un systeme de capteurs de vehicule
WO2015150129A1 (fr) Procede de geo-localisation de l&#39;environnement d&#39;un porteur
EP3767328B1 (fr) Procédé de vérification de l&#39;intégrité de données lidar
FR3085082A1 (fr) Estimation de la position geographique d&#39;un vehicule routier pour la production participative de base de donnees routieres
EP3472015B1 (fr) Procédé de détermination d&#39;une classe de conduite de référence
WO2019170863A1 (fr) Procede de detection d&#39;anomalie dans la perception par un vehicule automobile de son environnement
FR3114164A1 (fr) Procede de controle d&#39;integrite du recalage sur une pluralite d&#39;amers, produit programme d&#39;ordinateur et dispositif de controle d&#39;integrite associes
FR3107114A1 (fr) Procédé et dispositif de validation de données de cartographie d’un environnement routier de véhicule
WO2018069060A1 (fr) Dispositif de localisation et dispositif de production de données d&#39;intégrité
FR3100651A1 (fr) Procédé et dispositif de détection d’un objet pour véhicule
EP2791687B1 (fr) Procede et systeme d&#39;auto-calibration d&#39;un dispositif de mesure de vitesse d&#39;un vehicule circulant dans un espace tridimensionnel
WO2023061915A1 (fr) Procédé de détection d&#39;une limite d&#39;une voie de circulation
FR3036204A1 (fr) Procede et systeme de compensation d&#39;erreurs pour un systeme de detection d&#39;objets embarque sur un vehicule automobile
FR3058515A1 (fr) Dispositif et procede de localisation d&#39;un vehicule
FR3036498A1 (fr) Procede et systeme de localisation en ligne d&#39;un vehicule automobile
FR3117252A1 (fr) Procédé et dispositif d’aide à la manœuvre d’urgence
FR3135944A1 (fr) Procédé de détection de franchissement d’un panneau de signalisation routière par un véhicule
EP4308881A1 (fr) Procede et dispositif de determination d&#39;une fiabilite d&#39;une cartographie basse definition
WO2023280745A1 (fr) Procede d&#39;etiquetage d&#39;une image 3d sur base de projection épipolaire
EP3008664B1 (fr) Procédé et système de suivi d&#39;objets en mouvement

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN PUBLISHED

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210719

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S

17Q First examination report despatched

Effective date: 20220629

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230608

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20231026

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

REG Reference to a national code

Ref country code: DE

Ref legal event code: R081

Ref document number: 602020027797

Country of ref document: DE

Owner name: AMPERE SAS, FR

Free format text: FORMER OWNER: RENAULT S.A.S., BOULOGNE-BILLANCOURT, FR

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

RAP2 Party data changed (patent owner data changed or rights of a patent transferred)

Owner name: AMPERE SAS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602020027797

Country of ref document: DE

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: CH

Ref legal event code: PK

Free format text: RECTIFICATION B8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20240621

Year of fee payment: 5

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240327

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: DE

Payment date: 20240619

Year of fee payment: 5

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG9D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240628

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240327

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20240627