FR3092545A1 - ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED - Google Patents
ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED Download PDFInfo
- Publication number
- FR3092545A1 FR3092545A1 FR1901293A FR1901293A FR3092545A1 FR 3092545 A1 FR3092545 A1 FR 3092545A1 FR 1901293 A FR1901293 A FR 1901293A FR 1901293 A FR1901293 A FR 1901293A FR 3092545 A1 FR3092545 A1 FR 3092545A1
- Authority
- FR
- France
- Prior art keywords
- vehicle
- determined
- images
- traffic lane
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims abstract description 35
- 230000015654 memory Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 239000013256 coordination polymer Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/10—Number of lanes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Un procédé assiste la conduite d’un véhicule à conduite autonome, circulant sur une portion de route comprenant des voies de circulation, et comportant au moins un capteur acquérant des images de l’environnement devant le véhicule. Ce procédé comprend : une première étape (10) dans laquelle on obtient des images acquises de l’environnement, une deuxième étape (20-30) dans laquelle on analyse ces images obtenues pour déterminer si elles contiennent un objet, puis, dans l’affirmative, on détermine dans ces images la position relative de la voie de circulation de l’objet par rapport à la voie de circulation du véhicule, et une troisième étape (40) dans laquelle on génère une instruction de conduite configurée pour adapter la conduite du véhicule en fonction de la position relative de la voie de circulation de l’objet. Figure à publier avec l’abrégé : Fig. 2A method assists the driving of an autonomous driving vehicle, traveling on a portion of road comprising traffic lanes, and comprising at least one sensor acquiring images of the environment in front of the vehicle. This method comprises: a first step (10) in which acquired images of the environment are obtained, a second step (20-30) in which these obtained images are analyzed to determine whether they contain an object, then, in the affirmative, one determines in these images the relative position of the travel lane of the object with respect to the lane of the vehicle, and a third step (40) in which one generates a driving instruction configured to adapt the driving of the vehicle. vehicle as a function of the relative position of the object's lane. Figure to be published with the abstract: Fig. 2
Description
Domaine technique de l’inventionTechnical field of the invention
L’invention concerne les véhicules terrestres à conduite au moins partiellement automatisée (ou autonome) et éventuellement de type automobile, et plus précisément l’assistance à la conduite de tels véhicules.The invention relates to land vehicles with at least partially automated (or autonomous) driving and possibly of the automobile type, and more specifically to driving assistance for such vehicles.
Etat de la techniqueState of the art
Dans ce qui suit on considère qu’un véhicule terrestre est à conduite au moins partiellement automatisée (ou autonome) lorsqu’il peut être conduit sur une route de façon automatisée (partielle ou totale (sans intervention de son conducteur)) pendant une phase de conduite automatisée, ou de façon manuelle (et donc avec intervention de son conducteur sur le volant et/ou les pédales) pendant une phase de conduite manuelle. Par exemple, la conduite automatisée (ou autonome) d’un véhicule (à conduite au moins partiellement automatisée) peut consister à diriger partiellement ou totalement ce véhicule ou à apporter tout type d’aide à une personne physique conduisant ce véhicule. Cela couvre donc toute conduite automatisée (ou autonome), du niveau 1 au niveau 5 dans le barème de l’OICA (Organisation International des Constructeurs Automobiles).In what follows, a land vehicle is considered to be driving at least partially automated (or autonomous) when it can be driven on a road in an automated manner (partially or totally (without the intervention of its driver)) during a phase of automated driving, or manually (and therefore with the driver's intervention on the steering wheel and/or the pedals) during a manual driving phase. For example, the automated (or autonomous) driving of a vehicle (with at least partially automated driving) may consist of partially or totally directing this vehicle or providing any type of assistance to a natural person driving this vehicle. This therefore covers any automated (or autonomous) driving, from level 1 to level 5 in the scale of the OICA (International Organization of Automobile Manufacturers).
Par ailleurs, on entend ici par « véhicule terrestre » tout type de véhicule pouvant circuler sur une route, et notamment un véhicule automobile, un véhicule utilitaire, un cyclomoteur, une motocyclette, un car, un robot de stockage dans un entrepôt, ou un engin de voirie.Furthermore, here the term "land vehicle" means any type of vehicle that can circulate on a road, and in particular a motor vehicle, a utility vehicle, a moped, a motorcycle, a bus, a storage robot in a warehouse, or a road vehicle.
De nombreux procédés d’assistance à la conduite de véhicules (à conduite au moins partiellement automatisée) ont pour but d’adapter la conduite de ces véhicules en fonction des positions d’objets (ou obstacles) qui sont détectés devant eux. Ces procédés d’assistance connus comportent une étape dans laquelle :
- on analyse des images, acquises successivement par au moins un capteur du véhicule dans l’environnement qui est situé devant lui, afin de déterminer si elles contiennent au moins un objet (comme par exemple un autre véhicule), puis
- dans l’affirmative, on détermine séparément dans ces images les positions des délimitations de la voie de circulation de chaque objet et la position de chaque objet, puis
- on rapporte (ou projette) dans le référentiel qui est associé au véhicule ces positions déterminées des délimitations et la position déterminée de chaque objet.
- images, acquired successively by at least one sensor of the vehicle in the environment which is situated in front of it, are analyzed in order to determine whether they contain at least one object (such as for example another vehicle), then
- if so, the positions of the delimitations of the traffic lane of each object and the position of each object are determined separately in these images, then
- these determined positions of the delimitations and the determined position of each object are reported (or projected) into the reference system which is associated with the vehicle.
En d’autres termes, ce type de procédé d’assistance détecte indépendamment des objets et des voies de circulation qu’il associe ensuite en travaillant dans un autre repère (typiquement celui du véhicule).In other words, this type of assistance process independently detects objects and traffic lanes which it then associates by working in another reference frame (typically that of the vehicle).
Un inconvénient de ce type de procédé d’assistance réside dans le fait qu’il cumule les imprécisions des positions des délimitations et objet(s) au sein d’une image acquise (notamment du fait de la résolution de la caméra du capteur), et les imprécisions des projections de ces dernières positions dans le référentiel associé au véhicule. Par conséquent, il arrive fréquemment que la position d’un objet soit erronée de plusieurs mètres et donc que la voie de circulation sur laquelle est réellement situé cet objet ne soit pas celle sur laquelle il a été finalement détecté, en particulier en virage, ce qui peut aboutir à des décisions de conduite mal adaptées à la situation réelle, voire potentiellement dangereuses. D’une manière générale la méthode utilisée rend difficile l’association d’un objet (ou obstacle) à une voie de circulation, et la détermination du caractère gênant ou non gênant de cet objet (ou obstacle) pour le véhicule faisant l’objet de l’assistance.A disadvantage of this type of assistance method lies in the fact that it combines the inaccuracies of the positions of the boundaries and object(s) within an acquired image (in particular due to the resolution of the sensor camera), and the inaccuracies of the projections of these last positions in the reference frame associated with the vehicle. Consequently, it often happens that the position of an object is erroneous by several meters and therefore that the traffic lane on which this object is actually located is not the one on which it was finally detected, in particular in bends, this which can lead to driving decisions that are ill-suited to the real situation, or even potentially dangerous. In general, the method used makes it difficult to associate an object (or obstacle) with a traffic lane, and to determine whether or not this object (or obstacle) is annoying for the vehicle assistance.
L’invention a donc notamment pour but d’améliorer la situation.The aim of the invention is therefore in particular to improve the situation.
Présentation de l’inventionPresentation of the invention
Elle propose notamment à cet effet un procédé d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N ≥ 1, et comportant au moins un capteur acquérant des images d’un environnement au moins devant le véhicule.It proposes in particular for this purpose an assistance method intended to assist the driving of a vehicle with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N≥1, and comprising at least one sensor acquiring images of an environment at least in front of the vehicle.
Ce procédé d’assistance se caractérise par le fait qu’il comprend :
- une première étape dans laquelle on obtient des images successives de l’environnement du véhicule, acquises avec le capteur,
- une deuxième étape dans laquelle on analyse ces images acquises et obtenues afin de déterminer si elles contiennent au moins un objet, puis, dans l’affirmative, on détermine dans ces images acquises et obtenues une position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule, et
- une troisième étape dans laquelle on génère une instruction de conduite configurée pour adapter la conduite du véhicule en fonction de la position relative de chaque voie de circulation déterminée pour chaque objet.
- a first step in which successive images of the environment of the vehicle are obtained, acquired with the sensor,
- a second step in which these acquired and obtained images are analyzed in order to determine whether they contain at least one object, then, if so, a relative position of the traffic lane of each determined object is determined in these acquired and obtained images in relation to the traffic lane on which the vehicle is traveling, and
- a third step in which a driving instruction configured to adapt the driving of the vehicle is generated according to the relative position of each traffic lane determined for each object.
Cette détermination de la position relative de la voie de circulation d’un objet par rapport à la voie de circulation du premier véhicule, sans projections multiples, permet de réduire très notablement le risque d’erreur d’association de cet objet à sa voie de circulation (notamment due aux erreurs de projection dans un espace intermédiaire tel que le plan de la route sur laquelle évolue le véhicule), et donc d’avoir une association notablement plus robuste. En outre, elle permet une réduction importante du nombre de calculs à effectuer et donc un gain de temps de calcul, et évite d’avoir à déterminer et utiliser les paramètres nécessaires aux changements de repère.This determination of the relative position of the traffic lane of an object with respect to the traffic lane of the first vehicle, without multiple projections, makes it possible to very significantly reduce the risk of error in association of this object with its traffic lane. circulation (in particular due to projection errors in an intermediate space such as the plane of the road on which the vehicle is moving), and therefore to have a significantly more robust association. In addition, it allows a significant reduction in the number of calculations to be performed and therefore a saving in calculation time, and avoids having to determine and use the parameters necessary for changes of reference.
Le procédé d’assistance selon l’invention peut comporter d’autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :
- dans un premier mode de réalisation, dans sa deuxième étape on peut déterminer dans les images acquises et obtenues une position relative de chaque objet qu’elle contient par rapport à la portion de route, puis on peut déterminer la voie de circulation sur laquelle est situé chaque objet en fonction du nombre N et de sa position relative déterminée, puis on peut déterminer dans ces images acquises et obtenues la position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule ;
- dans sa deuxième étape on peut déterminer le nombre N dans des données représentatives de la portion de route ;
- dans sa deuxième étape on peut analyser les images acquises et obtenues afin de déterminer les délimitations qu’elles comprennent, puis on peut estimer le nombre N en fonction de ces délimitations déterminées ;
- dans sa deuxième étape on peut analyser les images acquises et obtenues afin de déterminer des objets représentant respectivement d’autres véhicules impliqués dans un dépassement, puis on peut déterminer un nombre minimal M de voies de circulation en fonction de ces autres véhicules déterminés, puis on peut estimer le nombre N en fonction de ce nombre minimal M déterminé ;
- dans sa deuxième étape on peut déterminer parmi les autres véhicules impliqués dans un dépassement celui qui est en cours de dépassement et celui qui dépasse. Dans ce cas, dans sa troisième étape on peut générer une instruction de conduite qui est configurée pour adapter la conduite du véhicule en fonction du véhicule dépassé et de la voie de circulation sur laquelle il circule, et du véhicule dépassant et de la voie de circulation sur laquelle il circule ;
- dans un second mode de réalisation, dans sa deuxième étape on peut déterminer chaque objet dans les images acquises et obtenues avec un premier réseau de neurones, puis on peut déterminer dans les images acquises et obtenues, avec un second réseau de neurones, la position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule.
- in a first embodiment, in its second step, it is possible to determine in the images acquired and obtained a relative position of each object that it contains with respect to the portion of road, then it is possible to determine the traffic lane on which is located each object as a function of the number N and of its determined relative position, then it is possible to determine in these acquired and obtained images the relative position of the traffic lane of each determined object with respect to the traffic lane on which the vehicle is traveling;
- in its second step, the number N can be determined in data representative of the portion of road;
- in its second step, the images acquired and obtained can be analyzed in order to determine the delimitations that they comprise, then the number N can be estimated as a function of these determined delimitations;
- in its second step, the images acquired and obtained can be analyzed in order to determine objects respectively representing other vehicles involved in overtaking, then a minimum number M of traffic lanes can be determined as a function of these other determined vehicles, then can estimate the number N as a function of this determined minimum number M;
- in its second step, it is possible to determine among the other vehicles involved in an overtaking which is in the process of being overtaken and which is overtaking. In this case, in its third step, a driving instruction can be generated which is configured to adapt the driving of the vehicle according to the overtaken vehicle and the traffic lane on which it is traveling, and the overtaking vehicle and the traffic lane on which it travels;
- in a second embodiment, in its second step, each object can be determined in the images acquired and obtained with a first neural network, then it is possible to determine in the images acquired and obtained, with a second neural network, the relative position of the traffic lane of each determined object with respect to the traffic lane on which the vehicle is traveling.
L’invention propose également un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement, est propre à mettre en œuvre un procédé d’assistance du type de celui présenté ci-avant pour déterminer la position relative de la voie de circulation sur laquelle est situé un objet détecté devant un véhicule par rapport à la voie de circulation sur laquelle circule ce véhicule.The invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means, is capable of implementing an assistance method of the type of that presented above for determining the relative position of the traffic lane on which is located an object detected in front of a vehicle with respect to the traffic lane on which this vehicle is traveling.
L’invention propose également un dispositif d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N ≥ 1, et comportant au moins un capteur acquérant des images d’un environnement au moins devant le véhicule.The invention also proposes an assistance device intended to assist the driving of a vehicle with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N ≥ 1, and comprising at least one sensor acquiring images of an environment at least in front of the vehicle.
Ce dispositif d’assistance se caractérise par le fait qu’il comprend au moins un processeur et au moins une mémoire agencés pour effectuer les opérations consistant à :
- obtenir des images successives de l’environnement acquises par le capteur,
- analyser ces images acquises et obtenues afin de déterminer si elles contiennent au moins un objet, puis, dans l’affirmative, déterminer dans ces images acquises et obtenues une position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule, et
- générer une instruction de conduite configurée pour adapter la conduite du véhicule en fonction de la position relative de chaque voie de circulation déterminée pour chaque objet.
- obtain successive images of the environment acquired by the sensor,
- analyzing these acquired and obtained images in order to determine whether they contain at least one object, then, if so, determining in these acquired and obtained images a relative position of the traffic lane of each determined object with respect to the traffic lane on which the vehicle is travelling, and
- generating a driving instruction configured to adapt the driving of the vehicle according to the relative position of each traffic lane determined for each object.
L’invention propose également un véhicule, éventuellement de type automobile, à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N ≥ 1, et comportant au moins un capteur acquérant des images d’un environnement au moins devant le véhicule et un dispositif d’assistance du type de celui présenté ci-avant.The invention also proposes a vehicle, optionally of the automobile type, with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N ≥ 1, and comprising at least at least one sensor acquiring images of an environment at least in front of the vehicle and an assistance device of the type presented above.
Brève description des figuresBrief description of figures
D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés, sur lesquels :Other characteristics and advantages of the invention will appear on examination of the detailed description below, and of the appended drawings, in which:
Description détaillée de l’inventionDetailed description of the invention
L’invention a notamment pour but de proposer un procédé d’assistance à la conduite, et un dispositif d’assistance à la conduite DA associé, destinés à permettre l’assistance à la conduite d’un véhicule V1 à conduite automatisée (ou autonome).The object of the invention is in particular to propose a driving assistance method, and an associated driving assistance device DA, intended to allow assistance in the driving of a vehicle V1 with automated driving (or autonomous ).
Dans ce qui suit, on considère, à titre d’exemple non limitatif, que le véhicule V1 à conduite automatisée (ou autonome), ci-après appelé premier véhicule, est de type automobile. Il s’agit par exemple d’une voiture, comme illustré non limitativement sur la figure 1. Mais l’invention n’est pas limitée à ce type de véhicule. Elle concerne en effet tout type de véhicule terrestre à conduite au moins partiellement automatisée et pouvant circuler sur des voies de circulation terrestres. Ainsi, il pourra aussi s’agir d’un véhicule utilitaire, d’un cyclomoteur, d’une motocyclette, d’un car, d’un robot de stockage dans un entrepôt, ou d’un engin de voirie, par exemple.In what follows, it is considered, by way of non-limiting example, that the vehicle V1 with automated (or autonomous) driving, hereinafter called the first vehicle, is of the automobile type. This is for example a car, as illustrated without limitation in Figure 1. But the invention is not limited to this type of vehicle. It relates in fact to any type of land vehicle with at least partially automated driving and able to circulate on land traffic lanes. Thus, it could also be a commercial vehicle, a moped, a motorcycle, a bus, a storage robot in a warehouse, or a road construction machine, for example.
On a schématiquement et fonctionnellement représenté sur la figure 1 un premier véhicule V1 (à conduite automatisée (ou autonome)), circulant sur l’une des deux voies de circulation VCk (k = 1 ou 2) d’une portion de route R, ici encadrée par des rambardes de sécurité RS. On notera que la première voie de circulation VC1 est ici séparée de la rambarde de sécurité RS droite par une bande d’arrêt d’urgence BAU. Par ailleurs, cette première voie de circulation VC1 est délimitée par deux délimitations d1et d2, et la seconde voie de circulation VC2 est délimitée par deux délimitations d2et d3.A first vehicle V1 (with automated (or autonomous) driving) has been schematically and functionally represented in FIG. here framed by RS safety guardrails. It will be noted that the first traffic lane VC1 is here separated from the right safety rail RS by an emergency lane BAU. Furthermore, this first traffic lane VC1 is delimited by two delimitations d 1 and d 2 , and the second traffic lane VC2 is delimited by two delimitations d 2 and d 3 .
On notera que l’invention concerne toute portion de route comprenant au moins une voie de circulation. Par conséquent, le nombre N de voies de circulation d’une portion de route peut prendre n’importe quelle valeur supérieure ou égale à un (soit N ≥ 1).It will be noted that the invention relates to any portion of road comprising at least one traffic lane. Therefore, the number N of traffic lanes of a stretch of road can take any value greater than or equal to one (i.e. N ≥ 1).
Ce premier véhicule V1 comprend au moins un capteur CP et un exemple de réalisation d’un dispositif d’assistance à la conduite DA selon l’invention.This first vehicle V1 comprises at least one sensor CP and an embodiment of a driving assistance device DA according to the invention.
Ce capteur CP est chargé d’acquérir des images numériques dans l’environnement qui est situé au moins devant le premier véhicule V1.This CP sensor is responsible for acquiring digital images in the environment which is located at least in front of the first vehicle V1.
On notera que le nombre de capteurs CP (chargés d’acquérir des images numériques) est ici égal à un (1). Mais ce nombre peut prendre n’importe quelle valeur supérieure ou égale à un (1), dès lors que cela permet d’acquérir des images numériques dans l’environnement situé au moins devant le premier véhicule V1.Note that the number of CP sensors (responsible for acquiring digital images) is here equal to one (1). But this number can take any value greater than or equal to one (1), provided this makes it possible to acquire digital images in the environment located at least in front of the first vehicle V1.
Par exemple, le capteur CP peut comprendre au moins une caméra installée dans une partie avant du véhicule (par exemple sur le pare-brise ou sur le rétroviseur intérieur), et chargée d’acquérir des images numériques au moins devant le premier véhicule V1 et éventuellement sur une partie au moins de ses deux côtés latéraux.For example, the sensor CP can comprise at least one camera installed in a front part of the vehicle (for example on the windshield or on the interior rear-view mirror), and responsible for acquiring digital images at least in front of the first vehicle V1 and optionally on at least part of its two lateral sides.
En complément du capteur CP, le premier véhicule V1 peut aussi comprendre au moins un capteur à ultrasons, ou au moins un radar ou lidar, ou encore au moins une caméra installée dans une partie arrière. Ces autres capteurs peuvent être installés à l’avant ou à l’arrière ou sur au moins un côté latéral du premier véhicule V1.In addition to the sensor CP, the first vehicle V1 can also comprise at least one ultrasonic sensor, or at least one radar or lidar, or even at least one camera installed in a rear part. These other sensors can be installed at the front or at the rear or on at least one lateral side of the first vehicle V1.
Comme évoqué plus haut, l’invention propose notamment un procédé d’assistance à la conduite destiné à permettre l’assistance à la conduite du premier véhicule V1.As mentioned above, the invention proposes in particular a driving assistance method intended to allow driving assistance of the first vehicle V1.
Ce procédé d’assistance (à la conduite) peut être au moins partiellement mis en œuvre par le dispositif d’assistance (à la conduite) DA qui comprend à cet effet au moins un processeur PR, par exemple de signal numérique (ou DSP (« Digital Signal Processor »)), et une mémoire MD.This (driving) assistance method can be at least partially implemented by the (driving) assistance device DA which comprises for this purpose at least one processor PR, for example of digital signal (or DSP ( “Digital Signal Processor”)), and an MD memory.
Dans l’exemple illustré non limitativement sur la figure 1, le dispositif d’assistance (à la conduite) DA fait partie d’un calculateur CA du premier véhicule V1. Mais cela n’est pas obligatoire. En effet, le dispositif d’assistance DA pourrait comprendre son propre calculateur. Par conséquent, le dispositif d’assistance DA peut être réalisé sous la forme d’une combinaison de circuits ou composants électriques ou électroniques (ou « hardware ») et de modules logiciels (ou « software »). La mémoire MD est vive afin de stocker des instructions pour la mise en œuvre par le processeur PR du procédé d’assistance.In the example illustrated without limitation in FIG. 1, the (driving) assistance device DA forms part of a computer CA of the first vehicle V1. But this is not mandatory. Indeed, the DA assistance device could include its own computer. Consequently, the DA assistance device can be made in the form of a combination of electrical or electronic circuits or components (or "hardware") and software modules (or "software"). The memory MD is live in order to store instructions for the implementation by the processor PR of the assistance method.
A titre d’exemple, le calculateur CA peut être dédié au contrôle complet de la conduite du premier véhicule V1 pendant chaque phase de conduite automatisée (ou autonome).By way of example, the computer CA can be dedicated to complete control of the driving of the first vehicle V1 during each phase of automated (or autonomous) driving.
Comme illustré sur la figure 2, le procédé d’assistance, selon l’invention, comprend trois étapes.As illustrated in Figure 2, the assistance method, according to the invention, comprises three steps.
Dans une première étape 10 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par obtenir des images successives de l’environnement du premier véhicule V1 acquises avec le capteur CP.In a first step 10 of the assistance method, one (the processor PR and the memory MD) begins(s) by obtaining successive images of the environment of the first vehicle V1 acquired with the sensor CP.
Dans une deuxième étape 20-30 du procédé d’assistance, on (le processeur PR et la mémoire MD) analyse(nt) ces images acquises et obtenues afin de déterminer si elles contiennent au moins un objet (ou obstacle). On comprendra que cette analyse (objet de la première sous-étape 20 de la figure 2) consiste à déterminer si la route est dégagée devant le premier véhicule V1 sur un intervalle de distances prédéfini (éventuellement fonction de la vitesse en cours de ce dernier (V1)), et dans le cas contraire à considérer qu’il y a au moins un objet (ou obstacle) devant le premier véhicule V1. Puis, dans l’affirmative, on détermine dans une seconde sous-étape 30, dans les images acquises et obtenues, la position relative de la voie de circulation VCk de chaque objet déterminé par rapport à la voie de circulation VC1 sur laquelle circule le premier véhicule V1.In a second step 20-30 of the assistance method, one (the processor PR and the memory MD) analyzes (s) these images acquired and obtained in order to determine whether they contain at least one object (or obstacle). It will be understood that this analysis (object of the first sub-step 20 of FIG. 2) consists in determining whether the road is clear in front of the first vehicle V1 over a predefined interval of distances (possibly depending on the current speed of the latter ( V1)), and in the opposite case to consider that there is at least one object (or obstacle) in front of the first vehicle V1. Then, if so, in a second sub-step 30, in the images acquired and obtained, the relative position of the traffic lane VCk of each determined object is determined with respect to the traffic lane VC1 on which the first vehicle V1.
Dans l’exemple illustré non limitativement sur la figure 2, le processeur PR détecte la présence de deuxième V2 et troisième V3 véhicules dans l’environnement devant le premier véhicule V1. Le processeur PR et la mémoire MD déterminent alors dans les images acquises et obtenues que le deuxième véhicule V2 est situé sur la même voie de circulation que celle sur laquelle circule le premier véhicule V1 (à savoir VC1), tandis que le troisième véhicule V3 est situé sur la voie de circulation qui est placée à gauche de celle sur laquelle circule le premier véhicule V1 (à savoir VC2).In the example illustrated without limitation in FIG. 2, the processor PR detects the presence of second V2 and third V3 vehicles in the environment in front of the first vehicle V1. The processor PR and the memory MD then determine in the images acquired and obtained that the second vehicle V2 is located on the same traffic lane as that on which the first vehicle V1 (namely VC1) is traveling, while the third vehicle V3 is located on the traffic lane which is placed to the left of that on which the first vehicle V1 (namely VC2) travels.
Dans une troisième étape 40 du procédé d’assistance, on (le processeur PR et la mémoire MD) génère(nt) une instruction de conduite qui est configurée pour adapter la conduite du véhicule V1 en fonction de la position relative de chaque voie de circulation VCk déterminée pour chaque objet.In a third step 40 of the assistance method, (the processor PR and the memory MD) generate(s) a driving instruction which is configured to adapt the driving of the vehicle V1 as a function of the relative position of each traffic lane VCk determined for each object.
Par exemple, dans la situation de dépassement illustrée sur la figure 1, une instruction peut réclamer l’adaptation de la vitesse du premier véhicule V1 afin qu’il suive le deuxième véhicule V2 au moins tant que le troisième véhicule V3 n’a pas fini de le dépasser. Par ailleurs, en l’absence de deuxième véhicule V2 et si le troisième véhicule V3 décélère brusquement, bien que le premier véhicule V1 ne soit pas sensé doubler à droite il est important qu’il détecte bien que le troisième véhicule V3 n’est pas sur sa voie de circulation et donc qu’il n’a pas à freiner brusquement, ce qui pourrait induire un accident avec un véhicule suiveur.For example, in the overtaking situation illustrated in FIG. 1, an instruction can request the adaptation of the speed of the first vehicle V1 so that it follows the second vehicle V2 at least as long as the third vehicle V3 has not finished to exceed it. Furthermore, in the absence of a second vehicle V2 and if the third vehicle V3 decelerates suddenly, although the first vehicle V1 is not supposed to overtake on the right, it is important that it detects that the third vehicle V3 is not in his lane and therefore he does not have to brake suddenly, which could lead to an accident with a following vehicle.
Grâce à cette détermination de la position relative de la voie de circulation d’un objet par rapport à la voie de circulation du premier véhicule V1, sans projections multiples, on réduit très notablement le risque d’erreur d’association de cet objet à une voie de circulation (notamment due aux erreurs de projection dans un espace intermédiaire tel que le plan de la route sur laquelle évolue le véhicule). Par conséquent, la robustesse de l’association est bien meilleure. On notera que pour les situations de dépassement, la réduction du risque d’erreur provient de la capacité à associer plus facilement une voie de circulation à au moins deux véhicules qui se dépassent si le nombre de voies de circulation est connu, ou bien que le dépassement puisse être extrapolé du nombre de voies de circulation observées à proximité du véhicule lui-même, ou encore qu’un des véhicules impliqués dans le dépassement ait déjà été associé à une voie de circulation (ce qui est fort probable).Thanks to this determination of the relative position of the lane of circulation of an object with respect to the lane of circulation of the first vehicle V1, without multiple projections, the risk of error of association of this object with a traffic lane (in particular due to projection errors in an intermediate space such as the plane of the road on which the vehicle is moving). Therefore, the robustness of the association is much better. It should be noted that for overtaking situations, the reduction in the risk of error comes from the ability to more easily associate a traffic lane with at least two overtaking vehicles if the number of traffic lanes is known, or if the overtaking can be extrapolated from the number of traffic lanes observed near the vehicle itself, or that one of the vehicles involved in the overtaking has already been associated with a traffic lane (which is very likely).
De plus, la détermination assurée par l’invention permet une réduction importante du nombre de calculs à effectuer et donc un gain de temps de calcul, et évite d’avoir à déterminer et utiliser les paramètres nécessaires aux changements de repère.In addition, the determination provided by the invention allows a significant reduction in the number of calculations to be performed and therefore a saving in calculation time, and avoids having to determine and use the parameters necessary for the changes of benchmark.
La deuxième étape 20-30 peut être mise en œuvre d’au moins deux façons.The second 20-30 step can be implemented in at least two ways.
Dans une première façon, on (le processeur PR et la mémoire MD) peu(ven)t déterminer dans les images acquises et obtenues la position relative de chaque objet qu’elle contient par rapport à la portion de route R. Puis, on (le processeur PR et la mémoire MD) peu(ven)t déterminer la voie de circulation VCk sur laquelle est situé chaque objet, en fonction du nombre N de voies de circulation VCk de la portion de route R concernée et de la position relative qui a été déterminée pour chaque objet. Puis, on (le processeur PR et la mémoire MD) peu(ven)t déterminer dans les images acquises et obtenues la position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation VC1 sur laquelle circule le premier véhicule V1.In a first way, we (the processor PR and the memory MD) can determine in the images acquired and obtained the relative position of each object that it contains with respect to the portion of road R. Then, we ( the processor PR and the memory MD) can determine the traffic lane VCk on which each object is located, depending on the number N of traffic lanes VCk of the portion of road R concerned and the relative position which has was determined for each object. Then, one (the processor PR and the memory MD) can determine in the images acquired and obtained the relative position of the traffic lane of each determined object with respect to the traffic lane VC1 on which the first vehicle is traveling V1.
Ainsi, chaque objet détecté est localisé par rapport à la portion de route R directement dans les images et non pas dans le référentiel associé au premier véhicule V1, et la position relative de chaque objet dans sa voie de circulation est « croisée » avec le nombre de voies pour en déduire dans quelle voie de circulation il se trouve. Les détections des objets et des voies de circulation VCk peuvent chacune être réalisées avec des approches classiques de vision ou des approches d’intelligence artificielle (ou IA), comme par exemple le « deep learning ».Thus, each object detected is located relative to the portion of road R directly in the images and not in the reference frame associated with the first vehicle V1, and the relative position of each object in its traffic lane is "crossed" with the number of lanes to deduce which lane he is in. The detection of objects and traffic lanes VCk can each be carried out with classic vision approaches or artificial intelligence (or AI) approaches, such as “deep learning”.
Le nombre N peut être déterminé de différentes manières.The number N can be determined in different ways.
Ainsi, dans la deuxième étape 20-30 on (le processeur PR et la mémoire MD) peu(ven)t déterminer ce nombre N dans des données qui sont représentatives de la portion de route R. Cette dernière est déterminée à chaque instant en fonction de la position en cours du premier véhicule V1 qui est fournie par un dispositif d’aide à la navigation DN qui est présent dans le premier véhicule V1 de façon permanente (comme illustré sur la figure 1 de façon non limitative), ou de façon temporaire (lorsqu’il fait partie d’un équipement portable ou d’un téléphone mobile intelligent (ou smartphone ») ou d’une tablette accompagnant un passager).Thus, in the second step 20-30 one (the processor PR and the memory MD) can (Fri) determine this number N in data which are representative of the portion of road R. The latter is determined at each instant as a function of the current position of the first vehicle V1 which is provided by a navigation aid device DN which is present in the first vehicle V1 permanently (as illustrated in FIG. 1 in a non-limiting manner), or temporarily (when part of portable equipment or a smart mobile phone (or smartphone) or tablet accompanying a passenger).
Ces données (représentatives de la portion de route R) peuvent, par exemple, définir la largeur moyenne de la route ou de la voie de circulation pour le type de route concerné (détecté ou obtenu par géolocalisation). Dans ce cas, on déduit le nombre de voies de cette largeur moyenne.These data (representative of the portion of road R) can, for example, define the average width of the road or of the traffic lane for the type of road concerned (detected or obtained by geolocation). In this case, the number of lanes is deducted from this average width.
En variante, les données (représentatives de la portion de route R) peuvent être issues d’une cartographie routière. Dans ce cas, on obtient directement le nombre de voies sur la portion de route R des informations contenues dans cette cartographie routière.As a variant, the data (representative of the portion of road R) can come from road mapping. In this case, the number of lanes on the road portion R is obtained directly from the information contained in this road map.
La cartographie routière peut faire partie du dispositif d’aide à la navigation DN précité. On comprendra que les données de cartographie routière sont stockées dans une mémoire du dispositif d’aide à la navigation DN ou sur un support de stockage (comme par exemple un CDROM) installé dans un lecteur du premier véhicule V1. En variante, les données de cartographie routière peuvent être téléchargées auprès d’un serveur accessible par voie d’ondes via un module de communication équipant le premier véhicule V1, à la demande du dispositif d’assistance DA.Road mapping can be part of the aforementioned DN navigation aid device. It will be understood that the road map data is stored in a memory of the navigation aid device DN or on a storage medium (such as for example a CDROM) installed in a drive of the first vehicle V1. As a variant, the road mapping data can be downloaded from a server accessible over the air via a communication module fitted to the first vehicle V1, at the request of the assistance device DA.
Dans une première variante, dans la deuxième étape 20-30 on (le processeur PR et la mémoire MD) peu(ven)t analyser les images acquises et obtenues afin de déterminer les délimitations qu’elles comprennent. Puis, on (le processeur PR et la mémoire MD) peu(ven)t estimer le nombre N en fonction de ces délimitations déterminées. En présence de la portion de route R illustrée sur la figure 1, le processeur PR et la mémoire MD vont détecter dans les images acquises par le capteur CP les trois délimitations d1à d3et en déduisent que cette portion de route R comprend deux voies de circulation VC1 et VC2 (soit N = 2).In a first variant, in the second step 20-30 one (the processor PR and the memory MD) can analyze the images acquired and obtained in order to determine the delimitations that they comprise. Then, one (the processor PR and the memory MD) can estimate the number N according to these determined boundaries. In the presence of the portion of road R illustrated in FIG. 1, the processor PR and the memory MD will detect in the images acquired by the sensor CP the three delimitations d 1 to d 3 and deduce therefrom that this portion of road R comprises two traffic lanes VC1 and VC2 (i.e. N = 2).
Dans une seconde variante, dans la deuxième étape 20-30 on (le processeur PR et la mémoire MD) peu(ven)t analyser les images acquises et obtenues afin de déterminer des objets qui représentent respectivement d’autres véhicules (ici V2 et V3) impliqués dans un dépassement. Puis, on (le processeur PR et la mémoire MD) peu(ven)t déterminer un nombre minimal M de voies de circulation VCk de la portion de route R concernée en fonction de ces autres véhicules déterminés (ici V2 et V3). On comprendra en effet que chaque fois que l’on détecte des véhicules impliqués dans un dépassement (et donc peu éloignés l’un de l’autre suivant une direction perpendiculaire à la direction de la portion de route R), cela signifie qu’il y a au moins deux voies de circulation VCk. La détection décrite ci-avant est directe, mais elle peut aussi être indirecte. En effet, un véhicule précédemment détecté derrière un autre véhicule peut se retrouver détecté devant cet autre véhicule suite à un masquage par l’infrastructure ou par un autre véhicule (ce qui signifie qu’il y a eu un dépassement et donc qu’il y a au moins deux voies de circulation pour ce faire). Puis, on (le processeur PR et la mémoire MD) peu(ven)t estimer le nombre N en fonction de ce nombre minimal M déterminé.In a second variant, in the second step 20-30 one (the processor PR and the memory MD) can (Fri) analyze the images acquired and obtained in order to determine objects which respectively represent other vehicles (here V2 and V3 ) involved in an overtaking. Then, one (the processor PR and the memory MD) can determine a minimum number M of traffic lanes VCk of the portion of road R concerned as a function of these other determined vehicles (here V2 and V3). It will in fact be understood that each time that vehicles involved in overtaking are detected (and therefore not very far from each other in a direction perpendicular to the direction of the portion of road R), this means that it there are at least two VCk traffic lanes. The detection described above is direct, but it can also be indirect. Indeed, a vehicle previously detected behind another vehicle may find itself detected in front of this other vehicle following masking by the infrastructure or by another vehicle (which means that there has been an overtaking and therefore that there is has at least two traffic lanes to do this). Then, one (the processor PR and the memory MD) can estimate the number N as a function of this determined minimum number M.
On notera que dans la deuxième étape 20-30 on (le processeur PR et la mémoire MD) peu(ven)t déterminer parmi les autres véhicules impliqués dans un dépassement (ici V2 et V3) celui (V2) qui est en cours de dépassement et celui (V3) qui dépasse. Dans ce cas, dans la troisième étape 40 on (le processeur PR et la mémoire MD) peu(ven)t générer une instruction de conduite qui est configurée pour adapter la conduite du véhicule V1 en fonction, d’une part, du véhicule dépassé V2 et de la voie de circulation (ici VC1) sur laquelle il circule, et, d’autre part, du véhicule dépassant V3 et de la voie de circulation sur laquelle il circule (ici VC2).It will be noted that in the second step 20-30 one (the processor PR and the memory MD) can (Fri) determine among the other vehicles involved in an overtaking (here V2 and V3) that (V2) which is being overtaken and the one (V3) which exceeds. In this case, in the third step 40 one (the processor PR and the memory MD) can generate a driving instruction which is configured to adapt the driving of the vehicle V1 as a function, on the one hand, of the vehicle overtaken V2 and of the traffic lane (here VC1) on which it is traveling, and, on the other hand, of the vehicle overtaking V3 and of the traffic lane on which it is traveling (here VC2).
Dans une seconde façon, on (le processeur PR et la mémoire MD) peu(ven)t déterminer dans une première sous-étape 20 chaque objet dans les images acquises et obtenues avec un premier réseau de neurones. Puis, on (le processeur PR et la mémoire MD) peu(ven)t déterminer dans une première sous-étape 30, dans les images acquises et obtenues, avec un second réseau de neurones, la position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation VCk sur laquelle circule le premier véhicule V1.In a second way, one (the processor PR and the memory MD) can determine in a first sub-step 20 each object in the images acquired and obtained with a first neural network. Then, one (the processor PR and the memory MD) can determine in a first sub-step 30, in the images acquired and obtained, with a second neural network, the relative position of the circulation path of each object determined with respect to the traffic lane VCK on which the first vehicle V1 travels.
Dans la première sous-étape 20 la détermination assurée par le premier réseau de neurones résulte d’une comparaison entre ce qui est vu par le capteur CP et ce qui est considéré comme un objet (ou obstacle) suite à un apprentissage préalable. Dans la seconde sous-étape 30 la détermination assurée par le second réseau de neurones résulte d’une comparaison entre ce qui est vu par le capteur CP et ce qui est considéré comme des positions relatives à droite, à gauche et devant le premier véhicule V1 d’un objet (ou obstacle) suite à un apprentissage préalable.In the first sub-step 20, the determination provided by the first neural network results from a comparison between what is seen by the sensor CP and what is considered to be an object (or obstacle) following prior learning. In the second sub-step 30, the determination provided by the second neural network results from a comparison between what is seen by the sensor CP and what is considered to be relative positions to the right, to the left and in front of the first vehicle V1 of an object (or obstacle) following prior learning.
Pour ce faire, on utilise deux réseaux de neurones en cascade (ou concaténés) afin de cascader les détections. Les entrées du premier réseau de neurones sont les images acquises par le capteur CP, et les sorties du premier réseau de neurones sont des boîtes englobantes de détection dans chaque image (chaque boîte englobante de détection englobant un objet détecté). Les entrées du second réseau de neurones sont les boîtes englobantes de détection d’une image (sortant du premier réseau de neurones) et cette image, et les sorties du second réseau de neurones sont les positions relatives des objets (contenus dans les boîtes englobantes de détection) sur la portion de route R (voie de circulation à gauche du premier véhicule V1, ou même voie de circulation que celle du premier véhicule V1, ou voie de circulation à droite du premier véhicule V1).To do this, two cascaded (or concatenated) neural networks are used to cascade the detections. The inputs of the first neural network are the images acquired by the sensor CP, and the outputs of the first neural network are detection bounding boxes in each image (each detection bounding box encompassing a detected object). The inputs of the second neural network are the detection bounding boxes of an image (outgoing from the first neural network) and this image, and the outputs of the second neural network are the relative positions of the objects (contained in the bounding boxes of detection) on the portion of road R (traffic lane to the left of the first vehicle V1, or same traffic lane as that of the first vehicle V1, or traffic lane to the right of the first vehicle V1).
On notera que compte-tenu de l’importance de l’aspect temporel, le second réseau de neurones (pour le positionnement relatif sur la portion de route R) peut, par exemple, être de type récurrent (comme c’est par exemple le cas de ceux appelés LSTM (« Long Short-Term Memory » - unités de mémoire à long terme et à court terme) ou GRU (« Gated Recurrent Unit ») qui sont adaptés à l’analyse de comportement). Mais cela n’est pas une obligation.It will be noted that given the importance of the temporal aspect, the second neural network (for the relative positioning on the road portion R) can, for example, be of the recurrent type (as is for example the case of those called LSTM (Long Short-Term Memory) or GRU (Gated Recurrent Unit) which are suitable for behavior analysis). But this is not an obligation.
L’apprentissage des premier et second réseaux de neurones peut, par exemple, être réalisé en mode supervisé à partir d’enregistrements effectués lors de roulages longues distances par des « véhicules laboratoires (ou d’analyse) » ou lors de simulations destiné(e)s à acquérir des données. Généralement, ces enregistrements sont stockés dans au moins une base de données propriétaire qui a été constituée à partir de données affinées issues de données publiques provenant de roulages réels ou simulés et stockées dans au moins une base de données publique. A partir de ces enregistrements on réalise des détections/affectations confirmées et des suivis (ou « trackings ») de ces dernières, comme par exemple un suivi d’un véhicule qui dépasse le véhicule laboratoire et qui a pu être assigné à une voie de circulation au moment du dépassement, ou bien le suivi inverse (sur l’historique) d’un véhicule que le véhicule laboratoire rattrape et assigne alors à une voie de circulation.The learning of the first and second neural networks can, for example, be carried out in supervised mode from recordings made during long-distance driving by "laboratory (or analysis) vehicles" or during simulations intended )s to acquire data. Generally, these recordings are stored in at least one proprietary database which has been constituted from refined data derived from public data originating from real or simulated driving and stored in at least one public database. From these recordings, confirmed detections/assignments and follow-ups (or “trackings”) of these are carried out, such as for example a follow-up of a vehicle which overtakes the laboratory vehicle and which could be assigned to a traffic lane. at the time of overtaking, or else the reverse tracking (on the history) of a vehicle that the laboratory vehicle overtakes and then assigns to a traffic lane.
On notera que dans une variante de réalisation du second mode de réalisation (ou de la seconde façon) on pourrait n’utiliser qu’un unique réseau de neurones. Cela permet, en effet d’obtenir en une seule passe la liste des objets détectés, leurs positions respectives dans les images (boîtes englobantes), et l’information de position relative dans la voie de circulation concernée.It will be noted that in a variant embodiment of the second embodiment (or of the second way) only a single neural network could be used. This makes it possible to obtain in a single pass the list of detected objects, their respective positions in the images (bounding boxes), and relative position information in the traffic lane concerned.
Contrairement aux procédés d’assistance de l’art antérieur qui détectent indépendamment des objets et des voies qui sont ensuite associés en travaillant dans un autre repère (typiquement celui du premier véhicule), le procédé d’assistance selon l’invention permet d’obtenir les position et type de chaque objet dans les images avec en plus l’information de voie de circulation à laquelle appartient chaque objet de façon moins sensible aux erreurs, et directement dans les images dans le cas du premier mode de réalisation (ou première façon), voire en une seule passe avec au moins un réseau de neurones dans le cas du second mode de réalisation (ou seconde façon).Unlike the assistance methods of the prior art which independently detect objects and lanes which are then associated by working in another frame of reference (typically that of the first vehicle), the assistance method according to the invention makes it possible to obtain the position and type of each object in the images with, in addition, the traffic lane information to which each object belongs in a way that is less sensitive to errors, and directly in the images in the case of the first embodiment (or first way) , or even in a single pass with at least one neural network in the case of the second embodiment (or second way).
On notera que l’invention propose aussi un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement de type circuits électroniques (ou hardware), comme par exemple le processeur PR, est propre à mettre en œuvre le procédé d’assistance à la conduite décrit ci-avant pour assister la conduite du premier véhicule V1, pour déterminer la position relative de la voie de circulation VCk sur laquelle est situé un objet, détecté devant ce premier véhicule V1, par rapport à la voie de circulation de ce dernier (V1).It will be noted that the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means of the electronic circuit (or hardware) type, such as for example the processor PR, is specific to implement the driving assistance method described above to assist the driving of the first vehicle V1, to determine the relative position of the traffic lane VCK on which an object is located, detected in front of this first vehicle V1, in relation to the traffic lane of the latter (V1).
On notera également que sur la figure 1 le dispositif d’assistance DA est très schématiquement illustré avec seulement sa mémoire vive MD et son processeur PR qui peut comprendre des circuits intégrés (ou imprimés), ou bien plusieurs circuits intégrés (ou imprimés) reliés par des connections filaires ou non filaires. On entend par circuit intégré (ou imprimé) tout type de dispositif apte à effectuer au moins une opération électrique ou électronique. Mais, comme illustré non limitativement sur la figure 3, le dispositif d’assistance DA peut aussi comprendre une mémoire de masse MM, notamment pour le stockage des données d’images acquises, et d’éventuelles données intermédiaires intervenant dans tous ses calculs et traitements. Par ailleurs, ce dispositif d’assistance DA peut aussi comprendre une interface d’entrée IE pour la réception d’au moins les données d’images acquises, les données de position du premier véhicule V1, et les éventuelles données de cartographie routière, pour les utiliser dans des calculs ou traitements, éventuellement après les avoir mises en forme et/ou démodulées et/ou amplifiées, de façon connue en soi, au moyen d’un processeur de signal numérique PR’. De plus, ce dispositif d’assistance DA peut aussi comprendre une interface de sortie IS, notamment pour la transmission des instructions qu’il génère.It will also be noted that in FIG. 1 the assistance device DA is very schematically illustrated with only its random access memory MD and its processor PR which may comprise integrated circuits (or printed circuits), or else several integrated circuits (or printed circuits) connected by wired or wireless connections. By integrated (or printed) circuit is meant any type of device capable of performing at least one electrical or electronic operation. But, as illustrated without limitation in FIG. 3, the assistance device DA can also comprise a mass memory MM, in particular for storing the acquired image data, and any intermediate data involved in all its calculations and processing . Furthermore, this assistance device DA can also comprise an input interface IE for receiving at least the acquired image data, the position data of the first vehicle V1, and any road mapping data, for using them in calculations or processing, possibly after having shaped and/or demodulated and/or amplified them, in a manner known per se, by means of a digital signal processor PR′. In addition, this assistance device DA can also comprise an output interface IS, in particular for the transmission of the instructions that it generates.
On notera également qu’une ou plusieurs étapes et/ou une ou plusieurs sous-étapes de la seconde étape du procédé d’assistance à la conduite peuvent être effectuées par des composants différents. Ainsi, le procédé d’assistance à la conduite peut-être mis en œuvre par une pluralité de processeurs de signal numérique, mémoire vive, mémoire de masse, interface d’entrée, interface de sortie.It will also be noted that one or more steps and/or one or more sub-steps of the second step of the driving assistance method can be performed by different components. Thus, the driving assistance method can be implemented by a plurality of digital signal processors, random access memory, mass memory, input interface, output interface.
Claims (10)
- une première étape (10) dans laquelle on obtient des images successives dudit environnement acquises avec ledit capteur (CP),
- une deuxième étape (20-30) dans laquelle on analyse ces images acquises et obtenues afin de déterminer si elles contiennent au moins un objet, puis, dans l’affirmative, on détermine dans ces images acquises et obtenues une position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation (VCk) sur laquelle circule ledit véhicule (V1), et
- une troisième étape (40) dans laquelle on génère une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1), en fonction de la position relative de chaque voie de circulation (VCk) déterminée pour chaque objet.
- a first step (10) in which successive images of said environment acquired with said sensor (CP) are obtained,
- a second step (20-30) in which these acquired and obtained images are analyzed in order to determine whether they contain at least one object, then, if so, a relative position of the path of movement of each determined object with respect to the traffic lane (VCk) on which said vehicle (V1) is traveling, and
- a third step (40) in which a driving instruction configured to adapt the driving of said vehicle (V1) is generated, as a function of the relative position of each traffic lane (VCk) determined for each object.
- obtenir des images successives dudit environnement acquises par ledit capteur (CP),
- analyser ces images acquises et obtenues afin de déterminer si elles contiennent au moins un objet, puis, dans l’affirmative, déterminer dans ces images acquises et obtenues une position relative de la voie de circulation de chaque objet déterminé par rapport à la voie de circulation (VCk) sur laquelle circule ledit véhicule (V1), et
- générer une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1), en fonction de la position relative de chaque voie de circulation (VCk) déterminée pour chaque objet.
- obtaining successive images of said environment acquired by said sensor (CP),
- analyzing these acquired and obtained images in order to determine whether they contain at least one object, then, if so, determining in these acquired and obtained images a relative position of the traffic lane of each determined object with respect to the traffic lane (VCk) on which said vehicle (V1) travels, and
- generating a driving instruction configured to adapt the driving of said vehicle (V1), according to the relative position of each traffic lane (VCk) determined for each object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1901293A FR3092545A1 (en) | 2019-02-08 | 2019-02-08 | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1901293A FR3092545A1 (en) | 2019-02-08 | 2019-02-08 | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED |
| FR1901293 | 2019-02-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3092545A1 true FR3092545A1 (en) | 2020-08-14 |
Family
ID=66776597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1901293A Withdrawn FR3092545A1 (en) | 2019-02-08 | 2019-02-08 | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3092545A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11636179B2 (en) | 2017-05-09 | 2023-04-25 | Arriver Software Ab | Apparatus for lane detection |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013200462A1 (en) * | 2012-01-17 | 2013-07-18 | Ford Global Technologies, Llc | AUTONOMOUS CIRCUIT CONTROL SYSTEM |
| DE102013104256A1 (en) * | 2013-04-26 | 2014-10-30 | Conti Temic Microelectronic Gmbh | Method and device for estimating the number of lanes |
| DE102017100199A1 (en) * | 2016-01-15 | 2017-09-07 | Ford Global Technologies, Llc | PEDESTRIAN RECOGNITION WITH TICKET CARDS |
| EP3401182A1 (en) * | 2017-05-09 | 2018-11-14 | Veoneer Sweden AB | Apparatus for lane detection |
-
2019
- 2019-02-08 FR FR1901293A patent/FR3092545A1/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102013200462A1 (en) * | 2012-01-17 | 2013-07-18 | Ford Global Technologies, Llc | AUTONOMOUS CIRCUIT CONTROL SYSTEM |
| DE102013104256A1 (en) * | 2013-04-26 | 2014-10-30 | Conti Temic Microelectronic Gmbh | Method and device for estimating the number of lanes |
| DE102017100199A1 (en) * | 2016-01-15 | 2017-09-07 | Ford Global Technologies, Llc | PEDESTRIAN RECOGNITION WITH TICKET CARDS |
| EP3401182A1 (en) * | 2017-05-09 | 2018-11-14 | Veoneer Sweden AB | Apparatus for lane detection |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11636179B2 (en) | 2017-05-09 | 2023-04-25 | Arriver Software Ab | Apparatus for lane detection |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP4176286A1 (en) | System and method for detecting an obstacle in an area surrounding a motor vehicle | |
| CN112389454A (en) | Error isolation of sensing systems in autonomous driving/active safety vehicles | |
| FR3092545A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED | |
| FR3119817A1 (en) | Method and device for determining a trajectory for an autonomous vehicle | |
| FR3082044A1 (en) | METHOD AND DEVICE FOR DETECTING THE TRACK ON WHICH A VEHICLE IS MOVING, ACCORDING TO THE DETERMINED DETERMINATIONS | |
| FR3106108A1 (en) | Method and device for determining the trajectory of a road | |
| FR3093054A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES | |
| FR3093311A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE CONTROLLABILITY OF ITS DRIVING | |
| FR3107114A1 (en) | Method and device for validating mapping data of a vehicle road environment | |
| FR3080177A1 (en) | SECURING AUTONOMOUS DRIVING CARTOGRAPHY | |
| FR3093369A1 (en) | LEARNING OF A NETWORK OF NEURONES BY COMPARISONS OF VALUES PRODUCED BY A DRIVING SIMULATOR OF A VEHICLE OPERATING IN PARALLEL | |
| WO2023222960A1 (en) | Method and device for controlling a cruise control system of a vehicle approaching a road signalling element | |
| FR3127165A1 (en) | Method and device for aiding driving in augmented reality | |
| FR3103439A1 (en) | ANALYSIS OF ENVIRONMENTAL DATA ACQUIRED IN AN AREA TO DETERMINE THE TYPE OF DRIVING OF AN AUTOMATED DRIVING VEHICLE | |
| FR3105961A1 (en) | Method and device for determining a lane change indicator for a vehicle | |
| FR3116501A1 (en) | Method and device for determining a virtual boundary line between two traffic lanes. | |
| WO2023088932A1 (en) | Title: method for determining the relative orientation of two vehicles | |
| FR3133043A1 (en) | Method and device for controlling selection of a target vehicle of an adaptive vehicle speed control system | |
| EP4277821A1 (en) | Method and device for controlling the acceleration of a vehicle | |
| FR3100641A1 (en) | DETERMINATION OF REAL-TIME ENVIRONMENTAL INFORMATION AND SELECTIVE REGRESSION, FOR A SYSTEM | |
| WO2024194543A1 (en) | Method for analysing a video stream, and associated computer program, processing device and vehicle | |
| FR3137844A1 (en) | Method and device for implementing an interactive vehicle entertainment service | |
| FR3100910A1 (en) | DETERMINATION OF OBJECTS PRESENT IN THE ENVIRONMENT OF A SYSTEM BY TRANSFORMATION OF ENVIRONMENTAL DATA FROM A FRONT VIEW INTO A VIEW OF THE SKY | |
| EP4165601A1 (en) | Method for calibrating a camera and associated device | |
| FR3100016A1 (en) | Method and system for managing a movement of a motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200814 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| ST | Notification of lapse |
Effective date: 20221005 |