FR3093054A1 - ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES - Google Patents
ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES Download PDFInfo
- Publication number
- FR3093054A1 FR3093054A1 FR1902003A FR1902003A FR3093054A1 FR 3093054 A1 FR3093054 A1 FR 3093054A1 FR 1902003 A FR1902003 A FR 1902003A FR 1902003 A FR1902003 A FR 1902003A FR 3093054 A1 FR3093054 A1 FR 3093054A1
- Authority
- FR
- France
- Prior art keywords
- vehicle
- determined
- deformation
- interest
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 abstract description 4
- 239000013256 coordination polymer Substances 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Un procédé assiste la conduite d’un véhicule à conduite autonome et capteur acquérant des images d’environnement ayant une première déformation, et comprend : - une première étape (10) où l’on obtient une image acquise, - une deuxième étape (20-70) ou l’on analyse l’image avec un réseau de neurones, formé avec une base d’images d’environnement non déformées et d’images d’objets ayant la première déformation, pour déterminer des zones d’intérêt comportant des objets auxquelles on applique une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire que l’on analyse avec le réseau de neurones pour déterminer son objet non déformé, puis on applique la première déformation à l’objet non déformé pour obtenir un objet déformé que l’on détecte dans l’image obtenue pour déterminer des informations le représentant, et - une troisième étape (80) où l’on génère une instruction de conduite fonction des informations déterminées. Figure à publier avec l’abrégé : Fig. 2A method assists the driving of a vehicle with autonomous driving and sensor acquiring environmental images having a first deformation, and comprises: - a first step (10) where an acquired image is obtained, - a second step (20 -70) or the image is analyzed with a neural network, formed with a base of undeformed environmental images and images of objects having the first deformation, to determine areas of interest comprising objects to which we apply a second deformation, the reverse of the first deformation, to obtain an intermediate zone of interest that we analyze with the neural network to determine its undeformed object, then we apply the first deformation to the non-deformed object deformed to obtain a deformed object which is detected in the image obtained to determine information representing it, and - a third step (80) in which a driving instruction is generated as a function of the determined information. Figure to be published with the abstract: Fig. 2
Description
Domaine technique de l’inventionTechnical field of the invention
L’invention concerne les véhicules terrestres à conduite au moins partiellement automatisée (ou autonome) et éventuellement de type automobile, et plus précisément l’assistance à la conduite de tels véhicules.The invention relates to land vehicles with at least partially automated (or autonomous) driving and possibly of the automobile type, and more specifically to driving assistance for such vehicles.
Etat de la techniqueState of the art
Dans ce qui suit on considère qu’un véhicule terrestre est à conduite au moins partiellement automatisée (ou autonome) lorsqu’il peut être conduit sur une route de façon automatisée (partielle ou totale (sans intervention de son conducteur)) pendant une phase de conduite automatisée, ou de façon manuelle (et donc avec intervention de son conducteur sur le volant et/ou les pédales) pendant une phase de conduite manuelle. Par exemple, la conduite automatisée (ou autonome) d’un véhicule (à conduite au moins partiellement automatisée) peut consister à diriger partiellement ou totalement ce véhicule ou à apporter tout type d’aide à une personne physique conduisant ce véhicule. Cela couvre donc toute conduite automatisée (ou autonome), du niveau 1 au niveau 5 dans le barème de l’OICA (Organisation International des Constructeurs Automobiles).In what follows, a land vehicle is considered to be driving at least partially automated (or autonomous) when it can be driven on a road in an automated way (partially or totally (without the intervention of its driver)) during a phase of automated driving, or manually (and therefore with the driver's intervention on the steering wheel and/or the pedals) during a manual driving phase. For example, the automated (or autonomous) driving of a vehicle (with at least partially automated driving) may consist of partially or totally directing this vehicle or providing any type of assistance to a natural person driving this vehicle. This therefore covers any automated (or autonomous) driving, from level 1 to level 5 in the scale of the OICA (International Organization of Automobile Manufacturers).
Par ailleurs, on entend ici par « véhicule terrestre » tout type de véhicule pouvant circuler sur une route, et notamment un véhicule automobile, un véhicule utilitaire, un cyclomoteur, une motocyclette, un minibus, un car, un robot de stockage dans un entrepôt, ou un engin de voirie.Furthermore, here the term "land vehicle" means any type of vehicle that can circulate on a road, and in particular a motor vehicle, a utility vehicle, a moped, a motorcycle, a minibus, a coach, a storage robot in a warehouse , or a road vehicle.
Comme le sait l’homme de l’art, de nombreux procédés d’assistance à la conduite de véhicules (à conduite au moins partiellement automatisée) ont pour but d’adapter la conduite de ces véhicules en fonction des positions d’objets (ou obstacles) qui sont détectés devant eux. Ces procédés d’assistance connus comportent une étape dans laquelle :As those skilled in the art know, many methods for assisting the driving of vehicles (with at least partially automated driving) aim to adapt the driving of these vehicles according to the positions of objects (or obstacles) that are detected in front of them. These known assistance methods include a step in which:
- on analyse au moins une image, acquise par au moins un capteur du véhicule dans l’environnement qui est situé devant lui, afin de déterminer si elle contient au moins un objet (comme par exemple un autre véhicule ou un piéton), puis- at least one image, acquired by at least one sensor of the vehicle in the environment which is located in front of it, is analyzed in order to determine whether it contains at least one object (such as for example another vehicle or a pedestrian), then
- dans l’affirmative, on détermine dans chaque image la voie de circulation sur laquelle est situé chaque objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation, puis on détermine dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule, puis- if so, the traffic lane on which each determined object is located and the relative position of this determined object in its traffic lane are determined in each image, then the relative position of each traffic lane is determined in each image obtained. traffic determined for each object determined in relation to the traffic lane on which the vehicle is traveling, then
- on rapporte (ou projette) dans le référentiel qui est associé au véhicule ces positions relatives déterminées.- these determined relative positions are reported (or projected) into the reference system which is associated with the vehicle.
En d’autres termes, ce type de procédé d’assistance détecte indépendamment des objets et des voies de circulation qu’il associe ensuite en travaillant dans un autre repère (typiquement celui du véhicule).In other words, this type of assistance process independently detects objects and traffic lanes which it then associates by working in another reference frame (typically that of the vehicle).
L’analyse et les déterminations sont fréquemment réalisées au moyen d’un réseau de neurones qui a préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement (généralement associées à des données qui sont représentatives des objets connus qu’elles contiennent).The analysis and the determinations are frequently carried out by means of a neural network which has previously been the subject of object detection training by means of a database storing images of the environment (generally associated to data that is representative of the known objects it contains).
Les images stockées dans ce type de base de données sont acquises au moyen de caméras embarquées dans des véhicules laboratoires et introduisant très peu ou pas de déformation, et donc ces images peuvent être considérées comme non déformées. Cependant, la plupart des caméras qui équipent les véhicules « normaux » acquièrent des images qui sont déformées, généralement du fait de leur grand angle d’observation. Par conséquent, lorsque l’on analyse avec le réseau de neurones précité, embarqué dans un véhicule, les images déformées, acquises avec sa caméra embarquée, elles ne correspondent pas exactement aux images non déformées ayant servies à l’apprentissage (et issues de la base de données), et donc les positions déterminées dans ces images déformées peuvent être légèrement différentes des positions réelles, si bien que dans des environnements encombrés un objet peut parfois être confondu avec un autre objet voisin. En outre, aux imprécisions des positions viennent s’ajouter les imprécisions des projections de ces dernières dans le référentiel associé au véhicule. Par conséquent, il arrive fréquemment que la position d’un objet soit erronée de plusieurs mètres et donc que la voie de circulation sur laquelle est réellement situé cet objet ne soit pas celle sur laquelle il a été finalement détecté, ce qui peut aboutir à des décisions de conduite mal adaptées à la situation réelle, voire potentiellement dangereuses (en particulier lorsqu’un objet d’un premier type a été confondu avec un objet d’un second type).The images stored in this type of database are acquired by means of on-board cameras in laboratory vehicles and introducing very little or no distortion, and therefore these images can be considered as undistorted. However, most cameras fitted to "normal" vehicles acquire images that are distorted, generally due to their wide observation angle. Consequently, when analyzing with the aforementioned neural network, on board a vehicle, the distorted images, acquired with its on-board camera, they do not correspond exactly to the undistorted images having been used for learning (and resulting from the database), and therefore the positions determined in these distorted images can be slightly different from the real positions, so that in cluttered environments an object can sometimes be confused with another neighboring object. In addition, to the inaccuracies of the positions are added the inaccuracies of the projections of the latter in the reference frame associated with the vehicle. Consequently, it often happens that the position of an object is erroneous by several meters and therefore that the traffic lane on which this object is actually located is not the one on which it was finally detected, which can lead to driving decisions poorly adapted to the real situation, even potentially dangerous (in particular when an object of a first type has been confused with an object of a second type).
Il est certes possible d’utiliser dans un véhicule normal un réseau de neurones ayant préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données « déformée » (c’est-à-dire contenant des images (et d’éventuelles données représentatives des objets qu’elles contiennent) ayant subies une déformation identique à celle qui est introduite par sa caméra embarquée). Cette première solution donne de bons résultats. Cependant, elle impose de constituer autant de bases de données déformées qu’il y a de caméras différentes utilisées dans les véhicules normaux, et donc de réaliser autant d’apprentissages de réseaux de neurones qu’il y a de bases de données déformées différentes, ce qui s’avère très chronophage et très onéreux.It is certainly possible to use in a normal vehicle a neural network having previously been the subject of object detection learning by means of a "deformed" database (that is to say containing images (and any data representative of the objects they contain) having undergone a deformation identical to that introduced by its on-board camera). This first solution gives good results. However, it imposes to constitute as many deformed databases as there are different cameras used in normal vehicles, and therefore to carry out as many training sessions of neural networks as there are different deformed databases, which is very time-consuming and very expensive.
Il est également possible d’utiliser dans un véhicule normal un réseau de neurones ayant préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données « non déformée » (c’est-à-dire contenant des images (et d’éventuelles données représentatives des objets qu’elles contiennent) n’ayant pas subies de déformation identique à celle qui est introduite par sa caméra embarquée), et d’appliquer à chaque image acquise (ayant une première déformation due à sa caméra), une seconde déformation, inverse de la première déformation, afin d’obtenir une image non déformée que l’on fournit ensuite au réseau de neurones afin qu’il détecte des zones d’intérêt contenant chacune un objet. Ensuite, on applique la première déformation à chaque zone d’intérêt détectée, puis on détecte dans l’image acquise chaque objet contenu dans une zone d’intérêt identique à une zone d’intérêt venant de subir la première déformation. Cette seconde solution permet certes d’utiliserpourtous les véhicules normaux la même base de données (non déformée) et le même réseau de neurones, mais elle nécessite une grande quantité de calculs et une importante mémoire supplémentaire.It is also possible to use in a normal vehicle a neural network having previously been the subject of object detection learning by means of an "undistorted" database (i.e. containing images (and any data representative of the objects they contain) that have not undergone a deformation identical to that which is introduced by its on-board camera), and to apply to each image acquired (having a first deformation due to its camera), a second deformation, inverse to the first deformation, in order to obtain an undistorted image which is then supplied to the neural network so that it can detect areas of interest each containing an object. Next, the first deformation is applied to each zone of interest detected, then each object contained in a zone of interest identical to a zone of interest that has just undergone the first deformation is detected in the acquired image. This second solution certainly makes it possible to use the same database (undistorted) and the same neural network for all normal vehicles, but it requires a large amount of calculations and a large additional memory.
L’invention a donc notamment pour but d’améliorer la situation.The aim of the invention is therefore in particular to improve the situation.
Présentation de l’inventionPresentation of the invention
Elle propose notamment à cet effet un procédé d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N ≥ 1, et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule.It proposes in particular for this purpose an assistance method intended to assist the driving of a vehicle with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N≥1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
Ce procédé d’assistance se caractérise par le fait qu’il comprend :This assistance process is characterized by the fact that it includes:
- une première étape dans laquelle on obtient au moins une image de l’environnement du véhicule, acquise avec le capteur,- a first step in which at least one image of the environment of the vehicle is obtained, acquired with the sensor,
- une deuxième étape dans laquelle on analyse l’image obtenue avec un réseau de neurones, ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant la première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, on applique à chaque zone d’intérêt de cette image obtenue une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire, puis on analyse chaque zone d’intérêt intermédiaire avec le réseau de neurones afin de déterminer un objet non déformé qu’elle contient, puis on applique la première déformation à chaque objet non déformé déterminé pour obtenir un objet déformé, puis on détecte chaque objet déformé dans l’image obtenue et on détermine des informations qui le représentent, et- a second step in which the image obtained is analyzed with a neural network, having been the subject of object detection learning by means of a database storing undistorted environmental images and images of known objects having the first deformation, to determine whether it contains at least one zone of interest comprising a known object, then, if so, a second deformation is applied to each zone of interest of this image obtained, inverse of the first deformation, to obtain an intermediate area of interest, then each intermediate area of interest is analyzed with the neural network in order to determine an undeformed object that it contains, then the first deformation is applied to each object not deformed determined to obtain a deformed object, then detecting each deformed object in the image obtained and determining information which represents it, and
- une troisième étape dans laquelle on génère une instruction de conduite configurée pour adapter la conduite du véhicule, en fonction des informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.- a third step in which a driving instruction configured to adapt the driving of the vehicle is generated, according to the information determined for each object contained in a determined zone of interest.
Grâce à cette application des première et seconde déformations sur les seules zones d’intérêt on peut limiter notablement la quantité de calculs à réaliser et la capacité de la mémoire supplémentaire.Thanks to this application of the first and second deformations on the only zones of interest, it is possible to notably limit the quantity of calculations to be carried out and the capacity of the additional memory.
Le procédé d’assistance selon l’invention peut comporter d’autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :The assistance method according to the invention may include other characteristics which may be taken separately or in combination, and in particular:
- dans sa deuxième étape le réseau de neurones peut effectuer chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et associées à des données représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant la première déformation et associées à des données représentatives de leurs objets déformés ;- in its second stage, the neural network can perform each analysis after having been subject to object detection learning by means of a database storing undistorted environmental images and associated with representative data known objects they contain and images of known objects having the first deformation and associated with data representative of their deformed objects;
- dans sa deuxième étape on peut analyser l’image obtenue avec une première partie du réseau de neurones, adaptée par apprentissage à la détermination de zones d’intérêt, et on peut analyser chaque zone d’intérêt intermédiaire avec une seconde partie du réseau de neurones, adaptée par apprentissage à la détermination d’objets non déformés ;- in its second step, the image obtained can be analyzed with a first part of the neural network, adapted by learning to the determination of areas of interest, and each intermediate area of interest can be analyzed with a second part of the neurons, adapted by learning to the determination of undeformed objects;
- dans sa deuxième étape on peut déterminer dans chaque image obtenue la voie de circulation sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation, puis on peut déterminer dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule. Dans ce cas, dans sa troisième étape on peut générer l’instruction de conduite en fonction de la position relative de chaque voie de circulation déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation.- in its second step, it is possible to determine in each image obtained the traffic lane on which a determined object is located and the relative position of this determined object in its traffic lane, then it is possible to determine in each image obtained the relative position of each traffic lane determined for each object determined with respect to the traffic lane on which the vehicle is traveling. In this case, in its third step, the driving instruction can be generated as a function of the relative position of each determined traffic lane for each determined object and of the relative position of each determined object in its traffic lane.
L’invention propose également un dispositif d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N ≥ 1, et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule.The invention also proposes an assistance device intended to assist the driving of a vehicle with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N ≥ 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
Ce dispositif d’assistance se caractérise par le fait qu’il comprend au moins un processeur et au moins une mémoire agencés pour effectuer les opérations consistant à :This assistance device is characterized in that it comprises at least one processor and at least one memory arranged to perform the operations consisting of:
- obtenir au moins une image de l’environnement acquise par le capteur,- obtain at least one image of the environment acquired by the sensor,
- analyser l’image obtenue avec un réseau de neurones, ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant la première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, appliquer à chaque zone d’intérêt de cette image obtenue une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire, puis analyser chaque zone d’intérêt intermédiaire avec le réseau de neurones afin de déterminer un objet non déformé qu’elle contient, puis appliquer la première déformation à chaque objet non déformé déterminé pour obtenir un objet déformé, puis détecter chaque objet déformé dans l’image obtenue et déterminer des informations qui le représentent, et- analyzing the image obtained with a neural network, having been the subject of object detection learning by means of a database storing undistorted environment images and images of known objects having the first deformation, to determine whether it contains at least one area of interest including a known object, then, if so, applying to each area of interest of this image obtained a second deformation, inverse of the first deformation, to obtaining an intermediate area of interest, then analyzing each intermediate area of interest with the neural network in order to determine an undeformed object that it contains, then applying the first deformation to each determined undeformed object to obtain a deformed object, then detecting each deformed object in the obtained image and determining information which represents it, and
- générer une instruction de conduite configurée pour adapter la conduite du véhicule, en fonction des informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.- generating a driving instruction configured to adapt the driving of the vehicle, according to the information determined for each object contained in a determined zone of interest.
L’invention propose également un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement, est propre à mettre en œuvre un procédé d’assistance du type de celui présenté ci-avant pour adapter la conduite d’un véhicule à conduite au moins partiellement autonome.The invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means, is capable of implementing an assistance method of the type of that presented above for adapt the driving of a vehicle with at least partially autonomous driving.
L’invention propose également un véhicule, éventuellement de type automobile, à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N ≥ 1, et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule et un dispositif d’assistance du type de celui présenté ci-avant.The invention also proposes a vehicle, optionally of the automobile type, with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N ≥ 1, and comprising at least at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle and an assistance device of the type presented above.
Brève description des figuresBrief description of figures
D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés, sur lesquels :Other characteristics and advantages of the invention will appear on examination of the detailed description below, and of the appended drawings, in which:
Description détaillée de l’inventionDetailed description of the invention
L’invention a notamment pour but de proposer un procédé d’assistance à la conduite, et un dispositif d’assistance à la conduite DA associé, destinés à permettre l’assistance à la conduite d’un véhicule V1 à conduite automatisée (ou autonome).The object of the invention is in particular to propose a driving assistance method, and an associated driving assistance device DA, intended to allow assistance in the driving of a vehicle V1 with automated driving (or autonomous ).
Dans ce qui suit, on considère, à titre d’exemple non limitatif, que le véhicule V1 à conduite automatisée (ou autonome), ci-après appelé premier véhicule, est de type automobile. Il s’agit par exemple d’une voiture, comme illustré non limitativement sur la figure 1. Mais l’invention n’est pas limitée à ce type de véhicule. Elle concerne en effet tout type de véhicule terrestre à conduite au moins partiellement automatisée et pouvant circuler sur des voies de circulation terrestres. Ainsi, il pourra aussi s’agir d’un véhicule utilitaire, d’un cyclomoteur, d’une motocyclette, d’un minibus, d’un car, d’un robot de stockage dans un entrepôt, ou d’un engin de voirie, par exemple.In what follows, it is considered, by way of non-limiting example, that the vehicle V1 with automated (or autonomous) driving, hereinafter called the first vehicle, is of the automobile type. This is for example a car, as illustrated without limitation in Figure 1. But the invention is not limited to this type of vehicle. It relates in fact to any type of land vehicle with at least partially automated driving and able to circulate on land traffic lanes. Thus, it could also be a utility vehicle, a moped, a motorcycle, a minibus, a coach, a storage robot in a warehouse, or a roads, for example.
On a schématiquement et fonctionnellement représenté sur la figure 1 un premier véhicule V1 (à conduite automatisée (ou autonome)), circulant sur l’une des deux voies de circulation VCk (k = 1 ou 2) d’une portion de route R, ici encadrée par des rambardes de sécurité RS. On notera que la première voie de circulation VC1 est ici séparée de la rambarde de sécurité RS droite par une bande d’arrêt d’urgence BAU. Par ailleurs, cette première voie de circulation VC1 est délimitée par deux délimitations d1et d2, et la seconde voie de circulation VC2 est délimitée par deux délimitations d2et d3.A first vehicle V1 (with automated (or autonomous) driving) has been schematically and functionally represented in FIG. here framed by RS safety guardrails. It will be noted that the first traffic lane VC1 is here separated from the right safety rail RS by an emergency lane BAU. Furthermore, this first traffic lane VC1 is delimited by two delimitations d 1 and d 2 , and the second traffic lane VC2 is delimited by two delimitations d 2 and d 3 .
On notera également que l’invention concerne toute portion de route comprenant au moins une voie de circulation. Par conséquent, le nombre N de voies de circulation d’une portion de route peut prendre n’importe quelle valeur supérieure ou égale à un (soit N ≥ 1).It will also be noted that the invention relates to any portion of road comprising at least one traffic lane. Therefore, the number N of traffic lanes of a stretch of road can take any value greater than or equal to one (i.e. N ≥ 1).
Ce premier véhicule V1 comprend au moins un capteur CP et un exemple de réalisation d’un dispositif d’assistance à la conduite DA selon l’invention.This first vehicle V1 comprises at least one sensor CP and an embodiment of a driving assistance device DA according to the invention.
Ce capteur CP est chargé d’acquérir des images numériques dans l’environnement qui est situé au moins devant le premier véhicule V1. Par ailleurs, ce capteur CP introduit une première déformation d1 connue dans les images d’environnement qu’il acquiert.This CP sensor is responsible for acquiring digital images in the environment which is located at least in front of the first vehicle V1. Moreover, this CP sensor introduces a first known deformation d1 in the environment images that it acquires.
On notera que le nombre de capteurs CP (chargés d’acquérir des images numériques) est ici égal à un (1). Mais ce nombre peut prendre n’importe quelle valeur supérieure ou égale à un (1), dès lors que cela permet d’acquérir des images numériques dans l’environnement situé au moins devant le premier véhicule V1.Note that the number of CP sensors (responsible for acquiring digital images) is here equal to one (1). But this number can take any value greater than or equal to one (1), provided this makes it possible to acquire digital images in the environment located at least in front of the first vehicle V1.
Par exemple, le capteur CP peut comprendre au moins une caméra installée dans une partie avant du véhicule (par exemple sur le pare-brise ou sur le rétroviseur intérieur), et chargée d’acquérir des images numériques au moins devant le premier véhicule V1 et éventuellement sur une partie au moins de ses deux côtés latéraux.For example, the sensor CP can comprise at least one camera installed in a front part of the vehicle (for example on the windshield or on the interior rear-view mirror), and responsible for acquiring digital images at least in front of the first vehicle V1 and optionally on at least part of its two lateral sides.
En complément du capteur CP, le premier véhicule V1 peut aussi comprendre au moins un capteur à ultrasons et/ou au moins un radar ou lidar installé(s) à l’avant ou à l’arrière ou sur au moins un côté latéral du premier véhicule V1, et/ou au moins une caméra installée dans une partie arrière.In addition to the CP sensor, the first vehicle V1 can also comprise at least one ultrasonic sensor and/or at least one radar or lidar installed at the front or at the rear or on at least one lateral side of the first vehicle V1, and/or at least one camera installed in a rear part.
Comme évoqué plus haut, l’invention propose notamment un procédé d’assistance à la conduite destiné à permettre l’assistance à la conduite du premier véhicule V1.As mentioned above, the invention proposes in particular a driving assistance method intended to allow driving assistance of the first vehicle V1.
Ce procédé d’assistance (à la conduite) peut être au moins partiellement mis en œuvre par le dispositif d’assistance (à la conduite) DA qui comprend à cet effet au moins un processeur PR, par exemple de signal numérique (ou DSP (« Digital Signal Processor »)), et une mémoire MD.This (driving) assistance method can be at least partially implemented by the (driving) assistance device DA which comprises for this purpose at least one processor PR, for example of digital signal (or DSP ( “Digital Signal Processor”)), and an MD memory.
Dans l’exemple illustré non limitativement sur la figure 1, le dispositif d’assistance (à la conduite) DA fait partie d’un calculateur CA du premier véhicule V1. Mais cela n’est pas obligatoire. En effet, le dispositif d’assistance DA pourrait comprendre son propre calculateur. Par conséquent, le dispositif d’assistance DA peut être réalisé sous la forme d’une combinaison de circuits ou composants électriques ou électroniques (ou « hardware ») et de modules logiciels (ou « software »). La mémoire MD est vive afin de stocker des instructions pour la mise en œuvre par le processeur PR du procédé d’assistance.In the example illustrated without limitation in FIG. 1, the (driving) assistance device DA forms part of a computer CA of the first vehicle V1. But this is not mandatory. Indeed, the DA assistance device could include its own computer. Consequently, the DA assistance device can be made in the form of a combination of electrical or electronic circuits or components (or "hardware") and software modules (or "software"). The memory MD is live in order to store instructions for the implementation by the processor PR of the assistance method.
A titre d’exemple, le calculateur CA peut être dédié au contrôle complet de la conduite du premier véhicule V1 pendant chaque phase de conduite automatisée (ou autonome).By way of example, the computer CA can be dedicated to complete control of the driving of the first vehicle V1 during each phase of automated (or autonomous) driving.
Comme illustré sur la figure 2, le procédé d’assistance, selon l’invention, comprend trois étapes qui pour au moins l’une d’entre elles nécessite la présence d’un réseau de neurones RN ayant fait l’objet d’un apprentissage de détection d’objets préalable au moyen d’une base de données qui stocke au moins des images d’environnement non déformées et des images d’objets connus ayant la première déformation d1 due au capteur CP. Cette base de données peut donc être considérée comme une base de données normale (c’est-à-dire stockant au moins des images d’environnement non déformées) à laquelle on a adjoint des images d’objets connus ayant la première déformation d1. Ces objets (ou obstacles) connus sont, par exemple, des véhicules de différents types ou des piétons ou des animaux de différentes espèces et/ou tailles ou des objets inanimés de différents types que l’on peut parfois rencontrer sur une voie de circulation VCk (ou plus généralement sur une portion de route R).As illustrated in FIG. 2, the assistance method, according to the invention, comprises three steps which for at least one of them requires the presence of a neural network RN having been the subject of a prior object detection learning by means of a database which stores at least undistorted environment images and images of known objects having the first deformation d1 due to the sensor CP. This database can therefore be considered as a normal database (i.e. storing at least undeformed environment images) to which we have added images of known objects having the first deformation d1. These known objects (or obstacles) are, for example, vehicles of different types or pedestrians or animals of different species and/or sizes or inanimate objects of different types that can sometimes be encountered on a traffic lane VCk (or more generally on a section of road R).
On comprendra qu’une fois que le réseau de neurones RN a fait l’objet de son apprentissage de détection d’objets au moyen de cette base de données particulière, il peut équiper un véhicule qui ne comprend pas cette dernière.It will be understood that once the neural network RN has been trained in object detection by means of this particular database, it can equip a vehicle which does not include the latter.
Par exemple, et comme illustré non limitativement sur la figure 3, le réseau de neurones RN peut faire partie du processeur PR.For example, and as illustrated without limitation in FIG. 3, the neural network RN can be part of the processor PR.
Dans une première étape 10 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par obtenir au moins une image de l’environnement du premier véhicule V1 acquise avec le capteur CP.In a first step 10 of the assistance method, one (the processor PR and the memory MD) begins(s) by obtaining at least one image of the environment of the first vehicle V1 acquired with the sensor CP.
Dans une deuxième étape 20-70 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par analyser dans une première sous-étape 20 l’image obtenue avec le réseau de neurones RN, afin de tenter de déterminer au moins une zone d’intérêt ZI comportant un objet (ou obstacle) connu.In a second step 20-70 of the assistance method, one (the processor PR and the memory MD) begins(s) by analyzing in a first sub-step 20 the image obtained with the neural network RN, in order to attempt to determine at least one zone of interest ZI comprising a known object (or obstacle).
Puis, dans une deuxième sous-étape 30 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) peu(ven)t effectuer un test pour déterminer si au moins une zone d’intérêt ZI, comportant un objet (ou obstacle) connu, a été déterminée lors de l’analyse.Then, in a second sub-step 30 of the second step 20-70, one (the processor PR and the memory MD) can perform a test to determine whether at least one zone of interest ZI, comprising an object (or obstacle) known, was determined during the analysis.
Dans la négative, on (le processeur PR et la mémoire MD) retourne effectuer la première étape 10 pour obtenir une nouvelle image acquise par le capteur CP.If not, one (the processor PR and the memory MD) returns to perform the first step 10 to obtain a new image acquired by the sensor CP.
En revanche, dans l’affirmative, on (le processeur PR et la mémoire MD) applique(nt), dans une troisième sous-étape 40 de la deuxième étape 20-70, à la (chaque) zone d’intérêt ZI de l’image obtenue une seconde déformation d2, qui est mathématiquement l’inverse de la première déformation d1, pour obtenir une zone d’intérêt intermédiaire ZII (ici d2(ZI) = ZII).On the other hand, in the affirmative, one (the processor PR and the memory MD) apply(s), in a third sub-step 40 of the second step 20-70, to the (each) zone of interest ZI of the image obtained a second deformation d2, which is mathematically the inverse of the first deformation d1, to obtain an intermediate zone of interest ZII (here d2(ZI)=ZII).
Puis, dans une quatrième sous-étape 50 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) analyse(nt) la (chaque) zone d’intérêt intermédiaire ZII avec le réseau de neurones RN afin de déterminer un objet non déformé OND qu’elle contient.Then, in a fourth sub-step 50 of the second step 20-70, one (the processor PR and the memory MD) analyzes the (each) intermediate zone of interest ZII with the neural network RN in order to determine an undistorted OND object it contains.
Puis, dans une cinquième sous-étape 60 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) applique(nt) la première déformation d1 à chaque objet non déformé OND déterminé pour obtenir un objet déformé OD (ici d1(OND) = OD).Then, in a fifth sub-step 60 of the second step 20-70, one (the processor PR and the memory MD) applies(s) the first deformation d1 to each undeformed object OND determined to obtain a deformed object OD (here d1(OND) = OD).
Puis, dans une sixième sous-étape 70 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) détecte(nt) chaque objet déformé OD dans l’image obtenue dans la première étape 10, et détermine(nt) des informations qui représentent chaque objet déformé OD. La détermination de chaque objet déformé OD dans l’image obtenue lors de la première étape 10 étant très fiable, les informations représentant chaque objet déformé OD sont donc aussi très fiables.Then, in a sixth sub-step 70 of the second step 20-70, (the processor PR and the memory MD) detect(s) each deformed object OD in the image obtained in the first step 10, and determine(s) ) information that represents each deformed object OD. The determination of each deformed object OD in the image obtained during the first step 10 being very reliable, the information representing each deformed object OD is therefore also very reliable.
Par exemple, le processeur PR et la mémoire MD peuvent déterminer dans l’image obtenue la voie de circulation VCk sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation VCk. Puis, le processeur PR et la mémoire MD peuvent déterminer dans l’image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation VC1 sur laquelle circule le premier véhicule V1. Ces différentes positions constituent des informations représentatives de chaque objet déformé OD.For example, the processor PR and the memory MD can determine in the image obtained the traffic lane VCk on which a determined object is located and the relative position of this determined object in its traffic lane VCk. Then, the processor PR and the memory MD can determine in the image obtained the relative position of each traffic lane determined for each object determined with respect to the traffic lane VC1 on which the first vehicle V1 is traveling. These different positions constitute information representative of each deformed object OD.
Le processeur PR et la mémoire MD peu(ven)t, par exemple, déterminer chaque voie de circulation VCk sur laquelle est situé un objet déterminé en fonction de ses délimitations (ici d1et d2, ou d2et d3) détectées sur l’image obtenue ou définies par des données d’une cartographie routière représentatives de la portion de route R. Cette dernière (R) est déterminée à chaque instant en fonction de la position en cours du premier véhicule V1 qui est fournie par un dispositif d’aide à la navigation DN qui est présent dans le premier véhicule V1 de façon permanente (comme illustré sur la figure 1 de façon non limitative), ou de façon temporaire (lorsqu’il fait partie d’un équipement portable ou d’un téléphone mobile intelligent (ou smartphone ») ou d’une tablette accompagnant un passager). La cartographie routière peut faire partie du dispositif d’aide à la navigation DN précité. Dans ce cas, les données de cartographie routière sont stockées dans une mémoire du dispositif d’aide à la navigation DN ou sur un support de stockage (comme par exemple un CDROM) installé dans un lecteur du premier véhicule V1. En variante, les données de cartographie routière peuvent être téléchargées auprès d’un serveur accessible par voie d’ondes via un module de communication équipant le premier véhicule V1, à la demande du dispositif d’assistance DA.The processor PR and the memory MD can, for example, determine each traffic lane VCk on which a determined object is located according to its delimitations (here d 1 and d 2 , or d 2 and d 3 ) detected on the image obtained or defined by road map data representative of the road portion R. The latter (R) is determined at each instant as a function of the current position of the first vehicle V1 which is provided by a device navigation aid DN which is present in the first vehicle V1 permanently (as illustrated in FIG. 1 in a non-limiting manner), or temporarily (when it is part of portable equipment or a smart mobile phone (or smartphone”) or tablet accompanying a passenger). Road mapping can be part of the aforementioned navigation aid device DN. In this case, the road map data is stored in a memory of the navigation aid device DN or on a storage medium (such as for example a CDROM) installed in a drive of the first vehicle V1. As a variant, the road mapping data can be downloaded from a server accessible over the air via a communication module fitted to the first vehicle V1, at the request of the assistance device DA.
Enfin, dans une troisième étape 80 du procédé d’assistance, on (le processeur PR et la mémoire MD) génère(nt) une instruction de conduite qui est configurée pour adapter la conduite du premier véhicule V1, en fonction des informations déterminées dans la sixième sous-étape 70 pour chaque objet contenu dans une zone d’intérêt ZI déterminée.Finally, in a third step 80 of the assistance method, (the processor PR and the memory MD) generate(s) a driving instruction which is configured to adapt the driving of the first vehicle V1, according to the information determined in the sixth sub-step 70 for each object contained in a determined zone of interest ZI.
Par exemple, l’instruction de conduite peut être déterminée en fonction de la position relative de chaque voie de circulation VCk déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation VCk.For example, the driving instruction can be determined according to the relative position of each traffic lane VCk determined for each determined object and the relative position of each object determined in its traffic lane VCk.
Dans l’exemple illustré non limitativement sur la figure 1, le processeur PR détecte dans l’image obtenue la présence d’un deuxième véhicule V2 devant le premier véhicule V1 et sur la même voie de circulation VC1 que celle sur laquelle circule ce dernier (V1), et d’un troisième véhicule V3 devant le premier véhicule V1 et sur la voie de circulation VC2 qui est placée à gauche de celle sur laquelle circule ce dernier (V1). L’analyse d’images successives peut, par exemple, permettre de déterminer que le troisième véhicule V3 est en train de dépasser le deuxième véhicule V2. Dans ce cas, l’instruction générée peut réclamer l’adaptation de la vitesse du premier véhicule V1 afin qu’il suive le deuxième véhicule V2 au moins tant que le troisième véhicule V3 n’a pas fini de le dépasser.In the example illustrated without limitation in FIG. 1, the processor PR detects in the image obtained the presence of a second vehicle V2 in front of the first vehicle V1 and on the same traffic lane VC1 as that on which the latter is traveling ( V1), and of a third vehicle V3 in front of the first vehicle V1 and on the traffic lane VC2 which is placed to the left of that on which the latter travels (V1). The analysis of successive images can, for example, make it possible to determine that the third vehicle V3 is in the process of overtaking the second vehicle V2. In this case, the instruction generated can request the adaptation of the speed of the first vehicle V1 so that it follows the second vehicle V2 at least as long as the third vehicle V3 has not finished passing it.
Mais d’autres informations, représentatives des objets déterminés et provenant d’autres capteurs embarqués dans le premier véhicule V1 ou fournies par des véhicules voisins de ce dernier (V1) ou par l’infrastructure routière (par exemple au moyen de messages de type Car2X ou V2X), peuvent être utilisées en complément par le processeur PR et la mémoire MD pour générer une instruction de conduite. Ainsi, ils peuvent, par exemple, utiliser des informations dynamiques telles que des vitesses (éventuellement relatives).But other information, representative of the determined objects and originating from other sensors on board the first vehicle V1 or supplied by vehicles neighboring the latter (V1) or by the road infrastructure (for example by means of messages of the Car2X type or V2X), can be used in addition by the processor PR and the memory MD to generate a driving instruction. Thus, they can, for example, use dynamic information such as speeds (possibly relative).
Grâce à l’application dans chaque véhicule V1 des déformations d2 et d1 sur les seules zones d’intérêt, on peut limiter notablement la quantité de calculs à réaliser et la capacité de la mémoire supplémentaire. Par conséquent, l’invention offre les avantages des première et seconde solutions de l’art antérieur (présentées dans la partie introductive) mais pas les inconvénients principaux de ces dernières. En outre, l’apprentissage du réseau de neurones RN peut se faire au moyen d’une base de données (comportant au moins des images non déformées et des images d’objets ayant la première déformation d1 induite par le capteur CP du véhicule V1), dont le poids est peu augmenté par rapport à celui d’une base de données de l’art antérieur, ce qui facilite sa mise en œuvre.Thanks to the application in each vehicle V1 of the deformations d2 and d1 only on the areas of interest, it is possible to significantly limit the quantity of calculations to be carried out and the capacity of the additional memory. Consequently, the invention offers the advantages of the first and second solutions of the prior art (presented in the introductory part) but not the main drawbacks of the latter. In addition, the learning of the neural network RN can be done by means of a database (comprising at least undeformed images and images of objects having the first deformation d1 induced by the sensor CP of the vehicle V1) , whose weight is slightly increased compared to that of a database of the prior art, which facilitates its implementation.
De préférence, dans la deuxième étape 20-70 le réseau de neurones RN peut effectuer chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données qui stocke des images d’environnement non déformées et associées à des données (ou annotations) représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant la première déformation d1 et associées à des données (ou annotations) représentatives de leurs objets déformés. Cela permet de faciliter les calculs que doit effectuer le processeur PR. Ces données (ou annotations) associées peuvent être, par exemple, des types d’objet (véhicules de différents types, piétons, animaux de différentes espèces et/ou tailles, objets inanimés de différents types), ou des contours d’objets.Preferably, in the second step 20-70 the neural network RN can carry out each analysis after having been the subject of object detection training by means of a database which stores images of the environment not deformed and associated with data (or annotations) representative of the known objects that they contain and images of known objects having the first deformation d1 and associated with data (or annotations) representative of their deformed objects. This facilitates the calculations that the processor PR must perform. These associated data (or annotations) can be, for example, object types (vehicles of different types, pedestrians, animals of different species and/or sizes, inanimate objects of different types), or outlines of objects.
On notera, comme illustré non limitativement sur la figure 3, que le réseau de neurones RN peut comporter une première partie P1 adaptée par apprentissage à la détermination des zones d’intérêt, et une seconde partie P2 adaptée par apprentissage à la détermination d’objets non déformés OND. Dans ce cas, dans la deuxième étape 20-70 on (le processeur PR et la mémoire MD) peu(ven)t analyser l’image obtenue dans la première étape 10 avec la première partie P1 du réseau de neurones RN (afin de déterminer des zones d’intérêt ZI), et analyser chaque zone d’intérêt intermédiaire ZII avec la seconde partie P2 du réseau de neurones RN afin de déterminer les objets non déformés OND.It will be noted, as illustrated without limitation in FIG. 3, that the neural network RN can comprise a first part P1 adapted by learning to the determination of the areas of interest, and a second part P2 adapted by learning to the determination of objects undistorted OND. In this case, in the second step 20-70 one (the processor PR and the memory MD) can analyze the image obtained in the first step 10 with the first part P1 of the neural network RN (in order to determine zones of interest ZI), and analyzing each intermediate zone of interest ZII with the second part P2 of the neural network RN in order to determine the non-deformed objects OND.
On notera également que l’invention propose aussi un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement de type circuits électroniques (ou hardware), comme par exemple le processeur PR, est propre à mettre en œuvre le procédé d’assistance à la conduite décrit ci-avant pour assister la conduite du premier véhicule V1.It will also be noted that the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means of the electronic circuit (or hardware) type, such as for example the processor PR, is capable of implementing the driving assistance method described above to assist the driving of the first vehicle V1.
On notera également que sur la figure 1 le dispositif d’assistance DA est très schématiquement illustré avec seulement sa mémoire vive MD et son processeur PR qui peut comprendre des circuits intégrés (ou imprimés), ou bien plusieurs circuits intégrés (ou imprimés) reliés par des connections filaires ou non filaires. On entend par circuit intégré (ou imprimé) tout type de dispositif apte à effectuer au moins une opération électrique ou électronique. Mais, comme illustré non limitativement sur la figure 3, le dispositif d’assistance DA peut aussi comprendre une mémoire de masse MM, notamment pour le stockage des données d’images acquises et des données intermédiaires intervenant dans tous ses calculs et traitements. Par ailleurs, ce dispositif d’assistance DA peut aussi comprendre une interface d’entrée IE pour la réception d’au moins les données d’images acquises, les éventuelles données de position du premier véhicule V1, et les éventuelles données de cartographie routière, pour les utiliser dans des calculs ou traitements, éventuellement après les avoir mises en forme et/ou démodulées et/ou amplifiées, de façon connue en soi, au moyen d’un processeur de signal numérique PR’. De plus, ce dispositif d’assistance DA peut aussi comprendre une interface de sortie IS, notamment pour la transmission des instructions qu’il génère.It will also be noted that in FIG. 1 the assistance device DA is very schematically illustrated with only its random access memory MD and its processor PR which may comprise integrated circuits (or printed circuits), or else several integrated circuits (or printed circuits) connected by wired or wireless connections. By integrated (or printed) circuit is meant any type of device capable of performing at least one electrical or electronic operation. But, as illustrated without limitation in FIG. 3, the assistance device DA can also comprise a mass memory MM, in particular for storing the acquired image data and the intermediate data involved in all its calculations and processing. Furthermore, this assistance device DA can also comprise an input interface IE for receiving at least the acquired image data, any position data of the first vehicle V1, and any road mapping data, to use them in calculations or processing, possibly after having shaped and/or demodulated and/or amplified them, in a manner known per se, by means of a digital signal processor PR′. In addition, this assistance device DA can also comprise an output interface IS, in particular for the transmission of the instructions that it generates.
On notera également qu’une ou plusieurs étapes et/ou une ou plusieurs sous-étapes de la deuxième étape du procédé d’assistance à la conduite peuvent être effectuées par des composants différents. Ainsi, le procédé d’assistance à la conduite peut-être mis en œuvre par une pluralité de processeurs de signal numérique, mémoire vive, mémoire de masse, interface d’entrée, interface de sortie.It will also be noted that one or more steps and/or one or more sub-steps of the second step of the driving assistance method can be performed by different components. Thus, the driving assistance method can be implemented by a plurality of digital signal processors, random access memory, mass memory, input interface, output interface.
Claims (8)
- une première étape (10) dans laquelle on obtient au moins une image dudit environnement acquise avec ledit capteur (CP),
- une deuxième étape (20-70) dans laquelle on analyse ladite image obtenue avec un réseau de neurones (RN), ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant ladite première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, on applique à ladite zone d’intérêt de cette image obtenue une seconde déformation, inverse de ladite première déformation, pour obtenir une zone d’intérêt intermédiaire, puis on analyse ladite zone d’intérêt intermédiaire avec ledit réseau de neurones (RN) afin de déterminer un objet non déformé qu’elle contient, puis on applique ladite première déformation audit objet non déformé déterminé pour obtenir un objet déformé, puis on détecte cet objet déformé dans ladite image obtenue et on détermine des informations qui le représentent, et
- une troisième étape (80) dans laquelle on génère une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1), en fonction desdites informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.Method for assisting the driving of a vehicle (V1) with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes (VCk) each defined by two delimitations, with N ≥ 1 , and comprising at least one sensor (CP) acquiring images, having a first deformation, of an environment at least in front of said vehicle (V1), characterized in that it comprises:
- a first step (10) in which at least one image of said environment acquired with said sensor (CP) is obtained,
- a second step (20-70) in which said image obtained is analyzed with a neural network (RN), having been the subject of object detection learning by means of a database storing images of undistorted environment and images of known objects having said first deformation, to determine whether it contains at least one zone of interest comprising a known object, then, in the affirmative, said zone of interest is applied with this image obtained a second deformation, inverse of said first deformation, to obtain an intermediate zone of interest, then said intermediate zone of interest is analyzed with said neural network (RN) in order to determine an undeformed object that it contains , then said first deformation is applied to said determined non-deformed object to obtain a deformed object, then this deformed object is detected in said image obtained and information which represents it is determined, and
- a third step (80) in which a driving instruction configured to adapt the driving of said vehicle (V1) is generated, as a function of said information determined for each object contained in a determined zone of interest.
- obtenir au moins une image dudit environnement acquise par ledit capteur (CP),
- analyser ladite image obtenue avec un réseau de neurones (RN), ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant ladite première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, appliquer à ladite zone d’intérêt de cette image obtenue une seconde déformation, inverse de ladite première déformation, pour obtenir une zone d’intérêt intermédiaire, puis analyser ladite zone d’intérêt intermédiaire avec ledit réseau de neurones (RN) afin de déterminer un objet non déformé qu’elle contient, puis appliquer ladite première déformation audit objet non déformé déterminé pour obtenir un objet déformé, puis détecter cet objet déformé dans ladite image obtenue et déterminer des informations qui le représentent, et
- générer une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1), en fonction desdites informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.Assistance device (DA) for assisting the driving of a vehicle (V1) with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes (VCk) each defined by two delimitations, with N ≥ 1, and comprising at least one sensor (CP) acquiring images, having a first deformation, of an environment at least in front of said vehicle (V1), characterized in that it comprises at least one processor (PR) and at least one memory (MD) arranged to perform the operations consisting of:
- obtaining at least one image of said environment acquired by said sensor (CP),
- analyzing said image obtained with a neural network (RN), having been the subject of object detection learning by means of a database storing undistorted environment images and object images having said first deformation, to determine whether it contains at least one area of interest comprising a known object, then, if so, applying to said area of interest of this image obtained a second deformation, the inverse of said first deformation , to obtain an intermediate area of interest, then analyzing said intermediate area of interest with said neural network (RN) in order to determine an undeformed object contained therein, then applying said first deformation to said determined undeformed object to obtain a deformed object, then detecting this deformed object in said image obtained and determining information which represents it, and
- generating a driving instruction configured to adapt the driving of said vehicle (V1), according to said information determined for each object contained in a determined zone of interest.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1902003A FR3093054B1 (en) | 2019-02-27 | 2019-02-27 | ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES |
| PCT/FR2020/050200 WO2020174142A1 (en) | 2019-02-27 | 2020-02-05 | Vehicle driving assistance by reliable determination of objects in deformed images |
| EP20709283.4A EP3931741A1 (en) | 2019-02-27 | 2020-02-05 | Vehicle driving assistance by reliable determination of objects in deformed images |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1902003A FR3093054B1 (en) | 2019-02-27 | 2019-02-27 | ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES |
| FR1902003 | 2019-02-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3093054A1 true FR3093054A1 (en) | 2020-08-28 |
| FR3093054B1 FR3093054B1 (en) | 2021-05-28 |
Family
ID=66867537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1902003A Active FR3093054B1 (en) | 2019-02-27 | 2019-02-27 | ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3931741A1 (en) |
| FR (1) | FR3093054B1 (en) |
| WO (1) | WO2020174142A1 (en) |
-
2019
- 2019-02-27 FR FR1902003A patent/FR3093054B1/en active Active
-
2020
- 2020-02-05 EP EP20709283.4A patent/EP3931741A1/en active Pending
- 2020-02-05 WO PCT/FR2020/050200 patent/WO2020174142A1/en unknown
Non-Patent Citations (3)
| Title |
|---|
| ALLODI MARCO ET AL: "Monocular parking slots and obstacles detection and tracking", 2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 19 June 2016 (2016-06-19), pages 179 - 185, XP032938961, DOI: 10.1109/IVS.2016.7535383 * |
| HONGLI LIN ET AL: "Pedestrian Detection in Fish-eye Images using Deep Learning", SIGNAL PROCESSING AND MACHINE LEARNING, ACM, 2 PENN PLAZA, SUITE 701NEW YORKNY10121-0701USA, 28 November 2018 (2018-11-28), pages 55 - 59, XP058427086, ISBN: 978-1-4503-6605-2, DOI: 10.1145/3297067.3297069 * |
| QIAN YEQIANG ET AL: "Pedestrian Feature Generation in Fish-Eye Images via Adversary", 2018 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 21 May 2018 (2018-05-21), pages 2007 - 2012, XP033403111, DOI: 10.1109/ICRA.2018.8460565 * |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020174142A1 (en) | 2020-09-03 |
| FR3093054B1 (en) | 2021-05-28 |
| EP3931741A1 (en) | 2022-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3195077B1 (en) | Localisation and mapping method and system | |
| FR3027432A1 (en) | DISTANCE ESTIMATION OF A PIETON BY AN IMAGING SYSTEM ON A MOTOR VEHICLE | |
| FR3093054A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES | |
| FR3093305A1 (en) | REGULATING THE SPEED OF A VEHICLE WHEN OTHING IN A CORNER | |
| FR3092545A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED | |
| EP3877228B1 (en) | Construction by segmentation of virtual lanes on a carriageway | |
| FR3106108A1 (en) | Method and device for determining the trajectory of a road | |
| FR3082044A1 (en) | METHOD AND DEVICE FOR DETECTING THE TRACK ON WHICH A VEHICLE IS MOVING, ACCORDING TO THE DETERMINED DETERMINATIONS | |
| FR3093311A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE CONTROLLABILITY OF ITS DRIVING | |
| FR3098480A1 (en) | DECISION-MAKING PROCESS FOR A VEHICLE, DEPENDING ON ITS ENVIRONMENT | |
| EP3938949B1 (en) | Training of a neuronal network, for assistance in driving a vehicle by determining lane boundaries which are difficult to observe | |
| EP4090565B1 (en) | Method and device for controlling a vehicle | |
| FR3080177A1 (en) | SECURING AUTONOMOUS DRIVING CARTOGRAPHY | |
| FR3082935A1 (en) | ANALYSIS METHOD AND DEVICE FOR DETERMINING A CLOTHOIDE REPRESENTING AN ELEMENT OF A ROAD ON WHICH A VEHICLE IS MOVING | |
| FR3139227A1 (en) | Method and device for detecting a nearby object to control driving assistance for an autonomous vehicle. | |
| EP4165601A1 (en) | Method for calibrating a camera and associated device | |
| FR3100641A1 (en) | DETERMINATION OF REAL-TIME ENVIRONMENTAL INFORMATION AND SELECTIVE REGRESSION, FOR A SYSTEM | |
| FR3100016A1 (en) | Method and system for managing a movement of a motor vehicle | |
| FR3086491A1 (en) | ASSISTANCE IN DRIVING A VEHICLE BY DETERMINING THE TURNING ANGLE BY MEANS OF A NEURONAL NETWORK WITHOUT CALCULATION | |
| FR3137780A1 (en) | Method and device for determining a rear route of at least one lateral delimitation of a traffic lane | |
| FR3093052A1 (en) | ASSISTANCE IN DRIVING A VEHICLE, BY MAKING A DECISION ON THE BASIS OF GENERALIZABLE ENVIRONMENTAL INFORMATION | |
| FR3116501A1 (en) | Method and device for determining a virtual boundary line between two traffic lanes. | |
| WO2023222960A1 (en) | Method and device for controlling a cruise control system of a vehicle approaching a road signalling element | |
| FR3081142A1 (en) | METHOD AND DEVICE FOR ASSISTING THE AUTOMATED DRIVING OF A VEHICLE BY DETERMINING THE SAFETY OF A PROPOSED TRACK. | |
| FR3100910A1 (en) | DETERMINATION OF OBJECTS PRESENT IN THE ENVIRONMENT OF A SYSTEM BY TRANSFORMATION OF ENVIRONMENTAL DATA FROM A FRONT VIEW INTO A VIEW OF THE SKY |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20200828 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| CD | Change of name or company name |
Owner name: STELLANTIS AUTO SAS, FR Effective date: 20240423 |