EP3931741A1 - Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées - Google Patents

Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées

Info

Publication number
EP3931741A1
EP3931741A1 EP20709283.4A EP20709283A EP3931741A1 EP 3931741 A1 EP3931741 A1 EP 3931741A1 EP 20709283 A EP20709283 A EP 20709283A EP 3931741 A1 EP3931741 A1 EP 3931741A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
determined
deformation
interest
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20709283.4A
Other languages
German (de)
English (en)
Inventor
Frederic Large
Patrick BOUTARD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP3931741A1 publication Critical patent/EP3931741A1/fr
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • TITLE ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES
  • the invention relates to land vehicles with at least partially automated (or autonomous) driving and possibly of the automobile type, and more specifically the assistance in driving such vehicles.
  • a land vehicle is at least partially automated (or autonomous) when it can be driven on a road in an automated (partial or total (without intervention of its driver)) during a phase of automated driving, or manually (and therefore with intervention by the driver on the steering wheel and / or the pedals) during a manual driving phase.
  • the automated (or autonomous) driving of a vehicle may consist in partially or totally steering this vehicle or in providing any type of assistance to a natural person driving this vehicle. This therefore covers any automated (or autonomous) driving, from level 1 to level 5 in the OICA (International Organization of Automobile Manufacturers) scale.
  • the term “land vehicle” here means any type of vehicle that can travel on a road, and in particular a motor vehicle, a utility vehicle, a moped, a motorcycle, a minibus, a coach, a storage robot in a warehouse. , or a road machine.
  • At least one image acquired by at least one sensor of the vehicle in the environment in front of it, to determine if it contains at least one object (such as another vehicle or a pedestrian), then
  • this type of assistance process independently detects objects and traffic lanes which it then associates by working in another landmark (typically that of the vehicle).
  • the analysis and the determinations are frequently carried out by means of a neural network which has previously been the subject of an object detection training by means of a database storing images of the environment (generally associated to data that is representative of the known objects they contain).
  • the images stored in this type of database are acquired by means of on-board cameras in laboratory vehicles and introducing very little or no deformation, and therefore these images can be considered as undistorted.
  • most of the cameras that equip “normal” vehicles acquire images that are distorted, generally due to their wide viewing angle. Consequently, when one analyzes with the aforementioned neural network, on board a vehicle, the deformed images acquired with its on-board camera, they do not correspond exactly to the non-deformed images having been used for learning (and resulting from the database), and therefore the positions determined in these distorted images may be slightly different from the actual positions, so that in crowded environments an object can sometimes be mistaken for another neighboring object.
  • a neural network which has previously been the subject of object detection training by means of an "undeformed" database (that is to say containing images (and any data representative of the objects they contain) that have not undergone deformation identical to that introduced by its on-board camera), and to apply to each image acquired (having a first deformation due to its camera), a second deformation, the reverse of the first deformation, in order to obtain an undeformed image which is then supplied to the neural network so that it detects areas of interest each containing an object.
  • the first deformation is applied to each detected area of interest, then each object contained in an area of interest identical to an area of interest which has just undergone the first deformation is detected in the acquired image.
  • This second solution certainly makes it possible to use the same database (not distorted) and the same neural network, but it requires a large amount of computation and a large additional memory.
  • One of the aims of the invention is therefore to improve the situation.
  • an assistance method intended to assist the driving of an at least partially autonomous driving vehicle, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N> 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
  • a third step in which a driving instruction configured to adapt the driving of the vehicle is generated, according to the information determined for each object contained in a determined area of interest. Thanks to this application of the first and second deformations on the only areas of interest, it is possible to significantly limit the quantity of calculations to be carried out and additional memory capacity.
  • the assistance method according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
  • the neural network can perform each analysis after having been the object of an object detection training by means of a database storing non-deformed environmental images and associated with representative data known objects which they contain and images of known objects having the first deformation and associated with data representative of their deformed objects;
  • the image obtained can be analyzed with a first part of the neural network, adapted by learning to determine areas of interest, and each intermediate area of interest can be analyzed with a second part of the network of neurons, adapted by training to the determination of non-deformed objects;
  • the driving instruction can be generated according to the relative position of each traffic lane determined for each determined object and the relative position of each determined object in its traffic lane.
  • the invention also proposes an assistance device intended to assist the driving of an at least partially autonomous driving vehicle, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N > 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
  • This assistance device is characterized by the fact that it comprises at least one processor and at least one memory arranged to perform the operations. consists in :
  • - generate a driving instruction configured to adapt the driving of the vehicle, according to the information determined for each object contained in a determined area of interest.
  • the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means, is suitable for implementing an assistance method of the type of that presented above for adapt the driving of a vehicle to at least partially autonomous driving.
  • the invention also proposes a vehicle, optionally of the automobile type, with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N> 1, and comprising at least at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle and an assistance device of the type of that presented above.
  • FIG. 1 illustrates schematically and functionally a vehicle located on one of the two traffic lanes of a portion of the road and equipped with a sensor and a computer comprising an example of an assistance device according to the invention
  • FIG. 2 schematically illustrates an example of an algorithm implementing an assistance method according to the invention
  • FIG. 3 illustrates schematically and functionally an exemplary embodiment of an assistance device according to the invention.
  • the object of the invention is in particular to provide a method of driving assistance, and an associated DA driving assistance device, intended to allow assistance in driving a vehicle V1 with automated (or autonomous driving) driving. ).
  • the automated (or autonomous) driving vehicle V1 is of the automobile type. This is for example a car, as illustrated without limitation in Figure 1. But the invention is not limited to this type of vehicle. It relates in fact to any type of land vehicle with at least partially automated driving and able to travel on land traffic routes. Thus, it could also be a utility vehicle, a moped, a motorcycle, a minibus, a bus, a storage robot in a warehouse, or a storage vehicle. roads, for example.
  • the first taxiway VC1 is here separated from the right RS safety railing by an emergency lane BAU.
  • this first traffic lane VC1 is delimited by two delimitations di and 02, and the second traffic lane VC2 is delimited by two delimitations 02 and d3.
  • the invention relates to any portion of road comprising at least one traffic lane. Therefore, the number N of lanes of a road section can take any value greater than or equal to one (ie N> 1).
  • This first vehicle V1 comprises at least one CP sensor and an exemplary embodiment of a DA driving assistance device according to the invention.
  • This CP sensor is responsible for acquiring digital images in the environment which is located at least in front of the first vehicle V1. Furthermore, this CP sensor introduces a first known deformation d1 in the environmental images that it acquires.
  • the number of CP sensors is here equal to one (1). But this number can take any value greater than or equal to one (1), as long as this makes it possible to acquire digital images in the environment located at least in front of the first vehicle V1.
  • the sensor CP can comprise at least one camera installed in a front part of the vehicle (for example on the windshield or on the interior rear-view mirror), and responsible for acquiring digital images at least in front of the first vehicle V1 and possibly on at least part of its two lateral sides.
  • the first vehicle V1 can also include at least one ultrasonic sensor and / or at least one radar or lidar installed at the front or at the rear or on at least one lateral side of the first vehicle V1, and / or at least one camera installed in a rear part.
  • the invention notably provides a driving assistance method intended to allow driving assistance of the first V1 vehicle.
  • This (driving) assistance method can be at least partially implemented by the (driving) assistance device DA which comprises for this purpose at least one processor PR, for example a digital signal (or DSP ( “Digital Signal Processor”)), and MD memory.
  • the processor PR for example a digital signal (or DSP ( “Digital Signal Processor”)
  • MD memory for example a digital signal (or DSP ( “Digital Signal Processor”)
  • the assistance device (driving) DA forms part of a computer CA of the first vehicle V1. But it is not compulsory. Indeed, the assistance device DA could include its own computer. Therefore, the device DA assistance can be implemented in the form of a combination of circuits or electrical or electronic components (or “hardware") and software modules (or “software”).
  • the memory MD is live in order to store instructions for the implementation by the processor PR of the assistance method.
  • the CA computer can be dedicated to complete control of the driving of the first V1 vehicle during each phase of automated (or autonomous) driving.
  • the assistance method comprises three steps which for at least one of them requires the presence of a neural network RN which has been the subject of a prior object detection learning by means of a database which stores at least non-deformed environmental images and known object images having the first deformation d1 due to the sensor CP.
  • This database can therefore be considered as a normal database (that is to say, storing at least non-deformed environmental images) to which images of known objects having the first deformation d1 have been added.
  • These known objects (or obstacles) are, for example, vehicles of different types or pedestrians or animals of different species and / or sizes or inanimate objects of different types that can sometimes be encountered on a traffic lane VCk (or more generally on a section of road R).
  • the RN neural network can equip a vehicle which does not include the latter.
  • the neural network RN can form part of the processor PR.
  • a first step 10 of the assistance method we (the PR processor and the MD memory) begin by obtaining at least one image of the environment of the first vehicle V1 acquired with the sensor CP.
  • a second step 20-70 of the assistance method we (the processor PR and the memory MD) begin (s) by analyzing in a first sub-step 20 the image obtained with the neural network RN, in order to attempt of determining at least one zone of interest ZI comprising a known object (or obstacle).
  • one can carry out a test to determine whether at least one zone of interest ZI, comprising an object (or obstacle) known, was determined during the analysis.
  • a fourth sub-step 50 of the second step 20-70 we (the processor PR and the memory MD) analyze (s) the (each) intermediate zone of interest Z11 with the neural network RN in order to determine an undistorted OND object that it contains.
  • a sixth substep 70 of the second step 20-70 one (the processor PR and the memory MD) detects (s) each deformed object OD in the image obtained in the first step 10, and detemninates (s) ) information that represents each deformed object OD.
  • the determination of each OD deformed object in the image obtained in the first step 10 being very reliable, the information representing each OD deformed object is therefore also very reliable.
  • the processor PR and the memory MD can determine in the image obtained the traffic lane VCk on which a determined object is located and the relative position of this determined object in its traffic lane VCk. Then, the PR processor and the MD memory can determine in the image obtained the relative position of each traffic lane determined for each object determined with respect to the traffic lane VC1 on which the first vehicle V1 is traveling. These different positions constitute information representative of each deformed object OD.
  • the processor PR and the memory MD can, for example, determine each traffic lane VCk on which a determined object is located as a function of its boundaries (here di and 02, or 02 and d3) detected on the image obtained or defined by data from a road map representative of the road portion R.
  • the latter (R) is determined at each instant as a function of the current position of the first vehicle V1 which is supplied by a device for assisting navigation DN which is present in the first vehicle V1 permanently (as illustrated in Figure 1 without limitation), or temporarily (when it is part of a portable equipment or a smart mobile phone ( or smartphone ”) or a tablet accompanying a passenger).
  • Road mapping can be part of the aforementioned DN navigation aid device.
  • the road map data is stored in a memory of the navigation aid device DN or on a storage medium (such as a CDROM, for example) installed in a player of the first vehicle V1.
  • the road map data can be downloaded from a server accessible over the air via a communication module fitted to the first vehicle V1, at the request of the DA assistance device.
  • a third step 80 of the assistance method we (the processor PR and the memory MD) generate (s) a driving instruction which is configured to adapt the driving of the first vehicle V1, as a function of the information determined in the sixth sub-step 70 for each object contained in a determined area of interest ZI.
  • the driving instruction can be determined according to the relative position of each traffic lane VCk determined for each determined object and the relative position of each determined object in its travel lane VCk.
  • the processor PR detects in the image obtained the presence of a second vehicle V2 in front of the first vehicle V1 and on the same traffic lane VC1 as that on which the latter is traveling (V1), and a third vehicle V3 in front of the first vehicle V1 and on the traffic lane VC2 which is placed to the left of that on which circulates the latter (V1).
  • the analysis of successive images can, for example, make it possible to determine that the third vehicle V3 is passing the second vehicle V2.
  • the instruction generated can request the adaptation of the speed of the first vehicle V1 so that it follows the second vehicle V2 at least as long as the third vehicle V3 has not finished passing it.
  • the invention offers the advantages of the first and second solutions of the prior art (presented in the introductory part) but not the main disadvantages of the latter.
  • the learning of the neural network RN can be done by means of a database (comprising at least non-deformed images and images of objects having the first deformation d1 induced by the sensor CP of the vehicle V1) , the weight of which is little increased compared to that of a database of the prior art, which facilitates its implementation.
  • the neural network RN can perform each analysis after having been the object of an object detection training by means of a database which stores images of non-environment. deformed and associated with data (or annotations) representative of the known objects they contain and images of known objects having the first deformation d1 and associated with data (or annotations) representative of their distorted objects.
  • data or annotations
  • associated data can be, for example, types of object (vehicles of different types, pedestrians, animals of different species and / or sizes, inanimate objects of different types), or outlines of objects.
  • the neural network RN can comprise a first part P1 adapted by training to the determination of the areas of interest, and a second part P2 adapted by training to the determination of objects. undistorted OND.
  • the processor PR and the memory MD can analyze the image obtained in the first step 10 with the first part P1 of the neural network RN (in order to determine zones of interest ZI), and analyze each intermediate zone of interest Z11 with the second part P2 of the neural network RN in order to determine the non-deformed objects OND.
  • the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means of the electronic circuit (or hardware) type, such as for example the processor PR, is suitable for implementing the driving assistance method described above to assist driving the first vehicle V1.
  • the assistance device DA is very schematically illustrated with only its random access memory MD and its processor PR which can comprise integrated circuits (or printed), or else several integrated circuits (or printed) connected by wired or wireless connections.
  • integrated (or printed) circuit is meant any type of device capable of performing at least one electrical or electronic operation.
  • the assistance device DA can also include a mass memory MM, in particular for the storage of the acquired image data and of the intermediate data involved in all its calculations and processing.
  • this DA assistance device can also include an input interface IE for receiving at least the acquired image data, any data position of the first vehicle V1, and any road map data, for use in calculations or processing, possibly after having shaped and / or demodulated and / or amplified, in a manner known per se, by means of a digital signal processor PR '.
  • this assistance device DA can also include an output interface IS, in particular for the transmission of the instructions that it generates.
  • the driving assistance method can be implemented by a plurality of digital signal processors, random access memory, mass memory, input interface, output interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Un procédé assiste la conduite d'un véhicule à conduite autonome et capteur acquérant des images d'environnement ayant une première déformation, et comprend: - une première étape (10) où l'on obtient une image acquise, - une deuxième étape (20-70)ou l'on analyse l'image avec un réseau de neurones,formé avec une base d'images d'environnement non déformées et d'images d'objets ayant la première déformation, pour déterminer des zones d'intérêt comportant des objets auxquelles on applique une seconde déformation, inverse de la première déformation, pour obtenir une zone d'intérêt intermédiaire que l'on analyse avec le réseau de neurones pour déterminer son objet non déformé, puis on applique la première déformation à l'objet non déformé pour obtenir un objet déformé que l'on détecte dans l'image obtenue pour déterminer des informations le représentant, et - une troisième étape (80) où l'on génère une instruction de conduite fonction des informations déterminées.

Description

DESCRIPTION
TITRE : ASSISTANCE À LA CONDUITE D’UN VÉHICULE, PAR DÉTERMINATION FIABLE D’OBJETS DANS DES IMAGES DÉFORMÉES
Domaine technique de l’invention
L’invention concerne les véhicules terrestres à conduite au moins partiellement automatisée (ou autonome) et éventuellement de type automobile, et plus précisément l’assistance à la conduite de tels véhicules.
Etat de la technique
Dans ce qui suit on considère qu’un véhicule terrestre est à conduite au moins partiellement automatisée (ou autonome) lorsqu’il peut être conduit sur une route de façon automatisée (partielle ou totale (sans intervention de son conducteur)) pendant une phase de conduite automatisée, ou de façon manuelle (et donc avec intervention de son conducteur sur le volant et/ou les pédales) pendant une phase de conduite manuelle. Par exemple, la conduite automatisée (ou autonome) d’un véhicule (à conduite au moins partiellement automatisée) peut consister à diriger partiellement ou totalement ce véhicule ou à apporter tout type d’aide à une personne physique conduisant ce véhicule. Cela couvre donc toute conduite automatisée (ou autonome), du niveau 1 au niveau 5 dans le barème de l’OICA (Organisation International des Constructeurs Automobiles).
Par ailleurs, on entend ici par « véhicule terrestre » tout type de véhicule pouvant circuler sur une route, et notamment un véhicule automobile, un véhicule utilitaire, un cyclomoteur, une motocyclette, un minibus, un car, un robot de stockage dans un entrepôt, ou un engin de voirie.
Comme le sait l’homme de l’art, de nombreux procédés d’assistance à la conduite de véhicules (à conduite au moins partiellement automatisée) ont pour but d’adapter la conduite de ces véhicules en fonction des positions d’objets (ou obstacles) qui sont détectés devant eux. Ces procédés d’assistance connus comportent une étape dans laquelle :
- on analyse au moins une image, acquise par au moins un capteur du véhicule dans l’environnement qui est situé devant lui, afin de déterminer si elle contient au moins un objet (comme par exemple un autre véhicule ou un piéton), puis
- dans l’affirmative, on détermine dans chaque image la voie de circulation sur laquelle est situé chaque objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation, puis on détermine dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule, puis
- on rapporte (ou projette) dans le référentiel qui est associé au véhicule ces positions relatives déterminées.
En d’autres termes, ce type de procédé d’assistance détecte indépendamment des objets et des voies de circulation qu’il associe ensuite en travaillant dans un autre repère (typiquement celui du véhicule).
L’analyse et les déterminations sont fréquemment réalisées au moyen d’un réseau de neurones qui a préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement (généralement associées à des données qui sont représentatives des objets connus qu’elles contiennent).
Les images stockées dans ce type de base de données sont acquises au moyen de caméras embarquées dans des véhicules laboratoires et introduisant très peu ou pas de déformation, et donc ces images peuvent être considérées comme non déformées. Cependant, la plupart des caméras qui équipent les véhicules « normaux » acquièrent des images qui sont déformées, généralement du fait de leur grand angle d’observation. Par conséquent, lorsque l’on analyse avec le réseau de neurones précité, embarqué dans un véhicule, les images déformées, acquises avec sa caméra embarquée, elles ne correspondent pas exactement aux images non déformées ayant servies à l’apprentissage (et issues de la base de données), et donc les positions déterminées dans ces images déformées peuvent être légèrement différentes des positions réelles, si bien que dans des environnements encombrés un objet peut parfois être confondu avec un autre objet voisin. En outre, aux imprécisions des positions viennent s’ajouter les imprécisions des projections de ces dernières dans le référentiel associé au véhicule. Par conséquent, il arrive fréquemment que la position d’un objet soit erronée de plusieurs mètres et donc que la voie de circulation sur laquelle est réellement situé cet objet ne soit pas celle sur laquelle il a été finalement détecté, ce qui peut aboutir à des décisions de conduite mal adaptées à la situation réelle, voire potentiellement dangereuses (en particulier lorsqu’un objet d’un premier type a été confondu avec un objet d’un second type).
Il est certes possible d’utiliser dans un véhicule normal un réseau de neurones ayant préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données « déformée » (c’est-à-dire contenant des images (et d’éventuelles données représentatives des objets qu’elles contiennent) ayant subies une déformation identique à celle qui est introduite par sa caméra embarquée). Cette première solution donne de bons résultats. Cependant, elle impose de constituer autant de bases de données déformées qu’il y a de caméras différentes utilisées dans les véhicules normaux, et donc de réaliser autant d’apprentissages de réseaux de neurones qu’il y a de bases de données déformées différentes, ce qui s’avère très chronophage et très onéreux.
Il est également possible d’utiliser dans un véhicule normal un réseau de neurones ayant préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données « non déformée » (c’est-à-dire contenant des images (et d’éventuelles données représentatives des objets qu’elles contiennent) n’ayant pas subies de déformation identique à celle qui est introduite par sa caméra embarquée), et d’appliquer à chaque image acquise (ayant une première déformation due à sa caméra), une seconde déformation, inverse de la première déformation, afin d’obtenir une image non déformée que l’on fournit ensuite au réseau de neurones afin qu’il détecte des zones d’intérêt contenant chacune un objet. Ensuite, on applique la première déformation à chaque zone d’intérêt détectée, puis on détecte dans l’image acquise chaque objet contenu dans une zone d’intérêt identique à une zone d’intérêt venant de subir la première déformation. Cette seconde solution permet certes d’utiliser pour tous les véhicules normaux la même base de données (non déformée) et le même réseau de neurones, mais elle nécessite une grande quantité de calculs et une importante mémoire supplémentaire.
L’invention a donc notamment pour but d’améliorer la situation.
Présentation de l’invention
Elle propose notamment à cet effet un procédé d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule.
Ce procédé d’assistance se caractérise par le fait qu’il comprend :
- une première étape dans laquelle on obtient au moins une image de l’environnement du véhicule, acquise avec le capteur,
- une deuxième étape dans laquelle on analyse l’image obtenue avec un réseau de neurones, ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant la première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, on applique à chaque zone d’intérêt de cette image obtenue une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire, puis on analyse chaque zone d’intérêt intermédiaire avec le réseau de neurones afin de déterminer un objet non déformé qu’elle contient, puis on applique la première déformation à chaque objet non déformé déterminé pour obtenir un objet déformé, puis on détecte chaque objet déformé dans l’image obtenue et on détermine des informations qui le représentent, et
- une troisième étape dans laquelle on génère une instruction de conduite configurée pour adapter la conduite du véhicule, en fonction des informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée. Grâce à cette application des première et seconde déformations sur les seules zones d’intérêt on peut limiter notablement la quantité de calculs à réaliser et la capacité de la mémoire supplémentaire.
Le procédé d’assistance selon l’invention peut comporter d’autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment :
- dans sa deuxième étape le réseau de neurones peut effectuer chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et associées à des données représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant la première déformation et associées à des données représentatives de leurs objets déformés ;
- dans sa deuxième étape on peut analyser l’image obtenue avec une première partie du réseau de neurones, adaptée par apprentissage à la détermination de zones d’intérêt, et on peut analyser chaque zone d’intérêt intermédiaire avec une seconde partie du réseau de neurones, adaptée par apprentissage à la détermination d’objets non déformés ;
- dans sa deuxième étape on peut déterminer dans chaque image obtenue la voie de circulation sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation, puis on peut déterminer dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule. Dans ce cas, dans sa troisième étape on peut générer l’instruction de conduite en fonction de la position relative de chaque voie de circulation déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation.
L’invention propose également un dispositif d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule.
Ce dispositif d’assistance se caractérise par le fait qu’il comprend au moins un processeur et au moins une mémoire agencés pour effectuer les opérations consistant à :
- obtenir au moins une image de l’environnement acquise par le capteur,
- analyser l’image obtenue avec un réseau de neurones, ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant la première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, appliquer à chaque zone d’intérêt de cette image obtenue une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire, puis analyser chaque zone d’intérêt intermédiaire avec le réseau de neurones afin de déterminer un objet non déformé qu’elle contient, puis appliquer la première déformation à chaque objet non déformé déterminé pour obtenir un objet déformé, puis détecter chaque objet déformé dans l’image obtenue et déterminer des informations qui le représentent, et
- générer une instruction de conduite configurée pour adapter la conduite du véhicule, en fonction des informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.
L’invention propose également un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement, est propre à mettre en œuvre un procédé d’assistance du type de celui présenté ci-avant pour adapter la conduite d’un véhicule à conduite au moins partiellement autonome.
L’invention propose également un véhicule, éventuellement de type automobile, à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule et un dispositif d’assistance du type de celui présenté ci-avant.
Brève description des figures
D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : [Fig. 1] illustre schématiquement et fonctionnellement un véhicule situé sur l’une des deux voies de circulation d’une portion de route et équipé d’un capteur et d’un calculateur comportant un exemple de dispositif d’assistance selon l’invention,
[Fig. 2] illustre schématiquement un exemple d’algorithme mettant en œuvre un procédé d’assistance selon l’invention, et
[Fig. 3] illustre schématiquement et fonctionnellement un exemple de réalisation d’un dispositif d’assistance selon l’invention.
Description détaillée de l’invention
L’invention a notamment pour but de proposer un procédé d’assistance à la conduite, et un dispositif d’assistance à la conduite DA associé, destinés à permettre l’assistance à la conduite d’un véhicule V1 à conduite automatisée (ou autonome).
Dans ce qui suit, on considère, à titre d’exemple non limitatif, que le véhicule V1 à conduite automatisée (ou autonome), ci-après appelé premier véhicule, est de type automobile. Il s’agit par exemple d’une voiture, comme illustré non limitativement sur la figure 1 . Mais l’invention n’est pas limitée à ce type de véhicule. Elle concerne en effet tout type de véhicule terrestre à conduite au moins partiellement automatisée et pouvant circuler sur des voies de circulation terrestres. Ainsi, il pourra aussi s’agir d’un véhicule utilitaire, d’un cyclomoteur, d’une motocyclette, d’un minibus, d’un car, d’un robot de stockage dans un entrepôt, ou d’un engin de voirie, par exemple.
On a schématiquement et fonctionnellement représenté sur la figure 1 un premier véhicule V1 (à conduite automatisée (ou autonome)), circulant sur l’une des deux voies de circulation VCk (k = 1 ou 2) d’une portion de route R, ici encadrée par des rambardes de sécurité RS. On notera que la première voie de circulation VC1 est ici séparée de la rambarde de sécurité RS droite par une bande d’arrêt d’urgence BAU. Par ailleurs, cette première voie de circulation VC1 est délimitée par deux délimitations di et 02, et la seconde voie de circulation VC2 est délimitée par deux délimitations 02 et d3.
On notera également que l’invention concerne toute portion de route comprenant au moins une voie de circulation. Par conséquent, le nombre N de voies de circulation d’une portion de route peut prendre n’importe quelle valeur supérieure ou égale à un (soit N > 1 ).
Ce premier véhicule V1 comprend au moins un capteur CP et un exemple de réalisation d’un dispositif d’assistance à la conduite DA selon l’invention.
Ce capteur CP est chargé d’acquérir des images numériques dans l’environnement qui est situé au moins devant le premier véhicule V1 . Par ailleurs, ce capteur CP introduit une première déformation d1 connue dans les images d’environnement qu’il acquiert.
On notera que le nombre de capteurs CP (chargés d’acquérir des images numériques) est ici égal à un (1 ). Mais ce nombre peut prendre n’importe quelle valeur supérieure ou égale à un (1 ), dès lors que cela permet d’acquérir des images numériques dans l’environnement situé au moins devant le premier véhicule V1 .
Par exemple, le capteur CP peut comprendre au moins une caméra installée dans une partie avant du véhicule (par exemple sur le pare-brise ou sur le rétroviseur intérieur), et chargée d’acquérir des images numériques au moins devant le premier véhicule V1 et éventuellement sur une partie au moins de ses deux côtés latéraux.
En complément du capteur CP, le premier véhicule V1 peut aussi comprendre au moins un capteur à ultrasons et/ou au moins un radar ou lidar installé(s) à l’avant ou à l’arrière ou sur au moins un côté latéral du premier véhicule V1 , et/ou au moins une caméra installée dans une partie arrière.
Comme évoqué plus haut, l’invention propose notamment un procédé d’assistance à la conduite destiné à permettre l’assistance à la conduite du premier véhicule V1 .
Ce procédé d’assistance (à la conduite) peut être au moins partiellement mis en œuvre par le dispositif d’assistance (à la conduite) DA qui comprend à cet effet au moins un processeur PR, par exemple de signal numérique (ou DSP (« Digital Signal Processor »)), et une mémoire MD.
Dans l’exemple illustré non limitativement sur la figure 1 , le dispositif d’assistance (à la conduite) DA fait partie d’un calculateur CA du premier véhicule V1 . Mais cela n’est pas obligatoire. En effet, le dispositif d’assistance DA pourrait comprendre son propre calculateur. Par conséquent, le dispositif d’assistance DA peut être réalisé sous la forme d’une combinaison de circuits ou composants électriques ou électroniques (ou « hardware ») et de modules logiciels (ou « software »). La mémoire MD est vive afin de stocker des instructions pour la mise en œuvre par le processeur PR du procédé d’assistance.
A titre d’exemple, le calculateur CA peut être dédié au contrôle complet de la conduite du premier véhicule V1 pendant chaque phase de conduite automatisée (ou autonome).
Comme illustré sur la figure 2, le procédé d’assistance, selon l’invention, comprend trois étapes qui pour au moins l’une d’entre elles nécessite la présence d’un réseau de neurones RN ayant fait l’objet d’un apprentissage de détection d’objets préalable au moyen d’une base de données qui stocke au moins des images d’environnement non déformées et des images d’objets connus ayant la première déformation d1 due au capteur CP. Cette base de données peut donc être considérée comme une base de données normale (c’est-à-dire stockant au moins des images d’environnement non déformées) à laquelle on a adjoint des images d’objets connus ayant la première déformation d1 . Ces objets (ou obstacles) connus sont, par exemple, des véhicules de différents types ou des piétons ou des animaux de différentes espèces et/ou tailles ou des objets inanimés de différents types que l’on peut parfois rencontrer sur une voie de circulation VCk (ou plus généralement sur une portion de route R).
On comprendra qu’une fois que le réseau de neurones RN a fait l’objet de son apprentissage de détection d’objets au moyen de cette base de données particulière, il peut équiper un véhicule qui ne comprend pas cette dernière. Par exemple, et comme illustré non limitativement sur la figure 3, le réseau de neurones RN peut faire partie du processeur PR.
Dans une première étape 10 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par obtenir au moins une image de l’environnement du premier véhicule V1 acquise avec le capteur CP.
Dans une deuxième étape 20-70 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par analyser dans une première sous- étape 20 l’image obtenue avec le réseau de neurones RN, afin de tenter de déterminer au moins une zone d’intérêt ZI comportant un objet (ou obstacle) connu.
Puis, dans une deuxième sous-étape 30 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) peu(ven)t effectuer un test pour déterminer si au moins une zone d’intérêt ZI, comportant un objet (ou obstacle) connu, a été déterminée lors de l’analyse.
Dans la négative, on (le processeur PR et la mémoire MD) retourne effectuer la première étape 10 pour obtenir une nouvelle image acquise par le capteur CP.
En revanche, dans l’affirmative, on (le processeur PR et la mémoire MD) applique(nt), dans une troisième sous-étape 40 de la deuxième étape 20-70, à la (chaque) zone d’intérêt ZI de l’image obtenue une seconde déformation d2, qui est mathématiquement l’inverse de la première déformation d1 , pour obtenir une zone d’intérêt intermédiaire Zll (ici d2(ZI) = Zll).
Puis, dans une quatrième sous-étape 50 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) analyse(nt) la (chaque) zone d’intérêt intermédiaire Zll avec le réseau de neurones RN afin de déterminer un objet non déformé OND qu’elle contient.
Puis, dans une cinquième sous-étape 60 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) applique(nt) la première déformation d1 à chaque objet non déformé OND déterminé pour obtenir un objet déformé OD (ici d1 (OND) = OD).
Puis, dans une sixième sous-étape 70 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) détecte(nt) chaque objet déformé OD dans l’image obtenue dans la première étape 10, et détemnine(nt) des informations qui représentent chaque objet déformé OD. La détermination de chaque objet déformé OD dans l’image obtenue lors de la première étape 10 étant très fiable, les informations représentant chaque objet déformé OD sont donc aussi très fiables.
Par exemple, le processeur PR et la mémoire MD peuvent déterminer dans l’image obtenue la voie de circulation VCk sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation VCk. Puis, le processeur PR et la mémoire MD peuvent déterminer dans l’image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation VC1 sur laquelle circule le premier véhicule V1 . Ces différentes positions constituent des informations représentatives de chaque objet déformé OD.
Le processeur PR et la mémoire MD peu(ven)t, par exemple, déterminer chaque voie de circulation VCk sur laquelle est situé un objet déterminé en fonction de ses délimitations (ici di et 02, ou 02 et d3) détectées sur l’image obtenue ou définies par des données d’une cartographie routière représentatives de la portion de route R. Cette dernière (R) est déterminée à chaque instant en fonction de la position en cours du premier véhicule V1 qui est fournie par un dispositif d’aide à la navigation DN qui est présent dans le premier véhicule V1 de façon permanente (comme illustré sur la figure 1 de façon non limitative), ou de façon temporaire (lorsqu’il fait partie d’un équipement portable ou d’un téléphone mobile intelligent (ou smartphone ») ou d’une tablette accompagnant un passager). La cartographie routière peut faire partie du dispositif d’aide à la navigation DN précité. Dans ce cas, les données de cartographie routière sont stockées dans une mémoire du dispositif d’aide à la navigation DN ou sur un support de stockage (comme par exemple un CDROM) installé dans un lecteur du premier véhicule V1 . En variante, les données de cartographie routière peuvent être téléchargées auprès d’un serveur accessible par voie d’ondes via un module de communication équipant le premier véhicule V1 , à la demande du dispositif d’assistance DA.
Enfin, dans une troisième étape 80 du procédé d’assistance, on (le processeur PR et la mémoire MD) génère(nt) une instruction de conduite qui est configurée pour adapter la conduite du premier véhicule V1 , en fonction des informations déterminées dans la sixième sous-étape 70 pour chaque objet contenu dans une zone d’intérêt ZI déterminée.
Par exemple, l’instruction de conduite peut être déterminée en fonction de la position relative de chaque voie de circulation VCk déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation VCk.
Dans l’exemple illustré non limitativement sur la figure 1 , le processeur PR détecte dans l’image obtenue la présence d’un deuxième véhicule V2 devant le premier véhicule V1 et sur la même voie de circulation VC1 que celle sur laquelle circule ce dernier (V1 ), et d’un troisième véhicule V3 devant le premier véhicule V1 et sur la voie de circulation VC2 qui est placée à gauche de celle sur laquelle circule ce dernier (V1 ). L’analyse d’images successives peut, par exemple, permettre de déterminer que le troisième véhicule V3 est en train de dépasser le deuxième véhicule V2. Dans ce cas, l’instruction générée peut réclamer l’adaptation de la vitesse du premier véhicule V1 afin qu’il suive le deuxième véhicule V2 au moins tant que le troisième véhicule V3 n’a pas fini de le dépasser.
Mais d’autres informations, représentatives des objets déterminés et provenant d’autres capteurs embarqués dans le premier véhicule V1 ou fournies par des véhicules voisins de ce dernier (V1 ) ou par l’infrastructure routière (par exemple au moyen de messages de type Car2X ou V2X), peuvent être utilisées en complément par le processeur PR et la mémoire MD pour générer une instruction de conduite. Ainsi, ils peuvent, par exemple, utiliser des informations dynamiques telles que des vitesses (éventuellement relatives).
Grâce à l’application dans chaque véhicule V1 des déformations d2 et d1 sur les seules zones d’intérêt, on peut limiter notablement la quantité de calculs à réaliser et la capacité de la mémoire supplémentaire. Par conséquent, l’invention offre les avantages des première et seconde solutions de l’art antérieur (présentées dans la partie introductive) mais pas les inconvénients principaux de ces dernières. En outre, l’apprentissage du réseau de neurones RN peut se faire au moyen d’une base de données (comportant au moins des images non déformées et des images d’objets ayant la première déformation d1 induite par le capteur CP du véhicule V1 ), dont le poids est peu augmenté par rapport à celui d’une base de données de l’art antérieur, ce qui facilite sa mise en œuvre.
De préférence, dans la deuxième étape 20-70 le réseau de neurones RN peut effectuer chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données qui stocke des images d’environnement non déformées et associées à des données (ou annotations) représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant la première déformation d1 et associées à des données (ou annotations) représentatives de leurs objets déformés. Cela permet de faciliter les calculs que doit effectuer le processeur PR. Ces données (ou annotations) associées peuvent être, par exemple, des types d’objet (véhicules de différents types, piétons, animaux de différentes espèces et/ou tailles, objets inanimés de différents types), ou des contours d’objets.
On notera, comme illustré non limitativement sur la figure 3, que le réseau de neurones RN peut comporter une première partie P1 adaptée par apprentissage à la détermination des zones d’intérêt, et une seconde partie P2 adaptée par apprentissage à la détermination d’objets non déformés OND. Dans ce cas, dans la deuxième étape 20-70 on (le processeur PR et la mémoire MD) peu(ven)t analyser l’image obtenue dans la première étape 10 avec la première partie P1 du réseau de neurones RN (afin de déterminer des zones d’intérêt ZI), et analyser chaque zone d’intérêt intermédiaire Zll avec la seconde partie P2 du réseau de neurones RN afin de déterminer les objets non déformés OND.
On notera également que l’invention propose aussi un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement de type circuits électroniques (ou hardware), comme par exemple le processeur PR, est propre à mettre en œuvre le procédé d’assistance à la conduite décrit ci-avant pour assister la conduite du premier véhicule V1 .
On notera également que sur la figure 1 le dispositif d’assistance DA est très schématiquement illustré avec seulement sa mémoire vive MD et son processeur PR qui peut comprendre des circuits intégrés (ou imprimés), ou bien plusieurs circuits intégrés (ou imprimés) reliés par des connections filaires ou non filaires. On entend par circuit intégré (ou imprimé) tout type de dispositif apte à effectuer au moins une opération électrique ou électronique. Mais, comme illustré non limitativement sur la figure 3, le dispositif d’assistance DA peut aussi comprendre une mémoire de masse MM, notamment pour le stockage des données d’images acquises et des données intermédiaires intervenant dans tous ses calculs et traitements. Par ailleurs, ce dispositif d’assistance DA peut aussi comprendre une interface d’entrée IE pour la réception d’au moins les données d’images acquises, les éventuelles données de position du premier véhicule V1 , et les éventuelles données de cartographie routière, pour les utiliser dans des calculs ou traitements, éventuellement après les avoir mises en forme et/ou démodulées et/ou amplifiées, de façon connue en soi, au moyen d’un processeur de signal numérique PR’. De plus, ce dispositif d’assistance DA peut aussi comprendre une interface de sortie IS, notamment pour la transmission des instructions qu’il génère.
On notera également qu’une ou plusieurs étapes et/ou une ou plusieurs sous- étapes de la deuxième étape du procédé d’assistance à la conduite peuvent être effectuées par des composants différents. Ainsi, le procédé d’assistance à la conduite peut-être mis en œuvre par une pluralité de processeurs de signal numérique, mémoire vive, mémoire de masse, interface d’entrée, interface de sortie.

Claims

REVENDICATIONS
1 . Procédé d’assistance de la conduite d’un véhicule (V1 ) à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation (VCk) définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur (CP) acquérant des images, ayant une première déformation, d’un environnement au moins devant ledit véhicule (V1 ), caractérisé en ce qu’il comprend :
- une première étape (10) dans laquelle on obtient au moins une image dudit environnement acquise avec ledit capteur (CP),
- une deuxième étape (20-70) dans laquelle on analyse ladite image obtenue avec un réseau de neurones (RN), ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant ladite première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, on applique à ladite zone d’intérêt de cette image obtenue une seconde déformation, inverse de ladite première déformation, pour obtenir une zone d’intérêt intermédiaire, puis on analyse ladite zone d’intérêt intermédiaire avec ledit réseau de neurones (RN) afin de déterminer un objet non déformé qu’elle contient, puis on applique ladite première déformation audit objet non déformé déterminé pour obtenir un objet déformé, puis on détecte cet objet déformé dans ladite image obtenue et on détermine des informations qui le représentent, et
- une troisième étape (80) dans laquelle on génère une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1 ), en fonction desdites informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.
2. Procédé selon la revendication 1 , caractérisé en ce que dans ladite deuxième étape (20-70) ledit réseau de neurones (RN) effectue chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et associées à des données représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant ladite première déformation et associées à des données représentatives de leurs objets déformés.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que dans ladite deuxième étape (20-70) on analyse ladite image obtenue avec une première partie (P1 ) dudit réseau de neurones (RN), adaptée par apprentissage à la détermination de zones d’intérêt, et on analyse ladite zone d’intérêt intermédiaire avec une seconde partie (P2) dudit réseau de neurones (RN), adaptée par apprentissage à la détermination d’objets non déformés.
4. Procédé selon l’une des revendications 1 à 3, caractérisé en ce que dans ladite deuxième étape (20-70) on détermine dans chaque image obtenue la voie de circulation (VCk) sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation (VCk), puis on détermine dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à ladite voie de circulation (VCk) sur laquelle circule ledit véhicule (V1 ), et dans ladite troisième étape (80) on génère ladite instruction de conduite en fonction de la position relative de chaque voie de circulation (VCk) déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation (VCk).
5. Produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement, est propre à mettre en œuvre le procédé d’assistance selon l’une des revendications précédentes pour adapter la conduite d’un véhicule (V1 ) à conduite au moins partiellement autonome.
6. Dispositif d’assistance (DA) pour assister la conduite d’un véhicule (V1 ) à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation (VCk) définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur (CP) acquérant des images, ayant une première déformation, d’un environnement au moins devant ledit véhicule (V1 ), caractérisé en ce qu’il comprend au moins un processeur (PR) et au moins une mémoire (MD) agencés pour effectuer les opérations consistant à :
- obtenir au moins une image dudit environnement acquise par ledit capteur (CP),
- analyser ladite image obtenue avec un réseau de neurones (RN), ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant ladite première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, appliquer à ladite zone d’intérêt de cette image obtenue une seconde déformation, inverse de ladite première déformation, pour obtenir une zone d’intérêt intermédiaire, puis analyser ladite zone d’intérêt intermédiaire avec ledit réseau de neurones (RN) afin de déterminer un objet non déformé qu’elle contient, puis appliquer ladite première déformation audit objet non déformé déterminé pour obtenir un objet déformé, puis détecter cet objet déformé dans ladite image obtenue et déterminer des informations qui le représentent, et
- générer une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1 ), en fonction desdites informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée.
7. Véhicule (V1 ) à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation (VCk) définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur (CP) acquérant des images, ayant une première déformation, d’un environnement au moins devant ledit véhicule (V1 ), caractérisé en ce qu’il comprend en outre un dispositif d’assistance (DA) selon la revendication 6.
8. Véhicule selon la revendication 7, caractérisé en ce qu’il est de type automobile.
EP20709283.4A 2019-02-27 2020-02-05 Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées Pending EP3931741A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1902003A FR3093054B1 (fr) 2019-02-27 2019-02-27 Assistance à la conduite d’un véhicule, par détermination fiable d’objets dans des images déformées
PCT/FR2020/050200 WO2020174142A1 (fr) 2019-02-27 2020-02-05 Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées

Publications (1)

Publication Number Publication Date
EP3931741A1 true EP3931741A1 (fr) 2022-01-05

Family

ID=66867537

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20709283.4A Pending EP3931741A1 (fr) 2019-02-27 2020-02-05 Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées

Country Status (3)

Country Link
EP (1) EP3931741A1 (fr)
FR (1) FR3093054B1 (fr)
WO (1) WO2020174142A1 (fr)

Also Published As

Publication number Publication date
FR3093054B1 (fr) 2021-05-28
FR3093054A1 (fr) 2020-08-28
WO2020174142A1 (fr) 2020-09-03

Similar Documents

Publication Publication Date Title
EP3195077A1 (fr) Procédé et système de localisation et de cartographie
EP3980308B1 (fr) Procédé de calcul de la position latérale d'un véhicule automobile
EP3105752A1 (fr) Procede de determination d'une limitation de vitesse en vigueur sur une route empruntee par un vehicule automobile
WO2019206860A1 (fr) Procede de selection par un vehicule automobile d'une voie de circulation preferee pour traverser une aire de peage
EP3931741A1 (fr) Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées
EP3877228B1 (fr) Construction par segmentation de voies virtuelles sur une chaussée
FR3092545A1 (fr) Assistance à la conduite d’un véhicule, par détermination de la voie de circulation dans laquelle est situé un objet
WO2017140969A1 (fr) Dispositif et procédé d'estimation du niveau d'attention d'un conducteur d'un véhicule
FR3082044A1 (fr) Procede et dispositif de detection de la voie de circulation sur laquelle circule un vehicule, en fonction des delimitations determinees
FR3093311A1 (fr) Assistance à la conduite d’un véhicule, par détermination de la contrôlabilité de sa conduite
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
EP3938949B1 (fr) Entrainement d'un reseau de neurones, pour l'assistance a la conduite d'un vehicule par determination de delimitations de voie difficilement observables
FR3084628A1 (fr) Procede de determination d'un type d'emplacement de stationnement
WO2021249809A1 (fr) Procede de calibration d'une camera et dispositif associe
FR3139227A1 (fr) Procédé et dispositif de détection d’un objet proche pour piloter une aide à la conduite d’un véhicule autonome.
FR3082935A1 (fr) Procede et dispositif d’analyse pour determiner une clothoide representant un element d’une route sur laquelle circule un vehicule
WO2019220030A1 (fr) Procédé et dispositif d'assistance à la conduite automatisée d'un véhicule par détermination de la sûreté d'une trajectoire proposée
FR3100641A1 (fr) Détermination d’informations d’environnement en temps réel et à régression sélective, pour un système
FR3036498A1 (fr) Procede et systeme de localisation en ligne d'un vehicule automobile
FR3137780A1 (fr) Procédé et dispositif de détermination d’un tracé arrière d’au moins une délimitation latérale de voie de circulation
EP4227912A1 (fr) Procede de detection d'une ligne centrale d'une voie de circulation
FR3116501A1 (fr) Procédé et dispositif de détermination d’une ligne virtuelle de délimitation entre deux voies de circulation.
FR3100016A1 (fr) Procédé et système pour gérer un déplacement d’un véhicule automobile
FR3135240A1 (fr) Procédé et dispositif de contrôle d’un système d’aide à la conduite de véhicule en fonction de la détection d’un panneau de signalisation et d’un changement de voie
FR3135048A1 (fr) Procédé de suivi d’au moins une limite de bord de voie de circulation et véhicule automobile associé

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210716

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: STELLANTIS AUTO SAS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240105