EP3931741A1 - Vehicle driving assistance by reliable determination of objects in deformed images - Google Patents

Vehicle driving assistance by reliable determination of objects in deformed images

Info

Publication number
EP3931741A1
EP3931741A1 EP20709283.4A EP20709283A EP3931741A1 EP 3931741 A1 EP3931741 A1 EP 3931741A1 EP 20709283 A EP20709283 A EP 20709283A EP 3931741 A1 EP3931741 A1 EP 3931741A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
determined
deformation
interest
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP20709283.4A
Other languages
German (de)
French (fr)
Inventor
Frederic Large
Patrick BOUTARD
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stellantis Auto SAS
Original Assignee
PSA Automobiles SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PSA Automobiles SA filed Critical PSA Automobiles SA
Publication of EP3931741A1 publication Critical patent/EP3931741A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Definitions

  • TITLE ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES
  • the invention relates to land vehicles with at least partially automated (or autonomous) driving and possibly of the automobile type, and more specifically the assistance in driving such vehicles.
  • a land vehicle is at least partially automated (or autonomous) when it can be driven on a road in an automated (partial or total (without intervention of its driver)) during a phase of automated driving, or manually (and therefore with intervention by the driver on the steering wheel and / or the pedals) during a manual driving phase.
  • the automated (or autonomous) driving of a vehicle may consist in partially or totally steering this vehicle or in providing any type of assistance to a natural person driving this vehicle. This therefore covers any automated (or autonomous) driving, from level 1 to level 5 in the OICA (International Organization of Automobile Manufacturers) scale.
  • the term “land vehicle” here means any type of vehicle that can travel on a road, and in particular a motor vehicle, a utility vehicle, a moped, a motorcycle, a minibus, a coach, a storage robot in a warehouse. , or a road machine.
  • At least one image acquired by at least one sensor of the vehicle in the environment in front of it, to determine if it contains at least one object (such as another vehicle or a pedestrian), then
  • this type of assistance process independently detects objects and traffic lanes which it then associates by working in another landmark (typically that of the vehicle).
  • the analysis and the determinations are frequently carried out by means of a neural network which has previously been the subject of an object detection training by means of a database storing images of the environment (generally associated to data that is representative of the known objects they contain).
  • the images stored in this type of database are acquired by means of on-board cameras in laboratory vehicles and introducing very little or no deformation, and therefore these images can be considered as undistorted.
  • most of the cameras that equip “normal” vehicles acquire images that are distorted, generally due to their wide viewing angle. Consequently, when one analyzes with the aforementioned neural network, on board a vehicle, the deformed images acquired with its on-board camera, they do not correspond exactly to the non-deformed images having been used for learning (and resulting from the database), and therefore the positions determined in these distorted images may be slightly different from the actual positions, so that in crowded environments an object can sometimes be mistaken for another neighboring object.
  • a neural network which has previously been the subject of object detection training by means of an "undeformed" database (that is to say containing images (and any data representative of the objects they contain) that have not undergone deformation identical to that introduced by its on-board camera), and to apply to each image acquired (having a first deformation due to its camera), a second deformation, the reverse of the first deformation, in order to obtain an undeformed image which is then supplied to the neural network so that it detects areas of interest each containing an object.
  • the first deformation is applied to each detected area of interest, then each object contained in an area of interest identical to an area of interest which has just undergone the first deformation is detected in the acquired image.
  • This second solution certainly makes it possible to use the same database (not distorted) and the same neural network, but it requires a large amount of computation and a large additional memory.
  • One of the aims of the invention is therefore to improve the situation.
  • an assistance method intended to assist the driving of an at least partially autonomous driving vehicle, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N> 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
  • a third step in which a driving instruction configured to adapt the driving of the vehicle is generated, according to the information determined for each object contained in a determined area of interest. Thanks to this application of the first and second deformations on the only areas of interest, it is possible to significantly limit the quantity of calculations to be carried out and additional memory capacity.
  • the assistance method according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
  • the neural network can perform each analysis after having been the object of an object detection training by means of a database storing non-deformed environmental images and associated with representative data known objects which they contain and images of known objects having the first deformation and associated with data representative of their deformed objects;
  • the image obtained can be analyzed with a first part of the neural network, adapted by learning to determine areas of interest, and each intermediate area of interest can be analyzed with a second part of the network of neurons, adapted by training to the determination of non-deformed objects;
  • the driving instruction can be generated according to the relative position of each traffic lane determined for each determined object and the relative position of each determined object in its traffic lane.
  • the invention also proposes an assistance device intended to assist the driving of an at least partially autonomous driving vehicle, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N > 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
  • This assistance device is characterized by the fact that it comprises at least one processor and at least one memory arranged to perform the operations. consists in :
  • - generate a driving instruction configured to adapt the driving of the vehicle, according to the information determined for each object contained in a determined area of interest.
  • the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means, is suitable for implementing an assistance method of the type of that presented above for adapt the driving of a vehicle to at least partially autonomous driving.
  • the invention also proposes a vehicle, optionally of the automobile type, with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N> 1, and comprising at least at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle and an assistance device of the type of that presented above.
  • FIG. 1 illustrates schematically and functionally a vehicle located on one of the two traffic lanes of a portion of the road and equipped with a sensor and a computer comprising an example of an assistance device according to the invention
  • FIG. 2 schematically illustrates an example of an algorithm implementing an assistance method according to the invention
  • FIG. 3 illustrates schematically and functionally an exemplary embodiment of an assistance device according to the invention.
  • the object of the invention is in particular to provide a method of driving assistance, and an associated DA driving assistance device, intended to allow assistance in driving a vehicle V1 with automated (or autonomous driving) driving. ).
  • the automated (or autonomous) driving vehicle V1 is of the automobile type. This is for example a car, as illustrated without limitation in Figure 1. But the invention is not limited to this type of vehicle. It relates in fact to any type of land vehicle with at least partially automated driving and able to travel on land traffic routes. Thus, it could also be a utility vehicle, a moped, a motorcycle, a minibus, a bus, a storage robot in a warehouse, or a storage vehicle. roads, for example.
  • the first taxiway VC1 is here separated from the right RS safety railing by an emergency lane BAU.
  • this first traffic lane VC1 is delimited by two delimitations di and 02, and the second traffic lane VC2 is delimited by two delimitations 02 and d3.
  • the invention relates to any portion of road comprising at least one traffic lane. Therefore, the number N of lanes of a road section can take any value greater than or equal to one (ie N> 1).
  • This first vehicle V1 comprises at least one CP sensor and an exemplary embodiment of a DA driving assistance device according to the invention.
  • This CP sensor is responsible for acquiring digital images in the environment which is located at least in front of the first vehicle V1. Furthermore, this CP sensor introduces a first known deformation d1 in the environmental images that it acquires.
  • the number of CP sensors is here equal to one (1). But this number can take any value greater than or equal to one (1), as long as this makes it possible to acquire digital images in the environment located at least in front of the first vehicle V1.
  • the sensor CP can comprise at least one camera installed in a front part of the vehicle (for example on the windshield or on the interior rear-view mirror), and responsible for acquiring digital images at least in front of the first vehicle V1 and possibly on at least part of its two lateral sides.
  • the first vehicle V1 can also include at least one ultrasonic sensor and / or at least one radar or lidar installed at the front or at the rear or on at least one lateral side of the first vehicle V1, and / or at least one camera installed in a rear part.
  • the invention notably provides a driving assistance method intended to allow driving assistance of the first V1 vehicle.
  • This (driving) assistance method can be at least partially implemented by the (driving) assistance device DA which comprises for this purpose at least one processor PR, for example a digital signal (or DSP ( “Digital Signal Processor”)), and MD memory.
  • the processor PR for example a digital signal (or DSP ( “Digital Signal Processor”)
  • MD memory for example a digital signal (or DSP ( “Digital Signal Processor”)
  • the assistance device (driving) DA forms part of a computer CA of the first vehicle V1. But it is not compulsory. Indeed, the assistance device DA could include its own computer. Therefore, the device DA assistance can be implemented in the form of a combination of circuits or electrical or electronic components (or “hardware") and software modules (or “software”).
  • the memory MD is live in order to store instructions for the implementation by the processor PR of the assistance method.
  • the CA computer can be dedicated to complete control of the driving of the first V1 vehicle during each phase of automated (or autonomous) driving.
  • the assistance method comprises three steps which for at least one of them requires the presence of a neural network RN which has been the subject of a prior object detection learning by means of a database which stores at least non-deformed environmental images and known object images having the first deformation d1 due to the sensor CP.
  • This database can therefore be considered as a normal database (that is to say, storing at least non-deformed environmental images) to which images of known objects having the first deformation d1 have been added.
  • These known objects (or obstacles) are, for example, vehicles of different types or pedestrians or animals of different species and / or sizes or inanimate objects of different types that can sometimes be encountered on a traffic lane VCk (or more generally on a section of road R).
  • the RN neural network can equip a vehicle which does not include the latter.
  • the neural network RN can form part of the processor PR.
  • a first step 10 of the assistance method we (the PR processor and the MD memory) begin by obtaining at least one image of the environment of the first vehicle V1 acquired with the sensor CP.
  • a second step 20-70 of the assistance method we (the processor PR and the memory MD) begin (s) by analyzing in a first sub-step 20 the image obtained with the neural network RN, in order to attempt of determining at least one zone of interest ZI comprising a known object (or obstacle).
  • one can carry out a test to determine whether at least one zone of interest ZI, comprising an object (or obstacle) known, was determined during the analysis.
  • a fourth sub-step 50 of the second step 20-70 we (the processor PR and the memory MD) analyze (s) the (each) intermediate zone of interest Z11 with the neural network RN in order to determine an undistorted OND object that it contains.
  • a sixth substep 70 of the second step 20-70 one (the processor PR and the memory MD) detects (s) each deformed object OD in the image obtained in the first step 10, and detemninates (s) ) information that represents each deformed object OD.
  • the determination of each OD deformed object in the image obtained in the first step 10 being very reliable, the information representing each OD deformed object is therefore also very reliable.
  • the processor PR and the memory MD can determine in the image obtained the traffic lane VCk on which a determined object is located and the relative position of this determined object in its traffic lane VCk. Then, the PR processor and the MD memory can determine in the image obtained the relative position of each traffic lane determined for each object determined with respect to the traffic lane VC1 on which the first vehicle V1 is traveling. These different positions constitute information representative of each deformed object OD.
  • the processor PR and the memory MD can, for example, determine each traffic lane VCk on which a determined object is located as a function of its boundaries (here di and 02, or 02 and d3) detected on the image obtained or defined by data from a road map representative of the road portion R.
  • the latter (R) is determined at each instant as a function of the current position of the first vehicle V1 which is supplied by a device for assisting navigation DN which is present in the first vehicle V1 permanently (as illustrated in Figure 1 without limitation), or temporarily (when it is part of a portable equipment or a smart mobile phone ( or smartphone ”) or a tablet accompanying a passenger).
  • Road mapping can be part of the aforementioned DN navigation aid device.
  • the road map data is stored in a memory of the navigation aid device DN or on a storage medium (such as a CDROM, for example) installed in a player of the first vehicle V1.
  • the road map data can be downloaded from a server accessible over the air via a communication module fitted to the first vehicle V1, at the request of the DA assistance device.
  • a third step 80 of the assistance method we (the processor PR and the memory MD) generate (s) a driving instruction which is configured to adapt the driving of the first vehicle V1, as a function of the information determined in the sixth sub-step 70 for each object contained in a determined area of interest ZI.
  • the driving instruction can be determined according to the relative position of each traffic lane VCk determined for each determined object and the relative position of each determined object in its travel lane VCk.
  • the processor PR detects in the image obtained the presence of a second vehicle V2 in front of the first vehicle V1 and on the same traffic lane VC1 as that on which the latter is traveling (V1), and a third vehicle V3 in front of the first vehicle V1 and on the traffic lane VC2 which is placed to the left of that on which circulates the latter (V1).
  • the analysis of successive images can, for example, make it possible to determine that the third vehicle V3 is passing the second vehicle V2.
  • the instruction generated can request the adaptation of the speed of the first vehicle V1 so that it follows the second vehicle V2 at least as long as the third vehicle V3 has not finished passing it.
  • the invention offers the advantages of the first and second solutions of the prior art (presented in the introductory part) but not the main disadvantages of the latter.
  • the learning of the neural network RN can be done by means of a database (comprising at least non-deformed images and images of objects having the first deformation d1 induced by the sensor CP of the vehicle V1) , the weight of which is little increased compared to that of a database of the prior art, which facilitates its implementation.
  • the neural network RN can perform each analysis after having been the object of an object detection training by means of a database which stores images of non-environment. deformed and associated with data (or annotations) representative of the known objects they contain and images of known objects having the first deformation d1 and associated with data (or annotations) representative of their distorted objects.
  • data or annotations
  • associated data can be, for example, types of object (vehicles of different types, pedestrians, animals of different species and / or sizes, inanimate objects of different types), or outlines of objects.
  • the neural network RN can comprise a first part P1 adapted by training to the determination of the areas of interest, and a second part P2 adapted by training to the determination of objects. undistorted OND.
  • the processor PR and the memory MD can analyze the image obtained in the first step 10 with the first part P1 of the neural network RN (in order to determine zones of interest ZI), and analyze each intermediate zone of interest Z11 with the second part P2 of the neural network RN in order to determine the non-deformed objects OND.
  • the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means of the electronic circuit (or hardware) type, such as for example the processor PR, is suitable for implementing the driving assistance method described above to assist driving the first vehicle V1.
  • the assistance device DA is very schematically illustrated with only its random access memory MD and its processor PR which can comprise integrated circuits (or printed), or else several integrated circuits (or printed) connected by wired or wireless connections.
  • integrated (or printed) circuit is meant any type of device capable of performing at least one electrical or electronic operation.
  • the assistance device DA can also include a mass memory MM, in particular for the storage of the acquired image data and of the intermediate data involved in all its calculations and processing.
  • this DA assistance device can also include an input interface IE for receiving at least the acquired image data, any data position of the first vehicle V1, and any road map data, for use in calculations or processing, possibly after having shaped and / or demodulated and / or amplified, in a manner known per se, by means of a digital signal processor PR '.
  • this assistance device DA can also include an output interface IS, in particular for the transmission of the instructions that it generates.
  • the driving assistance method can be implemented by a plurality of digital signal processors, random access memory, mass memory, input interface, output interface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

A method assists the driving of an autonomous driving vehicle and sensor acquiring environment images having a first deformation, and comprises: - a first step (10) in which an acquired image is obtained, - a second step (20-70) in which the image is analysed by a neural network, formed with a database of non-deformed environment images and images of objects having the first deformation, in order to determine zones of interest comprising objects to which a second deformation is applied, which is the inverse of the first deformation, in order to obtain an intermediate zone of interest that is analysed with the neural network in order to determine its non-deformed object, then the first deformation is applied to the non-deformed object in order to obtain a deformed object that is detected in the obtained image in order to determine information representing it, and - a third step (80) in which a driving instruction is generated depending on the determined information.

Description

DESCRIPTION DESCRIPTION
TITRE : ASSISTANCE À LA CONDUITE D’UN VÉHICULE, PAR DÉTERMINATION FIABLE D’OBJETS DANS DES IMAGES DÉFORMÉES TITLE: ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES
Domaine technique de l’invention Technical field of the invention
L’invention concerne les véhicules terrestres à conduite au moins partiellement automatisée (ou autonome) et éventuellement de type automobile, et plus précisément l’assistance à la conduite de tels véhicules. The invention relates to land vehicles with at least partially automated (or autonomous) driving and possibly of the automobile type, and more specifically the assistance in driving such vehicles.
Etat de la technique State of the art
Dans ce qui suit on considère qu’un véhicule terrestre est à conduite au moins partiellement automatisée (ou autonome) lorsqu’il peut être conduit sur une route de façon automatisée (partielle ou totale (sans intervention de son conducteur)) pendant une phase de conduite automatisée, ou de façon manuelle (et donc avec intervention de son conducteur sur le volant et/ou les pédales) pendant une phase de conduite manuelle. Par exemple, la conduite automatisée (ou autonome) d’un véhicule (à conduite au moins partiellement automatisée) peut consister à diriger partiellement ou totalement ce véhicule ou à apporter tout type d’aide à une personne physique conduisant ce véhicule. Cela couvre donc toute conduite automatisée (ou autonome), du niveau 1 au niveau 5 dans le barème de l’OICA (Organisation International des Constructeurs Automobiles). In what follows, it is considered that a land vehicle is at least partially automated (or autonomous) when it can be driven on a road in an automated (partial or total (without intervention of its driver)) during a phase of automated driving, or manually (and therefore with intervention by the driver on the steering wheel and / or the pedals) during a manual driving phase. For example, the automated (or autonomous) driving of a vehicle (at least partially automated driving) may consist in partially or totally steering this vehicle or in providing any type of assistance to a natural person driving this vehicle. This therefore covers any automated (or autonomous) driving, from level 1 to level 5 in the OICA (International Organization of Automobile Manufacturers) scale.
Par ailleurs, on entend ici par « véhicule terrestre » tout type de véhicule pouvant circuler sur une route, et notamment un véhicule automobile, un véhicule utilitaire, un cyclomoteur, une motocyclette, un minibus, un car, un robot de stockage dans un entrepôt, ou un engin de voirie. Furthermore, the term “land vehicle” here means any type of vehicle that can travel on a road, and in particular a motor vehicle, a utility vehicle, a moped, a motorcycle, a minibus, a coach, a storage robot in a warehouse. , or a road machine.
Comme le sait l’homme de l’art, de nombreux procédés d’assistance à la conduite de véhicules (à conduite au moins partiellement automatisée) ont pour but d’adapter la conduite de ces véhicules en fonction des positions d’objets (ou obstacles) qui sont détectés devant eux. Ces procédés d’assistance connus comportent une étape dans laquelle : As known to those skilled in the art, many methods of assisting the driving of vehicles (at least partially automated driving) aim to adapt the driving of these vehicles as a function of the positions of objects (or obstacles) that are detected in front of them. These known assistance methods include a step in which:
- on analyse au moins une image, acquise par au moins un capteur du véhicule dans l’environnement qui est situé devant lui, afin de déterminer si elle contient au moins un objet (comme par exemple un autre véhicule ou un piéton), puis - at least one image, acquired by at least one sensor of the vehicle in the environment in front of it, to determine if it contains at least one object (such as another vehicle or a pedestrian), then
- dans l’affirmative, on détermine dans chaque image la voie de circulation sur laquelle est situé chaque objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation, puis on détermine dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule, puis - If so, the traffic lane on which each determined object is located and the relative position of this determined object in its traffic lane is determined in each image, then the relative position of each traffic lane is determined in each image obtained. circulation determined for each object determined in relation to the traffic lane on which the vehicle is traveling, then
- on rapporte (ou projette) dans le référentiel qui est associé au véhicule ces positions relatives déterminées. - These determined relative positions are reported (or projected) in the frame of reference which is associated with the vehicle.
En d’autres termes, ce type de procédé d’assistance détecte indépendamment des objets et des voies de circulation qu’il associe ensuite en travaillant dans un autre repère (typiquement celui du véhicule). In other words, this type of assistance process independently detects objects and traffic lanes which it then associates by working in another landmark (typically that of the vehicle).
L’analyse et les déterminations sont fréquemment réalisées au moyen d’un réseau de neurones qui a préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement (généralement associées à des données qui sont représentatives des objets connus qu’elles contiennent). The analysis and the determinations are frequently carried out by means of a neural network which has previously been the subject of an object detection training by means of a database storing images of the environment (generally associated to data that is representative of the known objects they contain).
Les images stockées dans ce type de base de données sont acquises au moyen de caméras embarquées dans des véhicules laboratoires et introduisant très peu ou pas de déformation, et donc ces images peuvent être considérées comme non déformées. Cependant, la plupart des caméras qui équipent les véhicules « normaux » acquièrent des images qui sont déformées, généralement du fait de leur grand angle d’observation. Par conséquent, lorsque l’on analyse avec le réseau de neurones précité, embarqué dans un véhicule, les images déformées, acquises avec sa caméra embarquée, elles ne correspondent pas exactement aux images non déformées ayant servies à l’apprentissage (et issues de la base de données), et donc les positions déterminées dans ces images déformées peuvent être légèrement différentes des positions réelles, si bien que dans des environnements encombrés un objet peut parfois être confondu avec un autre objet voisin. En outre, aux imprécisions des positions viennent s’ajouter les imprécisions des projections de ces dernières dans le référentiel associé au véhicule. Par conséquent, il arrive fréquemment que la position d’un objet soit erronée de plusieurs mètres et donc que la voie de circulation sur laquelle est réellement situé cet objet ne soit pas celle sur laquelle il a été finalement détecté, ce qui peut aboutir à des décisions de conduite mal adaptées à la situation réelle, voire potentiellement dangereuses (en particulier lorsqu’un objet d’un premier type a été confondu avec un objet d’un second type). The images stored in this type of database are acquired by means of on-board cameras in laboratory vehicles and introducing very little or no deformation, and therefore these images can be considered as undistorted. However, most of the cameras that equip “normal” vehicles acquire images that are distorted, generally due to their wide viewing angle. Consequently, when one analyzes with the aforementioned neural network, on board a vehicle, the deformed images acquired with its on-board camera, they do not correspond exactly to the non-deformed images having been used for learning (and resulting from the database), and therefore the positions determined in these distorted images may be slightly different from the actual positions, so that in crowded environments an object can sometimes be mistaken for another neighboring object. In addition, to the inaccuracies of the positions are added inaccuracies in the projections of the latter in the reference system associated with the vehicle. Consequently, it frequently happens that the position of an object is erroneous by several meters and therefore that the traffic lane on which this object is really located is not the one on which it was finally detected, which can lead to driving decisions poorly adapted to the real situation, even potentially dangerous (in particular when an object of a first type has been confused with an object of a second type).
Il est certes possible d’utiliser dans un véhicule normal un réseau de neurones ayant préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données « déformée » (c’est-à-dire contenant des images (et d’éventuelles données représentatives des objets qu’elles contiennent) ayant subies une déformation identique à celle qui est introduite par sa caméra embarquée). Cette première solution donne de bons résultats. Cependant, elle impose de constituer autant de bases de données déformées qu’il y a de caméras différentes utilisées dans les véhicules normaux, et donc de réaliser autant d’apprentissages de réseaux de neurones qu’il y a de bases de données déformées différentes, ce qui s’avère très chronophage et très onéreux. It is of course possible to use in a normal vehicle a neural network which has previously been the object of object detection training by means of a “distorted” database (that is to say containing images (and any data representative of the objects they contain) having undergone a deformation identical to that introduced by its on-board camera). This first solution gives good results. However, it imposes to constitute as many distorted databases as there are different cameras used in normal vehicles, and therefore to carry out as many neural network training sessions as there are different distorted databases, which turns out to be very time-consuming and very expensive.
Il est également possible d’utiliser dans un véhicule normal un réseau de neurones ayant préalablement fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données « non déformée » (c’est-à-dire contenant des images (et d’éventuelles données représentatives des objets qu’elles contiennent) n’ayant pas subies de déformation identique à celle qui est introduite par sa caméra embarquée), et d’appliquer à chaque image acquise (ayant une première déformation due à sa caméra), une seconde déformation, inverse de la première déformation, afin d’obtenir une image non déformée que l’on fournit ensuite au réseau de neurones afin qu’il détecte des zones d’intérêt contenant chacune un objet. Ensuite, on applique la première déformation à chaque zone d’intérêt détectée, puis on détecte dans l’image acquise chaque objet contenu dans une zone d’intérêt identique à une zone d’intérêt venant de subir la première déformation. Cette seconde solution permet certes d’utiliser pour tous les véhicules normaux la même base de données (non déformée) et le même réseau de neurones, mais elle nécessite une grande quantité de calculs et une importante mémoire supplémentaire. It is also possible to use in a normal vehicle a neural network which has previously been the subject of object detection training by means of an "undeformed" database (that is to say containing images (and any data representative of the objects they contain) that have not undergone deformation identical to that introduced by its on-board camera), and to apply to each image acquired (having a first deformation due to its camera), a second deformation, the reverse of the first deformation, in order to obtain an undeformed image which is then supplied to the neural network so that it detects areas of interest each containing an object. Next, the first deformation is applied to each detected area of interest, then each object contained in an area of interest identical to an area of interest which has just undergone the first deformation is detected in the acquired image. This second solution certainly makes it possible to use the same database (not distorted) and the same neural network, but it requires a large amount of computation and a large additional memory.
L’invention a donc notamment pour but d’améliorer la situation. One of the aims of the invention is therefore to improve the situation.
Présentation de l’invention Presentation of the invention
Elle propose notamment à cet effet un procédé d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule. For this purpose, it proposes in particular an assistance method intended to assist the driving of an at least partially autonomous driving vehicle, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N> 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
Ce procédé d’assistance se caractérise par le fait qu’il comprend : This assistance process is characterized by the fact that it includes:
- une première étape dans laquelle on obtient au moins une image de l’environnement du véhicule, acquise avec le capteur, - a first step in which at least one image of the vehicle environment is obtained, acquired with the sensor,
- une deuxième étape dans laquelle on analyse l’image obtenue avec un réseau de neurones, ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant la première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, on applique à chaque zone d’intérêt de cette image obtenue une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire, puis on analyse chaque zone d’intérêt intermédiaire avec le réseau de neurones afin de déterminer un objet non déformé qu’elle contient, puis on applique la première déformation à chaque objet non déformé déterminé pour obtenir un objet déformé, puis on détecte chaque objet déformé dans l’image obtenue et on détermine des informations qui le représentent, et a second step in which the image obtained is analyzed with a neural network, having been the subject of object detection training by means of a database storing non-deformed environmental images and images of known objects having the first deformation, to determine whether it contains at least one area of interest comprising a known object, then, if so, a second deformation is applied to each area of interest of this obtained image, inverse of the first deformation, to obtain an intermediate area of interest, then we analyze each intermediate area of interest with the neural network in order to determine an undeformed object that it contains, then we apply the first deformation to each object not deformed determined to obtain a deformed object, then each deformed object is detected in the image obtained and information is determined which represents it, and
- une troisième étape dans laquelle on génère une instruction de conduite configurée pour adapter la conduite du véhicule, en fonction des informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée. Grâce à cette application des première et seconde déformations sur les seules zones d’intérêt on peut limiter notablement la quantité de calculs à réaliser et la capacité de la mémoire supplémentaire. a third step in which a driving instruction configured to adapt the driving of the vehicle is generated, according to the information determined for each object contained in a determined area of interest. Thanks to this application of the first and second deformations on the only areas of interest, it is possible to significantly limit the quantity of calculations to be carried out and additional memory capacity.
Le procédé d’assistance selon l’invention peut comporter d’autres caractéristiques qui peuvent être prises séparément ou en combinaison, et notamment : The assistance method according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
- dans sa deuxième étape le réseau de neurones peut effectuer chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et associées à des données représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant la première déformation et associées à des données représentatives de leurs objets déformés ; - in its second step, the neural network can perform each analysis after having been the object of an object detection training by means of a database storing non-deformed environmental images and associated with representative data known objects which they contain and images of known objects having the first deformation and associated with data representative of their deformed objects;
- dans sa deuxième étape on peut analyser l’image obtenue avec une première partie du réseau de neurones, adaptée par apprentissage à la détermination de zones d’intérêt, et on peut analyser chaque zone d’intérêt intermédiaire avec une seconde partie du réseau de neurones, adaptée par apprentissage à la détermination d’objets non déformés ; - in its second step, the image obtained can be analyzed with a first part of the neural network, adapted by learning to determine areas of interest, and each intermediate area of interest can be analyzed with a second part of the network of neurons, adapted by training to the determination of non-deformed objects;
- dans sa deuxième étape on peut déterminer dans chaque image obtenue la voie de circulation sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation, puis on peut déterminer dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation sur laquelle circule le véhicule. Dans ce cas, dans sa troisième étape on peut générer l’instruction de conduite en fonction de la position relative de chaque voie de circulation déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation. - in its second step it is possible to determine in each image obtained the traffic lane on which a determined object is located and the relative position of this determined object in its traffic lane, then it is possible to determine in each image obtained the relative position of each lane determined for each object determined with respect to the lane on which the vehicle is traveling. In this case, in its third step, the driving instruction can be generated according to the relative position of each traffic lane determined for each determined object and the relative position of each determined object in its traffic lane.
L’invention propose également un dispositif d’assistance destiné à assister la conduite d’un véhicule à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule. The invention also proposes an assistance device intended to assist the driving of an at least partially autonomous driving vehicle, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N > 1, and comprising at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle.
Ce dispositif d’assistance se caractérise par le fait qu’il comprend au moins un processeur et au moins une mémoire agencés pour effectuer les opérations consistant à : This assistance device is characterized by the fact that it comprises at least one processor and at least one memory arranged to perform the operations. consists in :
- obtenir au moins une image de l’environnement acquise par le capteur, - obtain at least one image of the environment acquired by the sensor,
- analyser l’image obtenue avec un réseau de neurones, ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant la première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, appliquer à chaque zone d’intérêt de cette image obtenue une seconde déformation, inverse de la première déformation, pour obtenir une zone d’intérêt intermédiaire, puis analyser chaque zone d’intérêt intermédiaire avec le réseau de neurones afin de déterminer un objet non déformé qu’elle contient, puis appliquer la première déformation à chaque objet non déformé déterminé pour obtenir un objet déformé, puis détecter chaque objet déformé dans l’image obtenue et déterminer des informations qui le représentent, et - analyze the image obtained with a neural network, having been the subject of an object detection training by means of a database storing non-deformed environmental images and images of known objects having the first deformation, to determine if it contains at least one area of interest comprising a known object, then, if so, apply to each area of interest of this image obtained a second deformation, the reverse of the first deformation, for obtain an intermediate zone of interest, then analyze each intermediate zone of interest with the neural network in order to determine an undeformed object that it contains, then apply the first deformation to each determined undeformed object to obtain a deformed object, then detect each distorted object in the obtained image and determine information that represents it, and
- générer une instruction de conduite configurée pour adapter la conduite du véhicule, en fonction des informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée. - generate a driving instruction configured to adapt the driving of the vehicle, according to the information determined for each object contained in a determined area of interest.
L’invention propose également un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement, est propre à mettre en œuvre un procédé d’assistance du type de celui présenté ci-avant pour adapter la conduite d’un véhicule à conduite au moins partiellement autonome. The invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means, is suitable for implementing an assistance method of the type of that presented above for adapt the driving of a vehicle to at least partially autonomous driving.
L’invention propose également un véhicule, éventuellement de type automobile, à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur acquérant des images, ayant une première déformation, d’un environnement au moins devant le véhicule et un dispositif d’assistance du type de celui présenté ci-avant. The invention also proposes a vehicle, optionally of the automobile type, with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes each defined by two delimitations, with N> 1, and comprising at least at least one sensor acquiring images, having a first deformation, of an environment at least in front of the vehicle and an assistance device of the type of that presented above.
Brève description des figures Brief description of the figures
D’autres caractéristiques et avantages de l’invention apparaîtront à l’examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : [Fig. 1] illustre schématiquement et fonctionnellement un véhicule situé sur l’une des deux voies de circulation d’une portion de route et équipé d’un capteur et d’un calculateur comportant un exemple de dispositif d’assistance selon l’invention, Other characteristics and advantages of the invention will become apparent on examination of the detailed description below, and of the appended drawings, in which: [Fig. 1] illustrates schematically and functionally a vehicle located on one of the two traffic lanes of a portion of the road and equipped with a sensor and a computer comprising an example of an assistance device according to the invention,
[Fig. 2] illustre schématiquement un exemple d’algorithme mettant en œuvre un procédé d’assistance selon l’invention, et [Fig. 2] schematically illustrates an example of an algorithm implementing an assistance method according to the invention, and
[Fig. 3] illustre schématiquement et fonctionnellement un exemple de réalisation d’un dispositif d’assistance selon l’invention. [Fig. 3] illustrates schematically and functionally an exemplary embodiment of an assistance device according to the invention.
Description détaillée de l’invention Detailed description of the invention
L’invention a notamment pour but de proposer un procédé d’assistance à la conduite, et un dispositif d’assistance à la conduite DA associé, destinés à permettre l’assistance à la conduite d’un véhicule V1 à conduite automatisée (ou autonome). The object of the invention is in particular to provide a method of driving assistance, and an associated DA driving assistance device, intended to allow assistance in driving a vehicle V1 with automated (or autonomous driving) driving. ).
Dans ce qui suit, on considère, à titre d’exemple non limitatif, que le véhicule V1 à conduite automatisée (ou autonome), ci-après appelé premier véhicule, est de type automobile. Il s’agit par exemple d’une voiture, comme illustré non limitativement sur la figure 1 . Mais l’invention n’est pas limitée à ce type de véhicule. Elle concerne en effet tout type de véhicule terrestre à conduite au moins partiellement automatisée et pouvant circuler sur des voies de circulation terrestres. Ainsi, il pourra aussi s’agir d’un véhicule utilitaire, d’un cyclomoteur, d’une motocyclette, d’un minibus, d’un car, d’un robot de stockage dans un entrepôt, ou d’un engin de voirie, par exemple. In what follows, it is considered, by way of nonlimiting example, that the automated (or autonomous) driving vehicle V1, hereinafter called the first vehicle, is of the automobile type. This is for example a car, as illustrated without limitation in Figure 1. But the invention is not limited to this type of vehicle. It relates in fact to any type of land vehicle with at least partially automated driving and able to travel on land traffic routes. Thus, it could also be a utility vehicle, a moped, a motorcycle, a minibus, a bus, a storage robot in a warehouse, or a storage vehicle. roads, for example.
On a schématiquement et fonctionnellement représenté sur la figure 1 un premier véhicule V1 (à conduite automatisée (ou autonome)), circulant sur l’une des deux voies de circulation VCk (k = 1 ou 2) d’une portion de route R, ici encadrée par des rambardes de sécurité RS. On notera que la première voie de circulation VC1 est ici séparée de la rambarde de sécurité RS droite par une bande d’arrêt d’urgence BAU. Par ailleurs, cette première voie de circulation VC1 est délimitée par deux délimitations di et 02, et la seconde voie de circulation VC2 est délimitée par deux délimitations 02 et d3. There is schematically and functionally shown in Figure 1 a first vehicle V1 (automated (or autonomous) driving), traveling on one of the two traffic lanes VCk (k = 1 or 2) of a road portion R, here framed by RS security guardrails. Note that the first taxiway VC1 is here separated from the right RS safety railing by an emergency lane BAU. Furthermore, this first traffic lane VC1 is delimited by two delimitations di and 02, and the second traffic lane VC2 is delimited by two delimitations 02 and d3.
On notera également que l’invention concerne toute portion de route comprenant au moins une voie de circulation. Par conséquent, le nombre N de voies de circulation d’une portion de route peut prendre n’importe quelle valeur supérieure ou égale à un (soit N > 1 ). It will also be noted that the invention relates to any portion of road comprising at least one traffic lane. Therefore, the number N of lanes of a road section can take any value greater than or equal to one (ie N> 1).
Ce premier véhicule V1 comprend au moins un capteur CP et un exemple de réalisation d’un dispositif d’assistance à la conduite DA selon l’invention. This first vehicle V1 comprises at least one CP sensor and an exemplary embodiment of a DA driving assistance device according to the invention.
Ce capteur CP est chargé d’acquérir des images numériques dans l’environnement qui est situé au moins devant le premier véhicule V1 . Par ailleurs, ce capteur CP introduit une première déformation d1 connue dans les images d’environnement qu’il acquiert. This CP sensor is responsible for acquiring digital images in the environment which is located at least in front of the first vehicle V1. Furthermore, this CP sensor introduces a first known deformation d1 in the environmental images that it acquires.
On notera que le nombre de capteurs CP (chargés d’acquérir des images numériques) est ici égal à un (1 ). Mais ce nombre peut prendre n’importe quelle valeur supérieure ou égale à un (1 ), dès lors que cela permet d’acquérir des images numériques dans l’environnement situé au moins devant le premier véhicule V1 . Note that the number of CP sensors (responsible for acquiring digital images) is here equal to one (1). But this number can take any value greater than or equal to one (1), as long as this makes it possible to acquire digital images in the environment located at least in front of the first vehicle V1.
Par exemple, le capteur CP peut comprendre au moins une caméra installée dans une partie avant du véhicule (par exemple sur le pare-brise ou sur le rétroviseur intérieur), et chargée d’acquérir des images numériques au moins devant le premier véhicule V1 et éventuellement sur une partie au moins de ses deux côtés latéraux. For example, the sensor CP can comprise at least one camera installed in a front part of the vehicle (for example on the windshield or on the interior rear-view mirror), and responsible for acquiring digital images at least in front of the first vehicle V1 and possibly on at least part of its two lateral sides.
En complément du capteur CP, le premier véhicule V1 peut aussi comprendre au moins un capteur à ultrasons et/ou au moins un radar ou lidar installé(s) à l’avant ou à l’arrière ou sur au moins un côté latéral du premier véhicule V1 , et/ou au moins une caméra installée dans une partie arrière. In addition to the CP sensor, the first vehicle V1 can also include at least one ultrasonic sensor and / or at least one radar or lidar installed at the front or at the rear or on at least one lateral side of the first vehicle V1, and / or at least one camera installed in a rear part.
Comme évoqué plus haut, l’invention propose notamment un procédé d’assistance à la conduite destiné à permettre l’assistance à la conduite du premier véhicule V1 . As mentioned above, the invention notably provides a driving assistance method intended to allow driving assistance of the first V1 vehicle.
Ce procédé d’assistance (à la conduite) peut être au moins partiellement mis en œuvre par le dispositif d’assistance (à la conduite) DA qui comprend à cet effet au moins un processeur PR, par exemple de signal numérique (ou DSP (« Digital Signal Processor »)), et une mémoire MD. This (driving) assistance method can be at least partially implemented by the (driving) assistance device DA which comprises for this purpose at least one processor PR, for example a digital signal (or DSP ( “Digital Signal Processor”)), and MD memory.
Dans l’exemple illustré non limitativement sur la figure 1 , le dispositif d’assistance (à la conduite) DA fait partie d’un calculateur CA du premier véhicule V1 . Mais cela n’est pas obligatoire. En effet, le dispositif d’assistance DA pourrait comprendre son propre calculateur. Par conséquent, le dispositif d’assistance DA peut être réalisé sous la forme d’une combinaison de circuits ou composants électriques ou électroniques (ou « hardware ») et de modules logiciels (ou « software »). La mémoire MD est vive afin de stocker des instructions pour la mise en œuvre par le processeur PR du procédé d’assistance. In the example illustrated without limitation in FIG. 1, the assistance device (driving) DA forms part of a computer CA of the first vehicle V1. But it is not compulsory. Indeed, the assistance device DA could include its own computer. Therefore, the device DA assistance can be implemented in the form of a combination of circuits or electrical or electronic components (or "hardware") and software modules (or "software"). The memory MD is live in order to store instructions for the implementation by the processor PR of the assistance method.
A titre d’exemple, le calculateur CA peut être dédié au contrôle complet de la conduite du premier véhicule V1 pendant chaque phase de conduite automatisée (ou autonome). For example, the CA computer can be dedicated to complete control of the driving of the first V1 vehicle during each phase of automated (or autonomous) driving.
Comme illustré sur la figure 2, le procédé d’assistance, selon l’invention, comprend trois étapes qui pour au moins l’une d’entre elles nécessite la présence d’un réseau de neurones RN ayant fait l’objet d’un apprentissage de détection d’objets préalable au moyen d’une base de données qui stocke au moins des images d’environnement non déformées et des images d’objets connus ayant la première déformation d1 due au capteur CP. Cette base de données peut donc être considérée comme une base de données normale (c’est-à-dire stockant au moins des images d’environnement non déformées) à laquelle on a adjoint des images d’objets connus ayant la première déformation d1 . Ces objets (ou obstacles) connus sont, par exemple, des véhicules de différents types ou des piétons ou des animaux de différentes espèces et/ou tailles ou des objets inanimés de différents types que l’on peut parfois rencontrer sur une voie de circulation VCk (ou plus généralement sur une portion de route R). As illustrated in FIG. 2, the assistance method, according to the invention, comprises three steps which for at least one of them requires the presence of a neural network RN which has been the subject of a prior object detection learning by means of a database which stores at least non-deformed environmental images and known object images having the first deformation d1 due to the sensor CP. This database can therefore be considered as a normal database (that is to say, storing at least non-deformed environmental images) to which images of known objects having the first deformation d1 have been added. These known objects (or obstacles) are, for example, vehicles of different types or pedestrians or animals of different species and / or sizes or inanimate objects of different types that can sometimes be encountered on a traffic lane VCk (or more generally on a section of road R).
On comprendra qu’une fois que le réseau de neurones RN a fait l’objet de son apprentissage de détection d’objets au moyen de cette base de données particulière, il peut équiper un véhicule qui ne comprend pas cette dernière. Par exemple, et comme illustré non limitativement sur la figure 3, le réseau de neurones RN peut faire partie du processeur PR. It will be understood that once the RN neural network has been the subject of its object detection training using this particular database, it can equip a vehicle which does not include the latter. For example, and as illustrated without limitation in FIG. 3, the neural network RN can form part of the processor PR.
Dans une première étape 10 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par obtenir au moins une image de l’environnement du premier véhicule V1 acquise avec le capteur CP. In a first step 10 of the assistance method, we (the PR processor and the MD memory) begin by obtaining at least one image of the environment of the first vehicle V1 acquired with the sensor CP.
Dans une deuxième étape 20-70 du procédé d’assistance, on (le processeur PR et la mémoire MD) commence(nt) par analyser dans une première sous- étape 20 l’image obtenue avec le réseau de neurones RN, afin de tenter de déterminer au moins une zone d’intérêt ZI comportant un objet (ou obstacle) connu. In a second step 20-70 of the assistance method, we (the processor PR and the memory MD) begin (s) by analyzing in a first sub-step 20 the image obtained with the neural network RN, in order to attempt of determining at least one zone of interest ZI comprising a known object (or obstacle).
Puis, dans une deuxième sous-étape 30 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) peu(ven)t effectuer un test pour déterminer si au moins une zone d’intérêt ZI, comportant un objet (ou obstacle) connu, a été déterminée lors de l’analyse. Then, in a second sub-step 30 of the second step 20-70, one (the processor PR and the memory MD) can carry out a test to determine whether at least one zone of interest ZI, comprising an object (or obstacle) known, was determined during the analysis.
Dans la négative, on (le processeur PR et la mémoire MD) retourne effectuer la première étape 10 pour obtenir une nouvelle image acquise par le capteur CP. If not, we (the processor PR and the memory MD) return to perform the first step 10 to obtain a new image acquired by the sensor CP.
En revanche, dans l’affirmative, on (le processeur PR et la mémoire MD) applique(nt), dans une troisième sous-étape 40 de la deuxième étape 20-70, à la (chaque) zone d’intérêt ZI de l’image obtenue une seconde déformation d2, qui est mathématiquement l’inverse de la première déformation d1 , pour obtenir une zone d’intérêt intermédiaire Zll (ici d2(ZI) = Zll). On the other hand, in the affirmative, we (the processor PR and the memory MD) apply (s), in a third sub-step 40 of the second step 20-70, to the (each) zone of interest ZI of the 'image obtained a second deformation d2, which is mathematically the inverse of the first deformation d1, to obtain an intermediate zone of interest Zll (here d2 (ZI) = Zll).
Puis, dans une quatrième sous-étape 50 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) analyse(nt) la (chaque) zone d’intérêt intermédiaire Zll avec le réseau de neurones RN afin de déterminer un objet non déformé OND qu’elle contient. Then, in a fourth sub-step 50 of the second step 20-70, we (the processor PR and the memory MD) analyze (s) the (each) intermediate zone of interest Z11 with the neural network RN in order to determine an undistorted OND object that it contains.
Puis, dans une cinquième sous-étape 60 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) applique(nt) la première déformation d1 à chaque objet non déformé OND déterminé pour obtenir un objet déformé OD (ici d1 (OND) = OD). Then, in a fifth sub-step 60 of the second step 20-70, we (the processor PR and the memory MD) apply (s) the first deformation d1 to each undeformed object OND determined to obtain a deformed object OD (here d1 (OND) = OD).
Puis, dans une sixième sous-étape 70 de la deuxième étape 20-70, on (le processeur PR et la mémoire MD) détecte(nt) chaque objet déformé OD dans l’image obtenue dans la première étape 10, et détemnine(nt) des informations qui représentent chaque objet déformé OD. La détermination de chaque objet déformé OD dans l’image obtenue lors de la première étape 10 étant très fiable, les informations représentant chaque objet déformé OD sont donc aussi très fiables. Then, in a sixth substep 70 of the second step 20-70, one (the processor PR and the memory MD) detects (s) each deformed object OD in the image obtained in the first step 10, and detemninates (s) ) information that represents each deformed object OD. The determination of each OD deformed object in the image obtained in the first step 10 being very reliable, the information representing each OD deformed object is therefore also very reliable.
Par exemple, le processeur PR et la mémoire MD peuvent déterminer dans l’image obtenue la voie de circulation VCk sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation VCk. Puis, le processeur PR et la mémoire MD peuvent déterminer dans l’image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à la voie de circulation VC1 sur laquelle circule le premier véhicule V1 . Ces différentes positions constituent des informations représentatives de chaque objet déformé OD.For example, the processor PR and the memory MD can determine in the image obtained the traffic lane VCk on which a determined object is located and the relative position of this determined object in its traffic lane VCk. Then, the PR processor and the MD memory can determine in the image obtained the relative position of each traffic lane determined for each object determined with respect to the traffic lane VC1 on which the first vehicle V1 is traveling. These different positions constitute information representative of each deformed object OD.
Le processeur PR et la mémoire MD peu(ven)t, par exemple, déterminer chaque voie de circulation VCk sur laquelle est situé un objet déterminé en fonction de ses délimitations (ici di et 02, ou 02 et d3) détectées sur l’image obtenue ou définies par des données d’une cartographie routière représentatives de la portion de route R. Cette dernière (R) est déterminée à chaque instant en fonction de la position en cours du premier véhicule V1 qui est fournie par un dispositif d’aide à la navigation DN qui est présent dans le premier véhicule V1 de façon permanente (comme illustré sur la figure 1 de façon non limitative), ou de façon temporaire (lorsqu’il fait partie d’un équipement portable ou d’un téléphone mobile intelligent (ou smartphone ») ou d’une tablette accompagnant un passager). La cartographie routière peut faire partie du dispositif d’aide à la navigation DN précité. Dans ce cas, les données de cartographie routière sont stockées dans une mémoire du dispositif d’aide à la navigation DN ou sur un support de stockage (comme par exemple un CDROM) installé dans un lecteur du premier véhicule V1 . En variante, les données de cartographie routière peuvent être téléchargées auprès d’un serveur accessible par voie d’ondes via un module de communication équipant le premier véhicule V1 , à la demande du dispositif d’assistance DA. The processor PR and the memory MD can, for example, determine each traffic lane VCk on which a determined object is located as a function of its boundaries (here di and 02, or 02 and d3) detected on the image obtained or defined by data from a road map representative of the road portion R. The latter (R) is determined at each instant as a function of the current position of the first vehicle V1 which is supplied by a device for assisting navigation DN which is present in the first vehicle V1 permanently (as illustrated in Figure 1 without limitation), or temporarily (when it is part of a portable equipment or a smart mobile phone ( or smartphone ”) or a tablet accompanying a passenger). Road mapping can be part of the aforementioned DN navigation aid device. In this case, the road map data is stored in a memory of the navigation aid device DN or on a storage medium (such as a CDROM, for example) installed in a player of the first vehicle V1. Alternatively, the road map data can be downloaded from a server accessible over the air via a communication module fitted to the first vehicle V1, at the request of the DA assistance device.
Enfin, dans une troisième étape 80 du procédé d’assistance, on (le processeur PR et la mémoire MD) génère(nt) une instruction de conduite qui est configurée pour adapter la conduite du premier véhicule V1 , en fonction des informations déterminées dans la sixième sous-étape 70 pour chaque objet contenu dans une zone d’intérêt ZI déterminée. Finally, in a third step 80 of the assistance method, we (the processor PR and the memory MD) generate (s) a driving instruction which is configured to adapt the driving of the first vehicle V1, as a function of the information determined in the sixth sub-step 70 for each object contained in a determined area of interest ZI.
Par exemple, l’instruction de conduite peut être déterminée en fonction de la position relative de chaque voie de circulation VCk déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation VCk. For example, the driving instruction can be determined according to the relative position of each traffic lane VCk determined for each determined object and the relative position of each determined object in its travel lane VCk.
Dans l’exemple illustré non limitativement sur la figure 1 , le processeur PR détecte dans l’image obtenue la présence d’un deuxième véhicule V2 devant le premier véhicule V1 et sur la même voie de circulation VC1 que celle sur laquelle circule ce dernier (V1 ), et d’un troisième véhicule V3 devant le premier véhicule V1 et sur la voie de circulation VC2 qui est placée à gauche de celle sur laquelle circule ce dernier (V1 ). L’analyse d’images successives peut, par exemple, permettre de déterminer que le troisième véhicule V3 est en train de dépasser le deuxième véhicule V2. Dans ce cas, l’instruction générée peut réclamer l’adaptation de la vitesse du premier véhicule V1 afin qu’il suive le deuxième véhicule V2 au moins tant que le troisième véhicule V3 n’a pas fini de le dépasser. In the example illustrated without limitation in FIG. 1, the processor PR detects in the image obtained the presence of a second vehicle V2 in front of the first vehicle V1 and on the same traffic lane VC1 as that on which the latter is traveling (V1), and a third vehicle V3 in front of the first vehicle V1 and on the traffic lane VC2 which is placed to the left of that on which circulates the latter (V1). The analysis of successive images can, for example, make it possible to determine that the third vehicle V3 is passing the second vehicle V2. In this case, the instruction generated can request the adaptation of the speed of the first vehicle V1 so that it follows the second vehicle V2 at least as long as the third vehicle V3 has not finished passing it.
Mais d’autres informations, représentatives des objets déterminés et provenant d’autres capteurs embarqués dans le premier véhicule V1 ou fournies par des véhicules voisins de ce dernier (V1 ) ou par l’infrastructure routière (par exemple au moyen de messages de type Car2X ou V2X), peuvent être utilisées en complément par le processeur PR et la mémoire MD pour générer une instruction de conduite. Ainsi, ils peuvent, par exemple, utiliser des informations dynamiques telles que des vitesses (éventuellement relatives). But other information, representative of the determined objects and coming from other sensors on board the first vehicle V1 or supplied by vehicles neighboring the latter (V1) or by the road infrastructure (for example by means of messages of the Car2X type or V2X), can be used in addition by the PR processor and the MD memory to generate a drive instruction. Thus, they can, for example, use dynamic information such as speeds (possibly relative).
Grâce à l’application dans chaque véhicule V1 des déformations d2 et d1 sur les seules zones d’intérêt, on peut limiter notablement la quantité de calculs à réaliser et la capacité de la mémoire supplémentaire. Par conséquent, l’invention offre les avantages des première et seconde solutions de l’art antérieur (présentées dans la partie introductive) mais pas les inconvénients principaux de ces dernières. En outre, l’apprentissage du réseau de neurones RN peut se faire au moyen d’une base de données (comportant au moins des images non déformées et des images d’objets ayant la première déformation d1 induite par le capteur CP du véhicule V1 ), dont le poids est peu augmenté par rapport à celui d’une base de données de l’art antérieur, ce qui facilite sa mise en œuvre. Thanks to the application in each vehicle V1 of the deformations d2 and d1 only on the areas of interest, it is possible to significantly limit the amount of calculations to be carried out and the capacity of the additional memory. Therefore, the invention offers the advantages of the first and second solutions of the prior art (presented in the introductory part) but not the main disadvantages of the latter. In addition, the learning of the neural network RN can be done by means of a database (comprising at least non-deformed images and images of objects having the first deformation d1 induced by the sensor CP of the vehicle V1) , the weight of which is little increased compared to that of a database of the prior art, which facilitates its implementation.
De préférence, dans la deuxième étape 20-70 le réseau de neurones RN peut effectuer chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données qui stocke des images d’environnement non déformées et associées à des données (ou annotations) représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant la première déformation d1 et associées à des données (ou annotations) représentatives de leurs objets déformés. Cela permet de faciliter les calculs que doit effectuer le processeur PR. Ces données (ou annotations) associées peuvent être, par exemple, des types d’objet (véhicules de différents types, piétons, animaux de différentes espèces et/ou tailles, objets inanimés de différents types), ou des contours d’objets. Preferably, in the second step 20-70 the neural network RN can perform each analysis after having been the object of an object detection training by means of a database which stores images of non-environment. deformed and associated with data (or annotations) representative of the known objects they contain and images of known objects having the first deformation d1 and associated with data (or annotations) representative of their distorted objects. This makes it possible to facilitate the calculations which the processor PR must perform. These associated data (or annotations) can be, for example, types of object (vehicles of different types, pedestrians, animals of different species and / or sizes, inanimate objects of different types), or outlines of objects.
On notera, comme illustré non limitativement sur la figure 3, que le réseau de neurones RN peut comporter une première partie P1 adaptée par apprentissage à la détermination des zones d’intérêt, et une seconde partie P2 adaptée par apprentissage à la détermination d’objets non déformés OND. Dans ce cas, dans la deuxième étape 20-70 on (le processeur PR et la mémoire MD) peu(ven)t analyser l’image obtenue dans la première étape 10 avec la première partie P1 du réseau de neurones RN (afin de déterminer des zones d’intérêt ZI), et analyser chaque zone d’intérêt intermédiaire Zll avec la seconde partie P2 du réseau de neurones RN afin de déterminer les objets non déformés OND. It will be noted, as illustrated without limitation in FIG. 3, that the neural network RN can comprise a first part P1 adapted by training to the determination of the areas of interest, and a second part P2 adapted by training to the determination of objects. undistorted OND. In this case, in the second step 20-70 we (the processor PR and the memory MD) can analyze the image obtained in the first step 10 with the first part P1 of the neural network RN (in order to determine zones of interest ZI), and analyze each intermediate zone of interest Z11 with the second part P2 of the neural network RN in order to determine the non-deformed objects OND.
On notera également que l’invention propose aussi un produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement de type circuits électroniques (ou hardware), comme par exemple le processeur PR, est propre à mettre en œuvre le procédé d’assistance à la conduite décrit ci-avant pour assister la conduite du premier véhicule V1 . It will also be noted that the invention also proposes a computer program product comprising a set of instructions which, when it is executed by processing means of the electronic circuit (or hardware) type, such as for example the processor PR, is suitable for implementing the driving assistance method described above to assist driving the first vehicle V1.
On notera également que sur la figure 1 le dispositif d’assistance DA est très schématiquement illustré avec seulement sa mémoire vive MD et son processeur PR qui peut comprendre des circuits intégrés (ou imprimés), ou bien plusieurs circuits intégrés (ou imprimés) reliés par des connections filaires ou non filaires. On entend par circuit intégré (ou imprimé) tout type de dispositif apte à effectuer au moins une opération électrique ou électronique. Mais, comme illustré non limitativement sur la figure 3, le dispositif d’assistance DA peut aussi comprendre une mémoire de masse MM, notamment pour le stockage des données d’images acquises et des données intermédiaires intervenant dans tous ses calculs et traitements. Par ailleurs, ce dispositif d’assistance DA peut aussi comprendre une interface d’entrée IE pour la réception d’au moins les données d’images acquises, les éventuelles données de position du premier véhicule V1 , et les éventuelles données de cartographie routière, pour les utiliser dans des calculs ou traitements, éventuellement après les avoir mises en forme et/ou démodulées et/ou amplifiées, de façon connue en soi, au moyen d’un processeur de signal numérique PR’. De plus, ce dispositif d’assistance DA peut aussi comprendre une interface de sortie IS, notamment pour la transmission des instructions qu’il génère. It will also be noted that in FIG. 1 the assistance device DA is very schematically illustrated with only its random access memory MD and its processor PR which can comprise integrated circuits (or printed), or else several integrated circuits (or printed) connected by wired or wireless connections. By integrated (or printed) circuit is meant any type of device capable of performing at least one electrical or electronic operation. However, as illustrated without limitation in FIG. 3, the assistance device DA can also include a mass memory MM, in particular for the storage of the acquired image data and of the intermediate data involved in all its calculations and processing. Furthermore, this DA assistance device can also include an input interface IE for receiving at least the acquired image data, any data position of the first vehicle V1, and any road map data, for use in calculations or processing, possibly after having shaped and / or demodulated and / or amplified, in a manner known per se, by means of a digital signal processor PR '. In addition, this assistance device DA can also include an output interface IS, in particular for the transmission of the instructions that it generates.
On notera également qu’une ou plusieurs étapes et/ou une ou plusieurs sous- étapes de la deuxième étape du procédé d’assistance à la conduite peuvent être effectuées par des composants différents. Ainsi, le procédé d’assistance à la conduite peut-être mis en œuvre par une pluralité de processeurs de signal numérique, mémoire vive, mémoire de masse, interface d’entrée, interface de sortie. It will also be noted that one or more steps and / or one or more sub-steps of the second step of the driving assistance method can be carried out by different components. Thus, the driving assistance method can be implemented by a plurality of digital signal processors, random access memory, mass memory, input interface, output interface.

Claims

REVENDICATIONS
1 . Procédé d’assistance de la conduite d’un véhicule (V1 ) à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation (VCk) définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur (CP) acquérant des images, ayant une première déformation, d’un environnement au moins devant ledit véhicule (V1 ), caractérisé en ce qu’il comprend : 1. Method of assisting the driving of a vehicle (V1) with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes (VCk) each defined by two delimitations, with N> 1 , and comprising at least one sensor (CP) acquiring images, having a first deformation, of an environment at least in front of said vehicle (V1), characterized in that it comprises:
- une première étape (10) dans laquelle on obtient au moins une image dudit environnement acquise avec ledit capteur (CP), - a first step (10) in which at least one image of said environment is obtained, acquired with said sensor (CP),
- une deuxième étape (20-70) dans laquelle on analyse ladite image obtenue avec un réseau de neurones (RN), ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant ladite première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, on applique à ladite zone d’intérêt de cette image obtenue une seconde déformation, inverse de ladite première déformation, pour obtenir une zone d’intérêt intermédiaire, puis on analyse ladite zone d’intérêt intermédiaire avec ledit réseau de neurones (RN) afin de déterminer un objet non déformé qu’elle contient, puis on applique ladite première déformation audit objet non déformé déterminé pour obtenir un objet déformé, puis on détecte cet objet déformé dans ladite image obtenue et on détermine des informations qui le représentent, et - a second step (20-70) in which the said image obtained is analyzed with a neural network (RN), having been the subject of an object detection training by means of a database storing images environment and images of known objects having said first deformation, to determine whether it contains at least one area of interest comprising a known object, then, if so, applying to said area of interest this image obtained a second deformation, the inverse of said first deformation, to obtain an intermediate area of interest, then said intermediate area of interest is analyzed with said neural network (RN) in order to determine an undeformed object that it contains , then said first deformation is applied to said determined non-deformed object to obtain a deformed object, then this deformed object is detected in said obtained image and information is determined which represents it, and
- une troisième étape (80) dans laquelle on génère une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1 ), en fonction desdites informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée. - a third step (80) in which a driving instruction is generated configured to adapt the driving of said vehicle (V1), based on said information determined for each object contained in a determined area of interest.
2. Procédé selon la revendication 1 , caractérisé en ce que dans ladite deuxième étape (20-70) ledit réseau de neurones (RN) effectue chaque analyse après avoir fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et associées à des données représentatives des objets connus qu’elles contiennent et des images d’objets connus ayant ladite première déformation et associées à des données représentatives de leurs objets déformés. 2. Method according to claim 1, characterized in that in said second step (20-70) said neural network (RN) performs each analysis after having been the subject of a learning object detection by means of a database storing non-deformed environmental images associated with data representative of the known objects that they contain and images of known objects having said first deformation and associated with data representative of their deformed objects.
3. Procédé selon la revendication 1 ou 2, caractérisé en ce que dans ladite deuxième étape (20-70) on analyse ladite image obtenue avec une première partie (P1 ) dudit réseau de neurones (RN), adaptée par apprentissage à la détermination de zones d’intérêt, et on analyse ladite zone d’intérêt intermédiaire avec une seconde partie (P2) dudit réseau de neurones (RN), adaptée par apprentissage à la détermination d’objets non déformés. 3. Method according to claim 1 or 2, characterized in that in said second step (20-70) said image obtained is analyzed with a first part (P1) of said neural network (RN), adapted by learning to the determination of zones of interest, and said intermediate zone of interest is analyzed with a second part (P2) of said neural network (RN), adapted by learning to the determination of non-deformed objects.
4. Procédé selon l’une des revendications 1 à 3, caractérisé en ce que dans ladite deuxième étape (20-70) on détermine dans chaque image obtenue la voie de circulation (VCk) sur laquelle est situé un objet déterminé et la position relative de cet objet déterminé dans sa voie de circulation (VCk), puis on détermine dans chaque image obtenue la position relative de chaque voie de circulation déterminée pour chaque objet déterminé par rapport à ladite voie de circulation (VCk) sur laquelle circule ledit véhicule (V1 ), et dans ladite troisième étape (80) on génère ladite instruction de conduite en fonction de la position relative de chaque voie de circulation (VCk) déterminée pour chaque objet déterminé et de la position relative de chaque objet déterminé dans sa voie de circulation (VCk). 4. Method according to one of claims 1 to 3, characterized in that in said second step (20-70) is determined in each image obtained the traffic lane (VCk) on which is located a determined object and the relative position of this determined object in its traffic lane (VCk), then in each image obtained the relative position of each determined traffic lane is determined for each determined object with respect to said traffic lane (VCk) on which said vehicle (V1) is traveling ), and in said third step (80) said driving instruction is generated as a function of the relative position of each traffic lane (VCk) determined for each determined object and of the relative position of each determined object in its travel lane ( VCk).
5. Produit programme d’ordinateur comprenant un jeu d’instructions qui, lorsqu’il est exécuté par des moyens de traitement, est propre à mettre en œuvre le procédé d’assistance selon l’une des revendications précédentes pour adapter la conduite d’un véhicule (V1 ) à conduite au moins partiellement autonome. 5. Computer program product comprising a set of instructions which, when executed by processing means, is suitable for implementing the assistance method according to one of the preceding claims to adapt the conduct of a vehicle (V1) with at least partially autonomous driving.
6. Dispositif d’assistance (DA) pour assister la conduite d’un véhicule (V1 ) à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation (VCk) définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur (CP) acquérant des images, ayant une première déformation, d’un environnement au moins devant ledit véhicule (V1 ), caractérisé en ce qu’il comprend au moins un processeur (PR) et au moins une mémoire (MD) agencés pour effectuer les opérations consistant à : 6. Assistance device (DA) to assist the driving of a vehicle (V1) with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes (VCk) each defined by two boundaries, with N> 1, and comprising at least one sensor (CP) acquiring images, having a first deformation, of an environment at least in front of said vehicle (V1), characterized in that it comprises at least one processor ( PR) and at least one memory (MD) designed to perform the operations consisting in:
- obtenir au moins une image dudit environnement acquise par ledit capteur (CP), - obtain at least one image of said environment acquired by said sensor (CP),
- analyser ladite image obtenue avec un réseau de neurones (RN), ayant fait l’objet d’un apprentissage de détection d’objets au moyen d’une base de données stockant des images d’environnement non déformées et des images d’objets connus ayant ladite première déformation, pour déterminer si elle contient au moins une zone d’intérêt comportant un objet connu, puis, dans l’affirmative, appliquer à ladite zone d’intérêt de cette image obtenue une seconde déformation, inverse de ladite première déformation, pour obtenir une zone d’intérêt intermédiaire, puis analyser ladite zone d’intérêt intermédiaire avec ledit réseau de neurones (RN) afin de déterminer un objet non déformé qu’elle contient, puis appliquer ladite première déformation audit objet non déformé déterminé pour obtenir un objet déformé, puis détecter cet objet déformé dans ladite image obtenue et déterminer des informations qui le représentent, et - analyze said image obtained with a neural network (RN), having been the subject of an object detection training by means of a database storing non-deformed environment images and object images known objects having said first deformation, to determine whether it contains at least one area of interest comprising a known object, then, if so, applying to said area of interest of this obtained image a second deformation, the inverse of said first deformation , to obtain an intermediate area of interest, then analyze said intermediate area of interest with said neural network (RN) in order to determine an undeformed object that it contains, then apply said first deformation to said determined undeformed object to obtain a deformed object, then detecting this deformed object in said obtained image and determining information which represents it, and
- générer une instruction de conduite configurée pour adapter la conduite dudit véhicule (V1 ), en fonction desdites informations déterminées pour chaque objet contenu dans une zone d’intérêt déterminée. - generate a driving instruction configured to adapt the driving of said vehicle (V1), according to said information determined for each object contained in a determined area of interest.
7. Véhicule (V1 ) à conduite au moins partiellement autonome, circulant sur une portion d’une route comprenant un nombre N de voies de circulation (VCk) définies chacune par deux délimitations, avec N > 1 , et comportant au moins un capteur (CP) acquérant des images, ayant une première déformation, d’un environnement au moins devant ledit véhicule (V1 ), caractérisé en ce qu’il comprend en outre un dispositif d’assistance (DA) selon la revendication 6. 7. Vehicle (V1) with at least partially autonomous driving, traveling on a portion of a road comprising a number N of traffic lanes (VCk) each defined by two boundaries, with N> 1, and comprising at least one sensor ( CP) acquiring images, having a first deformation, of an environment at least in front of said vehicle (V1), characterized in that it further comprises an assistance device (DA) according to claim 6.
8. Véhicule selon la revendication 7, caractérisé en ce qu’il est de type automobile. 8. Vehicle according to claim 7, characterized in that it is of the automotive type.
EP20709283.4A 2019-02-27 2020-02-05 Vehicle driving assistance by reliable determination of objects in deformed images Withdrawn EP3931741A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1902003A FR3093054B1 (en) 2019-02-27 2019-02-27 ASSISTANCE IN DRIVING A VEHICLE, BY RELIABLE DETERMINATION OF OBJECTS IN DEFORMED IMAGES
PCT/FR2020/050200 WO2020174142A1 (en) 2019-02-27 2020-02-05 Vehicle driving assistance by reliable determination of objects in deformed images

Publications (1)

Publication Number Publication Date
EP3931741A1 true EP3931741A1 (en) 2022-01-05

Family

ID=66867537

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20709283.4A Withdrawn EP3931741A1 (en) 2019-02-27 2020-02-05 Vehicle driving assistance by reliable determination of objects in deformed images

Country Status (3)

Country Link
EP (1) EP3931741A1 (en)
FR (1) FR3093054B1 (en)
WO (1) WO2020174142A1 (en)

Also Published As

Publication number Publication date
WO2020174142A1 (en) 2020-09-03
FR3093054A1 (en) 2020-08-28
FR3093054B1 (en) 2021-05-28

Similar Documents

Publication Publication Date Title
WO2016042106A1 (en) Localisation and mapping method and system
EP3980308B1 (en) Method for calculating the lateral position of a motor vehicle
WO2015121546A1 (en) Method for determining a speed limit in force on a road taken by a motor vehicle
EP3931056B1 (en) Regulation of the speed of a vehicle when overtaking on a bend
FR3120040A1 (en) Method for activating an obstacle avoidance system for a motor vehicle
EP3931741A1 (en) Vehicle driving assistance by reliable determination of objects in deformed images
EP3938949B1 (en) Training of a neuronal network, for assistance in driving a vehicle by determining lane boundaries which are difficult to observe
EP3877228B1 (en) Construction by segmentation of virtual lanes on a carriageway
FR3092545A1 (en) ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE TRAFFIC LANE IN WHICH AN OBJECT IS LOCATED
WO2017140969A1 (en) Device and method for estimating the attention level of a driver of a vehicle
FR3082044A1 (en) METHOD AND DEVICE FOR DETECTING THE TRACK ON WHICH A VEHICLE IS MOVING, ACCORDING TO THE DETERMINED DETERMINATIONS
FR3093311A1 (en) ASSISTANCE IN DRIVING A VEHICLE, BY DETERMINING THE CONTROLLABILITY OF ITS DRIVING
FR3106108A1 (en) Method and device for determining the trajectory of a road
FR3084628A1 (en) METHOD FOR DETERMINING A TYPE OF PARKING LOCATION
WO2021249809A1 (en) Method for calibrating a camera and associated device
FR3139227A1 (en) Method and device for detecting a nearby object to control driving assistance for an autonomous vehicle.
FR3082935A1 (en) ANALYSIS METHOD AND DEVICE FOR DETERMINING A CLOTHOIDE REPRESENTING AN ELEMENT OF A ROAD ON WHICH A VEHICLE IS MOVING
WO2019220030A1 (en) Method and device for assisting the automated driving of a vehicle by determining the safety of a proposed trajectory
FR3100641A1 (en) DETERMINATION OF REAL-TIME ENVIRONMENTAL INFORMATION AND SELECTIVE REGRESSION, FOR A SYSTEM
FR3036498A1 (en) METHOD AND SYSTEM FOR ONLINE LOCATION OF A MOTOR VEHICLE
FR3137780A1 (en) Method and device for determining a rear route of at least one lateral delimitation of a traffic lane
EP4227912A1 (en) Method for detecting a central line of a road
FR3116501A1 (en) Method and device for determining a virtual boundary line between two traffic lanes.
FR3100016A1 (en) Method and system for managing a movement of a motor vehicle
FR3135240A1 (en) Method and device for controlling a vehicle driving assistance system based on the detection of a traffic sign and a lane change

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210716

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP3 Party data changed (applicant data changed or rights of an application transferred)

Owner name: STELLANTIS AUTO SAS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20240105

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20240507