FR3056530B1 - Detection d'obstacles par fusion d'objets pour vehicule automobile - Google Patents

Detection d'obstacles par fusion d'objets pour vehicule automobile Download PDF

Info

Publication number
FR3056530B1
FR3056530B1 FR1659383A FR1659383A FR3056530B1 FR 3056530 B1 FR3056530 B1 FR 3056530B1 FR 1659383 A FR1659383 A FR 1659383A FR 1659383 A FR1659383 A FR 1659383A FR 3056530 B1 FR3056530 B1 FR 3056530B1
Authority
FR
France
Prior art keywords
objects
motor vehicle
contour
obstacle
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
FR1659383A
Other languages
English (en)
Other versions
FR3056530A1 (fr
Inventor
Loic Fradin
Francine Laisney
Rachid Benmokhtar
Brouk Wedajo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to FR1659383A priority Critical patent/FR3056530B1/fr
Priority to PCT/EP2017/074711 priority patent/WO2018060380A1/fr
Publication of FR3056530A1 publication Critical patent/FR3056530A1/fr
Application granted granted Critical
Publication of FR3056530B1 publication Critical patent/FR3056530B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound

Abstract

L'invention concerne un procédé pour la détection d'obstacles situés dans l'environnement d'un véhicule automobile, dans lequel la détection d'obstacles résulte d'une étape de fusion d'objets délivrés par au moins deux détecteurs (S1, S2, S3, S4) d'obstacles équipant le véhicule automobile, chaque détecteur d'obstacles étant apte à délivrer un objet (Oi S1, Oj S2, Om S3, On S4) sous forme d'une boîte englobante représentative d'un obstacle détecté par ledit détecteur d'obstacles. Selon l'invention, on détermine de données de modélisation d'un contour (CF) délimitant un espace libre de conduite pour ledit véhicule automobile, et on génère des données complémentaires (OP F) à partir desdites données de modélisation du contour. Ces données complémentaires sont combinées soit avec lesdits objets délivrés par les détecteurs en vue de la fusion d'objets, soit avec les objets résultant de la fusion des objets délivrés par les détecteurs.

Description

DETECTI ON D’OBSTACLES PAR FUSI ON D’OBJETS POUR VEHI CULE AUTOMOBI LE
La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système de détection d’obstacles situés dans l’environnement d’un véhicule automobile à partir de la fusion d’objets détectés par une pluralité de détecteurs d’obstacles.
Il est connu d’équiper certains véhicules automobiles avec des systèmes d’aide à la conduite utilisant différents capteurs pour détecter différents obstacles situés dans l’environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d’aide à la conduite d’adapter la conduite à la situation.
Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d’autres véhicules, ou toute information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s’intéresse dans la suite plus particulièrement à la détection d’obstacles.
Tout système de détection utilisé pour l’assistance à la conduite comporte classiquement au moins un capteur apte à détecter des obstacles dans l’environnement du véhicule, typiquement à l’avant, à l’arrière ou sur un côté du véhicule dans une zone d’observation donnée, ainsi qu’un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque obstacle détecté, typiquement la position (coordonnées cartésiennes ou distance associée à un angle) de cet obstacle par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d’images capturées par une caméra, une classification de l’obstacle détecté, par exemple pour identifier la présence d’un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on appelle « détecteur d’obstacles >> l’ensemble formé par un capteur d’une technologie donnée et de son module de traitement associé. Chaque détecteur d’obstacles est apte à délivrer un obstacle détecté sous forme d’un objet, généralement une boîte englobante rectangulaire dont les dimensions estiment les dimensions de l’obstacle et que l’on peut positionner par rapport au véhicule sur une représentation à deux dimensions.
Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins.
Les détecteurs d’obstacles précités présentent néanmoins l’inconvénient d’être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l’inverse, le radar est moins précis en angle qu’une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l’imprécision en classification est due au fait qu’ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis.
Pour garantir une perception fiable de l’environnement du véhicule, il est ainsi connu d’utiliser plusieurs détecteurs d’obstacles de technologies différentes, et de fusionner les données (i.e. les objets) issues de ces différents détecteurs.
Cette fusion multi-capteurs dite de « haut niveau », décrite par exemple dans l’article intitulé « A multi-sensor fusion System for moving object détection and tracking in urban driving environments » (Cho et al., 2014 IEEE International Conférence on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes classiques suivantes: - une étape d’association consistant à déterminer si deux objets détectés par deux détecteurs différents correspondent ou non à un même obstacle; - une étape de reconstruction d’un objet en combinant les objets associés à l’étape précédente. - une étape de suivi (ou tracking) des différents objets résultant de la reconstruction.
Pour illustrer le concept de la fusion dite de haut niveau, la figure 1 représente une situation routière réelle avec un véhicule automobile 1 équipé de plusieurs détecteurs d’obstacles de technologies différentes, ici d’un premier détecteur Si, par exemple utilisant une caméra placée à l’avant du véhicule automobile 1, et d’un second détecteur S2, utilisant par exemple un capteur lidar placé sur le rétroviseur droit du véhicule automobile 1. Un obstacle 2, typiquement un autre véhicule automobile, est présent sur l’avant droit du véhicule automobile 1. La figure 1b représente schématiquement, pour cette situation routière réelle, les objets Ος et Ος détectés respectivement par les détecteurs Si et S2. Comme on le voit sur la figure 1b, les objets délivrés par les différents détecteurs, se présentent sous la forme de boîtes englobantes, ici des rectangles. Chaque boîte englobante correspond à un obstacle tel qu’il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, et éventuellement, selon le type de détecteur utilisé, d’autres attributs comme sa classe (type d’objet), sa vitesse et son accélération relatives.
Le but de l’étape précitée d’association est de déterminer que les objets Ος et Ος correspondent en fait à un seul et même obstacle (le véhicule tiers 2), de sorte que les données de ces deux objets pourront être fusionnées pour reconstruire un objet résultant plus proche de la réalité.
La figure 2 résume sous forme de synoptique simplifié différentes composantes possibles d’un système 3 de fusion multi capteurs équipant le véhicule automobile 1. Le système 3 reçoit dans l’exemple pris les objets délivrés d’une part, par le premier détecteur d’obstacles Si (objets
, et d’autre part par le second détecteur d’obstacles S2 (objets
. Les détecteurs peuvent être, comme représenté sur la figure 2, des composantes externes au système 3, utilisées par exemple pour d’autres fonctionnalités
d’assistance à la conduite. En variante, les détecteurs d’obstacles font partie intégrante du système de fusion d’objets.
Les références 30, 31 et 33 sur la figure 2 illustrent les modules de traitement de données associés à chaque étape d’un processus classique de fusion de données à haut niveau. Ainsi, le système 3 comporte des moyens 30 chargés de l’association des boîtes englobantes (ou objets) délivrées par les différents détecteurs (généralement fondée sur une recherche des plus proches voisins), des moyens 31 chargés de la fusion des boîtes englobantes qui ont été associées (par exemple selon un algorithme probabiliste bayésien), et des moyens 32 aptes à assurer le suivi des boîtes englobantes, par exemple par filtrage de Kalman. Le système 3 délivre ainsi en sortie une liste d’objets résultant ayant pris en compte les redondances et compléments apportés par les différents détecteurs, chaque objet étant associé à un certain indice de confiance par rapport à la détection.
Avec ce type de système, il peut néanmoins toujours subsister des situations dans lesquelles certains obstacles bien réels n’ont été détectés par aucun des détecteurs utilisés. Une telle situation est illustrée sur la figure 3, qui représente un exemple du résultat d’une fusion d’objets multi capteurs équipant le véhicule automobile 1. Sur cet exemple, les références Οι, O2, O3 représentent trois objets résultants délivrés en sortie du système 3 de fusion d’objets, correspondant à trois obstacles évoluant dans l’environnement avant du véhicule 1, et la référence O4 associée à une boîte englobante en pointillés illustre un obstacle non détecté, par exemple une palette de transport qui n’est dans aucune base d’apprentissage associée aux différents capteurs, et qui n’est donc pas identifiée en tant qu’objet. En d’autres termes, le système 3 de fusion ne délivre pas d’objet O4, alors même que l’obstacle est bien présent.
On comprend aisément qu’il n’est pas possible de proposer des voitures semi-autonomes, et encore moins autonomes, pour lesquels les systèmes de fusion d’objets comporteraient de tels risques de non-détection.
La présente invention a pour but de pallier les inconvénients précédents en proposant un procédé et un système améliorés de fusion d’objets multi-capteurs.
Pour ce faire, l’invention a pour objet un procédé pour la détection d’obstacles situés dans l’environnement d’un véhicule automobile, procédé dans lequel la détection d’obstacles résulte d’une étape de fusion d’objets délivrés par au moins deux détecteurs d’obstacles équipant le véhicule automobile, chaque détecteur d’obstacles étant apte à délivrer un objet sous forme d’une boîte englobante représentative d’un obstacle détecté par ledit détecteur d’obstacles, le procédé étant caractérisé en ce qu’il comporte en outre une étape de détermination de données de modélisation d’un contour délimitant un espace libre de conduite pour ledit véhicule automobile, une étape de génération de données complémentaires à partir desdites données de modélisation du contour, et une étape de combinaison des données complémentaires soit avec lesdits objets délivrés pour l’étape de fusion, soit avec les objets résultant de l’étape de fusion.
Selon d’autres particularités possibles : - l’étape de génération de données complémentaires peut comporter la création d’objets virtuels en frontière extérieure à l’espace libre de conduite à partir desdites données de modélisation du contour; - la création d’objets virtuels peut comporter une étape de regroupement de points appartenant audit contour et correspondant aux données de modélisation en un ou plusieurs ensembles en fonction de la position desdits points sur le contour, et une étape de construction d’un ou plusieurs objets virtuels, chaque objet virtuel étant une boîte englobante rectangulaire dont la taille est ajustée pour englober les points regroupés dans un même ensemble; - le procédé peut comporter en outre une étape de suivi desdits objets virtuels ; - ladite étape de combinaison peut consister à fusionner lesdits objets virtuels avec les objets délivrés par lesdits au moins deux détecteurs d’obstacles lors de l’étape de fusion ; - en variante, ladite étape de combinaison peut consister à ajouter aux objets résultant de l’étape de fusion les objets virtuels créés ; - l’étape de génération de données complémentaires peut comporter la création de zones grossières autour de points appartenant audit contour et correspondant aux données de modélisation, en fonction d’un taux d’occupation desdits points par rapport à une grille d’occupation ; - dans ce cas, ladite étape de combinaison peut consister à ajouter aux objets résultant de l’étape de fusion les zones grossières créées ; - l’étape de génération de données complémentaires peut comporter l’estimation d’une distance minimale séparant le véhicule automobile de points appartenant audit contour et correspondant aux données de modélisation ; - les données complémentaires sont générées de préférence seulement sur une partie du contour délimitant l’espace libre de conduite, ladite partie étant sélectionnée à partir d’une estimation d’une trajectoire suivie par ledit véhicule automobile ou d’une estimation de la voie sur laquelle roule ledit véhicule automobile ; - l’étape de fusion d’objets peut comporter une étape d’association d’objets représentatifs des mêmes obstacles détectés, une étape de construction d’objets résultants à partir d’objets associés, et une étape de suivi des objets résultants. L’invention a également pour objet un système de détection d’obstacles situés dans l’environnement d’un véhicule automobile, comportant un système de fusion d’objets délivrés par au moins deux détecteurs d’obstacles équipant le véhicule automobile, chaque détecteur d’obstacles étant apte à délivrer un objet sous forme d’une boîte englobante représentative d’un obstacle détecté par ledit détecteur d’obstacles, caractérisé en ce qu’il comporte en outre un module de traitement configuré pour déterminer des données de modélisation d’un contour délimitant un espace libre de conduite pour ledit véhicule automobile, et générer de données complémentaires à partir desdites données de modélisation du contour, et en ce que lesdites données complémentaires sont combinées soit en entrée dudit système de fusion avec les objets délivrés par lesdits au moins deux détecteurs, soit avec les objets résultant en sortie dudit système de fusion d’objets. L’invention et les différents avantages qu’elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles : - les figures 1a et 1b déjà décrites ci-avant, représentent schématiquement respectivement une situation routière réelle et les résultats de détection d’obstacles obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes ; - la figure 2, décrite ci-avant, illustre schématiquement le principe connu de la fusion multi-objets à partir des objets détectés par les deux détecteurs de la figure 1a; - la figure 3, décrite ci-avant, représente un exemple de non détection pour une situation routière donnée ; - la figure 4 donne un exemple de contour délimitant un espace libre de conduite, obtenu dans la situation routière de la figure 3 ; - la figure 5 illustre une superposition des résultats d’une fusion d’objets avec le contour d’espace libre de la figure 4 ; - la figure 6a illustre, sous forme de synoptique simplifié, une première architecture pour un système de détection d’obstacles conforme à l’invention ; - la figure 6b illustre, sous forme de synoptique simplifié, une deuxième architecture possible pour un système de détection d’obstacles conforme à l’invention ; - les figures 7a, 7b et 7c schématisent des exemples de résultats de différents étapes de traitement pour la création d’objets virtuels à partir du contour d’espace libre de conduite de la figure 4 ; - la figure 8 illustre une superposition des résultats d’une fusion d’objets avec les objets virtuels générés à partir du contour d’espace libre de la figure 4 ; - la figure 9 représente une alternative dans la façon de générer des données complémentaires à partir du contour d’espace libre de la figure 4.
Dans la suite de la description, et à moins qu’il n’en soit disposé autrement, les éléments communs à l’ensemble des figures portent les mêmes références. On notera par ailleurs que les dessins ne sont pas à l’échelle. L’invention trouve sa source dans l’existence d’algorithmes de traitements aptes à déterminer l’espace libre de conduite qui se présente dans l’environnement immédiat d’un véhicule, en particulier à l’avant, lorsque celui-ci se déplace. L’espace libre de conduite (« free drivable space >> en terminologie anglo-saxonne) correspond aux zones dans lesquelles le véhicule peut évoluer en sécurité. L’espace situé devant un véhicule est considéré comme « non libre >> dès lors que des obstacles statiques (bords de route, panneaux de signalisation, voitures en stationnement...) ou des obstacles dynamiques (véhicules roulants, piétons en particuliers) sont présents. La détermination de l’espace libre nécessite donc de savoir pour chaque point de l’espace total à l’avant du véhicule s’il est libre ou occupé.
Il existe différentes façons aujourd’hui de déterminer l’espace libre de conduite.
Notamment, il est connu de procéder à un traitement en temps réel d’images capturées par une caméra placée à l’avant du véhicule, afin d’extraire, par différents algorithmes de reconnaissance, différentes informations sur l’espace situé à l’avant du véhicule. Le traitement d’images permet de classifier chaque pixel d’une image selon trois catégories ou marqueurs selon que ce pixel doit être associé à la route, à un obstacle statique ou dynamique (voitures, piétons, barrières, panneaux de signalisation...), ou à un fond de paysage. Il est possible alors d’extraire une représentation géométrique à deux dimensions d’au moins un contour délimitant l’espace libre de conduite à l’avant du véhicule. D’autres procédés d’extraction du contour de l’espace libre de conduite existent également à partir d’ondes émises par un capteur (tel que radar, lidar ou capteur à ultrasons) qui vont se réfléchir sur des obstacles à une certaine distance. Le ou les contours extraits à partir des points d’impact obtenus délimitent la ou les zones pour lesquelles les ondes émises n’ont pas rencontré d’obstacles. D’autres procédés reposent sur l’utilisation de plusieurs détecteurs d’obstacles de technologies différentes dont on fusionne les informations pour obtenir un contour affiné de l’espace libre de conduite.
La figure 4 illustre un exemple de contour Cf susceptible d’être obtenu selon l’une quelconque des méthodes précédentes dans l’exemple de configuration routière de la figure 3, à partir des données de modélisation que constituent les différents points I (les points I étant représentatifs dans cet exemple de points d’impact suite à la réflexion d’une onde, mais pourraient être obtenus par traitement d’images capturées par une caméra).
La détermination de l’espace libre de conduite peut donc servir en théorie notamment aux calculs de trajectoires à suivre par le véhicule, ou à d’autres possibilités de manœuvres telles que des manœuvres d’urgence (évitement), voire à des simples alertes visuelles et/ou sonores à destination du conducteur. Néanmoins, à ce jour, la notion d’espace libre de conduite est assez peu utilisée car elle est difficile à interpréter en temps réel par les systèmes existant d’aide à la conduite. En particulier, le contour Cf ne permet que d’indiquer qu’il y a une limite en-deçà de laquelle le véhicule peut évoluer en sécurité, sans pour autant que l’on connaisse les raisons de cette limite. Ainsi, la détermination du contour délimitant l’espace libre de conduite n’est pas suffisante pour permettre d’interpréter ce que le véhicule doit faire (freiner, s’arrêter ou maintenir une vitesse constante, ...).
Pour autant, lorsque l’on superpose, comme le montre la figure 5, la représentation des objets résultant de la fusion d’objet de la figure 3 avec le contour Cf délimitant l’espace libre de conduite de la figure 4, on constate que l’allure de ce contour pourrait servir à conforter les objets détectés Οι, O2, et O3, mais aussi à résoudre le problème de la non détection de l’objet O4.
En d’autres termes, la présente invention propose d’utiliser les données de modélisation du contour Cf délimitant l’espace libre de conduite pour générer des données complémentaires qui vont pouvoir être combinées avec les objets obtenus par ailleurs afin d’améliorer les performances liées à la fusion d’objets issus de plusieurs détecteurs.
Un procédé conforme à l’invention la détection d’obstacles situés dans l’environnement du véhicule automobile 1 comporte ainsi essentiellement les étapes suivantes : - une étape de fusion d’objets délivrés par au moins deux détecteurs d’obstacles équipant le véhicule automobile 1, chaque détecteur d’obstacles étant apte à délivrer un objet sous forme d’une boîte englobante représentative d’un obstacle détecté par ledit détecteur d’obstacles. - une étape de détermination de données de modélisation d’un contour délimitant un espace libre de conduite pour le véhicule automobile 1, - une étape de génération de données complémentaires à partir des données de modélisation du contour, et - une étape de combinaison des données complémentaires soit avec lesdits objets délivrés pour l’étape de fusion, soit avec les objets résultant de l’étape de fusion.
Comme cela sera expliqué dans la suite, la nature des données complémentaires dépend de l’endroit où s’effectue la combinaison (en entrée ou en sortie de la fusion d’objets).
La figure 6a illustre schématiquement une première architecture possible d’un système de détection d’obstacles implémentant le procédé résumé ci-dessus dans sa variante relative à une combinaison des données complémentaires issues du contour Cf avec les objets délivrés par des détecteurs d’obstacles pour la fusion d’objets.
On retrouve dans cette architecture le système 3 de fusion d’objets déjà décrit précédemment en référence à la figure 2, recevant des objets délivrés par au moins deux détecteurs d’objets. Dans l’exemple non limitatif, les objets délivrés en entrée du système 3 de fusion d’objets proviennent de quatre détecteurs d’obstacles de technologies différentes embarqués sur le véhicule 1, par exemple : - un premier détecteur d’obstacles Si utilisant une caméra frontale et délivrant des objets
- un deuxième détecteur d’obstacles S2 utilisant un capteur scanner laser et délivrant des objets
- un troisième détecteur d’obstacles S3 utilisant plusieurs radars pour avoir une couverture sur 360° autour du véhicule 1 et délivrant des objets
- un quatrième détecteur d’obstacles S4 utilisant plusieurs caméras pour avoir une couverture sur 360° autour du véhicule 1 et délivrant des objets
Néanmoins, sans départir du cadre de l’invention, la fusion d’objets pourrait également être faite à partir de détecteurs de même technologie ;
Le système comporte en outre un module 4 de traitement apte à déterminer des données de modélisation I du contour Cf délimitant l’espace libre de conduite pour le véhicule automobile 1, et un module 5 de génération des données complémentaires. A titre d’exemple non limitatif, les données de modélisation sont déterminées ici à partir des informations reçues des détecteurs Si, S2 et S3. Néanmoins, les données reçues de n’importe quel des quatre détecteurs pourraient être utilisées.
Pour permettre une fusion homogène par le système de fusion 3 des différents objets
d’une part, et des données complémentaires d’autre part, ces données complémentaires doivent se présenter également sous la forme d’objets, que l’on appellera dans la suite objets virtuels Op pour les distinguer des objets délivrés par les détecteurs d’obstacles Si à S4.
Il convient de se reporter aux figures 7a, 7b et 7c pour comprendre les différentes étapes implémentées par le module 5 pour créer ces objets virtuels Op à partir des données de modélisation I du contour Cf délimitant l’espace libre de conduite. Pour simplifier et mieux comprendre l’intérêt de l’invention
par la suite, on part du même contour Cf que celui représenté sur les figures 4 et 5 pour expliquer comment générer les objets virtuels Op qui seraient représentatifs d’obstacles situés en frontière extérieure à l’espace libre de conduite.
La création d’objets virtuels comporte une première étape lors de laquelle on regroupe des points I appartenant au contour Cf (points correspondant aux données de modélisation en un ou plusieurs ensembles) en fonction de la position de ces points sur le contour. La figure 7a montre le résultat obtenu à l’issue de cette étape de regroupement, avec la création de six ensembles notés Ci à C6-
Puis, on construit un objet virtuel autour de chacun des ensembles issus de l’étape précédente. Cette étape consiste à trouver la boîte englobante rectangulaire dont la taille englobe au mieux les points d’un même ensemble. La figure 7b illustre le résultat de cette étape de construction, avec la création de six objets virtuels notés
correspondant aux rectangles dans lesquels s’inscrivent les ensembles Ci à C6-
On effectue ensuite de préférence un suivi temporel des objets virtuels ainsi construits de façon à conforter ou non, sur plusieurs itérations, la présence d’un ou de plusieurs obstacles représentés par un ou plusieurs objets virtuels. La figure 7c illustre le résultat de cette étape de suivi, pour laquelle on voit que seuls quatre objets virtuels,
ont été conservés, les deux autres objets virtuels n’ayant pas pu faire l’objet d’un suivi cohérent.
Les données complémentaires issues de la création d’objets virtuels en sortie du module 5 se présentent ici sous la même forme que les objets issus des différents détecteurs d’objets Si à S4, et il est donc possible de les considérer comme données d’entrées du système 3 de fusion d’objets. Sur la figure 8 qui représente une superposition des objets représentés sur la figure 3, et des objets virtuels générés conformément à l’invention à partir du contour Cf, on note que :
- l’objet virtuel
va venir renforcer la confiance liée à la détection d’un obstacle grâce à son association et sa fusion avec l’objet Oi ; - l’objet virtuel
va venir renforcer la confiance liée à la détection d’un obstacle grâce à son association et sa fusion avec l’objet O2 ; - l’objet virtuel
va venir renforcer la confiance liée à la détection d’un obstacle grâce à son association et sa fusion avec l’objet O3 ; - et surtout que l’objet virtuel
va permettre d’éviter la non détection de l’obstacle O4.
En fusionnant les objets issus des détecteurs avec des objets virtuels créés à partir des données propres à l’espace libre de conduite, on améliore ainsi les performances du système 3 de fusion d’objets tant en termes de fausses alarmes que de non détection.
La figure 6b illustre schématiquement une deuxième architecture possible d’un système de détection d’obstacles implémentant le procédé résumé ci-dessus, cette fois-ci dans sa variante relative à une combinaison des données complémentaires issues du contour Cf avec les objets résultant de l’étape de fusion, c’est-à-dire avec les objets délivrés par le système 3 de fusion d’objets.
Cette deuxième architecture ne diffère de celle représentée sur la figure 6a que sur le fait que le système 3 de fusion d’objets ne reçoit ici que les données délivrées par les détecteurs d’obstacles Si à S4, et que les objets virtuels Op délivrés par le module 5 et créés à partir du contour Cf délimitant l’espace libre de conduite sont ici simplement ajoutés, au niveau d’un module 6 de validation, aux objets en sorite du système 3 de fusion d’objet.
Un système selon cette deuxième architecture permet de résoudre les cas de non détection (dans l’exemple, l’objet virtuel va être ajouté aux autres objets résultant de la fusion d’objets).
Dans le cadre de cette deuxième architecture, il n’est pas absolument nécessaire de générer des objets virtuels, c’est-à-dire des boîtes englobantes comme expliqué ci-avant.
Les données complémentaires générées à partir du contour Cf peuvent résulter d’un traitement plus grossier. Par exemple, comme illustré sur la figure 9, on peut superposer aux résultats de la fusion d’objets montrés sur la figure 3 une grille 7 d’occupation, et créer des zones grossières, comme celles référencées ΖΊ, Z2, autour de points appartenant au contour CF, en fonction d’un taux d’occupation desdits points par rapport à la grille 7 d’occupation. Ici encore, on voit que la zone Z2 donne une information supplémentaire qui vient pallier la non détection de l’objet O4 par les détecteurs d’obstacles Si à S4.
On peut également s’intéresser à certains points du contour Cf, et estimer une distance minimale séparant le véhicule automobile 1 de ces points d’intérêts. Un suivi temporel de ces points, par exemple une dérivée de la distance minimale, permet de donner des informations complémentaires plus faciles d’interprétation pour un système d’assistance à la conduite. En particulier, tant que la distance minimale ne change pas, on peut en déduire que ces points peuvent appartenir à un obstacle qui se déplace sensiblement à la même vitesse que le véhicule automobile 1, et qu’il n’est donc pas nécessaire de décélérer.
Quelle que soit la méthode utilisée pour générer les données complémentaire (objets virtuels, zones grossières ou suivis de points d’intérêt), on peut améliorer les temps de calcul en ne s’intéressant préférentiellement qu’à une partie du contour Cf, délimitant l’espace libre de conduite. On peut notamment sélectionner cette partie à partir d’une estimation de la trajectoire suivie par le véhicule automobile 1 ou d’une estimation de la voie sur laquelle roule ledit véhicule automobile 1.

Claims (11)

  1. REVENDICATIONS
    1. Procédé pour la détection d'obstacles situés dans l'environnement d'un véhicule automobile (1), procédé dans lequel la détection d'obstacles résulte d'une étape de fusion d'objets délivrés par au moins deux détecteurs (Si, S2, S3, S4) d'obstacles équipant le véhicule automobile (1), chaque détecteur d'obstacles (Si, S2, S3, S4) étant apte à délivrer un objet (
    ) sous forme d'une boîte englobante représentative d'un obstacle détecté par ledit détecteur d'obstacles, le procédé comportant en outre une étape de détermination de données de modélisation d'un contour (Cf) délimitant un espace libre de conduite pour ledit véhicule automobile (1), une étape de génération de données complémentaires
    à partir desdites données (I) de modélisation du contour, et une étape de combinaison des données complémentaires soit avec lesdits objets délivrés pour l'étape de fusion, soit avec les objets résultant de l'étape de fusion, le procédé étant caractérisé en ce que les données complémentaires sont générées seulement sur une partie du contour (Cf) délimitant l'espace libre de conduite, ladite partie étant sélectionnée à partir d'une estimation d'une trajectoire suivie par ledit véhicule automobile (1) ou d'une estimation de la voie sur laquelle roule ledit véhicule automobile (1).
  2. 2. Procédé selon la revendication 1, caractérisé en ce que l'étape de génération de données complémentaires comporte la création d'objets virtuels j
    en frontière extérieure à l'espace libre de conduite à partir desdites données de modélisation du contour (Cf).
  3. 3. Procédé selon la revendication 2, caractérisé en ce que la création d'objets virtuels
    comporte une étape de regroupement de points appartenant audit contour (Cf) et correspondant aux données (I) de modélisation en un ou plusieurs ensembles (Ci...Cô) en fonction de la
    position desdits points sur le contour (Cf), et une étape de construction d'un ou plusieurs objets virtuels, chaque objet virtuel étant une boîte englobante rectangulaire dont la taille est ajustée pour englober les points regroupés dans un même ensemble.
  4. 4. Procédé selon l'une quelconque des revendications 2 ou 3, caractérisé en ce qu'il comporte en outre une étape de suivi desdits objets virtuels
  5. 5. Procédé selon l'une quelconque des revendications 2 à 4, caractérisé en ce que ladite étape de combinaison consiste à fusionner lesdits objets virtuels (Oj?) avec les objets
    délivrés par lesdits au moins deux détecteurs d'obstacles (Si, S2, S3, S4) lors de l'étape de fusion.
  6. 6. Procédé selon l'une quelconque des revendications 2 à 4, caractérisé en ce que ladite étape de combinaison consiste à ajouter aux objets résultant de l'étape de fusion les objets virtuels 1
    créés.
  7. 7. Procédé selon la revendication 1, caractérisé en ce que l'étape de génération de données complémentaires comporte la création de zones grossières (Ζχ, Z2) autour de points appartenant audit contour (Cf) et correspondant aux données de modélisation, en fonction d'un taux d'occupation desdits points par rapport à une grille (7) d'occupation.
  8. 8. Procédé selon la revendication 7, caractérisé en ce que ladite étape de combinaison consiste à ajouter aux objets résultant de l'étape de fusion les zones grossières (Zi, Z2) créées.
  9. 9. Procédé selon la revendication 1, caractérisé en ce que l'étape de génération de données complémentaires comporte l'estimation d'une distance minimale séparant le véhicule automobile (1) de points (I)
    appartenant audit contour (Cf) et correspondant aux données de modélisation.
  10. 10. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de fusion d'objets comporte une étape d'association d'objets représentatifs des mêmes obstacles détectés, une étape de construction d'objets résultants à partir d'objets associés, et une étape de suivi des objets résultants.
  11. 11. Système de détection d'obstacles situés dans l'environnement d'un véhicule automobile (1), comportant un système (3) de fusion d'objets délivrés par au moins deux détecteurs (Si, S2, S3, S4) d'obstacles équipant le véhicule automobile (1), chaque détecteur d'obstacles (Si, S2, S3, S4) étant apte à délivrer un objet (
    sous forme d'une boîte englobante représentative d'un obstacle détecté par ledit détecteur d'obstacles, coomportant en outre un module (4, 5) de traitement configuré pour déterminer des données de modélisation d'un contour (Cf) délimitant un espace libre de conduite pour ledit véhicule automobile (1), et générer de données complémentaires
    Zi, Z2 ) à partir desdites données de modélisation du contour, et en ce que lesdites données complémentaires
    1 sont combinées soit en entrée dudit système (3) de fusion avec les objets délivrés par lesdits au moins deux détecteurs, soit avec les objets résultant en sortie dudit système (3) de fusion d'objets, le système étant caractérisé en ce que les données complémentaires sont générées seulement sur une partie du contour (Cf) délimitant l'espace libre de conduite, ladite partie étant sélectionnée à partir d'une estimation d'une trajectoire suivie par ledit véhicule automobile (1) ou d'une estimation de la voie sur laquelle roule ledit véhicule automobile (1).
FR1659383A 2016-09-29 2016-09-29 Detection d'obstacles par fusion d'objets pour vehicule automobile Active FR3056530B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1659383A FR3056530B1 (fr) 2016-09-29 2016-09-29 Detection d'obstacles par fusion d'objets pour vehicule automobile
PCT/EP2017/074711 WO2018060380A1 (fr) 2016-09-29 2017-09-28 Détection d'obstacles par fusion d'objets pour véhicule automobile

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1659383 2016-09-29
FR1659383A FR3056530B1 (fr) 2016-09-29 2016-09-29 Detection d'obstacles par fusion d'objets pour vehicule automobile

Publications (2)

Publication Number Publication Date
FR3056530A1 FR3056530A1 (fr) 2018-03-30
FR3056530B1 true FR3056530B1 (fr) 2019-07-12

Family

ID=57750145

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1659383A Active FR3056530B1 (fr) 2016-09-29 2016-09-29 Detection d'obstacles par fusion d'objets pour vehicule automobile

Country Status (2)

Country Link
FR (1) FR3056530B1 (fr)
WO (1) WO2018060380A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399898A (zh) * 2019-06-17 2019-11-01 中国北方车辆研究所 一种无人车辆多传感器信息融合体系架构
CN110488319B (zh) * 2019-08-22 2023-04-07 重庆长安汽车股份有限公司 一种基于超声波和摄像头融合的碰撞距离计算方法及系统
FR3129347B1 (fr) * 2021-11-22 2023-10-06 Psa Automobiles Sa Procédé de régulation de vitesse d’un véhicule à partir d’un objet cible.

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
DE102009022278A1 (de) * 2009-05-22 2010-01-21 Daimler Ag Verfahren zur Ermittlung eines hindernisfreien Raums
DE102014016578A1 (de) * 2014-11-08 2016-05-12 Audi Ag Einrichtung zur adaptiven Geschwindigkeits- und Abstandsregelung für ein Kraftfahrzeug, zugehöriges Kraftfahrzeug und zugehöriges Verfahren

Also Published As

Publication number Publication date
FR3056530A1 (fr) 2018-03-30
WO2018060380A1 (fr) 2018-04-05

Similar Documents

Publication Publication Date Title
Fayad et al. Tracking objects using a laser scanner in driving situation based on modeling target shape
EP2036796A2 (fr) Dispositif d'aide à la conduite pour véhicule automobile comportant un système de capture d'images stéréoscopique
FR3056530B1 (fr) Detection d'obstacles par fusion d'objets pour vehicule automobile
FR3056531B1 (fr) Detection d'obstacles pour vehicule automobile
EP3419877B1 (fr) Dispositif et procédé d'aide à la conduite d'un véhicule automobile
EP3630570B1 (fr) Assistance a la conduite d'un vehicule automobile a l'approche d'une barriere de peage
EP4176286A1 (fr) Système et procédé de détection d'un obstacle dans un environnement d'un véhicule
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3054672B1 (fr) Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
EP3729404A1 (fr) Procédé de surveillance d'un environnement d'un premier élément positionné au niveau d'une voie de circulation, et système associé
WO2018041978A1 (fr) Dispositif de détermination d'une limitation de vitesse, système embarqué comprenant un tel dispositif et procédé de détermination d'une limitation de vitesse.
FR3054355B1 (fr) Procede et systeme de determination d'un espace libre situe dans une zone d'environnement d'un vehicule automobile
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans
WO2021099395A1 (fr) Procédé de détection de pics d'intensité de faisceau lumineux réfléchi de manière spéculaire
WO2021122649A1 (fr) Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome
EP3008664B1 (fr) Procédé et système de suivi d'objets en mouvement
FR3120711A1 (fr) Procede et dispositif de calibration d'un capteur de profondeur d'environnement
FR3118746A1 (fr) Procédé et dispositif d’aide à la conduite d’un véhicule circulant sur une chaussée comprenant plusieurs voies de circulation
WO2023161571A1 (fr) Procédé et dispositif de contrôle de sélection d'un véhicule cible d'un système de régulation adaptative de vitesse d'un véhicule
CN116457843A (zh) 飞行时间物体检测电路和飞行时间物体检测方法
FR3107024A1 (fr) Procédé et dispositif de contrôle d’un véhicule
FR3119817A1 (fr) Procédé et dispositif de détermination d’une trajectoire pour un véhicule autonome
FR3111713A1 (fr) Procédé et dispositif de contrôle du déplacement d’un véhicule
FR3104093A1 (fr) Procédé et dispositif de contrôle d’un capteur LIDAR embarqué dans un véhicule

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180330

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8