FR3054672B1 - Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile - Google Patents

Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile Download PDF

Info

Publication number
FR3054672B1
FR3054672B1 FR1657409A FR1657409A FR3054672B1 FR 3054672 B1 FR3054672 B1 FR 3054672B1 FR 1657409 A FR1657409 A FR 1657409A FR 1657409 A FR1657409 A FR 1657409A FR 3054672 B1 FR3054672 B1 FR 3054672B1
Authority
FR
France
Prior art keywords
objects
list
bipartite graph
vertex
vertices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
FR1657409A
Other languages
English (en)
Other versions
FR3054672A1 (fr
Inventor
Hala Lamdouar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to FR1657409A priority Critical patent/FR3054672B1/fr
Priority to PCT/EP2017/069252 priority patent/WO2018020044A1/fr
Publication of FR3054672A1 publication Critical patent/FR3054672A1/fr
Application granted granted Critical
Publication of FR3054672B1 publication Critical patent/FR3054672B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93276—Sensor installation details in the windshield area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

L'invention concerne un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend la construction (110) d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondant aux objets de la deuxième liste, ladite construction comprenant une étape de création (111) de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée ; et la détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.

Description

PROCEDE ET SYSTEME D’ASSOCIATION DE DONNEES DE DETECTION ET DE SUI VI D’OBJETS MOBI LE POUR VEHI CULE AUTOMOBI LE
La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion.
Il est connu d’équiper certains véhicules automobiles avec des systèmes d’aide à la conduite utilisant différents capteurs pour détecter différents objets situés dans l’environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d’aide à la conduite d’adapter la conduite à la situation.
Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d’autres véhicules, ou toute information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s’intéresse dans la suite plus particulièrement à la détection d’objets mobiles (piétons ou véhicule de tout type).
Tout système de détection utilisé pour l’assistance à la conduite comporte classiquement au moins un capteur apte à détecter des objets dans l’environnement du véhicule, typiquement à l’avant, à l’arrière ou sur un côté du véhicule dans une zone d’observation donnée, ainsi qu’un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d’images capturées par une caméra, une classification de l’objet détecté, par exemple pour identifier la présence d’un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on appelle « détecteur d’objets >> l’ensemble formé par un capteur d’une technologie donnée et de son module de traitement associé.
Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins.
Les détecteurs d’objets précités présentent néanmoins l’inconvénient d’être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l’inverse, le radar est moins précis en angle qu’une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l’imprécision en classification est due au fait qu’ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis.
Pour garantir une perception fiable de l’environnement du véhicule, il est ainsi connu d’utiliser plusieurs détecteurs d’objets de technologies différentes, et de fusionner les données issues de ces différents détecteurs.
Cette fusion multi-capteurs dite de « haut niveau >>, décrite par exemple dans l’article intitulé « A multi-sensor fusion System for moving object détection and tracking in urban driving environments >> (Cho et al., 2014 IEEE International Conférence on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes suivantes: - une étape d’association consistant à déterminer si deux objets détectés par deux détecteurs différents correspondent ou non à un même objet ; - une étape de fusion/reconstruction de l’objet en combinant les objets associés à l’étape précédente. - une étape de suivi (ou tracking) des différents objets.
Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une configuration de situation routière avec un véhicule automobile 1 équipé de plusieurs détecteurs d’objets de technologie différente, ici d’un premier détecteur R, par exemple utilisant un capteur radar placé à l’avant du véhicule automobile 1, et d’un second détecteur L, utilisant par exemple un capteur lidar placé sur le pare-brise du véhicule automobile 1. La figure 1 représente schématiquement les objets mobiles détectés respectivement par les détecteurs L et R. Les objets détectés, tels qu’issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici des rectangles. Les boîtes en traits pleins correspondent aux objets détectés par le détecteur R alors que les boîtes en traits pointillés correspondent aux objets détectés par le détecteur L. Ainsi, dans l’exemple représenté : - le détecteur d’objets R a détecté la présence de quatre objets mobiles référencés
- le détecteur d’objets L a détecté la présence de deux objets mobiles référencés 1
Les indices R et L utilisés dans les notations identifient le détecteur responsable de la détection d’objets.
Chaque boîte englobante correspond à un objet tel qu’il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, sa vitesse relative et éventuellement, selon le type de détecteur utilisé, d’autres attributs comme sa classe (type d’objets).
Sur la figure 1, on a également représenté les ellipses d’incertitude autour de la position de chaque objet détecté, ou ellipses de covariance, la position étant modélisée par une distribution Gaussienne 2D dont les paramètres (écarts-types) sont données par les fournisseurs des capteurs. Ainsi, à titre d’exemple, l’ellipse
correspond à l’incertitude en position de q l’objet OR détecté par le détecteur R.
Le but de l’étape précitée d’association est de déterminer quels sont, parmi les objets issus de la liste d’objets j
délivrée par le détecteur R et les objets issus de la liste d’objets
délivrée par le détecteur L, les objets qui correspondent en fait à un seul et même obstacle mobile. En d’autres termes, l’étape d’association consiste à coupler ou apparier les objets provenant des deux listes, selon des critères de ressemblance, de sorte que les données des objets ainsi appariés pourront être fusionnées pour reconstruire un objet plus proche de la réalité.
Les algorithmes actuels se basent sur la position des boîtes englobantes et sur les zones de recouvrement des ellipses d’incertitudes pour décider si deux boîtes peuvent être ou non associées. Typiquement, les positions des objets sont modélisées par une distribution gaussienne à deux dimensions, centrée sur un point particulier, par exemple le centre des boîtes englobantes ou, comme représenté sur la figure 1, le milieu du segment de la boîte le plus proche du véhicule 1. Deux objets détectés par deux détecteurs différents sont ensuite appariés si les ellipses d’incertitudes associées se recouvrent le plus. Chaque objet apparié est enlevé de la liste d’objet, et l’algorithme est reconduit de façon itérative sur les listes d’objets restants. L’inconvénient de ce type d’algorithme est qu’il ne permet pas de résoudre les conflits lorsqu’un objet d’une liste peut être apparié à deux objets de l’autre liste. Par exemple, dans le cas de la figure 1, on pourrait considérer 3 12 que l’objet OR pourrait être apparié soit à l’objet OR, soit à l’objet OR, compte tenu des distances similaires séparant ces objets, et des recouvrements similaires des ellipses ERet ER d’une part, et ER et ER d’autre part.
La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu’ici utilisés.
Pour ce faire, l’invention a pour objet un procédé d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion, lesdites données étant issues d’un premier détecteur d’objets et d’un deuxième détecteur d’objets équipant un véhicule automobile, sous forme d’une première liste et d’une deuxième liste d’objets détectés, le procédé étant caractérisé en ce qu’il comprend les étapes suivantes : - construction d’un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d’affectation d’un poids à chaque liaison créée ; - détermination d’un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Selon d’autres particularités possibles : - chaque objet détecté étant associé d’une part, à au moins un attribut représentatif d’une vitesse relative entre le véhicule automobile et l’objet détecté, et d’autre part à une ellipse d’incertitude de détection, une liaison est créée dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste de préférence en fonction d’une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d’incertitudes correspondantes; - ladite liaison peut notamment être créée si les ellipses d’incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée ; - ladite valeur seuil est avantageusement prédéterminée en fonction de la vitesse relative associée au premier objet; - l’étape de création d’une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu’une classification des objets ou un sens de déplacement ; - pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond de préférence à une différence entre les vitesses relatives associées au premier objet et au deuxième objet. L’invention a également pour objet un système d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion, lesdites données étant issues d’un premier détecteur d’objets et d’un deuxième détecteur d’objets équipant un véhicule automobile, sous forme d’une première liste et d’une deuxième liste d’objets détectés, le système étant caractérisé en ce qu’il comporte des moyens aptes à : - construire un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d’affectation d’un poids à chaque liaison créée ; - déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Les deux détecteurs peuvent être de technologies différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar. L’invention et les différents avantages qu’elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles : - la figure 1 déjà décrite ci-avant, représente schématiquement une situation routière et les résultats de détection d’obstacles obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes ; - la figure 2, illustre des étapes susceptibles d’être réalisées dans un procédé d’association de données conforme à l’invention; - les figures 3a et 3b illustrent schématiquement un graphe biparti initial et un graphe simple final obtenu selon les principes de l’invention pour la situation routière de la figure 1 ; - la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système d’association de données conforme à l’invention.
Le principe sur lequel est fondée l’invention est celui de la modélisation du problème de l’association des objets provenant d’au moins deux détecteurs par la théorie des graphes.
La figure 2 illustre schématiquement des étapes possibles pour une telle modélisation :
Chaque détecteur R ou L fournit, lors d’une étape préalable 100, sa propre liste d’objets détectés qui correspond à un ensemble fini d’objets. Plus précisément, le détecteur L délivre une liste de n objets, que l’on peut représenter mathématiquement par l’ensemble { O^} pour lequel i est un entier variant de 1 à n. De manière similaire, le détecteur R délivre une liste de m objets, que l’on peut représenter mathématiquement par l’ensemble f°k) pour lequel j est un entier variant de 1 à m. Les deux listes ne comprennent pas forcément le même nombre d’objets, et l’on supposera dans la suite que l’entier n est inférieur ou égal à l’entier m.
Chaque objet détecté est associé d’une part, à au moins un attribut représentatif d’une vitesse relative entre le véhicule automobile et l’objet détecté, et d’autre part à une ellipse d’incertitude de détection.
Ainsi, le détecteur L fournit également un ensemble de n ellipses d’incertitude que l’on peut représenter mathématiquement par { E^}, et un ensemble de n vitesses relatives dont la représentation mathématique est
{ V j }. De façon similaire, on note { E^} l’ensemble des m ellipses °L
d’incertitude associé aux objets détectés par le détecteur R, et { V , } °R l’ensemble des m vitesses relatives correspondant à ces mêmes objets.
Pour illustrer ce principe dans le cadre de la configuration routière de 1 2 la figure 1, le détecteur L délivre l’ensemble de deux objets { O^, O^} et le détecteur R délivre l’ensemble de quatre objets
Une première étape 110 du procédé d’association selon l’invention consiste à construire un graphe biparti initial entre les deux ensembles
d’objets détectés dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets détectés par le détecteur L, et les sommets du deuxième ensemble du graphe biparti correspondent aux objets détectés par le détecteur R. La construction de ce graphe initial nécessite également la création de liaisons entre les sommets du premier ensemble et ceux du second ensemble, ainsi que l’affection d’un poids ou coût à chaque liaison créée. L’étape 111 de création de liaisons consiste à rechercher, pour chaque objet ou sommet du premier ensemble, les candidats possibles, en termes de ressemblance, dans les sommets du deuxième ensemble.
Dans une implémentation préférée de l’invention, un objet du deuxième ensemble est candidat pour être apparié à un objet du premier ensemble si et seulement si : - il y a intersection de son ellipse d’incertitude avec l’ellipse d’incertitude de l’objet du premier ensemble ; et - les vitesses relatives associées aux objets sont proches.
Ceci peut se traduire mathématiquement par les expressions suivantes :
dans lesquelles : k^st un entier représentant le nombre total de candidats possibles pour être appariés à un objet OR ; et
VtRcorrespond à une valeur seuil prédéterminée.
De façon avantageuse, cette valeur seuil est fonction de la vitesse relative de l’objet pour lequel on recherche les candidats.
On peut en particulier définir que :
La création de liaison prend en compte au minimum les vitesses relatives. Néanmoins, dans d’autres implémentations, la création d’une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu’une classification des objets ou un sens de déplacement.
Afin de compléter le graphe initial, des poids ou coûts sont également affectés à chaque liaison créée (étape 112). Le poids associé correspond de préférence à une différence entre les vitesses relatives associées aux objets concernés par la liaison, ce qui peut s’exprimer mathématiquement par l’expression
dans laquelle
) est le poids affecté entre une liaison reliant l’objet ORet l’objet O^. On peut également utiliser une autre métrique telle que la distance euclidienne entre les vitesses.
La figure 3a montre l’exemple du graphe biparti initial 4 obtenu pour la configuration de détection d’objets montrée sur la figure 1. On y retrouve les deux sommets correspondant aux deux objets détectés par le détecteur L, les quatre sommets correspondant aux objets détectés par le détecteur R et quatre liaisons montrées en pointillés, qui ont été créées dans ce graphe initial 4 selon les calculs précédents, ainsi que les poids ou coûts associés à ces liaisons. Sur cette figure 3a, on constate notamment que les objets ORet 3 1 0Rsont deux candidats possibles pour être appariés à l’objet OR, avec des poids associés notés respectivement
Dans l’étape suivante 120, on va rechercher à minimiser ces coûts de façon à éliminer des liaisons et ne retenir que celles qui seront représentatives de l’association finale des objets. En d’autres termes, l’étape 120 consiste à
déterminer un couplage parfait de poids minimum par optimisation combinatoire du graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble. Eliminer le plus de liaison possibles en gardant le moindre coût.
Ceci peut se traduire mathématiquement par les expressions ci-après:
ce qui signifie en pratique que l’on cherche à obtenir un graphe final simple dans lequel : - chaque objet détecté par le détecteur L doit être associé à un unique objet détecté par le détecteur R ; - on accepte néanmoins qu’un objet détecté par le détecteur R ne soit pas apparié.
Dans les équations précédentes, la variable entière x traduit le fait qu’une liaison existe entre deux sommets. Elle est égale à 1 sisont reliés et à 0 sinon.
La figure 3b montre l’exemple du graphe biparti final simple 5 obtenu pour la configuration de détection d’objets montrée sur la figure 1.
Le procédé tel qu’il vient d’être décrit est particulièrement avantageux dans le cadre de la fusion multi-capteurs utilisant des capteurs de technologies différentes. Néanmoins, il peut également être appliqué dans les cas où les capteurs sont de même nature.
La figure 4 résume sous forme de synoptique simplifiée différentes composantes possibles d’un système 6 d’association de données de détection multi capteurs équipant un véhicule automobile, selon l’invention. Le système 6 reçoit dans l’exemple pris les objets détectés d’une part par un premier détecteur d’objets R (objets O^), et d’autre part par un second détecteur d’objets L (objets O^). Les détecteurs peuvent être, comme représenté sur la figure 4, des composantes externes au système 6, utilisées par exemple pour d’autres fonctionnalités d’assistance à la conduite. En variante, les détecteurs d’objets font partie intégrante du système 6.
Les références 7, 8 et 9 sur la figure 4 illustrent les modules de traitement de données associés à chaque étape d’un processus de fusion de données à haut niveau. Ainsi, le système 6 comporte des moyens 7 chargés de l’association objets détectés par les différents détecteurs, des moyens 8 chargés de la fusion des objets qui ont été associés, et des moyens 9 aptes à assurer le suivi des objets.
Conformément aux principes de l’invention, l’association de deux objets délivrés par chacun des deux détecteurs repose sur la construction préalable d’un graphe biparti, par des moyens référencés 70, puis sur l’optimisation combinatoire, par des moyens référencés 71, jusqu’à obtention d’un graphe biparti simple, comme expliqué ci-avant.

Claims (8)

  1. REVENDICATIONS
    1. Procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur (R) d'objets et d'un deuxième détecteur (L) d'objets équipant un véhicule automobile (1), sous forme d'une première liste et d'une deuxième liste d'objets détectés, le comprenant les étapes suivantes : - construction (110) d'un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape (111) de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée ; - détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial (4) pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble caractérisé en ce que chaque objet détecté étant associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile (1) et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée (111) dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste en fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes.
  2. 2. Procédé selon la revendication 1, caractérisé en ce que ladite liaison est créée si les ellipses d'incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée.
  3. 3. Procédé selon la revendication 2, caractérisé en ce que ladite valeur seuil est prédéterminée en fonction de la vitesse relative associée au premier objet.
  4. 4. Procédé selon l'une quelconque des revendications 1 à 3, caractérisé en ce que l'étape (111) de création d'une liaison entre ledit premier sommet et ledit deuxième objet prend en compte également au moins un autre attribut des objets détectés correspondants, tel qu'une classification des objets ou un sens de déplacement.
  5. 5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce que, pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond à une différence entre les vitesses relatives associées au premier objet et au deuxième objet.
  6. 6. Système (6) d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur (R) d'objets et d'un deuxième détecteur (L) d'objets équipant un véhicule automobile (1), sous forme d'une première liste et d'une deuxième liste d'objets détectés, le système comportant des moyens (7, 70, 71) aptes à : - construire un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation d'un poids à chaque liaison créée ; - déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble, caractérisé en ce que chaque objet détecté étant associé d'une part, à au moins un attribut représentatif d'une vitesse relative entre le véhicule automobile (1) et l'objet détecté, et d'autre part à une ellipse d'incertitude de détection, une liaison est créée (111) dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste en fonction d'une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d'incertitudes correspondantes..
  7. 7. Système selon la revendication 6, caractérisé en ce que lesdîts au moins deux détecteurs sont de technologies différentes.
  8. 8. Système selon l'une quelconque des revendications 6 ou 7, caractérisé en ce que chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar.
FR1657409A 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile Active FR3054672B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1657409A FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
PCT/EP2017/069252 WO2018020044A1 (fr) 2016-07-29 2017-07-28 Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1657409 2016-07-29
FR1657409A FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile

Publications (2)

Publication Number Publication Date
FR3054672A1 FR3054672A1 (fr) 2018-02-02
FR3054672B1 true FR3054672B1 (fr) 2019-09-13

Family

ID=57485611

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1657409A Active FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile

Country Status (2)

Country Link
FR (1) FR3054672B1 (fr)
WO (1) WO2018020044A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827369B (zh) * 2018-07-20 2020-09-08 重庆长安汽车股份有限公司 提升传感器关联效率的方法
KR102569904B1 (ko) * 2018-12-18 2023-08-24 현대자동차주식회사 표적 차량 추적 장치 및 그의 표적 차량 추적 방법과 그를 포함하는 차량

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points

Also Published As

Publication number Publication date
FR3054672A1 (fr) 2018-02-02
WO2018020044A1 (fr) 2018-02-01

Similar Documents

Publication Publication Date Title
EP3137355B1 (fr) Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
Fayad et al. Tracking objects using a laser scanner in driving situation based on modeling target shape
EP3635612B1 (fr) Procédé et système d'identification d'au moins un objet en déplacement
GB2555214A (en) Depth map estimation with stereo images
CN111712828A (zh) 物体检测方法、电子设备和可移动平台
EP2593907B1 (fr) Procédé de détection d'une cible dans des images stéréoscopiques par apprentissage et classification statistique à partir d'une loi de probabilité
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
EP3729327A1 (fr) Methode de reconnaissance d'objets dans une scene observee en trois dimensions
Kim et al. Deep learning-based dynamic object classification using LiDAR point cloud augmented by layer-based accumulation for intelligent vehicles
FR3054672B1 (fr) Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3056531B1 (fr) Detection d'obstacles pour vehicule automobile
FR3056530B1 (fr) Detection d'obstacles par fusion d'objets pour vehicule automobile
EP4176286A1 (fr) Système et procédé de détection d'un obstacle dans un environnement d'un véhicule
US20240151855A1 (en) Lidar-based object tracking
FR3052581B1 (fr) Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile
Apostoloff Vision based lane tracking using multiple cues and particle filtering
Rydzewski et al. Human awareness versus Autonomous Vehicles view: comparison of reaction times during emergencies
Madake et al. Visualization of 3D Point Clouds for Vehicle Detection Based on LiDAR and Camera Fusion
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
US20240096109A1 (en) Automatic lane marking extraction and classification from lidar scans
CN111795641B (zh) 用于定位车辆中的传感器的方法和装置
WO2021099395A1 (fr) Procédé de détection de pics d'intensité de faisceau lumineux réfléchi de manière spéculaire
Schilling Anomaly Detection in 3D Space for Autonomous Driving
EP3008664B1 (fr) Procédé et système de suivi d'objets en mouvement

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180202

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8