FR3054672A1 - Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile - Google Patents

Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile Download PDF

Info

Publication number
FR3054672A1
FR3054672A1 FR1657409A FR1657409A FR3054672A1 FR 3054672 A1 FR3054672 A1 FR 3054672A1 FR 1657409 A FR1657409 A FR 1657409A FR 1657409 A FR1657409 A FR 1657409A FR 3054672 A1 FR3054672 A1 FR 3054672A1
Authority
FR
France
Prior art keywords
objects
bipartite graph
list
vertices
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1657409A
Other languages
English (en)
Other versions
FR3054672B1 (fr
Inventor
Hala Lamdouar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to FR1657409A priority Critical patent/FR3054672B1/fr
Priority to PCT/EP2017/069252 priority patent/WO2018020044A1/fr
Publication of FR3054672A1 publication Critical patent/FR3054672A1/fr
Application granted granted Critical
Publication of FR3054672B1 publication Critical patent/FR3054672B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93276—Sensor installation details in the windshield area
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

L'invention concerne un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend la construction (110) d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondant aux objets de la deuxième liste, ladite construction comprenant une étape de création (111) de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée ; et la détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.

Description

Titulaire(s) : VALEO SCHALTER UND SENSOREN GMBH Société par actions simplifiée.
Demande(s) d’extension
Mandataire(s) : VALEO COMFORT AND DRIVING ASSISTANCE.
PROCEDE ET SYSTEME D'ASSOCIATION DE DONNEES DE DETECTION ET DE SUIVI D'OBJETS MOBILE POUR VEHICULE AUTOMOBILE.
FR 3 054 672 - A1
L'invention concerne un procédé d'association de données de détection et de suivi d'objets mobiles en vue de leur fusion, lesdites données étant issues d'un premier détecteur d'objets et d'un deuxième détecteur d'objets équipant un véhicule automobile, sous forme d'une première liste et d'une deuxième liste d'objets détectés, le procédé étant caractérisé en ce qu'il comprend la construction (110) d'un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondant aux objets de la deuxième liste, ladite construction comprenant une étape de création (111) de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d'affectation (112) d'un poids à chaque liaison créée; et la détermination (120) d'un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Figure FR3054672A1_D0001
Figure FR3054672A1_D0002
PROCEDE ET SYSTEME D’ASSOCIATION DE DONNEES DE DETECTION ET DE SUI VI D’OBJETS MOBI LE POUR VEHI CULE AUTOMOBI LE
La présente invention concerne de manière générale le domaine des véhicules automobiles, et plus précisément un procédé et un système d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion.
Il est connu d’équiper certains véhicules automobiles avec des systèmes d’aide à la conduite utilisant différents capteurs pour détecter différents objets situés dans l’environnement du véhicule en vue de permettre aux conducteurs et/ou aux systèmes d’aide à la conduite d’adapter la conduite à la situation.
Les objets à détecter peuvent être, selon les applications recherchées, des obstacles sur la route, tels que des piétons ou d’autres véhicules, ou toute information relative à la route empruntée, telle que les lignes de marquage routier, la reconnaissance des panneaux de signalisation ou des feux tricolores. On s’intéresse dans la suite plus particulièrement à la détection d’objets mobiles (piétons ou véhicule de tout type).
Tout système de détection utilisé pour l’assistance à la conduite comporte classiquement au moins un capteur apte à détecter des objets dans l’environnement du véhicule, typiquement à l’avant, à l’arrière ou sur un côté du véhicule dans une zone d’observation donnée, ainsi qu’un module de traitement associé à ce capteur. Le module de traitement est apte à délivrer au moins une information relative à chaque objet détecté, typiquement la position (coordonnées cartésiennes ou distance associée à un angle) de cet objet par rapport au véhicule. Certains modules de traitement permettent en outre, à partir de traitements d’images capturées par une caméra, une classification de l’objet détecté, par exemple pour identifier la présence d’un piéton, ou de véhicules susceptibles de présenter un danger. Dans la suite, on appelle « détecteur d’objets >> l’ensemble formé par un capteur d’une technologie donnée et de son module de traitement associé.
Différentes technologies de capteurs (caméra, radar, lidar, capteur laser, capteur à ultrasons) peuvent être utilisées en fonction des besoins.
Les détecteurs d’objets précités présentent néanmoins l’inconvénient d’être peu précis dans certains types de mesures. Ainsi, un système de détection utilisant une caméra ne permet pas des mesures très précises en distance, contrairement au radar. A l’inverse, le radar est moins précis en angle qu’une caméra. Par ailleurs, les capteurs actifs (radar, lidar, laser) sont précis en position mais pas en classification. En particulier pour le lidar et le laser, l’imprécision en classification est due au fait qu’ils essayent de reconstituer un objet à partir de la distribution géométrique des faisceaux réfléchis.
Pour garantir une perception fiable de l’environnement du véhicule, il est ainsi connu d’utiliser plusieurs détecteurs d’objets de technologies différentes, et de fusionner les données issues de ces différents détecteurs.
Cette fusion multi-capteurs dite de « haut niveau >>, décrite par exemple dans l’article intitulé « A multi-sensor fusion System for moving object détection and tracking in urban driving environments >> (Cho et al., 2014 IEEE International Conférence on robotics & automation (ICRA) Hong Kong Convention and exhibition Center - May 31-June 7, 2014), comprend essentiellement les trois étapes suivantes:
- une étape d’association consistant à déterminer si deux objets détectés par deux détecteurs différents correspondent ou non à un même objet ;
- une étape de fusion/reconstruction de l’objet en combinant les objets associés à l’étape précédente.
- une étape de suivi (ou tracking) des différents objets.
Pour illustrer la problématique de la fusion dite de haut niveau, la figure 1 représente une configuration de situation routière avec un véhicule automobile 1 équipé de plusieurs détecteurs d’objets de technologie différente, ici d’un premier détecteur R, par exemple utilisant un capteur radar placé à l’avant du véhicule automobile 1, et d’un second détecteur L, utilisant par exemple un capteur lidar placé sur le pare-brise du véhicule automobile 1. La figure 1 représente schématiquement les objets mobiles détectés respectivement par les détecteurs L et R. Les objets détectés, tels qu’issus des différents détecteurs, se présentent sous la forme de boites englobantes, ici des rectangles. Les boîtes en traits pleins correspondent aux objets détectés par le détecteur R alors que les boîtes en traits pointillés correspondent aux objets détectés par le détecteur L. Ainsi, dans l’exemple représenté :
- le détecteur d’objets R a détecté la présence de quatre objets
3 4 mobiles référencés OR, OR, OR et OR.
- le détecteur d’objets L a détecté la présence de deux objets mobiles
2 référencés ORet OR.
Les indices R et L utilisés dans les notations identifient le détecteur responsable de la détection d’objets.
Chaque boîte englobante correspond à un objet tel qu’il a été détecté par le détecteur considéré, avec notamment des informations estimées concernant sa position relative par rapport au véhicule automobile 1, ses dimensions, sa vitesse relative et éventuellement, selon le type de détecteur utilisé, d’autres attributs comme sa classe (type d’objets).
Sur la figure 1, on a également représenté les ellipses d’incertitude autour de la position de chaque objet détecté, ou ellipses de covariance, la position étant modélisée par une distribution Gaussienne 2D dont les paramètres (écarts-types) sont données par les fournisseurs des capteurs.
g
Ainsi, à titre d’exemple, l’ellipse ER correspond à l’incertitude en position de g
l’objet OR détecté par le détecteur R.
Le but de l’étape précitée d’association est de déterminer quels sont, 12 3 4 parmi les objets issus de la liste d’objets { OR, OR, OR , OR} délivrée par le détecteur R et les objets issus de la liste d’objets { OR, OR} délivrée par le détecteur L, les objets qui correspondent en fait à un seul et même obstacle mobile. En d’autres termes, l’étape d’association consiste à coupler ou apparier les objets provenant des deux listes, selon des critères de ressemblance, de sorte que les données des objets ainsi appariés pourront être fusionnées pour reconstruire un objet plus proche de la réalité.
Les algorithmes actuels se basent sur la position des boîtes englobantes et sur les zones de recouvrement des ellipses d’incertitudes pour décider si deux boîtes peuvent être ou non associées. Typiquement, les positions des objets sont modélisées par une distribution gaussienne à deux dimensions, centrée sur un point particulier, par exemple le centre des boîtes englobantes ou, comme représenté sur la figure 1, le milieu du segment de la boîte le plus proche du véhicule 1. Deux objets détectés par deux détecteurs différents sont ensuite appariés si les ellipses d’incertitudes associées se recouvrent le plus. Chaque objet apparié est enlevé de la liste d’objet, et l’algorithme est reconduit de façon itérative sur les listes d’objets restants.
L’inconvénient de ce type d’algorithme est qu’il ne permet pas de résoudre les conflits lorsqu’un objet d’une liste peut être apparié à deux objets de l’autre liste. Par exemple, dans le cas de la figure 1, on pourrait considérer
12 que l’objet OR pourrait être apparié soit à l’objet OR, soit à l’objet OR, compte tenu des distances similaires séparant ces objets, et des recouvrements similaires des ellipses ERet ER d’une part, et ER et ER d’autre part.
La présente invention a pour but de pallier les inconvénients des algorithmes de fusion de haut niveau jusqu’ici utilisés.
Pour ce faire, l’invention a pour objet un procédé d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion, lesdites données étant issues d’un premier détecteur d’objets et d’un deuxième détecteur d’objets équipant un véhicule automobile, sous forme d’une première liste et d’une deuxième liste d’objets détectés, le procédé étant caractérisé en ce qu’il comprend les étapes suivantes :
- construction d’un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d’affectation d’un poids à chaque liaison créée ;
- détermination d’un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Selon d’autres particularités possibles :
- chaque objet détecté étant associé d’une part, à au moins un attribut représentatif d’une vitesse relative entre le véhicule automobile et l’objet détecté, et d’autre part à une ellipse d’incertitude de détection, une liaison est créée dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste de préférence en fonction d’une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d’incertitudes correspondantes;
- ladite liaison peut notamment être créée si les ellipses d’incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée ;
- ladite valeur seuil est avantageusement prédéterminée en fonction de la vitesse relative associée au premier objet;
- l’étape de création d’une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu’une classification des objets ou un sens de déplacement ;
- pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond de préférence à une différence entre les vitesses relatives associées au premier objet et au deuxième objet.
L’invention a également pour objet un système d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion, lesdites données étant issues d’un premier détecteur d’objets et d’un deuxième détecteur d’objets équipant un véhicule automobile, sous forme d’une première liste et d’une deuxième liste d’objets détectés, le système étant caractérisé en ce qu’il comporte des moyens aptes à :
- construire un graphe biparti initial entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d’affectation d’un poids à chaque liaison créée ;
- déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
Les deux détecteurs peuvent être de technologies différentes, chacun desdits détecteurs utilise un capteur choisi dans le groupe comprenant un capteur de vision, un radar, un lidar.
L’invention et les différents avantages qu’elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles :
- la figure 1 déjà décrite ci-avant, représente schématiquement une situation routière et les résultats de détection d’obstacles obtenus avec un véhicule automobile équipé de deux détecteurs de technologies différentes ;
- la figure 2, illustre des étapes susceptibles d’être réalisées dans un procédé d’association de données conforme à l’invention;
- les figures 3a et 3b illustrent schématiquement un graphe biparti initial et un graphe simple final obtenu selon les principes de l’invention pour la situation routière de la figure 1 ;
- la figure 4 illustre, sous forme de synoptique simplifié, un exemple de système d’association de données conforme à l’invention.
Le principe sur lequel est fondée l’invention est celui de la modélisation du problème de l’association des objets provenant d’au moins deux détecteurs par la théorie des graphes.
La figure 2 illustre schématiquement des étapes possibles pour une telle modélisation :
Chaque détecteur R ou L fournit, lors d’une étape préalable 100, sa propre liste d’objets détectés qui correspond à un ensemble fini d’objets. Plus précisément, le détecteur L délivre une liste de n objets, que l’on peut représenter mathématiquement par l’ensemble { OR} pour lequel i est un entier variant de 1 à n. De manière similaire, le détecteur R délivre une liste de m objets, que l’on peut représenter mathématiquement par l’ensemble (°kl pour lequel j est un entier variant de 1 à m. Les deux listes ne comprennent pas forcément le même nombre d’objets, et l’on supposera dans la suite que l’entier n est inférieur ou égal à l’entier m.
Chaque objet détecté est associé d’une part, à au moins un attribut représentatif d’une vitesse relative entre le véhicule automobile et l’objet détecté, et d’autre part à une ellipse d’incertitude de détection.
Ainsi, le détecteur L fournit également un ensemble de n ellipses d’incertitude que l’on peut représenter mathématiquement par { ER}, et un ensemble de { V , }. De °L d’incertitude n vitesses relatives dont la représentation mathématique est façon similaire, on note { E^} l’ensemble des m ellipses associé aux objets détectés par le détecteur R, et { V . } l’ensemble des m vitesses relatives correspondant à ces mêmes objets.
Pour illustrer ce principe dans le cadre de la configuration routière de
2 la figure 1, le détecteur L délivre l’ensemble de deux objets { OR, OR} et le
3 4 détecteur R délivre l’ensemble de quatre objets { OR, OR, OR , OR}.
Une première étape 110 du procédé d’association selon l’invention consiste à construire un graphe biparti initial entre les deux ensembles d’objets détectés dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets détectés par le détecteur L, et les sommets du deuxième ensemble du graphe biparti correspondent aux objets détectés par le détecteur R. La construction de ce graphe initial nécessite également la création de liaisons entre les sommets du premier ensemble et ceux du second ensemble, ainsi que l’affection d’un poids ou coût à chaque liaison créée.
L’étape 111 de création de liaisons consiste à rechercher, pour chaque objet ou sommet du premier ensemble, les candidats possibles, en termes de ressemblance, dans les sommets du deuxième ensemble.
Dans une implémentation préférée de l’invention, un objet du deuxième ensemble est candidat pour être apparié à un objet du premier ensemble si et seulement si :
- il y a intersection de son ellipse d’incertitude avec l’ellipse d’incertitude de l’objet du premier ensemble ; et
- les vitesses relatives associées aux objets sont proches.
Ceci peut se traduire mathématiquement par les expressions suivantes :
V j e [l,kj :
Ε[ Π 0 et v . -v . °L dans lesquelles :
svt‘h le est un entier représentant le nombre total de candidats possibles pour être appariés à un objet Oy ; et correspond à une valeur seuil prédéterminée.
De façon avantageuse, cette valeur seuil est fonction de la vitesse relative de l’objet pour lequel on recherche les candidats.
On peut en particulier définir que :
vth = 0,1 oi
La création de liaison prend en compte au minimum les vitesses relatives. Néanmoins, dans d’autres implémentations, la création d’une liaison entre ledit premier sommet et ledit deuxième objet peut prendre en compte également au moins un autre attribut des objets détectés correspondants, tel qu’une classification des objets ou un sens de déplacement.
Afin de compléter le graphe initial, des poids ou coûts sont également affectés à chaque liaison créée (étape 112). Le poids associé correspond de préférence à une différence entre les vitesses relatives associées aux objets concernés par la liaison, ce qui peut s’exprimer mathématiquement par l’expression
V . -V . °L o) dans laquelle C(iL,jR)est le poids affecté entre une liaison reliant l’objet O^et l’objet O^. On peut également utiliser une autre métrique telle que la distance euclidienne entre les vitesses.
La figure 3a montre l’exemple du graphe biparti initial 4 obtenu pour la configuration de détection d’objets montrée sur la figure 1. On y retrouve les deux sommets correspondant aux deux objets détectés par le détecteur L, les quatre sommets correspondant aux objets détectés par le détecteur R et quatre liaisons montrées en pointillés, qui ont été créées dans ce graphe initial 4 selon les calculs précédents, ainsi que les poids ou coûts associés à ces liaisons. Sur cette figure 3a, on constate notamment que les objets O^et
1
0Rsont deux candidats possibles pour être appariés à l’objet OL, avec des poids associés notés respectivement C(1 L,1 R) et C(1 L,3R)
Dans l’étape suivante 120, on va rechercher à minimiser ces coûts de façon à éliminer des liaisons et ne retenir que celles qui seront représentatives de l’association finale des objets. En d’autres termes, l’étape 120 consiste à déterminer un couplage parfait de poids minimum par optimisation combinatoire du graphe biparti initial pour obtenir un graphe biparti final simple dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble. Eliminer le plus de liaison possibles en gardant le moindre coût.
Ceci peut se traduire mathématiquement par les expressions ci-après:
n m ^ΣΣΧά) xij aV®C i=1 j=1
Xj. e {0,1} V (i, j) e [i, n]* [i, m] m
Σχί]= 1 v ie f1’ nl j=1 n
et Σχί| -1 v ie b’m] i=1 ce qui signifie en pratique que l’on cherche à obtenir un graphe final simple dans lequel :
- chaque objet détecté par le détecteur L doit être associé à un unique objet détecté par le détecteur R ;
- on accepte néanmoins qu’un objet détecté par le détecteur R ne soit pas apparié.
Dans les équations précédentes, la variable entière x traduit le fait qu’une liaison existe entre deux sommets. Elle est égale à 1 si O^etC© sont reliés et à 0 sinon.
La figure 3b montre l’exemple du graphe biparti final simple 5 obtenu pour la configuration de détection d’objets montrée sur la figure 1.
Le procédé tel qu’il vient d’être décrit est particulièrement avantageux dans le cadre de la fusion multi-capteurs utilisant des capteurs de technologies différentes. Néanmoins, il peut également être appliqué dans les cas où les capteurs sont de même nature.
La figure 4 résume sous forme de synoptique simplifiée différentes composantes possibles d’un système 6 d’association de données de détection multi capteurs équipant un véhicule automobile, selon l’invention. Le système 6 reçoit dans l’exemple pris les objets détectés d’une part par un premier détecteur d’objets R (objets O^), et d’autre part par un second détecteur d’objets L (objets O^). Les détecteurs peuvent être, comme représenté sur la figure 4, des composantes externes au système 6, utilisées par exemple pour d’autres fonctionnalités d’assistance à la conduite. En variante, les détecteurs d’objets font partie intégrante du système 6.
Les références 7, 8 et 9 sur la figure 4 illustrent les modules de traitement de données associés à chaque étape d’un processus de fusion de données à haut niveau. Ainsi, le système 6 comporte des moyens 7 chargés de l’association objets détectés par les différents détecteurs, des moyens 8 chargés de la fusion des objets qui ont été associés, et des moyens 9 aptes à assurer le suivi des objets.
Conformément aux principes de l’invention, l’association de deux objets délivrés par chacun des deux détecteurs repose sur la construction préalable d’un graphe biparti, par des moyens référencés 70, puis sur l’optimisation combinatoire, par des moyens référencés 71, jusqu’à obtention d’un graphe biparti simple, comme expliqué ci-avant.

Claims (10)

  1. REVENDICATIONS
    1. Procédé d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion, lesdites données étant issues d’un premier détecteur (R) d’objets et d’un deuxième détecteur (L) d’objets équipant un véhicule automobile (1), sous forme d’une première liste et d’une deuxième liste d’objets détectés, le procédé étant caractérisé en ce qu’il comprend les étapes suivantes :
    - construction (110) d’un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant une étape (111) de création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d’affectation (112) d’un poids à chaque liaison créée ;
    - détermination (120) d’un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial (4) pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième, respectivement premier ensemble.
  2. 2. Procédé selon la revendication 1, caractérisé en ce que chaque objet détecté étant associé d’une part, à au moins un attribut représentatif d’une vitesse relative entre le véhicule automobile (1) et l’objet détecté, et d’autre part à une ellipse d’incertitude de détection, une liaison est créée (111) dans ledit graphe biparti initial entre un premier sommet correspondant à un premier objet de la première liste et un deuxième sommet correspondant à un deuxième objet de la deuxième liste en fonction d’une comparaison entre les attributs correspondants représentatifs des vitesses relatives et des ellipses d’incertitudes correspondantes.
  3. 3. Procédé selon la revendication 2, caractérisé en ce que ladite liaison est créée si les ellipses d’incertitudes correspondantes se recouvrent et si une différence entre les attributs correspondant représentatifs des vitesses relatives est inférieure à une valeur seuil prédéterminée.
  4. 4. Procédé selon la revendication 3, caractérisé en ce que ladite valeur seuil est prédéterminée en fonction de la vitesse relative associée au premier objet.
  5. 5. Procédé selon l’une quelconque des revendications 2 à 4, caractérisé en ce que l’étape (111) de création d’une liaison entre ledit premier sommet et ledit deuxième objet prend en compte également au moins un autre attribut des objets détectés correspondants, tel qu’une classification des objets ou un sens de déplacement.
  6. 6. Procédé selon l’une quelconque des revendications 2 à 5, caractérisé en ce que, pour chaque liaison créée dans le graphe biparti initial entre un premier sommet et un deuxième sommet, le poids associé correspond à une différence entre les vitesses relatives associées au premier objet et au deuxième objet.
  7. 7. Système (6) d’association de données de détection et de suivi d’objets mobiles en vue de leur fusion, lesdites données étant issues d’un premier détecteur (R) d’objets et d’un deuxième détecteur (L) d’objets équipant un véhicule automobile (1), sous forme d’une première liste et d’une deuxième liste d’objets détectés, le système étant caractérisé en ce qu’il comporte des moyens (7, 70, 71) aptes à :
    - construire un graphe biparti initial (4) entre un premier ensemble et un deuxième ensemble, dans lequel les sommets du premier ensemble du graphe biparti correspondent aux objets de la première liste et les sommets du deuxième ensemble du graphe biparti correspondent aux objets de la deuxième liste, ladite construction comprenant la création de liaisons entre sommets du premier ensemble et sommets du deuxième ensemble et d’affectation d’un poids à chaque liaison créée ;
    - déterminer un couplage parfait de poids minimum par optimisation combinatoire dudit graphe biparti initial pour obtenir un graphe biparti final simple (5) dans lequel un sommet du premier, respectivement du deuxième ensemble, est relié au plus à un sommet du deuxième,
    5 respectivement premier ensemble.
  8. 8. Système selon la revendication 7, caractérisé en ce que lesdits au moins deux détecteurs sont de technologies différentes.
  9. 9. Système selon l’une quelconque des revendications 7 ou 8, caractérisé en ce que chacun desdits détecteurs utilise un capteur choisi dans le
  10. 10 groupe comprenant un capteur de vision, un radar, un lidar.
    1/2
    FÏG.2
FR1657409A 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile Active FR3054672B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1657409A FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
PCT/EP2017/069252 WO2018020044A1 (fr) 2016-07-29 2017-07-28 Procédé et système d'association de données de détection et de suivi d'objets mobile pour véhicule automobile

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1657409 2016-07-29
FR1657409A FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile

Publications (2)

Publication Number Publication Date
FR3054672A1 true FR3054672A1 (fr) 2018-02-02
FR3054672B1 FR3054672B1 (fr) 2019-09-13

Family

ID=57485611

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1657409A Active FR3054672B1 (fr) 2016-07-29 2016-07-29 Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile

Country Status (2)

Country Link
FR (1) FR3054672B1 (fr)
WO (1) WO2018020044A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11340344B2 (en) * 2018-12-18 2022-05-24 Hyundai Motor Company Apparatus and method for tracking target vehicle and vehicle including the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108827369B (zh) * 2018-07-20 2020-09-08 重庆长安汽车股份有限公司 提升传感器关联效率的方法
US12062282B2 (en) 2021-10-11 2024-08-13 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for matching objects in collaborative perception messages using multiple adaptive thresholds

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ELFRING JOS ET AL: "Multisensor simultaneous vehicle tracking and shape estimation", 2016 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 19 June 2016 (2016-06-19), pages 630 - 635, XP032939031, DOI: 10.1109/IVS.2016.7535453 *
SIKDAR ANKITA ET AL: "Radar depth association with vision detected vehicles on a highway", 2014 IEEE RADAR CONFERENCE, IEEE, 19 May 2014 (2014-05-19), pages 1159 - 1164, XP032628334, DOI: 10.1109/RADAR.2014.6875771 *
SONGHWAI OH ET AL: "Markov Chain Monte Carlo Data Association for Multi-Target Tracking", IEEE TRANSACTIONS ON AUTOMATIC CONTROL, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 54, no. 3, 1 March 2009 (2009-03-01), pages 481 - 497, XP011252898, ISSN: 0018-9286 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11340344B2 (en) * 2018-12-18 2022-05-24 Hyundai Motor Company Apparatus and method for tracking target vehicle and vehicle including the same

Also Published As

Publication number Publication date
FR3054672B1 (fr) 2019-09-13
WO2018020044A1 (fr) 2018-02-01

Similar Documents

Publication Publication Date Title
CN107798699B (zh) 用立体图像进行深度图估计
EP3137355B1 (fr) Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
WO2022002531A1 (fr) Système et procédé de détection d'un obstacle dans un environnement d'un véhicule
FR3106918A1 (fr) Procédé et dispositif de reconstruction des voies
FR3054672B1 (fr) Procede et systeme d'association de donnees de detection et de suivi d'objets mobile pour vehicule automobile
EP3850397A1 (fr) Procede de detection de route pour un vehicule automobile muni d'un capteur lidar
FR3054673B1 (fr) Fusion de donnees de detection et de suivi d'objets pour vehicule automobile
FR3056530B1 (fr) Detection d'obstacles par fusion d'objets pour vehicule automobile
FR3056531B1 (fr) Detection d'obstacles pour vehicule automobile
Rydzewski et al. Human awareness versus Autonomous Vehicles view: comparison of reaction times during emergencies
US20240151855A1 (en) Lidar-based object tracking
Apostoloff Vision based lane tracking using multiple cues and particle filtering
FR3106108A1 (fr) Procédé et dispositif de détermination de trajectoire d’une route
FR2938228A1 (fr) Procede de mesure de distance au moyen d'une camera embarquee dans un vehicule automobile
CN111795641B (zh) 用于定位车辆中的传感器的方法和装置
EP3008664B1 (fr) Procédé et système de suivi d'objets en mouvement
Kadav Advancing Winter Weather ADAS: Tire Track Identification and Road Snow Coverage Estimation Using Deep Learning and Sensor Integration
WO2021122649A1 (fr) Procédé de reconnaissance automatique de signalisation routière pour véhicule autonome
WO2022112672A1 (fr) Procédé et dispositif de détermination d'une ligne virtuelle de délimitation entre deux voies de circulation
WO2023001703A1 (fr) Dispositif et procédé de détection d'une sortie de voie d'un véhicule
WO2021099395A1 (fr) Procédé de détection de pics d'intensité de faisceau lumineux réfléchi de manière spéculaire
FR3129905A1 (fr) Procédé d’aide à la conduite pour véhicule automobile en présence de piétons.
Nedevschi et al. Forward collision detection based on elevation map from dense stereo
FR3085782A1 (fr) Procede et dispositif d'identification d'obstacles sur un trajet de vehicule automobile
KR20190048953A (ko) 차량의 헤딩 추정 장치 및 방법

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20180202

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9