FR3054355B1 - Procede et systeme de determination d'un espace libre situe dans une zone d'environnement d'un vehicule automobile - Google Patents

Abstract

L'invention concerne un procédé de détermination d'un espace libre situé dans une zone d'environnement d'un véhicule automobile comportant :une étape (100) d'acquisition d'images de ladite zone d'environnement du véhicule automobile à partir d'une caméra montée sur le véhicule automobile; une étape (110) de détermination grossière d'une représentation géométrique dudit espace libre à partir de mesures, par un capteur d'ondes monté sur le véhicule automobile, d'ondes réfléchies ladite zone d'environnement du véhicule automobile; une étape (120) de détection d'objets dynamiques présents dans ladite zone d'environnement; une étape (130) de génération d'une image combinée provenant d'une superposition, dans chaque image acquise par la caméra, de la représentation géométrique grossière dudit espace libre et des objets détectés ; et une étape (140) de détermination affinée d'une représentation géométrique dudit espace libre par un traitement de l'image combinée.

Description

Procédé et système de détermination d’un espace libre situé dans une zone d’environnement d’un véhicule automobile

La présente invention concerne de manière générale les véhicules automobiles équipés de systèmes automatiques et/ou semi-automatiques d’assistance à la conduite, et plus précisément les systèmes nécessitant de définir le plus précisément possible l’espace libre qui se présente dans l’environnement immédiat d’un véhicule, en particulier à l’avant, lorsque celui-ci se déplace. L’espace libre (« free space >> en terminologie anglo-saxonne) correspond aux zones dans lesquelles le véhicule peut évoluer en sécurité, et peut donc servir notamment aux calculs de trajectoires à suivre par le véhicule, ou à d’autres possibilités de manœuvres telles que des manœuvres d’urgence (évitement), voire à des simples alertes visuelles et/ou sonores à destination du conducteur. L’espace situé devant un véhicule est considéré comme « non libre >> dès lors que des objets statiques (bords de route, panneaux de signalisation, voitures en stationnement...) ou des objets dynamiques (véhicules roulants, piétons en particuliers) sont présents. La détermination de l’espace libre nécessite donc de savoir pour chaque point de l’espace total à l’avant du véhicule s’il est libre ou occupé.

Il existe différentes façons aujourd’hui de déterminer l’espace libre, généralement à partir d’informations en provenance d’un seul capteur.

Notamment, il est connu de procéder à un traitement en temps réel d’images capturées par une caméra placée à l’avant du véhicule, afin d’extraire, par différents algorithmes de reconnaissance, différentes informations sur l’espace situé à l’avant du véhicule. Le traitement d’images permet de classifier chaque pixel d’une image selon trois catégories ou marqueurs selon que ce pixel doit être associé à la route, à un objet statique ou dynamique (voitures, piétons, barrières, panneaux de signalisation...), ou à un fond de paysage. Il est possible alors d’extraire une représentation géométrique à deux dimensions d’au moins un contour délimitant l’espace libre à l’avant du véhicule. D’autres procédés d’extraction du contour de l’espace libre existent également à partir d’ondes émises par un capteur (radar, lidar ou capteur à ultrasons) qui vont se réfléchir sur des obstacles à une certaine distance. Le ou les contours extraits délimitent la ou les zones pour lesquelles les ondes émises n’ont pas rencontré d’obstacles. Néanmoins, ce type de détermination de l’espace libre à partir d’un seul capteur permet seulement d’obtenir des contours assez grossiers ou peu confiants de l’espace libre réel.

Or, les véhicules disposent aujourd’hui de plusieurs capteurs de natures différentes, dont au moins une caméra frontale et au moins un capteur d’ondes, de sorte qu’il est possible d’affiner le résultat en fusionnant les informations provenant de ces différents capteurs. A cette fin, un autre procédé de traitement connu, décrit dans le document « Self-supervised Monocular Road Détection in Desert Terrain » (Hendrick Dahlkamp et al. - In Robotics : Science and Systems, Vol. 38, Philadephia, 2006) consiste à combiner certaines informations en provenance d’une caméra et d’un lidar. Plus précisément, les données métriques du lidar sont utilisées pour extraire une représentation géométrique d’une portion limitée de l’espace libre, située immédiatement à l’avant du véhicule, sur des courtes distances. Cette représentation géométrique est ensuite superposée à l’image capturée par la caméra, et un classifieur est entraîné, lors d’une phase d’apprentissage, pour apprendre à quoi ressemble la route sur cette portion limitée. A l’issue de la phase d’apprentissage, le classifieur est utilisé pour extrapoler l’espace libre sur une portion plus grande à des distances plus importantes. Ce procédé a cependant été développé pour des conditions bien spécifiques de conduite sur des routes ou pistes dans le désert et ne peut être adapté à des situations urbaines dans lesquelles les ombres et les contrastes sont plus forts, sans passer par des procédés de traitements très complexes, tels que ceux décrits en particulier dans le document intitulé « The Area Processing Unit of Caroline - Finding the Way through DARPA’s Urban Challenge » (Berger et al. In Robot Vision, edited by Gerald Sommer and

Reinhard Klette, 4931:260-74. Berlin, Heidelberg: Springer Berlin Heidelberg, 2008).

La présente invention a pour objectif de pallier les inconvénients et limitations des solutions précédemment décrites.

Pour ce faire, la présente invention a pour objet un procédé de détermination d’un espace libre situé dans une zone d’environnement d’un véhicule automobile, comportant : - une étape d’acquisition d’images de ladite zone d’environnement du véhicule automobile à partir d’une caméra montée sur le véhicule automobile; - une étape de détermination grossière d’une représentation géométrique dudit espace libre à partir de mesures, par un capteur d’ondes monté sur le véhicule automobile, d’ondes réfléchies ladite zone d’environnement du véhicule automobile; - une étape de détection d’objets dynamiques présents dans ladite zone d’environnement ; - une étape de génération d’une image combinée provenant d’une superposition, dans chaque image acquise par la caméra, de la représentation géométrique grossière dudit espace libre et des objets détectés ; et - une étape de détermination affinée d’une représentation géométrique dudit espace libre par un traitement de l’image combinée.

Selon d’autres aspects possibles du procédé, pris séparément ou en combinaison : - ladite étape de détermination grossière d’une représentation géométrique dudit espace libre comprend de préférence une sous-étape d’acquisition desdites mesures d’ondes réfléchies par ledit capteur d’ondes ; et une sous-étape de construction d’une carte d’environnement statique à partir desdites mesures ; - ladite étape de détermination grossière d’une représentation géométrique dudit espace libre comprend en outre avantageusement une sous-étape d’extraction d’un contour correspondant à une représentation géométrique grossière à deux dimensions de l’espace libre ; ladite étape de détermination affinée d’une représentation géométrique dudit espace libre peut comprendre une segmentation à étiquettes ou labels lors de laquelle chaque pixel de l’image combinée est associé à une étiquette choisie dans un ensemble d’étiquettes comprenant au moins une étiquette représentative de l’espace libre, et une étiquette représentative d’obstacles présents, - ladite étape de détermination affinée comprend une sous-étape de rognage ; - ladite étape de détermination affinée comprend une sous-étape de segmentation par ligne de partage des eaux ; - ledit espace libre est par exemple situé dans une zone d’environnement à l’avant du véhicule automobile. L’invention a également pour objet un système de détermination d’un espace libre situé dans une zone d’environnement d’un véhicule automobile, comportant : -des moyens d’acquisition d’images de ladite zone d’environnement du véhicule automobile à partir d’une caméra montée sur le véhicule automobile; -des moyens de détermination grossière d’une représentation géométrique dudit espace libre à partir de mesures, par un capteur d’ondes monté sur le véhicule automobile, d’ondes réfléchies ladite zone d’environnement du véhicule automobile ; -des moyens de détection d’objets dynamiques présents dans ladite zone d’environnement ; - des moyens de génération d’une image combinée provenant d’une superposition, dans chaque image acquise par la caméra, de la représentation géométrique grossière dudit espace libre et des objets détectés ; et -des moyens de détermination affinée d’une représentation géométrique dudit espace libre par un traitement de l’image combinée. L’invention et les différents avantages qu’elle procure seront mieux compris au vu de la description suivante, faite en référence aux figures annexées, dans lesquelles : - la figure 1 représente schématiquement un véhicule automobile équipé d’un système permettant de mettre en œuvre l’invention ; - la figure 2 donne une succession d’étapes susceptibles d’être implémentées pour la détermination d’un espace libre dans l’environnement immédiat d’un véhicule automobile, conformément à l’invention ; - la figure 3 illustre schématiquement, en vue de dessus, une situation de roulage donnée à titre d’exemple pour le véhicule de la figure 1 ; - la figure 4 illustre schématiquement, en vue de dessus, un espace libre déterminé grossièrement selon les techniques de l’art antérieur pour la situation de roulage de la figure 3 ; - la figure 5 représente schématiquement, pour la situation de roulage de la figure 3, une comparaison du résultat d’une détection de véhicules à l’avant du véhicule de la figure 1, pour la situation de roulage de la figure 3, par rapport aux véhicules existant réellement ; - la figure 6 représente un exemple du résultat obtenu après superposition des véhicules détectés et de l’espace libre déterminé grossièrement sur une image capturée par la caméra ; - la figure 7 représente un exemple du résultat obtenu après une étape d’érosion ; - la figure 8 illustre un exemple de résultat obtenu après une étape de segmentation à étiquette.

Dans la suite de la description, et à moins qu’il n’en soit disposé autrement, les éléments communs à l’ensemble des figures portent les mêmes références. On notera par ailleurs que les dessins ne sont pas à l’échelle.

Enfin, la description qui suit s’attache à décrire comment déterminer l’espace libre situé à l’avant d’un véhicule automobile, mais peut bien entendu, sans départir du cadre de la présente invention, être transposée aisément à la détection d’un espace libre arrière, afin de faciliter des manœuvres de recul du véhicule, ou encore aux espaces libres latéraux.

La figure 1 illustre schématiquement un véhicule automobile 1 équipé d’un système 2 de détermination de l’espace libre dans l’environnement immédiat du véhicule 1, ce système 2 utilisant les données en provenance d’au moins: - une caméra frontale 3, située par exemple au milieu du pare-brise avant, et dont la zone d’observation associée A3 présente un angle d’environ 50° sur une portée d’environ 100 mètres ; - d’un capteur de type lidar 4, situé par exemple au milieu du pare-chocs avant, et dont la zone d’observation associée A4 présente un angle d’environ 145° sur une portée d’environ 150 mètres.

Le capteur 4 pourrait être tout capteur d’ondes apte à mesurer des distances relatives entre le véhicule automobile 1 et des obstacles, à partir d’ondes qui se réfléchissent sur ces obstacles, comme un capteur radar ou un capteur à ultrasons.

Les capteurs 3 et 4 sont des capteurs utilisés par d’autres systèmes d’aide à la conduite que le système 2 auquel on s’intéresse ici. En variante, l’un et/ou l’autre des capteurs 3 et 4 pourraient faire partie intégrante du système 2.

Comme cela va être explicité plus en détail en référence à la figure 2, un procédé de détermination de l’espace libre situé dans une zone d’environnement, ici à l’avant du véhicule automobile 1, consiste essentiellement à : - superposer, dans une image capturée par la caméra 3, d’une part, une détermination grossière d’une représentation géométrique de cet espace libre, faite à partir des mesures du capteur d’ondes 4, et d’autre part, des objets dynamiques (typiquement d’autres véhicules et/ou des piétons) qui sont détectés à l’avant du véhicule automobile 1 ; - effectuer un traitement d’image sur l’image combinée issue de la précédente superposition pour affiner la détermination de la représentation géométrique.

Sur la figure 2, les étapes 100, 110 et 120 correspondent à la partie de traitement des données propre à chaque capteur, avant la superposition dans une même image. Plus précisément, l’étape 100 correspond à l’acquisition d’images par la caméra 3 montée sur le véhicule automobile 1, l’étape 110 correspond à la détermination grossière de la représentation géométrique de l’espace libre à partir de mesures d’ondes réfléchies faites par le capteur d’ondes 4, et l’étape 120 représente la détection d’objets dynamiques présents dans la zone avant.

Afin de mieux comprendre ce que chaque étape du procédé réalise, on utilisera dans la suite, à titre d’exemple non limitatif, la situation de roulage montrée schématiquement sur la figure 3. Dans cet exemple, le véhicule automobile 1 se déplace sur une route 5 délimitée par les bords de route 50 et 51. Trois autres véhicules 61, 62 et 63 sont également présents sur cette route 5. On suppose dans la suite que tous les véhicules roulent dans la même direction, et que le véhicule automobile 1 est derrière les trois autres véhicules 61, 62 et 63. La référence S est une représentation géométrique à deux dimensions de l’espace libre situé à l’avant du véhicule automobile 1 pour la configuration de roulage de la figure 3.

Pour la mise en œuvre de l’étape 110, on procède essentiellement à l’acquisition des mesures d’ondes réfléchies par le capteur d’ondes 4 (sous-étape 111). On construit une carte de l’environnement statique à partir de ces mesures (sous-étape 112). Toute méthode connue peut être utilisée à cette fin, comme celle décrite par exemple dans le document « Robust Driving Path Détection in Urban and Highway Scénarios Using a Laser Scanner and Online Occupancy Grids >> (Weiss et al. - In Intelligent Vehicles Symposium, 2007 IEEE, 184-189). Cette carte est mise à jour dans le temps. L’algorithme n’est cependant pas toujours fiable et de plus à tendance à effacer les objets dynamiques du fait des filtrages (lissages) temporels. On peut néanmoins extraire un contour correspondant à une représentation géométrique grossière à deux dimensions de l’espace libre (sous-étape 113). La figure 4 illustre l’allure du contour grossier S’ tel que disponible à l’issue de l’étape 110, contour S’ qui est, à ce stade du traitement, assez éloigné du contour réel S de la figure 3. Ce contour grossier S’ fait en particulier apparaître des zones de fausses détections, soit d’objets dynamiques (zones hachurées en traits épais et en oblique avec inclinaison sur la gauche des hachures), soit d’objets statiques (zones hachurées en traits épais et en oblique avec inclinaison sur la droite des hachures), ainsi que des zones de non détection (zones hachurées en horizontal). L’étape 120 correspond, comme indiqué précédemment, à la détection des objets dynamiques présents à l’avant du véhicule automobile 1. Cela peut être fait par tout algorithme connu, à partir d’informations en provenance soit de la caméra, soit d’un capteur d’ondes. La figure 5 illustre trois objets 6’ι, 6’2 et 6’3 détectés lors de cette étape 120, superposés aux véhicules réels 61, 62 et 63 pour mieux montrer le côté imprécis de la détection.

Conformément au procédé selon l’invention, on va générer, lors de l’étape 130 une image combinée provenant d’une superposition, dans chaque image acquise par la caméra, de la représentation géométrique grossière dudit espace libre S’ (résultat de l’étape 110) et des objets dynamiques détectés (résultat de l’étape 120). La figure 6 représente une image 7 résultant de cette superposition. On retrouve sur cette image combinée 7 tous les éléments capturés par la caméra 3 (en particulier les lignes de la route et les trois véhicules 61, 62 et 63 précédant le véhicule automobile 1), le contour grossier S’ représentatif de l’espace libre, et les objets dynamiques 6’i, 6’2 et 6’3.

Une détermination affinée (étape 140) du contour S’ de l’espace libre va maintenant pouvoir être réalisée en effectuant un traitement sur l’image combinée.

Chaque pixel de l’image combinée est dans un premier temps marqué ou labellisé par un marqueur, par exemple une couleur, qui permet de classifier le pixel selon qu’il appartient : - à l’espace libre ; - à un objet détecté ; - à du fond (paysage) ; - à une zone de superposition non souhaitée entre les objets détectée et l’espace libre grossier S’ ; à une zone encore indéterminée.

Une première sous-étape 141 du traitement de l’image va alors consister à éliminer, par érosion ou rognage (« érosion » en terminologie anglo saxonne), les parties correspondant à une zone de superposition non souhaitée. Pour cette étape d’érosion, on utilise les limitations connues des capteurs ayant donné l’information. La figure 7 illustre schématiquement l’image obtenue après érosion. A l’issue de la sous-étape 141, chaque pixel de l’image combinée est à présent labellisé ou marqué par un marqueur parmi seulement quatre marqueurs possibles, selon que le pixel appartient : - à l’espace libre (contour S’ réduit par rapport au contour de la figure 6) ; - à un objet détecté (objets 6’ι, 6’2 et 6’3 de dimensions réduites par rapport aux objets 6’i, 6’2 et 6’3 de la figure 6) ; - à du fond (paysage représenté par une zone quadrillée sur la figure 7) ; - à une zone encore indéterminée (parties entièrement blanches sur la figure 7). II reste maintenant à traiter les pixels associés à une zone encore indéterminée pour pouvoir les associer soit à l’espace libre, soit à un objet détecté, soit à du fond.

Ceci est fait grâce à tout algorithme connu de segmentation d’image utilisant une technique de segmentation à étiquettes ou labels, telle que la technique dite de la ligne de partage des eaux (« watershed » en terminologie anglo saxonne), ou encore la technique dite de la marche aléatoire (sous-étape 142). Par exemple, la technique de segmentation par ligne de partage des eaux consiste à considérer une image à différents niveaux de couleurs comme un relief topographique dont on simule l’inondation. La figure 8 illustre schématiquement l’image obtenue après segmentation à label. On constate qu’il y a une meilleure correspondance entre les objets détectés 6’i, 6’2 et 6’3 et les objets réellement présents, mais surtout que le contour S’ correspond au mieux à l’espace libre réel. On peut alors effectuer une transformation pour repasser dans une représentation géométrique à deux dimensions de l’espace libre S’, qui s’approche très clairement du contour réel S de la figure 3.

Le procédé de détermination de l’espace libre est beaucoup plus simple à implémenter que les solutions décrites dans l’art antérieur, notamment du fait qu’il n’est pas nécessaire d’avoir à prendre en compte des modèles de routes particuliers. De plus, le traitement de l’image combinée résultant de la superposition des différents éléments nécessite peu de calcul car les zones de superposition non souhaitées et les zones indéterminées sont très petites par rapport à l’ensemble de l’image.

Claims (8)

1. REVENDICATIONS

   1. Procédé de détermination d'un espace libre (S') situé dans une zone d'environnement d'un véhicule automobile (1), comportant : - une étape (100) d'acquisition d'images de ladite zone d'environnement du véhicule automobile (1) à partir d'une caméra (3) montée sur le véhicule automobile (1) ; - une étape (110) de détermination grossière d'une représentation géométrique dudit espace libre (S') à partir de mesures, par un capteur (4) d'ondes monté sur le véhicule automobile (1), d'ondes réfléchies dans ladite zone d'environnement du véhicule automobile (1); - une étape (120) de détection d'objets dynamiques présents dans ladite zone d'environnement ; - une étape (130) de génération d'une image combinée (7) provenant d'une superposition, dans chaque image acquise par la caméra (3), de la représentation géométrique grossière dudit espace libre (S') et des objets détectés ; et - une étape (140) de détermination affinée d'une représentation géométrique dudit espace libre (S') par un traitement de l'image combinée (7).
2. 2. Procédé selon la revendication 1, caractérisé en ce que ladite étape (110) de détermination grossière d'une représentation géométrique dudit espace libre (S') comprend: - une sous-étape (111) d'acquisition desdites mesures d'ondes réfléchies par ledit capteur (4) d'ondes ; - une sous-étape (112) de construction d'une carte d'environnement statique à partir desdites mesures.
3. 3. Procédé selon la revendication 2, caractérisé en ce que ladite étape (110) de détermination grossière d'une représentation géométrique dudit espace libre (S') comprend en outre une sous-étape (113) d'extraction d'un contour correspondant à une représentation géométrique grossière à deux dimensions de l'espace libre.
4. 4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que ladite étape (140) de détermination affinée d'une représentation géométrique dudit espace libre (S') comprend une segmentation à étiquettes ou labels lors de laquelle chaque pixel de l'image combinée (7) est associé à une étiquette choisie dans un ensemble d'étiquettes comprenant au moins une étiquette représentative de l'espace libre, et une étiquette représentative d'obstacles présents.
5. 5. Procédé selon la revendication 4, caractérisé en ce que ladite étape (140) de détermination affinée comprend une sous-étape (141) de rognage.
6. 6. Procédé selon l'une quelconque des revendications 4 ou 5, caractérisé en ce que ladite étape (140) de détermination affinée comprend une sous-étape (142) de segmentation par ligne de partage des eaux.
7. 7. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que ledit espace libre (S') est situé dans une zone d'environnement à l'avant du véhicule automobile (1).
8. 8. Système de détermination d'un espace libre (S') situé dans une zone d'environnement d'un véhicule automobile (1), comportant : - des moyens d'acquisition d'images de ladite zone d'environnement du véhicule automobile (1) à partir d'une caméra (3) montée sur le véhicule automobile (1) ; - des moyens de détermination grossière d'une représentation géométrique dudit espace libre (S') à partir de mesures, par un capteur (4) d'ondes monté sur le véhicule automobile (1), d'ondes réfléchies dans ladite zone d'environnement du véhicule automobile (1); - des moyens de détection d'objets dynamiques présents dans ladite zone d'environnement ; - des moyens de génération d'une image combinée (7) provenant d'une superposition, dans chaque image acquise par la caméra (3), de la représentation géométrique grossière dudit espace libre (S') et des objets détectés ; et - des moyens de détermination affinée d'une représentation géométrique dudit espace libre (S') par un traitement de l'image combinée (7).