FR3110996A1 - Construction d’images vues du dessus d’un tronçon de route - Google Patents
Construction d’images vues du dessus d’un tronçon de route Download PDFInfo
- Publication number
- FR3110996A1 FR3110996A1 FR2005555A FR2005555A FR3110996A1 FR 3110996 A1 FR3110996 A1 FR 3110996A1 FR 2005555 A FR2005555 A FR 2005555A FR 2005555 A FR2005555 A FR 2005555A FR 3110996 A1 FR3110996 A1 FR 3110996A1
- Authority
- FR
- France
- Prior art keywords
- image
- road
- section
- constructing
- mesh
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000004891 communication Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
L’invention fait référence à un procédé de traitement de données d’un tronçon de route caractérisé en ce qu’il comprend les étapes suivantes : - définition (100) d’un maillage logiciel d’une taille déterminée sur le tronçon de route, à chaque point du maillage logiciel étant associée au moins une coordonnée spatiale,- capture (110), par au moins un capteur mobile, d’au moins une image du tronçon de route,- sélection (120) d’une sous-partie déterminée de l’au moins une image du tronçon de route comprenant une pluralité de points du maillage logiciel parmi les plus proches de l’au moins un capteur mobile sur l’au moins une image,- association (130) de l’intensité lumineuse de chaque point de la pluralité de points du maillage logiciel de la sous-partie déterminée avec leur au moins une coordonnée spatiale correspondante sur le maillage logiciel,- génération (140) d’au moins une image à partir de la pluralité de points du maillage logiciel de la sous-partie déterminée, de leur intensité lumineuse et de leur au moins une coordonnée spatiale respective. Figure de l’abrégé : Fig. 2
Description
La présente invention concerne une construction d’images d’un tronçon de route. En particulier, l’invention présente un procédé permettant de construire des images d’un tronçon de route vue du dessus en utilisant des capteurs embarqués à bord de véhicules.
Il est connu de nos de jours que les véhicules utilisent de plus en plus d’outils de navigation pour circuler et en particulier des outils de navigation se basant sur le traitement d’images. Ce dernier est particulièrement intéressant pour la détection de véhicules et des différents panneaux de signalisation et autres feux.
En revanche, la détection des éléments présents sur la route utilisant le traitement d’images pose des problèmes de résolutions. L’angle de la caméra par rapport à la route entraîne des effets de perspective importants sur les images capturées qui font que ces dernières sont difficiles à exploiter. Aujourd’hui, les images de la route capturées par les caméras des véhicules sont traitées en effectuant un changement de repère afin d’obtenir une image de type « bird-view » (vue d’oiseau) de façon à pouvoir détecter les éléments présents au niveau du sol. Une transformation d’une image vers une image « bird-view » est décrite par le document intitulé « Transformation Technique » de Venkatesh et Vijayakumar dans l’International Journal of Scientific & Engineering Research, Volume 3, Issue 5, May-2012.
Cependant, les parties de l’image capturée les plus éloignées de la caméra (vers l’horizon) ont une résolution très faible due à la perspective. En effet, les distances sont déformées et l’intensité de l’image n’est pas la même. La transformation de ces images en « bird-view » ne donne pas de résultat satisfaisant dans la détection des éléments présents sur la route et notamment du marquage au sol. Par ailleurs, la transformation d’une image vers une « bird-view » telle que faite actuellement est coûteuse en temps de calcul.
Il existe un besoin de générer une image équivalente à l’image « bird-view », de résolution supérieure permettant ainsi une meilleure détection des éléments présents sur la route sans modifier les composants matériels déjà présents sur les véhicules. Il existe également un besoin de réduire le temps de traitement de génération de cette image équivalente à l’image « bird-view ».
Présentation de l’invention
Le but de l’invention est donc de pallier au moins en partie les problématiques exposées ci-dessus et de proposer un procédé permettant de constituer une image de la route vue du dessus de bonne résolution, permettant d’identifier les éléments présents sur la route et notamment le marquage au sol avec davantage de netteté et demandant un temps de traitement inférieur à la génération d’une image « bird-view ».
À cet égard, l’invention a pour objet un procédé de construction d’une image d’un tronçon de route caractérisé en ce qu’il comprend les étapes suivantes :
- définition d’un maillage logiciel d’une taille déterminée sur le tronçon de route, à chaque point du maillage logiciel étant associée au moins une coordonnée spatiale,
- capture, par au moins un capteur mobile, d’au moins une image du tronçon de route,
- sélection d’une sous-partie déterminée de l’au moins une image du tronçon de route comprenant une pluralité de points du maillage logiciel parmi les plus proches de l’au moins un capteur mobile sur l’au moins une image,
- association de l’intensité lumineuse de chaque point de la pluralité de points du maillage logiciel de la sous-partie déterminée de l’au moins une image, avec leur au moins une coordonnée spatiale correspondante sur le maillage logiciel,
- génération d’au moins une image à partir de la pluralité de points du maillage logiciel de la sous-partie déterminée de l’au moins une image, de leur intensité lumineuse et de leur au moins une coordonnée spatiale respective.
- définition d’un maillage logiciel d’une taille déterminée sur le tronçon de route, à chaque point du maillage logiciel étant associée au moins une coordonnée spatiale,
- capture, par au moins un capteur mobile, d’au moins une image du tronçon de route,
- sélection d’une sous-partie déterminée de l’au moins une image du tronçon de route comprenant une pluralité de points du maillage logiciel parmi les plus proches de l’au moins un capteur mobile sur l’au moins une image,
- association de l’intensité lumineuse de chaque point de la pluralité de points du maillage logiciel de la sous-partie déterminée de l’au moins une image, avec leur au moins une coordonnée spatiale correspondante sur le maillage logiciel,
- génération d’au moins une image à partir de la pluralité de points du maillage logiciel de la sous-partie déterminée de l’au moins une image, de leur intensité lumineuse et de leur au moins une coordonnée spatiale respective.
Selon un mode de réalisation, l’au moins un capteur mobile capture successivement une pluralité d’images sur des positions différentes du tronçon de route à une fréquence déterminée et au moins une image parmi la pluralité d’images prises successivement voit une section de sa sous-partie déterminée chevauchée par la sous-partie déterminée de l’image capturée suivante.
Selon un mode de réalisation, la fréquence déterminée de capture d’images de l’au moins un capteur mobile est variable en fonction de la vitesse de déplacement de l’au moins un capteur mobile.
Selon un mode de réalisation, la sous-partie déterminée de l’au moins une image du tronçon de route est déterminée en fonction de la vitesse à laquelle l’au moins un capteur mobile se déplace.
Selon un mode de réalisation, l’au moins une coordonnée spatiale de chaque point du maillage logiciel comprend une position GPS en trois dimensions : latitude, longitude et altitude.
Selon un mode de réalisation, le procédé comprend une étape supplémentaire d’assemblage de l’au moins une image générée afin de former une image du tronçon de route à partir de l’intensité lumineuse et de l’au moins une coordonnée spatiale de chaque point du maillage logiciel.
Selon un mode de réalisation, plusieurs sous-parties déterminées d’images comprennent un même point du maillage logiciel, l’intensité lumineuse associée audit point est l’intensité lumineuse du point de l’image capturée la plus proche du capteur mobile.
L’invention a également pour objet un système de construction d’une image d’un tronçon de route comprenant un véhicule, le véhicule embarquant au moins un capteur mobile et un calculateur, le calculateur étant caractérisé en ce qu’il est adapté pour mettre en œuvre l’ensemble des étapes d’un procédé tel que présenté ci-dessus.
Dans un autre mode de réalisation, le système comprend un serveur distant présentant une interface de communication avec une pluralité de véhicules, chaque véhicule embarquant au moins un capteur mobile et un calculateur,
et le système comprend des moyens de mise en œuvre de chacune des étapes d’un procédé tel que celui présenté précédemment.
et le système comprend des moyens de mise en œuvre de chacune des étapes d’un procédé tel que celui présenté précédemment.
Selon un mode de réalisation, le serveur distant met en œuvre l’étape de définition du maillage logiciel, et l’envoie à la pluralité de véhicules par l’intermédiaire de l’interface de communication.
Selon un mode de réalisation, la pluralité de véhicules met en œuvre les étapes de capture, sélection, association et génération d’un procédé tel que présenté par l’intermédiaire de leur calculateur et envoie les images générées au serveur distant qui met en œuvre l’étape supplémentaire d’assemblage afin de former une image d’un tronçon de route.
Enfin, l’invention a pour objet un produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre d’un procédé selon l’un quelconque des modes de réalisation présentés ci-dessus.
Dans cette mesure, l’invention permet de produire une image d’un tronçon d’une route vue du dessus, correspondant à une alternative aux images de type « bird-view ». La reconstruction de tronçons selon l’invention est plus précise que celle de l’art antérieur de type « bird-view » dans le sens où ces images sont de meilleures résolutions puisqu’elle ne considère que les éléments proches des images capturées. Ainsi, ces éléments ne subissent que très peu l’effet de perspective et sont de bonne résolution. Par ailleurs, le temps de traitement est réduit puisque le procédé ne s’intéresse pas aux traitements de l’ensemble de l’image capturée mais à seulement quelques points stratégiques. L’invention utilise à son avantage des véhicules d’utilisateurs pour construire une cartographie du sol permettant d’identifier avec netteté les éléments présents sur la route et notamment le marquage au sol et ce, sans ajouter de capteurs supplémentaires dédiés à cette fonction. Il ne s’agit donc plus d’identifier les éléments de la route devant soi pour les traiter directement mais de les identifier pour le passage des prochains véhicules amenés à traverser ce tronçon de route. Ces mêmes véhicules vont eux aussi potentiellement enrichir la base de données d’images relatives audit tronçon de route.
En outre, le procédé est également applicable à un véhicule non connecté qui est ainsi capable de construire ses propres images vues du dessus de tronçons de route et en particulier de trajets qu’il effectue régulièrement.
D’autres caractéristiques, détails et avantages apparaîtront à la lecture de la description détaillée ci-après, et à l’analyse des dessins annexés, sur lesquels :
En référence à la figure 2 est maintenant décrite une succession d’étapes d’un procédé de construction d’une image d’un tronçon de route. Durant la description du procédé, il sera également fait référence à la figure 1 et à la figure 3 présentant respectivement un mode de réalisation d’un système dans lequel le procédé peut être mis en œuvre et un mode de réalisation d’un maillage d’un tronçon de route.
La première étape du procédé, étape 100, comprend une définition d’un maillage logiciel sur un tronçon de route 7 (figure 3). Le maillage logiciel correspond ici à l’application d’une grille virtuelle sur le tronçon de route 7. De préférence, chaque point du maillage est à équidistance des points les plus proches qui l’entourent. Par ailleurs, chaque point du maillage est associé à au moins une coordonnée spatiale permettant de l’identifier dans l’espace. L’au moins une coordonnée spatiale peut par exemple être une coordonnée spatiale à trois dimensions comprenant la longitude, la latitude et l’altitude pour chaque point du maillage logiciel. Concernant la précision du maillage logiciel, ce dernier peut par exemple comprendre un point tous les centimètres, la grille virtuelle pourrait donc être un maillage d’un centimètre par un centimètre (1 cm × 1 cm). Le maillage logiciel est utilisé afin d’identifier une pluralité de points stratégiques du tronçon de route 7. La suite du procédé présentée décrit comment, à partir du maillage logiciel défini dans cette étape, générer une image du tronçon de route 7 vue du dessus.
Ainsi, la deuxième étape 110 du procédé comprend la capture, par au moins un capteur mobile permettant de créer une image de type bird-view embarqué à bord d’au moins un véhicule 5, d’une image 6 du tronçon de route 7 sur lequel a été défini le maillage logiciel. En particulier, un capteur avantageux permettant de créer ce type d’image bird-view est une caméra. Par caméra, il est entendu ici tous moyens de capture d’une image dans une longueur d’onde appartenant au domaine du visible. Il sera donc fait référence à une caméra mobile 2 pour le capteur mobile dans la suite du document pour faciliter la compréhension du procédé. Toutefois, il est entendu ici qu’il s’agit simplement d’un exemple à titre illustratif et non limitatif. En ce sens, le capteur mobile pourrait être un capteur radar ou encore un capteur lidar.
La caméra est par ailleurs dite mobile puisque le véhicule 5 qui l’embarque se déplace. L’au moins un véhicule 5 embarquant l’au moins une caméra mobile 2 capturant une image 6 est représenté par la figure 1. Par la suite, il sera fait référence à une caméra mobile 2 embarquée sur un véhicule 5 pour une meilleure lisibilité du procédé mais il est entendu qu’il peut en réalité s’agir d’au moins une caméra mobile 2 embarquée sur au moins un véhicule 5. De la même façon, il est fait référence dans cette étape et dans la suite du procédé à une image 6, mais puisque cette dernière peut être capturée par chaque caméra mobile 2 présente sur chaque véhicule 5, il peut également s’agir d’une pluralité d’images 6 capturées. Toutefois, le traitement de l’image 6 développé ci-après est le même pour chaque image 6.
La caméra mobile 2 embarquée sur le véhicule 5 peut par exemple être une caméra sur un pare-brise ou encore une caméra au niveau d’un rétroviseur. Il s’agit ici de capturer une image 6 avec une caméra mobile 2 déjà présente sur le véhicule 5. Il n’est pas nécessaire de rajouter des caméras au véhicule 5 pour réaliser le procédé de construction d’image présenté. En outre, la capture de chaque image 6 par une caméra mobile 2 est associée à une position de la caméra mobile 2 correspondante sur le tronçon de route 7. Selon un mode de réalisation, durant une même itération du procédé, une caméra mobile 2 peut capturer une pluralité d’images 6 successives du tronçon de route 7 à plusieurs positions différentes sur le tronçon de route 7. Avantageusement, la pluralité d’images 6 prises successivement par chaque caméra mobile 2 est capturée à une fréquence déterminée de telle sorte que deux images 6 successives présentent au moins en partie une même zone du tronçon de route 7.
Ainsi, pour créer une image du tronçon de route 7 vue du dessus, chaque véhicule 5 circulant sur le tronçon de route 7 et comprenant au moins une caméra mobile 2 est mis à contribution en capturant plusieurs images 6 du tronçon de route 7. La suite du procédé fait état du traitement de chaque image 6 capturée et de son association avec le maillage logiciel défini précédemment.
La troisième étape 120 du procédé comprend une sélection d’une sous-partie déterminée 8 d’une image 6 capturée par une caméra mobile 2 à l’étape 110. La sous-partie déterminée 8 de l’image 6 comprend une pluralité de points du maillage logiciel parmi les points du maillage les plus proches de la caméra mobile 2 sur l’image 6. La figure 3 présente cette étape pour une seule caméra mobile 2 dans trois positions 20 successives différentes. La sous-partie déterminée 8 de l’image 6 capturée par la caméra mobile 2 dans chacune des trois positions 20 sur le tronçon 7 est représentée à chaque fois par une zone grisée. Par ailleurs, les images 6 capturées ne sont pas représentées de façon entière sur la figure 3 : il s’agit seulement d’illustrer la sous-partie déterminée 8 respective de chaque image. Chaque sous-partie déterminée 8 d’image comprend une pluralité de points 9 du maillage logiciel (également représenté par des croix). La pluralité de points 9 du maillage logiciel est choisie parmi les points les plus proches de la caméra mobile 2 pour bénéficier d’une bonne résolution. En effet, le fait que la pluralité de points 9 du maillage logiciel soit proche de la caméra mobile 2 permet de réduire l’effet de perspective induit par l’angle entre l’axe de la caméra mobile 2 et le tronçon de route 7. Les points du maillage les plus proches de la caméra mobile 2 sont ainsi de bonne résolution et ne subissent que peu l’effet de perspective. La pluralité de points 9 du maillage logiciel peut par exemple comprendre au moins 10 points et de préférence au moins 30 points par image 6 capturée. En outre, la sous-partie déterminée 8 de l’image 6 capturée est avantageusement de forme rectangulaire.
Comme représenté sur la figure 3, il est avantageux que des sous-parties déterminées 8 d’images 6 capturées successivement par la caméra mobile 2 à des positions différentes se chevauchent. De cette façon, il est possible de déterminer, par un algorithme de traitement d’images, la position des différents points 9 du maillage logiciel de la sous-partie déterminée 8 d’une deuxième image 6 lorsqu’elle chevauche la sous-partie déterminée 8 d’une première image 6 dont les points sont déjà localisés sur le maillage logiciel. On veillera de préférence à ce que la sous-partie déterminée 8 de la première image et la sous-partie déterminée 8 de la deuxième image présentent au moins un point 9 du maillage logiciel en commun. En ce sens, la sous-partie déterminée 8 d’une image 6 peut être de taille variable. C’est à dire que deux sous-parties déterminées 8 d’images 6 capturées par une même caméra mobile 2 peuvent avoir une taille différente et comprendre plus ou moins de points 9 du maillage logiciel. Bien entendu, il en va de même pour une pluralité de caméras mobiles 2 différentes. En réalité, la taille de la sous-partie déterminée 8 de l’image 6 dépend avantageusement de la vitesse à laquelle se déplace la caméra mobile 2.
Dans un mode de réalisation, lorsque la vitesse de la caméra mobile 2 augmente, par exemple lorsque le véhicule 5 sur lequel elle est embarquée accélère, la sous-partie déterminée 8 de l’image 6 s’agrandit en longueur. La longueur est définie ici comme étant la direction dans laquelle le véhicule 5 se déplace. Cela signifie que la sous-partie déterminée de l’image 8 comprend davantage de points 9 du maillage logiciel en direction de l’horizon de l’image 6 capturée lorsque le véhicule 5 est à une vitesse élevée que lorsqu’il est à une vitesse moins élevée. Avoir une sous-partie déterminée de l’image 8 de taille variable en fonction de la vitesse de la caméra mobile 2 permet d’avoir un chevauchement plus facile entre les différentes sous-parties déterminées 8 d’images 6 lorsque ces images sont prises successivement par la caméra mobile 2.
Dans un autre mode de réalisation, la fréquence de capture des images 6 par la caméra mobile 2 est variable en fonction de la vitesse de déplacement de la caméra mobile 2 et donc du véhicule 5 ce qui permet d’avoir un chevauchement entre les sous-parties déterminées 8 d’images 6 capturées successivement même si la vitesse du véhicule 5 évolue beaucoup entre les captures.
Il est également envisageable un mode de réalisation dans lequel, à la fois la taille des sous-parties déterminées 8 d’images et à la fois la fréquence de capture de la caméra mobile 2 est variable. Chacun des deux paramètres peut être dépendant de la vitesse de déplacement de la caméra mobile 2.
Cette étape du procédé explore un nouveau paradigme dans l’identification des éléments présents sur un tronçon de route. Par éléments présents sur le tronçon de route, il est entendu de manière non limitative le marquage au sol, les nids-de-poule, les ralentisseurs, etc. En effet, ne sélectionner qu’une sous-partie de l’image correspondant à une zone du tronçon de route proche de la caméra consiste en réalité à identifier les éléments présents sur la route juste devant le véhicule 5. Il ne s’agit donc plus d’identifier les éléments présents sur la route devant le véhicule 5 pour les traiter directement mais de les identifier pour le passage des véhicules étant amenés à passer sur ce tronçon de route dans le futur. Ces mêmes véhicules vont eux aussi potentiellement enrichir la base de données d’images relatives audit tronçon de route.
L’image 6 est désormais traitée pour ne contenir qu’une sous-partie déterminée de bonne résolution comprenant des points 9 du maillage logiciel.
La quatrième étape 130 du procédé comprend une association de l’intensité lumineuse de chacun des points 9 du maillage logiciel compris dans la sous-partie déterminée de l’image 8 avec leur au moins une coordonnée spatiale correspondante. L’étape précédente a permis de sélectionner certains points intéressants du maillage logiciel définis lors de la première étape. La présente étape consiste ainsi à retranscrire l’intensité lumineuse de la pluralité de points 9 du maillage logiciel de la sous-partie déterminée 8 de l’image 6 sur le maillage logiciel. Il s’agit donc d’obtenir pour le maillage logiciel l’intensité lumineuse des points 9 provenant de la sous-partie déterminée 8 de l’image 6 capturée en association avec leur position spatiale.
La cinquième et dernière étape 140 du procédé comprend la génération d’au moins une image à partir de la pluralité de points 9 du maillage logiciel auxquelles est associée une intensité lumineuse. L’image est générée à partir de l’intensité lumineuse de la pluralité de points 9 du maillage logiciel et de leur au moins une coordonnée spatiale respective.
Il est aisément compréhensible à ce stade qu’il est nécessaire d’avoir une pluralité d’images capturées par une ou plusieurs caméra(s) mobiles(s) pour générer une image d’un tronçon de route si ce dernier n’est pas de l’ordre de quelques centimètres carrés. Comme précisé plus haut, il s’agit ici d’utiliser les caméras de véhicules classiques, sans nécessité d’ajouts de caméras spécifiques pour construire une image d’un tronçon de route permettant d’identifier avec précision les éléments présents sur la route.
Par ailleurs, il est possible qu’à la fin de la cinquième étape 140 du procédé, l’image générée du tronçon de route 7 ne soit pas complète, c’est-à-dire qu’il n’ait pas encore été associé à chaque point 9 du maillage logiciel une intensité lumineuse. Cela signifie que l’ensemble des sous-parties déterminées 8 d’images 6 capturées ne comprend pas l’ensemble des points 9 du maillage logiciel. Dans ce cas de figure, la cinquième étape 140 aura généré plusieurs images correspondant à des sous-sections du tronçon de route 7. Le procédé comprend alors une étape supplémentaire d’assemblage 150 des sous-sections pour former une image du tronçon de route 7. Cependant, l’assemblage des sous-sections ne suffit pas puisqu’il manque des zones du tronçon de route 7 pour lesquelles l’intensité lumineuse des points 9 du maillage logiciel n’a pas été déterminée. Dans ce cas, le procédé reboucle à l’étape 110 et attend d’autres images 6. Il est donc possible de générer une image du tronçon de route 7 par petits morceaux de sous-sections comme dans un puzzle.
Le procédé comprend donc deux modes de réalisations différents :
- le premier dans lequel, à l’issue de l’étape 140, l’image du tronçon de route 7 est générée d’un bloc. Dans ce mode de réalisation, l’étape 140 n’est déclenchée que lorsqu’on a associé à l’ensemble des points du maillage logiciel une intensité lumineuse ;
- le deuxième, dans lequel à l’issue de l’étape 140, au moins un point du maillage logiciel n’a pas d’intensité lumineuse associée, l’image du tronçon de route ne peut donc pas être générée d’un seul bloc. Est alors introduite une étape supplémentaire d’assemblage 150 de différentes images créées au cours d’étapes 140. Puis le procédé reboucle vers l’étape 110 dans l’attente de nouvelles images générées par l’étape 140 puis assemblées par l’étape 150 dans une nouvelle itération pour associer à chaque trou du maillage logiciel une intensité lumineuse et construire une image du tronçon de route 7 à l’image d’un puzzle. Bien entendu, le procédé ne comprend pas forcément deux itérations mais peut en comprendre bien plus, l’idée étant de générer une image du tronçon de route 7 petits morceaux par petits morceaux et ainsi réduire le temps de traitement de génération de l’image finale du tronçon de route 7.
- le deuxième, dans lequel à l’issue de l’étape 140, au moins un point du maillage logiciel n’a pas d’intensité lumineuse associée, l’image du tronçon de route ne peut donc pas être générée d’un seul bloc. Est alors introduite une étape supplémentaire d’assemblage 150 de différentes images créées au cours d’étapes 140. Puis le procédé reboucle vers l’étape 110 dans l’attente de nouvelles images générées par l’étape 140 puis assemblées par l’étape 150 dans une nouvelle itération pour associer à chaque trou du maillage logiciel une intensité lumineuse et construire une image du tronçon de route 7 à l’image d’un puzzle. Bien entendu, le procédé ne comprend pas forcément deux itérations mais peut en comprendre bien plus, l’idée étant de générer une image du tronçon de route 7 petits morceaux par petits morceaux et ainsi réduire le temps de traitement de génération de l’image finale du tronçon de route 7.
Ne considérer que les intensités lumineuses des points du maillage logiciel du tronçon de route 7 et leur au moins une coordonnée spatiale associée permet de générer une image vue du dessus du tronçon avec un temps de traitement réduit. D’autant plus lorsque l’image est générée par petits morceaux. En effet, il n’est pas nécessaire de traiter l’ensemble des points de l’image capturée comme dans l’art antérieur mais seulement les points stratégiques du maillage logiciel. Le temps de traitement d’une image s’en trouve de ce fait considérablement réduit.
Revenons maintenant à la figure 1 du système représentant un mode de réalisation permettant la mise en œuvre du procédé. Une pluralité de véhicules 5 circulant sur le tronçon de route 7 et comprenant chacun au moins une caméra mobile 2 est représentée. Cette pluralité de véhicules 5 communique avec un serveur distant 4 à travers une interface de communication 3 qui échange des informations avec les véhicules 5.
Dans un mode de réalisation considérant une pluralité de véhicules 5, chaque véhicule 5 doit avoir le même maillage logiciel pour permettre la génération d’une image du tronçon de route 7 en utilisant les informations reçues de chacun d’eux. Le serveur distant 4 peut donc définir le maillage logiciel et l’envoyer à la pluralité de véhicules 5 par l’intermédiaire de son interface de communication 3.
En outre, plusieurs niveaux d’informations peuvent être envoyés par chaque véhicule 5 vers le serveur distant 4.
Par exemple, un véhicule 5 peut simplement mettre en œuvre l’étape 110 de capture d’une image par l’au moins une caméra mobile 2 qu’il embarque puis envoyer cette image (ou cette pluralité d’images dans le cas d’un véhicule avec plusieurs caméra mobiles 2) vers le serveur distant 4. Chaque image envoyée par le véhicule 5 n’est pas traitée par le véhicule 5 lui-même mais par le serveur distant 4. Ce dernier effectue ainsi le reste du traitement de son côté, à savoir les étapes 120, 130, 140 (et 150 s’il est configuré pour construire le tronçon de route 7 par morceaux).
Par exemple, un véhicule 5 peut simplement mettre en œuvre l’étape 110 de capture d’une image par l’au moins une caméra mobile 2 qu’il embarque puis envoyer cette image (ou cette pluralité d’images dans le cas d’un véhicule avec plusieurs caméra mobiles 2) vers le serveur distant 4. Chaque image envoyée par le véhicule 5 n’est pas traitée par le véhicule 5 lui-même mais par le serveur distant 4. Ce dernier effectue ainsi le reste du traitement de son côté, à savoir les étapes 120, 130, 140 (et 150 s’il est configuré pour construire le tronçon de route 7 par morceaux).
Dans un autre mode de réalisation, chaque véhicule 5 effectue également les étapes 120, 130 et 140 et envoie seulement au serveur distant 3 l’au moins une image générée pour que celui-ci construise l’image complète du tronçon de route 7 en prenant en considération les images reçues des autres véhicules 5, le serveur distant s’occupant donc seulement de l’étape d’assemblage 150 décrite précédemment. Dans ce mode de réalisation, les étapes effectuées au niveau du véhicule 5 sont mises en œuvre par un calculateur embarqué sur le véhicule. Avantageusement, il s’agira d’un calculateur déjà présent sur le véhicule pour éviter d’ajouter des composants matériels supplémentaires.
Par ailleurs, lorsque le véhicule 5 et/ou le serveur distant 4 est en présence d’une pluralité d’images capturées par une ou plusieurs caméra(s) mobile(s) 2 et qu’un même point du maillage est présent dans plusieurs sous-parties déterminées 8 d’images 6 capturées, une seule intensité lumineuse peut être associée à l’au moins une coordonnée spatiale sur le maillage logiciel. Avantageusement, il s’agit de l’intensité lumineuse pour laquelle le point du maillage logiciel est le plus proche de la caméra mobile 2 ayant capturé l’image parmi toutes les sous-parties déterminées 8 d’images 6 qui contiennent ce même point du maillage logiciel. De cette façon, l’intensité lumineuse associée au point du maillage logiciel sera celle de meilleure résolution. En variante, l’intensité lumineuse associée au point du maillage logiciel présent dans une pluralité de sous-parties déterminées 8 d’images capturées est égale à la moyenne des intensités lumineuses du point du maillage logiciel concerné. Cette variante prend ainsi en considération les différences de luminosité entre les images 6, les différences entre les résolutions des caméras mobiles, les différences entre les conditions météorologiques dans lesquelles les images 6 ont été capturées, etc.
En outre, le procédé peut être mis en œuvre par un véhicule 5 non connecté et dans ce cas, l’ensemble des étapes est effectué au niveau du véhicule 5 par un calculateur embarqué sur le véhicule 5. Dans ce mode de réalisation, bien que le véhicule 5 ne bénéficie pas des informations des autres véhicules 5, il est tout de même capable de se constituer des images vues du dessus de tronçons de route qu’il parcourt.
Le procédé et le système présentés par la description pour générer une image vue du dessus d’un tronçon de route permettant d’identifier les éléments présents sur la route est donc une alternative à la génération d’une image « bird-view ». L’alternative proposée est par ailleurs de meilleure résolution, ce qui induit une identification des éléments présents sur le tronçon de route améliorée pour un temps de traitement inférieur. Enfin, on utilise ici avantageusement le fait que les véhicules sont désormais presque tous équipés de système de navigation comprenant des capteurs permettant de construire une image de type bird-view (caméra, radar, lidar, etc.) pour construire une cartographie de la route précise sans ajouter de composants matériels supplémentaires.
Claims (12)
- Procédé de construction d’une image d’un tronçon de route (7) caractérisé en ce qu’il comprend les étapes suivantes :
- définition (100) d’un maillage logiciel d’une taille déterminée sur le tronçon de route (7), à chaque point du maillage logiciel étant associée au moins une coordonnée spatiale,
- capture (110), par au moins un capteur mobile (2), d’au moins une image (6) du tronçon de route (7),
- sélection (120) d’une sous-partie déterminée (8) de l’au moins une image (6) du tronçon de route (7) comprenant une pluralité de points du maillage logiciel (9) parmi les plus proches de l’au moins un capteur mobile (2) sur l’au moins une image (6),
- association (130) de l’intensité lumineuse de chaque point de la pluralité de points du maillage logiciel (9) de la sous-partie déterminée (8) de l’au moins une image (6), avec leur au moins une coordonnée spatiale correspondante sur le maillage logiciel,
- génération (140) d’au moins une image à partir de la pluralité de points du maillage logiciel (9) de la sous-partie déterminée (8) de l’au moins une image (6), de leur intensité lumineuse et de leur au moins une coordonnée spatiale respective. - Procédé de construction d’une image selon la revendication 1, caractérisé en ce que l’au moins un capteur mobile (2) capture successivement une pluralité d’images (6) sur des positions différentes du tronçon de route (7) à une fréquence déterminée,
et en ce qu’au moins une image (6) parmi la pluralité d’images (6) prises successivement par l’au moins un capteur mobile (2) voit une section de sa sous-partie déterminée (8) chevauchée par la sous-partie déterminée (8) de l’image (6) capturée suivante. - Procédé de construction d’une image selon la revendication précédente, caractérisé en ce que la fréquence déterminée de capture d’images de l’au moins un capteur mobile (2) est variable en fonction de la vitesse de déplacement de l’au moins un capteur mobile (2).
- Procédé de construction d’une image selon l’une quelconque des revendications précédentes, caractérisé en ce que la sous-partie déterminée (8) de l’au moins une image (6) du tronçon de route (7) est déterminée en fonction de la vitesse à laquelle l’au moins un capteur mobile (2) se déplace.
- Procédé de construction d’une image selon l’une quelconque des revendications précédentes, caractérisé en ce que l’au moins une coordonnée spatiale de chaque point du maillage logiciel comprend une position GPS en trois dimensions : latitude, longitude et altitude.
- Procédé de construction d’une image selon l’une quelconque des revendications précédentes, caractérisé en ce qu’il comprend une étape supplémentaire d’assemblage (150) de l’au moins une image générée à l’issue de l’étape 140 afin de former une image du tronçon de route (7) à partir de l’intensité lumineuse et de l’au moins une coordonnée spatiale de chaque point du maillage logiciel.
- Procédé de construction d’une image selon l’une quelconque des revendications précédentes, caractérisé en ce que lorsque plusieurs sous-parties déterminées (8) d’images (6) comprennent un même point (9) du maillage logiciel, l’intensité lumineuse associée audit point (9) est l’intensité lumineuse du point (9) de l’image (6) capturée la plus proche du capteur mobile.
- Système de construction d’une image d’un tronçon de route (7) comprenant un véhicule (5), le véhicule (5) embarquant au moins un capteur mobile (2) et un calculateur, le calculateur étant caractérisé en ce qu’il est adapté pour mettre en œuvre l’ensemble des étapes d’un procédé selon l’une quelconque des revendications précédentes.
- Système de construction d’une image d’un tronçon de route (7) caractérisé en ce qu’il comprend un serveur distant (4) présentant une interface de communication (3) avec une pluralité de véhicules (5), chaque véhicule embarquant au moins un capteur mobile (2) et un calculateur,
et en ce que le système comprend des moyens de mise en œuvre de chacune des étapes d’un procédé selon l’une quelconque des revendications 1 à 7. - Système de construction d’une image selon la revendication précédente, caractérisé en ce que le serveur distant (4) met en œuvre l’étape de définition du maillage logiciel (100), et l’envoie à la pluralité de véhicules par l’intermédiaire de l’interface de communication (3).
- Système de construction d’une image selon l’une quelconque des revendications 9 ou 10, caractérisé en ce que la pluralité de véhicules (5) met en œuvre les étapes de capture (110), sélection (120), association (130) et génération (140) du procédé par l’intermédiaire de leur calculateur et envoie les images générées au serveur distant (4),
et en ce que le serveur distant met en œuvre l’étape supplémentaire d’assemblage (150) selon le procédé de la revendication 6. - Produit programme d’ordinateur, comprenant des instructions de code pour la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 7, quand il est mis en œuvre par un calculateur.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2005555A FR3110996B1 (fr) | 2020-05-26 | 2020-05-26 | Construction d’images vues du dessus d’un tronçon de route |
| PCT/EP2021/064036 WO2021239805A1 (fr) | 2020-05-26 | 2021-05-26 | Construction d'images vues du dessus d'un tronçon de route |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2005555A FR3110996B1 (fr) | 2020-05-26 | 2020-05-26 | Construction d’images vues du dessus d’un tronçon de route |
| FR2005555 | 2020-05-26 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3110996A1 true FR3110996A1 (fr) | 2021-12-03 |
| FR3110996B1 FR3110996B1 (fr) | 2022-12-09 |
Family
ID=72560735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2005555A Active FR3110996B1 (fr) | 2020-05-26 | 2020-05-26 | Construction d’images vues du dessus d’un tronçon de route |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3110996B1 (fr) |
| WO (1) | WO2021239805A1 (fr) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2827259A1 (fr) * | 2013-07-16 | 2015-01-21 | Alcatel Lucent | Procédé de fourniture de données d'image d'un emplacement |
| EP3096286A1 (fr) * | 2015-05-20 | 2016-11-23 | Kabushiki Kaisha Toshiba | Appareil de traitement d'images, procédé de traitement d'images et produit de programme informatique |
| WO2018104700A1 (fr) * | 2016-12-05 | 2018-06-14 | Gaist Solutions Limited | Procédé et système de creation d'images |
-
2020
- 2020-05-26 FR FR2005555A patent/FR3110996B1/fr active Active
-
2021
- 2021-05-26 WO PCT/EP2021/064036 patent/WO2021239805A1/fr active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2827259A1 (fr) * | 2013-07-16 | 2015-01-21 | Alcatel Lucent | Procédé de fourniture de données d'image d'un emplacement |
| EP3096286A1 (fr) * | 2015-05-20 | 2016-11-23 | Kabushiki Kaisha Toshiba | Appareil de traitement d'images, procédé de traitement d'images et produit de programme informatique |
| WO2018104700A1 (fr) * | 2016-12-05 | 2018-06-14 | Gaist Solutions Limited | Procédé et système de creation d'images |
Non-Patent Citations (1)
| Title |
|---|
| VENKATESHVIJAYAKUMAR: "Transformation Technique", INTERNATIONAL JOURNAL OF SCIENTIFIC & ENGINEERING RESEARCH, vol. 3, 5 May 2012 (2012-05-05) |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3110996B1 (fr) | 2022-12-09 |
| WO2021239805A1 (fr) | 2021-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0661671B1 (fr) | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective | |
| EP1868161B1 (fr) | Procédé de détermination d'une distance de visibilité pour un conducteur de véhicule | |
| EP3459051B1 (fr) | Procédé de reconstruction tridimensionnelle à l'aide d'une caméra plénoptique | |
| EP2791914A1 (fr) | Système de tournage de film vidéo | |
| EP2133237A1 (fr) | Procédé d'affichage d'aide au parking | |
| WO2005010820A2 (fr) | Procede et dispositif automatise de perception avec determination et caracterisation de bords et de frontieres d'objets d'un espace, construction de contours et applications | |
| WO2018109372A1 (fr) | Procédé de traitement d'image numérique | |
| FR3062229A1 (fr) | Procede d'affichage sur un ecran d'au moins une representation d'un objet, programme d'ordinateur, dispositif et appareil electroniques d'affichage associes | |
| EP2801075B1 (fr) | Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant | |
| FR3110996A1 (fr) | Construction d’images vues du dessus d’un tronçon de route | |
| FR3067999A1 (fr) | Procede d'aide a la conduite d'un vehicule automobile | |
| FR2979986B1 (fr) | Procede et dispositif de reglage de la representation cartographique d'un systeme d'informations de vehicule | |
| FR3052949A1 (fr) | Procede et systeme de prise de vues a l'aide d'un capteur virtuel | |
| EP2877979B1 (fr) | Methode monocamera de determination d'une direction d'un solide | |
| EP3360055B1 (fr) | Procede d'optimisation de decomposition d'un signal asynchrone | |
| EP4165591B1 (fr) | Correction d'un halo dans une image numérique et dispositif de mise en oeuvre de cette correction | |
| EP3877905A1 (fr) | Capteur d'image pour la reconnaissance optique de code(s) | |
| FR3088754A1 (fr) | Methode de creation d’une vue a partir d’une image capturee par une camera grand angle inclinee | |
| CH712678A2 (fr) | Procédé d'affichage de données cartographiques. | |
| WO2012104290A1 (fr) | Procédé et dispositif de traitement de séquences d'images d'une scène et système de surveillance d'une scène comportant un tel dispositif | |
| FR3138944A1 (fr) | Dispositif et procédé d'estimation de la traversabilité d'un terrain par un système mobile | |
| EP4174779A1 (fr) | Procédé de calibration automatique des paramètres extrinsèques d'un réseau de caméras optiques; produit programme d'ordinateur, système de vision par ordinateur et véhicule automobile associés | |
| FR3104759A1 (fr) | Localisation d’éléments de réseau électrique dans des images aériennes | |
| Deschaud et al. | Colorisation et texturation temps r\'eel d'environnements urbains par syst\eme mobile avec scanner laser et cam\'era fish-eye | |
| WO2023222989A1 (fr) | Dispositif de detection d'objets en trois dimensions dans un environnement materiel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20211203 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| TP | Transmission of property |
Owner name: CONTINENTAL AUTONOMOUS MOBILITY GERMANY GMBH, DE Effective date: 20230424 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |