FR3066850B1 - Procede de visualisation en trois dimensions de l’environnement d’un vehicule - Google Patents

Abstract

L'invention porte sur un procédé de visualisation en trois dimensions de l'environnement d'un véhicule automobile, ledit environnement du véhicule formant une scène, ledit procédé comprenant : - une étape (E1) de capture d'une pluralité d'images de ladite scène, - une étape (E3) d'extraction d'une pluralité d'éléments détectés dans ladite pluralité d'images, - une étape (E5) d'identification de modèles correspondants à ladite pluralité d'éléments détectés, - une étape (E7) d'application d'une texture auxdits modèles identifiés et complétés, une étape (E8) d'amélioration de ladite texture des modèles identifiés par ajout d'au moins une portion ou d'au moins une caractéristique d'image extraite d'une scène réelle, et - une étape (E10) d'affichage de la visualisation en trois dimensions de ladite scène environnant le véhicule, ladite visualisation en trois dimensions intégrant les modèles identifiés, texturés et complétés.

Description

PROCEDE DE VISUALISATION EN TROIS DIMENSIONS DE L’ENVIRONNEMENT D’UN VEHICULE

[001] L'invention concerne, de façon générale, le domaine de la visualisation de l’environnement d’un véhicule et vise plus particulièrement un procédé de visualisation en trois dimensions de l’environnement d’un véhicule automobile autonome.

[002] De nos jours, de plus en plus de véhicules automobiles comprennent des systèmes d’aide à la conduite comme par exemple des aides aux manoeuvres ou à la détection de piétons par exemple. En particulier, les véhicules autonomes, c’est à dire pilotés sans intervention du conducteur, comprennent de nombreux systèmes d’assistance permettant d’assurer des déplacements sécurisés du véhicule.

[003] En cas de conduite autonome, un tel véhicule comprend par exemple un système permettant la visualisation de l’environnement du véhicule. Un tel système permet au véhicule autonome d’anticiper le tracé de la route ainsi que de visualiser l’ensemble des éléments environnants comme les piétons, les panneaux de signalisation ou les autres véhicules.

[004] Notamment, les véhicules autonomes comprennent par exemple des aides visuelles aux manoeuvres, proposant des vues aériennes obtenues à partir de caméras embarquées dans le véhicule. Les images relevées par de telles caméras embarquées sont ensuite projetées sur une surface plane, une telle projection étant désignée « vue aérienne simple >> en une dimension. La projection des images peut également être réalisée sur une surface formant un dôme dont le fond représente le véhicule, on parle alors de vue aérienne en trois dimensions, ou « vue aérienne 3D >> ou encore « vue d’oiseau >>.

[005] Cependant une telle visualisation présente l’inconvénient d’être peu précise. En effet, la surface prédéfinie sur laquelle la projection est réalisée ne peut présenter un relief strictement identique au relief de chaque environnement. De ce fait, tous les éléments de l’image ne se trouvant pas dans le plan de projection se trouvent déformés. Une telle visualisation est ainsi peu exploitable pour des manoeuvres précises du véhicule.

[006] De manière connue, des logiciels de reconstruction en trois dimensions ont ainsi été développés afin de permettre la reconstruction d’un lieu en trois dimensions à partir de scènes filmées ou photographiées sous différents angles. L’émergence des drones a permis d’appliquer cette méthode à des scènes géographiques environnant un véhicule. Cependant de tels logiciels nécessitent généralement une intervention humaine afin d’ajuster la position des photographies les unes par rapport aux autres dans le but d’obtenir une visualisation en trois dimensions correcte. De plus, une telle méthode nécessite un nombre important de photographies pour permettre une reconstruction de la totalité des éléments environnants. Enfin une telle reconstruction n’est pas réalisée en temps réel, ce qui présente un inconvénient en cas de manoeuvre d’urgence par exemple.

[007] Selon l’état de la technique, plusieurs méthodes de reconstruction en trois dimensions ont été développées afin de permettre la reconstruction de l’environnement d’un véhicule à partir d’images photographiées par des caméras embarquées dans le véhicule. De telles méthodes sont connues par exemple sous le sigle SLAM, signifiant « Simultaneous Localization And Mapping » en langue anglaise et permettant la localisation d’un véhicule et la cartographie de son environnement, ou encore sous la désignation « Structure from motion », permettant l’estimation de structures en trois dimensions à partir de séquences d’images en deux dimensions.

[008] De telles méthodes de reconstruction, issues du domaine de la robotique mobile, permettent de cartographier un environnement en vue de localiser un véhicule, de planifier ses trajectoires ou bien de localiser des obstacles statiques ou dynamiques. Cependant les contraintes d’affichage en temps réel ne permettent qu’une reconstruction partielle de la scène sous forme d’un nuage de points. Une telle visualisation imprécise présente l’inconvénient d’afficher une image éloignée de la réalité.

[009] L’invention vise donc à pallier au moins en partie ces inconvénients en proposant un procédé de visualisation de l’environnement d’un véhicule précis, permettant un affichage en temps réel d’une image fidèle à la réalité d’une scène.

[0010] Plus précisément, pour parvenir à ce résultat, la présente invention concerne un procédé de visualisation en trois dimensions de l’environnement d’un véhicule automobile, ledit environnement du véhicule formant une scène, ledit procédé comprenant : - une étape de capture d’une pluralité d’images de ladite scène, - une étape d’extraction d’une pluralité d’éléments détectés dans ladite pluralité d’images, une partie au moins de ladite pluralité d’éléments détectés comprenant au moins une face visible et au moins une face non visible, - une étape d’identification de modèles correspondants à ladite pluralité d’éléments détectés, chaque élément détecté étant associé à un modèle identifié, - une étape de complètement de chaque élément détecté comprenant une face non visible, - une étape d’application d’une texture auxdits modèles identifiés et complétés, - une étape d’amélioration de ladite texture des modèles identifiés par ajout d’au moins une portion ou d’au moins une caractéristique d’image extraite d’une scène réelle, et - une étape d’affichage de la visualisation en trois dimensions de ladite scène environnant le véhicule, ladite visualisation en trois dimensions intégrant les modèles identifiés, texturés et complétés.

[0011] Un tel procédé de visualisation permet un affichage réaliste en temps réel d’une image plus fidèle à la réalité de la scène environnant le véhicule.

[0012] Avantageusement, le procédé de visualisation comprend une étape de stabilisation de ladite scène, par un module configuré pour équilibrer la position de la pluralité d’éléments détectés au moyen d’un module dOdométrie embarqué dans le véhicule. Une telle étape permet de limiter les oscillations visuelles de la scène.

[0013] De manière avantageuse, l’étape d’extraction d’une pluralité d’éléments détectés dans ladite pluralité d’images est réalisée en fonction d’une base de classes d’éléments connus, permettant la détection d’éléments reconnus dans une base de données par une méthode simple de comparaison.

[0014] Avantageusement, la base de classes d’éléments connus comprend l’ensemble des caractéristiques relatives aux éléments environnants un véhicule, permettant la détection et la segmentation desdits éléments sur une image.

[0015] L’étape d’identification de modèles correspondants à ladite pluralité d’éléments détectés peut être réalisée au moyen d’une base de données de modèles en deux dimensions.

[0016] Selon une variante de réalisation, l’étape d’identification de modèles correspondants à ladite pluralité d’éléments détectés est réalisée au moyen d’une base de données de modèles en trois dimensions, permettant une identification rapide sur une base de données locale des modèles 3D.

[0017] De manière avantageuse, le procédé comprend une étape de mise à jour de la base de données des modèles en trois dimensions, de manière à conserver les caractéristiques des éléments détectés en vue d’affiner les modèles identifiés.

[0018] Avantageusement, l’étape d’affichage permet une visualisation en trois dimensions de ladite scène environnant le véhicule sur une surface incurvée, similaire à un dôme, de manière à permettre un affichage réaliste en trois dimensions.

[0019] L’invention concerne également un système de visualisation en trois dimensions de l’environnement d’un véhicule automobile, ledit véhicule comprenant au moins une caméra embarquée et un module d’odométrie, configuré pour déterminer une pluralité de positions du véhicule dans le temps, ledit environnement du véhicule formant une scène, ledit système de visualisation comprenant : - une base de classes d’éléments connus, une base de données de modèles en trois dimensions, - un module d’estimation, configuré pour estimer la structure en trois dimensions de la scène, - un module de détection et de localisation, configuré pour extraire une pluralité d’éléments détectés, dans une pluralité d’images de ladite scène, capturées par ladite au moins une caméra embarquée, au moyen de ladite base de classes d’éléments connus, chaque élément détecté de ladite pluralité d’éléments détectés comprenant au moins une face visible et/ou au moins une face non visible, - un module d’adaptation, configuré pour identifier des modèles en trois dimensions à partir desdits éléments détectés, au moyen de ladite base de données de modèles en trois dimensions, - un module de calcul configuré pour compléter chaque face non visible des éléments détectés, - un module de filtrage, configuré pour équilibrer la position de ladite pluralité d’éléments détectés, au moyen dudit module d’odométrie embarqué dans le véhicule, permettant une détection plus stable, ledit module de filtrage étant configuré pour appliquer une texture auxdits modèles identifiés, et - un module de reconstruction, configuré pour permettre la visualisation en trois dimensions de la scène environnant le véhicule, ladite visualisation intégrant les modèles texturés et complétés.

[0020] Un tel système de visualisation permet un affichage réaliste en temps réel d’une image plus fidèle à la réalité de la scène environnant le véhicule.

[0021] De manière avantageuse, le module de filtrage est configuré pour mettre à jour la base de données des modèles en trois dimensions, de manière à conserver les caractéristiques des éléments extraits en vue d’affiner les modèles identifiés. Une telle mise à jour permet l’utilisation de modèles en trois dimensions adéquats, représentatifs des modèles environnant effectivement le véhicule.

[0022] Avantageusement, le module de reconstruction est configuré pour afficher la visualisation de la scène environnant le véhicule sur une surface de forme incurvée, similaire à un dôme, permettant un affichage en temps réel en trois dimensions.

[0023] Enfin l’invention porte sur un véhicule automobile comprenant une caméra embarquée, un module dOdométrie et un système de visualisation tel que décrit précédemment.

[0024] D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description détaillée des formes de réalisation de l'invention, données à titre d'exemple uniquement, et en référence aux dessins qui montrent : • la figure 1, une représentation schématique d’un véhicule comprenant une caméra embarquée et un module dOdométrie, • la figure 2, une représentation schématique d’un exemple d’une scène environnant le véhicule de la figure 1, et • la figure 3, un schéma bloc des étapes d’un procédé de visualisation selon un exemple de mise en oeuvre.

[0025] Dans ce qui va suivre, les formes de réalisation décrites s’attachent plus particulièrement en vue de l’installation d’un système de visualisation selon l’invention au sein d’un véhicule automobile. Cependant, toute mise en oeuvre dans un contexte différent, en particulier dans tout type de véhicule, est également visée par la présente invention.

[0026] Selon une forme de réalisation préférée de l’invention, un véhicule 1 automobile autonome comprend un système d’aide à la conduite, désigné système de visualisation 10, permettant une reconstruction en trois dimensions et une visualisation réaliste de l’environnement du véhicule 1, un tel environnement formant autour du véhicule 1 une scène S. De manière alternative, une telle scène S pourrait comprendre le véhicule 1 et son environnement.

[0027] En référence à la figure 1, le véhicule 1 comprend en outre un module de prise de vue, par exemple une caméra embarquée 20 et un module d’odométrie 30. La caméra embarquée 20 est configurée pour permettre la capture de photographies et ainsi enregistrer en temps réel une pluralité d’images de la scène S environnant le véhicule 1. Dans cet exemple, par souci de clarté, le véhicule 1 comprend une seule caméra embarquée 20 configurée pour capturer une pluralité d’images sous différents angles de vues. Cependant il va de soi que le véhicule 1 pourrait comprendre une pluralité de caméras embarquées 20 configurées pour capturer une image de la scène S de manière à permettre la prise de vues de l’ensemble d’une scène S.

[0028] Le module d’odométrie 30 est configuré pour estimer la position du véhicule 1 en mouvement. Pour ce faire, le véhicule 1 comprend par exemple des capteurs permettant la mesure du déplacement de chaque roue du véhicule 1. A partir d’une position initiale et de la mesure du déplacement de chaque roue, le module d’odométrie 30 est ainsi configuré pour calculer à chaque instant la position du véhicule 1.

[0029] Afin de permettre de définir la position du véhicule 1, dans cet exemple toujours en référence à la figure 1, le véhicule 1 automobile s’étend longitudinalement selon un axe X, latéralement selon un axe Y et verticalement selon un axe Z, de manière à former un repère orthogonal (X, Y, Z). Ainsi par le terme horizontal, on entend un objet s’étendant dans le plan (X, Y). De manière similaire, le terme vertical désigne un objet s’étendant dans le plan (X, Z) et le terme transversal, un objet s’étendant dans le plan (Y, Z).

[0030] La caméra embarquée 20 dans le véhicule 1 est ainsi configurée pour permettre l’enregistrement d’images prises dans une pluralité de directions dans le plan horizontal, de manière à couvrir l’ensemble de l’environnement du véhicule 1 (avant, arrière et côtés) et ainsi enregistrer une scène S à 360° autour du véhcule 1, permettant la reconstitution de l’ensemble de la scène S environnant le véhicule 1.

[0031] La figure 2 représente un exemple de scène S environnant le véhicule 1. Une telle scène S peut comprendre par exemple d’autres véhicules, des piétons, des panneaux de circulation, des arbres ou des habitations.

[0032] Afin de permettre la reconstitution réaliste d’une telle scène S, selon une forme de réalisation préférée de l’invention, le véhicule 1 comprend un système de visualisation 10 en trois dimensions, comprenant : - un module d’estimation, - un module de détection et de localisation, - un module d’adaptation, - un module de filtrage, - un module de calcul, et un module de reconstruction.

[0033] Le système de visualisation 10 comprend également une base de données d’objets connus, désignée base de classes et une base de données de modèles en trois dimensions, désignée base de modèles.

[0034] La base de classes d’objets connus comprend un ensemble de caractéristiques, de modèles et de structures types permettant à un calculateur embarqué ou à un module spécifique par exemple de reconnaître sur une image des éléments connus. Une telle base de classes permet ainsi de segmenter ou de détourer un élément dans une image.

[0035] Dans cet exemple, la base de classes est construite hors-ligne au moyen d’un algorithme d’apprentissage classique ou d’un algorithme d’apprentissage profond, connu sous l’appellation « deap learning >> en langue anglaise. Un tel algorithme profond permet par exemple la détection dans une image d’un véhicule, tandis que chaque détail caractéristique du véhicule, comme sa couleur ou la taille de ses roues par exemple seront détectés par un algorithme plus fin, désigné « sous-réseau >>. La base de classes comprend l’ensemble de ces algorithmes pour permettre la segmentation de chaque objet détecté dans une image.

[0036] La base de modèles comprend un ensemble de modèles en trois dimensions représentant des éléments typiques de l’environnement d’un véhicule, comme un modèle d’une voiture, d’une motocyclette, de panneaux de circulation ou d’un piéton par exemple. De tels modèles en trois dimensions comprennent des caractéristiques adaptables comme la couleur ou la taille par exemple, comme cela sera expliqué plus en détails par la suite. En référence à l’exemple de la figure 2, la base de modèles comprend par exemple un modèle en trois dimensions d’un piéton, d’un arbre, d’un véhicule automobile et d’un panneau de signalisation.

[0037] De manière préférée, le système de visualisation 10 comprend ainsi une pluralité de modules, configurés pour permettre l’analyse et le traitement d’images provenant de la caméra embarquée 20.

[0038] Pour cela, le module d’estimation est configuré pour analyser les images provenant de la caméra embarquée 20 sur le véhicule 1. Une première estimation de la structure en trois dimensions de la scène S environnant le véhicule 1 est ainsi obtenue par une approche classique de vision par ordinateur, comme la méthode « Structure from motion » ou encore SLAM, comme décrit précédemment. De telles méthodes, permettant la localisation d’un véhicule et la cartographie de son environnement, ainsi que l’estimation de structures en trois dimensions à partir de séquences d’images en deux dimensions, sont connues de l’homme du métier et ne seront pas décrites plus en détails dans ce document.

[0039] La première estimation en trois dimensions est améliorée par la prise en compte des informations fournies par le module dOdométrie 30, permettant d’intégrer les données relatives au déplacement du véhicule 1. Ainsi l’estimation en trois dimensions de la scène S est plus précise et aboutit à un nuage de points, comme cela est connu.

[0040] Le module de détection et de localisation est configuré pour localiser et extraire une pluralité d’éléments détectés dans les images de la scène S environnant le véhicule 1 et provenant de la caméra embarquée 20. Une telle détection est réalisée au moyen de la base de classes d’éléments connus. En effet, le module de détection et de localisation permet de classifier chaque élément détecté, c’est-à-dire de reconnaître qu’un élément appartient à une classe de la base des classes.

[0041 ] Autrement dit, le module de détection et de localisation est configuré pour analyser la scène S et détecter tout élément connu de la base de classes. Chaque élément connu est alors segmenté, c’est-à-dire détouré et extrait de la scène S. Le module de détection et de localisation est enfin configuré pour envoyer les éléments détectés au module d’adaptation et au module de filtrage.

[0042] De tels éléments détectés étant reconnus sur une pluralité d’images en deux dimensions, il est possible que certains soient incomplets, c’est-à-dire qu’ils peuvent comprendre une ou plusieurs face(s) visible(s) et une ou plusieurs face(s) non visible(s).

[0043] A titre d’exemple, en référence au repère orthogonal défini précédemment, si un véhicule dépasse le véhicule 1 équipé du système de visualisation 10, la caméra embarquée 20 permet une prise de vue de la face avant de ce véhicule lorsque celui-ci se trouve à l’arrière, de son côté droit lorsque celui-ci est en phase de dépassement (si celui-ci dépasse par la gauche) et de sa face arrière, lorsque celui-ci se retrouve à l’avant. Le côté gauche du véhicule, ne se trouvant jamais dans le champ de vision direct de la caméra embarquée 20, celui-ci n’apparaitra sur aucune image.

[0044] Le module d’adaptation est configuré pour identifier des modèles en trois dimensions, désignés modèles 3D, de la base de modèles définie précédemment, à partir des éléments détectés par le module de détection et de localisation. Ainsi le module d’adaptation permet d’associer chaque élément détecté à un modèle en trois dimensions de la base de modèles et d’extraire les informations permettant leur paramétrage. Une telle association peut être simple par exemple l’estimation de la couleur d’un véhicule à partir de la teinte moyenne d’une zone extraite de l’image, ou plus complexe, par exemple en analysant les roues du véhicule pour en déduire le centre de l’essieu, l’épaisseur des pneus ou le type de jante.

[0045] Le module d’adaptation permet ainsi d’adapter les paramètres des modèles 3D, comme par exemple leur taille ou leur couleur. Autrement dit, le module d’adaptation est configuré pour identifier chaque élément détecté et lui plaquer un modèle 3D comprenant l’ensemble des caractéristiques de l’élément détecté, de manière à reconstruire les modèles 3D.

[0046] Le module de filtrage est configuré pour filtrer temporairement les éléments détectés en conservant un historique de leurs caractéristiques, afin de pouvoir par la suite les compléter et les affiner. En effet lorsque le véhicule 1 est en mouvement, la caméra embarquée 20 permet de capturer régulièrement des images de la scène S selon différents angles de vues. Ainsi, un élément détecté à une distance éloignée du véhicule 1 sera détecté avec des caractéristiques générales. Cependant si un tel élément est détecté à une distance proche, alors celui-ci sera détecté avec des caractéristiques précises.

[0047] A titre d’exemple, si un tel élément est un véhicule automobile, les caractéristiques de l’élément détectées à une distance éloignée seront par exemple la forme générale du véhicule, sa couleur et sa taille. En se rapprochant, le même élément sera localisé mais les caractéristiques identifiées seront plus précises, par exemple la texture de la carrosserie ou le détail des jantes.

[0048] Le module de filtrage permet alors sans modifier les bases de données d’origine, de les compléter temporairement avec des versions précises des éléments des images capturées de la scène S. Une telle adaptation de la base de classes et de la base de modèles permet d’améliorer ponctuellement la détection d’un élément au cours du déplacement du véhicule 1 dans cette même scène S. A titre d’exemple si un véhicule est détecté, un apprentissage spécifique de ce dernier est réalisé par le module de filtrage afin d’en améliorer le suivi.

[0049] Enfin, le module de filtrage est configuré pour stabiliser la visualisation de la scène S au moyen du module d’odométrie 30 défini précédemment. Une telle stabilisation permet une meilleure lecture des éléments détectés en limitant les oscillations visuelles dans la scène S.

[0050] Le module de calcul permet de compléter les zones non visibles des éléments détectés partiellement par le module de détection et de localisation. Pour ce faire, le module de calcul est configuré pour déterminer les propriétés de symétrie des éléments détectés afin de permettre de compléter les faces non visibles sur les images des modèles 3D identifiés reconstruits. Le module de calcul 15 est alors configuré pour appliquer une texture à de telles faces reconstruites à partir de la texture appliquée sur les faces visibles.

[0051] Lorsque le module de calcul a permis de compléter les modèles 3D et que le module de filtrage a stabilisé la visualisation, le module d’adaptation est alors configuré pour appliquer une texture à l’ensemble des modèles 3D identifiés. Chaque texture issue d’une portion d’une image réelle, telle qu’une photographie, permet une reproduction plus réaliste du modèle 3D. L’analyse de la lumière et des ombres des images capturées permet au module d’adaptation d’appliquer un effet de transparence à la texture de la face reconstruite, afin d’accroître le réalisme des modèles 3D en améliorant chaque texture. Cette amélioration des textures peut être obtenue en prenant en compte la distance à l’objet détecté ou par filtrage temporel des teintes par exemple. Ainsi, il peut être tenu compte du fait qu’un modèle 3D correspondant à un objet situé plus près présentera une résolution meilleure. Par ailleurs, une teinte peut varier de façon différente, en fonction de l’éclairement, par rapport à la luminosité et au contraste ; une moyenne avec conservation du rendu le plus contrasté peut améliorer la qualité visuelle du modèle 3D. Le module d’adaptation est enfin configuré pour transmettre les modèles 3D identifiés, complétés et texturés au module de reconstruction.

[0052] Le module de reconstruction est configuré pour créer un volume d’affichage en forme de dôme, assimilable à un bol retourné, comprenant ainsi une surface plane et une surface incurvée. La surface plane du fond du dôme représente le véhicule 1. Le ciel ainsi que les portions d’images de la scène S environnant le véhicule 1 ne correspondant pas à des éléments détectés, et n’ayant ainsi pas été segmentés, sont projetés sur la surface incurvée et constitue le fond de la vue.

[0053] Les modèles 3D identifiés à partir des éléments détectés sont alors incrustés sur le fond de l’image projetée en lieu et place des éléments détectés segmentés. De tels modèles 3D complétés et texturés présentent un aspect plus réaliste, permettant une meilleure visualisation et ainsi une détection plus aisée d’un danger par exemple en cas de traversée d’un piéton.

[0054] Le procédé selon l’invention va maintenant être décrit en regard d’un exemple de mise en œuvre en référence à la figure 3. Il est à noter que le procédé selon l’invention est représenté, à des fins de clarté des explications ci-dessous, de façon séquentielle. L’ordre dans lequel s’enchaînent ou sont traitées en parallèle les différentes étapes du procédé peut cependant être adapté à la convenance de l’homme du métier lors de l’implémentation dudit procédé.

[0055] Selon un aspect préféré, le procédé de visualisation de l’environnement d’un véhicule 1 comprend une étape E1 de capture d’une pluralité d’images de la scène S environnant le véhicule 1 automobile. De telles images, capturées au moyen d’une ou plusieurs caméra(s) embarquée(s) 20, sont alors analysées dans une étape E2 par le module d’estimation d’une structure en trois dimensions, permettant une première analyse de la scène S. Une telle estimation est réalisée par exemple au moyen d’une méthode telle que la méthode « Structure from motion » ou encore la méthode SLAM, décrites précédemment. Une telle étape E2 aboutit à un nuage de points représentant schématiquement l’environnement du véhicule 1.

[0056] Les images capturées sont alors envoyées au module de détection et de localisation qui extrait dans une étape E3 une pluralité d’éléments détectés dans les images. Le module de détection et de localisation exploite la base de classes des éléments connus et reconnaît certains éléments des images. De tels éléments détectés sont alors segmentés et transmis, avec leurs caractéristiques, au module d’adaptation des paramètres et au module de filtrage.

[0057] Le module de filtrage utilise ensuite, dans une étape E4, le module d’odométrie 30 afin d’analyser les mouvements du véhicule 1 et assurer ainsi un suivi des déplacements. Une telle analyse permet au module de filtrage de stabiliser la visualisation de la scène S environnant le véhiculel.

[0058] Le module d’adaptation identifie alors, dans une étape E5 les modèles en trois dimensions correspondants aux éléments détectés dans les images. Une telle identification est réalisée au moyen de la base de modèles. Le module d’adaptation identifie alors un modèle 3D pour chaque élément détecté et adapte les paramètres de tels modèles 3D, comme la taille ou la couleur par exemple.

[0059] Le module d’adaptation transmet en parallèle les éléments détectés ainsi que les modèles 3D identifiés au module de calcul des zones non visibles qui analysent, les propriétés de symétrie des éléments détectés et complète, dans une étape E6, les faces non visibles sur les images, des modèles 3D identifiés. Le module de calcul transmet ainsi les modèles 3D complétés au module d’adaptation, qui applique ensuite dans une étape E7 une texture aux modèles 3D complétés afin de leur donner un aspect visuel plus réaliste.

[0060] Une telle application d’une texture est réalisée à partir des informations obtenues sur la couleur et la position des lumières de l’image. Par exemple, pour les ombres de jour, la position des lumières est donnée en fonction de la position du soleil fournie par la navigation. De même la nuit, les autres véhicules connus, détectés sont supposés avec des feux allumés, ce qui permet d’estimer le sens de projection des lumières et ainsi d’en déduire les ombres. Les textures de chaque face de chaque modèle 3D sont appliquées en fonction d’une telle luminosité.

[0061 ] Le module d’adaptation complète et améliore ensuite les textures des modèles 3D dans une étape E8. Pour cela, le module d’adaptation applique à chaque texture une image réelle, en fonction de la luminosité définie précédemment, provenant d’une portion des images capturées par la caméra embarquée 20. Une telle étape E8 permet donc d’améliorer les textures des modèles 3D en ajoutant au modèle 3D au moins une portion d’image extraite d’une image réelle ou au moins une caractéristique, telle que la luminosité, la teinte, etc., extraite d’une image réelle.

[0062] Le module de filtrage met alors à jour, dans une étape E9, la base de modèles en incluant les paramètres et les textures afin d’obtenir des modèles 3D réalistes prêts à être intégrés dans une représentation en trois dimensions de la scène S.

[0063] Les modèles 3D complétés et texturés sont ensuite envoyés avec l’ensemble des images capturées par la caméra embarquée 20 au module de reconstruction, qui permet dans une étape E10 l’affichage la scène S environnant le véhicule 1.

[0064] Pour ce faire, le module de reconstruction créé un volume d’affichage en forme de dôme, assimilable à un bol retourné, comprenant une surface plane et une surface incurvée. La surface plane du fond du dôme représente le véhicule 1. Le ciel ainsi que les portions d’images de la scène S environnant le véhicule 1 ne correspondant pas à des éléments détectés, et n’ayant ainsi pas été segmentés, sont projetés sur la surface incurvée et constitue le fond de la vue. Le module de reconstruction affiche alors sur le fond de la vue, les modèles 3D identifiés, complétés et texturés correspondants aux éléments précédemment détectés et détourés.

[0065] Les modèles 3D sont ainsi incrustés dans la représentation de la scène S. La vue résultante est une vue en trois dimensions de la scène S dans laquelle les proportions des objets sont plus cohérentes et leur visualisation plus proche de la réalité. Un tel procédé permet un affichage en temps réel d’une image fidèle à la réalité.

Claims (10)

1. Revendications

   1. Procédé de visualisation en trois dimensions de l’environnement d’un véhicule (1) automobile, ledit environnement du véhicule (1) formant une scène (S), ledit procédé comprenant : - une étape (E1 ) de capture d’une pluralité d’images de ladite scène (S), - une étape (E3) d’extraction d’une pluralité d’éléments détectés dans ladite pluralité d’images, une partie au moins de ladite pluralité d’éléments détectés comprenant au moins une face visible et au moins une face non visible, - une étape (E5) d’identification de modèles correspondants à ladite pluralité d’éléments détectés, chaque élément détecté étant associé à un modèle identifié, - une étape (E6) de complètement de chaque élément détecté comprenant une face non visible, - une étape (E7) d’application d’une texture auxdits modèles identifiés et complétés, - une étape (E8) d’amélioration de ladite texture des modèles identifiés par ajout d’au moins une portion ou d’au moins une caractéristique d’image extraite d’une scène réelle, et - une étape (E10) d’affichage de la visualisation en trois dimensions de ladite scène (S) environnant le véhicule (1), ladite visualisation en trois dimensions intégrant les modèles identifiés, texturés et complétés.
2. 2. Procédé selon la revendication 1, dans lequel l’étape (E3) d’extraction d’une pluralité d’éléments détectés dans ladite pluralité d’images est réalisée en fonction d’une base de classes d’éléments connus.
3. 3. Procédé selon la revendication précédente, dans lequel la base de classes d’éléments connus comprend l’ensemble des caractéristiques relatives aux éléments environnants un véhicule (1), permettant la détection et la segmentation desdits éléments sur une image.
4. 4. Procédé selon l’une des revendications précédentes, dans lequel l’étape (E5) d’identification de modèles correspondants à ladite pluralité d’éléments détectés est réalisée au moyen d’une base de données de modèles en trois dimensions.
5. 5. Procédé selon la revendication précédente, comprenant une étape (E9) de mise à jour de la base de données des modèles en trois dimensions, de manière à conserver les caractéristiques des éléments détectés en vue d’affiner les modèles identifiés.
6. 6. Procédé selon l’une des revendications précédentes, dans lequel l’étape (E10) d’affichage permet une visualisation en trois dimensions de ladite scène (S) environnant le véhicule (1) sur une surface incurvée, similaire à un dôme.
7. 7. Système de visualisation (10) en trois dimensions de l’environnement d’un véhicule (1) automobile, ledit véhicule (1) comprenant au moins une caméra embarquée (20) et un module d’odométrie (30), configuré pour déterminer une pluralité de positions du véhicule (1) dans le temps, ledit environnement du véhicule (1) formant une scène (S), ledit système de visualisation (10) comprenant : - une base de classes d’éléments connus, une base de données de modèles en trois dimensions, - un module d’estimation, configuré pour estimer la structure en trois dimensions de la scène (S), - un module de détection et de localisation, configuré pour extraire une pluralité d’éléments détectés dans une pluralité d’images de ladite scène (S) capturées par ladite au moins une caméra embarquée (20), au moyen de ladite base de classes d’éléments connus, chaque élément détecté de ladite pluralité d’éléments détectés comprenant au moins une face visible et/ou au moins une face non visible, - un module d’adaptation, configuré pour identifier des modèles en trois dimensions à partir desdits éléments détectés, au moyen de ladite base de données de modèles en trois dimensions, - un module de calcul configuré pour compléter chaque face non visible des éléments détectés, - un module de filtrage, configuré pour équilibrer la position de ladite pluralité d’éléments détectés, au moyen dudit module d’odométrie (30) embarqué dans le véhicule (1), permettant une détection plus stable, ledit module de filtrage étant configuré pour appliquer une texture auxdits modèles identifiés, et - un module de reconstruction, configuré pour permettre la visualisation en trois dimensions de la scène (S) environnant le véhicule (1), ladite visualisation intégrant les modèles texturés et complétés.
8. 8. Système de visualisation (10) selon la revendication précédente, dans lequel le module de filtrage est configuré pour mettre à jour la base de données des modèles en trois dimensions, de manière à conserver les caractéristiques des éléments extraits en vue d’affiner les modèles identifiés.
9. 9. Système de visualisation (10) selon l’une des revendications 7 et 8, dans lequel le module de reconstruction est configuré pour afficher la visualisation de la scène (S) environnant le véhicule (1) sur une surface de forme incurvée, similaire à un dôme.
10. 10. Véhicule (1) automobile comprenant une caméra embarquée (20), un module d’odométrie (30) et un système de visualisation (10) selon l’une des revendications 7 à 9.