FR2929196A1

FR2929196A1 - Assistant de manoeuvre avec affichage a realite augmentee

Info

Publication number: FR2929196A1
Application number: FR0801770A
Authority: FR
Inventors: Frederic Abad; Remy Bendahan; Sylvain Bougnoux; Christophe Vestri; Sebastien Wybo
Original assignee: IMRA Europe SAS
Current assignee: IMRA Europe SAS
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2009-10-02
Anticipated expiration: 2028-03-31
Also published as: FR2929196B1

Abstract

L'assistant de manoeuvre pour véhicule affiche une image à réalité augmentée formée par la superposition d'une image du véhicule, ou ego-véhicule, sur une image antérieure prise par une caméra le long de la trajectoire du véhicule et stockée, ce qui permet au conducteur d'éviter les collisions lors de manoeuvres arrières quelles que soient les conditions extérieures.

Description

Assistant de manoeuvre avec affichage à réalité augmentée

DESCRIPTION DOMAINE TECHNIQUE Le domaine technique de l'invention est celui des dispositifs et méthodes d'assistance de manœuvre pour véhicule, en particulier d'assistance au parcage d'un véhicule, de détection et de prévention de collisions. La présente invention se rapporte à des dispositifs de surveillance d'environnements destinés à une utilisation dans des véhicules, en particulier en tant qu'aide au stationnement pour les automobiles. En particulier, la technologie de l'image à réalité augmentée fournit des informations supplémentaires au conducteur du véhicule pour comprendre plus facilement les situatsons de conduite ou de stationnement et éviter ainsi des obstacles. On entend par image à réalité augmentée une technique d'imagerie numérique, issue de la réalité virtuelle, permettant, grâce à un dispositif d'affichage, de superposer à une image réelle des informations provenant d'une source numérique, telles des images de synthèse. ÉTAT DE L. TECHNIQUE ANTÉRIEURE Tout d'abord une étude sur les technologies pour éviter les collisions arrière dans les véhicules automobiles intitulée Vehicle backover avoidance technology study a été reportée au Congrès américain en novembre 2006. Cette étude e présenté notamment les déficiences des différents systèmes d'assistance pour éviter les collisions en manoeuvre arrière. En particulier, les systèmes actuels avec caméra, comme par exemple les systèmes d'assistance au parcage utilisant une caméra vidéo disposée à l'arrière du véhicule, fournissent des images qui sont trop distordues en raison du problème de la largeur de l'angle de la caméra, qui rend l'image courante trop difficile à interpréter pour éviter les collisions.

En outre, avec les systèmes actuels avec caméras, Le conducteur du véhicule ne peut pas toujours juger correctement la situation et donc éviter une collision dans la mesure où certains obstacles ne sont plus visibles dans le champ de la caméra. Cette situation se produit de manière typique lors d'une manoeuvre de stationnement en parallèle. Les détecteurs pour éviter les collisions ont tous leurs points faibles. Certains de ces détecteurs ne fonctionnent pas de nuit, d'autres ne fonctionnent. pas sous la pluie ou ne peuvent détecter certains types d'obstacles tels qu'un être humain ou encore un poteau proche... En résumé, aucun de ces détecteurs ne peut fonctionner convenablement quelles que soient Les conditions et donc ne peut empêcher des collisions de se produire. Il est également connu dans l'art antérieur, notamment du document US 2004/212630, un système et une méthode pour afficher des objets non visibles dans le champ de la caméra et d'autres données en utilisant une image à réalité augmentée, en réalisant le mélange de la vraie vue de la caméra avec une synthèse d'images par ordinateur. Avec la connaissance de la position et de l'orientation de la caméra, ainsi que de la taille de scn champ visuel, l'ordinateur peut recouvrir l'image visuelle produite par la caméra d'images de synthèse générées par ordinateur. La méthode peut être employée notamment pour présenter à un utilisateur des risques ou situations matérielles dangereuses en combinant les images générées par ordinateur avec le vrai environnement de l'utilisateur. Ces images sont présentées de façon à montrer l'endroit et les propriétés appropriés de l'objet à l'utilisateur du système. Un tel système avec affichage à réalité augmentée permet de fournir des informations additionnelles à l'image courante de la caméra, mais ces informations sont uniquement relatives aux objets actuellement présents dans le champ visuel de la caméra. Bien que de telles informations puissent se révéler utiles, elles requièrent l'utilisation de détecteurs qui, comme cela a été présenté précédemment, ne sont pas suffisamment fiables suivant les conditions extérieures. De plus, un tel système ou méthode ne fournit aucune indication relative au positionnement du support de ta caméra muni d'un tel système, par rapport à la scène courante. Il est également connu, en particulier des documents KR 2004/057691 et US 2006/074549, des systèmes de navigation combinant l'affichage d'images de synthèse conventionnelles générées par ordinateur avec des images réelles provenant de caméra disposées sur le véhicule et positionnées sur la carte numérique affichées à l'écran au moyen d'informations de position fournies par un système de positionnement par satellites du type GPS ( Global Positioning System ).

L'affichage selon ces systèmes présente une image à réalité augmentée montrant uniquement des objets de la scène dans le champ de la caméra mais ne fournissent aucune information non seulement sur des obstacles non visibles dans le champ visuel de La caméra mals également sur le véhicule sur lequel est ou peut-être installé un tel système. En effet, la seule information quelque fois fournie sur le véhicule est une petite marque affichée sur la carte numérique, par exemple, sous la forme d'une flèche ou d'un pictogramme; mais cette information n'est jamais utilisée, ni utilisable, pour empêcher un risque de collision du véhicule avec des obstacles extérieurs. gn comprend donc à la lumière de ce qui précède qu'aujourd'hui aucun système d'assistance de manoeuvre pour véhicule ne présente une fiabilité suffisante pour supprimer tous risques de collisions. En particulier, les systèmes actuels dédiés à l'assistance au parcage ont tous montrés leurs limites comme cela a été exposé dans le rapport soumis au congrès américain brièvement résumé plus haut. En outre, tous les autres systèmes connexes sus--présentés combinant l'utilisation de caméras avec d'autres informations pour fournir une image à réalité augmentée restent insuffisants pour empêcher tous risques de collisions lors de manœuvres arrière d'un véhicule. En particulier, ces images à réalité augmentée rie fournissent pas d'information utilisable pour le conducteur pour mieux situer son propre véhicule par rapport aux éventuels obstacles visibles ou non visibles sur sa trajectoire, et pouvant être situés hors du champ visuel de la caméra à l'instant courant. EXPOSÉ DE L'INVENTION L'invention a pour objectif de remédier aux difficultés et inconvénients rencontrés avec les dispositifs et méthodes de la technique antérieure. .,n particulier un but de l'invention est de proposer un assistant de manoeuvre pour véhicule avec affichage à réalité augmentée permettant d'afficher des informations visuelles non accessibles directement pour le conducteur, ni à un quelconque système traditionnel de caméras installé sur le véhicule, de manière à permettre au conducteur de visualiser tous les obstacles, visibles et non visibles, par rapport à son propre véhicule, et ainsi à mieux estimer une situation de parcage et à éviter une éventuelle collision, spécialement lors de manoeuvres de stationnement en marche arrière, par exemple du type créneau, en parallèle ou en épi. Ces objectifs, ainsi que d'autres, sont atteints grâce à un système d'assistance de manoeuvre pour véhicule avec affichage à réalité augmentée comprenant: - au moins une caméra disposée à l'arrière du véhicule et scrutant vers l'extérieur le long de la trajectoire 30 du véhicule; - un dispositif odométrique donnant la pose du véhicule; - des moyens de calibration des images prises par la caméra en fonction de la pose du véhicule lors de a 5 prise de ces images par la caméra; - une mémoire pour stocker des images prises par la caméra; - au moins un modèle pré-mémorisé d'image du véhicule ou ego-véhicule; 10 - des moyens de sélection d'une image antérieure prise par la caméra, stockée dans la mémoire et calibrée; - des moyens de positionnement de l'image de l'ego-véhicule, obtenue à partir du modèle pré-mémorisée, par rapport à l'image antérieure sélectionnée par 15 comparaison de la pose actuelle du véhicule fournie par le dispositif odométrique avec la pose du véhicule déterminée lors de la prise de l'image antérieure sélectionnée; un moniteur pour afficher une image à réalité 20 augmentée formée par la superposition de l'image de l'ego-véhicule sur l'image antérieure sélectionnée. On comprendra donc qu'un tel assistant de manœuvre affichant sur le moniteur une image à réalité augmentée basée sur une image représentant l'ego- 25 véhicule précisément positionnée dans une image calibrée acquise antérieurement: par la caméra, permet., d'une part, de sélectionner une vue antérieure ne présentant pas de problème de distorsion ni d'angle mort par rapport à un obstacle, tout en montrant la 30 scène importante pour le conducteur et permet, d'autre part, au conducteur d'apprécier précisément la position de son propre véhicule par rapport aux obstacles correctement visibles via le moniteur grâce à l'image antérieure retenue, bien que pouvant être distordus ou non visibles dans le champ visuel de la caméra à l'instant courant. Un tel assistant de manoeuvre permet ainsi quelles que soient les conditions extérieures d'éviter les risques de collision liés aux déficiences des systèmes antérieurs. En outre, un tel assistant présente des avantages en terme de coûts de revient dans la mesure où il ne nécessite aucun dispositif particulier supplémentaire ainsi qu'en terme de consommation des ressources systèmes dans la mesure où il ne nécessite aucun traitement complexe d'images. Selon un mode de réalisation avantageux, l'assistant de manoeuvre comprend des moyens pour mettre à jour l'image à réalité augmentée affichée par le moniteur en fonction d'un déplacement du véhicule détecté au moyen du dispositif odométrique. Cette mise à jour évolutive, liée au déplacement du véhicule, de l'image à réalité augmentée fournie au conducteur permet à ce dernier de réaliser sa manoeuvre de manière fluide sans devoir réactualiser l'image à réalité augmentée affichée sur le moniteur. Selon un autre mode de réalisation avantageux, deux modèles d'image de l'ego-véhicule sont pré-mémorisés, un premier modèle d'image permettant d'obtenir une image calibrée représentant l'ego-véhicule en perspective et un deuxième modèle d'image permettant d'obtenir une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol. Alternativement, l'assistant comprend des 8 moyens de transformation du modèle d'image de l'ego-véhicule pré-mémorisé, permettant d'obtenir soit une image calibrée représentant l'ego-véhicule en perspective, soit une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol. Quelle que soit la variante utilisée à un ou deux modèles, il est prévu des moyens de sélection de l'une ou l'autre des images de l'ego-véhicule pour former l'image à réalité augmentée sur la base d'un critère déterminé. Cette possibilité de sélectionner entre deux types d'image pour représenter l'ego-véhicule présente l'avantage de pouvoir modifier l'image à réalité augmentée affichée de manière à ce que l'image de l'ego-véhicule n'obstrue pas un obstacle sur la trajectoire du véhicule. Selon une variante de réalisation, les moyens de sélection de l'une ou l'autre des deux d'images de l'ego-véhicule sont des moyens manuels réalisés sous la forme d'un organe de commande actionnable par l'utilisateur. Cette solution présente l'avantage d'être peu coûteuse et très simple à mettre en œuvre. Selon une autre variante de réalisation, il est prévu des moyens d'analyse de la trajectoire du véhicule à partir des variations de la pose du véhicule fournie par le dispositif odométrique et les moyens de sélection de l'une ou l'autre des deux images de l'ego-véhicule sont des moyens automaticues déterminant l'image de l'ego-véhicule à utiliser en fonction de la trajectoire du véhicule. Une telle solution présente l'avantage d'être tout à la fois simple car utilisant le dispositif odométrique déjà présent tout en étant automatique et ne nécessitant donc pas d'intervention du conducteur pour sélectionner l'une ou l'autre image de l'ego-véhicule.

Selon une autre variante de réalisation, il est prévu des moyens d'extraction du contour des obstacles et les moyens de sélection de l'une ou l'autre des deux images de l'ego-véhicule sont des moyens automatiques déterminant l'image de l'ego- véhicule ne masquant pas les contours d'obstacles extraits. Alternativement, des moyens de détection d'obstacles sont prévus et les moyens de sélection de l'une ou l'autre des deux images de l'ego-véhicule sont des moyer.s automatiques déterminant l'image de l'ego- véhicule en fonction des obstacles détectés. Ces deux solutions présentent les avantages d'être automatiques, ne nécessitant donc pas l'intervention du conducteur, ainsi qu'une fiabilité accrue dans la mesure où c'est la détection directe d'un obstacle ou de son contour qui détermine le choix de l'image d'ego-véhicule. Selon un autre mode de réalisation avantageux, les moyens de sélection de l'image antérieure prise par la caméra sont des moyens de sélection manuels réalisés sous la forme de moyens de défilement sur le moniteur de plusieurs images à réalité augmentée obtenues à partir de différentes images antérieures stockées dans la mémoire et d'un organe de commande actionnable par l'utilisateur pour sélectionner une des images à réalité augmentée dont l'image antérieure, sur laquelle elle est basée, est appelée image antérieure de départ. Avantageusement, ces moyens de sélection sont actifs en permanence durant une manœuvre de sorte que l'utilisateur peut redéfinir l'image antérieur de départ à tout moment. Un tel mode de réalisation présente l'avantage d'être simple et peu coûteux, le conducteur choisissant lui-même l'image de départ pour réaliser sa manoeuvre. Selon une variante de réalisation, il est prévu des moyens d'analyse de la trajectoire du véhicule à partir des variations de la pose du véhicule fournie par le dispositif odométrique et les moyens de sélection de l'image antérieure prise par la caméra, appelée image antérieure de départ, sont des moyens automatiques déterminant l'image antérieure de départ à utiliser sur la base d'un critère de déplacement du véhicule. Avantageusement, le critère de déplacement du véhicule correspond à une distance minimale entre la position courante du véhicule et la position antérieure correspondante à l'image antérieure sélectionnée, qui est choisie de préférence entre 0.3 et 0.7 mètre, et plus particulièrement égale à 0.5 mètre. Cette variante présente l'avantage non seulement d'être automatique, i.e. de ne pas nécessiter l'intervention du conducteur, mais aussi économique dans la mesure où elle utilise le dispositif odométrique déjà présent pour déterminer l'image antérieure servant d'image de départ. Selon une autre variante avantageuse, l'assistant de manœuvre comprend des moyens d'extraction du contour des obstacles et les moyens de sélection d'une image antérieure prise par la caméra, appelée image antérieure de départ, sont des moyens automatiques déterminant une image antérieure de départ 11 à utiliser avec l'image de l'ego-véhicule de sorte que cette dernière ne masque pas les contours d'obstacles extraits. Alternativement, il est prévu des moyens de détection d'obstacles et les moyens de sélection d'une image antérieure prise par la caméra, appelée image antérieure de départ, sont des moyens automatiques déterminant une image antérieure de départ en fonction des obstacles détectés. Ces deux solutions présentent l'avantage d'être automatiques et avec une fiabilité accrue dans la mesure où le choix de l'image de départ se fait en fonction de la détection des obstacles ou de leurs contours. Selon un autre mode de réalisation avantageux, il est prévu un système d'acquisition d'images extérieures au véhicule constitué de la caméra arrière e-u de deux caméras latérales disposées de part et d'autre du véhicule. Ce mode de réalisation présente l'avantage de disposer en mémoire d'images antérieures plus nombreuses et surtout sous tous les angles utiles en matière de manœuvre. Selon un autre mode de réalisation avantageux, il est prévu des moyens d'activation de la ou des caméras activés lorsque la vitesse du véhicule est inférieure à un seuil d'activation prédéterminé.

Avantageusement, le seuil d'activation de la ou des caméras est défini entre 3 à 10 m/s, de préférence 7 m/s. Un tel mode de réalisation permet d'éviter de stocker inutilement un grand nombre d'images en particulier lorsque le véhicule roule au-delà d'une certaine vitesse et donc n'est pas susceptible d'engager prochainement une manœuvre. 12 Selon un autre mode de réalisation avantageux, il est prévu un deuxième moniteur ou de diviser Le moniteur en deux parties pour pouvoir fournir une image courante prise par une des caméras.

Ce mode de réalisation fournit une information supplémentaire au conducteur, ce qui permet à ce dernier de vérifier la bonne corrélation entre l'image à réalité augmentée et l'image courante fournie par la caméra. Dans une solution manuelle, le conducteur peut s'aider de cette image courante pour déterminer la meilleure image antérieure de départ ou image de son propre véhicule pour effectuer sa manoeuvre. Selon un autre mode de réalisation avantageux, il est prévu des moyens d'activation du ou des moniteurs liés à l'enclenchement de la marc:-le arrière du véhicule. Selon un deuxième aspect, l'invention porte aussi sur une méthode d'assistance à la manoeuvre pour véhicule qui correspond à chacune des modes et variantes ci-dessus mentionnées de l'assistant de manoeuvre selon l'invention. En particulier, l'invention concerne une méthode d'assistance à la manoeuvre au moyen d'un assistant de manoeuvre, caractérisée en ce qu'elle comporte les étapes suivantes consistant à: - scruter vers l'extérieur le long de la trajectoire du véhicule au moyen d'au moins une caméra disposée à l'arrière du véhicule; - donner la pose du véhicule au moyen d'un dispositif odométrique; - calibrer des images prises par la caméra en fonction de la pose du véhicule lors de la prise de ces images par la caméra, par des moyens de calibration; - mémoriser des images prises par la caméra au moyen 5 d'une mémoire; - pré-mémorisér au moins un modèle d'image du véhicule ou ego-véhicule afin de créer une image de ce vehicule pour augmenter la réalité de la scène de manœuvre; sélectionner une image antérieure prise par la 10 caméra, stockée dans la mémoire et calibrée par des moyens de sélection; - positionner l'image de l'ego-véhicule, obtenue à partir du modèle pré-mémorisé, par rapport à l'image antérieure sélectionnée par comparaison de la pose 15 actuelle dl véhicule fournie par le dispositif odométrique avec la pose du véhicule déterminée lors de la prise de l'image antérieure sélectionnée, par des moyens de positionnement; - afficher une image à réalité augmentée formée par la 20 superposition de l'image de l'ego-véhicule sur l'image antérieure sélectionnée au moyen d'un moniteur. Selon une variante avantageuse, la méthode comporte les étapes supplémentaires consistant à: - détecter un déplacement du véhicule au moyen du 25 dispositif odométrique; - mettre à jour l'image à réalité augmentée affichée par le moniteur en fonction du déplacement du véhicule détecté. Selon une autre variante avantageuse, la 30 méthode comporte l'étape supplémentaire consistant à pré-mémoriser deux modèles d'image de l'ego-véhicule, un premier modèle d'image permettant: d'obtenir une image calibrée représentant l'ego-véhicule en perspective et un deuxième modèle d'image permetta:7t d'obtenir une image calibrée représentant l'ego- véhicule sous la forme d'une empreinte dessinée sur le sol. Alternativement, cette étape supplémentaire peut consister à transformer le modèle d'image de l'ego-véhicule pré-mémorisé pour obtenir soit une image calibrée représentant l'ego--véhicule en perspective, soit une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol par des moyens de transformation. Quelle que soit l'alternive choisie, la méthode comprend une étape supplémentaire consistant à sélectionner l'une ou l'autre des deux images de l'ego-véhicule pour former l'image à réalité augmentée affichée par des moyens de sélection. Selon une autre variante avantageuse, la méthode comporte les étapes supplémentaires consistant à analyser la trajectoire du véhicule à partir des variations de la pose du véhicule fournie par le dispositif odométrique par des moyens d'analyse; et à utiliser comme critère de sélection de l'une ou l'autre des deux d'image de l'ego-véhicule la trajectoire du véhicule. Avantageusement, elle comporte une étape supplémentaire consistant à sélectionner sur la base d'un critère de déplacement du véhicule, l'image antérieure prise par la caméra, appelée image antérieure de départ.

Selon une autre variante avantageuse, la méthode comporte les étapes supplémentaires consistant à extraire le contour des obstacles par des moyens d'extraction; et à utiliser comme critère de sélection de l'une ou l'autre des deux images de l'ego-véhicule, celui ne masquant pas les contours d'obstacles extraits. Avantageusement, elle comporte une étape supplémentaire consistant à utiliser le contour des obstacles extraits comme critère de sélection de l'image antérieure prise par la caméra. Selon une autre variante avantageuse, la 10 méthode comporte les étapes supplémentaires consistant à détecter les obstacles par des moyens de détection d'obstacles; et à utiliser comme critère de sélection de l'une ou l'autre des deux images de l'ego-véhicule, les obstacles détectés. Avantageusement, elle comporte 15 une étape supplémentaire consistant à utiliser les obstacles détectés comme critère de sélection de l'image antérieure prise par la caméra. Selon une autre variante avantageuse, la méthode comporte l'étape supplémentaire consistant à 20 activer la caméra lorsque la vitesse du véhicule est inférieure à un seuil d'activation prédéterminé. Selon une autre variante avantageuse, la méthode comporte l'étape supplémentaire consistant à afficher une image courante prise par la caméra au 25 moyen d'un deuxième moniteur ou du moniteur divisé en deux parties. D'autres caractéristiques et avantages de l'invention ressortiront de la description suivante de modes de réalisation particuliers, donnés à titre 30 d'exemples, en référence aux dessins annexés.

BRÈVE DESCRIPTION DES DESSINS La Figure 1 est une vue schématique d'in véhicule automobile équipé d'un assistant de manoeuvre selon un mode de réalisation de la présente invention. 5 Les Figures 2a et 2b représentent respectivement de manière schématisée une image à réalité augmentée telle qu'affichée sur le moniteur utilisant une image représentant l'ego-véhicule obtenue 10 à partir d'un premier modèle d'image et l'image courante correspondante telle que prise par la caméra arrière.

Les Figures 3a et 3b respectivement de 15 manière schématisée une image à réalité augmentée telle qu'affichée sur le moniteur utilisant une image représentant l'ego-véhicule obtenue à partir d'un deuxième :modèle- d'image et l'image courante correspondante telle que prise par la caméra arrière. 20 EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS L'invention sera décrite ci-après uniquement à titre d'exemple non limitatif en relation avec les figures 1 à 3b. 25 La Figure 1 est une vue schématique d'un véhicule automobile 1 équipé d'un assistant de manoeuvre selon un mode de réalisation de la présente invention. Chacun des éléments constitutifs de cet assistant de manoeuvre sera détaillé plus loin. L'assistant de 30 manœuvre comprend une unité centrale ou ordinateur de bord 2 recevant des informations d'une caméra 3 disposée à l'arrière du véhicule 1, d'un dispositif odométrique 4, et fournissant des informations à un moniteur ou écran 6. L'assistant comprend encore éventuellement un témoin 5 d'activation. L'assistant comprend donc au moins une caméra 3 disposée à l'arrière du véhicule 1 et dont le champ visuel est orienté vers l'extérieur par rapport au véhicule de manière à scruter l'arrière da véhicule le long de sa trajectoire ainsi que les côtés situés derrière le véhicule. On notera que cette solution utilisant une caméra arrière 3 présente l'avantage d'être simple pour ce qui est de la gestion ultérieure des images recueillies par l'unique caméra, peu coûteuse dans la mesure où une seule caméra est nécessaire mais également suffisante puisque le champ visuel de la caméra arrière permet de repérer les obstacles situés à l'arrière mais aussi sur les côtés du véhicule le long de la trajectoire de ce dernier.

Alternativement, il est possible de prévoir un système de caméras comprenant en plus de la caméra arrière , un couple de caméras latérales (non représentées) disposées d'un côté et de l'autre du véhicule de manière à pouvoir mieux enregistrer les obstacles éventuels survenant sur les côtés du véhicule. Tout autre système à caméras multiples permettant de surveiller les zones à risques en cas de manoeuvre arrière de stationnement sont également envisageable. Les images recueillies par la ou les caméras le long de la trajectoire du véhicule sont stockées dans une mémoire. Ce type de système utilisant plusieurs caméras peut grandement faciliter l'étape de sélection d'une image et ainsi augmenter la pertinence du résultat montré. On notera que la fréquence de stockage peut être adaptée suivant les besoins pour la manoeuvre et selon la ressource mémoire à disposition. Ainsi, par exemple, la fréquence de sauvegarde de ces images pourra être choisie inversement proportionnelle à la vitesse du véhicule ou en fonction du deplacement du vehicule.

L'assistant de manoeuvre comprend aussi un dispositif odométrique 4 fournissant à l'ordinateur de bord les informations sur la pcse du véhicule, c'est-à-dire la position et l'orientation combinées du véhicule dans un système de coordonnées. Ce dispositif odométrique peut être réalisé de manière classique en utilisant par exemple un système de capteurs odométriques agencés sur les roues arrières du véhicule tel que détaillé dans la demande de brevet FR 05/10089. L'assistant de manoeuvre comprend aussi une unité centrale ou ordinateur de bord 3 permettant de calculer la pose du véhicule en fonction des informations reçus du dispositif odométrique 4, de déterminer la pose, i.e. de calibrer, les images reçues de la caméra 3 ainsi que de stocker dans une mémoire les différentes images de la caméra 2 prises le long de la trajectoire du véhicule. L'ordinateur de bord 2 permet d'une manière générale de réaliser tous les calculs nécessaires à la mise en oeuvre de l'invention, et en particulier ceux nécessaires pour effectuer le positionnement d'une image pré-mémorisée du véhicule appelé ego-véhicule, par rapport à une image antérieure prise par la caméra par comparaison de la 19 pose actuelle du véhicule fournie par le dispositif odométrique 4 avec la pose du véhicule déterminée lors de la prise de l'image antérieure sélectionnée. L'assistant de manoeuvre comprend aussi un moniteur 6 utilisé pour informer et aider le conducteur dans l'exécution d'une manoeuvre de stationnement par l'affichage d'images à réalité augmentée formées par la superposition de l'image pré-mémorisée de l'ego-véhicule sur une image antérieure prise par la caméra.

Le calibrage (détermination de la pose) des images affichées peut être réalisé de manière classique, par exemple en utilisant la méthode décrite dans la demande de brevet FR 03/03630. L'assistant de manoeuvre peut comprendre 15 encore un témoin d'activation 5 illustré ici sous la forme d'un feu de marche arrière allumé lorsque la marche arrière du véhicule est enclenchée. Une méthode d'assistance à la manoeuvre au moyen d'un tel assistant est décrite ci-après en 20 liaison avec les Figures 2a, 2b, 3a et 3b. Cette méthode est basée sur l'affichage d'une image à réalité augmentée, telle que représentée schématiquement sur la Figure 2a, fournissant au conducteur du véhicule une information sur le 25 positionnement de son propre véhicule 10 (ego-véhicule) par rapport aux obstacles potentiels 11 lors de sa manoeuvre de stationnement. L'approche utilisée pour cette méthode consiste à superposer l'image pré-mémorisée de l'ego-véhicule 10 sur une image antérieure 30 (c'est-à-dire préalablement acquise et stockée) à l'image courante fournie par la caméra et représentée schématiquement à la Figure 2b. Le positionnement de l'image ce l'ego-véhicule par rapport à l'image antérieure sélectionnée est effectué par comparaison de la pose courante du véhicule fournie par le dispositif odométrique avec la pose du véhicule déterminée lors de la prise de l'image antérieure. A la vue de ce qui précède, on comprend aisément que le choix d'une image antérieure prise par la caméra permet de visualiser des obstacles latéraux, comme le véhicule 11 déjà stationné sur la Figure 2e, qui ne sont plus visibles sur l'image courante fournie par la caméra (Figure 2b). En outre le positionnement d'une image de l'ego-véhicule 10 par superposition sur l'image antérieure permet en outre au conducteur d'apprécier facilement l'écart le séparant de l'obstacle représenté par le véhicule 11. _-a réalisation et l'affichage d'une telle image à réalité augmentée sont possibles parce que la liaison entre l'image antérieure choisie et la pose courante du véhicule sont connus grâce aux informations de positionnement fournies par le dispositif odométrique utilisé. On notera que ces informations de positionnement peuvent être légèrement perturbées en raison d'erreurs de traitement du dispositif odométrique, par exemple dues à une route glissante. Néanmoins, il est également. à noter que qu'un dispositif odométrique très précis n'est pas requis dans la mesure où les informations fournies sont essentiellement utilisées pour sélectionner l'image antérieure et l'orientation de l'image de l'ego-véhicule. A cet effet, le système doit également mémoriser la trajectoire passée afin de pouvoir réaliser un choix correct d'une image antérieure. Enfin, on notera que cette approche n'est pas du tout consommatrice de temps de l'unité centrale et est donc un bon candidat pour un assistant de manoeuvre à prix réduit. Une des questions principales liées à cet assistant de manœuvre est de s'assurer que l'image de l'ego-véhicule n'est pas superposée aux obstacles potentiels de sorte a réaliser une occlusion d'obstacle. Dans le but d'éviter une telle occlusion d'obstacle, il est avantageusement prévu de pré-mémoriser deux modèle d'images de l'ego-véhicule, un premier modèle d'image permettant d'obtenir une image représentant l'ego-véhicule en perspective et un deuxième modèle d'image permettant d'obtneir une image représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol. Alternativement, les deux images peuvent être créées à la volée en appliquant une transformation géométrique à un seul modèle d'image de l'ego vehicule. Ainsi, il suffit de sélectionner l'une ou l'autre des deux images de l'ego-véhicule à utiliser pour pouvoir former une image à réalité augmentée ne masquant pas les obstacles éventuels. Une telle situation est représentée de manière schématique sur la Figure 3a où l'image à réalité augmentée affichée sur le moniteur utilise une image obtenue à partir du deuxième modèle d'image pré-mémoriser pour l'ego-véhicule tandis que l'image précédemment présentée avec la Figure 2a utilisait une 22 image obtenue à partir du premier modèle d'image pré-mémoriser pour l'ego-véhicule. On comprend aisément à la lumière des Figures 2a et 3a que suivant l'avancement de sa manoeuvre, les obstacles à montrer au ccnducteur peuvent varier. A cet effet, il est apparu important que l'image de l'ego-véhicule ne masque pas les obstacles dangereux. Sur la Figure 2a, le choix d'une vue en perspective pour représenter l'ego-véhicule 10 est adapté à _a présence de l'obstacle formé par le véhicule 11 stationné sur le côté. En revanche, sur la Figure 3a, le choix d'une empreinte 12 dessinée sur le sol pour représenter l'ego-véhicule est adapté à la présence de l'obstacle formé par le véhicule 13 stationné derrière. De cette manière, le conducteur peut aisément apprécier la distance restante avant collision lorsqu'il effectue sa manœuvre. A titre de comparaison, la Figure 3b représente de manière schématique l'image courante de la caméra correspondante à l'image à réalité augmentée de la Figure 3a. On remarque sur cette Figure 3b l'aspect distordu du véhicule obstacle 13 stationné derrière. Une solution simple consiste à laisser le conducteur commuter l'affichage sur le moniteur, lui permettant: de visionner la scène à l'aide d'une image à réalité augmentée réalisée à partir d'une image de l'ego-véhicule sous la forme soit d'une vue en perspective (cf. Figure 2a), soit d'une empreinte dessinée au sol (cf. Figure 3a). Une autre solution pour se débarrasser des problèmes d'occlusion, consiste à extraire le contour des obstacles en deux dimensions (2D) au moyen de capteurs prévus à cet effet et d'utiliser des contours extraits comme critère de sélection de l'image de l'ego--véhicule pour s'assurer qu'elle ne masque pas ces contours. Encore une autre solution possible consiste dans l'analyse de la trajectoire du véhicule lors de sa manoeuvre pour sélectionner l'image de l'ego-véhicule à utiliser. En effet suivant l'angle de braquage, il est facilement possible de déterminer le stade d'avancement de la manoeuvre effectuée par le conducteur. Ainsi par exemple, La commutation d'une image de l'ego-véhicule à l'autre pourrait se faire lorsqu'une manoeuvre de contre-braquage est amorcée. Une autre solution encore consiste à détecter les obstacles pa.r des moyens de détection d'obstacles en trois dimensicns, en utilisant par exemple la technologie décrite dans la demande de brevet FR 07/07039, et à utiliser comme critère de sélection de l'image de l'ego-véhicule les obstacles détectés.

Une autre question d'importance est de choisir la meilleure image antérieure sur laquelle est superposé l'image de l'ego-véhicule. De nombreux algorithmes peuvent être mis en oeuvre à cette fin mais la pertinence de l'image sélectionnée reste un facteur déterminant. Une solution simple consiste à laisser le conducteur choisir entre plusieurs images. Une autre solution également assez simple consiste à analyser la trajectoire du véhicule et à choisir une image antérieure en fonction du déplacement et de la position du véhicule. De la même manière que pour la sélection de l'image de l'ego-véhicule, il peut être fait usage de capteurs de contours d'obstacle ou encore de moyens de détection d'obstacles en trois dimensions pour sélectionner l'image antérieure devant servir de base à la réalisation de l'image à réalité augmentée. D'une manière générale, on comprendra aisément que différentes variantes d'assistant de manoeuvre peuvent être réalisées et que les méthodes de choix tant de l'image de l'ego-véhicule que de l'image antérieure soit par commutation d'affichage soit par sélection automatique deviennent de plus en plus intelligentes avec l'augmentation du nombre de capteurs disposés sur le véhicule. On comprendra que diverses modifications et / ou améliorations évidentes pour l'homme du métier peuvent être apportées aux différents modes de réalisation de l'invention décrits dans la présente description sans sortir du cadre de l'invention défini par les revendications annexées.

En particulier, le critère de déplacement du véhicule utilisable pour sélectionner une image antérieure peut être fixé de manière à correspondre à une distance minimale entre la position courante du véhicule et la position antérieure correspondante à l'image antérieure sélectionnée. Cette distance minimale est choisie entre 0.3 et 0.7 mètre, et de préférence égale à 0.5 mètre. On notera aussi la possibilité d'utiliser des moyens d'activation de la caméra lorsque la vitesse du véhicule est inférieure à un seuil d'activation prédéterminé. Le seuil d'activation de la caméra est défini entre 3 à 10 m/s, de préférence 7 m/s. On notera aussi la possibilité d'utiliserun deuxième moniteur ou de diviser l'image en deux sur le moniteur pour pouvoir également afficher l'image courante prise par la caméra en parallèle de l'image à réalité augmentée affichée sur le premier moniteur. On notera aussi l'activation automatique de l'assistant de manoeuvre et du moniteur lié à l'enclenchement de la marche arrière du véhicule. On notera enfin en ce qui concerne le ou les modèles pré-mémorisés d'image de l'ego-véhicule, que ceux sont avantageusement un modèle 3D du véhicule et un modèle 2D représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol. Dans l'alternative n'utilisant qu'un seul modèle, ce dernier est un modèle 3D du véhicule. Pour une obtenir une image de l'ego-véhicule à partir du modèle 3D, on applique dessus une transformation géométrique pour créer une image 2D représentant une vue de perspective du véhicule. Cette transformation dépend de la position du véhicule et de la pose de l'image dans laquelle l'image est positionnée. En appliquant une deuxième transformation, on peut obtenir une image de l'ego-véhicule sous forme d'une empreinte sur le sol. Pour une obtenir une image du véhicuzle à partir du modèle représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol, on applique de la même façon, une transformation géométrique pour créer une image de cette empreinte en fonction de la 26 position du véhicule et de la pose de l'image dans laquelle l'empreinte est positionnée.

Claims

REVENDICATIONS1. Assistant de manœuvre pour véhicule (1) avec affichage à réalité augmentée caractérisé en ce qu'il comprend: au moins une caméra (3) disposée à l'arrière du véhicule scrutant vers l'extérieur le long de la trajectoire du véhicule; un dispositif odométrique (4) donnant la pose du véhicule; des moyens de calibration des images prises par la caméra en fonction de la pose du véhicule lors de la prise de ces images par la caméra; une mémoire pour stocker des images prises par la caméra; au moins un modèle pré-mémorisé d'image du véhicule ou ego-véhicule (10; 12); des moyens de sélection d'une image antérieure prise par la caméra, stockée dans la mémoire et calibrée; des mayens de positionneme:-it d'une image de l'ego-véhicule, obtenue à partir du modèle pré-mémorisé, par rapport à l'image antérieure sélectionnée par comparaison de la pose actuelle du véhicule fournie par le dispositif odométrique avec la pose du véhicule déterminée lors de la prise de l'image antérieure sélectionnée; un moniteur (6) pour afficher une image à réalité augmentée formée par la superposition de l'image de 30 l'ego-véhicule sur l'image antérieure sélectionnée.
2. Assistant de manoeuvre selon la revendication 1, caractérisé en ce qu'il comprend des moyens pour mettre à jour l'image à réalité augmentée affichée par le moniteur en fonction d'un déplacement du véhicule détecté au moyen du dispositif odométrique.
3. Assistant de manoeuvre selon la revendication 1 ou 2, caractérisé en ce que deux modèles d'image de l'ego-véhicule sont pré-mémorisés, un premier modèle d'image permettant d'obtenir une image calibrée représentant l'ego-véh_cule en perspective et un deuxième modèle d'image permettant d'obtenir une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol.
4. Assistant de manoeuvre selon la revendication 1 ou 2, caractérisé en ce qu'il comprend des moyens de transformation du modèle d'image de l'ego-véhicule pré-mémorisé, permettant d'obtenir soit une image calibrée représentant. l'ego-véhicule en perspective, soit une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol.
5. Assistant de manoeuvre selon la revendication 3 ou 4, caractérisé en ce qu'il comprend des moyens de sélection de l'une ou l'autre des images de l'ego-véhicule pour former l'image à réalité augmentée sur la base d'un critère déterminé.
6. Assistant de manoeuvre selon la revendication 5, caractérisé en ce que les moyens de sélection de l'uneou l'autre des images de l'ego-véhicule sont des moyens manuels réalisés sous la forme d'un organe de commande actionnable par l'utilisateur.
7. Assistant de manoeuvre selon la revendication 5, caractérisé en ce qu'il comprend des moyens d'analyse de la trajectoire du véhicule à partir des variations de la pose du véhicule fournie par le dispositif odométrique et en ce que les moyens de sélection de l'une ou l'autre des deux images de l'ego-véhicule sont des moyens automatiques déterminant l'image de l'ego-véhicule à utiliser en fonction de la trajectoire du véhicule.
8. Assistant de manoeuvre selon la revendication 5, caractérisé en ce qu'il comprend des moyens d'extraction du contour des obstacles et en ce que les moyens de sélection de l'une ou l'autre des deux images de l'ego-véhicule sont des moyens automatiques déterminant l'image de l'ego-véhicule ne masquant pas les contours d'obstacles extraits.
9. Assistant de manoeuvre selon la revendication 5, caractérisé en ce qu'il comprend des mcyens de détection d'obstacles et en ce que les moyens de sélection de l'une ou l'autre des deux images de l'ego-véhicule sont des moyens automatiques déterminant l'image de l'ego-véhicule à utiliser en fonction des obstacles détectés.
10. Assistant de manoeuvre selon l'une des revendications précédentes, caractérisé en ce que les moyens de sélection de l'image antérieure prise par la 30 caméra sont des moyens de sélection manuels réalisés sous la forme de moyens de défilement sur le moniteur de plusieurs images à réalité augmentée obtenues à partir de différentes images antérieures stockées dans la mémoire et d'un organe de commande actionnable par l'utilisateur pour sélectionner une des images à réalité augmentée dont l'image antérieure, sur laquelle elle est basée, est appelée image antérieure de départ.
11. Assistant de manœuvre selon la _revendication 10, caractérisé en ce que les moyens de sélection sont actifs en permanence durant une manoeuvre de sorte que l'utilisateur peut redéfinir l'image antérieur de départ à tout moment.
12. Assistant de manoeuvre selon l'une des revendications 1 à 9, caractérisé en ce qu'il comprend des moyens d'analyse de la trajectoire du véhicule à partir des variations de la pose du véhicule fournie par le dispositif odométrique et en ce que les moyens de sélection de l'image antérieure prise par la caméra, appelée image antérieure de départ, sont des moyens automatiques déterminant l'image antérieure de départ à utiliser sur la base d'un critère de déplacement du véhicule.
13. Assistant de manoeuvre selon la revendication 12, caractérisé en ce que le critère de déplacement du véhicule correspond à une distance minimale entre la position courante du véhicule et la position antérieure correspondant à l'image antérieure sélectionnée. 31
14. Ass_Lst.ant de manoeuvre selon la revendication 13, caractérisé en ce que la distance minimale est choisie entre 0.3 et 0.7 mètre, et de préférence égale à 0.5 mètre.
15. Assistant de manoeuvre selon l'une des revendications 1 à 9 ou 12 à 14, caractérisé en ce qu'il comprend des moyens d'extraction du contour des obstacles et en ce que les moyens de sélection d'une image antérieure prise par la caméra, appelée image antérieure de départ, sont des moyens automatiques déterminant une image antérieure de départ à utiliser avec l'image de l'ego-véhicule de sorte que cette dernière ne masque pas les contours d'obstacles extraits.
16. Assistant de manœuvre selon l'une des revendications 1 à 9 ou 12 à 15, caractérisé en ce qu'il comprend des moyens de détection d'obstacles et en ce que les moyens de sélection d'une image antérieure prise par la caméra, appelée image antérieure de départ, sont des moyens automatiques déterminant une image antérieure de départ en fonction des obstacles détectés.
17. Assistant de manœuvre selon l'une des revendications précédentes, caractérisé en ce qu'il comprend un système d'acquisition d'images extérieures au véhicule constitué de la caméra arrière et de deux caméras latérales disposées de part et d'autre du véhicule.32
18. Assistant de manœuvre selon l'une des revendications précédentes, caractérisé en ce qu'il comprend des moyens d'activation de la ou des caméras 5 activés lorsque la vitesse du véhicule est inférieure à un seuil d'activation prédéterminé.
19. Assistant de manoeuvre selon la revendication 18, caractérisé en ce que le seuil d'activation de la ou des 10 caméras est défini entre 3 à 10 m/s, de préférence 7 m/s.
20. Assistant de manœuvre selon l'une des revendications précédentes, caractérisé en ce qu'il 15 comprend un deuxième moniteur ou une division du moniteur en deux parties pour pouvoir fournir en outre une image courante prise par une des caméras.
21. Assistant de manoeuvre selon l'une des 20 revendications précédentes, comprenant des moyens d'activation du ou des moniteurs liés à l'enclenchement de la marche arrière du véhicule.
22. Méthode pour assistance à la manœuvre au moyen d'un 25 assistant de manœuvre pour véhicule avec affichage à réalité augmentée, caractérisée en ce qu'elle comporte les étapes suivantes consistant à: - scruter vers l'extérieur le long de la trajectoire du véhicule au moyen d'au moins une caméra disposée à 30 l'arrière du véhicule;33 - fournir la pose du véhicule au moyen d'un dispositif odométrique; - calibrer des images prises par la caméra en fonction de la pose du véhicule lors de la prise de ces images 5 par la caméra, par des moyens de calibration; - mémoriser des images prises par la caméra au moyen d'une mémoire; - pré-mémoriser au moins un modèle d'image du véhicule ou ego-véhicule; 10 - sélectionner une image antérieure prise par la caméra, stockée dans la mémoire et calibrée par des moyens de sélection; - positionner une image de l'ego-véhicule, obtenue à partir du modèle pré-mémorisé, par rapport à l'image 15 antérieure sélectionnée par comparaison de la pose actuelle du véhicule fournie par le dispositif odométrique avec la pose du véhicule déterminée lors de la prise de l'image antérieure sélectionnée, par des moyens de positionnement; 20 - afficher une image à réalité augmentée formée par la superposition de l'image de l'ego-véhicule sur l'image antérieure sélectionnée au moyen d'un moniteur.
23. Méthode pour assistance à la manœuvre selon la 25 revendication 22, comportant les étapes supplémentaires consistant à: - détecter un déplacement du véhicule au moyen du dispositif odométrique; - mettre jour l'image à réalité augmentée affichée 30 par le moniteur en fonction du déplacement du véhicule détecté. 34
24. Méthode pour assistance à la manoeuvre selon la revendication 22 ou 23, comportant l'étape supplémentaire consistant à: - pré-mémoriser deux modèles d'image de l'ego-véhicule, un premier modèle d'image permettant d'obtenir une image calibrée représentant l'ego-véhicule en perspective et un deuxième modèle d'image permettant d'obtenir une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol.
25. Méthode pour assistance à la manoeuvre selon la revendication 22 ou 23, comportant l'étape supplémentaire consistant à: - transformer le modèle d'image de l'ego-véhicule pré- mémorisé pour obtenir soit une image calibrée représentant l'ego-véhicule en perspective, soit une image calibrée représentant l'ego-véhicule sous la forme d'une empreinte dessinée sur le sol par des moyens de transformation.
26. Méthode pour assistance à la manoeuvre selon la revendication 24 ou 25, comportant l'étape supplémentaire consistant à: - sélectionner l'une ou l'autre des deux images de l'ego-véhicule pour former l'image à réalité augmentée affichée par des moyens de sélection.
27. Méthode pour assistance à la manoeuvre selon la 30 revendication 26, comportant les étapes supplémentaires consistant à: 35 - analyser la trajectoire du véhicule à partir des variations de la pose du véhicule fournie par le dispositif cdométrique par des moyens d'analyse; - utiliser comme critère de sélection de l'une ou l'autre des deux images de l'ego-véhicule la trajectoire du véhicule.
28. Méthode pour assistance à la manoeuvre selon la revendication 26, comportant les étapes supplémentaires 10 consistant à: - extraire le contour des obstacles par des moyens d'extraction; utiliser comme critère de sélection de l'une ou l'autre des deux images de l'ego-véhicule, celle ne 15 masquant pas les contours d'obstacles extraits.
29. Méthode pour assistance à la manoeuvre selon la revendication 26, comportant les étapes supplémentaires consistant à: 20 - détecter les obstacles par des moyens de détection d'obstacles; - utiliser comme critère de sélection de l'une ou l'autre des deux images de l'ego-véhicule, les obstacles détectés. 25
30. Méthode pour assistance à la manoeuvre selon la des revendication 27, comportant l'étape supplémentaire consistant à: - sélectionner sur la base d'un critère de déplacement 30 du véhicule, l'image antérieure prise par la caméra, appelée image antérieure de départ. 36
31. Méthode pour assistance à la manœuvre selon la revendication 28, comportant l'étape supplémentaire consistant à: - utiliser le contour des obstacles extraits comme critère de sélection de l'image antérieure prise par la caméra.
32. Méthode pour assistance à la manœuvre selon la revendication 29, comportant l'étape supplémentaire consistante_ à: - utiliser les obstacles détectés comme critère de sélection de l'image antérieure prise par la caméra.
33. Méthode pour assistance à la manœuvre selon l'une des revendications 22 à 32, comportant l'étape supplémentaire consistant à: - activer la caméra lorsque la vitesse du véhicule est inférieure à un seuil d'activation prédéterminé. 20
34. Méthode pour assistance à la manoeuvre selon l'une des revendications 22 à 33, comportant l'étape supplémentaire consistant à: - afficher une image courante prise par la caméra au 25 moyen d'un deuxième moniteur ou du moniteur divisé en deux.