FR2951293A1 - Dispositif et procede d'aide a l'intervenvion sur un vehicule - Google Patents

Abstract

Pour intervenir sur un appareil comme par exemple un véhicule automobile, le dispositif comprend un écran (3) pour afficher des informations relatives à l'appareil. Des moyens (4) de capture numérique en temps réel d'images de l'appareil pointées par le dispositif sont reproduites sur l'écran (3). Des moyens (1) de traitement numérique sont agencés pour reconnaître un élément de l'appareil dans les images capturées qui est corrélé aux informations pour afficher les informations en les reliant visuellement à l'élément reconnu.

Description

"Dispositif et procédé d'aide à l'intervention sur un véhicule"

L'invention concerne un dispositif et un procédé d'aide à l'intervention sur un véhicule, notamment un véhicule automobile. Le terme intervention désigne ici autant l'utilisation, l'entretien que le dépannage ou une simple visite d'essai. Généralement, les manuels d'explication sur le fonctionnement des appareils, par exemple les véhicules automobiles, existent en version imprimée sous forme de livrets. Malgré les nombreux dessins et schémas qui sont joints dans ce type de manuels imprimés aux explications textuelles, les utilisateurs ont souvent du mal à suivre les étapes d'intervention et à localiser les endroits où une action doit être faite. Ces manuels sont peu interactifs. Dans certains modèles de photocopieuse, on peut observer l'application de dépannage interactif. En cas de panne, un bilan de diagnostique est affiché sur un écran de la machine et les actions pour le dépannage sont successivement proposées. Il suffit de suivre les étapes affichées de manière interactive pour résoudre les problèmes mineurs.

Ce type de manuel interactif présente tout de même l'inconvénient d'un affichage qui reste figé de manière prédéterminée dans la machine. Dans un exemple d'utilisation automobile, on peut imaginer un manuel embarqué sous forme électronique dans le système d'information et divertissement du véhicule (infotainement) qui est équipé d'un écran. Pour dépanner un véhicule cependant, un tel manuel électronique interactif impose à l'utilisateur des aller retours entre l'habitacle et le capot qui peuvent rapidement paraître fastidieux et difficile à accepter. Le document US 2002/0174112A1 décrit un manuel électronique portable pour faciliter le dépannage et l'entretien d'un véhicule. Si le texte contenu dans un tel manuel électronique, est facile à retrouver et à enrichir par un technicien automobile, les explications et les étapes d'intervention présentent une difficulté semblable à celle d'un manuel imprimé pour intervenir sur un appareil tel qu'un véhicule lorsqu'une personne non accoutumée à la mécanique, utilise un tel manuel. Pour remédier aux problèmes et aux inconvénients présentés par l'état antérieur de la technique, un objet de l'invention est un dispositif d'aide à l'intervention sur un véhicule comprenant un écran pour afficher des informations relatives au véhicule. Ce dispositif est remarquable en ce qu'il comprend des moyens de capture numériques en tant réel d'images du véhicule pointées par le dispositif et reproduites sur l'écran, et des moyens de traitement numérique agencés pour reconnaître dans les images capturées, un élément du véhicule corrélé auxdites informations et pour afficher lesdites informations en les reliant visuellement à l'élément reconnu.

Particulièrement, les moyens de traitement numérique reconnaissent ledit élément en détectant un pictogramme qui est imprimé sur l'élément pour le repérer. Avantageusement, les moyens de traitement numériques sont agencés pour afficher lesdites informations en incrustant un modèle 3D dans les images capturées. Particulièrement, les moyens de traitement numériques sont agencés pour incruster le modèle 3D en calculant un angle de prise de vue par les moyens de captures numériques à partir d'une analyse de perspective du pictogramme tel qu'il est détecté. De préférence, le pictogramme comprend une forme géométrique asymétrique.

Avantageusement, le dispositif est agencé pour communiquer avec un système de contrôle de ce véhicule.

L'invention a aussi pour objet un procédé d'aide à l'intervention sur un véhicule en affichant des informations relatives au véhicule sur un écran. Le procédé est remarquable en ce qu'il comprend une première étape qui consiste à capturer numériquement et à reproduire en temps réel des images du véhicule, une deuxième étape qui consiste à reconnaître dans les images capturées un élément du véhicule corrélé auxdites informations et une troisième étape qui consiste à afficher lesdites informations en les reliant visuellement à l'élément reconnu. Particulièrement, l'élément est reconnu dans la deuxième étape en détectant un pictogramme qui est imprimé sur l'élément pour le repérer.

Avantageusement, les informations sont affichées dans la troisième étape en incrustant un modèle 3D dans les images capturées. Particulièrement, le modèle 3D est incrusté en calculant un angle de prise de vue par les moyens de capture numérique à partir d'une analyse de perspective du pictogramme tel qu'il est détecté. De préférence, le pictogramme comprend une forme géométrique asymétrique. Avantageusement encore, le procédé comprend au 25 moins une quatrième étape qui consiste à communiquer avec un système de contrôle du véhicule. L'invention sera mieux comprise à la lecture de la description qui suit et à l'examen des figures qui l'accompagnent. Ces figures ne sont données qu'à titre 30 illustratif et nullement limitatif de l'invention. Elles montrent . - figure 1 un schéma du dispositif conforme l'invention en vue de face et de dos ; - figure 2 un schéma explicatif d'éléments 35 utilisés pour mettre en oeuvre l'invention ; - figure 3 : une vue du dispositif lorsqu'il est mis en oeuvre pour inspecter un moteur automobile ; - figure 4 : un logigramme qui montre des étapes de procédé conforme à l'invention. L'invention se base essentiellement sur une technique qualifiée de réalité augmentée. La réalité augmentée est une technique qui permet de superposer un modèle virtuel 3D ou 2D en temps réel à la perception visuelle que nous avons naturellement de la réalité. Le concept de réalité augmentée vise essentiellement à compléter notre perception du monde réel en y ajoutant des objets artificiels, non perceptibles naturellement, qui enrichissent l'information donnée par l'image naturellement perçue. En d'autres termes, la réalité augmentée permet d'incruster de façon réaliste des objets virtuels dans une séquence d'images qui proviennent du monde réel. Le dispositif mobile 2 représenté sur la figure 1, est équipé d'un écran 3 sur sa face avant et d'une caméra 4 sur sa face arrière qui constituent des moyens de capture numérique en temps réel d'images d'un véhicule, d'un appareil ou de tout autre scène pointée par le dispositif et reproduite sur l'écran 3. Le dispositif 2 est un dispositif mobile de type tablette PC, PDA ou téléphone mobile, dont l'écran en face avant et la caméra en face arrière reproduisent pour l'utilisateur une fenêtre de regard sur l'environnement qu'il filme. Un support matériel 1 est inséré dans le dispositif 2 pour exécuter une application logicielle qui met en oeuvre le procédé conforme l'invention. Le support matériel 1 est par exemple une carte à mémoire à haute densité du type permanente tel que des mémoires EEPROM, voire une carte à mémoire avec microprocesseur au format SIM. La mémoire hébergée par le support matériel 1, comprend des programmes exécutables par microprocesseur et des structures de données.

Les structures de données comprennent notamment une liste de pictogrammes 6a, 6b tels que ceux qui sont représentés en figure 2. Chaque pictogramme comprend une forme géométrique asymétrique qui permet de donner une indication de direction lorsqu'elle est analysée par un logiciel de reconnaissance de formes. Sur la figure 2, un ensemble mécanique 5 est constitué ici de roues dentées qui représentent des éléments de véhicule automobile. Un pictogramme 6b identique à celui qui est contenu dans la structure de données, est collé, peint ou imprimé sur une première roue dentée alors qu'un pictogramme 6a est collé, peint ou imprimé sur une autre roue dentée. Chaque élément clé de l'appareil 5 est ainsi étiqueté avec un pictogramme dont la signature numérique facilite le repérage pour un logiciel de reconnaissance de formes qui n'a alors besoin que de reconnaître des formes géométriques simples.

Un code à barres permettrait lui aussi de repérer les éléments de l'appareil 5, mais les pictogrammes conforment à l'invention permettent de plus d'analyser l'angle de vue avec lequel les images sont capturées au moyen de la caméra 4. Les dimensions de chaque pictogramme étant connues, la taille obtenue dans l'image permet de déterminer le diamètre apparent et par conséquent la distance à laquelle le pictogramme apposé sur l'élément de l'appareil, est situé par rapport à la caméra 4. Une dilatation relative en hauteur ou en largeur, permet de déterminer l'angle que fait la surface sur laquelle le pictogramme est collé ou peint, avec l'angle du plan focal de la caméra. Ainsi, une analyse de perspective du pictogramme tel qu'il est détecté, permet de calculer l'angle de prise de vue par les moyens de capture numérique. La géométrie de l'appareil 5 étant connue, quelques pictogrammes placés à des distances différentes permettent alors de recréer un espace tridimensionnel de façon simple. Dans la structure de données hébergées par le support matériel 1, les séquences textuelles et des séquences programmées sont associées à chaque pictogramme.

Dans l'exemple illustré par la figure 4, l'appareil 5 est équipé d'un système de dépannage automatique qui exécute des étapes 100 à 106 de reconnaissance de panne côté embarqué. Une étape 100 est activée dès le démarrage de l'appareil, par exemple dès le démarrage du véhicule automobile. Une étape 101 effectue un diagnostique automatique de chaque élément de l'appareil 5. Une étape 102 génère une alerte si une panne existe. En absence de panne l'étape 101 est réexécutée. Lorsqu'une panne a été détectée dans l'étape 102, une étape 103 détermine un code de la panne. Une étape 104 envoie le code de la panne qui a été déterminée dans l'étape 103, vers le dispositif mobile qui, ici, est agencé pour communiquer avec le système de dépannage automatique qui constitue un exemple de système de contrôle d'appareil, notamment de véhicule. Côté dispositif mobile, une étape 200 est activée dès le démarrage du dispositif, typiquement dès l'allumage du dispositif mobile. Une étape 201 est activée lorsque le dispositif mobile reçoit le code de panne qui a été envoyé dans l'étape 104. Une étape 202 réactive cycliquement l'étape 201 en absence de réception de code de panne. Lorsque le code de panne reçu correspond à un code de panne répertorié dans les structures de données du support matériel 1, l'étape 202 active une étape 203 qui demande à l'utilisateur de filmer la partie sur laquelle intervenir en fonction du code de panne. Cette demande peut être faite par exemple par émission d'un message vocal ou d'une alarme sonore et l'inscription d'un message sur l'écran 3. Ainsi, en cas de panne, une application d'auto-dépannage de l'appareil, par exemple, du véhicule automobile, envoie par moyen de communication à distance un code de panne. En recevant ce code de panne, le dispositif mobile lance la procédure de dépannage et demande à l'utilisateur de filmer avec sa caméra. Une fois la séquence d'images démarrée, un algorithme de reconnaissance d'images est exécuté dans une étape 204 pour analyser la séquence filmée de manière à reconnaître la signature numérique du pictogramme associé à l'élément pertinent de l'appareil. Dans l'étape 205, activée lorsque le pictogramme pertinent a été détecté, le programme résidant sur l'élément matériel 1, calcule une perspective de vue en trois dimensions qui exploite la perspective du pictogramme pour identifier l'angle de vue de l'image. Ensuite, dans une étape 206, l'algorithme calcule une image à partir d'un modèle 3D contenant une scène explicative à superposer à la scène réelle et l'incruste sur la séquence des explications des images en temps réel pour montrer les interventions à réaliser.

La figure 3 montre le dispositif 1 placé au-dessus d'un moteur thermique dans le cas où l'appareil est un véhicule automobile. Un pictogramme 6C collé, imprimé ou peint sur une sonde de niveau d'huile, est représenté au bas de la figure sous forme agrandie pour faciliter la compréhension de l'image sous-jacente qui représente le monde réel. Le dispositif 2 placé au-dessus du moteur vise la sonde de niveau d'huile dont le pictogramme est reconnu par le logiciel de reconnaissance de forme résidant dans le dispositif 1. Le dispositif 2 affiche alors sur l'écran 3 une fenêtre 7 qui contient des informations de nature textuelle sur les actions à entreprendre par l'utilisateur. Un connecteur relie la fenêtre de texte à un cercle qui entoure l'élément pertinent repéré par le pictogramme 6C. La sonde de niveau d'huile étant repérée par le cercle sur l'écran 3, l'utilisateur peut voir facilement où elle se trouve dans le moteur qu'il peut regarder en-dessous de son dispositif mobile. Pour augmenter encore la réalité, l'étape 206 incruste par exemple dans ce cas un modèle 3D en perspective d'une sonde de niveau d'huile sous forme animée, qui est retirée progressivement de son logement pour suggérer à l'utilisateur de faire de même. Après avoir exécuté l'action suggérée par son dispositif mobile, l'utilisateur acquitte par exemple l'étape d'intervention sur son dispositif mobile. Cet acquittement est contrôlé par une étape 207 qui réactive l'étape 206 tant que la panne n'est pas résolue et qui active l'étape 208 après résolution de la panne. Dans l'étape 208, le dispositif mobile envoie au système de dépannage automatique, le résultat de dépannage. Après avoir envoyé le code de panne dans l'étape 104, le système de dépannage se met dans une étape de veille 105 en attente de recevoir le résultat de dépannage. Une étape 106 contrôle la réception du résultat de dépannage envoyé dans l'étape 208 de façon à se repositionner sur l'étape de diagnostique automatique 101 lorsque la panne est résolue et de réitérer les étapes 104 à 105 lorsque la panne n'est pas résolue.

Claims (12)

1. REVENDICATIONS1. Dispositif d'aide à l'intervention sur un appareil, notamment un véhicule, comprenant un écran (3) pour afficher des informations relatives à l'appareil, caractérisé en ce qu'il comprend : - des moyens (4) de capture numérique en temps réel d'images du véhicule pointées par le dispositif et reproduites sur l'écran (3) ; et - des moyens (1) de traitement numérique agencés pour reconnaître dans les images capturées un élément de l'appareil corrélé auxdites informations et pour afficher lesdites informations en les reliant visuellement à l'élément reconnu.
2. 2. Dispositif selon la revendication 1, caractérisé en ce que lesdits moyens (1) de traitement numérique reconnaissent ledit élément en détectant un pictogramme qui est inscrit sur ledit élément pour le repérer.
3. 3. Dispositif selon la revendication 2, caractérisé en ce que lesdits moyens (1) de traitement numériques sont agencés pour afficher lesdites informations en incrustant un modèle 3D dans les images capturées.
4. 4. Dispositif selon la revendication 3 caractérisé en ce que lesdits moyens (1) de traitement numérique sont agencés pour incruster le modèle 3D en calculant un angle de prise de vue par des moyens de capture numérique à partir d'une analyse de perspective du pictogramme tel qu'il est détecté.
5. 5. Dispositif selon l'une des revendications 2 à 4 30 caractérisé en ce que le pictogramme comprend une forme géométrique asymétrique.
6. 6. Dispositif selon l'une des revendications précédentes caractérisé en ce qu'il agencé pour communiquer avec un système de contrôle de l'appareil. 35
7. 7. Procédé d'aide à l'intervention sur un appareil en affichant des informations relatives à l'appareil sur un écran, caractérisé en ce qu'il comprend :- une première étape (203) qui consiste à capturer numériquement et à reproduire en temps réel des images du véhicule ; - une deuxième étape (204) qui consiste à 5 reconnaître dans les images capturées, un élément du véhicule corrélé auxdites informations ; et - une troisième étape (206) qui consiste à afficher lesdites informations en les reliant visuellement à l'élément reconnu. 10
8. 8. Procédé selon la revendication 7, caractérisé en ce que dans la deuxième étape (204), ledit élément est reconnu en détectant un pictogramme qui est inscrit sur ledit élément pour le repérer.
9. 9. Procédé selon la revendication 8, caractérisé en 15 ce que dans la troisième étape (206), lesdites informations sont affichées en incrustant un modèle 3D dans les images capturées.
10. 10. Procédé selon la revendication 9, caractérisé en ce que le modèle 3D est incrusté en calculant un angle 20 de prise de vue par les moyens de capture numérique à partir d'une analyse de perspective du pictogramme tel qu'il est détecté.
11. 11. Procédé selon l'une des revendications 7 à 8, caractérisé en ce que le pictogramme comprend une forme 25 géométrique asymétrique.
12. 12. Procédé selon l'une des revendications 7 à 11, caractérisé en ce qu'il comprend au moins une quatrième étape (201, 208) qui consiste à communiquer avec un système de contrôle du véhicule. 30