FR3018362A1 - Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe - Google Patents
Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe Download PDFInfo
- Publication number
- FR3018362A1 FR3018362A1 FR1400546A FR1400546A FR3018362A1 FR 3018362 A1 FR3018362 A1 FR 3018362A1 FR 1400546 A FR1400546 A FR 1400546A FR 1400546 A FR1400546 A FR 1400546A FR 3018362 A1 FR3018362 A1 FR 3018362A1
- Authority
- FR
- France
- Prior art keywords
- image
- complex system
- aircraft
- maintenance
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012423 maintenance Methods 0.000 title claims description 85
- 230000004807 localization Effects 0.000 claims abstract description 12
- 230000003247 decreasing effect Effects 0.000 claims abstract description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 31
- 238000003786 synthesis reaction Methods 0.000 claims description 31
- 238000009966 trimming Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 9
- 238000007726 management method Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013024 troubleshooting Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Ce procédé d'aide à la localisation d'un élément d'un système complexe comprend une étape d'acquisition (112), par un capteur d'images, d'une image réelle d'au moins une partie dudit système complexe, une étape d'affichage (118) d'une image enrichie représentative dudit système complexe et d'un sous-ensemble dudit système complexe incluant ledit élément, comportant une sous-étape (122) de génération d'une image virtuelle représentative dudit sous-ensemble, une sous-étape (130) de génération de ladite image enrichie, comprenant la superposition (134) de ladite image virtuelle sur ladite image réelle, et une sous-étape (140) d'affichage de ladite image enrichie sur un dispositif d'affichage. L'image virtuelle comporte, sur une bordure d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur de ladite image virtuelle vers l'intérieur de ladite image virtuelle.
Description
Procédé et système d'aide à la localisation d'un élément d'un système complexe, et méthode et ensemble d'aide à la maintenance d'un système complexe La présente invention concerne un procédé d'aide à la localisation d'au moins un 5 élément d'un système complexe dans ledit système complexe, le procédé comprenant : - une étape d'acquisition, par un capteur d'images, d'une image réelle d'au moins une partie dudit système complexe à un instant d'acquisition, - une étape d'affichage d'une image enrichie représentative dudit système complexe et d'un sous-ensemble dudit système complexe incluant ledit élément, 10 comportant : - une sous-étape de génération d'une image virtuelle représentative dudit sous-ensemble audit instant d'acquisition, - une sous-étape de génération de ladite image enrichie, comprenant la superposition de ladite image virtuelle sur ladite image réelle, 15 - une sous-étape d'affichage de ladite image enrichie sur un dispositif d'affichage. Elle s'applique en particulier à l'aide à la localisation d'éléments d'un système complexe tel qu'un aéronef, non visible ou non entièrement visible depuis l'extérieur du système complexe, en vue de la réalisation d'opérations de maintenance sur ce système 20 complexe. Les opérations de maintenance sur un aéronef sont classiquement réalisées au moyen d'une fiche d'instructions de maintenance fournie à l'opérateur sous forme papier, ou sous forme numérique, par exemple dans un appareil portable tel qu'une tablette. La fiche contient les opérations successives de maintenance à réaliser sur un ou 25 plusieurs éléments de l'aéronef. Par exemple, pour chaque opération de maintenance, l'opérateur dispose d'une vue illustrée du ou des élément(s) d'aéronef et d'un ensemble d'opérations à réaliser sur ce(s) éléments. Pour réaliser ces opérations de maintenance, l'opérateur doit dans un premier temps identifier la position du ou de chaque élément concerné dans l'aéronef. Or, ces 30 éléments ne sont généralement pas visibles depuis l'extérieur de l'aéronef, ce qui rend la tâche de l'opérateur longue et peut générer des erreurs. Pour faciliter la tache de l'opérateur, il a été proposé de fournir à l'opérateur une image en réalité augmentée de l'aéronef, c'est-à-dire une image réelle en temps réel de l'aéronef sur laquelle est superposée une image virtuelle du ou des élément(s) sur 35 le(s)quel(s) l'opérateur doit réaliser une opération de maintenance.
Cette image en réalité augmentée est par exemple obtenue en superposant sur l'image réelle de l'aéronef, acquise par une caméra selon un angle de vue donné, une image virtuelle de l'élément tel qu'il serait vu sous cet angle de vue s'il était visible depuis l'extérieur de l'aéronef.
Une telle image en réalité augmentée n'est pas entièrement satisfaisante. En effet, l'élément est alors représenté sur la surface de l'aéronef et semble ainsi être en-dehors de l'aéronef. Cette image en réalité augmentée ne permet donc pas à l'opérateur de déterminer à quelle profondeur dans l'aéronef se situe l'élément. Pour résoudre cet inconvénient, il a été proposé de superposer à l'image réelle une image virtuelle d'une partie de l'aéronef incluant l'élément et une zone entourant cet élément dans l'aéronef. Ainsi, l'opérateur a l'impression de voir l'élément à travers l'aéronef, ce qui fournit une indication plus précise de la position de l'élément dans l'aéronef. Néanmoins, si l'élément ou l'ensemble d'éléments que l'opérateur cherche à visualiser est d'une taille proche de celle de l'aéronef, cette technique conduit à superposer à l'image réelle de l'aéronef une image virtuelle qui recouvre presque entièrement l'aéronef. C'est par exemple le cas si l'opérateur cherche à visualiser le circuit électrique de l'aéronef ou l'ensemble des cadres ou structures de l'aéronef. La mise en oeuvre de cette technique implique de fortes contraintes. Notamment, il est alors nécessaire, pour obtenir une image de bonne qualité, de disposer d'une très bonne représentation graphique de l'ensemble de l'aéronef, et de pouvoir réaliser un calage très précis de l'image virtuelle sur l'image réelle. Cette technique ne fournit donc pas des résultats entièrement satisfaisants en terme de rendu visuel. Un but de l'invention est donc de proposer un procédé et un système d'affichage d'images représentatives d'un système complexe en réalité augmentée de bonne qualité tout en présentant de faibles contraintes de mise en oeuvre. A cet effet, l'invention a pour objet un procédé du type précité, caractérisé en ce que ladite image virtuelle comporte, sur une bordure d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur de ladite image virtuelle vers l'intérieur de ladite image virtuelle. Le procédé d'aide à la localisation selon l'invention peut comprendre l'une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible : - la sous-étape de génération de ladite image virtuelle comporte : - une phase de génération d'une image de synthèse représentative dudit sous-ensemble, et - une phase d'application à ladite image de synthèse d'une fonction de rognage pour former ladite image virtuelle ; - la sous-étape de génération de ladite image enrichie comprend : - une phase de détermination d'une zone de positionnement dudit sous- ensemble sur ladite image réelle, et - une phase de superposition, sur ladite zone de positionnement de ladite image réelle, de ladite image virtuelle ; - le procédé comprend l'affichage d'une pluralité d'images représentatives dudit système complexe en une pluralité d'instants d'acquisition successifs, et le procédé comprend au moins une étape de déplacement dudit capteur d'images par rapport audit système complexe entre deux instants d'acquisition successifs ; - le procédé comprend : - une étape d'analyse de chaque image réelle pour déterminer si ledit élément appartient à ladite partie dudit système complexe, - la mise en oeuvre de l'étape d'affichage de ladite image enrichie si ledit élément appartient à ladite partie dudit système complexe ; - la sous-étape de génération de ladite image enrichie comprend la superposition, sur ladite image réelle, d'un indicateur de la position dudit élément dans ledit système complexe ; - la sous-étape de génération de ladite image enrichie comprend la superposition, sur ladite image réelle, d'informations relatives à une instruction de maintenance destinée à être réalisée par un opérateur sur ledit élément ; et - ladite image virtuelle est une image tridimensionnelle. L'invention a également pour objet une méthode d'aide à la maintenance d'un système complexe, ladite méthode étant caractérisée en ce qu'elle comprend les étapes suivantes : - fourniture d'un ensemble d'instructions de maintenance, comprenant au moins une instruction de maintenance associée à au moins un élément dudit système complexe, et destinée à être mise en oeuvre par un opérateur sur le ou chaque élément, - mise en oeuvre, pour au moins une instruction de maintenance, d'un procédé d'aide à la localisation du ou des élément(s) associé(s) à ladite instruction de maintenance dans ledit système complexe selon l'invention. La méthode d'aide à la maintenance selon l'invention peut comprendre la caractéristique suivante : - la fourniture d'un ensemble d'instructions de maintenance comprend la détermination, à partir d'au moins un message de panne généré par ledit système complexe et d'un modèle numérique dudit système complexe, dudit ensemble d'instructions de maintenance. L'invention a également pour objet un système d'aide à la localisation d'au moins un élément d'un système complexe dans ledit système complexe, ledit système d'aide à la localisation comprenant: - un capteur d'images, propre à acquérir une image réelle d'au moins une partie dudit système complexe en au moins un instant d'acquisition, - une unité de synthèse d'images enrichies dudit système complexe audit instant d'acquisition, comprenant des moyens de génération d'une image virtuelle représentative dudit système complexe et d'un sous-ensemble dudit système complexe incluant ledit élément audit instant d'acquisition, et des moyens pour superposer, sur ladite image réelle, ladite image virtuelle dudit sous-ensemble, - un dispositif d'affichage de ladite image enrichie, ledit système d'aide à la localisation étant caractérisé en ce que ladite image virtuelle comporte, sur une bordure d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur de ladite image virtuelle vers l'intérieur de ladite image virtuelle. Le système d'aide à la localisation selon l'invention peut comprendre l'une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toute combinaison techniquement possible : - lesdits moyens de génération d'une image virtuelle sont propres à générer une image de synthèse représentative dudit sous-ensemble, et à appliquer à ladite image de synthèse une fonction de rognage pour former ladite image virtuelle ; - ledit capteur d'images est déplaçable indépendamment dudit dispositif d'affichage.
L'invention a également pour objet un ensemble d'aide à la maintenance d'un système complexe, comprenant : - un système de génération d'un ensemble d'instructions de maintenance, ledit ensemble d'instructions de maintenance comprenant au moins une instruction de maintenance associée à au moins un élément dudit système complexe, et destinée à être mises en oeuvre par un opérateur sur ledit élément, - un système d'aide à la localisation d'un élément dudit système complexe selon l'invention. L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins sur lesquels : - la Figure 1 est une représentation schématique d'un ensemble d'aide à la maintenance comprenant un système d'aide à la localisation selon un mode de réalisation de l'invention, - la Figure 2 est un schéma illustrant un exemple d'implémentation du système d'aide à la localisation de la Figure 1 ; - la Figure 3 est un organigramme d'un procédé d'aide à la localisation selon l'invention ; - les Figures 4 à 7 sont des schémas illustrant une étape du procédé de la Figure 3; - la Figure 8 est une vue de l'écran du système d'aide à la localisation de la Figure 1 lors de la mise en ouvre du procédé de localisation de la Figure 3 ; - la Figure 9 est un organigramme d'un procédé d'aide à la maintenance selon l'invention. On a représenté sur la Figure 1, un ensemble 1 d'aide à la maintenance d'un système complexe selon un mode de réalisation de l'invention. On considèrera par la suite que le système complexe est un aéronef, et on désignera par sous-ensemble de l'aéronef un élément ou un ensemble d'éléments de cet aéronef. Par ailleurs, on appellera « image réelle » une image issue d'un capteur d'images tel qu'une caméra, et « image de synthèse » une image issue d'un modèle numérique. L'ensemble 1 comprend un système 3 de génération d'instructions de maintenance de l'aéronef, et un système 5 d'aide à la localisation d'au moins un élément de l'aéronef. Le système 3 de génération d'instructions de maintenance comprend un 25 calculateur 7, des moyens 9 d'interface homme machine, et des moyens 11 de télécommunication. Les moyens 11 de télécommunication comprennent une interface réseau permettant au système 3 de communiquer avec le système 5 et avec un calculateur central de l'aéronef, selon une liaison filaire ou sans fil. 30 En particulier, les moyens 11 de télécommunication sont propres à recevoir des messages de panne émis par calculateur central de l'aéronef. Le calculateur 7 comprend un processeur 13, et une ou plusieurs mémoire(s) 14. Le processeur 13 est adapté pour exécuter des applications contenues dans la mémoire 14, notamment un système d'exploitation permettant le fonctionnement 35 classique d'un système informatique.
La mémoire 14 comprend différentes zones de mémoire contenant d'une part des données de maintenance 15 et un modèle numérique tridimensionnel 16 de l'aéronef et de chacun de ses éléments, et d'autre part une application 17 de dépannage destinée à être exécutés par le processeur 13.
Les données de maintenance 15 sont des données permettant, à partir d'un message de panne transmis par le calculateur central de l'aéronef, de déterminer le type de panne dont il s'agit et quelles opérations de maintenance sont à effectuer sur l'aéronef pour résoudre cette panne. Les données de maintenance 15 comprennent par exemple des données techniques relatives à l'aéronef, et des bases de données de résolution de pannes. Le modèle numérique 16 est par exemple un ensemble de modèles de type CAO (Conception Assistée par Ordinateur). L'application de dépannage 17 comprend un module 19 de génération d'un dossier de maintenance et un module 21 de génération d'un ensemble d'instructions de maintenance, destinées à être mises en oeuvre par un opérateur sur l'aéronef. Le module 19 de génération d'un dossier de maintenance est propre à recevoir des messages de panne via les moyens 11 de télécommunication et à générer, à partir de ces messages de pannes et des données de maintenance 15, un dossier de maintenance comprenant un ensemble d'opérations de maintenance à réaliser sur un ou plusieurs éléments incriminé(s) de l'aéronef pour résoudre la ou les panne(s) associée(s) à ce message de panne. Le module 21 est propre à déterminer, à partir du dossier de maintenance et du modèle numérique de l'aéronef, un ensemble d'instructions de maintenance à réaliser sur l'aéronef pour effectuer les opérations de maintenance. Ces instructions de maintenance comprennent par exemple des instructions de démontage d'éléments de l'aéronef afin d'accéder aux éléments incriminés, des instructions correspondant à des actions à effectuer sur ces éléments incriminés, et des instructions de montage d'éléments de l'aéronef préalablement démontés. Chacune des instructions de maintenance est associée à au moins un élément de l'aéronef. De préférence, chaque instruction de maintenance comprend un modèle numérique tridimensionnel de l'élément associé à cette instruction et, avantageusement, une cinématique représentant les actions successives à effectuer sur cet élément. Cette cinématique comprend par exemple un ensemble de positions cibles successives de l'élément par rapport à l'aéronef.
Le module 21 est propre à transmettre l'ensemble d'instructions de maintenance au système 5 d'aide à la localisation.
Le système 5 d'aide à la localisation est propre à afficher à destination d'un opérateur une image représentative de l'aéronef et d'un sous-ensemble de cet aéronef incluant un élément à localiser en au moins un instant d'acquisition. L'élément à localiser est par exemple un élément de l'aéronef associé à une instruction de maintenance, ou un élément qu'un opérateur souhaite visualiser. Le sous-ensemble comprend par exemple plusieurs éléments de l'aéronef, en particulier un ou plusieurs élément(s) à localiser, et des éléments situés au voisinage de ce ou ces élément(s) à localiser. Le système 5 d'aide à la localisation comprend des moyens 53 d'acquisition d'images, un calculateur 55 de traitement, des moyens 57 d'interface homme machine, propres à permettre une interaction entre le calculateur 55 et un opérateur, et des moyens 58 de télécommunication. Les moyens 53 d'acquisition d'images sont propres à acquérir des images réelles de tout ou partie de l'aéronef. En particulier, les moyens 53 d'acquisition d'images sont propres à acquérir une pluralité d'images successives de tout ou partie de l'aéronef, à des instants d'acquisition successifs, par exemple à une fréquence de 30 Hz. De préférence, les moyens 53 d'acquisition d'images comprennent au moins un capteur d'images, monté mobile par rapport à l'aéronef. Les moyens 53 d'acquisition d'images permettent ainsi d'acquérir des images de l'aéronef sous différents angles de 20 vue. Les moyens 57 d'interface homme machine comprennent des moyens 61 de visualisation et des moyens 63 de saisie d'informations générées par un opérateur. Les moyens 61 de visualisation comprennent un dispositif d'affichage 65 et des moyens de traitement de l'information graphique, par exemple un processeur graphique 25 67 et une mémoire graphique 69 associée. Le processeur graphique 67 est adapté pour traiter l'information graphique stockée dans la mémoire graphique 69 et réaliser l'affichage sur le dispositif d'affichage 65 de cette information ou d'une représentation de celle-ci. Le dispositif d'affichage 65 est par exemple un écran, notamment un écran d'un 30 terminal personnel tel qu'une tablette, un téléphone portable ou un ordinateur portable. Avantageusement, le dispositif d'affichage 65 est un écran tactile. Les moyens 63 de saisie comprennent alors des moyens 71 de détection de la position d'un ou plusieurs organes de commande sur l'écran tactile, par exemple un stylet ou les doigts d'un opérateur.
Les moyens 58 de télécommunication comprennent une interface réseau permettant au système 5 de communiquer avec le système 3, selon une liaison filaire ou sans fil. En particulier, les moyens 58 de télécommunication sont propres à recevoir des ensembles d'instructions de maintenance à réaliser sur l'aéronef émis par le système 3, et à transmettre ces ensembles d'instructions au calculateur 55, en vue de l'affichage d'une séquence d'images enrichies représentatives d'instructions de maintenance à destination d'un opérateur. Le calculateur 55 comprend un processeur 81 et une ou plusieurs mémoires 83.
Le processeur 81 est adapté pour exécuter des applications contenues dans la mémoire 83, notamment un système d'exploitation permettant le fonctionnement classique d'un système informatique. La mémoire 83 comprend différentes zones de mémoire contenant un modèle numérique 84 de l'aéronef, notamment un modèle numérique de chaque élément constituant cet aéronef. La mémoire 83 comprend une application 85 de synthèse d'images enrichies représentatives d'au moins une partie de l'aéronef et d'un sous-ensemble de cet aéronef prédéterminé. L'application 85 est propre à recevoir un ensemble d'instructions de maintenance à réaliser sur l'aéronef transmis par les moyens 58 de télécommunication, et à synthétiser, au fur et à mesure de l'acquisition d'images réelles par le capteur d'images 53, des séquences d'images enrichies illustrant les instructions de maintenance, formées par superposition, sur les images réelles, d'images virtuelles représentatives du ou des élément(s) associé(s) à ces instructions.
En particulier, l'application 85 comprend un module 88 de détermination d'un sous- ensemble de l'aéronef à représenter, un module 89 d'analyse d'images réelles acquises par le capteur d'images 53, un module 91 de génération d'images virtuelles du sous-ensemble de l'aéronef, et un module 93 de synthèse d'images enrichies à partir d'images réelles acquises par le capteur d'images 53 et d'images virtuelles générées par le module 89. L'application 85 comprend en outre un module 94 de gestion de l'affichage sur l'écran 65, propre à afficher sur l'écran 65 des images et une interface graphique, et à gérer cette interface graphique. En particulier, le module 94 de gestion de l'affichage est propre à générer une représentation de l'interface graphique et à mettre à jour cette interface graphique en réponse à des actions d'un opérateur via les moyens 63 de saisie. Notamment, le module 94 de gestion de l'affichage est propre à permettre la sélection par un opérateur d'un ou plusieurs élément(s) de l'aéronef que l'opérateur souhaite localiser et visualiser. Le module 94 de gestion de l'affichage est propre à permettre la sélection par un opérateur d'une instruction de maintenance que l'opérateur souhaite réaliser, en vue de l'aide à la localisation de l'élément associé à cette instruction de maintenance.
Le module 88 de détermination est propre à recevoir du module 94 de gestion de l'affichage des informations relatives à un ou plusieurs élément(s) ou une instruction sélectionné(s) par l'opérateur. Le module 88 de détermination est par ailleurs propre à recevoir des ensembles d'instructions de maintenance via les moyens 58 de télécommunication et à déterminer le(s) élément(s) de l'aéronef associé(s) à l'instruction sélectionnée par l'opérateur. Le module 88 de détermination est également propre à associer à chaque élément de l'aéronef un sous-ensemble de l'aéronef incluant cet élément. Ce sous-ensemble peut inclure, outre l'élément à localiser, i.e. associé à l'instruction de maintenance ou sélectionné, des éléments situés au voisinage de cet élément. En effet, la représentation sur une image enrichie d'un sous-ensemble plus large que le seul élément à localiser permet de fournir à l'opérateur une indication précise de la position de l'élément dans l'aéronef, notamment en terme de profondeur. Ce sous-ensemble peut également correspondre à l'ensemble de l'aéronef, ou de la partie de l'aéronef visible sur l'image réelle.
Le module 89 d'analyse est propre à recevoir des images réelles acquises par le capteur d'images 53, représentant chacune au moins une partie de l'aéronef. Le module 89 d'analyse est propre à analyser chaque image réelle pour déterminer si l'élément à localiser appartient à la partie de l'aéronef représentée sur cette image réelle. Pour cela, le module 89 d'analyse est propre à détecter le contour de la partie d'aéronef représentée sur l'image réelle, et à identifier de quelle partie de l'aéronef il s'agit, par comparaison de la partie d'aéronef ainsi détectée avec le modèle numérique de l'aéronef stocké dans la mémoire 83. Le module 89 d'analyse est alors propre à déterminer, à partir du modèle numérique de l'aéronef stocké dans la mémoire 83, si l'élément à localiser appartient à cette partie de l'aéronef.
Si l'élément à localiser appartient à la partie de l'aéronef représentée sur l'image réelle, le module 89 d'analyse est propre à transmettre l'image réelle analysée au module 91 de génération d'images virtuelles, en vue de la génération d'une image virtuelle de cet élément et du sous-ensemble incluant cet élément tel que déterminé par le module 88 de détermination.
Si l'élément à localiser n'appartient pas à la partie de l'aéronef représentée sur l'image réelle, le module 89 d'analyse est propre à transmettre l'image réelle analysée au module 93 de synthèse d'images enrichies. Le module 91 de génération d'images virtuelles est propre à recevoir une image réelle transmise par le module 89 d'analyse, et à générer, pour cette image réelle, une image de synthèse du sous-ensemble de l'aéronef incluant cet élément. En particulier, le module 91 de génération d'images virtuelles est propre à générer, pour chaque image réelle, une image de synthèse effective du sous-ensemble, c'est-à-dire une image de ce sous-ensemble dans son état effectif, tel qu'il serait vu s'il était visible depuis l'extérieur de l'aéronef, en transparence à travers l'aéronef. L'image de synthèse représente ainsi un écorché d'un élément masqué de l'aéronef. Le module 91 de génération d'images virtuelles est par ailleurs propre à générer pour chaque image réelle, une image de synthèse modifiée du sous-ensemble, dans laquelle au moins un élément du sous-ensemble est représenté dans une position cible, qui est une des positions successives de la cinématique déterminée par le module 21. Sur cette image de synthèse modifiée, le sous-ensemble est représenté tel que ce sous-ensemble serait vu s'il était visible depuis l'extérieur de l'aéronef, en transparence à travers l'aéronef, et si l'élément occupait la position cible considérée. L'image de synthèse comprend par exemple une représentation tridimensionnelle des éléments du sous-ensemble, des liaisons entre ces éléments, et d'un fond représentant l'ossature sur laquelle s'appuient les éléments. Pour générer l'image de synthèse, le module 91 de génération d'images virtuelles est propre à analyser l'image réelle pour déterminer l'échelle et l'orientation de l'aéronef sur cette image réelle et pour en déduire l'échelle, la position et l'orientation du sous- ensemble de l'aéronef, en particulier des différents éléments de ce sous-ensemble par rapport à l'aéronef tel qu'il est représenté sur l'image réelle. Puis, le module 91 de génération d'images virtuelles est propre à générer une image de synthèse du sous-ensemble de l'aéronef, à l'échelle et dans une position et une orientation adaptée, à partir du modèle numérique de l'aéronef.
Notamment, si l'image virtuelle à générer est une image virtuelle effective, la position de chaque élément du sous-ensemble est sa position effective dans l'aéronef. Si l'image virtuelle à générer est une image virtuelle modifiée, l'élément associé est représenté dans une position cible sur l'image de synthèse. Par ailleurs, le module 91 de génération d'images virtuelles est propre à générer, à partir de chaque image de synthèse, une image virtuelle du sous-ensemble, par application d'une fonction de rognage à l'image de synthèse.
Pour cela, le module 91 est propre à déterminer le contour du sous-ensemble sur l'image de synthèse, et à appliquer à chacun des pixels de l'image de synthèse une fonction de rognage, dont la valeur est fonction de la distance du pixel par rapport au contour du sous-ensemble.
Chaque pixel de l'image virtuelle ainsi formée possède un attribut de transparence définissant la transparence de l'image virtuelle en ce pixel. Un attribut de transparence élevé est associé à une grande transparence de l'image virtuelle en ce pixel, tandis qu'un attribut de transparence faible est associé à une faible transparence - ou une grande opacité - de l'image virtuelle en ce pixel.
L'attribut de transparence est par exemple exprimé comme un pourcentage, un attribut de transparence de 0% correspondant à un pixel totalement opaque et un attribut de transparence de 100% correspondant à un pixel totalement transparent. L'attribut de transparence de chaque pixel est par exemple codé sur 8 bits. La valeur 0 est alors par exemple associée à une transparence de 0%, et la valeur 15 255 à une transparence de 100%. En variante, la valeur 0 est associée à une transparence de 100%, et la valeur 255 à une transparence de 0%. Bien entendu, d'autres types de codages peuvent être utilisés. L'image virtuelle est telle que, sur une bordure d'une épaisseur prédéfinie de l'image virtuelle à l'intérieur du contour de cette image virtuelle, l'attribut de transparence 20 est décroissant de l'extérieur de l'image virtuelle vers l'intérieur de l'image virtuelle. Ainsi, l'image virtuelle présente, sur une bordure d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur de l'image virtuelle vers l'intérieur de l'image virtuelle. Le centre de l'image virtuelle est par exemple de transparence constante. Par exemple, la transparence de l'image virtuelle décroît sur la bordure d'une 25 valeur associée à une transparence totale jusqu'à une valeur associée à une opacité totale. Sur le reste de l'image virtuelle, i.e. au centre de cette l'image virtuelle, l'image virtuelle est totalement opaque. L'épaisseur de la bordure est par exemple définie comme un nombre de pixels 30 donné sur le pourtour de l'image virtuelle. Cette épaisseur est par exemple fixe, ou calculée de manière dynamique en fonction de l'échelle de l'aéronef sur l'image virtuelle. Par exemple, plus la taille de l'aéronef sur l'image virtuelle est petite, plus l'épaisseur de la bordure est faible. Le module 93 de synthèse d'images enrichies est propre à recevoir une image 35 réelle et une image virtuelle correspondante du module 91, et à générer une image enrichie à partir de l'image réelle et de l'image virtuelle correspondante.
Notamment, le module 93 est propre à déterminer, à partir de l'image réelle et du modèle numérique de l'aéronef, une zone de positionnement du sous-ensemble sur l'image réelle. Il s'agit de la zone de l'image réelle telle que, en superposant l'image virtuelle du sous-ensemble sur cette zone, le sous-ensemble est globalement représenté dans sa position et dans son orientation effective par rapport à l'aéronef. Le module 93 est par ailleurs propre à superposer, sur cette zone de positionnement de l'image réelle, l'image virtuelle du sous-ensemble. L'image enrichie générée par le module 93 comprend trois zones. Une première zone, représentant les parties de l'aéronef distinctes du sous- ensemble considéré, est issue de la seule image réelle. Elle est donc identique à la zone correspondante de l'image réelle. Une deuxième zone, correspondant au centre du sous-ensemble, est issue de la seule image de synthèse de ce sous-ensemble. Une troisième zone, correspondant à la bordure de l'image de synthèse donc du sous-ensemble, résulte de la combinaison de l'image réelle et de l'image de synthèse. Dans cette zone, le poids de l'image de synthèse dans l'image enrichie croît depuis l'extérieur vers l'intérieur du sous-ensemble. Le module 93 est également propre à superposer sur cette image un ou des indicateurs signalant la présence et la position de l'élément à localiser. Il s'agit par exemple d'un cercle coloré centré sur l'élément à localiser, et/ou d'une ou plusieurs flèches dirigées vers cet élément à localiser. Le module 93 est par ailleurs propre à superposer sur cette image des informations relatives à l'élément à localiser, notamment une représentation tridimensionnelle de cet élément, ou des informations sous forme de texte, détaillant par exemple une instruction de maintenance destinée à être réalisée par un opérateur sur cet élément, des indications sur les zones d'accès, ou des données de soutien associées (référence, taille poids...). Le module 93 est propre à transmettre l'image enrichie ainsi générée au module 94 de gestion de l'affichage, en vue de son affichage sur l'écran 65.
Le module 93 de synthèse d'images enrichies est par ailleurs propre à recevoir une image réelle du module 89 d'analyse, telle que l'élément à localiser n'appartient pas à la partie de l'aéronef représentée sur cette image réelle. Le module 93 de synthèse d'images enrichies est propre à superposer sur cette image réelle des indications, notamment pour indiquer que l'élément à analyser n'appartient pas à la partie de l'aéronef représentée sur cette image réelle, et pour indiquer à destination d'un opérateur comment déplacer le capteur d'images 53 pour que la partie de l'aéronef visible pour le capteur d'images 53 inclue l'élément à analyser. Le module 93 est propre à transmettre l'image enrichie ainsi générée au module 94 de gestion de l'affichage, en vue de son affichage sur l'écran 65.
On a représenté sur la Figure 2 un exemple d'implémentation du système 5 d'aide à la localisation de la Figure 1. Selon cet exemple, le système 5 d'aide à la localisation comprend une tablette 100 tactile, incluant le calculateur 55 et un écran tactile 65a. Les moyens 53 d'acquisition d'images comprennent une première caméra 53a, montée sur la tablette 100, et une deuxième caméra 53b, déplaçable indépendamment de la tablette. Cette deuxième caméra peut ainsi atteindre des positions d'acquisition qu'il serait difficile voire impossible à atteindre avec la première caméra 53a. Un exemple de mise en oeuvre d'un procédé d'aide à la localisation d'au moins un élément d'un aéronef au moyen du système 5, va maintenant être décrit en référence à la Figure 3. L'élément à localiser est par exemple un élément de l'aéronef sélectionné par un opérateur au moyen de l'interface graphique et transmis par le module 94 de gestion de l'affichage au module 88 de détermination. Alternativement, comme décrit plus en détails en référence à la Figure 9, il s'agit d'un élément de l'aéronef associé à une instruction de maintenance. Le procédé d'aide à la localisation comprend l'affichage d'une pluralité d'images enrichies représentatives de l'aéronef et de l'élément à localiser en une pluralité d'instants d'acquisition successifs. En chaque instant d'acquisition, l'affichage d'une image représentative de l'aéronef et de l'élément à localiser comprend une étape d'acquisition 112, une étape d'analyse 114 et une étape d'affichage 118 ou 118'. Lors de l'étape d'acquisition 112, le capteur d'images 53 acquiert une image réelle d'au moins une partie de l'aéronef à l'instant d'acquisition. Une telle image réelle est illustrée schématiquement sur la Figure 4. On a ainsi illustré sur la Figure 4 une image réelle 160 représentant un aéronef 162 et l'environnement 164 de cet aéronef 162. Le capteur d'images 53 transmet cette image réelle au module 89 d'analyse, qui met en oeuvre l'étape d'analyse 114 de l'image réelle pour déterminer si l'élément à localiser appartient à la partie de l'aéronef représentée sur cette image réelle. En effet, l'image réelle acquise dépend de la position relative du capteur d'images 53 par rapport à l'aéronef, de telle sorte qu'il est possible que l'élément à localiser ne soit pas dans la partie de l'aéronef représentée sur l'image réelle. Pour cela, le module 89 d'analyse détecte le contour de la partie d'aéronef représentée sur l'image réelle, et identifie de quelle partie de l'aéronef il s'agit, par comparaison de la partie d'aéronef ainsi détectée avec le modèle numérique de l'aéronef stockée dans la mémoire 83. Le module 89 d'analyse détermine alors, si l'élément à localiser appartient à cette partie de l'aéronef. Si le module 89 d'analyse constate que l'élément à localiser appartient à la partie de l'aéronef figurant sur l'image réelle, le système 5 met en oeuvre l'étape 118 d'affichage d'une image enrichie représentative de l'aéronef, sur laquelle la position de l'élément à localiser est mise en évidence, à l'instant d'acquisition. Si le module 89 d'analyse constate que l'élément à localiser n'appartient pas à la partie de l'aéronef figurant sur l'image réelle, le système 5 met en oeuvre l'étape 118' d'affichage d'une image enrichie représentative de l'aéronef, sur laquelle figurent des indications destinées à guider un déplacement du capteur d'images 53 pour que l'élément à localiser appartienne à la partie de l'aéronef vue par le capteur d'images. L'étape 118 d'affichage comporte une sous-étape 120 de détermination, par le module 88, d'un sous-ensemble de l'aéronef incluant l'élément à localiser. Ce sous-ensemble inclut par exemple, outre l'élément à localiser, des éléments situés au voisinage de cet élément à localiser. Ce sous-ensemble peut également correspondre à l'ensemble de l'aéronef, ou de la partie de l'aéronef visible sur l'image réelle. Cette étape 118 d'affichage comporte ensuite une sous-étape 122 de génération, par le module 91 de génération d'images virtuelles, d'une image virtuelle représentative du sous-ensemble à cet instant d'acquisition.
Lors de cette sous-étape 122, le module 91 reçoit l'image réelle, transmise par le module 89 d'analyse, et génère, lors d'une phase 124, une image de synthèse du sous-ensemble de l'aéronef. Pour générer l'image de synthèse, le module 91 analyse l'image réelle pour déterminer l'échelle, la position et l'orientation de l'aéronef sur cette image réelle et pour en déduire l'échelle, la position et l'orientation du sous-ensemble de l'aéronef, en particulier des différents éléments de ce sous-ensemble par rapport à l'aéronef tel qu'il est représenté sur l'image réelle. Puis, le module 91 de génération d'images virtuelles génère une image de synthèse du sous-ensemble de l'aéronef, à l'échelle et dans une position et une orientation adaptée, à partir du modèle numérique de l'aéronef stocké dans la mémoire 83.
Notamment, si l'image virtuelle à générer est une image virtuelle effective, la position de chaque élément du sous-ensemble dans l'image de synthèse est sa position effective dans l'aéronef. Si l'image virtuelle à générer est une image virtuelle modifiée, l'élément associé est représenté dans une position cible sur l'image de synthèse. On a ainsi illustré schématiquement sur la Figure 5 une image de synthèse 166 représentant un sous-ensemble 168, qui inclut la totalité de l'aéronef 162 de la Figure 4. Puis, lors d'une phase 126, le module 91 génère, à partir de l'image de synthèse, une image virtuelle du sous-ensemble, par application d'une fonction de rognage à l'image de synthèse. Pour cela, le module 91 détermine le contour du sous-ensemble sur l'image de synthèse, et applique à chacun des pixels de l'image de synthèse une fonction de rognage, dont la valeur est fonction de la distance du pixel par rapport au contour du sous-ensemble. Comme précédemment décrit, l'image virtuelle comporte sur une bordure d'une épaisseur prédéfinie une transparence décroissante depuis l'extérieur vers l'intérieur de l'image virtuelle. Notamment, la transparence de l'image virtuelle décroît depuis une valeur associée à une transparence totale jusqu'à une valeur associée à une opacité totale. Sur le reste de l'image virtuelle, i.e. au centre de l'image virtuelle, la transparence est constante. Par exemple, le centre de l'image virtuelle est totalement opaque. Une telle image virtuelle 170, généré à partir de l'image de synthèse 166 de la Figure 5, est illustrée schématiquement sur la Figure 6. L'image virtuelle 170 présente ainsi, sur une bordure 171 d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur 170a de l'image virtuelle vers l'intérieur 170b de l'image virtuelle. La sous-étape 122 de génération d'une image virtuelle est suivie d'une sous-étape 130 de génération de l'image enrichie par le module 93 de synthèse d'images enrichies. La sous-étape 130 comprend une phase 132 de détermination, par le module 93 de synthèse, d'une zone de positionnement du sous-ensemble sur l'image réelle, c'est-à- dire de la zone de l'image réelle telle que, en superposant l'image virtuelle du sous- ensemble sur cette zone, le sous-ensemble est globalement représenté dans sa position et dans son orientation effectives par rapport à l'aéronef. La phase 132 est suivie d'une phase 134 de superposition, lors de laquelle le module 93 superpose, sur la zone de positionnement de l'image réelle déterminée lors de la phase 134, l'image virtuelle du sous-ensemble générée lors de la sous-étape 122 par le module 91.
On a ainsi représenté sur la Figure 7 une image 172 résultant de la superposition, sur l'image réelle 160 de la Figure 4, de l'image virtuelle 170 de la Figure 6. L'image 172 comprend une première zone 176, correspondant au centre du sous-ensemble, issue de la seule image de synthèse 166 de ce sous-ensemble.
L'image 172 comprend une deuxième zone 178, correspondant à la bordure 171 de l'image de synthèse 166, résultant de la combinaison de l'image réelle et de l'image de synthèse. Par ailleurs, le module 93 superpose sur l'image réelle des indicateurs signalant la présence et la position de l'élément à localiser. Il s'agit par exemple d'un cercle coloré centré sur l'élément à localiser, et/ou d'une ou plusieurs flèches dirigées vers cet élément à localiser. Le module 93 transmet l'image enrichie ainsi générée au module 94 de gestion de l'affichage. Cette image enrichie est affichée, lors d'une sous-étape 140, sur l'écran 65. On a représenté sur la Figure 8 un exemple d'image 180 affichée par l'écran 65.
Cette image 180 comprend des éléments 182 d'interface graphique, et une image enrichie 184 d'un aéronef. L'image enrichie 184 comporte notamment la superposition d'une image réelle 186 de l'aéronef, d'une image virtuelle 188 d'un élément à localiser de cet aéronef, d'indicateurs 190 signalant la présence et la position de l'élément, et des informations 192 relatives à l'élément à localiser. Les indicateurs 190 comprennent un cercle 193 centré sur l'élément et des flèches 194 dirigées vers cet élément. Les informations 192 comprennent une représentation tridimensionnelle 195 de l'élément, manipulable par l'opérateur pour visualiser l'élément sous différents angles de vue.
L'étape 118' comprend la superposition 130', sur l'image réelle, d'indications destinées à un opérateur, pour indiquer que l'élément à analyser n'appartient pas à la partie de l'aéronef représentée sur cette image réelle, et pour indiquer comment déplacer le capteur d'images 53 pour que la partie de l'aéronef visible pour le capteur d'images 53 inclue l'élément à analyser.
L'étape 118' comprend par ailleurs la transmission de l'image enrichie ainsi générée au module 94 de gestion de l'affichage. Cette image enrichie est affichée, lors d'une sous-étape 140', sur l'écran 65. La suite d'étapes 112, 114 et 118 ou 118' est ensuite à nouveau mise en oeuvre, à l'instant d'acquisition suivant, pour l'affichage d'une image enrichie à cet instant d'acquisition suivant.
Le procédé d'aide à la localisation est mis en oeuvre pour localiser un élément associé à une instruction de maintenance comprenant une cinématique représentant les actions successives à effectuer sur cet élément. Dans ce cas, l'élément à localiser est positionné sur les images de synthèse successives, lors des sous-étapes 122, dans ses positions cibles successives. Le procédé d'aide à la localisation selon l'invention permet de fournir à un opérateur des indications précises sur la position de l'élément à localiser dans le système complexe, notamment la profondeur de l'élément dans le système complexe. En particulier, la représentation de l'élément à localiser et d'un sous-ensemble entourant cet élément permet à l'opérateur de visualiser où se situe l'élément par rapport à ce sous- ensemble, comme s'il voyait cet élément à travers les zones de l'aéronef situées devant cet élément sur l'image virtuel. L'application de la fonction de rognage permet en outre de créer une transition graduelle entre l'image de synthèse et l'image réelle. Ainsi, les zones de transition entre l'image réelle et l'image virtuelle ne sont pas perceptibles pour l'opérateur, ce qui permet d'obtenir une image enrichie ayant un très bon rendu visuel. Le procédé d'aide à la localisation selon l'invention est par exemple mis en oeuvre pour aider à la réalisation d'opérations de maintenance sur un aéronef. Une méthode d'aide à la maintenance selon un mode de réalisation de l'invention au moyen de l'ensemble 1, va ainsi être décrite en référence à la Figure 9. La méthode d'aide à la maintenance comprend la génération 210, par le système 3, d'un ensemble d'instructions de maintenance, destinées à être mises en oeuvre par un opérateur sur au moins un élément de l'aéronef, et la mise en oeuvre, par le système 5, d'un procédé d'aide à la localisation de chaque élément de l'aéronef associé à une instruction de maintenance. La génération 210 de l'ensemble d'instructions de maintenance comprend par exemple une étape 212 de réception par le module 19 d'un message de panne issu de l'aéronef, via les moyens 11 de télécommunication. En complément ou en variante, la génération 210 comprend une étape de saisie manuelle par l'opérateur de paramètres opérationnels de l'aéronef. L'étape 212 est suivie d'une étape 214 de génération par le module 19, à partir de ce message de pannes et des données de maintenance 15 stockées dans la mémoire 14, d'un dossier de maintenance comprenant un ensemble d'opérations de maintenance à réaliser sur un ou plusieurs éléments de l'aéronef pour résoudre la ou les panne(s) associée(s) à ce message de panne.
Puis, lors d'une étape 216, le module 21 détermine, à partir du dossier de maintenance et du modèle numérique de l'aéronef stocké dans la mémoire 14, un ensemble d'instructions de maintenance à réaliser sur l'aéronef pour effectuer les opérations de maintenance.
Chacune des instructions de maintenance est associée à au moins un élément de l'aéronef. Chaque instruction de maintenance comprend un modèle numérique tridimensionnel de l'élément associé à cette instruction et une cinématique représentant les actions successives à effectuer sur cet élément, comprenant un ensemble de positions cibles successives de l'élément par rapport à l'aéronef.
Puis, lors d'une étape 218, le module 21 transmet l'ensemble d'instructions de maintenance au système 5 d'aide à la localisation via les moyens 11 de télécommunication. Le système 5 met alors successivement en oeuvre, pour chacune des instructions de l'ensemble d'instructions, un procédé d'aide à la localisation du ou des élément(s) associé(s) à cette instruction tel que décrit en référence à la Figure 3. Le procédé d'aide à la localisation permet ainsi à un opérateur de visualiser sur l'écran 65 où se situe chaque élément associé à une instruction sur l'aéronef, et quelles actions doivent être réalisées sur cet élément. A l'issue de la réalisation de chaque instruction de maintenance, l'opérateur sélectionne, via l'interface graphique, l'instruction suivante à réaliser, en vue de la mise en oeuvre d'un procédé d'aide à la localisation de l'élément associé à cette instruction. Il devra être compris que les exemples de réalisation présentés ci-dessus ne sont pas limitatifs. Ainsi, le procédé d'aide à la localisation peut être mis en oeuvre indépendamment de toute opération de maintenance, par exemple pour visualiser l'intérieur de l'aéronef ou des systèmes particuliers au sein de l'aéronef, à des fins de formation. Notamment, dans un mode de réalisation, le système 3 de génération d'instructions et le système 5 d'aide à la localisation sont implémentés sur un unique équipement, par exemple une tablette tactile.
Par ailleurs, selon une variante du mode de réalisation décrit, le système 5 d'aide à la localisation comprend des moyens de localisation permettant la localisation des moyens 53 d'acquisition par rapport à l'aéronef. Ces moyens de localisation comportent par exemple une caméra propre à filmer les moyens 53 d'acquisition d'images et un module d'analyse propre à analyser les images obtenues par cette caméra pour en déduire le positionnement des moyens d'acquisition 53 relativement à l'aéronef afin de déterminer quelle partie de l'aéronef est observée par les moyens 53 d'acquisition.
Ainsi, selon cette variante, l'étape d'analyse 114 de l'image réelle est remplacée par une étape 114' lors de laquelle le module d'analyse détermine, à partir des images du positionnement des moyens 53 d'acquisition, si l'élément à localiser appartient à la partie de l'aéronef qui apparait dans le champ d'observation des moyens 53 d'acquisition.
Par ailleurs, lors de la sous-étape 122, l'échelle, la position et l'orientation de l'aéronef sur l'image réelle acquise sont déterminées à partir des images de positionnement des moyens 53 d'acquisition. Selon une autre variante, la sous-étape 120 de détermination, par le module 88, d'un sous-ensemble de l'aéronef incluant l'élément à localiser, est omise. Par exemple, la mémoire 83 peut comprendre une base de données associant à chaque élément de l'aéronef un sous-ensemble associé, i.e. destiné à être représenté avec cet élément. La sous-étape 120 est alors remplacée par une extraction de la mémoire 83 du sous-ensemble associé à l'élément. Par ailleurs, le procédé d'aide à la localisation peut être mis en oeuvre pour la localisation d'un système complexe autre qu'un aéronef, par exemple tout système complexe composé de plusieurs éléments dont certains ne sont pas entièrement visibles depuis l'extérieur au moins sous certains angles de vue.
Claims (14)
- REVENDICATIONS1.- Procédé d'aide à la localisation d'au moins un élément d'un système complexe dans ledit système complexe, le procédé comprenant : - une étape d'acquisition (112), par un capteur d'images (53 ; 53a, 53b), d'une image réelle (160) d'au moins une partie dudit système complexe à un instant d'acquisition, - une étape d'affichage (118) d'une image enrichie (172) représentative dudit système complexe et d'un sous-ensemble dudit système complexe incluant ledit élément, comportant : - une sous-étape (122) de génération d'une image virtuelle (170) représentative dudit sous-ensemble audit instant d'acquisition, - une sous-étape (130) de génération de ladite image enrichie (172), comprenant la superposition (134) de ladite image virtuelle (170) sur ladite image réelle (160), - une sous-étape (140) d'affichage de ladite image enrichie (172) sur un dispositif d'affichage (65), ledit procédé étant caractérisé en ce que ladite image virtuelle (170) comporte, sur une bordure (171) d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur (170a) de ladite image virtuelle (170) vers l'intérieur (170b) de ladite image virtuelle (170).
- 2.- Procédé d'aide à la localisation selon la revendication 1, caractérisé en ce que la sous-étape (122) de génération de ladite image virtuelle (170) comporte : - une phase (124) de génération d'une image de synthèse (166) représentative dudit sous-ensemble, et - une phase d'application (126) à ladite image de synthèse (166) d'une fonction de rognage pour former ladite image virtuelle (170).
- 3.- Procédé d'aide à la localisation selon l'une quelconque des revendications 1 ou 2, caractérisé en ce que la sous-étape (130) de génération de ladite image enrichie (172) 30 comprend : - une phase (132) de détermination d'une zone de positionnement dudit sous-ensemble sur ladite image réelle (160), et - une phase (134) de superposition, sur ladite zone de positionnement de ladite image réelle (160), de ladite image virtuelle (170). 35
- 4.- Procédé d'aide à la localisation selon l'une quelconque des revendications 1 à 3, caractérisé en ce qu'il comprend l'affichage (118) d'une pluralité d'imagesreprésentatives dudit système complexe en une pluralité d'instants d'acquisition successifs, et en ce qu'il comprend au moins une étape de déplacement dudit capteur d'images (53 ; 53a, 53b) par rapport audit système complexe entre deux instants d'acquisition successifs.
- 5.- Procédé d'aide à la localisation selon la revendication 4, caractérisé en ce qu'il comprend : - une étape (120) d'analyse de chaque image réelle (160) pour déterminer si ledit élément appartient à ladite partie dudit système complexe, - la mise en oeuvre de l'étape (118) d'affichage de ladite image enrichie (172) si ledit élément appartient à ladite partie dudit système complexe.
- 6.- Procédé d'aide à la localisation selon l'une quelconque des revendications 1 à 5, caractérisé en ce que la sous-étape (130) de génération de ladite image enrichie (172) comprend la superposition, sur ladite image réelle (160), d'un indicateur (190, 193, 194) de la position dudit élément dans ledit système complexe.
- 7.- Procédé d'aide à la localisation selon l'une quelconque des revendications 1 à 6, caractérisé en ce que la sous-étape (130) de génération de ladite image enrichie (172) comprend la superposition, sur ladite image réelle, d'informations (192) relatives à une instruction de maintenance destinée à être réalisée par un opérateur sur ledit élément.
- 8.- Procédé d'aide à la localisation selon l'une quelconque des revendications 1 à 7, caractérisé en ce que ladite image virtuelle (170) est une image tridimensionnelle.
- 9.- Méthode d'aide à la maintenance d'un système complexe, ladite méthode étant caractérisée en ce qu'elle comprend les étapes suivantes : - fourniture (210) d'un ensemble d'instructions de maintenance, comprenant au moins une instruction de maintenance associée à au moins un élément dudit système complexe, et destinée à être mises en oeuvre par un opérateur sur le ou chaque élément, - mise en oeuvre, pour au moins une instruction de maintenance, d'un procédé d'aide à la localisation du ou des élément(s) associé(s) à ladite instruction de maintenance dans ledit système complexe selon l'une quelconque des revendications 1 à 8.
- 10.- Méthode d'aide à la maintenance selon la revendication 9, caractérisée en ce que la fourniture (210) d'un ensemble d'instructions de maintenance comprend la détermination (214, 216), à partir d'au moins un message de panne généré par ledit système complexe et d'un modèle numérique (16) dudit système complexe, dudit ensemble d'instructions de maintenance.
- 11.- Système (5) d'aide à la localisation d'au moins un élément d'un système complexe dans ledit système complexe, ledit système d'aide à la localisation comprenant:- un capteur d'images (53 ; 53a, 53b), propre à acquérir une image réelle (160) d'au moins une partie dudit système complexe en au moins un instant d'acquisition, - une unité (55) de synthèse d'images enrichies dudit système complexe audit instant d'acquisition, comprenant des moyens (91) de génération d'une image virtuelle (170) représentative dudit système complexe et d'un sous-ensemble dudit système complexe incluant ledit élément audit instant d'acquisition, et des moyens (93) pour superposer, sur ladite image réelle (160), ladite image virtuelle (170) dudit sous-ensemble, - un dispositif d'affichage (65) de ladite image enrichie (172), ledit système d'aide à la localisation étant caractérisé en ce que ladite image virtuelle (170) comporte, sur une bordure (171) d'une épaisseur prédéfinie, une transparence décroissante depuis l'extérieur (170a) de ladite image virtuelle (170) vers l'intérieur (170b) de ladite image virtuelle (170).
- 12.- Système (5) d'aide à la localisation selon la revendication 11, caractérisé en ce que lesdits moyens (91) de génération d'une image virtuelle (170) sont propres à générer une image de synthèse (166) représentative dudit sous-ensemble, et à appliquer à ladite image de synthèse une fonction de rognage pour former ladite image virtuelle (170).
- 13.- Système (5) d'aide à la localisation selon l'une quelconque des revendications 11 ou 12, caractérisé en ce que ledit capteur d'images (53b) est déplaçable indépendamment dudit dispositif d'affichage (65).
- 14.- Ensemble (1) d'aide à la maintenance d'un système complexe, comprenant : - un système (3) de génération d'un ensemble d'instructions de maintenance, ledit ensemble d'instructions de maintenance comprenant au moins une instruction de 25 maintenance associée à au moins un élément dudit système complexe, et destinée à être mise en oeuvre par un opérateur sur ledit élément, - un système (5) d'aide à la localisation d'un élément dudit système complexe selon l'une quelconque des revendications 11 à 13.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1400546A FR3018362B1 (fr) | 2014-03-05 | 2014-03-05 | Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1400546A FR3018362B1 (fr) | 2014-03-05 | 2014-03-05 | Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3018362A1 true FR3018362A1 (fr) | 2015-09-11 |
FR3018362B1 FR3018362B1 (fr) | 2022-04-22 |
Family
ID=50543218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1400546A Expired - Fee Related FR3018362B1 (fr) | 2014-03-05 | 2014-03-05 | Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3018362B1 (fr) |
-
2014
- 2014-03-05 FR FR1400546A patent/FR3018362B1/fr not_active Expired - Fee Related
Non-Patent Citations (4)
Title |
---|
BENJAMIN AVERY ET AL: "Improving Spatial Perception for Augmented Reality X-Ray Vision", 2009 IEEE VIRTUAL REALITY CONFERENCE, March 2009 (2009-03-01), pages 79 - 82, XP055113386, ISSN: 1087-8270, ISBN: 978-1-42-443943-0, DOI: 10.1109/VR.2009.4811002 * |
LOOSER J ET AL: "A 3D Flexible and Tangible Magic Lens in Augmented Reality", MIXED AND AUGMENTED REALITY, 2007. ISMAR 2007. 6TH IEEE AND ACM INTERNATIONAL SYMPOSIUM ON, IEEE, PISCATAWAY, NJ, USA, 13 November 2007 (2007-11-13), pages 51 - 54, XP031269874, ISBN: 978-1-4244-1749-0 * |
STEVE HENDERSON ET AL: "Augmented Reality for Maintenance and Repair (ARMAR)", 21 December 2012 (2012-12-21), XP055152654, Retrieved from the Internet <URL:https://web.archive.org/web/20121221111409/http://monet.cs.columbia.edu/projects/armar/> [retrieved on 20141112] * |
UNKNOWN: "AR in Service and Maintenance", 2013, XP055152649, Retrieved from the Internet <URL:http://www.metaio.com/fileadmin/upload/documents/pdf/case-study/A4-service_maintenance-2013.pdf> [retrieved on 20141112] * |
Also Published As
Publication number | Publication date |
---|---|
FR3018362B1 (fr) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11747893B2 (en) | Visual communications methods, systems and software | |
US10685489B2 (en) | System and method for authoring and sharing content in augmented reality | |
US9978174B2 (en) | Remote sensor access and queuing | |
US9412205B2 (en) | Extracting sensor data for augmented reality content | |
US9639984B2 (en) | Data manipulation based on real world object manipulation | |
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
EP2947628B1 (fr) | Procédé de traitement d'informations locales | |
US20150185825A1 (en) | Assigning a virtual user interface to a physical object | |
US11094079B2 (en) | Determining a pose of an object from RGB-D images | |
US20140146038A1 (en) | Augmented display of internal system components | |
Veas et al. | Extended overview techniques for outdoor augmented reality | |
CN107209773B (zh) | 自动调用统一的可视化界面 | |
FR2963186A1 (fr) | Systeme de videosurveillance et procede de configuration de ce systeme | |
US20160227868A1 (en) | Removable face shield for augmented reality device | |
EP3054426A1 (fr) | Procédé de gestion de l'affichage, produit programme d'ordinateur et dispositif électronique associés | |
US20130293550A1 (en) | Method and system for zoom animation | |
US20180268607A1 (en) | Data manipulation based on real world object manipulation | |
US20210349308A1 (en) | System and method for video processing using a virtual reality device | |
FR3018362A1 (fr) | Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe | |
EP3673464A1 (fr) | Procédés, systèmes et logiciel de communications visuelles | |
EP2811465B1 (fr) | Système de vidéosurveillance | |
FR3077910A1 (fr) | Procede d'aide a la maintenance d'un systeme complexe | |
FR3117642A1 (fr) | Procédé pour la configuration et l’affichage en réalité augmentée ou mixte ou étendue des informations relatives à un équipement installé dans un site réel, produit programme d’ordinateur et dispositif électronique associés | |
EP4055449A1 (fr) | Procede de gestion d'une interface d'affichage | |
FR3039919A1 (fr) | Suivi d’une cible dans un reseau de cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
PLFP | Fee payment |
Year of fee payment: 5 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
PLFP | Fee payment |
Year of fee payment: 8 |
|
PLFP | Fee payment |
Year of fee payment: 9 |
|
ST | Notification of lapse |
Effective date: 20231105 |