FR3077910A1 - Procede d'aide a la maintenance d'un systeme complexe - Google Patents
Procede d'aide a la maintenance d'un systeme complexe Download PDFInfo
- Publication number
- FR3077910A1 FR3077910A1 FR1800144A FR1800144A FR3077910A1 FR 3077910 A1 FR3077910 A1 FR 3077910A1 FR 1800144 A FR1800144 A FR 1800144A FR 1800144 A FR1800144 A FR 1800144A FR 3077910 A1 FR3077910 A1 FR 3077910A1
- Authority
- FR
- France
- Prior art keywords
- mobile device
- operator
- complex system
- display
- linked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012423 maintenance Methods 0.000 title abstract description 25
- 238000004891 communication Methods 0.000 claims abstract description 63
- 238000012986 modification Methods 0.000 claims abstract description 51
- 230000004048 modification Effects 0.000 claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000015654 memory Effects 0.000 claims abstract description 25
- 239000011521 glass Substances 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 230000004807 localization Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000011960 computer-aided design Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Vehicle Cleaning, Maintenance, Repair, Refitting, And Outriggers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
Ce procédé d'aide à la maintenance d'un système complexe comprend : - une étape (202) de fourniture d'un dispositif mobile destiné à être porté par un opérateur, le dispositif mobile comprenant un dispositif d'affichage pour l'opérateur ; - une étape (204) de fourniture d'un dispositif de traitement comprenant une unité d'affichage, et une mémoire stockant un modèle numérique représentatif du système complexe ; - une étape (208) de communication entre le dispositif mobile porté par l'opérateur et le dispositif de traitement utilisé par un expert, qui comprenant : - une sous-étape (210) d'affichage, sur l'unité d'affichage du dispositif de traitement, d'une image virtuelle issue du modèle numérique ; - une sous-étape (212) de modification de l'image virtuelle ; et, - une sous-étape (214) d'affichage d'un objet représentatif de la modification sur le dispositif d'affichage du dispositif mobile porté par l'opérateur.
Description
Procédé d’aide à la maintenance d’un système complexe
La présente invention concerne un procédé d’aide à la maintenance d’un système complexe.
Dans le cadre d’une opération de contrôle ou de maintenance d’un aéronef ou d’une pièce d’aéronef par un opérateur, il peut être difficile pour l’opérateur seul de réaliser l’opération et il est souvent nécessaire qu’il soit guidé.
Il est connu de fournir une assistance à l’opérateur par l’intermédiaire d’un système comprenant, en plus d’une paire de lunettes holographiques portée par l’opérateur, une montre connectée pour interagir et piloter le système. Un tel système permet de guider l’utilisateur dans sa zone de travail. Il est propre à afficher automatiquement des éléments documentaires, sous forme de panneaux. Le système intègre aussi un outil de suivi d’avancement, sous la forme d’un panneau supplémentaire qui permet à l’opérateur de renseigner la tâche qu’il a effectuée.
Cependant, l’assistance offerte par ce système n’est pas entièrement satisfaisante.
Il existe également des systèmes connus pour assister un opérateur. Ces systèmes sont destinés à fournir une communication audio et vidéo entre l’opérateur et un expert éloigné. L’opérateur porte des lunettes propres à cartographier en 3D l’environnement, à afficher des informations superposées sur l’environnement visualisé par l’opérateur, et à filmer la zone de travail du point de vue de l’opérateur.
Par ces systèmes, l’expert peut visualiser la zone de travail vue par l’opérateur, avoir une communication audio avec lui, désigner via des flèches ou des annotations des points d'intérêts dans l’environnement visualisé par l'opérateur, envoyer des éléments en 2D tels que des images à l'opérateur, et enfin, enregistrer la conversation via un outil d'enregistrement tiers.
L’opérateur quant à lui peut voir et positionner comme il le souhaite une vidéo de l'expert, désigner via des flèches ou des annotations des points d'intérêts dans son environnement, déplacer et positionner comme il le souhaite les images envoyées par l'expert dans son environnement, déclencher la capture de photographies de l’environnement visualisé par l’opérateur et envoyer des images à l'expert.
Cependant, de tels systèmes présentent des imprécisions dans l’annotation. En effet, la précision de la cartographie 3D et de la désignation est d’au mieux quelques centimètres, voire moins sur les pièces sombres.
En outre, il est impossible pour l’expert de désigner un élément hors cadre. La désignation ne peut se faire que dans le flux vidéo transmis par l’opérateur, c’est-à-dire que dans l’environnement visualisé par l’opérateur et filmé par le système.
Un objet de l’invention est donc de fournir un procédé permettant à l’expert de désigner un élément sur un aéronef de manière précise, même si l’élément est sombre et en dehors du champ de vision de l’opérateur.
A cet effet, l’invention a pour objet un procédé d’aide à la maintenance d’un système complexe, le procédé comprenant :
- une étape de fourniture d’un dispositif mobile destiné à être porté par un opérateur, le dispositif mobile comprenant au moins un dispositif d’affichage à destination de l’opérateur ;
- une étape de fourniture d’un dispositif de traitement comprenant au moins une unité d’affichage, et une mémoire stockant un modèle numérique représentatif d’au moins une partie dudit système complexe ;
- une étape de communication entre le dispositif mobile porté par l’opérateur et le dispositif de traitement utilisé par un expert, l’étape de communication comprenant :
- une sous-étape d’affichage, sur l’unité d’affichage du dispositif de traitement, d’une image virtuelle issue du modèle numérique ;
- une sous-étape de modification d’une portion de l’image virtuelle ; et,
- une sous-étape d’affichage d’un objet représentatif de la modification sur le dispositif d’affichage du dispositif mobile porté par l’opérateur.
Le procédé selon l’invention peut comprendre l’une ou plusieurs des caractéristiques suivantes, prise(s) isolément ou suivant toutes combinaisons techniquement possibles :
- le procédé comprend, avant l’étape de communication, une étape de localisation du système complexe dans un repère lié au dispositif mobile porté par l’opérateur ; ladite portion modifiée étant à une première position dans un repère dudit modèle numérique lié au système complexe, lors de la sous-étape de modification ; l'étape de communication comprenant en outre une sous-étape de calcul d’une deuxième position de ladite portion modifiée dans le repère lié au dispositif mobile porté par l’opérateur, à partir de la localisation du système complexe dans ledit repère lié au dispositif mobile et de la première position, la deuxième position correspondant à la première position dans ledit repère lié au dispositif mobile ; la sous-étape d’affichage d’un objet représentatif de la modification comprenant l’affichage dudit objet à ladite deuxième position sur le dispositif d’affichage du dispositif mobile porté par l’opérateur ;
- le dispositif mobile comprend un capteur d’images, et l’étape de communication comprend une sous-étape d’acquisition, par ledit capteur d’images du dispositif mobile porté par l’opérateur, d’une image réelle d’au moins une partie dudit système complexe, à un instant d’acquisition initial ; la sous-étape de modification étant mise en œuvre audit instant d’acquisition initial, la deuxième position étant en dehors de l’image réelle audit instant d’acquisition initial ;
- l'étape de communication comprend une pluralité de sous-étapes d’acquisition par ledit capteur d’images d’une image réelle en une pluralité d’instants d’acquisition successifs, le capteur d’images étant déplacé par rapport audit système complexe entre deux instants d’acquisition successifs ; l’étape de communication comprenant l’affichage sur le dispositif d’affichage du dispositif mobile, à chaque instant d’acquisition, d’une icône directive destinée à indiquer à l’opérateur une direction de déplacement pour afficher ledit objet représentatif de la modification ; la sous-étape d’affichage dudit objet représentatif de la modification étant mise en œuvre à un instant d’acquisition, parmi la pluralité d’instants d’acquisition, correspondant à une image réelle comprenant la deuxième position ;
- la modification est choisie dans le groupe comprenant : une opération de sélection de ladite portion de l’image virtuelle, ladite portion étant représentative d’un sous-ensemble du système complexe, ou une opération d’insertion d’un élément sur ladite portion de l’image virtuelle ; ledit objet représentatif de la modification étant ladite portion sélectionnée ou ledit élément inséré ;
- le dispositif mobile comprend un capteur d’images, et l’étape de communication comprend une sous-étape d’acquisition, par ledit capteur d’images du dispositif mobile porté par l’opérateur, d’une image réelle d’au moins une portion dudit système complexe, à un instant d’acquisition ; la modification étant l’opération de sélection, ladite portion de l’image virtuelle sélectionnée étant représentative d’un sous-ensemble du système complexe, ledit sous-ensemble étant dissimulé sur l’image réelle par un autre sousensemble du système complexe ;
- la modification est l’opération d’insertion, l’élément inséré étant une annotation ou une image 2D ou 3D ;
- le dispositif mobile est un premier dispositif mobile et l’opérateur est un premier opérateur, le procédé comprenant en outre une étape de fourniture d’un deuxième dispositif mobile similaire au premier dispositif mobile, le deuxième dispositif mobile comprenant un deuxième dispositif d’affichage ; l’étape de communication étant d’une part une étape de communication entre le premier dispositif mobile porté par le premier opérateur et le dispositif de traitement utilisé par l’expert, et d’autre part une étape de communication entre le deuxième dispositif mobile porté par le deuxième opérateur et le dispositif de traitement utilisé par l’expert ; l’étape de communication comprenant en outre une sous-étape d’affichage de l’objet représentatif de la modification sur le deuxième dispositif d’affichage du deuxième dispositif mobile porté par le deuxième opérateur ;
- le procédé comprend en outre, avant l’étape de communication, une étape de localisation du système complexe dans un repère lié au deuxième dispositif mobile porté par le deuxième opérateur ; l'étape de communication comprenant en outre une sousétape de calcul d’une troisième position de ladite portion modifiée dans ledit repère lié au deuxième dispositif mobile porté par le deuxième opérateur à partir de la localisation du système complexe dans ledit repère lié au deuxième dispositif mobile, la troisième position correspondant à la première position dans ledit repère lié au deuxième dispositif mobile ; la sous-étape d’affichage de l’objet représentatif de la modification sur le deuxième dispositif d’affichage comprenant l’affichage dudit objet à ladite troisième position sur le deuxième dispositif d’affichage ;
- le modèle numérique est un modèle généré par un logiciel de conception assistée ;
- le procédé comprend, avant l’étape de communication, une étape de localisation du système complexe dans un repère lié au dispositif mobile porté par l’opérateur ; l’étape de communication comprenant en outre :
- une sous-étape de calcul, à un instant de calcul, d’une position effective du dispositif mobile porté par l’opérateur dans un repère dudit modèle numérique lié au système complexe, à partir de la localisation du système complexe dans ledit repère lié au dispositif mobile; et,
- une sous-étape d’affichage, sur l’unité d’affichage du dispositif de traitement, d’une icône représentative de l’opérateur audit instant de calcul, l’icône étant superposée à l’image virtuelle, et affichée à ladite position effective dans le repère dudit modèle numérique lié au système complexe ;
- le procédé comprend en outre, avant l’étape de communication, une étape de localisation du système complexe dans un repère lié au deuxième dispositif mobile porté par le deuxième opérateur ; l’étape de communication comprenant en outre :
- une sous-étape de calcul, à un instant de calcul, d’une position effective du deuxième dispositif mobile porté par le deuxième opérateur dans un repère dudit modèle numérique lié au système complexe, à partir de la localisation du système complexe dans ledit repère lié au deuxième dispositif mobile; et,
- une sous-étape d’affichage, sur l’unité d’affichage du dispositif de traitement , d’une deuxième icône représentative du deuxième opérateur audit instant de calcul, la deuxième icône étant superposée à l’image virtuelle, et affichée à ladite position effective du deuxième dispositif mobile dans le repère dudit modèle numérique lié au système complexe ;
- le système complexe est au moins une partie d’un aéronef, une zone de travail ou un poste de travail ;
- le dispositif mobile est une paire de lunettes, une tablette, un téléphone multifonction ou un ordinateur portable.
L’invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple, et faite en se référant aux dessins annexés, sur lesquels :
- la Figure 1 est une représentation schématique d’un premier ensemble d’aide à la maintenance propre à mettre en œuvre un premier procédé d’aide à la maintenance selon l’invention ;
- la Figure 2 est un organigramme du premier procédé d’aide à la maintenance selon l’invention ;
- la Figure 3 est une représentation schématique d’un deuxième ensemble d’aide à la maintenance propre à mettre en œuvre un deuxième procédé d’aide à la maintenance selon l’invention ; et
- la Figure 4 est un organigramme du deuxième procédé d’aide à la maintenance selon l’invention.
On a représenté sur la Figure 1, un premier ensemble 10A d’aide à la maintenance d’un système complexe 12 selon un mode de réalisation de l’invention.
On désignera par sous-ensemble du système complexe 12, un élément ou un ensemble d’éléments de ce système complexe 12.
Le système complexe 12 est par exemple un aéronef ou une partie d’un aéronef. En variante, le système complexe 12 est une zone de travail, un poste de travail ou une partie d’une usine dans laquelle travaille un opérateur.
Par ailleurs, on appellera « image réelle » une image issue d’un capteur d’images tel qu’une caméra, et « image de synthèse » une image issue d’un modèle numérique.
Le premier ensemble 10A d’aide à la maintenance comprend un dispositif de traitement 14, notamment destiné à être utilisé par un expert, et un dispositif mobile 16 destiné à être porté par un opérateur.
Par « expert », on entend une personne propre à transmettre des instructions de maintenance à l’opérateur. Ces instructions de maintenance comprennent par exemple des instructions de démontage d’éléments du système complexe 12 afin d’accéder à des éléments affectés par une panne, des instructions correspondant à des actions à effectuer sur ces éléments, et des instructions de montage d’éléments du système complexe 12 préalablement démontés.
Par « opérateur », on entend une personne propre à réaliser des opérations sur le système complexe 12 et à mettre en œuvre les instructions de maintenance de l’expert.
Le dispositif de traitement 14 comprend au moins un calculateur de traitement 18, des moyens d’interface homme-machine 20 propres à permettre une interaction entre le calculateur 18 et l’expert, et des moyens de télécommunication 22.
De préférence, le dispositif de traitement 14 comprend en outre des moyens d’acquisition audio 24, et des moyens de restitution audio 26.
Les moyens d’interface homme-machine 20 comprennent des moyens de saisie d’informations 28 par l’expert et des moyens de visualisation 30.
Les moyens de saisie 28 comprennent typiquement un clavier et une souris ou une tablette tactile.
Les moyens de visualisation 30 comprennent une unité d’affichage 32 et des moyens de traitement 34 d’une information graphique, par exemple un processeur graphique 36 et une mémoire graphique 38 associée.
Le processeur graphique 36 est adapté pour traiter l’information graphique stockée dans la mémoire graphique 38 et réaliser l’affichage sur l’unité d’affichage 32 de cette information ou d’une représentation de celle-ci.
L’unité d’affichage 32 est par exemple un écran.
Les moyens de télécommunication 22 comprennent une interface réseau permettant au dispositif de traitement 14, en particulier au calculateur 18, de communiquer avec le dispositif mobile 16, selon une liaison filaire ou sans fil.
En particulier, les moyens de télécommunication 22 sont propres à recevoir un flux de données provenant du dispositif mobile 16, et à émettre un flux de données vers le dispositif mobile 16.
Les moyens d’acquisition audio 24 et les moyens de restitution audio 26 sont destinés à permettre, du côté de l’expert, d’établir une communication audio entre l’expert et l’opérateur.
Les moyens d’acquisition audio 24 sont propres à acquérir des informations audio, notamment des informations audio comprenant des instructions de maintenance de l’expert pour l’opérateur. En particulier, les moyens d’acquisition audio 24 sont propres à acquérir une pluralité d’informations audio successives, à des instants d’acquisition successifs.
Par exemple, les moyens d’acquisition audio 24 comprennent au moins un microphone 39.
Les moyens de restitution audio 26 comprennent un dispositif de diffusion audio 40, des moyens de traitement 42 d’une information audio, par exemple un processeur audio 44, et une mémoire audio 46 associée.
Le processeur audio 44 est adapté pour traiter l’information audio stockée dans la mémoire audio 46 et réaliser la diffusion sur le dispositif de diffusion audio 40 de cette information.
Le dispositif de diffusion audio 40 est par exemple un haut-parleur.
Le calculateur 18 est connecté aux moyens d’interface homme-machine 20 et aux moyens de télécommunication 22. Il est aussi connecté aux moyens d’acquisition audio 24, et aux moyens de restitution audio 26.
Le calculateur 18 comprend un processeur 48 et au moins une mémoire 50.
Le processeur 48 est adapté pour exécuter des modules contenus dans la mémoire 50.
La mémoire 50 stocke un modèle numérique 52 représentatif d’au moins une partie du système complexe 12, notamment un modèle numérique 52 représentatif de chaque élément constituant ladite partie du système complexe 12.
En particulier, la mémoire 50 comprend différentes zones de mémoire, au moins une zone stockant ledit modèle numérique 52.
Le modèle numérique 52 est un modèle tridimensionnel généré par un logiciel de conception assistée, tel qu’un logiciel de type CAO (Conception Assistée par Ordinateur).
En particulier, le modèle numérique 52 n’est pas généré à partir d’une reconstruction basée sur un capteur d’images.
La mémoire 50 comprend aussi un module de gestion d’affichage 54 et un module de gestion audio 56.
Le module de gestion d’affichage 54 est propre à afficher sur l’unité d’affichage 32 des images et une interface graphique, et à gérer cette interface graphique.
Il est propre à générer une représentation de l’interface graphique et à mettre à jour cette interface graphique en réponse à des actions de l’expert via les moyens de saisie typiquement.
Le module de gestion d’affichage 54 est ainsi typiquement propre à afficher sur l’unité d’affichage 32 une image virtuelle du modèle numérique 52 et à mettre à jour cet image virtuelle et ce modèle numérique 52 en réponse à des actions de l’expert, typiquement via les moyens de saisie 28.
Le module de gestion d’affichage 54 est aussi propre à recevoir une action de l’expert et à mettre en œuvre une modification du modèle numérique 52 suivant l’action de l’expert.
Le module de gestion d’affichage 54 est propre à permettre la mise en œuvre d’une modification d’une portion de l’image virtuelle que l’expert souhaite faire visualiser à l’opérateur.
Le module de gestion d’affichage 54 est par exemple un logiciel de type CAO. En variante, le module de gestion d’affichage 54 est un logiciel au moins propre à permettre à l’expert de consulter et d’interagir avec la modèle numérique 52, ce logiciel n’étant pas nécessairement un logiciel de type CAO.
Dans un premier exemple, la modification de ladite portion de l’image virtuelle est par exemple une opération de sélection de ladite portion de l’image virtuelle.
Dans le cas de ce premier exemple, les termes « portion modifiée » et « portion sélectionnée » seront compris comme synonymes.
Ladite portion sélectionnée est représentative d’un sous-ensemble du système complexe 12, l’expert souhaitant typiquement attirer l’attention de l’opérateur sur ledit sous-ensemble ou faire visualiser ledit sous-ensemble à l’opérateur.
Ladite portion sélectionnée est par exemple une représentation tridimensionnelle des éléments dudit sous-ensemble, des liaisons entre ces éléments, et d’un fond représentant l’ossature sur laquelle s’appuient les éléments.
Ladite portion sélectionnée est notamment à une première position dans un repère du modèle numérique 52 lié au système complexe 12.
Dans un deuxième exemple, la modification de ladite portion de l’image virtuelle est une opération d’insertion d’un élément sur ladite portion de l’image virtuelle, l’expert souhaitant typiquement faire visualiser ledit élément inséré à l’opérateur.
Après l’opération d’insertion, ladite portion modifiée comprend en particulier l’élément inséré.
Ladite portion modifiée, en particulier l’élément inséré, est notamment à une première position dans le repère du modèle numérique 52 lié au système complexe 12.
L’élément inséré est par exemple une annotation ou une image 2D ou 3D, éventuellement animée.
Le module de gestion d’affichage 54 est propre à transmettre la portion modifiée au dispositif mobile 16, notamment via les moyens de télécommunication 22, en vue de l’affichage d’un objet représentatif de ladite modification par le dispositif mobile 16.
Le module de gestion d’affichage 54 est en outre propre à recevoir, via les moyens de télécommunication 22, une position effective du dispositif mobile 16 dans le repère du modèle numérique 52 lié au système complexe 12, la position effective étant typiquement calculée à un instant de calcul par le dispositif mobile 16.
Le module de gestion d’affichage 54 est alors propre à afficher, sur l’unité d’affichage 32 du dispositif de traitement 14, une icône représentative de l’opérateur, l’icône étant superposée à l’image virtuelle, et affichée à ladite position effective dans le repère du modèle numérique 52 lié au système complexe 12 audit instant de calcul.
En particulier, le module de gestion d’affichage 54 est en outre propre à recevoir, via les moyens de télécommunication 22, une pluralité de positions effectives successives du dispositif mobile 16 dans le repère du modèle numérique 52 lié au système complexe 12, à une pluralité d’instants de calcul successifs. Le module de gestion d’affichage 54 est alors propre à mettre à jour ladite icône représentative en l’affichant, pour chaque instant de calcul, à la position effective associée.
Le module de gestion d’affichage 54 est de plus propre à recevoir du dispositif mobile 16 un flux de données comprenant des images réelles, notamment via les moyens de télécommunication 22. Il est alors propre à afficher lesdites images réelles sur l’unité d’affichage 32. L’expert est ainsi en mesure de visualiser des images réelles acquises par le dispositif mobile.
Le module de gestion audio 56 est propre à recevoir du dispositif mobile 16 un flux de données comprenant des informations audio, notamment via les moyens de télécommunication 22.
Le module de gestion audio 56 est propre à envoyer au dispositif de diffusion audio 40, lesdites informations audio en vue de leur diffusion à l’expert.
L’expert est ainsi en mesure de recevoir des informations orales depuis l’opérateur.
Le module de gestion audio 56 est propre à recevoir des informations audio acquises par l’intermédiaire des moyens d’acquisition audio 24.
Le module de gestion audio 56 est alors propre à envoyer au dispositif mobile 16 lesdites informations audio acquises, notamment via les moyens de télécommunication 22.
L’expert est ainsi en mesure d’envoyer des informations orales vers l’opérateur.
Le dispositif mobile 16 comprend un calculateur 58, des moyens de visualisation 60 et des moyens de télécommunication 62.
De préférence, le dispositif mobile 16 comprend en outre des moyens d’acquisition d’images 64, des moyens d’acquisition audio 66, et des moyens de restitution audio 68.
Les moyens de visualisation 60 comprennent au moins un dispositif d’affichage 70 et des moyens de traitement 72 d’une information graphique, par exemple un processeur graphique 74 et une mémoire graphique 76 associée.
Le processeur graphique 74 est adapté pour traiter l’information graphique stockée dans la mémoire graphique 76 et réaliser l’affichage sur le dispositif d’affichage 70 de cette information ou d’une représentation de celle-ci.
Le dispositif d’affichage 70 est par exemple un écran.
Les moyens d’acquisition d’images 64 sont notamment destinés à fournir à l’expert des images du système complexe 12 et des opérations menées par l’opérateur lors de la maintenance, depuis le point de vue du dispositif mobile 16.
Les moyens d’acquisition d’images 64 sont propres à acquérir des images réelles de tout ou partie du système complexe 12. En particulier, les moyens d’acquisition d’images 64 sont propres à acquérir une pluralité d’images successives de tout ou partie du système complexe 12, à des instants d’acquisition successifs, par exemple à une fréquence de 30 Hz.
Les moyens d’acquisition d’images 64 sont propres à acquérir des images du système complexe 12 sous différents angles de vue.
De préférence, les moyens d’acquisition d’images 64 comprennent au moins un capteur d’images 78, monté mobile par rapport au système complexe 12.
En particulier, lorsque le dispositif mobile 16 est porté par l’opérateur, les images réelles sont sensiblement représentatives du champ de vision de l’opérateur.
Les moyens d’acquisition audio 66 et les moyens de restitution audio 68 sont destinés à permettre du côté de l’opérateur, d’établir la communication audio entre l’expert et l’opérateur.
Les moyens d’acquisition audio 66 sont propres à acquérir des informations audio, notamment des informations audio comprenant des instructions de maintenance de l’expert pour l’opérateur. En particulier, les moyens d’acquisition audio 66 sont propres à acquérir une pluralité d’informations audio successives, à des instants d’acquisition successifs.
Par exemple, les moyens d’acquisition audio 66 comprennent au moins un microphone 80.
Les moyens de restitution audio 68 comprennent un dispositif de diffusion audio 82, des moyens de traitement 84 d’une information audio, par exemple un processeur audio 86, et une mémoire audio 88 associée.
Le processeur audio 86 est adapté pour traiter l’information audio stockée dans la mémoire audio 88 et réaliser la diffusion sur le dispositif de diffusion audio 82 de cette information.
Le dispositif de diffusion audio 82 est par exemple un haut-parleur.
Les moyens de télécommunication 62 comprennent une interface réseau permettant au dispositif mobile 16 de communiquer avec le dispositif de traitement 14, selon une liaison filaire ou sans fil.
Le calculateur 58 est connecté aux moyens de visualisation 60 et aux moyens de télécommunication 62. Il est aussi connecté aux moyens d’acquisition d’images 64, aux moyens d’acquisition audio 66, et aux moyens de restitution audio 68.
Le calculateur 58 comprend un processeur 90 et au moins une mémoire 92.
Le processeur 90 est adapté pour exécuter des modules contenus dans la mémoire 92.
La mémoire 92 comprend différentes zones de mémoire.
La mémoire 92 comprend un module de localisation 94, un module de gestion d’affichage 96, et un module de gestion audio 98.
Le module de localisation 94 est propre à localiser le système complexe 12 dans un repère lié au dispositif mobile 16.
Par « localiser », on entend que le module de localisation 94 est propre à déterminer la position d’une pluralité de points du système complexe 12 dans le repère lié au dispositif mobile 16, et en particulier une orientation du système complexe 12 dans ce repère.
Par exemple, le module de localisation 94 est propre à mettre en œuvre une étape de reconnaissance sur une image réelle, par exemple acquise par le capteur d’images 78, d’un contour d’au moins un sous-élément du système complexe 12 ou d’un marqueur disposé à une position prédéterminée sur le système complexe 12, pour obtenir la localisation du système complexe 12 dans le repère lié au dispositif mobile 16.
Le module de localisation 94 est en outre propre à calculer une position effective du dispositif mobile 16 dans un repère lié au système complexe 12, ce repère étant de préférence le repère du modèle numérique 52 lié au système complexe 12.
Le module de localisation 94 est propre à recevoir du dispositif de traitement 14 ladite portion de l’image virtuelle modifiée par l’expert, notamment via les moyens de télécommunication 62.
Le module de localisation 94 est aussi propre à analyser la position du dispositif mobile 16, par rapport au système complexe 12 et par rapport à la première position de la portion modifiée, dans ledit repère lié au système complexe 12, pour déterminer la position, l’échelle et l’orientation de l’objet représentatif à afficher sur le dispositif d’affichage 70.
En particulier, le module de localisation 94 est propre à mettre en œuvre un calcul de changement de repère.
A partir de la première position de ladite portion modifiée dans le repère du modèle numérique 52 lié au système complexe 12, le module de localisation 94 est propre à calculer une deuxième position de ladite portion modifiée dans le repère lié au dispositif mobile 16, la deuxième position correspondant à la première position de ladite portion modifiée dans ledit repère lié au dispositif mobile 16, le calcul de la deuxième position étant notamment mis en œuvre à partir de la localisation du système complexe 12 dans ledit repère lié au dispositif mobile 16.
La deuxième position est en particulier la position à laquelle afficher l’objet représentatif sur le dispositif d’affichage 70 dans le repère lié au dispositif mobile 16.
Le module de gestion d’affichage 96 est propre à afficher l’objet représentatif de la modification de la portion de l’image virtuelle par l’expert sur le dispositif d’affichage 70.
Le module de gestion d’affichage 96 est propre à recevoir du module de localisation 94 ladite deuxième position calculée, l’échelle et l’orientation de l’objet représentatif. Puis, le module de gestion d’affichage 96 est propre à afficher sur le dispositif d’affichage 70 l’objet représentatif à ladite deuxième position calculée, à l’échelle et l’orientation fournies par le module de localisation 94.
Dans le cas où la modification est l’opération de sélection de ladite portion de l’image virtuelle, le module de gestion d’affichage 96 est propre à générer et afficher l’objet représentatif sur le dispositif d’affichage 70, l’objet représentatif étant la portion sélectionnée. Plus précisément, l’objet représentatif est alors une image de synthèse du sous-ensemble dont la portion sélectionnée est représentative.
Le sous-ensemble dont la portion sélectionnée est représentative est typiquement dissimulé à l’opérateur par un autre sous-ensemble du système complexe 12. En particulier, à un instant d’acquisition associé à une image réelle acquise par le capteur d’images 78, le sous-ensemble dont la portion sélectionnée est représentative est dissimulé par l’autre sous-ensemble du système complexe 12 sur ladite image réelle. L’objet représentatif est dans ce cas une image de synthèse effective du sous-ensemble dont la portion sélectionnée est représentative. L’image de synthèse effective est une image de ce sous-ensemble dans son état effectif, tel qu’il serait vu s’il était visible depuis l’extérieur du système complexe 12 depuis le point de vue du dispositif mobile 16, en transparence à travers le système complexe 12. L’image de synthèse représente ainsi un écorché d’un élément masqué du système complexe 12.
Dans le cas où la modification est l’opération d’insertion, le module de gestion d’affichage 96 est propre à générer et afficher l’objet représentatif sur le dispositif d’affichage 70, l’objet représentatif étant alors une image de synthèse de l’élément inséré par l’expert.
En particulier, le module de gestion d’affichage 96 est propre à afficher l’objet représentatif sur le dispositif d’affichage 70 pendant une durée prédéterminée, ladite durée étant par exemple prédéterminée par l’expert.
Le module de gestion audio 98 est propre à recevoir du dispositif de traitement 14 un flux de données comprenant des informations audio, notamment via les moyens de télécommunication 62.
Le module de gestion audio 98 est propre à envoyer au dispositif de diffusion audio 82, lesdites informations audio en vue de leur diffusion à l’opérateur.
L’opérateur est ainsi en mesure de recevoir des informations orales depuis l’expert.
Le module de gestion audio 98 est propre recevoir des informations audio acquises par l’intermédiaire des moyens d’acquisition audio 66.
Le module de gestion audio 98 est alors propre à envoyer au dispositif de traitement 14 lesdites informations audio acquises, notamment via les moyens de télécommunication 62.
L’opérateur est ainsi en mesure d’envoyer des informations orales vers l’expert.
Un premier procédé 200A d’aide la maintenance d’un système complexe 12 au moyen du premier ensemble 10A, va maintenant être décrit en référence à la Figure 2.
Le premier procédé 200A comprend une étape 202 de fourniture du dispositif mobile 16 et une étape 204 de fourniture du dispositif de traitement 14.
Le modèle numérique 52 représentatif d’au moins une partie dudit système complexe 12 n’est pas issu d’une reconstitution du système complexe 12 à partir d’images réelles fournies par le capteur d’images 78 du dispositif mobile 16.
Le modèle numérique 52 présente donc une très bonne précision, en particulier en comparaison d’un modèle reconstruit à partir d’images d’un capteur d’images.
Le modèle numérique 52 est ainsi en particulier stocké dans la mémoire 50 du dispositif de traitement 14 avant toute opération de maintenance de l’opérateur.
L’opérateur porte le dispositif mobile 16.
Le premier procédé 200A comprend une étape 206 de localisation du système complexe 12 dans un repère lié au dispositif mobile 16 porté par l’opérateur.
Cette étape 206 est mise en œuvre par le module de localisation 94 du dispositif mobile 16.
Au cours de cette étape 206 de localisation, le module de localisation 94 reçoit une image réelle à un instant d’acquisition du capteur d’images 78.
L’étape 206 de localisation comprend par exemple la reconnaissance sur ladite image réelle d’un contour d’au moins un sous-élément du système complexe 12 ou d’un marqueur disposé à une position prédéterminée sur le système complexe 12.
Le module de localisation 94 détermine alors la localisation du système complexe 12 dans le repère lié au dispositif mobile 16 porté par l’opérateur, audit instant d’acquisition.
Après l’étape 206 de localisation, le premier procédé 200A comprend une étape 208 de communication entre le dispositif mobile 16 porté par l’opérateur et le dispositif de traitement 14 utilisé par l’expert.
Lors de l’étape 208 de communication, l’expert et l’opérateur sont en communication audio, notamment par l’intermédiaire des moyens d’acquisition audio 24, 66, des moyens de restitution audio 26, 68 et des modules de gestion audio 56.
L’étape 208 de communication comprend une sous-étape 210 d’affichage, sur l’unité d’affichage 32 du dispositif de traitement 14, de l’image virtuelle issue du modèle numérique 52.
L’expert met ensuite en œuvre une sous-étape 212 de modification d’une portion de l’image virtuelle.
La modification est choisie dans le groupe comprenant : une opération de sélection de ladite portion de l’image virtuelle, ladite portion étant représentative d’un sous-ensemble du système complexe 12, ou une opération d’insertion d’un élément sur ladite portion modifiée de l’image virtuelle.
Dans le cas où la modification est l’opération de sélection, ladite portion de l’image virtuelle sélectionnée est par exemple représentative d’un sous-ensemble du système complexe 12.
Ce sous-ensemble est typiquement dissimulé sur l’image réelle par un autre sousensemble du système complexe 12.
Dans le cas où la modification est l’opération d’insertion, l’élément inséré est par exemple une annotation ou une image 2D ou 3D.
Lors de la sous-étape 212 de modification, ladite portion modifiée est à une première position dans un repère du modèle numérique 52 lié au système complexe 12.
La sous-étape 212 de modification est notamment mise en œuvre par le module de gestion d’affichage 54 du dispositif de traitement 14.
Ladite portion modifiée est transmise au dispositif mobile 16, notamment via les moyens de télécommunication 22, en vue de l’affichage d’un objet représentatif de ladite modification par le dispositif mobile 16, ledit objet représentatif de la modification étant plus précisément ladite portion sélectionnée ou ledit élément inséré.
L’étape 208 de communication comprend ensuite une sous-étape 214 d’affichage de l’objet représentatif de la modification sur le dispositif d’affichage 70 du dispositif mobile 16 porté par l’opérateur.
Avant cette sous-étape 214 d’affichage, l'étape 208 de communication comprend l’analyse de la position du dispositif mobile 16, par rapport au système complexe 12 et par rapport à la première position de ladite portion modifiée, dans le repère lié au système complexe 12, pour déterminer la position, l’échelle et l’orientation de l’objet représentatif à afficher sur le dispositif d’affichage 70.
Cette analyse est notamment mise en œuvre par le module de localisation 94.
Pour cela, l’étape 208 de communication comprend en particulier une sous-étape 216 de calcul d’une deuxième position de la portion modifiée dans le repère lié au dispositif mobile 16 porté par l’opérateur, à partir de la localisation du système complexe 12 dans ledit repère lié au dispositif mobile 16, la deuxième position correspondant à la première position dans ledit repère lié au dispositif mobile 16.
La deuxième position est en particulier la position à laquelle afficher l’objet représentatif sur le dispositif d’affichage 70 dans le repère lié au dispositif mobile 16, lors de la sous-étape 214 d’affichage.
La sous-étape 214 d’affichage de l’objet représentatif de la modification comprend l’affichage de l’objet représentatif à ladite deuxième position calculée sur le dispositif d’affichage 70 porté par l’opérateur. L’objet représentatif est aussi affiché à l’échelle et l’orientation fournies par le module de localisation 94.
La sous-étape 214 d’affichage est notamment mise en œuvre par le module de gestion d’affichage 96 du dispositif mobile 16.
L’expert est ainsi en mesure de désigner n’importe quelle partie du système complexe 12, même quand cette partie n’est pas immédiatement visible ou filmée par l’opérateur.
En parallèle des sous-étapes précédentes, l’étape 208 de communication comprend en outre une sous-étape 218 de calcul, à un instant de calcul, d’une position effective du dispositif mobile 16 porté par l’opérateur dans un repère lié au système complexe 12, à partir de la localisation du système complexe 12 dans ledit repère lié au dispositif mobile 16, ce repère étant de préférence le repère du modèle numérique 52 lié au système complexe 12.
Ce calcul est notamment mise en œuvre par le module de localisation 94.
L’étape 208 de communication comprend aussi une sous-étape 220 d’affichage, sur l’unité d’affichage 32 du dispositif de traitement 14, d’une icône représentative de l’opérateur audit instant de calcul, l’icône étant superposée à l’image virtuelle, et affichée à ladite position effective dans le repère du modèle numérique 52 lié au système complexe 12.
En variante du premier ensemble 10A, le module de gestion d’affichage 96 du dispositif mobile 16 est propre à calculer si, à un instant d’acquisition donné, l’objet représentatif à la deuxième position appartient ou est en dehors de l’image réelle acquise par le ou les capteurs d’images.
En particulier, le module de gestion d’affichage 96 est propre à analyser chaque image réelle pour déterminer si l’objet représentatif à la deuxième position appartient à la partie du système complexe 12 représentée sur cette image réelle.
Pour cela, le module de gestion d’affichage 96 est propre à détecter le contour de la partie du système complexe 12 représentée sur l’image réelle, et à identifier de quelle partie du système complexe 12 il s’agit, par comparaison de la partie du système complexe 12 ainsi détectée avec le modèle numérique 52 du système complexe 12 stocké dans la mémoire 50 du dispositif de traitement 14.
Le module de gestion d’affichage 96 est alors propre à déterminer, à partir du modèle numérique 52 du système complexe 12, si l’objet à représenter à la deuxième position appartient à cette partie du système complexe 12.
A chaque instant d’acquisition pour lequel l’objet à représenter à la deuxième position est en dehors de l’image réelle acquise, le module de gestion d’affichage 96 est propre à afficher sur le dispositif d’affichage 70 du dispositif mobile 16 une icône directive destinée à indiquer à l’opérateur une direction de déplacement pour afficher ledit objet représentatif de la modification.
L'icône directive est typiquement une flèche alignée avec la direction de déplacement et présentant une pointe indiquant le sens de déplacement de l’opérateur pour afficher ledit objet représentatif.
Le module de gestion d’affichage 96 est alors propre à afficher l’objet à ladite deuxième position sur le dispositif d’affichage 70, à l’instant d’acquisition où il détermine que l’objet à représenter à la deuxième position appartient à l’image réelle correspondant audit instant d’acquisition.
Dans le procédé d’aide à la maintenance associé à cette variante du premier ensemble 10A, l’étape 208 de communication comprend une sous-étape d’acquisition, par ledit capteur d’images 78 du dispositif mobile 16 porté par l’opérateur, d’une image réelle d’au moins une partie dudit système complexe 12, à un instant d’acquisition initial.
En outre, l’étape 208 de communication comprend, à la suite de l’instant d’acquisition initial, une pluralité de sous-étapes d’acquisition par ledit capteur d’images 78 d’une image réelle en une pluralité d’instants d’acquisition successifs, le capteur d’images 78 étant déplacé par rapport audit système complexe 12 entre deux instants d’acquisition successifs.
La sous-étape 212 de modification est mise en œuvre audit instant d’acquisition initial, la deuxième position étant en dehors de l’image réelle audit instant d’acquisition initial.
L’étape 208 de communication comprend l’affichage sur le dispositif d’affichage 70 du dispositif mobile 16, à chaque instant d’acquisition, d’une icône directive destinée à indiquer à l’opérateur une direction de déplacement pour afficher ledit objet représentatif de la modification.
La sous-étape 214 d’affichage dudit objet représentatif de la modification est mise en œuvre à un instant d’acquisition, parmi la pluralité d’instants d’acquisition, correspondant à une image réelle comprenant la deuxième position.
A partir de cet instant d’acquisition, ladite icône directive n’est plus affichée.
En variante, ladite icône directive est affichée après l’instant d’acquisition pendant un temps prédéterminé ou jusqu’à ce que l’expert et/ou l’opérateur décide de ne plus l’afficher. La localisation dudit objet représentatif de la modification en est ainsi facilitée.
En variante préférée du premier ensemble 10A, le dispositif mobile 16 est une paire de lunettes comprenant notamment une monture.
Les moyens de visualisation 60 du dispositif mobile 16 comprennent alors ici deux dispositifs d’affichage 70 fixés à la monture, chaque dispositif d’affichage 70 étant respectivement destiné à un œil de l’opérateur.
Chaque dispositif d’affichage 70 est un écran transparent. Par « écran transparent », on entend typiquement que l’opérateur est apte à voir à travers l’écran, en dehors des zones où l’écran affiche une image.
Le module de localisation 94 est propre à calculer une position effective de chaque écran d’affichage dans le repère lié au système complexe 12.
Le module de localisation 94 est aussi propre à analyser la position de chaque dispositif d’affichage 70, par rapport au système complexe 12 et par rapport à la première position de ladite portion modifiée, dans le repère lié au système complexe 12, pour déterminer la position, l’échelle et l’orientation de l’objet représentatif à afficher sur chaque dispositif d’affichage 70.
Le module de localisation 94 est en particulier propre à déterminer des positions, échelles et orientations de l’objet représentatif différentes pour chaque écran d’affichage.
Le module de gestion d’affichage 96 est propre à recevoir du module de localisation 94 ladite deuxième position calculée, l’échelle et l’orientation de l’objet représentatif pour chaque dispositif d’affichage 70. Puis, le module de gestion d’affichage est propre à afficher sur chaque dispositif d’affichage 70 l’objet représentatif à ladite deuxième position calculée, à l’échelle et l’orientation fournies par le module de localisation 94.
Le dispositif mobile 16 fournit ainsi un effet de perspective à l’opérateur.
Dans le procédé d’aide à la maintenance associé à cette variante du premier ensemble 10A, l'étape 208 de communication comprend l’analyse de la position de chaque écran d’affichage, par rapport au système complexe 12 et par rapport à la première position de ladite portion modifiée, dans le repère lié au système complexe 12, pour déterminer la position, l’échelle et l’orientation de l’objet représentatif à afficher sur chaque écran d’affichage du dispositif d’affichage 70.
Par la suite, la sous-étape 214 d’affichage de l’objet représentatif de la modification comprend l’affichage de l’objet sur chaque dispositif d’affichage 70 du dispositif mobile 16 porté par l’opérateur.
En particulier, la sous-étape 214 d’affichage comprend, pour chaque écran d’affichage du dispositif d’affichage 70 porté par l’opérateur, l’affichage de l’objet représentatif à ladite deuxième position calculée. L’objet représentatif est aussi affiché à l’échelle et l’orientation fournies par le module de localisation 94.
Lors de la sous-étape 214 d’affichage de l’étape 208 de communication, seul l’objet représentatif est affiché sur chaque dispositif d’affichage 70. Cela permet de diminuer les retards de traitement en comparaison de l’affichage d’une image enrichie formée par la superposition d’une image réelle acquise par un capteur d’images 78 et l’objet représentatif.
En variante du premier ensemble 10A, le dispositif mobile 16 est une tablette, un téléphone multifonction ou un ordinateur portable.
Les moyens de visualisation 60 du dispositif mobile 16 comprennent alors typiquement un unique dispositif d’affichage 70.
En outre, le module de gestion d’affichage 96 du dispositif mobile 16 est propre à afficher sur le dispositif d’affichage 70 une image enrichie formée par une image réelle acquise par le capteur d’images 78 sur laquelle est superposé l’objet représentatif de la modification.
En variante du premier ensemble 10A, le module de gestion d’affichage 96 du dispositif mobile 16 est propre à appliquer sur l’objet représentatif une fonction de rognage, en particulier dans le cas où la modification est l’opération de sélection.
Pour cela, le module de gestion d’affichage 96 est propre à déterminer le contour du sous-ensemble dont ladite portion sélectionnée est représentative, et à appliquer à chacun des pixels de l’image de synthèse la fonction de rognage, dont la valeur est fonction de la distance du pixel par rapport au contour du sous-ensemble.
Chaque pixel de l’image de synthèse rognée ainsi obtenue possède un attribut de transparence définissant la transparence de l’image virtuelle en ce pixel.
Un attribut de transparence élevé est associé à une grande transparence de l’image de synthèse rognée en ce pixel, tandis qu’un attribut de transparence faible est associé à une faible transparence - ou une grande opacité - de l’image de synthèse rognée en ce pixel.
L’image de synthèse rognée est telle que, sur une bordure d’une épaisseur prédéfinie de l’image à l’intérieur du contour de cette image, l’attribut de transparence est décroissant de l’extérieur de l’image vers l’intérieur de l’image.
Ainsi, l’image de synthèse rognée présente, sur une bordure d’une épaisseur prédéfinie, une transparence décroissante depuis l’extérieur de l’image vers l’intérieur de l’image. Le centre de l’image de synthèse rognée est par exemple de transparence constante.
Sur le reste de l’image de synthèse rognée, i.e. au centre de cette image, l’image de synthèse rognée est totalement opaque.
En variante du premier ensemble 10A, le module de localisation 94 est propre à recevoir les signaux d’au moins trois capteurs disposés sur le système complexe 12, et il est propre à mettre en œuvre une triangulation desdits capteurs pour obtenir la localisation du système complexe 12 dans un repère lié au dispositif mobile 16.
Dans une autre variante du premier ensemble 10A, le module de localisation 94 est connecté à un système GPS associé au système complexe 12 et à l’opérateur, le module de localisation 94 étant propre à calculer, à partir dudit système GPS, la localisation du système complexe 12 dans un repère lié au dispositif mobile 16.
Dans encore une autre variante d’un procédé de maintenance selon l’invention, l’étape de localisation comprend le positionnement du système complexe 12 à une position prédéterminée, la position prédéterminée étant renseignée dans le dispositif mobile 16 et/ou le dispositif de traitement 14.
Un deuxième ensemble 10B d’aide à la maintenance d’un système complexe 12 selon l’invention est illustré sur la Figure 3.
Ce deuxième ensemble 10B diffère du premier ensemble 10A de la Figure 1 en ce que le dispositif mobile 16 est un premier dispositif mobile 16 et l’opérateur est un premier opérateur.
Le deuxième ensemble 10B comprend un deuxième dispositif mobile 100 similaire au premier dispositif mobile 16, le deuxième dispositif mobile 100 étant destiné à être porté par un deuxième opérateur.
En particulier, le deuxième dispositif mobile 100 comprend un deuxième dispositif d’affichage, non représenté, similaire au dispositif d’affichage 70 du premier dispositif mobile 16.
Un deuxième procédé 200B d’aide à la maintenance au moyen du deuxième ensemble 10B de maintenance va maintenant être décrit en regard de la Figure 4.
Le deuxième procédé 200B diffère du premier procédé 200A en ce qu’il comprend aussi une étape 222 de fourniture du deuxième dispositif mobile 100.
Le deuxième procédé 200B comprend, avant l’étape 208 de communication, une étape 224 de localisation du système complexe 12 dans un repère lié au deuxième dispositif mobile 100 porté par le deuxième opérateur.
En outre, l’étape 208 de communication est d’une part une étape de communication entre le premier dispositif mobile 16 porté par le premier opérateur et le dispositif de traitement 14 utilisé par l’expert, et d’autre part une étape de communication entre le deuxième dispositif mobile 100 porté par le deuxième opérateur et le dispositif de traitement 14 utilisé par l’expert.
L'étape 208 de communication comprend de plus une sous-étape 226 de calcul d’une troisième position de ladite portion modifiée dans le repère lié au deuxième dispositif mobile 100 porté par le deuxième opérateur à partir de la localisation du système complexe 12 dans ledit repère lié au deuxième dispositif mobile 100, la troisième position correspondant à la première position dans le repère lié au deuxième dispositif mobile 100.
L’étape 208 de communication comprend une autre sous-étape 228 d’affichage de l’objet représentatif de la modification sur le deuxième dispositif d’affichage du deuxième dispositif mobile 100 porté par le deuxième opérateur.
En particulier, cette autre sous-étape 228 d’affichage de l’objet représentatif de la modification sur le deuxième dispositif d’affichage comprend l’affichage dudit objet à ladite troisième position sur le deuxième dispositif d’affichage.
En parallèle des sous-étapes précédentes, l’étape 208 de communication comprend en outre une sous-étape 230 de calcul, à un instant de calcul, d’une position effective du deuxième dispositif mobile 100 porté par le deuxième opérateur dans un repère lié au système complexe 12, à partir de la localisation du système complexe 12 dans ledit repère lié au deuxième dispositif mobile 100.
Ce calcul est notamment mis en œuvre par le module de localisation du deuxième dispositif mobile 100.
L’étape 208 de communication comprend aussi une sous-étape 232 d’affichage, sur l’unité d’affichage 32 du dispositif de traitement 14, d’une deuxième icône représentative du deuxième opérateur audit instant de calcul, la deuxième icône étant superposée à l’image virtuelle, et affichée à ladite position effective du deuxième dispositif mobile 100 dans le repère du modèle numérique 52 lié au système complexe 12.
Dans l’exemple de réalisation de l’invention, chaque module de gestion d’affichage, chaque module de gestion audio et/ou chaque module de localisation sont réalisés sous forme de logiciels stockés dans une des mémoires et aptes à être exécutés par un des processeurs. En variante, chaque module de gestion d’affichage, chaque module de gestion audio et/ou chaque module de localisation sont réalisés au moins partiellement sous forme de composants logiques programmables, ou encore sous forme de circuits intégrés dédiés, inclus respectivement dans un des dispositifs mobiles ou le dispositif de traitement 14.
Grâce aux caractéristiques précédemment décrites, l’expert est capable de mieux comprendre où se situe l’opérateur. Il est en outre en mesure d’attirer l’attention de l’opérateur sur n’importe quel sous-ensemble du système complexe 12 ou d’envoyer des éléments 3D, éventuellement animés, à toute position voulue.
Claims (13)
1, - Procédé d’aide à la maintenance d’un système complexe (12), le procédé comprenant :
- une étape (202) de fourniture d’un dispositif mobile (16) destiné à être porté par un opérateur, le dispositif mobile (16) comprenant au moins un dispositif d’affichage (70) à destination de l’opérateur ;
- une étape (204) de fourniture d’un dispositif de traitement (14) comprenant au moins une unité d’affichage (32), et une mémoire (50) stockant un modèle numérique (52) représentatif d’au moins une partie dudit système complexe (12) ;
- une étape (208) de communication entre le dispositif mobile (16) porté par l’opérateur et le dispositif de traitement (14) utilisé par un expert, l’étape (208) de communication comprenant :
- une sous-étape (210) d’affichage, sur l’unité d’affichage (32) du dispositif de traitement (14), d’une image virtuelle issue du modèle numérique (52) ;
- une sous-étape (212) de modification d’une portion de l’image virtuelle ;
et,
- une sous-étape (214) d’affichage d’un objet représentatif de la modification sur le dispositif d’affichage (70) du dispositif mobile (16) porté par l’opérateur.
2. - Procédé selon la revendication 1, dans lequel le procédé comprend, avant l’étape (208) de communication, une étape (206) de localisation du système complexe (12) dans un repère lié au dispositif mobile (16) porté par l’opérateur ;
ladite portion modifiée étant à une première position dans un repère dudit modèle numérique (52) lié au système complexe (12), lors de la sous-étape (212) de modification ;
l'étape (208) de communication comprenant en outre une sous-étape (216) de calcul d’une deuxième position de ladite portion modifiée dans le repère lié au dispositif mobile (16) porté par l’opérateur, à partir de la localisation du système complexe (12) dans ledit repère lié au dispositif mobile (16) et de la première position, la deuxième position correspondant à la première position dans ledit repère lié au dispositif mobile (16);
la sous-étape (214) d’affichage d’un objet représentatif de la modification comprenant l’affichage dudit objet à ladite deuxième position sur le dispositif d’affichage (70) du dispositif mobile (16) porté par l’opérateur.
3. - Procédé selon la revendication 2, dans lequel le dispositif mobile (16) comprend un capteur d’images (78), et l’étape (208) de communication comprend une sous-étape d’acquisition, par ledit capteur d’images (78) du dispositif mobile (16) porté par l’opérateur, d’une image réelle d’au moins une partie dudit système complexe (12), à un instant d’acquisition initial ;
la sous-étape (212) de modification étant mise en œuvre audit instant d’acquisition initial, la deuxième position étant en dehors de l’image réelle audit instant d’acquisition initial.
4. - Procédé selon la revendication 3, dans lequel l'étape (208) de communication comprend une pluralité de sous-étapes d’acquisition par ledit capteur d’images (78) d’une image réelle en une pluralité d’instants d’acquisition successifs, le capteur d’images (78) étant déplacé par rapport audit système complexe (12) entre deux instants d’acquisition successifs ;
l’étape (208) de communication comprenant l’affichage sur le dispositif d’affichage (70) du dispositif mobile (16), à chaque instant d’acquisition, d’une icône directive destinée à indiquer à l’opérateur une direction de déplacement pour afficher ledit objet représentatif de la modification ;
la sous-étape (214) d’affichage dudit objet représentatif de la modification étant mise en œuvre à un instant d’acquisition, parmi la pluralité d’instants d’acquisition, correspondant à une image réelle comprenant la deuxième position.
5. - Procédé selon l’une quelconque des revendications 1 à 4, dans lequel la modification est choisie dans le groupe comprenant : une opération de sélection de ladite portion de l’image virtuelle, ladite portion étant représentative d’un sous-ensemble du système complexe (12), ou une opération d’insertion d’un élément sur ladite portion de l’image virtuelle ;
ledit objet représentatif de la modification étant ladite portion sélectionnée ou ledit élément inséré.
6. - Procédé selon la revendication 5, dans lequel le dispositif mobile (16) comprend un capteur d’images (78), et l’étape (208) de communication comprend une sous-étape d’acquisition, par ledit capteur d’images (78) du dispositif mobile (16) porté par l’opérateur, d’une image réelle d’au moins une portion dudit système complexe (12), à un instant d’acquisition ;
la modification étant l’opération de sélection, ladite portion de l’image virtuelle sélectionnée étant représentative d’un sous-ensemble du système complexe (12), ledit sous-ensemble étant dissimulé sur l’image réelle par un autre sous-ensemble du système complexe (12).
7. - Procédé selon l’une quelconque des revendications 1 à 5, dans lequel la modification est l’opération d’insertion, l’élément inséré étant une annotation ou une image 2D ou 3D.
8. - Procédé selon l’une quelconque des revendications 1 à 7, dans lequel le dispositif mobile (16) est un premier dispositif mobile (16) et l’opérateur est un premier opérateur, le procédé comprenant en outre une étape (222) de fourniture d’un deuxième dispositif mobile (100) similaire au premier dispositif mobile (16), le deuxième dispositif mobile (100) comprenant un deuxième dispositif d’affichage ;
l’étape (208) de communication étant d’une part une étape de communication entre le premier dispositif mobile (16) porté par le premier opérateur et le dispositif de traitement (14) utilisé par l’expert, et d’autre part une étape de communication entre le deuxième dispositif mobile (100) porté par le deuxième opérateur et le dispositif de traitement (14) utilisé par l’expert, l’étape (208) de communication comprenant en outre une sous-étape (228) d’affichage de l’objet représentatif de la modification sur le deuxième dispositif d’affichage du deuxième dispositif mobile (100) porté par le deuxième opérateur.
9. - Procédé selon la revendication 8, pris en combinaison avec la revendication 2, dans lequel le procédé comprend en outre, avant l’étape (208) de communication, une étape (224) de localisation du système complexe (12) dans un repère lié au deuxième dispositif mobile (100) porté par le deuxième opérateur ;
l'étape (208) de communication comprenant en outre une sous-étape (226) de calcul d’une troisième position de ladite portion modifiée dans ledit repère lié au deuxième dispositif mobile (100) porté par le deuxième opérateur à partir de la localisation du système complexe (12) dans ledit repère lié au deuxième dispositif mobile (100), la troisième position correspondant à la première position dans ledit repère lié au deuxième dispositif mobile ;
la sous-étape (228) d’affichage de l’objet représentatif de la modification sur le deuxième dispositif d’affichage comprenant l’affichage dudit objet à ladite troisième position sur le deuxième dispositif d’affichage.
10, - Procédé selon l’une quelconque des revendications 1 à 9, dans lequel le modèle numérique (52) est un modèle généré par un logiciel de conception assistée.
11, - Procédé selon l’une quelconque des revendications 1 à 10, dans lequel le procédé comprend, avant l’étape (208) de communication, une étape (206) de localisation du système complexe (12) dans un repère lié au dispositif mobile (16) porté par l’opérateur, l’étape (208) de communication comprenant en outre :
- une sous-étape (218) de calcul, à un instant de calcul, d’une position effective du dispositif mobile (16) porté par l’opérateur dans un repère dudit modèle numérique (52) lié au système complexe (12), à partir de la localisation du système complexe (12) dans ledit repère lié au dispositif mobile (16); et,
- une sous-étape (220) d’affichage, sur l’unité d’affichage (32) du dispositif de traitement (14), d’une icône représentative de l’opérateur audit instant de calcul, l’icône étant superposée à l’image virtuelle, et affichée à ladite position effective dans le repère dudit modèle numérique (52) lié au système complexe (12).
12, - Procédé selon la revendication 11, prise en combinaison avec l’une quelconque des revendications 8 ou 9, dans lequel le procédé comprend en outre, avant l’étape (208) de communication, une étape (224) de localisation du système complexe (12) dans un repère lié au deuxième dispositif mobile (100) porté par le deuxième opérateur ;
l’étape (208) de communication comprenant en outre :
- une sous-étape (230) de calcul, à un instant de calcul, d’une position effective du deuxième dispositif mobile (100) porté par le deuxième opérateur dans un repère dudit modèle numérique (52) lié au système complexe (12), à partir de la localisation du système complexe (12) dans ledit repère lié au deuxième dispositif mobile (100); et,
- une sous-étape (232) d’affichage, sur l’unité d’affichage (32) du dispositif de traitement (14), d’une deuxième icône représentative du deuxième opérateur audit instant de calcul, la deuxième icône étant superposée à l’image virtuelle, et affichée à ladite position effective du deuxième dispositif mobile (100) dans le repère dudit modèle numérique (52) lié au système complexe (12).
13.- Procédé selon l’une quelconque des revendications 1 à 12, dans lequel le système complexe (12) est au moins une partie d’un aéronef, une zone de travail ou un poste de travail.
5 14,- Procédé selon l’une quelconque des revendications 1 à 13, dans lequel le dispositif mobile (16) est une paire de lunettes, une tablette, un téléphone multifonction ou un ordinateur portable.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1800144A FR3077910B1 (fr) | 2018-02-15 | 2018-02-15 | Procede d'aide a la maintenance d'un systeme complexe |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1800144A FR3077910B1 (fr) | 2018-02-15 | 2018-02-15 | Procede d'aide a la maintenance d'un systeme complexe |
| FR1800144 | 2018-02-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3077910A1 true FR3077910A1 (fr) | 2019-08-16 |
| FR3077910B1 FR3077910B1 (fr) | 2020-09-11 |
Family
ID=62816618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1800144A Active FR3077910B1 (fr) | 2018-02-15 | 2018-02-15 | Procede d'aide a la maintenance d'un systeme complexe |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3077910B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3102255A1 (fr) | 2019-10-17 | 2021-04-23 | Endel | Système de communication pour la maintenance d’un site |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9088787B1 (en) * | 2012-08-13 | 2015-07-21 | Lockheed Martin Corporation | System, method and computer software product for providing visual remote assistance through computing systems |
| US20160292925A1 (en) * | 2015-04-06 | 2016-10-06 | Scope Technologies Us Inc. | Method and appartus for sharing augmented reality applications to multiple clients |
| US20160358383A1 (en) * | 2015-06-05 | 2016-12-08 | Steffen Gauglitz | Systems and methods for augmented reality-based remote collaboration |
| US20170018120A1 (en) * | 2015-07-15 | 2017-01-19 | Oracle International Corporation | System and method for superimposing spatially correlated data over live real-world images |
| US20170280188A1 (en) * | 2016-03-24 | 2017-09-28 | Daqri, Llc | Recording Remote Expert Sessions |
-
2018
- 2018-02-15 FR FR1800144A patent/FR3077910B1/fr active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9088787B1 (en) * | 2012-08-13 | 2015-07-21 | Lockheed Martin Corporation | System, method and computer software product for providing visual remote assistance through computing systems |
| US20160292925A1 (en) * | 2015-04-06 | 2016-10-06 | Scope Technologies Us Inc. | Method and appartus for sharing augmented reality applications to multiple clients |
| US20160358383A1 (en) * | 2015-06-05 | 2016-12-08 | Steffen Gauglitz | Systems and methods for augmented reality-based remote collaboration |
| US20170018120A1 (en) * | 2015-07-15 | 2017-01-19 | Oracle International Corporation | System and method for superimposing spatially correlated data over live real-world images |
| US20170280188A1 (en) * | 2016-03-24 | 2017-09-28 | Daqri, Llc | Recording Remote Expert Sessions |
Non-Patent Citations (1)
| Title |
|---|
| STEFFEN GAUGLITZ ET AL: "Integrating the physical environment into mobile remote collaboration", PROCEEDINGS OF THE 14TH INTERNATIONAL CONFERENCE ON HUMAN-COMPUTER INTERACTION WITH MOBILE DEVICES AND SERVICES, MOBILEHCI '12, 21 September 2012 (2012-09-21) - 25 September 2012 (2012-09-25), New York, New York, USA, pages 241, XP055177228, ISBN: 978-1-45-031105-2, DOI: 10.1145/2371574.2371610 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3102255A1 (fr) | 2019-10-17 | 2021-04-23 | Endel | Système de communication pour la maintenance d’un site |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3077910B1 (fr) | 2020-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11663785B2 (en) | Augmented and virtual reality | |
| US11854149B2 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
| US10169896B2 (en) | Rebuilding images based on historical image data | |
| JP5766795B2 (ja) | 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング | |
| CN107636534A (zh) | 一般球面捕获方法 | |
| US9118970B2 (en) | System and method for embedding and viewing media files within a virtual and augmented reality scene | |
| MX2010012826A (es) | Agregacion de contenido 3d construido en dispositivos. | |
| FR3041804A1 (fr) | Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe | |
| FR2984057A1 (fr) | Systeme de tournage de film video | |
| US10354399B2 (en) | Multi-view back-projection to a light-field | |
| FR3077910A1 (fr) | Procede d'aide a la maintenance d'un systeme complexe | |
| EP3983870B1 (fr) | Système numérique de préparation de mission | |
| WO2014170482A1 (fr) | Procede de generation d'un flux video de sortie a partir d'un flux video large champ | |
| WO2021089437A1 (fr) | Procede de gestion d'une interface d'affichage | |
| FR3104743A1 (fr) | Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants. | |
| FR3039919A1 (fr) | Suivi d’une cible dans un reseau de cameras | |
| EP3724749B1 (fr) | Appareil pour application de réalité augmentée | |
| FR2971074A1 (fr) | Procede et dispositif de traitement de sequences d'images d'une scene et systeme de surveillance d'une scene comportant un tel dispositif | |
| FR2999759A1 (fr) | Procede d'affichage et systeme d'aide a la navigation | |
| FR3013492A1 (fr) | Procede utilisant des donnees de geometrie 3d pour une presentation et une commande d'image de realite virtuelle dans un espace 3d | |
| EP2059903B1 (fr) | Procede et outil de configuration d'au moins un systeme de videosurveillance intelligente | |
| EP1739626B1 (fr) | Procédé pour tracer des objets graphiques virtuels sur des images d'un terrain, notamment un terrain de jeu pour un évènement sportif | |
| FR3018362A1 (fr) | Procede et systeme d'aide a la localisation d'un element d'un systeme complexe, et methode et ensemble d'aide a la maintenance d'un systeme complexe | |
| EP3038354B1 (fr) | Procédé d'affichage d'images ou de vidéos | |
| FR3121251A3 (fr) | Procédé et système informatisés de navigation en réalités virtuelles et programme d’ordinateur |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20190816 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |