FR3023948A1 - Procede d'aide a la maintenance d'un aeronef par realite augmentee. - Google Patents

Procede d'aide a la maintenance d'un aeronef par realite augmentee. Download PDF

Info

Publication number
FR3023948A1
FR3023948A1 FR1457015A FR1457015A FR3023948A1 FR 3023948 A1 FR3023948 A1 FR 3023948A1 FR 1457015 A FR1457015 A FR 1457015A FR 1457015 A FR1457015 A FR 1457015A FR 3023948 A1 FR3023948 A1 FR 3023948A1
Authority
FR
France
Prior art keywords
interest
equipment
display
identifier
selection means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1457015A
Other languages
English (en)
Other versions
FR3023948B1 (fr
Inventor
Siegfried Soldani
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations SAS
Original Assignee
Airbus Operations SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations SAS filed Critical Airbus Operations SAS
Priority to FR1457015A priority Critical patent/FR3023948B1/fr
Priority to US14/805,115 priority patent/US10049111B2/en
Publication of FR3023948A1 publication Critical patent/FR3023948A1/fr
Application granted granted Critical
Publication of FR3023948B1 publication Critical patent/FR3023948B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/40—Maintaining or repairing aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
    • B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
    • B64F5/60—Testing or inspecting aircraft components or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G06Q50/40—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/12—Avionics applications

Abstract

L'invention concerne un procédé d'aide à la maintenance d'un aéronef, mis en œuvre dans un système (100) comprenant : - des moyens de sélection d'affichage (130) ; et - un appareil portatif (120) avec une caméra (121) et des moyens d'affichage en réalité augmentée (122). Le procédé comprend les étapes suivantes : la caméra (121) acquiert des images (Im) d'un équipement de l'aéronef, et les envoie aux moyens de sélection d'affichage (130) ; les moyens de sélection d'affichage (130) identifient l'équipement présent sur ces images, et déterminent son identifiant (Id), dit identifiant utile ; à partir de l'identifiant utile (Id), les moyens de sélection d'affichage (130) envoient aux moyens d'affichage en réalité augmentée (122) des données d'aide à la maintenance ; - en réponse, les moyens d'affichage en réalité augmentée (122) affichent, en réalité augmentée, des images (Do) correspondant auxdites données. L'invention concerne également un dispositif pour mettre en œuvre un tel procédé.

Description

PROCEDE D'AIDE A LA MAINTENANCE D'UN AERONEF PAR REALITE AUGMENTEE. DESCRIPTION DOMAINE TECHNIQUE La présente invention concerne le domaine de l'aide à la maintenance d'un aéronef. ÉTAT DE LA TECHNIQUE ANTÉRIEURE Lorsqu'une panne survient sur un aéronef, le centre de maintenance de la compagnie aérienne en est informé, et prévoit une ou plusieurs opération(s) de maintenance à réaliser sur l'aéronef. Le centre de maintenance de la compagnie aérienne peut également prévoir une ou plusieurs opération(s) de maintenance préventive(s). Chaque opération de maintenance comprend par exemple un remplacement, une manipulation et/ou une réparation d'au moins un équipement de l'aéronef. Un tel équipement est par exemple un frein d'un train d'atterrissage, une roue d'un train d'atterrissage, un système de contrôle de la roue, etc.
Une liste de ces opérations de maintenance est fournie à un technicien pour qu'il réalise ces opérations. L'aéronef est immobilisé pendant toute la durée d'intervention du technicien. La liste des opérations est accompagnée de précisions relatives à chaque opération, pour accompagner le technicien dans sa tâche. Ces précisions comprennent une liste d'étapes élémentaires relatives à chaque opération de la liste. On s'assure ainsi notamment que les étapes élémentaires associées à une opération de maintenance sont mises en oeuvre dans un ordre permettant d'optimiser la durée d'immobilisation de l'aéronef.
Un objectif de la présente invention est de proposer un procédé et un dispositif d'aide à la maintenance d'un aéronef, permettant de réduire encore cette durée d'immobilisation.
EXPOSÉ DE L'INVENTION Cet objectif est atteint avec un procédé d'aide à la maintenance d'un aéronef, mis en oeuvre dans un système comprenant : - des moyens de sélection d'affichage ; et - un appareil portatif comprenant une caméra et des moyens d'affichage en réalité augmentée. Le procédé selon l'invention comprend les étapes suivantes : - la caméra acquiert des images d'un équipement de l'aéronef, et envoie ces images aux moyens de sélection d'affichage ; - les moyens de sélection d'affichage identifient l'équipement présent sur lesdites images, et fournissent un identifiant de l'équipement identifié, dit identifiant utile ; - à partir de cet identifiant utile, les moyens de sélection d'affichage sélectionnent des données d'aide à la maintenance relatives à l'équipement identifié, et envoient ces données aux moyens d'affichage en réalité augmentée ; - en réponse, les moyens d'affichage en réalité augmentée affichent, en réalité augmentée, des images correspondant aux données d'aide à la maintenance. Ainsi, un utilisateur équipé de l'appareil portatif selon l'invention observe 25 une vue d'un équipement, sur laquelle sont superposées les images correspondant aux données d'aide à la maintenance. L'affichage mis en oeuvre par les moyens d'affichage en réalité augmentée permet à l'utilisateur équipé de l'appareil portatif selon l'invention, d'identifier rapidement un équipement sur lequel il doit réaliser au moins une étape d'une opération de maintenance. On réduit ainsi une durée de recherche de cet équipement. En outre, cet affichage permet à cet utilisateur de visualiser aisément des informations relatives à la mise en oeuvre de l'opération de maintenance. On réduit ainsi une durée pour accéder à de telles informations. Ainsi, le procédé d'aide à la maintenance selon l'invention permet de réduire une durée d'immobilisation d'un aéronef sur lequel on réalise une opération de maintenance. De préférence, les moyens de sélection d'affichage mettent en oeuvre les étapes suivantes : - réception d'une liste d'au moins un identifiant d'intérêt, chaque identifiant d'intérêt correspondant à un équipement d'intérêt ; - comparaison entre l'identifiant utile et au moins un identifiant d'intérêt de la liste ; et - sélection et envoi desdites données d'aide à la maintenance, uniquement lorsque l'identifiant utile correspond à un identifiant d'intérêt de la liste. Les moyens de sélection d'affichage mettent avantageusement en oeuvre les étapes suivantes : - réception d'une requête relative à au moins une opération de maintenance à réaliser ; - extraction, à partir de cette requête, de la liste d'au moins un identifiant d'intérêt, un identifiant d'intérêt correspondant à un équipement d'intérêt, et l'équipement d'intérêt formant un équipement associé à une parmi l'au moins une opération de maintenance à réaliser. Les moyens de sélection d'affichage peuvent mettre en oeuvre une extraction, pour chaque identifiant d'intérêt de la liste, et à partir de la requête relative à au moins une opération de maintenance à réaliser, d'une position de l'équipement d'intérêt correspondant. Les moyens de sélection d'affichage peuvent mettre en oeuvre une extraction, pour chaque identifiant d'intérêt de la liste, et à partir de la requête relative à au moins une opération de maintenance à réaliser, de données d'aide à la maintenance correspondantes. De préférence, l'appareil portatif fournit aux moyens de sélection d'affichage une position de l'appareil portatif. L'appareil portatif met avantageusement en oeuvre les étapes suivantes : détermination d'une position brute de l'appareil portatif, relativement à un point de repère ; comparaison entre cette position brute, et une modélisation de l'aéronef ; détermination de la position de l'appareil portatif, relativement audit aéronef. Pour identifier l'équipement présent sur lesdites images, les moyens de sélection d'affichage peuvent sélectionner une liste d'équipements situés à proximité de l'appareil portatif, à partir de la position de l'appareil portatif et des positions des équipements de l'aéronef. Les moyens de sélection d'affichage peuvent mettre en oeuvre une comparaison entre la position de l'appareil portatif et une position d'un équipement d'intérêt, l'équipement d'intérêt correspondant à un identifiant d'intérêt d'une liste d'identifiants d'intérêt telle que les moyens de sélection d'affichage n'envoient les données d'aide à la maintenance que lorsque l'identifiant utile correspond à l'un des identifiants d'intérêt de la liste. De préférence, le procédé selon l'invention comprend alors les étapes suivantes : - les moyens de sélection d'affichage sélectionnent et envoient aux moyens d'affichage en réalité augmentée, des données de guidage vers un équipement d'intérêt ; et les moyens d'affichage en réalité augmentée affichent, en réalité augmentée, des images correspondant à ces données de guidage. Le procédé selon l'invention comprend avantageusement les étapes suivantes : - les moyens de sélection d'affichage sélectionnent et envoient aux moyens d'affichage en réalité augmentée, des données d'alerte relatives à la proximité d'un équipement d'intérêt, lorsque la position de l'appareil portatif correspond à la position d'un équipement d'intérêt ; et - les moyens d'affichage en réalité augmentée affichent, en réalité augmentée, des images correspondant à ces données d'alerte.
Le procédé selon l'invention peut comprendre une étape de formulation, par un opérateur humain et à l'aide d'une interface homme-machine, de la requête relative à au moins une opération de maintenance à réaliser. Le procédé selon l'invention peut comprendre une étape d'envoi, par un centre de maintenance, de la requête relative à au moins une opération de maintenance à réaliser. L'invention concerne également un système d'aide à la maintenance d'un aéronef, comprenant : des moyens de sélection d'affichage ; et un appareil portatif comprenant une caméra et des moyens d'affichage en réalité augmentée. Selon l'invention, le système présente les caractéristiques suivantes : la caméra est reliée aux moyens de sélection d'affichage, et agencée pour acquérir des images et pour envoyer ces images aux moyens de sélection d'affichage ; - les moyens de sélection d'affichage sont reliés à la caméra et aux moyens d'affichage en réalité augmentée, et sont agencés pour identifier un équipement de l'aéronef présent sur lesdites images, déterminer un identifiant de l'équipement identifié, dit identifiant utile, sélectionner des données d'aide à la maintenance relatives à l'équipement identifié à partir de l'identifiant utile, et envoyer ces données aux moyens d'affichage en réalité augmentée ; et les moyens d'affichage en réalité augmentée sont agencés pour recevoir ces données d'aide à la maintenance et, en réponse, afficher en réalité augmentée des images correspondant à ces données d'aide à la maintenance. De préférence, les moyens de sélection d'affichage comprennent : - des moyens de reconnaissance de forme, agencés pour identifier l'équipement de l'aéronef à partir des images acquises par la caméra, et fournissant en sortie l'identifiant utile ; et un module de sélection d'affichage, recevant en entrée l'identifiant utile, et, en réponse, fournissant aux moyens d'affichage en réalité augmentée les données d'aide à la maintenance relatives à l'équipement identifié. BRÈVE DESCRIPTION DES DESSINS La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation donnés à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés sur lesquels : la figure 1 illustre de manière schématique un premier mode de réalisation d'un système d'aide à la maintenance selon l'invention ; les figures 2A et 2B illustrent de manière schématique un premier mode de réalisation d'un procédé d'aide à la maintenance selon l'invention ; - les figures 3A et 3B illustrent de manière schématique un deuxième mode de réalisation d'un système et un procédé selon l'invention ; les figures 4A et 4B illustrent de manière schématique un troisième mode de réalisation d'un système et un procédé selon l'invention ; la figure 5 illustre de manière schématique un détail d'un quatrième mode de réalisation d'un système selon l'invention, associé à un quatrième mode de réalisation d'un procédé selon l'invention ; la figure 6 illustre de manière schématique un cinquième mode de réalisation d'un système selon l'invention, associé à un cinquième mode de réalisation d'un procédé selon l'invention ; et la figure 7 illustre de manière schématique un détail d'un sixième mode de réalisation d'un procédé selon l'invention, associé à un sixième mode de réalisation d'un système selon l'invention.
EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS La figure 1 illustre de manière schématique un premier mode de réalisation d'un système 100 selon l'invention d'aide à la maintenance d'un aéronef. Le système 100 selon l'invention comprend un appareil portatif 120, et des moyens de sélection d'affichage 130.
L'appareil portatif 120 et les moyens de sélection d'affichage 130 sont en communication l'un avec l'autre, par exemple une communication non filaire. L'appareil portatif 120 comprend une caméra 121 et des moyens d'affichage en réalité augmentée 122. Les moyens d'affichage en réalité augmentée 122 désignent tout dispositif, tel qu'un observateur observe une vue d'un environnement qui l'entoure, sur laquelle sont superposées des données graphiques relatives à cet environnement. Ces données graphiques peuvent comprendre un texte, des symboles, ou tout autre visuel, et peuvent être nommées simplement « images ». Il peut s'agir d'une superposition en transparence.
En particulier, les moyens d'affichage en réalité augmentée 122 peuvent désigner : - un dispositif comprenant un projecteur, projetant ces données graphiques directement sur l'environnement qui l'entoure ; - un dispositif comprenant un micro-écran et des moyens de projection vers l'oeil d'un utilisateur (par exemple lunettes de vision en réalité augmentée), de sorte que l'utilisateur équipé de ce dispositif et observant un environnement visualise à la fois cet environnement et une image provenant du micro-écran ; ou - un dispositif comprenant des moyens d'affichage, affichant une image de l'environnement qui l'entoure sur laquelle sont superposées lesdites données graphiques (ordinateur muni d'un écran et d'une caméra, par exemple un ordinateur portable, une tablette numérique, un téléphone intelligent, etc.). L'utilisateur désigne ici un opérateur humain, en particulier un technicien.
L'appareil 120 est dit portatif, car il présente un encombrement réduit, par exemple inférieur à 0,05 m3, et un poids réduit, par exemple inférieur à 5 kg. Il peut être porté à la main, ou embarqué sur l'utilisateur sous la forme par exemple de lunettes. Les moyens de sélection d'affichage 130 désignent des moyens de calcul comprenant notamment un processeur, par exemple un microprocesseur. Le système 100 selon l'invention peut être formé par exemple par : - un appareil de type ordinateur, notamment un ordinateur portable, une tablette numérique, un téléphone intelligent, comprenant une caméra miniature, des moyens d'affichage (moyens d'affichage en réalité augmentée 122) et un processeur (moyens de sélection d'affichage 130) ; - un appareil de type ordinateur, notamment un ordinateur portable, une tablette numérique, un téléphone intelligent, comprenant une caméra miniature, un projecteur (moyens d'affichage en réalité augmentée 122) et un processeur (moyens de sélection d'affichage 130) ; ou - des lunettes ou un casque de vision en réalité augmentée (moyens d'affichage en réalité augmentée 122) muni(es) d'une caméra, et relié(es) par liaison filaire ou non filaire à un processeur (moyens de sélection d'affichage 130).
La caméra 121 est adaptée à acquérir au moins une image lm d'un environnement externe situé notamment à l'intérieur d'un aéronef (non représenté). En particulier, la caméra 121 est adaptée à acquérir des images d'un équipement de l'aéronef.
Les moyens de sélection d'affichage 130 peuvent également être portatifs. Ils peuvent être formés d'un seul tenant avec l'appareil portatif, ou être déportés et en communication notamment non filaire avec l'appareil portatif. Les moyens de sélection d'affichage 130 tels que représentés en figure 1 comprennent des moyens de reconnaissance de forme 131, et un module de sélection d'affichage 132. La caméra 121 est en communication avec les moyens de sélection d'affichage 130, pour leur transmettre lesdites images acquises. Au sein des moyens de sélection d'affichage, ces images sont traitées plus particulièrement par des moyens de reconnaissance de forme 131.
Les moyens de sélection d'affichage 130 sont adaptés à identifier, sur au moins une image acquise par la caméra 121, un équipement de l'aéronef, et déterminer un identifiant de cet équipement. Dans l'exemple représenté en figure 1, ce sont en particulier les moyens de reconnaissance de forme 131 qui sont adaptés à réaliser une telle identification.
Pour cela, les moyens de reconnaissance de forme 131 comprennent une base de données, regroupant des données notamment géométriques relatives à une pluralité d'équipements pouvant être présents dans l'aéronef. Dans la base de données, chaque équipement est associé à un identifiant. Les moyens de reconnaissance de forme reçoivent donc en entrée au moins une image acquise par la caméra 121, et fournissent en sortie un identifiant Id d'un équipement présent sur l'image, dit identifiant utile. Cette identification est réalisée en temps réel. A partir de l'identifiant Id, les moyens de sélection d'affichage 130 sélectionnent des données d'aide à la maintenance relatives à l'équipement identifié. En particulier, l'identifiant Id est transmis à un module de sélection d'affichage 132 qui fournit, en réponse, lesdites données d'aide à la maintenance. Le module de sélection d'affichage 132 comprend par exemple une base de données dans laquelle chaque identifiant d'équipement est associé à des données d'aide à la maintenance relatives à cet équipement. Les données d'aide à la maintenance relatives à un équipement comprennent avantageusement des détails sur l'équipement lui-même, notamment son identification (par exemple son identifiant FIN, pour « Functional Item Number »). Elles peuvent également comprendre d'autres données comme : des consignes de manipulation de l'équipement ; une liste d'étapes élémentaires à mettre en oeuvre lorsqu'une opération de maintenance doit être réalisée sur cet équipement, par exemple des étapes élémentaires à mettre en oeuvre lorsqu'on souhaite remplacer cet équipement, le déplacer, tester son bon fonctionnement, etc. ; des animations explicatives en trois dimensions, une vue d'autres équipements situés derrière, afin d'éviter à un utilisateur de démonter un équipement tel qu'un panneau pour localiser d'autres équipements non visibles directement, etc.
Les moyens de sélection d'affichage 130 sont en communication avec les moyens d'affichage en réalité augmentée 122, pour leur transmettre ces données d'aide à la maintenance. En particulier, le module de sélection d'affichage 132 est en communication avec les moyens d'affichage en réalité augmentée 122, pour leur transmettre ces données d'aide à la maintenance. A partir de ces données d'aide à la maintenance, les moyens d'affichage en réalité augmentée 122 affichent, en réalité augmentée, des images Do correspondant à ces données d'aide à la maintenance.
En particulier, les moyens d'affichage en réalité augmentée affichent les images correspondant à ces données d'aide à la maintenance de sorte qu'un utilisateur observe une vue de l'équipement identifié, sur laquelle sont superposées lesdites images. L'affichage en réalité augmentée peut prendre différentes formes, comme précisé ci-avant : lesdites images peuvent être projetées directement sur l'équipement lui-même, par un projecteur ; lesdites images peuvent être affichées sur un micro-écran de lunettes de vision en réalité augmentée, et projetées dans le champ de vision de l'utilisateur de sorte que cet utilisateur voie l'équipement avec lesdites images s'affichant en transparence sur la vue de l'équipement ; lesdites images peuvent être intégrées dans une image de l'équipement affichée par un écran tel qu'un écran d'une tablette numérique. Les images correspondant aux données d'aide à la maintenance peuvent comprendre un texte, une animation en trois dimensions, un schéma, etc. L'affichage en réalité augmentée comprend de préférence la mise en oeuvre d'un suivi de l'équipement identifié, généralement nommé « tracking ». Ainsi, une image correspondant aux données d'aide à la maintenance reste superposée à une vue de l'équipement identifié, peu importe les mouvements de la caméra.
Le système 100, notamment l'appareil portatif 120, peut comprendre une interface homme-machine (non représentée). Un utilisateur peut ainsi formuler et envoyer, à destination du module de sélection d'affichage 132, une requête relative à l'affichage d'une parmi plusieurs images correspondant à des données d'aide à la maintenance. Par exemple, l'utilisateur peut formuler une requête pour demander l'affichage d'informations pour l'aider à remplacer l'équipement, ou à réparer telle ou telle partie de l'équipement, etc. Les données d'aide à la maintenance affichées peuvent être relatives à une opération de maintenance à réaliser, ou relatives à toutes les opérations de maintenance qu'il est possible de réaliser sur l'équipement. Les figures 2A et 2B illustrent de manière schématique un premier mode de réalisation d'un procédé, mis en oeuvre en particulier dans le système 100 représenté en figure 1.
La figure 2B illustre le procédé selon l'invention sous la forme d'un organigramme. La figure 2A relie chaque étape de l'organigramme aux éléments du système 100. La figure 2A correspond à la figure 1 (en pointillés), sur laquelle sont ajoutés les éléments de l'organigramme représenté en figure 2B. Le procédé selon l'invention comprend les étapes suivantes : - la caméra 121 enregistre l'image lm d'un équipement de l'aéronef, et envoie cette image aux moyens de sélection d'affichage 130 (étape 201) ; - les moyens de sélection d'affichage 130 identifient l'équipement présent sur l'image lm, et déterminent l'identifiant Id de cet équipement, dit identifiant utile (étape 202) ; à partir de l'identifiant Id, les moyens de sélection d'affichage 130 sélectionnent les données d'aide à la maintenance relatives à l'équipement identifié, et envoient ces données aux moyens d'affichage en réalité augmentée 122 (étape 203) ; et - les moyens d'affichage en réalité augmentée 122 reçoivent ces données, et affichent en réponse, en réalité augmentée, les images correspondant à ces données d'aide à la maintenance.
On va maintenant décrire, en référence aux figures 3A et 3B, un deuxième mode de réalisation respectivement d'un système et un procédé selon l'invention. Le système 300 ne sera décrit que pour ses différences relativement au système 100 illustré en figure 1. Il en est de même pour le procédé. Les références numériques de la figure 3A correspondent aux références numériques de la figure 1, le chiffre des centaines étant remplacé par un 3. Les références numériques 301, 302, 304 de la figure 3B correspondent aux références numériques 101, 102, 104 de la figure 2B.
Dans le système 300 selon l'invention, les moyens de sélection d'affichage 330 sont agencés pour recevoir une liste Li d'au moins un identifiant d'intérêt, chaque identifiant d'intérêt étant associé à un équipement d'intérêt (étape 3001). Les moyens de sélection d'affichage 330 comprennent une mémoire, pour stocker la liste Li, et des moyens de communication avec un dispositif externe fournissant la liste Li. Le dispositif externe peut consister en une interface homme machine à partir de laquelle un utilisateur formule la liste Li, ou un centre de maintenance ayant préalablement établi la liste en fonction par exemple de messages de panne transmis par l'aéronef. Les équipements d'intérêt de la liste correspondent à une liste d'équipements devant être contrôlés, manipulés, remplacés, ou réparés. Cette liste est reçue en particulier par le module de sélection d'affichage 332. Le module de sélection d'affichage 332 est agencé pour comparer l'identifiant utile Id, et au moins un identifiant d'intérêt de la liste Li (étape 3002). De préférence, le module de sélection d'affichage 332 est agencé pour comparer l'identifiant utile Id, et chacun des identifiants d'intérêt. En variante, le module de sélection d'affichage peut recevoir des données lui permettant de présélectionner une sous liste d'identifiants d'intérêt pouvant correspondre à l'identifiant utile, par exemple en fonction de données de géolocalisation.
Le module de sélection d'affichage 332 sélectionne et fournit des données d'aide à la maintenance, uniquement lorsque l'identifiant utile est identique à l'un des identifiants d'intérêt de la liste (étape 3003). Ainsi, ce deuxième mode de réalisation de l'invention permet de n'afficher des données d'aide à la maintenance que pour un nombre réduit d'équipements, correspondant aux seuls équipements devant être manipulés, inspectés, réparés ou remplacés. On limite ainsi une quantité d'informations affichées. L'efficacité de l'aide fournie pour la maintenance de l'aéronef est ainsi améliorée.
On va maintenant décrire, en référence aux figures 4A et 4B, un troisième mode de réalisation respectivement d'un système et un procédé selon l'invention. Le système 400 ne sera décrit que pour ses différences relativement au système 100 tel qu'illustré en figure 1. Les références numériques de la figure 4A correspondent aux références numériques de la figure 1, le chiffre des centaines étant remplacé par un 4. La référence numérique 401 de la figure 4B correspond à la référence numérique 101 de la figure 2B. Dans le système 400 selon l'invention, les moyens de sélection d'affichage 430 sont agencés pour recevoir une requête Re, relative à au moins une opération de maintenance à réaliser (étape 4011). Pour cela, les moyens de sélection d'affichage 430 comprennent une mémoire, pour stocker la requête Re, et des moyens de communication avec un dispositif externe fournissant la requête Re. Le dispositif externe peut consister en une interface homme machine à partir de laquelle un utilisateur formule la requête Re, ou un centre de maintenance ayant préalablement établi la requête en fonction par exemple de messages de panne transmis par l'aéronef. La requête Re correspond à une liste d'opérations de maintenance formée par exemple d'une série de fichiers informatiques, chacun relatif à une opération de maintenance.
La requête Re contient diverses informations relatives à chaque opération de maintenance à laquelle elle se rapporte. Ces informations comprennent par exemple une liste d'au moins un identifiant d'intérêt, chaque identifiant d'intérêt correspondant à un équipement devant être manipulé, remplacé, réparé pour la mise en oeuvre d'au moins une des opérations de maintenance associées à la requête Re. Ces informations peuvent également comprendre une liste des positions de chacun de ces équipements. Ces informations peuvent également comprendre des données d'aide à la maintenance relatives à chacun de ces équipements.
Cette requête Re est reçue en particulier par un module d'extraction 433. Le module d'extraction 433 est agencé pour analyser la requête Re, et en extraire au moins une information parmi : la liste des identifiants d'intérêt L,d, chaque identifiant d'intérêt correspondant à un équipement concerné par au moins une opération de maintenance associée à la requête Re, dit équipement d'intérêt (étape 4012) ; l'ensemble E des données d'aide à la maintenance relatives à chacun de ces équipements, les données étant classées dans l'ensemble E selon l'équipement concerné (étape 4013) ; la liste Lpc,, des positions de chacun de ces équipements (étape 4014).
De préférence, chaque position de la liste 40, correspond simplement à l'indication d'une zone de l'aéronef dans laquelle se trouve l'équipement (par exemple baie avionique, soute, etc). Sur les figures 4A et 4B, on a représenté l'exemple dans lequel le module d'extraction fournit ces trois informations, mais on pourra mettre en oeuvre des variantes ne comprenant l'extraction que d'une ou deux parmi ces trois informations. Les étapes 4012, 4013 et 4014 sont avantageusement réalisées en parallèle.
L'appareil portatif 420 comprend un module de géolocalisation 423, adapté à calculer une position de l'appareil portatif, en particulier une position relativement à l'aéronef. Le module de géolocalisation 423 fournit cette position aux moyens de sélection d'affichage (étape 4001), en particulier au module de sélection d'affichage 432 et aux moyens de reconnaissance de forme 431. La position de l'appareil portatif peut correspondre à une position relativement à un point de repère, par exemple un point de repère dans l'aéronef. Selon une variante préférée, la position de l'appareil portatif correspond simplement à l'indication d'une zone de l'aéronef dans laquelle se trouve l'appareil portatif (par exemple baie avionique, soute, etc.). Il s'agit avantageusement de mêmes zones que celles utilisées pour définir les positions des équipements d'intérêt. Le module de géolocalisation peut comprendre des moyens de lecture d'un marqueur tel qu'une puce RFID, un code barre, un code QR, etc. De tels marqueurs sont répartis dans les différentes zones de l'aéronef, permettant ainsi de déterminer la zone de l'aéronef dans laquelle se trouve l'appareil portatif, par simple lecture d'un de ces marqueurs. Un autre exemple d'un module de géolocalisation sera décrit en détail en référence à la figure 5. Les moyens de reconnaissance de forme 431 sont agencés pour identifier l'équipement présent sur une image lm fournie par la caméra, en prenant en compte la position de l'appareil portatif de façon à pour sélectionner une liste restreinte d'équipements pouvant correspondre à l'équipement présent sur ladite image (étape 4021). Par exemple, la base de données stockées par les moyens de reconnaissance de forme 431 associe en outre chaque équipement à une position dans l'aéronef. En particulier, chaque équipement est associé à une zone de l'aéronef telle que définie ci-avant. Ainsi, les moyens de reconnaissance de forme peuvent déterminer une liste restreinte d'équipements situés dans la même zone que l'appareil portatif, puis mettre en oeuvre une reconnaissance de forme. Les calculs mis en oeuvre sont donc grandement simplifiés. Les informations L,d, 40, et E sont fournies au module de sélection d'affichage 432. Si le module de sélection d'affichage 432 reçoit l'ensemble E tel que défini ci-dessus, il n'est pas forcément nécessaire que ce module comprenne une base de données dans laquelle chaque identifiant d'équipement est associé à des données d'aide à la maintenance. Le module de sélection d'affichage 332 est agencé pour comparer l'identifiant utile Id, et au moins un identifiant d'intérêt de la liste Lid (étape 4002).
Avantageusement, le module de sélection d'affichage 432 est également agencé pour comparer la position de l'appareil portatif, et une position d'un équipement d'intérêt, fournie par la liste Lpc,, (étape 4022). Cette comparaison compare de préférence des positions correspondant chacune à une zone de l'aéronef. Le résultat de cette comparaison indique alors si l'appareil portatif et l'équipement se trouvent ou non dans la même zone de l'aéronef. Le résultat de cette comparaison peut être utilisé par le module de sélection d'affichage de différentes façons, comme détaillé ci-dessous. De préférence, l'étape 4022 comprend la comparaison entre la position de l'appareil portatif, et chacune des positions d'un équipement d'intérêt telles que fournies par la liste 405.
Le module de sélection d'affichage 332 sélectionne des données, et les fournit aux moyens d'affichage en réalité augmentée (étape 4033). On peut prévoir en particulier trois cas : un équipement est présent sur l'image fournie par la caméra, identifié, et correspond à l'un des équipements d'intérêt associés à la liste Lid.
Dans ce cas, les moyens de sélection d'affichage sélectionnent et envoient des données d'aide à la maintenance relatives à cet équipement (voir étape 3003, figure 3B). Le cas échéant, ces données proviennent de l'ensemble E tel que défini ci-dessus. - aucun équipement correspondant à l'un des équipements d'intérêt associés à la liste Lid n'est identifié à partir de l'image fournie par la caméra, et l'étape 4022 indique qu'un équipement d'intérêt est cependant proche de l'appareil portatif. Dans ce cas, les moyens de sélection d'affichage sélectionnent et envoient des données d'alerte, pour avertir un utilisateur qu'il se trouve à proximité de cet équipement. - aucun équipement correspondant à l'un des équipements d'intérêt associés à la liste Lid n'est identifié à partir de l'image fournie par la caméra, et l'étape 4022 indique qu'aucun équipement d'intérêt n'est proche de l'appareil portatif. Dans ce cas, les moyens de sélection d'affichage sélectionnent et envoient des données de guidage, pour guider un utilisateur vers un équipement d'intérêt, par exemple le plus proche, ou le prochain devant être manipulé selon un ordre conseillé de manipulation des équipements concernés par les opérations de maintenance. Pour la mise en oeuvre de ce guidage, le module de sélection d'affichage 332 utilise un plan de l'aéronef, notamment une modélisation en trois dimensions de l'aéronef, stockée dans une mémoire des moyens de sélection d'affichage. Ensuite, dans une étape 4044, les moyens d'affichage en réalité augmentée 422 affichent en réalité augmentée, selon le cas : - des images correspondant aux données d'aide à la maintenance reçues (voir étape 204, figure 2B) ; - des images correspondant aux données d'alerte reçues, par exemple un symbole clignotant, pour avertir l'utilisateur qu'il se trouve à proximité d'un équipement d'intérêt ; - des images correspondant aux données de guidage reçues, par exemple un symbole tel qu'une flèche, pour guider un utilisateur vers un équipement d'intérêt, par exemple le plus proche.
Les moyens de sélection d'affichage peuvent mettre en oeuvre un classement des identifiants d'intérêt, en fonction des positions respectives des équipements d'intérêt correspondant et d'un plan de l'aéronef. Ce classement est adapté à minimiser la longueur du parcours de l'utilisateur dans l'aéronef lorsqu'il est guidé d'un équipement d'intérêt à un autre. Les moyens de sélection d'affichage peuvent mettre en oeuvre un classement des identifiants d'intérêt en fonction de l'opération de maintenance correspondante, de sorte qu'un utilisateur ne commence une nouvelle opération de maintenance qu'après avoir achevé une opération de maintenance précédemment commencée. Ce mode de réalisation de l'invention permet d'offrir à un utilisateur un affichage adapté à des opérations de maintenance à réaliser, et à sa position. La maintenance est ainsi encore facilitée, et sa durée réduite. Ce mode de réalisation est particulièrement complet, et on pourra facilement envisager de nombreuses variantes dans lesquelles seulement une partie des étapes et modules décrits sont mis en oeuvre, par exemple l'extraction et l'utilisation de seulement certaines données à partir d'une requête relative à au moins une opération de maintenance à réaliser.
La figure 5 illustre un exemple particulier de module de géolocalisation 523, tel que mentionné en référence à la figure 4A. La figure 5 permet également d'illustrer des sous-étapes d'une étape 4001 telle que mentionnée à propos de la figure 4B, au cours de laquelle l'appareil portatif 420 fournit sa position, aux moyens de sélection d'affichage 430.
Le module de géolocalisation 523 comprend : - des moyens de géolocalisation 5231, fournissant une position de l'appareil portatif relativement à un point de repère fixe, dite position brute. Ces moyens comprennent par exemple un dispositif de navigation par satellite de type GPS. Ces moyens correspondent à une sous-étape de détermination de ladite position brute ; une mémoire 5232, recevant une modélisation en trois dimensions de l'aéronef. Cette mémoire correspond à une sous-étape de comparaison entre la position brute et la modélisation ; et - des moyens de comparaison 5233 recevant en entrée la position brute et la modélisation, et fournissant en sortie la position P de l'appareil portatif relativement à l'aéronef. Ces moyens correspondent à une sous-étape de détermination de la position de l'appareil portatif.
La figure 6 illustre de manière schématique un cinquième mode de réalisation d'un système 600 selon l'invention, associé à un cinquième mode de réalisation d'un procédé selon l'invention. Le système 600 ne sera décrit que pour ses différences relativement au système 100 tel qu'illustré en figure 1. Les références numériques de la figure 6 correspondent aux références numériques de la figure 1, le chiffre des centaines étant remplacé par un 6. Selon ce mode de réalisation, les moyens de sélection d'affichage 630 comprennent des moyens de communication (non représentés) avec un centre de maintenance 640. Le centre de maintenance envoie aux moyens de sélection d'affichage 630 une requête Re telle que définie à propos des figures 4A et 4B. La communication peut être une communication non filaire (par exemple wifi). En variante, la communication est mise en oeuvre par un contact direct entre un point de contact des moyens de sélection d'affichage 630, et une borne de chargement de la requête, située dans le centre de maintenance. Cette requête peut être accompagnée de données de guidage vers l'aéronef concerné par les opérations de maintenance à réaliser. Ainsi, les moyens d'affichage en réalité augmentée peuvent afficher, en réalité augmentée, des images correspondant à ces données de guidage pour amener l'utilisateur vers l'aéronef.
Le procédé mis en oeuvre dans le système 600 comprend un envoi, par le centre de maintenance 640 et à destination des moyens de sélection d'affichage 630, d'au moins une requête Re. La requête Re est ensuite stockée dans une mémoire 634 des moyens de sélection d'affichage 630. La mémoire 634 permet de stocker une liste de plusieurs requêtes Re, par exemple pour qu'un utilisateur réalise ensuite la maintenance de plusieurs aéronefs. La mémoire 634 transmet une première requête à des moyens d'extractions 633. Les moyens d'extraction 633 fournissent notamment la liste L,d, telle que décrite en référence aux figures 4A et 4B. Les moyens de sélection d'affichage 630 comprennent également des moyens 635 pour formuler une requête Re. Les moyens 635 comprennent notamment une interface homme-machine, recevant des données d'entrées Din fournies par un utilisateur, et formulant la requête Re à partir de ces données d'entrée Din. Le procédé mis en oeuvre dans le système 600 peut alors comprendre une étape au cours de laquelle l'utilisateur envoie des données Din aux moyens 635, grâce à une interface homme-machine desdits moyens 635. Par exemple, l'utilisateur consulte le journal de bord (ou « logbook ») d'un aéronef. Ce journal de bord compile les incidents survenus précédement dans l'aéronef. L'utilisateur en déduit des opérations de maintenance à réaliser. Il pilote alors en conséquence la formulation de la requête Re, pour être ensuite assisté dans la mise en oeuvre desdites opérations. En variante, l'utilisateur réalise les opérations de maintenance correspondant à une requête fournie par le centre de maintenance, et constate qu'une panne persiste. Il peut alors en déduire une nouvelle opération de maintenance à réaliser, et piloter en conséquence la formulation d'une nouvelle requête Re.
La figure 7 illustre de manière schématique un détail d'un sixième mode de réalisation d'un procédé selon l'invention, associé à un sixième mode de réalisation d'un système selon l'invention. Ce sixième mode de réalisation est un perfectionnement du mode de réalisation de la figure 4B.
Les références numériques 7011 et 7001 correspondent aux références numériques 4011 et 4001 de la figure 4B. La requête Re reçue à l'étape 7011 correspond à une liste de plusieurs opérations de maintenance, chacune associée à une position d'intérêt. Ladite position d'intérêt peut correspondre en particulier à une zone de l'aéronef dans laquelle se trouvent tous les équipements relatifs à l'opération de maintenance. Dans une étape 7015, les moyens de sélection d'affichage extraient de la requête Re les positions d'intérêt associées à chaque opération de maintenance, et classent les opérations de maintenance en fonction de leur position d'intérêt et à partir d'une modélisation de l'aéronef. Ce classement vise par exemple à minimiser un parcours de l'utilisateur dans l'aéronef. Le système correspondant comprend alors un module d'extraction et un module de classement appartenant aux moyens de sélection d'affichage, et adaptés à mettre en oeuvre l'étape 7015. Dans une étape 7023, les moyens de sélection d'affichage comparent la position de l'appareil portatif reçu à l'étape 7001, et les positions d'intérêt considérées dans l'ordre du classement. Les moyens de sélection d'affichage sélectionnent et envoient des données de guidage, pour guider un utilisateur d'une zone de l'aéronef à la suivante, afin que l'utilisateur mette en oeuvre les opérations de maintenance dans l'ordre du classement. A l'étape 7044, les moyens d'affichage en réalité augmentée reçoivent ces 25 données. En réponse, ils affichent en réalité augmentée des images correspondant à ces données de guidage. Ces étapes peuvent par exemple être intégrées à un procédé tel que décrit en référence à la figure 4B, de façon à définir les trois cas suivants : - l'appareil portatif ne se trouve pas à la position d'intérêt correspondant à la prochaine opération de maintenance à réaliser, selon l'ordre du classement : les moyens de sélection d'affichage sélectionnent et envoient des données de guidage vers cette position d'intérêt ; - l'appareil portatif se trouve à ladite position d'intérêt, et aucun équipement associé à l'opération de maintenance correspondante n'est identifié : les moyens de sélection d'affichage sélectionnent et envoient des données d'alerte informant qu'un tel équipement est proche ; l'appareil portatif se trouve à ladite position d'intérêt, et un équipement associé à l'opération de maintenance correspondante est identifié : les moyens de sélection d'affichage sélectionnent et envoient des données d'aide à la maintenance relatives à cet équipement. L'invention n'est pas limitée aux exemples décrits. En outre, on pourra facilement réaliser de nombreuses variantes mettant en oeuvre seulement une partie des éléments décrits, tant que les éléments essentiels de l'invention sont mis en oeuvre.

Claims (15)

  1. REVENDICATIONS1. Procédé d'aide à la maintenance d'un aéronef, caractérisé en ce qu'il est mis en oeuvre dans un système (100 ; 300 ; 400 ; 600) comprenant : des moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) ; et un appareil portatif (120; 320; 420; 620) comprenant une caméra (121; 321 ; 421; 621) et des moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622) ; et en ce que le procédé comprend les étapes suivantes : la caméra (121 ; 321; 421 ; 621) acquiert des images (lm) d'un équipement de l'aéronef, et envoie ces images aux moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) ; les moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) identifient l'équipement présent sur lesdites images, et déterminent un identifiant (Id) de l'équipement identifié, dit identifiant utile ; à partir de cet identifiant utile (Id), les moyens de sélection d'affichage (130; 330; 430; 630) sélectionnent des données d'aide à la maintenance relatives à l'équipement identifié, et envoient ces données aux moyens d'affichage en réalité augmentée ; 2 0 en réponse, les moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622) affichent, en réalité augmentée, des images (Do) correspondant aux données d'aide à la maintenance.
  2. 2. Procédé selon la revendication 1, caractérisé en ce que les moyens de 25 sélection d'affichage (330; 430; 630) mettent en oeuvre les étapes suivantes : réception d'une liste (Li ; Lid) d'au moins un identifiant d'intérêt, chaque identifiant d'intérêt correspondant à un équipement d'intérêt ; comparaison entre l'identifiant utile (Id) et au moins un identifiant d'intérêt de la liste ; etsélection et envoi desdites données d'aide à la maintenance, uniquement lorsque l'identifiant utile (Id) correspond à un identifiant d'intérêt de la liste (Li ; Lid).
  3. 3. Procédé selon la revendication 2, caractérisé en ce que les moyens de sélection d'affichage (430 ; 630) mettent en oeuvre les étapes suivantes : réception d'une requête (Re) relative à au moins une opération de maintenance à réaliser ; extraction, à partir de cette requête (Re), de la liste (Ltd) d'au moins un identifiant d'intérêt, un identifiant d'intérêt correspondant à un équipement d'intérêt, et l'équipement d'intérêt formant un équipement associé à une parmi l'au moins une opération de maintenance à réaliser.
  4. 4. Procédé selon la revendication 3, caractérisé en ce que les moyens de sélection d'affichage (430) mettent en oeuvre une extraction, pour chaque identifiant d'intérêt de la liste, et à partir de la requête (Re) relative à au moins une opération de maintenance à réaliser, d'une position de l'équipement d'intérêt correspondant.
  5. 5. Procédé selon la revendication 3 ou 4, caractérisé en ce que les moyens de sélection d'affichage (430) mettent en oeuvre une extraction, pour chaque identifiant d'intérêt de la liste, et à partir de la requête (Re) relative à au moins une opération de maintenance à réaliser, de données d'aide à la maintenance correspondantes.
  6. 6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce que l'appareil portatif (420) fournit aux moyens de sélection d'affichage (430) une position de l'appareil portatif.
  7. 7. Procédé selon la revendication 6, caractérisé en ce que l'appareil portatif (420) met en oeuvre les étapes suivantes : détermination d'une position brute de l'appareil portatif, relativement à un point de repère ; comparaison entre cette position brute, et une modélisation de l'aéronef ; détermination de la position (P) de l'appareil portatif, relativement audit aéronef.
  8. 8. Procédé selon la revendication 6 ou 7, caractérisé en ce que pour identifier l'équipement présent sur lesdites images, les moyens de sélection d'affichage (430) sélectionnent une liste d'équipements situés à proximité de l'appareil portatif, à partir de la position (P) de l'appareil portatif et des positions des équipements de l'aéronef.
  9. 9. Procédé selon l'une quelconque des revendications 6 à 8, caractérisé en ce que les moyens de sélection d'affichage (430) mettent en oeuvre une comparaison entre la position (P) de l'appareil portatif et une position d'un équipement d'intérêt, l'équipement d'intérêt correspondant à un identifiant d'intérêt d'une liste (Li ; L,d) d'identifiants d'intérêt telle que les moyens de sélection d'affichage n'envoient les données d'aide à la maintenance que lorsque l'identifiant utile (Id) correspond à l'un des identifiants d'intérêt de la liste.
  10. 10. Procédé selon la revendication 9, caractérisé en ce que : les moyens de sélection d'affichage (430) sélectionnent et envoient aux moyens d'affichage en réalité augmentée (422), des données de guidage vers un équipement d'intérêt ; et les moyens d'affichage en réalité augmentée affichent, en réalité augmentée, des images (Do) correspondant à ces données de guidage.
  11. 11. Procédé selon la revendication 9 ou 10, caractérisé en ce que : les moyens de sélection d'affichage (430) sélectionnent et envoient aux moyens d'affichage en réalité augmentée (422), des données d'alerte relatives à la proximité d'un équipement d'intérêt, lorsque la position (P) de l'appareil portatif correspond à la position d'un équipement d'intérêt ; et les moyens d'affichage en réalité augmentée (422) affichent, en réalité augmentée, des images correspondant à ces données d'alerte.
  12. 12. Procédé selon l'une quelconque des revendications 3 à 11, caractérisé en ce qu'il comprend une étape de formulation, par un opérateur humain et à l'aide d'une interface homme-machine (635), de la requête (Re) relative à au moins une opération de maintenance à réaliser.
  13. 13. Procédé selon l'une quelconque des revendications 3 à 12, caractérisé en ce qu'il comprend une étape d'envoi, par un centre de maintenance (640), de la requête (Re) relative à au moins une opération de maintenance à réaliser.
  14. 14. Système (100 ; 300 ; 400 ; 600) d'aide à la maintenance d'un aéronef, comprenant : des moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) ; et un appareil portatif (120; 320; 420; 620) comprenant une caméra (121; 321 ; 421; 621) et des moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622) ; caractérisé en ce que : la caméra (121 ; 321 ; 421; 621) est reliée aux moyens de sélection d'affichage (130 ; 330 ; 430 ; 630), et agencée pour acquérir des images (lm) et pour envoyer ces images aux moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) ;les moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) sont reliés à la caméra (121 ; 321; 421 ; 621) et aux moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622), et sont agencés pour identifier un équipement de l'aéronef présent sur lesdites images, déterminer un identifiant (Id) de l'équipement identifié, dit identifiant utile, sélectionner des données d'aide à la maintenance relatives à l'équipement identifié à partir de l'identifiant utile, et envoyer ces données aux moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622) ; et les moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622) sont agencés pour recevoir ces données d'aide à la maintenance et, en réponse, afficher en réalité augmentée des images (Do) correspondant à ces données d'aide à la maintenance.
  15. 15. Système (100; 300; 400; 600) selon la revendication 14, caractérisé en ce que les moyens de sélection d'affichage (130 ; 330 ; 430 ; 630) comprennent : des moyens de reconnaissance de forme (131 ; 331; 431 ; 631), agencés pour identifier l'équipement de l'aéronef à partir des images (lm) acquises par la caméra, et fournissant en sortie l'identifiant utile (Id) ; et un module de sélection d'affichage (132 ; 332 ; 432 ; 632), recevant en entrée l'identifiant utile (Id), et, en réponse, fournissant aux moyens d'affichage en réalité augmentée (122 ; 322 ; 422 ; 622) les données d'aide à la maintenance relatives à l'équipement identifié.
FR1457015A 2014-07-21 2014-07-21 Procede d'aide a la maintenance d'un aeronef par realite augmentee. Active FR3023948B1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR1457015A FR3023948B1 (fr) 2014-07-21 2014-07-21 Procede d'aide a la maintenance d'un aeronef par realite augmentee.
US14/805,115 US10049111B2 (en) 2014-07-21 2015-07-21 Maintenance assistance for an aircraft by augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1457015A FR3023948B1 (fr) 2014-07-21 2014-07-21 Procede d'aide a la maintenance d'un aeronef par realite augmentee.

Publications (2)

Publication Number Publication Date
FR3023948A1 true FR3023948A1 (fr) 2016-01-22
FR3023948B1 FR3023948B1 (fr) 2017-12-22

Family

ID=52102755

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1457015A Active FR3023948B1 (fr) 2014-07-21 2014-07-21 Procede d'aide a la maintenance d'un aeronef par realite augmentee.

Country Status (2)

Country Link
US (1) US10049111B2 (fr)
FR (1) FR3023948B1 (fr)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20154627A1 (it) * 2015-10-13 2017-04-13 Sematic S P A Procedimento per effettuare una manutenzione di un dispositivo elettromeccanico
JP6432551B2 (ja) * 2016-03-09 2018-12-05 横河電機株式会社 機器保全装置、機器保全システム、機器保全方法、機器保全プログラム及び記録媒体
ES2643863B1 (es) * 2016-05-24 2018-10-26 Sonovisión Ingenieros España, S.A.U. Método para proporcionar mediante realidad aumentada guiado, inspección y soporte en instalación o mantenimiento de procesos para ensamblajes complejos compatible con s1000d y dispositivo que hace uso del mismo
FR3056966B1 (fr) * 2016-10-04 2018-10-05 Safran Electrical & Power Procede de localisation de defaut dans des harnais electriques
BE1025077B1 (fr) * 2017-03-22 2018-10-23 Safran Aero Boosters S.A. Capot de turbomachine avec ecran
FR3071080B1 (fr) * 2017-09-12 2019-09-06 Safran Landing Systems Procede d'inspection d'equipement ou de pieces d'aeronef
US11062517B2 (en) * 2017-09-27 2021-07-13 Fisher-Rosemount Systems, Inc. Virtual access to a limited-access object
US10410426B2 (en) * 2017-12-19 2019-09-10 GM Global Technology Operations LLC Augmented reality vehicle user interface
US10760815B2 (en) * 2017-12-19 2020-09-01 Honeywell International Inc. Building system commissioning using mixed reality
US10529104B2 (en) * 2017-12-19 2020-01-07 GM Global Technology Operations LLC Virtual vehicle skin
US10706628B2 (en) * 2018-02-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Content transfer
US11326886B2 (en) * 2018-04-16 2022-05-10 Apprentice FS, Inc. Method for controlling dissemination of instructional content to operators performing procedures at equipment within a facility
IT201800007987A1 (it) * 2018-08-09 2020-02-09 Ima Industria Macch Automatiche Spa Procedimento per assistere un operatore nell'esecuzione di interventi su una macchina operatrice
EP3797389A1 (fr) * 2018-05-21 2021-03-31 I.M.A. Industria Macchine Automatiche S.p.A Procédé pour aider un opérateur à réaliser des interventions sur une machine d'exploitation
IT201800005543A1 (it) * 2018-05-21 2019-11-21 Procedimento per assistere un operatore nell’esecuzione di interventi su una macchina operatrice tramite tecniche di realta’ aumentata.
BE1026463B1 (fr) * 2018-07-10 2020-02-10 Safran Aero Boosters Sa Système de maintenance pour équipement aéronautique
FR3084173A1 (fr) 2018-07-18 2020-01-24 Holomake Systeme d'asservissement mecanique motorise d'un plan holographique pour le guidage manuel de precision
JP6542445B1 (ja) * 2018-07-31 2019-07-10 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
JP6692867B2 (ja) 2018-09-07 2020-05-13 日本航空株式会社 構造物の内部を確認するためのシステムおよび方法
MX2019011715A (es) 2018-09-28 2020-07-13 Epicor Software Corp Sistemas y metodos para realidad aumentada y para transferir sesiones entre dispositivos.
JP6651190B1 (ja) * 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP6607589B1 (ja) * 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6651189B1 (ja) * 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP6607590B1 (ja) * 2019-03-29 2019-11-20 株式会社 情報システムエンジニアリング 情報提供システム及び情報提供方法
JP6647669B1 (ja) * 2019-03-29 2020-02-14 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
JP7279530B2 (ja) * 2019-06-07 2023-05-23 マツダ株式会社 映像処理方法、映像処理装置、映像処理プログラム及び映像処理プログラムを記録した記録媒体
US11182969B2 (en) 2019-10-29 2021-11-23 Embraer S.A. Spatial localization using augmented reality
US11526976B2 (en) 2020-02-11 2022-12-13 Honeywell International Inc. Using augmented reality to assist in device installation
US11237534B2 (en) 2020-02-11 2022-02-01 Honeywell International Inc. Managing certificates in a building management system
US11287155B2 (en) 2020-02-11 2022-03-29 Honeywell International Inc. HVAC system configuration with automatic parameter generation
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
US11847310B2 (en) 2020-10-09 2023-12-19 Honeywell International Inc. System and method for auto binding graphics to components in a building management system
CN113438461A (zh) * 2021-05-14 2021-09-24 烟台杰瑞石油服务集团股份有限公司 辅助检修的方法及设备
CN114527879A (zh) * 2022-02-25 2022-05-24 中国人民解放军空军工程大学航空机务士官学校 一种基于增强现实技术的航空机务飞行检查站位引导方法
CN115221263B (zh) * 2022-09-15 2022-12-30 西安羚控电子科技有限公司 一种基于航线的地形预加载方法及预加载系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140022281A1 (en) * 2012-07-18 2014-01-23 The Boeing Company Projecting airplane location specific maintenance history using optical reference points

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9074899B2 (en) * 2009-05-11 2015-07-07 Acer Incorporated Object guiding method, mobile viewing system and augmented reality system
EP2936445A2 (fr) * 2012-12-20 2015-10-28 Accenture Global Services Limited Réalité augmentée basée sur le contexte
US9019128B1 (en) * 2013-05-21 2015-04-28 The Boeing Company Augmented reality aircraft management system
US9446856B1 (en) * 2013-07-31 2016-09-20 Rockwell Collins, Inc. Method and apparatus for maintaining aircraft

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140022281A1 (en) * 2012-07-18 2014-01-23 The Boeing Company Projecting airplane location specific maintenance history using optical reference points

Also Published As

Publication number Publication date
FR3023948B1 (fr) 2017-12-22
US20160019212A1 (en) 2016-01-21
US10049111B2 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
FR3023948A1 (fr) Procede d'aide a la maintenance d'un aeronef par realite augmentee.
KR102270499B1 (ko) 이미지 기반의 차량 손상 판정 방법과 장치, 및 전자기기
KR102418446B1 (ko) 픽쳐 기반의 차량 손해 평가 방법 및 장치, 및 전자 디바이스
KR102151365B1 (ko) 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스
US11069141B2 (en) Dynamic configuration of an augmented reality overlay
EP2933707A1 (fr) Réglage de présentation d'affichage pour visiocasque
US20190392587A1 (en) System for predicting articulated object feature location
US9141852B1 (en) Person detection and pose estimation system
EP3719703A1 (fr) Procédé de traitement d'identification de dommage de véhicule, dispositif de traitement, client et serveur
US11610250B2 (en) Generating a product recommendation based on a user reaction
US20160259928A1 (en) Real-time presence verification
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
CA2949202A1 (fr) Examen de defauts
Stanimirovic et al. [Poster] A Mobile Augmented reality system to assist auto mechanics
FR3058534A1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
CA2937408A1 (fr) Utilisation d'un code comme marquage d'une nacelle
KR20160106649A (ko) 증강 현실 스킨의 평가
US11087450B1 (en) Wheel matcher
FR2997493A1 (fr) Procede pour verifier et actualiser un jeu de donnees d'une banque de donnees de navigation
IL260417A (en) System and method for automatic visual inspection
EP4016382A1 (fr) Procédé pour la configuration et l' affichage en réalité augmentée ou mixte ou étendue des informations relatives à un équipement installé dans un site réel, produit programme d ordinateur et dispositif électronique associés
FR3079924A1 (fr) Suivi par geolocalisation
TW201309519A (zh) 車道定位系統與方法
FR3044122A1 (fr) Procede et systeme pour assister un operateur de maintenance dans l'execution d'une tache de maintenance d'un aeronef
CN107945126B (zh) 一种图像中眼镜框消除方法、装置和介质

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20160122

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10