FR3038119A1 - MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT - Google Patents

MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT Download PDF

Info

Publication number
FR3038119A1
FR3038119A1 FR1555988A FR1555988A FR3038119A1 FR 3038119 A1 FR3038119 A1 FR 3038119A1 FR 1555988 A FR1555988 A FR 1555988A FR 1555988 A FR1555988 A FR 1555988A FR 3038119 A1 FR3038119 A1 FR 3038119A1
Authority
FR
France
Prior art keywords
operator
model
aircraft
simulator
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1555988A
Other languages
French (fr)
Other versions
FR3038119B1 (en
Inventor
Charlotte Massu
Eric Garret
Viriginie Pannetier-Romien
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran Aircraft Engines SAS
Original Assignee
SNECMA SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SNECMA SAS filed Critical SNECMA SAS
Priority to FR1555988A priority Critical patent/FR3038119B1/en
Publication of FR3038119A1 publication Critical patent/FR3038119A1/en
Application granted granted Critical
Publication of FR3038119B1 publication Critical patent/FR3038119B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/28Simulation of stick forces or the like

Abstract

L'invention concerne un simulateur (1) d'opérations de maintenance pour aéronef, comprenant une unité de commande (2) informatique, une unité d'affichage (4), un dispositif de reconnaissance à distance (5) de mouvement. L'unité de commande (2) est configurée pour modéliser une opération de maintenance dans un modèle numérique (30) de tout ou partie de l'aéronef. L'unité d'affichage (4) est configurée pour afficher le modèle numérique (30). Selon l'invention, l'unité de commande (2) est configurée pour modéliser une action (8) de l'opérateur dans le modèle numérique (30), en réponse à une indication de reconnaissance de mouvement ou de position de l'opérateur, le mouvement ou la position de l'opérateur étant reconnu par le dispositif de reconnaissance à distance (5).The invention relates to a simulator (1) for aircraft maintenance operations, comprising a computer control unit (2), a display unit (4), a remote motion recognition device (5). The control unit (2) is configured to model a maintenance operation in a digital model (30) of all or part of the aircraft. The display unit (4) is configured to display the digital model (30). According to the invention, the control unit (2) is configured to model an action (8) of the operator in the numerical model (30), in response to an indication of motion recognition or position of the operator the movement or position of the operator being recognized by the remote recognition device (5).

Description

1 SIMULATEUR D'OPERATIONS DE MAINTENANCE POUR AERONEF DESCRIPTION DOMAINE TECHNIQUE L'invention se rapporte au domaine technique général des 5 turbomachines d'aéronef. Plus précisément, l'invention concerne un simulateur d'opérations de maintenance pour former un opérateur à une opération de maintenance pour aéronef. ÉTAT DE LA TECHNIQUE ANTÉRIEURE Les opérateurs de maintenance d'aéronef suivent actuellement des 10 formations théoriques avec des cours projetés en salle, des supports papier et éventuellement d'autres sources de documentation. Les opérateurs en cours de formation n'ont pas toujours l'occasion de mettre rapidement en pratique les informations théoriques acquises. Par ailleurs, la formation d'un opérateur par un instructeur, par exemple 15 par téléphone ou par vidéoconférence, dans laquelle l'apprenant s'exerce à effectuer des gestes donnés, précisément et dans un ordre prédéterminé sur une turbomachine ou une partie d'aéronef peut s'avérer coûteuse et difficile à mettre en oeuvre. Cette formation pratique à distance risque par d'ailleurs d'être moins efficace qu'une formation avec l'instructeur présent physiquement. 20 Il existe un besoin pour qu'un apprenant puisse s'exercer à la réalisation d'opérations de maintenance, sans la présence d'un instructeur et sans une turbomachine ou un aéronef. EXPOSÉ DE L'INVENTION L'invention vise à résoudre au moins partiellement les problèmes 25 rencontrés dans les solutions de l'art antérieur. 3038119 2 A cet égard, l'invention a pour objet un procédé de simulation d'opérations de maintenance pour aéronef, comprenant : une étape de reconnaissance d'un mouvement ou d'une position d'un opérateur par un dispositif de reconnaissance à distance, et d'élaboration d'une indication de reconnaissance représentative du mouvement reconnu ou de la position reconnue, une étape de modélisation d'une action de l'opérateur dans un modèle numérique de tout ou partie de l'aéronef, en réponse à l'indication de reconnaissance du mouvement de l'opérateur ou de la position de l'opérateur. Le procédé de simulation peut être mis en oeuvre de manière automatisée, sans la présence physique d'un instructeur, d'une turbomachine ou d'un aéronef. Le procédé de simulation permet d'améliorer la formation d'opérateurs de maintenance, en leur donnant plus facilement la possibilité de mettre en pratique les connaissances théoriques qu'ils ont acquises. Le procédé de simulation complète utilement une formation théorique des opérateurs de maintenance. Le procédé de simulation facilite la formation pratique de plusieurs opérateurs simultanément. L'invention peut comporter de manière facultative une ou plusieurs des caractéristiques suivantes combinées entre elles ou non.TECHNICAL FIELD The invention relates to the general technical field of aircraft turbomachines. More specifically, the invention relates to a simulator of maintenance operations for forming an operator for an aircraft maintenance operation. STATE OF THE PRIOR ART Aircraft maintenance operators are currently undergoing theoretical training with classroom-based courses, paper media and possibly other sources of documentation. Operators in training do not always have the opportunity to quickly put into practice the theoretical information acquired. Furthermore, the training of an operator by an instructor, for example by telephone or videoconference, in which the learner exercises to perform given gestures, precisely and in a predetermined order on a turbomachine or a part of aircraft can be expensive and difficult to implement. This remote practical training may be less effective than training with the physically present instructor. There is a need for a learner to practice performing maintenance operations without the presence of an instructor and without a turbomachine or an aircraft. DISCLOSURE OF THE INVENTION The invention aims to at least partially solve the problems encountered in the solutions of the prior art. In this regard, the subject of the invention is a method for simulating maintenance operations for an aircraft, comprising: a step of recognizing a movement or position of an operator by a remote recognition device , and developing a recognition indication representative of the recognized movement or the recognized position, a step of modeling an operator action in a numerical model of all or part of the aircraft, in response to the indication of recognition of the movement of the operator or the position of the operator. The simulation method can be implemented in an automated manner, without the physical presence of an instructor, a turbomachine or an aircraft. The simulation process makes it possible to improve the training of maintenance operators, by making it easier for them to put into practice the theoretical knowledge they have acquired. The simulation process is a useful addition to the theoretical training of the maintenance operators. The simulation process facilitates the practical training of several operators simultaneously. The invention may optionally include one or more of the following features combined with one another or not.

Avantageusement, le procédé de simulation comprend une suite de mouvements à effectuer par l'opérateur et à reconnaître par le dispositif de reconnaissance à distance, la suite de mouvements étant modélisée dans le modèle numérique par une suite d'opérations de maintenance pour aéronef. Selon une particularité de réalisation, une deuxième opération de maintenance n'est pas affichée, tant qu'au moins un mouvement prédéterminé, associé à une première opération de maintenance dans le modèle numérique, n'est pas reconnu par le dispositif de reconnaissance à distance. Le procédé de simulation permet notamment d'améliorer la formation d'un opérateur en contrôlant que l'opérateur effectue les mouvements attendus dans un 3038119 3 temps raisonnable. Le procédé de simulation incite l'opérateur à s'exercer jusqu'à réaliser une opération de maintenance de manière satisfaisante. L'invention porte également sur un simulateur d'opérations de maintenance pour aéronef.Advantageously, the simulation method comprises a sequence of movements to be performed by the operator and to be recognized by the remote recognition device, the sequence of movements being modeled in the numerical model by a series of maintenance operations for aircraft. According to a particular embodiment, a second maintenance operation is not displayed, as long as at least one predetermined movement, associated with a first maintenance operation in the digital model, is not recognized by the remote recognition device . The simulation method notably makes it possible to improve the formation of an operator by controlling that the operator performs the expected movements within a reasonable time. The simulation process encourages the operator to practice until a maintenance operation is performed satisfactorily. The invention also relates to a simulator of aircraft maintenance operations.

5 Le simulateur comprend une unité de commande informatique, une unité d'affichage et un dispositif de reconnaissance à distance de mouvement. L'unité de commande informatique est configurée pour modéliser numériquement au moins une opération de maintenance dans un modèle numérique de tout ou partie de l'aéronef.The simulator comprises a computer control unit, a display unit and a remote motion recognition device. The computer control unit is configured to digitally model at least one maintenance operation in a digital model of all or part of the aircraft.

10 L'unité d'affichage est reliée à l'unité de commande informatique. L'unité d'affichage est configurée pour afficher le modèle numérique. Le dispositif de reconnaissance à distance de mouvement est configuré pour reconnaître à distance un mouvement d'un opérateur ou une position de l'opérateur et pour élaborer une indication de reconnaissance du mouvement reconnu ou de la 15 position reconnue. Selon l'invention, l'unité de commande est configurée pour modéliser une action de l'opérateur dans le modèle numérique, en réponse à l'indication de reconnaissance de mouvement de l'opérateur ou de position de l'opérateur. Le simulateur est destiné à mettre en oeuvre le procédé de simulation 20 d'opérations de maintenance pour aéronef décrit ci-dessus. Le simulateur est relativement peu coûteux et facilement transportable. Le dispositif de reconnaissance à distance de mouvement est notamment configuré pour transmettre à l'unité de commande l'indication de reconnaissance du mouvement reconnu ou de la position reconnue.The display unit is connected to the computer control unit. The display unit is configured to display the digital model. The motion recognition device is configured to remotely recognize an operator movement or an operator position and to develop a recognition indication of the recognized motion or the recognized position. According to the invention, the control unit is configured to model an action of the operator in the digital model, in response to the indication of recognition of operator movement or position of the operator. The simulator is intended to implement the aircraft maintenance operations simulation process described above. The simulator is relatively inexpensive and easily transportable. The remote motion recognition device is in particular configured to transmit to the control unit the recognition indication of the recognized movement or the recognized position.

25 Avantageusement, le modèle numérique est un modèle de cockpit d'aéronef ou un modèle de turbomachine pour aéronef. Selon une particularité de réalisation, le dispositif de reconnaissance à distance de mouvement comprend au moins un capteur à infrarouge. Selon une forme de réalisation avantageuse, le dispositif de reconnaissance à distance comprend un premier détecteur de mouvement à distance et un 3038119 4 deuxième détecteur de mouvement à distance de structure différente et présentant un champ de détection plus resserré. De préférence, le dispositif de reconnaissance à distance est configuré pour reconnaître un mouvement du bras, du poignet, de la main et/ou d'un doigt de 5 l'opérateur. Selon une autre particularité de réalisation, le dispositif de reconnaissance à distance est configuré pour reconnaître une suite de mouvements à effectuer par l'opérateur. L'unité de commande est de préférence configurée pour modéliser la suite de mouvements dans le modèle numérique par une suite d'opérations 10 de maintenance pour aéronef. Selon une autre forme de réalisation avantageuse, le simulateur est configuré pour que l'unité d'affichage n'affiche pas une deuxième opération de maintenance modélisée dans le modèle numérique, tant que le dispositif de reconnaissance à distance ne reconnait pas au moins un mouvement prédéterminé associé 15 à une première opération de maintenance dans le modèle numérique. Tant qu'un mouvement prédéterminé associé à une première opération de maintenance n'est pas détecté ou reconnu par le dispositif de reconnaissance, au moins deux possibilités sont envisageables. Soit l'unité de commande modélise la deuxième opération de 20 maintenance et l'unité de commande donne l'ordre à l'unité d'affichage de ne pas afficher la réalisation de la deuxième opération de maintenance. Soit l'unité de commande ne modélise pas, au moins partiellement, la deuxième opération de maintenance. De la sorte, l'unité d'affichage ne peut pas afficher la réalisation de la deuxième opération de maintenance.Advantageously, the numerical model is an aircraft cockpit model or an aircraft turbomachine model. According to a particular embodiment, the remote motion recognition device comprises at least one infrared sensor. According to an advantageous embodiment, the remote recognition device comprises a first remote motion detector and a second remote motion detector of different structure and having a narrower detection field. Preferably, the remote recognition device is configured to recognize a movement of the arm, wrist, hand and / or finger of the operator. According to another embodiment, the remote recognition device is configured to recognize a sequence of movements to be performed by the operator. The control unit is preferably configured to model the sequence of motions in the digital model by a series of aircraft maintenance operations. According to another advantageous embodiment, the simulator is configured so that the display unit does not display a second maintenance operation modeled in the digital model, as long as the remote recognition device does not recognize at least one movement. predetermined associated with a first maintenance operation in the digital model. As long as a predetermined movement associated with a first maintenance operation is not detected or recognized by the recognition device, at least two possibilities are possible. Either the control unit models the second maintenance operation and the control unit instructs the display unit not to display performing the second maintenance operation. Either the control unit does not model, at least partially, the second maintenance operation. In this way, the display unit can not display the carrying out of the second maintenance operation.

25 Dans tous les cas, l'unité d'affichage n'affiche pas la réalisation de la deuxième opération de maintenance. Avantageusement, l'unité de commande est configurée pour afficher des instructions représentatives d'une suite de mouvements à effectuer par l'opérateur et à reconnaître par le dispositif de reconnaissance à distance.In all cases, the display unit does not display the carrying out of the second maintenance operation. Advantageously, the control unit is configured to display instructions representative of a sequence of movements to be performed by the operator and to be recognized by the remote recognition device.

3038119 5 BRÈVE DESCRIPTION DES DESSINS La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation, donnés à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés sur lesquels : 5 la figure 1 est une représentation schématique d'un simulateur d'opérations de maintenance selon un mode de réalisation préféré; la figure 2 illustre le fonctionnement du simulateur d'opérations de maintenance pour aéronef ; la figure 3 illustre l'affichage d'un mouvement prédéterminé 10 à effectuer par l'opérateur pour modéliser une opération de maintenance ; les figures 4a, 4b, 4c, 4d représentent différents mouvements susceptibles d'être effectués par un opérateur au cours de la modélisation d'une opération de maintenance pour aéronef ; la figure 5 représente les deux fonctionnalités principales 15 d'un logiciel de simulation d'opérations de maintenance du simulateur du mode de réalisation préféré; la figure 6 illustre un procédé de simulation d'opérations de maintenance, mis en oeuvre par le simulateur représenté à la figure 1; la figure 7 illustre un procédé de simulation d'opérations de 20 maintenance selon un premier exemple de réalisation et selon le procédé général illustré à la figure 6. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS Des parties identiques, similaires ou équivalentes des différentes figures 25 portent les mêmes références numériques de façon à faciliter le passage d'une figure à l'autre. La figure 1 représente un simulateur 1 d'opérations de maintenance pour aéronef. Le simulateur 1 sert à former un opérateur humain 6 à des opérations de maintenance d'une turbomachine d'aéronef et/ou à des opérations de maintenance à 3038119 6 effectuer à l'intérieur d'un aéronef. Ces opérations de maintenance correspondent par exemple à une procédure de vérification de démarrage automatique de la turbomachine ou de démarrage manuel de la turbomachine. Le simulateur 1 comprend une unité de commande 2, une unité 5 d'affichage 4 et un dispositif de reconnaissance à distance 5 de mouvement. L'unité de commande 2 comprend au moins un ordinateur qui sert de support à un logiciel 3 de simulation d'opérations de maintenance pour aéronef, ainsi qu'un clavier 43. Le logiciel 3 comprend un modèle numérique de cockpit 31 ou un modèle 10 numérique de turbomachine pour aéronef. Le logiciel 3 intègre des actions 8 de l'opérateur dans le modèle numérique 30. Les actions 8 de l'opérateur sont modélisées par l'unité de commande 2 à partir de la reconnaissance d'un mouvement de l'opérateur ou d'une position de l'opérateur. L'unité d'affichage 4 est reliée à l'unité de commande 2. L'unité 15 d'affichage 4 affiche des informations à l'attention de l'opérateur 6 en cours de formation sur ordre de l'unité de commande 2. L'unité d'affichage 4 comprend un premier dispositif d'affichage 41 et un deuxième dispositif d'affichage 42. Le premier dispositif d'affichage 41 et le deuxième dispositif d'affichage 42 sont des écrans d'ordinateur.BRIEF DESCRIPTION OF THE DRAWINGS The present invention will be better understood on reading the description of exemplary embodiments, given purely by way of indication and in no way limiting, with reference to the appended drawings in which: FIG. 1 is a diagrammatic representation a maintenance operations simulator according to a preferred embodiment; FIG. 2 illustrates the operation of the aircraft maintenance operations simulator; Figure 3 illustrates the display of a predetermined motion to be performed by the operator to model a maintenance operation; FIGS. 4a, 4b, 4c, 4d represent various movements that can be performed by an operator during the modeling of an aircraft maintenance operation; Figure 5 shows the two main functionalities of simulator maintenance operations simulation software of the preferred embodiment; FIG. 6 illustrates a method for simulating maintenance operations implemented by the simulator shown in FIG. 1; FIG. 7 illustrates a method for simulating maintenance operations according to a first exemplary embodiment and according to the general method illustrated in FIG. 6. DETAILED DESCRIPTION OF PARTICULAR EMBODIMENTS Identical, similar or equivalent parts of the various FIGS. the same numerical references so as to facilitate the passage from one figure to another. FIG. 1 represents a simulator 1 for aircraft maintenance operations. The simulator 1 serves to form a human operator 6 for maintenance operations of an aircraft turbine engine and / or for maintenance operations to be performed inside an aircraft. These maintenance operations correspond, for example, to a procedure for verifying the automatic start-up of the turbomachine or manual starting of the turbomachine. The simulator 1 comprises a control unit 2, a display unit 4 and a motion recognition device 5. The control unit 2 comprises at least one computer that serves as a support for software 3 for simulation of aircraft maintenance operations, as well as a keyboard 43. The software 3 comprises a digital cockpit model 31 or a model 10 turbomachine digital aircraft. The software 3 integrates actions 8 of the operator in the numerical model 30. The actions 8 of the operator are modeled by the control unit 2 from the recognition of a movement of the operator or a position of the operator. The display unit 4 is connected to the control unit 2. The display unit 4 displays information for the operator 6 being formed on the order of the control unit 2 The display unit 4 includes a first display device 41 and a second display device 42. The first display device 41 and the second display device 42 are computer screens.

2 0 Le premier dispositif d'affichage 41 affiche le modèle numérique 30. Le deuxième dispositif d'affichage 42 affiche des instructions 45 représentatives d'un mouvement ou d'une suite de mouvements 75 à effectuer par l'opérateur dans la réalité. En variante, le deuxième dispositif d'affichage 42 affiche une action 8 à réaliser dans le modèle numérique 30 sur la base d'un mouvement 70 ou d'une 25 suite de mouvement 75 détectés et reconnus. Le dispositif de reconnaissance à distance 5 reconnait à distance un mouvement ou une position 7. L'unité de commande 2 et le dispositif de reconnaissance à distance 5 permettent que les mouvements reconnus ou les positions 7 reconnues par le dispositif de reconnaissance à distance 5 soient convertis en mouvements virtuels ou en 3038119 7 positions 7 virtuelles dans le modèle numérique 30 et affichés par le dispositif d'affichage 4. Le dispositif de reconnaissance à distance 5 comprend un premier détecteur de mouvement à distance 51 et un deuxième détecteur de mouvement à 5 distance 52. Le premier détecteur 51 et le deuxième détecteur 52 sont des capteurs à infrarouges sensibles à la chaleur dégagée par l'opérateur humain 6 dans l'infrarouge. Les détecteurs 51 et 52 convertissent un mouvement 70 de l'opérateur en une indication de reconnaissance de mouvement. Les détecteurs 51, 52 convertissent une position en une 10 indication de reconnaissance de position. Le deuxième détecteur de mouvement 52 est de structure différente du premier détecteur de mouvement 51. Le deuxième détecteur de mouvement présente un champ de détection plus resserré que le premier détecteur de mouvement 51. En contrepartie, le deuxième détecteur 52 est aussi plus précis que le premier détecteur 51.The first display device 41 displays the digital model 30. The second display device 42 displays instructions 45 representative of a motion or sequence of movements 75 to be performed by the operator in the real world. Alternatively, the second display device 42 displays an action 8 to be performed in the digital model 30 on the basis of a detected and recognized movement 70 or sequence of motion 75. The remote recognition device 5 remotely recognizes a movement or a position 7. The control unit 2 and the remote recognition device 5 allow the recognized motions or the positions 7 recognized by the remote recognition device 5 to be converted to virtual movements or virtual 7 positions in the digital model 30 and displayed by the display device 4. The remote recognition device 5 comprises a first remote motion detector 51 and a second motion detector 5. distance 52. The first detector 51 and the second detector 52 are infrared sensors sensitive to the heat released by the human operator 6 in the infrared. The detectors 51 and 52 convert a movement 70 of the operator into a motion recognition indication. The detectors 51, 52 convert a position to a position recognition indication. The second motion detector 52 is of a different structure from the first motion detector 51. The second motion detector has a detection field that is narrower than the first motion detector 51. In return, the second detector 52 is also more accurate than the second motion detector 51. first detector 51.

15 Le premier détecteur 51 est par exemple un capteur connu sous le nom de « KinnectTm » ou un détecteur similaire. Le deuxième détecteur 52 est par exemple un capteur connu sous la dénomination « LeapMotionTM » ou un détecteur similaire. Le premier détecteur 51 détecte et reconnait des mouvements du bras 61 et de la partie du corps de l'opérateur 6 au-dessus du buste. Le deuxième détecteur 52 20 détecte et reconnait des mouvements de doigts 64 ou des mains 63 de l'opérateur. Le premier détecteur 51 et le deuxième détecteur 52 détectent et reconnaissent chacun un mouvement ou une position du poignet 62 de l'opérateur 6. La figure 2 représente par exemple une action 8 de l'opérateur 6, lorsqu'il est en train de réaliser une première opération de maintenance 81 dans le modèle 25 numérique 30. Cette première opération de maintenance 81 consiste en l'actionnement d'un bouton virtuel 39, par la modélisation du déplacement du bras 61, du poignet 62, de la main 63 et des doigts 64 de l'opérateur 6. A la figure 3, l'écran 41 affiche de manière détaillée un tableau de bord virtuel 33, en particulier un levier virtuel 38. L'écran 41 affiche aussi une barre d'outils 37 30 de commande du logiciel de simulation 3.The first detector 51 is for example a sensor known as "KinnectTm" or a similar detector. The second detector 52 is for example a sensor known under the name "LeapMotionTM" or a similar detector. The first detector 51 detects and recognizes movements of the arm 61 and the body portion of the operator 6 above the bust. The second detector 52 detects and recognizes finger movements 64 or hands 63 of the operator. The first detector 51 and the second detector 52 each detect and recognize a movement or a position of the wrist 62 of the operator 6. FIG. 2 represents for example an action 8 of the operator 6, when he is performing a first maintenance operation 81 in the digital model 30. This first maintenance operation 81 consists in the actuation of a virtual button 39, by modeling the movement of the arm 61, the wrist 62, the hand 63 and the In FIG. 3, the screen 41 displays in detail a virtual dashboard 33, in particular a virtual lever 38. The screen 41 also displays a control toolbar 37. In FIG. simulation software 3.

3038119 8 L'unité de commande 2 est en train de modéliser une deuxième opération de maintenance 82 qui consiste à faire basculer le levier virtuel 38. Le simulateur 1 ne permet de réaliser la deuxième opération de maintenance 82 dans le modèle numérique 30 que lorsque la première opération de 5 maintenance 81 a été correctement réalisée dans le modèle numérique 30. En d'autres termes, l'affichage de la deuxième opération de maintenance 82 sur le premier dispositif d'affichage 41 ne peut avoir lieu que lorsque le simulateur 1 a détecté et reconnu au moins un mouvement prédéterminé 77 de l'opérateur, associé à l'actionnement du bouton 39.The control unit 2 is modeling a second maintenance operation 82 which consists in flipping the virtual lever 38. The simulator 1 makes it possible to carry out the second maintenance operation 82 in the numerical model 30 only when the The first maintenance operation 81 has been correctly performed in the digital model 30. In other words, the display of the second maintenance operation 82 on the first display device 41 can take place only when the simulator 1 detected and recognized at least one predetermined movement 77 of the operator, associated with the actuation of the button 39.

10 En référence aux figures 4a à 4d, le simulateur 1 reconnaît un mouvement de rotation 74 du poignet 62 pour l'associer par exemple à la rotation d'un bouton virtuel 39 du modèle de cockpit 31. Le simulateur 1 reconnaît un mouvement prédéterminé 77 de levé 78 de la main 63 et un mouvement prédéterminé 77 de poussé 76 de la main 63. L'unité de 15 commande 2 peut modéliser cette suite 75 de mouvements par l'actionnement du levier virtuel 38. Le simulateur 1 reconnaît également le levé 78 seul du bras 61 pour l'associer à l'ouverture ou la fermeture d'un clapet. Le même mouvement peut ensuite servir à appuyer sur un bouton virtuel 39.With reference to FIGS. 4a to 4d, the simulator 1 recognizes a rotational movement 74 of the wrist 62 to associate it for example with the rotation of a virtual button 39 of the cockpit model 31. The simulator 1 recognizes a predetermined movement 77 the control unit 2 can model this sequence of movements by the operation of the virtual lever 38. The simulator 1 also recognizes the survey. 78 only arm 61 to associate with the opening or closing of a valve. The same movement can then be used to press a virtual button 39.

20 Enfin, un mouvement de rapprochement 79 du poignet 62 ou de la main 63 est associé à un agrandissement de la taille l'affichage sur le premier dispositif d'affichage 41. Autrement dit, le mouvement de rapprochement 79 du poignet 62 ou de la main 63 est associé à un « zoom avant ». Un mouvement d'éloignement du poignet 62 ou de la main 63 est associé 25 à un mouvement de réduction de la taille de l'affichage sur le premier dispositif d'affichage 41. Autrement dit, le mouvement d'éloignement du poignet 62 ou de la main 63 est associé à un « zoom arrière ». La détection et la reconnaissance d'un mouvement ou d'une position de l'opérateur 6 pour la convertir en une action 8 liée à une opération de maintenance n'a lieu 30 que lorsque l'opérateur est entré dans un menu exercice 36 du logiciel de simulation 3.Finally, a movement of the wrist 62 or the hand 63 is associated with an enlargement of the size of the display on the first display device 41. In other words, the movement of the wrist 62 or the main 63 is associated with a "zoom in". A movement away from the wrist 62 or the hand 63 is associated with a display size reduction movement on the first display device 41. In other words, the movement away from the wrist 62 or the hand 63 is associated with a "zoom out". The detection and recognition of a movement or position of the operator 6 to convert it to an action 8 related to a maintenance operation only occurs when the operator has entered an exercise menu 36 of the simulation software 3.

3038119 9 Le logiciel de simulation 3 comprend un menu utilisateur 34 comportant le menu exercice 36 et un menu démonstration 35. Le menu démonstration 35 offre à l'opérateur 6 la possibilité de visualiser les opérations de maintenance qu'il aura à réaliser dans le modèle numérique 30.The simulation software 3 includes a user menu 34 comprising the exercise menu 36 and a demonstration menu 35. The demonstration menu 35 offers the operator 6 the possibility of visualizing the maintenance operations that he will have to carry out in the model. digital 30.

5 La figure 6 illustre la mise en oeuvre générale d'un procédé de simulation d'opérations de maintenance par le simulateur 1 représenté aux figures 1 à 3. Tout d'abord, un mouvement de l'opérateur est reconnu par le dispositif de reconnaissance à distance 5 à l'étape 91. En variante, une position de l'opérateur est reconnue à l'étape 91.FIG. 6 illustrates the general implementation of a simulation process of maintenance operations by the simulator 1 represented in FIGS. 1 to 3. First of all, a movement of the operator is recognized by the recognition device. Alternatively, a position of the operator is recognized in step 91.

10 Le procédé de simulation se poursuit à l'étape 92 par la modélisation d'une action 8 de l'opérateur 6 dans le modèle numérique 30 sur la base de l'indication de reconnaissance de mouvement ou de position transmise par le dispositif de reconnaissance à distance 5. Le premier dispositif d'affichage 41 affiche alors l'action 8 modélisée par 15 l'unité de commande 2 à l'attention de l'opérateur 6, à l'étape 93. De manière plus détaillée et en référence à la figure 7, un mouvement de l'opérateur est détecté par le dispositif de reconnaissance à distance 5, à l'étape 97, puis reconnu à l'étape 91. A titre d'alternative, une position de l'opérateur est détectée à l'étape 97 2 0 et reconnue par le dispositif de reconnaissance à distance 5 à l'étape 91. La reconnaissance du mouvement ou de la position conduit à la modélisation de l'action correspondante dans le modèle numérique 30, à l'étape 92. Le mouvement reconnu est ensuite comparé à un mouvement à effectuer à l'étape 94a, et/ou l'action 8 modélisée est comparée à l'action attendue de l'opérateur à 25 l'étape 94b, puis le résultat de cette comparaison est analysé à l'étape 95. Si le mouvement effectué et reconnu 70 ou la suite de mouvements effectués et reconnus est en adéquation avec le mouvement attendu ou la suite de mouvements attendus, le premier dispositif d'affichage 41 affiche la réalisation de l'opération de maintenance correspondante à l'étape 931. Le procédé de simulation se 3038119 10 poursuit par l'affichage de l'instruction représentative de l'opération de maintenance suivante, à l'étape 96. Sinon, le dispositif d'affichage 4 indique que l'opération de maintenance 932 n'a pas été effectuée correctement. Le deuxième dispositif d'affichage 42 indique que 5 l'opération de maintenance doit être recommencée, à l'étape 96. De manière générale, le simulateur est configuré pour reconnaître un mouvement ou une position de l'opérateur pour l'associer à une action liée à une opération de maintenance dans un modèle numérique. Il est également configuré pour reconnaître une suite de mouvements de l'opérateur associés à une opération de maintenance.The simulation process continues in step 92 by modeling an action 8 of the operator 6 in the numerical model 30 on the basis of the motion or position recognition indication transmitted by the recognition device. 5. The first display device 41 then displays the action 8 modeled by the control unit 2 to the attention of the operator 6, in step 93. In more detail and with reference to 7, a movement of the operator is detected by the remote recognition device 5, in step 97, and then recognized in step 91. Alternatively, a position of the operator is detected at step 97 2 0 and recognized by the remote recognition device 5 in step 91. The motion or position recognition leads to the modeling of the corresponding action in the numerical model 30, in step 92 The recognized movement is then compared to a movement to perform at step 94a, and / or the modeled action 8 is compared to the action expected of the operator at step 94b, and the result of this comparison is analyzed at step 95. If the movement performed and recognized 70 or the sequence of movements made and recognized is in adequacy with the expected movement or the sequence of expected movements, the first display device 41 displays the performance of the corresponding maintenance operation in step 931 The simulation process continues by displaying the instruction representative of the next maintenance operation in step 96. Otherwise, the display device 4 indicates that the maintenance operation 932 was not done correctly. The second display device 42 indicates that the maintenance operation must be restarted at step 96. In general, the simulator is configured to recognize a movement or position of the operator to associate it with a action related to a maintenance operation in a digital model. It is also configured to recognize a sequence of operator movements associated with a maintenance operation.

10 Le simulateur peut également modéliser en détail les conséquences d'une opération de maintenance de l'opérateur, afin qu'il puisse prendre plus vite conscience de ses erreurs. Cette modélisation des conséquences d'un grand nombre d'actions de l'opérateur peut également conférer un caractère ludique au procédé de simulation.The simulator can also model in detail the consequences of an operator maintenance operation so that he can become aware of his errors more quickly. This modeling of the consequences of a large number of actions of the operator can also confer a fun character to the simulation process.

15 Il est possible de programmer le simulateur de sorte que l'unité d'affichage ne puisse afficher une autre opération de maintenance que celle en cours que lorsque les mouvements reconnus et associés à l'opération de maintenance en cours sont jugés suffisamment précis par l'unité de commande et qu'ils ont été effectués dans un temps raisonnable.It is possible to program the simulator so that the display unit can display a maintenance operation other than that in progress only when the movements recognized and associated with the maintenance operation in progress are judged to be sufficiently accurate by the operator. control unit and that they were carried out within a reasonable time.

20 Le simulateur peut comporter plusieurs programmes en relation avec différents types d'opérations de maintenance. Le logiciel de simulation peut ne pas comporter de menu démonstration. Le premier détecteur et le deuxième détecteur peuvent être identiques. Le dispositif de reconnaissance à distance peut comprendre un seul détecteur à distance.The simulator may include several programs in connection with different types of maintenance operations. The simulation software may not have a demo menu. The first detector and the second detector may be identical. The remote recognition device may comprise a single remote detector.

25 D'autres mouvements que ceux décrits ci-dessus en référence aux figures 4a, 4b, peuvent être détectés et reconnus par le dispositif de reconnaissance à distance. En particulier, le dispositif de reconnaissance à distance est choisi de manière à reconnaître le plus possible de mouvements pertinents pour des opérations de maintenance pour aéronef.Other motions than those described above with reference to FIGS. 4a, 4b may be detected and recognized by the remote recognition device. In particular, the remote recognition device is chosen so as to recognize as much movements as possible for aircraft maintenance operations.

3038119 11 Bien entendu, diverses modifications peuvent être apportées par l'homme du métier à l'invention qui vient d'être décrite sans sortir du cadre de l'exposé de l'invention.Of course, various modifications may be made by those skilled in the art to the invention which has just been described without departing from the scope of the disclosure of the invention.

Claims (11)

REVENDICATIONS1. Procédé de simulation d'opérations de maintenance pour aéronef, comprenant : - une étape de reconnaissance (91) d'un mouvement ou d'une position (7) d'un opérateur par un dispositif de reconnaissance à distance (5), et d'élaboration d'une indication de reconnaissance représentative du mouvement reconnu ou de la position de l'opérateur reconnue, une étape de modélisation (92) d'une action (8) de l'opérateur dans un modèle numérique (30) de tout ou partie de l'aéronef, en réponse à l'indication de reconnaissance du mouvement de l'opérateur ou de la position de l'opérateur.REVENDICATIONS1. A method of simulating maintenance operations for an aircraft, comprising: - a step of recognizing (91) a movement or a position (7) of an operator by a remote recognition device (5), and developing an indication of recognition representative of the recognized movement or the position of the recognized operator, a step of modeling (92) an action (8) of the operator in a numerical model (30) of all or part of the aircraft, in response to the indication of recognition of the movement of the operator or the position of the operator. 2. Procédé de simulation selon la revendication précédente, comprenant une suite de mouvements (75) à effectuer par l'opérateur (6) et à reconnaître par le dispositif de reconnaissance à distance (5), la suite de mouvements (75) étant modélisée dans le modèle numérique (30) par une suite d'opérations de maintenance pour aéronef.2. Simulation method according to the preceding claim, comprising a sequence of movements (75) to be performed by the operator (6) and to be recognized by the remote recognition device (5), the sequence of movements (75) being modeled in the digital model (30) by a series of aircraft maintenance operations. 3. Procédé de simulation selon la revendication précédente, dans lequel une deuxième opération de maintenance (82) n'est pas affichée, tant qu'au moins un mouvement prédéterminé (77) associé à une première opération de maintenance (81) dans le modèle numérique (30) n'est pas reconnu par le dispositif de reconnaissance à distance (5).3. Simulation method according to the preceding claim, wherein a second maintenance operation (82) is not displayed, as long as at least one predetermined movement (77) associated with a first maintenance operation (81) in the model. digital (30) is not recognized by the remote recognition device (5). 4. Simulateur (1) d'opérations de maintenance pour aéronef, comprenant : une unité de commande (2) informatique, configurée pour modéliser numériquement une opération de maintenance dans un modèle numérique (30) de tout ou partie de l'aéronef, 3038119 13 une unité d'affichage (4) reliée à l'unité de commande (2) informatique, et configurée pour afficher le modèle numérique (30), un dispositif de reconnaissance à distance (5) de mouvement, configuré pour reconnaître à distance un mouvement d'un opérateur ou une position (7) de l'opérateur et 5 pour élaborer une indication de reconnaissance du mouvement ou de la position, l'unité de commande (2) étant configurée pour modéliser une action (8) de l'opérateur dans le modèle numérique (30), en réponse à l'indication de reconnaissance de mouvement de l'opérateur ou de position de l'opérateur. 10A simulator (1) for aircraft maintenance operations, comprising: a computer control unit (2) configured to digitally model a maintenance operation in a digital model (30) of all or part of the aircraft, 3038119 13 a display unit (4) connected to the computer control unit (2) and configured to display the digital model (30), a remote motion recognition device (5) configured to remotely recognize a movement of an operator or a position (7) of the operator and 5 to develop an indication of motion or position recognition, the control unit (2) being configured to model an action (8) of the operator in the digital model (30), in response to the operator's movement recognition or operator position indication. 10 5. Simulateur (1) selon la revendication précédente, dans lequel le modèle numérique (30) est un modèle de cockpit d'aéronef (31) ou un modèle de turbomachine pour aéronef.5. Simulator (1) according to the preceding claim, wherein the numerical model (30) is an aircraft cockpit model (31) or a turbine engine model for aircraft. 6. Simulateur (1) selon l'une quelconque des revendications 15 précédentes, dans lequel le dispositif de reconnaissance à distance (5) de mouvement comprend au moins un capteur à infrarouge (51, 52).Simulator (1) according to any one of the preceding claims, wherein the motion recognition device (5) comprises at least one infrared sensor (51, 52). 7. Simulateur (1) selon l'une quelconque des revendications 4 à 6, dans lequel le dispositif de reconnaissance à distance (5) comprend un premier détecteur de 20 mouvement à distance (51) et un deuxième détecteur de mouvement (52) à distance de structure différente et présentant un champ de détection plus resserré.The simulator (1) according to any one of claims 4 to 6, wherein the remote recognition device (5) comprises a first remote motion detector (51) and a second motion detector (52). distance of different structure and having a more narrow detection field. 8. Simulateur (1) selon l'une quelconque des revendications 4 à 7, dans lequel le dispositif de reconnaissance à distance (5) de mouvement est configuré pour 25 reconnaître un mouvement du bras (61), du poignet (62), de la main (63) et/ou d'un doigt (64) de l'opérateur.The simulator (1) according to any one of claims 4 to 7, wherein the motion recognition device (5) is configured to recognize movement of the arm (61), wrist (62), the hand (63) and / or a finger (64) of the operator. 9. Simulateur (1) selon l'une quelconque des revendications 4 à 8, dans lequel le dispositif de reconnaissance à distance (5) est configuré pour reconnaître une 30 suite de mouvements (75) à effectuer par l'opérateur (6), et dans lequel l'unité de 3038119 14 commande (2) est configurée pour modéliser la suite de mouvements (75) dans le modèle numérique (30) par une suite d'opérations de maintenance pour aéronef.The simulator (1) according to any one of claims 4 to 8, wherein the remote recognition device (5) is configured to recognize a sequence of motions (75) to be performed by the operator (6), and wherein the control unit (2) is configured to model the sequence of movements (75) in the digital model (30) by a series of aircraft maintenance operations. 10. Simulateur (1) selon la revendication précédente, configuré 5 pour que l'unité d'affichage (4) n'affiche pas une deuxième opération de maintenance (82) modélisée dans le modèle numérique (30), tant que le dispositif de reconnaissance à distance (5) ne reconnait pas au moins un mouvement prédéterminé (77) associé à une première opération de maintenance (81) dans le modèle numérique (30). 1010. Simulator (1) according to the preceding claim, configured so that the display unit (4) does not display a second maintenance operation (82) modeled in the numerical model (30), as the device of remote recognition (5) does not recognize at least one predetermined movement (77) associated with a first maintenance operation (81) in the digital model (30). 10 11. Simulateur (1) selon l'une quelconque des revendications 4 à 10, dans lequel l'unité de commande (2) est configurée pour afficher des instructions (45) représentatives d'une suite de mouvements (75) à effectuer par l'opérateur (6) et à reconnaître par le dispositif de reconnaissance à distance (5).11. Simulator (1) according to any one of claims 4 to 10, wherein the control unit (2) is configured to display instructions (45) representative of a sequence of movements (75) to be performed by the operator (6) and to be recognized by the remote recognition device (5).
FR1555988A 2015-06-26 2015-06-26 MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT Active FR3038119B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1555988A FR3038119B1 (en) 2015-06-26 2015-06-26 MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1555988A FR3038119B1 (en) 2015-06-26 2015-06-26 MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT

Publications (2)

Publication Number Publication Date
FR3038119A1 true FR3038119A1 (en) 2016-12-30
FR3038119B1 FR3038119B1 (en) 2017-07-21

Family

ID=55072762

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1555988A Active FR3038119B1 (en) 2015-06-26 2015-06-26 MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT

Country Status (1)

Country Link
FR (1) FR3038119B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150079565A1 (en) * 2012-04-11 2015-03-19 Eastern Virginia Medical School Automated intelligent mentoring system (aims)

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150079565A1 (en) * 2012-04-11 2015-03-19 Eastern Virginia Medical School Automated intelligent mentoring system (aims)

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HSU MU HSEN ET AL: "Real-Time Finger Tracking for Virtual Instruments", 2014 7TH INTERNATIONAL CONFERENCE ON UBI-MEDIA COMPUTING AND WORKSHOPS, IEEE, 12 July 2014 (2014-07-12), pages 133 - 138, XP032654949, DOI: 10.1109/U-MEDIA.2014.53 *
KIM YONJAE ET AL: "Experimental evaluation of contact-less hand tracking systems for tele-operation of surgical tasks", 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 31 May 2014 (2014-05-31), pages 3502 - 3509, XP032650318, DOI: 10.1109/ICRA.2014.6907364 *
SHE YINGYING ET AL: "A Real-Time Hand Gesture Recognition Approach Based on Motion Features of Feature Points", 2014 IEEE 17TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL SCIENCE AND ENGINEERING, IEEE, 19 December 2014 (2014-12-19), pages 1096 - 1102, XP032730205, DOI: 10.1109/CSE.2014.216 *

Also Published As

Publication number Publication date
FR3038119B1 (en) 2017-07-21

Similar Documents

Publication Publication Date Title
US11048333B2 (en) System and method for close-range movement tracking
KR102172901B1 (en) Applying acknowledgement of options in a graphical messaging user interface
CN102915112B (en) For the system and method for closely motion tracking
CN105264480B (en) Equipment, method and graphic user interface for being switched between camera interface
CN105518575B (en) With the two handed input of natural user interface
CN105308538B (en) The system and method acted based on detected dumb show performs device
US8622742B2 (en) Teaching gestures with offset contact silhouettes
US10810899B1 (en) Virtual instruction tool
US20150084859A1 (en) System and Method for Recognition and Response to Gesture Based Input
TW201020896A (en) Method of gesture control
WO2007061057A1 (en) Gesture input device and method
US20200073532A1 (en) Design review device, design review method, and program
US20180052517A1 (en) System and method for communicating inputs and outputs via a wearable apparatus
US9965050B2 (en) Interactive book electronic system and operation method thereof
JPWO2018069985A1 (en) Scoring support program, scoring support device and scoring support method
JP6165815B2 (en) Learning system, learning method, program, recording medium
TW200907715A (en) Method, apparatus, and system for simulating an object performing an action
JP2020026025A (en) Training processing device, mediation device, training system and training processing method
CN104980722B (en) A kind of data processing method, device and electronic equipment
CN112449691A (en) Refining virtual mesh models by physical contact
Ertugrul et al. On attaining user-friendly hand gesture interfaces to control existing GUIs
CN110688003B (en) Electronic drawing system, display method, device and medium based on augmented reality
FR3038119A1 (en) MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT
US20160026256A1 (en) Device for assisted maintenance of an aircraft engine by recognition of a remote movement
US20170092141A1 (en) Providing live feedback using a wearable computing device

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 2

PLSC Publication of the preliminary search report

Effective date: 20161230

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

CD Change of name or company name

Owner name: SAFRAN AIRCRAFT ENGINES, FR

Effective date: 20180809

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7

PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9