FR3038119A1 - MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT - Google Patents
MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT Download PDFInfo
- Publication number
- FR3038119A1 FR3038119A1 FR1555988A FR1555988A FR3038119A1 FR 3038119 A1 FR3038119 A1 FR 3038119A1 FR 1555988 A FR1555988 A FR 1555988A FR 1555988 A FR1555988 A FR 1555988A FR 3038119 A1 FR3038119 A1 FR 3038119A1
- Authority
- FR
- France
- Prior art keywords
- operator
- model
- aircraft
- simulator
- movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/28—Simulation of stick forces or the like
Abstract
L'invention concerne un simulateur (1) d'opérations de maintenance pour aéronef, comprenant une unité de commande (2) informatique, une unité d'affichage (4), un dispositif de reconnaissance à distance (5) de mouvement. L'unité de commande (2) est configurée pour modéliser une opération de maintenance dans un modèle numérique (30) de tout ou partie de l'aéronef. L'unité d'affichage (4) est configurée pour afficher le modèle numérique (30). Selon l'invention, l'unité de commande (2) est configurée pour modéliser une action (8) de l'opérateur dans le modèle numérique (30), en réponse à une indication de reconnaissance de mouvement ou de position de l'opérateur, le mouvement ou la position de l'opérateur étant reconnu par le dispositif de reconnaissance à distance (5).The invention relates to a simulator (1) for aircraft maintenance operations, comprising a computer control unit (2), a display unit (4), a remote motion recognition device (5). The control unit (2) is configured to model a maintenance operation in a digital model (30) of all or part of the aircraft. The display unit (4) is configured to display the digital model (30). According to the invention, the control unit (2) is configured to model an action (8) of the operator in the numerical model (30), in response to an indication of motion recognition or position of the operator the movement or position of the operator being recognized by the remote recognition device (5).
Description
1 SIMULATEUR D'OPERATIONS DE MAINTENANCE POUR AERONEF DESCRIPTION DOMAINE TECHNIQUE L'invention se rapporte au domaine technique général des 5 turbomachines d'aéronef. Plus précisément, l'invention concerne un simulateur d'opérations de maintenance pour former un opérateur à une opération de maintenance pour aéronef. ÉTAT DE LA TECHNIQUE ANTÉRIEURE Les opérateurs de maintenance d'aéronef suivent actuellement des 10 formations théoriques avec des cours projetés en salle, des supports papier et éventuellement d'autres sources de documentation. Les opérateurs en cours de formation n'ont pas toujours l'occasion de mettre rapidement en pratique les informations théoriques acquises. Par ailleurs, la formation d'un opérateur par un instructeur, par exemple 15 par téléphone ou par vidéoconférence, dans laquelle l'apprenant s'exerce à effectuer des gestes donnés, précisément et dans un ordre prédéterminé sur une turbomachine ou une partie d'aéronef peut s'avérer coûteuse et difficile à mettre en oeuvre. Cette formation pratique à distance risque par d'ailleurs d'être moins efficace qu'une formation avec l'instructeur présent physiquement. 20 Il existe un besoin pour qu'un apprenant puisse s'exercer à la réalisation d'opérations de maintenance, sans la présence d'un instructeur et sans une turbomachine ou un aéronef. EXPOSÉ DE L'INVENTION L'invention vise à résoudre au moins partiellement les problèmes 25 rencontrés dans les solutions de l'art antérieur. 3038119 2 A cet égard, l'invention a pour objet un procédé de simulation d'opérations de maintenance pour aéronef, comprenant : une étape de reconnaissance d'un mouvement ou d'une position d'un opérateur par un dispositif de reconnaissance à distance, et d'élaboration d'une indication de reconnaissance représentative du mouvement reconnu ou de la position reconnue, une étape de modélisation d'une action de l'opérateur dans un modèle numérique de tout ou partie de l'aéronef, en réponse à l'indication de reconnaissance du mouvement de l'opérateur ou de la position de l'opérateur. Le procédé de simulation peut être mis en oeuvre de manière automatisée, sans la présence physique d'un instructeur, d'une turbomachine ou d'un aéronef. Le procédé de simulation permet d'améliorer la formation d'opérateurs de maintenance, en leur donnant plus facilement la possibilité de mettre en pratique les connaissances théoriques qu'ils ont acquises. Le procédé de simulation complète utilement une formation théorique des opérateurs de maintenance. Le procédé de simulation facilite la formation pratique de plusieurs opérateurs simultanément. L'invention peut comporter de manière facultative une ou plusieurs des caractéristiques suivantes combinées entre elles ou non.TECHNICAL FIELD The invention relates to the general technical field of aircraft turbomachines. More specifically, the invention relates to a simulator of maintenance operations for forming an operator for an aircraft maintenance operation. STATE OF THE PRIOR ART Aircraft maintenance operators are currently undergoing theoretical training with classroom-based courses, paper media and possibly other sources of documentation. Operators in training do not always have the opportunity to quickly put into practice the theoretical information acquired. Furthermore, the training of an operator by an instructor, for example by telephone or videoconference, in which the learner exercises to perform given gestures, precisely and in a predetermined order on a turbomachine or a part of aircraft can be expensive and difficult to implement. This remote practical training may be less effective than training with the physically present instructor. There is a need for a learner to practice performing maintenance operations without the presence of an instructor and without a turbomachine or an aircraft. DISCLOSURE OF THE INVENTION The invention aims to at least partially solve the problems encountered in the solutions of the prior art. In this regard, the subject of the invention is a method for simulating maintenance operations for an aircraft, comprising: a step of recognizing a movement or position of an operator by a remote recognition device , and developing a recognition indication representative of the recognized movement or the recognized position, a step of modeling an operator action in a numerical model of all or part of the aircraft, in response to the indication of recognition of the movement of the operator or the position of the operator. The simulation method can be implemented in an automated manner, without the physical presence of an instructor, a turbomachine or an aircraft. The simulation process makes it possible to improve the training of maintenance operators, by making it easier for them to put into practice the theoretical knowledge they have acquired. The simulation process is a useful addition to the theoretical training of the maintenance operators. The simulation process facilitates the practical training of several operators simultaneously. The invention may optionally include one or more of the following features combined with one another or not.
Avantageusement, le procédé de simulation comprend une suite de mouvements à effectuer par l'opérateur et à reconnaître par le dispositif de reconnaissance à distance, la suite de mouvements étant modélisée dans le modèle numérique par une suite d'opérations de maintenance pour aéronef. Selon une particularité de réalisation, une deuxième opération de maintenance n'est pas affichée, tant qu'au moins un mouvement prédéterminé, associé à une première opération de maintenance dans le modèle numérique, n'est pas reconnu par le dispositif de reconnaissance à distance. Le procédé de simulation permet notamment d'améliorer la formation d'un opérateur en contrôlant que l'opérateur effectue les mouvements attendus dans un 3038119 3 temps raisonnable. Le procédé de simulation incite l'opérateur à s'exercer jusqu'à réaliser une opération de maintenance de manière satisfaisante. L'invention porte également sur un simulateur d'opérations de maintenance pour aéronef.Advantageously, the simulation method comprises a sequence of movements to be performed by the operator and to be recognized by the remote recognition device, the sequence of movements being modeled in the numerical model by a series of maintenance operations for aircraft. According to a particular embodiment, a second maintenance operation is not displayed, as long as at least one predetermined movement, associated with a first maintenance operation in the digital model, is not recognized by the remote recognition device . The simulation method notably makes it possible to improve the formation of an operator by controlling that the operator performs the expected movements within a reasonable time. The simulation process encourages the operator to practice until a maintenance operation is performed satisfactorily. The invention also relates to a simulator of aircraft maintenance operations.
5 Le simulateur comprend une unité de commande informatique, une unité d'affichage et un dispositif de reconnaissance à distance de mouvement. L'unité de commande informatique est configurée pour modéliser numériquement au moins une opération de maintenance dans un modèle numérique de tout ou partie de l'aéronef.The simulator comprises a computer control unit, a display unit and a remote motion recognition device. The computer control unit is configured to digitally model at least one maintenance operation in a digital model of all or part of the aircraft.
10 L'unité d'affichage est reliée à l'unité de commande informatique. L'unité d'affichage est configurée pour afficher le modèle numérique. Le dispositif de reconnaissance à distance de mouvement est configuré pour reconnaître à distance un mouvement d'un opérateur ou une position de l'opérateur et pour élaborer une indication de reconnaissance du mouvement reconnu ou de la 15 position reconnue. Selon l'invention, l'unité de commande est configurée pour modéliser une action de l'opérateur dans le modèle numérique, en réponse à l'indication de reconnaissance de mouvement de l'opérateur ou de position de l'opérateur. Le simulateur est destiné à mettre en oeuvre le procédé de simulation 20 d'opérations de maintenance pour aéronef décrit ci-dessus. Le simulateur est relativement peu coûteux et facilement transportable. Le dispositif de reconnaissance à distance de mouvement est notamment configuré pour transmettre à l'unité de commande l'indication de reconnaissance du mouvement reconnu ou de la position reconnue.The display unit is connected to the computer control unit. The display unit is configured to display the digital model. The motion recognition device is configured to remotely recognize an operator movement or an operator position and to develop a recognition indication of the recognized motion or the recognized position. According to the invention, the control unit is configured to model an action of the operator in the digital model, in response to the indication of recognition of operator movement or position of the operator. The simulator is intended to implement the aircraft maintenance operations simulation process described above. The simulator is relatively inexpensive and easily transportable. The remote motion recognition device is in particular configured to transmit to the control unit the recognition indication of the recognized movement or the recognized position.
25 Avantageusement, le modèle numérique est un modèle de cockpit d'aéronef ou un modèle de turbomachine pour aéronef. Selon une particularité de réalisation, le dispositif de reconnaissance à distance de mouvement comprend au moins un capteur à infrarouge. Selon une forme de réalisation avantageuse, le dispositif de reconnaissance à distance comprend un premier détecteur de mouvement à distance et un 3038119 4 deuxième détecteur de mouvement à distance de structure différente et présentant un champ de détection plus resserré. De préférence, le dispositif de reconnaissance à distance est configuré pour reconnaître un mouvement du bras, du poignet, de la main et/ou d'un doigt de 5 l'opérateur. Selon une autre particularité de réalisation, le dispositif de reconnaissance à distance est configuré pour reconnaître une suite de mouvements à effectuer par l'opérateur. L'unité de commande est de préférence configurée pour modéliser la suite de mouvements dans le modèle numérique par une suite d'opérations 10 de maintenance pour aéronef. Selon une autre forme de réalisation avantageuse, le simulateur est configuré pour que l'unité d'affichage n'affiche pas une deuxième opération de maintenance modélisée dans le modèle numérique, tant que le dispositif de reconnaissance à distance ne reconnait pas au moins un mouvement prédéterminé associé 15 à une première opération de maintenance dans le modèle numérique. Tant qu'un mouvement prédéterminé associé à une première opération de maintenance n'est pas détecté ou reconnu par le dispositif de reconnaissance, au moins deux possibilités sont envisageables. Soit l'unité de commande modélise la deuxième opération de 20 maintenance et l'unité de commande donne l'ordre à l'unité d'affichage de ne pas afficher la réalisation de la deuxième opération de maintenance. Soit l'unité de commande ne modélise pas, au moins partiellement, la deuxième opération de maintenance. De la sorte, l'unité d'affichage ne peut pas afficher la réalisation de la deuxième opération de maintenance.Advantageously, the numerical model is an aircraft cockpit model or an aircraft turbomachine model. According to a particular embodiment, the remote motion recognition device comprises at least one infrared sensor. According to an advantageous embodiment, the remote recognition device comprises a first remote motion detector and a second remote motion detector of different structure and having a narrower detection field. Preferably, the remote recognition device is configured to recognize a movement of the arm, wrist, hand and / or finger of the operator. According to another embodiment, the remote recognition device is configured to recognize a sequence of movements to be performed by the operator. The control unit is preferably configured to model the sequence of motions in the digital model by a series of aircraft maintenance operations. According to another advantageous embodiment, the simulator is configured so that the display unit does not display a second maintenance operation modeled in the digital model, as long as the remote recognition device does not recognize at least one movement. predetermined associated with a first maintenance operation in the digital model. As long as a predetermined movement associated with a first maintenance operation is not detected or recognized by the recognition device, at least two possibilities are possible. Either the control unit models the second maintenance operation and the control unit instructs the display unit not to display performing the second maintenance operation. Either the control unit does not model, at least partially, the second maintenance operation. In this way, the display unit can not display the carrying out of the second maintenance operation.
25 Dans tous les cas, l'unité d'affichage n'affiche pas la réalisation de la deuxième opération de maintenance. Avantageusement, l'unité de commande est configurée pour afficher des instructions représentatives d'une suite de mouvements à effectuer par l'opérateur et à reconnaître par le dispositif de reconnaissance à distance.In all cases, the display unit does not display the carrying out of the second maintenance operation. Advantageously, the control unit is configured to display instructions representative of a sequence of movements to be performed by the operator and to be recognized by the remote recognition device.
3038119 5 BRÈVE DESCRIPTION DES DESSINS La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation, donnés à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés sur lesquels : 5 la figure 1 est une représentation schématique d'un simulateur d'opérations de maintenance selon un mode de réalisation préféré; la figure 2 illustre le fonctionnement du simulateur d'opérations de maintenance pour aéronef ; la figure 3 illustre l'affichage d'un mouvement prédéterminé 10 à effectuer par l'opérateur pour modéliser une opération de maintenance ; les figures 4a, 4b, 4c, 4d représentent différents mouvements susceptibles d'être effectués par un opérateur au cours de la modélisation d'une opération de maintenance pour aéronef ; la figure 5 représente les deux fonctionnalités principales 15 d'un logiciel de simulation d'opérations de maintenance du simulateur du mode de réalisation préféré; la figure 6 illustre un procédé de simulation d'opérations de maintenance, mis en oeuvre par le simulateur représenté à la figure 1; la figure 7 illustre un procédé de simulation d'opérations de 20 maintenance selon un premier exemple de réalisation et selon le procédé général illustré à la figure 6. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS Des parties identiques, similaires ou équivalentes des différentes figures 25 portent les mêmes références numériques de façon à faciliter le passage d'une figure à l'autre. La figure 1 représente un simulateur 1 d'opérations de maintenance pour aéronef. Le simulateur 1 sert à former un opérateur humain 6 à des opérations de maintenance d'une turbomachine d'aéronef et/ou à des opérations de maintenance à 3038119 6 effectuer à l'intérieur d'un aéronef. Ces opérations de maintenance correspondent par exemple à une procédure de vérification de démarrage automatique de la turbomachine ou de démarrage manuel de la turbomachine. Le simulateur 1 comprend une unité de commande 2, une unité 5 d'affichage 4 et un dispositif de reconnaissance à distance 5 de mouvement. L'unité de commande 2 comprend au moins un ordinateur qui sert de support à un logiciel 3 de simulation d'opérations de maintenance pour aéronef, ainsi qu'un clavier 43. Le logiciel 3 comprend un modèle numérique de cockpit 31 ou un modèle 10 numérique de turbomachine pour aéronef. Le logiciel 3 intègre des actions 8 de l'opérateur dans le modèle numérique 30. Les actions 8 de l'opérateur sont modélisées par l'unité de commande 2 à partir de la reconnaissance d'un mouvement de l'opérateur ou d'une position de l'opérateur. L'unité d'affichage 4 est reliée à l'unité de commande 2. L'unité 15 d'affichage 4 affiche des informations à l'attention de l'opérateur 6 en cours de formation sur ordre de l'unité de commande 2. L'unité d'affichage 4 comprend un premier dispositif d'affichage 41 et un deuxième dispositif d'affichage 42. Le premier dispositif d'affichage 41 et le deuxième dispositif d'affichage 42 sont des écrans d'ordinateur.BRIEF DESCRIPTION OF THE DRAWINGS The present invention will be better understood on reading the description of exemplary embodiments, given purely by way of indication and in no way limiting, with reference to the appended drawings in which: FIG. 1 is a diagrammatic representation a maintenance operations simulator according to a preferred embodiment; FIG. 2 illustrates the operation of the aircraft maintenance operations simulator; Figure 3 illustrates the display of a predetermined motion to be performed by the operator to model a maintenance operation; FIGS. 4a, 4b, 4c, 4d represent various movements that can be performed by an operator during the modeling of an aircraft maintenance operation; Figure 5 shows the two main functionalities of simulator maintenance operations simulation software of the preferred embodiment; FIG. 6 illustrates a method for simulating maintenance operations implemented by the simulator shown in FIG. 1; FIG. 7 illustrates a method for simulating maintenance operations according to a first exemplary embodiment and according to the general method illustrated in FIG. 6. DETAILED DESCRIPTION OF PARTICULAR EMBODIMENTS Identical, similar or equivalent parts of the various FIGS. the same numerical references so as to facilitate the passage from one figure to another. FIG. 1 represents a simulator 1 for aircraft maintenance operations. The simulator 1 serves to form a human operator 6 for maintenance operations of an aircraft turbine engine and / or for maintenance operations to be performed inside an aircraft. These maintenance operations correspond, for example, to a procedure for verifying the automatic start-up of the turbomachine or manual starting of the turbomachine. The simulator 1 comprises a control unit 2, a display unit 4 and a motion recognition device 5. The control unit 2 comprises at least one computer that serves as a support for software 3 for simulation of aircraft maintenance operations, as well as a keyboard 43. The software 3 comprises a digital cockpit model 31 or a model 10 turbomachine digital aircraft. The software 3 integrates actions 8 of the operator in the numerical model 30. The actions 8 of the operator are modeled by the control unit 2 from the recognition of a movement of the operator or a position of the operator. The display unit 4 is connected to the control unit 2. The display unit 4 displays information for the operator 6 being formed on the order of the control unit 2 The display unit 4 includes a first display device 41 and a second display device 42. The first display device 41 and the second display device 42 are computer screens.
2 0 Le premier dispositif d'affichage 41 affiche le modèle numérique 30. Le deuxième dispositif d'affichage 42 affiche des instructions 45 représentatives d'un mouvement ou d'une suite de mouvements 75 à effectuer par l'opérateur dans la réalité. En variante, le deuxième dispositif d'affichage 42 affiche une action 8 à réaliser dans le modèle numérique 30 sur la base d'un mouvement 70 ou d'une 25 suite de mouvement 75 détectés et reconnus. Le dispositif de reconnaissance à distance 5 reconnait à distance un mouvement ou une position 7. L'unité de commande 2 et le dispositif de reconnaissance à distance 5 permettent que les mouvements reconnus ou les positions 7 reconnues par le dispositif de reconnaissance à distance 5 soient convertis en mouvements virtuels ou en 3038119 7 positions 7 virtuelles dans le modèle numérique 30 et affichés par le dispositif d'affichage 4. Le dispositif de reconnaissance à distance 5 comprend un premier détecteur de mouvement à distance 51 et un deuxième détecteur de mouvement à 5 distance 52. Le premier détecteur 51 et le deuxième détecteur 52 sont des capteurs à infrarouges sensibles à la chaleur dégagée par l'opérateur humain 6 dans l'infrarouge. Les détecteurs 51 et 52 convertissent un mouvement 70 de l'opérateur en une indication de reconnaissance de mouvement. Les détecteurs 51, 52 convertissent une position en une 10 indication de reconnaissance de position. Le deuxième détecteur de mouvement 52 est de structure différente du premier détecteur de mouvement 51. Le deuxième détecteur de mouvement présente un champ de détection plus resserré que le premier détecteur de mouvement 51. En contrepartie, le deuxième détecteur 52 est aussi plus précis que le premier détecteur 51.The first display device 41 displays the digital model 30. The second display device 42 displays instructions 45 representative of a motion or sequence of movements 75 to be performed by the operator in the real world. Alternatively, the second display device 42 displays an action 8 to be performed in the digital model 30 on the basis of a detected and recognized movement 70 or sequence of motion 75. The remote recognition device 5 remotely recognizes a movement or a position 7. The control unit 2 and the remote recognition device 5 allow the recognized motions or the positions 7 recognized by the remote recognition device 5 to be converted to virtual movements or virtual 7 positions in the digital model 30 and displayed by the display device 4. The remote recognition device 5 comprises a first remote motion detector 51 and a second motion detector 5. distance 52. The first detector 51 and the second detector 52 are infrared sensors sensitive to the heat released by the human operator 6 in the infrared. The detectors 51 and 52 convert a movement 70 of the operator into a motion recognition indication. The detectors 51, 52 convert a position to a position recognition indication. The second motion detector 52 is of a different structure from the first motion detector 51. The second motion detector has a detection field that is narrower than the first motion detector 51. In return, the second detector 52 is also more accurate than the second motion detector 51. first detector 51.
15 Le premier détecteur 51 est par exemple un capteur connu sous le nom de « KinnectTm » ou un détecteur similaire. Le deuxième détecteur 52 est par exemple un capteur connu sous la dénomination « LeapMotionTM » ou un détecteur similaire. Le premier détecteur 51 détecte et reconnait des mouvements du bras 61 et de la partie du corps de l'opérateur 6 au-dessus du buste. Le deuxième détecteur 52 20 détecte et reconnait des mouvements de doigts 64 ou des mains 63 de l'opérateur. Le premier détecteur 51 et le deuxième détecteur 52 détectent et reconnaissent chacun un mouvement ou une position du poignet 62 de l'opérateur 6. La figure 2 représente par exemple une action 8 de l'opérateur 6, lorsqu'il est en train de réaliser une première opération de maintenance 81 dans le modèle 25 numérique 30. Cette première opération de maintenance 81 consiste en l'actionnement d'un bouton virtuel 39, par la modélisation du déplacement du bras 61, du poignet 62, de la main 63 et des doigts 64 de l'opérateur 6. A la figure 3, l'écran 41 affiche de manière détaillée un tableau de bord virtuel 33, en particulier un levier virtuel 38. L'écran 41 affiche aussi une barre d'outils 37 30 de commande du logiciel de simulation 3.The first detector 51 is for example a sensor known as "KinnectTm" or a similar detector. The second detector 52 is for example a sensor known under the name "LeapMotionTM" or a similar detector. The first detector 51 detects and recognizes movements of the arm 61 and the body portion of the operator 6 above the bust. The second detector 52 detects and recognizes finger movements 64 or hands 63 of the operator. The first detector 51 and the second detector 52 each detect and recognize a movement or a position of the wrist 62 of the operator 6. FIG. 2 represents for example an action 8 of the operator 6, when he is performing a first maintenance operation 81 in the digital model 30. This first maintenance operation 81 consists in the actuation of a virtual button 39, by modeling the movement of the arm 61, the wrist 62, the hand 63 and the In FIG. 3, the screen 41 displays in detail a virtual dashboard 33, in particular a virtual lever 38. The screen 41 also displays a control toolbar 37. In FIG. simulation software 3.
3038119 8 L'unité de commande 2 est en train de modéliser une deuxième opération de maintenance 82 qui consiste à faire basculer le levier virtuel 38. Le simulateur 1 ne permet de réaliser la deuxième opération de maintenance 82 dans le modèle numérique 30 que lorsque la première opération de 5 maintenance 81 a été correctement réalisée dans le modèle numérique 30. En d'autres termes, l'affichage de la deuxième opération de maintenance 82 sur le premier dispositif d'affichage 41 ne peut avoir lieu que lorsque le simulateur 1 a détecté et reconnu au moins un mouvement prédéterminé 77 de l'opérateur, associé à l'actionnement du bouton 39.The control unit 2 is modeling a second maintenance operation 82 which consists in flipping the virtual lever 38. The simulator 1 makes it possible to carry out the second maintenance operation 82 in the numerical model 30 only when the The first maintenance operation 81 has been correctly performed in the digital model 30. In other words, the display of the second maintenance operation 82 on the first display device 41 can take place only when the simulator 1 detected and recognized at least one predetermined movement 77 of the operator, associated with the actuation of the button 39.
10 En référence aux figures 4a à 4d, le simulateur 1 reconnaît un mouvement de rotation 74 du poignet 62 pour l'associer par exemple à la rotation d'un bouton virtuel 39 du modèle de cockpit 31. Le simulateur 1 reconnaît un mouvement prédéterminé 77 de levé 78 de la main 63 et un mouvement prédéterminé 77 de poussé 76 de la main 63. L'unité de 15 commande 2 peut modéliser cette suite 75 de mouvements par l'actionnement du levier virtuel 38. Le simulateur 1 reconnaît également le levé 78 seul du bras 61 pour l'associer à l'ouverture ou la fermeture d'un clapet. Le même mouvement peut ensuite servir à appuyer sur un bouton virtuel 39.With reference to FIGS. 4a to 4d, the simulator 1 recognizes a rotational movement 74 of the wrist 62 to associate it for example with the rotation of a virtual button 39 of the cockpit model 31. The simulator 1 recognizes a predetermined movement 77 the control unit 2 can model this sequence of movements by the operation of the virtual lever 38. The simulator 1 also recognizes the survey. 78 only arm 61 to associate with the opening or closing of a valve. The same movement can then be used to press a virtual button 39.
20 Enfin, un mouvement de rapprochement 79 du poignet 62 ou de la main 63 est associé à un agrandissement de la taille l'affichage sur le premier dispositif d'affichage 41. Autrement dit, le mouvement de rapprochement 79 du poignet 62 ou de la main 63 est associé à un « zoom avant ». Un mouvement d'éloignement du poignet 62 ou de la main 63 est associé 25 à un mouvement de réduction de la taille de l'affichage sur le premier dispositif d'affichage 41. Autrement dit, le mouvement d'éloignement du poignet 62 ou de la main 63 est associé à un « zoom arrière ». La détection et la reconnaissance d'un mouvement ou d'une position de l'opérateur 6 pour la convertir en une action 8 liée à une opération de maintenance n'a lieu 30 que lorsque l'opérateur est entré dans un menu exercice 36 du logiciel de simulation 3.Finally, a movement of the wrist 62 or the hand 63 is associated with an enlargement of the size of the display on the first display device 41. In other words, the movement of the wrist 62 or the main 63 is associated with a "zoom in". A movement away from the wrist 62 or the hand 63 is associated with a display size reduction movement on the first display device 41. In other words, the movement away from the wrist 62 or the hand 63 is associated with a "zoom out". The detection and recognition of a movement or position of the operator 6 to convert it to an action 8 related to a maintenance operation only occurs when the operator has entered an exercise menu 36 of the simulation software 3.
3038119 9 Le logiciel de simulation 3 comprend un menu utilisateur 34 comportant le menu exercice 36 et un menu démonstration 35. Le menu démonstration 35 offre à l'opérateur 6 la possibilité de visualiser les opérations de maintenance qu'il aura à réaliser dans le modèle numérique 30.The simulation software 3 includes a user menu 34 comprising the exercise menu 36 and a demonstration menu 35. The demonstration menu 35 offers the operator 6 the possibility of visualizing the maintenance operations that he will have to carry out in the model. digital 30.
5 La figure 6 illustre la mise en oeuvre générale d'un procédé de simulation d'opérations de maintenance par le simulateur 1 représenté aux figures 1 à 3. Tout d'abord, un mouvement de l'opérateur est reconnu par le dispositif de reconnaissance à distance 5 à l'étape 91. En variante, une position de l'opérateur est reconnue à l'étape 91.FIG. 6 illustrates the general implementation of a simulation process of maintenance operations by the simulator 1 represented in FIGS. 1 to 3. First of all, a movement of the operator is recognized by the recognition device. Alternatively, a position of the operator is recognized in step 91.
10 Le procédé de simulation se poursuit à l'étape 92 par la modélisation d'une action 8 de l'opérateur 6 dans le modèle numérique 30 sur la base de l'indication de reconnaissance de mouvement ou de position transmise par le dispositif de reconnaissance à distance 5. Le premier dispositif d'affichage 41 affiche alors l'action 8 modélisée par 15 l'unité de commande 2 à l'attention de l'opérateur 6, à l'étape 93. De manière plus détaillée et en référence à la figure 7, un mouvement de l'opérateur est détecté par le dispositif de reconnaissance à distance 5, à l'étape 97, puis reconnu à l'étape 91. A titre d'alternative, une position de l'opérateur est détectée à l'étape 97 2 0 et reconnue par le dispositif de reconnaissance à distance 5 à l'étape 91. La reconnaissance du mouvement ou de la position conduit à la modélisation de l'action correspondante dans le modèle numérique 30, à l'étape 92. Le mouvement reconnu est ensuite comparé à un mouvement à effectuer à l'étape 94a, et/ou l'action 8 modélisée est comparée à l'action attendue de l'opérateur à 25 l'étape 94b, puis le résultat de cette comparaison est analysé à l'étape 95. Si le mouvement effectué et reconnu 70 ou la suite de mouvements effectués et reconnus est en adéquation avec le mouvement attendu ou la suite de mouvements attendus, le premier dispositif d'affichage 41 affiche la réalisation de l'opération de maintenance correspondante à l'étape 931. Le procédé de simulation se 3038119 10 poursuit par l'affichage de l'instruction représentative de l'opération de maintenance suivante, à l'étape 96. Sinon, le dispositif d'affichage 4 indique que l'opération de maintenance 932 n'a pas été effectuée correctement. Le deuxième dispositif d'affichage 42 indique que 5 l'opération de maintenance doit être recommencée, à l'étape 96. De manière générale, le simulateur est configuré pour reconnaître un mouvement ou une position de l'opérateur pour l'associer à une action liée à une opération de maintenance dans un modèle numérique. Il est également configuré pour reconnaître une suite de mouvements de l'opérateur associés à une opération de maintenance.The simulation process continues in step 92 by modeling an action 8 of the operator 6 in the numerical model 30 on the basis of the motion or position recognition indication transmitted by the recognition device. 5. The first display device 41 then displays the action 8 modeled by the control unit 2 to the attention of the operator 6, in step 93. In more detail and with reference to 7, a movement of the operator is detected by the remote recognition device 5, in step 97, and then recognized in step 91. Alternatively, a position of the operator is detected at step 97 2 0 and recognized by the remote recognition device 5 in step 91. The motion or position recognition leads to the modeling of the corresponding action in the numerical model 30, in step 92 The recognized movement is then compared to a movement to perform at step 94a, and / or the modeled action 8 is compared to the action expected of the operator at step 94b, and the result of this comparison is analyzed at step 95. If the movement performed and recognized 70 or the sequence of movements made and recognized is in adequacy with the expected movement or the sequence of expected movements, the first display device 41 displays the performance of the corresponding maintenance operation in step 931 The simulation process continues by displaying the instruction representative of the next maintenance operation in step 96. Otherwise, the display device 4 indicates that the maintenance operation 932 was not done correctly. The second display device 42 indicates that the maintenance operation must be restarted at step 96. In general, the simulator is configured to recognize a movement or position of the operator to associate it with a action related to a maintenance operation in a digital model. It is also configured to recognize a sequence of operator movements associated with a maintenance operation.
10 Le simulateur peut également modéliser en détail les conséquences d'une opération de maintenance de l'opérateur, afin qu'il puisse prendre plus vite conscience de ses erreurs. Cette modélisation des conséquences d'un grand nombre d'actions de l'opérateur peut également conférer un caractère ludique au procédé de simulation.The simulator can also model in detail the consequences of an operator maintenance operation so that he can become aware of his errors more quickly. This modeling of the consequences of a large number of actions of the operator can also confer a fun character to the simulation process.
15 Il est possible de programmer le simulateur de sorte que l'unité d'affichage ne puisse afficher une autre opération de maintenance que celle en cours que lorsque les mouvements reconnus et associés à l'opération de maintenance en cours sont jugés suffisamment précis par l'unité de commande et qu'ils ont été effectués dans un temps raisonnable.It is possible to program the simulator so that the display unit can display a maintenance operation other than that in progress only when the movements recognized and associated with the maintenance operation in progress are judged to be sufficiently accurate by the operator. control unit and that they were carried out within a reasonable time.
20 Le simulateur peut comporter plusieurs programmes en relation avec différents types d'opérations de maintenance. Le logiciel de simulation peut ne pas comporter de menu démonstration. Le premier détecteur et le deuxième détecteur peuvent être identiques. Le dispositif de reconnaissance à distance peut comprendre un seul détecteur à distance.The simulator may include several programs in connection with different types of maintenance operations. The simulation software may not have a demo menu. The first detector and the second detector may be identical. The remote recognition device may comprise a single remote detector.
25 D'autres mouvements que ceux décrits ci-dessus en référence aux figures 4a, 4b, peuvent être détectés et reconnus par le dispositif de reconnaissance à distance. En particulier, le dispositif de reconnaissance à distance est choisi de manière à reconnaître le plus possible de mouvements pertinents pour des opérations de maintenance pour aéronef.Other motions than those described above with reference to FIGS. 4a, 4b may be detected and recognized by the remote recognition device. In particular, the remote recognition device is chosen so as to recognize as much movements as possible for aircraft maintenance operations.
3038119 11 Bien entendu, diverses modifications peuvent être apportées par l'homme du métier à l'invention qui vient d'être décrite sans sortir du cadre de l'exposé de l'invention.Of course, various modifications may be made by those skilled in the art to the invention which has just been described without departing from the scope of the disclosure of the invention.
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1555988A FR3038119B1 (en) | 2015-06-26 | 2015-06-26 | MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1555988A FR3038119B1 (en) | 2015-06-26 | 2015-06-26 | MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT |
Publications (2)
Publication Number | Publication Date |
---|---|
FR3038119A1 true FR3038119A1 (en) | 2016-12-30 |
FR3038119B1 FR3038119B1 (en) | 2017-07-21 |
Family
ID=55072762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1555988A Active FR3038119B1 (en) | 2015-06-26 | 2015-06-26 | MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT |
Country Status (1)
Country | Link |
---|---|
FR (1) | FR3038119B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150079565A1 (en) * | 2012-04-11 | 2015-03-19 | Eastern Virginia Medical School | Automated intelligent mentoring system (aims) |
-
2015
- 2015-06-26 FR FR1555988A patent/FR3038119B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150079565A1 (en) * | 2012-04-11 | 2015-03-19 | Eastern Virginia Medical School | Automated intelligent mentoring system (aims) |
Non-Patent Citations (3)
Title |
---|
HSU MU HSEN ET AL: "Real-Time Finger Tracking for Virtual Instruments", 2014 7TH INTERNATIONAL CONFERENCE ON UBI-MEDIA COMPUTING AND WORKSHOPS, IEEE, 12 July 2014 (2014-07-12), pages 133 - 138, XP032654949, DOI: 10.1109/U-MEDIA.2014.53 * |
KIM YONJAE ET AL: "Experimental evaluation of contact-less hand tracking systems for tele-operation of surgical tasks", 2014 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION (ICRA), IEEE, 31 May 2014 (2014-05-31), pages 3502 - 3509, XP032650318, DOI: 10.1109/ICRA.2014.6907364 * |
SHE YINGYING ET AL: "A Real-Time Hand Gesture Recognition Approach Based on Motion Features of Feature Points", 2014 IEEE 17TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL SCIENCE AND ENGINEERING, IEEE, 19 December 2014 (2014-12-19), pages 1096 - 1102, XP032730205, DOI: 10.1109/CSE.2014.216 * |
Also Published As
Publication number | Publication date |
---|---|
FR3038119B1 (en) | 2017-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11048333B2 (en) | System and method for close-range movement tracking | |
KR102172901B1 (en) | Applying acknowledgement of options in a graphical messaging user interface | |
CN102915112B (en) | For the system and method for closely motion tracking | |
CN105264480B (en) | Equipment, method and graphic user interface for being switched between camera interface | |
CN105518575B (en) | With the two handed input of natural user interface | |
CN105308538B (en) | The system and method acted based on detected dumb show performs device | |
US8622742B2 (en) | Teaching gestures with offset contact silhouettes | |
US10810899B1 (en) | Virtual instruction tool | |
US20150084859A1 (en) | System and Method for Recognition and Response to Gesture Based Input | |
TW201020896A (en) | Method of gesture control | |
WO2007061057A1 (en) | Gesture input device and method | |
US20200073532A1 (en) | Design review device, design review method, and program | |
US20180052517A1 (en) | System and method for communicating inputs and outputs via a wearable apparatus | |
US9965050B2 (en) | Interactive book electronic system and operation method thereof | |
JPWO2018069985A1 (en) | Scoring support program, scoring support device and scoring support method | |
JP6165815B2 (en) | Learning system, learning method, program, recording medium | |
TW200907715A (en) | Method, apparatus, and system for simulating an object performing an action | |
JP2020026025A (en) | Training processing device, mediation device, training system and training processing method | |
CN104980722B (en) | A kind of data processing method, device and electronic equipment | |
CN112449691A (en) | Refining virtual mesh models by physical contact | |
Ertugrul et al. | On attaining user-friendly hand gesture interfaces to control existing GUIs | |
CN110688003B (en) | Electronic drawing system, display method, device and medium based on augmented reality | |
FR3038119A1 (en) | MAINTENANCE OPERATIONS SIMULATOR FOR AIRCRAFT | |
US20160026256A1 (en) | Device for assisted maintenance of an aircraft engine by recognition of a remote movement | |
US20170092141A1 (en) | Providing live feedback using a wearable computing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20161230 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
CD | Change of name or company name |
Owner name: SAFRAN AIRCRAFT ENGINES, FR Effective date: 20180809 |
|
PLFP | Fee payment |
Year of fee payment: 6 |
|
PLFP | Fee payment |
Year of fee payment: 7 |
|
PLFP | Fee payment |
Year of fee payment: 8 |
|
PLFP | Fee payment |
Year of fee payment: 9 |