FR3044122A1 - Procede et systeme pour assister un operateur de maintenance dans l'execution d'une tache de maintenance d'un aeronef - Google Patents

Abstract

La présente invention concerne un procédé pour assister un opérateur de maintenance dans l'exécution d'une tâche de maintenance d'un aéronef, ledit procédé d'assistance comportant une étape d'affichage (E20) en réalité augmentée sur un dispositif d'affichage (20) d'au moins une image virtuelle d'au moins un élément à contrôler. Selon une caractéristique de la présente invention, ledit procédé comporte en outre : - une étape (E30) de détermination du mouvement 3D réel du ou de chaque élément à contrôler pour la tâche de maintenance à exécuter, - une étape (E40) de comparaison dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler associé à la tâche de maintenance à exécuter, et - une étape (E50) de déclenchement d'une alarme lorsque ladite étape de comparaison montre une discordance entre le mouvement 3D réel du ou de chaque élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler. La présente invention concerne également un système d'assistance pour assister un opérateur de maintenance dans l'exécution d'une tâche de maintenance d'un aéronef.

Description

La présente invention concerne un procédé pour assister un opérateur pour des opérations de maintenance d'un aéronef au moyen d'un système d'assistance à réalité augmentée.

Lorsqu'une panne survient sur un aéronef, le centre de maintenance (MCC) de la compagnie aérienne de l'aéronef en est informé et prévoit alors les opérations de maintenance à effectuer. Plus exactement, il identifie chacune des tâches de maintenance afin de mener à bien ces opérations de maintenance et de les confier à un opérateur de maintenance qualifié. Ces tâches de maintenance sont préétablies et sont répertoriées dans un manuel appelé AMM, acronyme de Aircraft Maintenance Manuel (Manuel de maintenance pour aéronef en français). Il se peut également qu'un opérateur de maintenance lise, après atterrissage d'un aéronef, un registre de l'aéronef appelé logbook, et constate que des opérations de maintenance sont à effectuer. Le registre "logbook" est un document compilant l'ensemble des incidents ayant édité une alarme qui sont survenus pendant un vol de l'aéronef considéré et qui nécessitent obligatoirement que des opérations de maintenance soient effectuées. Ainsi, à chaque alarme éditée, sera associé une ou un ensemble de tâches à réaliser. L'opérateur de maintenance intervient donc sur l'aéronef considéré et effectue chacune des tâches des opérations de maintenance. Pour l'assister, il dispose d'un système d'assistance qui lui permet de sélectionner chacune des tâches de maintenance à effectuer et d'ainsi afficher, sur un écran approprié, les informations nécessaires pour mener à bien chacune de ces tâches. Ces informations peuvent regrouper des textes informatifs relatifs à des instructions données à l'opérateur, à des référencements de composants sur lesquels intervenir, des images ou des schémas de ces composants et des systèmes constitués de ces composants, de leur liaison, etc. ainsi que des outils à utiliser, et des séquences d'animation 3D montrant le déroulé de chaque tâche à exécuter. De plus, ces informations peuvent être affichées en réalité augmentée, c'est-à-dire qu'elles viennent se superposer, pour l'opérateur, à ce qu'il voit du lieu d'intervention réel, soit à travers une paire de lunettes qu'il porte, soit par l'intermédiaire d'images prises par une caméra et affichées sur un écran du système d'assistance placé, soit à proximité de l'opérateur, soit devant les yeux de l'opérateur qui porte alors une paire de lunettes appropriées.

De manière générale, un système de réalité augmentée possède trois propriétés qui le définissent : il combine des objets virtuels et des objets réels, il fonctionne de manière interactive en temps réel et il aligne les objets virtuels avec les objets réels.

De tels systèmes d'assistance par affichage d'informations en réalité augmentée permettent à l'opérateur de visualiser les composants sur lesquels il doit intervenir, de savoir quel outil il doit utiliser et de connaître le déroulé des tâches à effectuer. De plus, si l'affichage en réalité augmentée est effectué devant ses yeux, l'opérateur pourra voir les informations mentionnées ci-dessus superposées à la réalité, ce qui lui permet de ne pas continuellement tourner son regard de l'endroit d'intervention vers le système d'assistance et réciproquement et d'ainsi mieux se concentrer sur le déroulé des tâches. Ils permettent également de réduire le temps d'intervention et d'ainsi rendre les aéronefs concernés plus rapidement disponibles pour de nouveaux vols. Ils permettent également de réduire les risques d'erreurs dues à des incompréhensions des tâches à effectuer.

Cependant, les risques d'erreurs et d'incompréhensions ne sont pas totalement éliminés, surtout lorsque les opérateurs doivent intervenir rapidement.

Le but de la présente invention est donc de prévoir une méthode pour assister un opérateur pour des opérations de maintenance d'un aéronef au moyen d'un système de réalité augmentée qui permette de diminuer encore les risques d'erreurs dans le déroulé des tâches à effectuer par rapport aux méthodes de l'art antérieur rappelé succinctement ci-dessus. A cet effet, un procédé pour assister un opérateur de maintenance dans l'exécution d'une tâche de maintenance d'un aéronef comporte: - une étape de détermination du mouvement 3D réel du ou de chaque élément à contrôler pour la tâche de maintenance à exécuter, - une étape de comparaison dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler associé à la tâche de maintenance à exécuter, et - une étape de déclenchement d'une alarme lorsque ladite étape de comparaison montre une discordance entre le mouvement 3D réel du ou de chaque élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler.

Ainsi, la présente invention permet de contrôler que les actions de l'opérateur pour réaliser ses tâches de maintenance ont été correctement effectuées et de le prévenir si tel n'est pas le cas.

Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :

La Fig. 1 est une vue schématique d'un système d'assistance à réalité augmentée pour les opérations de maintenance,

La Fig. 2 est un diagramme d'un procédé pour assister un opérateur pour des opérations de maintenance d'un aéronef au moyen d'un système d'assistance à réalité augmentée selon la Fig. 1, et

La Fig. 3 est un schéma synoptique d'une unité de commande d'un système d'assistance à réalité augmentée selon un mode de réalisation informatique.

Le système d'assistance à réalité augmentée représenté à la Fig. 1 comprend essentiellement une unité de commande 10 qui peut se présenter sous la forme d'un ordinateur, tel qu'un ordinateur personnel, une tablette, un Smartphone, etc., un dispositif d'affichage 20 qui, dans le mode réalisation exemplatif représenté, est constitué d'une paire de lunettes 20 destinée à être posée sur le nez d'un opérateur de maintenance devant ses yeux, une caméra vidéo 30 (monoscopique ou stéréoscopique) et une unité de détection de profondeur 40.

La référence 50 concerne la scène qui se trouve devant l'opérateur de maintenance alors qu'il exécute une tâche de maintenance mais aussi devant la caméra 30 et devant l'unité de détection de profondeur 40, par exemple fixées sur un casque (non représenté) que porte l'opérateur de maintenance.

Le dispositif d'affichage 20 est constitué d'un écran qui est placé, soit à proximité de l'opérateur, soit devant les yeux de l'opérateur qui porte alors une paire de lunettes appropriées. S'il s'agit d'une paire de lunettes, celle-ci peut être du type où l'opérateur qui la porte voit, d'une part à travers elle, la scène 50 qui se trouve devant lui et, d'autre part, des images virtuelles, animées ou non, fournies par l'unité de commande 10 qui se superposent, pour l'opérateur, à la vision qu'il a de la scène 50. Elle peut également être du type où l'opérateur qui la porte voit des images généralement animées qui résultent de la combinaison d'images réelles de la scène 50 devant l'opérateur (par exemple, prises par la caméra 30) et d'images virtuelles, animées ou non, combinaison effectuée par l'unité de commande 10. L'unité de détection de profondeur 40 est pourvue d'au moins un détecteur infrarouge, par exemple d'une ou deux caméras infrarouges vidéo (dans l'exemple représenté, l'unité 40 ne comporte qu'une seule caméra 41), pour capturer la scène 50 et former un flux vidéo de la scène 50. Elle est également pourvue d'un émetteur de lumière infrarouge 42 prévu pour éclairer la scène 50 en lumière infrarouge structurée, c'est-à-dire formant sur les éléments de la scène 50 des structures reconnaissables dans les images fournies par le ou les détecteurs infrarouges 41. L'unité de détection de profondeur 40 établit alors des signaux de profondeur qui se présentent, par exemple, sous la forme de cartes de profondeur de la scène 50. L'unité de commande 10 comporte un module 11 d'extraction de données de la ou de chaque tâche de maintenance que l'opérateur de maintenance doit exécuter. Ces données sont extraites, par action de l'opérateur, d'une base de données 11BD que comporte, par exemple, le module d'extraction 11 lui-même. Dans une variante de réalisation non représentée, la base de données 11BD est montée sur un système distant auquel l'unité de commande 10 a accès via un réseau approprié, par exemple l'Internet.

Plus exactement, selon la présente invention, à chaque tâche de maintenance à exécuter sont associées des données constituées, non seulement d'une séquence d'animations 3D virtuelles montrant le déroulé de cette tâche à effectuer, mais aussi d'un modèle 3D virtuel d'au moins un élément à contrôler lors de l'exécution de cette étape ainsi que des informations relatives au mouvement 3D virtuel du ou de chacun desdits éléments à contrôler.

Un élément à contrôler est, par exemple, l'un des éléments suivants : - un composant de l'aéronef que l'opérateur doit manipuler, par exemple déplacer ou agir dessus, lors de l'exécution de la tâche à exécuter, ou - un outil utilisé par l'opérateur pour exécuter ladite tâche, ou - une partie du corps de l'opérateur, telle qu'une main, qui sera dans le champ de vision de la caméra 30 lors de l'exécution de ladite tâche.

Le fait que l'élément à contrôler soit un composant de l'aéronef est avantageux du fait qu'il est partie intégrante de la maquette numérique dont on dispose de l'aéronef et qu'ainsi, il est plus facile à identifier pour déterminer sa pose réelle dans la scène 50. Néanmoins, dans certains cas, il est plus facile de reconnaître un outil (par exemple une clef ou un tournevis) et de déterminer ses différentes poses que de reconnaître le composant aéronef sur lequel agit ledit outil (l'écrou que la clef va faire tourner ou la vis que le tournevis va visser) et sa position.

On appelle "pose d'un élément à contrôler" la position de cet élément définie par rapport à une pose de référence en termes d'une translation selon un axe donné et de rotations selon des axes donnés. De plus, dans la suite de la description, on distinguera la pose réelle d'un élément à contrôler lorsqu'il s'agira de la pose prise par l'élément à contrôler réel, de la pose virtuelle lorsqu'il s'agira de la pose prise par le modèle 3D virtuel de cet élément à contrôler.

Les informations de mouvement 3D virtuel sont par exemple constituées d'une suite ordonnée de poses virtuelles que l'élément à contrôler considéré devrait successivement prendre lors de l'exécution de la tâche à exécuter. Une telle suite est par exemple constituée de la pose virtuelle initiale de l'élément considéré au début du déroulé de la tâche à exécuter, une ou plusieurs poses virtuelles intermédiaires et la pose virtuelle finale à la fin de l'exécution de ladite tâche.

Les données relatives à une tâche à exécuter qui sont extraites de la base de données 11BD du module d'extraction 11 peuvent de plus comprendre des textes informatifs relatifs à des instructions données à l'opérateur, à des référencements de composants aéronef, des images 2D (schémas, par exemple) ou 3D de ces composants et des outils à utiliser, etc. L'unité de commande 10 comporte un module 12 de réalité augmentée qui reçoit, d'une part, un flux vidéo issu de la caméra 30 et, d'autre part, les données extraites du module 11 d'extraction de données correspondant à la tâche à exécuter. Elle met en œuvre des algorithmes de réalité augmentée (connus en soi) lesquels consistent à déterminer la pose réelle d'un ensemble de points distinctifs présents dans chaque image du flux vidéo issu de la caméra 30, puis à déterminer la pose réelle dans la scène 50 du ou des éléments à contrôler associés à la tâche à exécuter, et une étape de reconstitution de l'image 3D virtuelle du ou des éléments à contrôler à superposer à la vision de l'opérateur. Cette reconstitution de l'image 3D virtuelle est généralement un positionnement et/ou un calage de cette image 3D virtuelle par rapport à la vue réelle de la scène 50. Par exemple, elle combine chaque image du flux vidéo de la caméra 30 à l'image virtuelle 3D du ou des éléments à contrôler en un flux vidéo de réalité augmentée qui est alors fourni au dispositif d'affichage 20 (ici la paire de lunettes 20). Lorsque la vision réelle de l'opérateur est faite à travers cette paire de lunettes 20, elle ne peut fournir à la paire de lunettes 20 que l'image virtuelle 3D reconstituée (positionnée et calée par rapport à la vue réelle de la scène 50 à travers la paire de lunettes 20). L'unité de commande 10 comporte encore un module 13 de détermination de mouvement réel qui reçoit les flux vidéo issus de la caméra 30 ainsi que les signaux de profondeur issus de l'unité de détection de profondeur 40. Elle reçoit également du module d'extraction 11 un modèle 3D virtuel du ou des éléments à contrôler associés à la tâche à exécuter. Le module 13 détermine alors, à partir des flux vidéo et des signaux de profondeurs, le modèle 3D réel du ou de chaque élément à contrôler dans la scène 50 et, par comparaison du modèle 3D réel et du modèle 3D virtuel, la pose réelle du ou de chaque élément à contrôler dans la scène 50 et, ce, à chaque instant. Il en déduit enfin le mouvement 3D réel du ou de chaque élément à contrôler comme étant une suite ordonnée de poses réelles que ledit élément à contrôler prend successivement.

Par exemple, selon un mode de réalisation, l'unité de détection de profondeur 40 et le module 13 de détermination de mouvement sont parties intégrantes d'un même système de capture de mouvement sans capteur, tel que le système appelé KinectR ou le système appelé HandPoseR de Microsoft11 ou encore le système proposé par la société LeapMotionR.

Dans un autre mode de réalisation de la présente invention, la caméra 30 est une caméra stéréoscopique et le module de détermination de mouvement réel 13 utilise les flux vidéo de la caméra 30 et le modèle 3D virtuel de l'élément à contrôler pour déterminer les poses réelles successives prises par l'élément à contrôler et son mouvement 3D réel. L'unité de détection de profondeur 40 n'est alors pas nécessaire.

La présente invention n'est pas limitée à une technologie particulière de capture de mouvement et la description faite ci-dessus n'est donnée qu'à titre d'exemple de réalisation de cette capture. L'avantage de la technologie exposée ci-dessus brièvement tient au fait qu'elle n'utilise pas de marqueurs, par exemple, sur le ou les éléments qui constituent la scène 50. L'unité de commande 10 comporte encore un module 14 de comparaison de mouvements 3D prévu pour comparer, pour la tâche à exécuter considérée, le mouvement 3D réel du ou des éléments à contrôler tel que délivré par le module 13 de détermination de mouvement et le mouvement 3D virtuel du ou des mêmes éléments à contrôler tel que délivré par le module d'extraction 11. Si une incohérence est détectée entre ces mouvements 3D réel et virtuel alors le module de comparaison 14 émet une information d'alarme.

Le mouvement 3D réel du ou des éléments à contrôler étant détecté par le module de reconnaissance 13 en temps réel, la comparaison réalisée par le module 14 est également effectuée en temps réel.

Plus précisément, le mouvement 3D réel et le mouvement 3D virtuel d'un élément à contrôler sont respectivement caractérisés par une suite ordonnée de poses réelles dudit élément à contrôler et une suite ordonnée de poses virtuelles dudit élément à contrôler. Dans le module de comparaison 14, les poses réelles de l'élément à contrôler sont comparées, dans l'ordre de la suite de poses réelles, à des poses virtuelles de la suite de poses virtuelles du même élément à contrôler prises dans le même ordre. Dans ces conditions, une incohérence est détectée par le module de comparaison 14 lorsque la pose réelle d'au moins un élément à contrôler diffère d'une pose virtuelle prédéterminée du même élément à contrôler d'une quantité prédéterminée.

Ainsi, si la pose réelle d'un élément à contrôler est caractérisée par la position d'un point particulier de cet élément, par exemple son centre de gravité, le mouvement 3D réel et le mouvement 3D virtuel de cet élément à contrôler sont respectivement caractérisés par une suite ordonnée de points réels formant une trajectoire réelle de ce point particulier et une suite ordonnée de points virtuels formant une trajectoire virtuelle de ce point particulier. Si la trajectoire réelle suivie par l'élément à contrôler telle que détectée par le module de détermination 13 dévie d'une quantité prédéterminée par rapport à la trajectoire virtuelle qui est délivrée par le module d'extraction 11, alors le module de comparaison 14 délivre une information d'alarme. Plus exactement, les positions des points réels de la trajectoire réelle sont comparées dans leur ordre de la suite constituant ladite trajectoire réelle aux positions de points virtuels de la trajectoire virtuelle dans le même ordre.

Enfin, l'unité de commande 10 comporte un module d’avertissement 15 qui a pour fonction de déclencher une alarme lorsqu'il reçoit du module de comparaison 14 une information d'alarme et ainsi d'avertir l'opérateur. Elle peut déclencher une alarme sonore 60 et/ou commander le module de réalité augmentée 12 pour affichage, par le dispositif d'affichage 20, d'une information symbolique ou textuel d’avertissement.

Dans un exemple de réalisation de la présente invention, chaque tâche à exécuter est préalablement découpée en une séquence d'étapes élémentaires ordonnancées pendant chacune desquelles au moins un élément est à contrôler. La détermination du mouvement 3D réel du ou de chaque élément à contrôler par le module de détermination 13, la comparaison dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler effectué par le module de comparaison 14 et le déclenchement d'une alarme effectué par le module d'alarme 15 lorsque la comparaison montre une discordance entre le mouvement 3D réel d'au moins élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler sont alors mises en œuvre, pour une tâche à exécuter donnée, étape élémentaire par étape élémentaire de ladite tâche dans l'ordre de ladite séquence d'étapes élémentaires. A la Fig. 2, on a représenté le diagramme d'un procédé d'assistance selon la présente invention pour assister un opérateur pour des opérations de maintenance d'un aéronef au moyen d'un système d'assistance à réalité augmentée tel qu'il vient d'être décrit en relation avec la Fig. 1. L'étape E10 est une étape de sélection d'une tâche de maintenance à réaliser. Elle comprend une étape Eli de sélection proprement dite et, éventuellement, une étape E12 de sélection d'une étape élémentaire de la tâche de maintenance à réaliser précédemment sélectionnée. Cette étape E12 est mise en œuvre lorsque ladite tâche de maintenance à réaliser est découpée en plusieurs étapes élémentaires. L'étape E10 consiste également à extraire les données relatives à cette tâche. On rappelle que ces données consistent essentiellement, pour la tâche à exécuter, en une séquence 3D virtuelle montrant le déroulé de cette tâche, en une image 3D virtuelle d'au moins un élément à contrôler associée à ladite tâche à exécuter, en des informations relatives au mouvement 3D virtuel dudit élément à contrôler (généralement constituées d'une suite ordonnée de poses virtuelles dudit élément), et, éventuellement, des textes informatifs relatifs à des instructions données à l'opérateur, à des référencements de composants aéronef, des images 2D (schémas, par exemple) ou 3D de ces composants et des outils à utiliser, etc. L'étape E10 est mise en œuvre par le module d'extraction 11 de l'unité de commande 10 du système d'assistance de la Fig. 1.

Un procédé d'assistance selon la présente invention comporte encore une étape E20 d'affichage en réalité augmentée d'au moins une image virtuelle d'au moins un élément à contrôler. Cette étape est mise en œuvre par le module de réalité augmentée 12 de l'unité de commande 10 de la Fig. 1. Cette étape E20 comporte les étapes suivantes. L'étape E21 est une étape de recherche dans chaque image du flux vidéo reçu de la caméra 30 (voir Fig. 1) de points distinctifs (par exemple des points représentant des marqueurs particuliers présents dans la scène 50 ou des points remarquables de la scène 50, tel qu'un angle d'un composant particulier, le centre d'un trou percé dans un composant, etc.). L'étape E22 est une étape de détermination de la pose réelle, dans un repère lié à chaque image du flux vidéo délivré par la caméra 30, de chaque point ou ensemble de points recherchés à l'étape E21. L'étape E23 est une étape de calcul de la pose réelle, dans la scène 50, du ou des éléments à contrôler identifiés lors de l'étape E10. L'étape E24 est une étape de reconstitution de l'image virtuelle 3D du ou des éléments à contrôler à superposer à la vision de l'opérateur et de transmission du flux vidéo résultant à un dispositif d'affichage, tel que le dispositif d'affichage 20 de la Fig. 1. Cette étape E24 peut également, par exemple, consister à combiner chaque image du flux vidéo de la caméra 30 à l'image virtuelle 3D du ou des éléments à contrôler en un flux vidéo de réalité augmentée qui est alors fourni au dispositif d'affichage 20 (ici la paire de lunettes 20). Néanmoins, lorsque la vision réelle de l'opérateur est faite à travers une paire de lunettes 20, cette étape consiste uniquement à fournir directement à la paire de lunettes 20 cette image virtuelle reconstituée.

Un procédé pour assister un opérateur de maintenance selon la présente invention comporte en outre : - une étape E30 de détermination du mouvement 3D réel du ou de chaque élément à contrôler pour la tâche de maintenance à exécuter, - une étape de comparaison E40 dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler associé à la tâche de maintenance à exécuter, et - une étape E50 de déclenchement d'une alarme lorsque ladite étape de comparaison montre une discordance entre le mouvement 3D réel du ou de chaque élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler. L'étape E30 est mise en œuvre par le module 13 de reconnaissance de mouvement de l'unité de commande 10 de la Fig. 1.

Selon un exemple de réalisation de la présente invention, l'étape E30 comporte les étapes suivantes pour la détermination du mouvement réel 3D du ou des éléments à contrôler. L'étape E31 est une étape de détermination de la pose réelle du ou des éléments à contrôler en fonction du modèle virtuel 3D du ou de chaque élément à contrôler déterminé à l'étape E10, du flux vidéo issu de la caméra 30 et des signaux de profondeur issus de l'unité de détection de profondeur 40. A partir de ces éléments, l'étape E31 détermine le modèle 3D réel du ou de chaque élément à contrôler dans la scène 50 et, par comparaison du modèle 3D réel et du modèle 3D virtuel, la pose réelle du ou de chaque élément à contrôler dans la scène 50 et, ce, à chaque instant. L'étape E32 est une étape de détermination du mouvement 3D réel du ou de chaque élément à contrôler comme étant une suite ordonnée de poses réelles respectivement déterminées, à chaque instant successif, à l'étape de construction E31. L'étape de comparaison E40 est une étape pour comparer le mouvement 3D réel du ou des éléments à contrôler tel que déterminé à l'étape E32 et le mouvement 3D virtuel du ou des mêmes éléments tels que délivrés à l'étape E10. Si une incohérence est détectée entre ces mouvements alors l'étape de comparaison E40 émet une information d'alarme.

Cette étape E40 est mise en œuvre par le module de comparaison 14 de l'unité de commande 10 de la Fig. 1. L'étape de déclenchement d'alarme E50 est prévue déclencher une alarme lorsque l'étape de comparaison E40 émet une information d'alarme et ainsi avertir l'opérateur. Elle peut déclencher une alarme sonore et/ou commander l'affichage en réalité augmentée d'une information symbolique ou textuel d’avertissement.

Plus précisément, l'étape de comparaison E40 consiste à comparer chaque pose réelle d'une suite ordonnée de poses réelles formant ledit mouvement 3D réel du ou de chaque élément à contrôler, prise dans l'ordre desdites poses réelles, avec, prise dans le même ordre, une pose virtuelle d'une suite ordonnée de poses virtuelles formant ledit mouvement 3D virtuel du ou de chaque même élément à contrôler. L'étape de déclenchement d'une alarme E50 est mise en œuvre lorsque la pose réelle d'au moins un élément à contrôler pour un instant donné diffère d'une pose virtuelle prédéterminée du même élément à contrôler d'une quantité prédéterminée dans un même ordonnancement desdites poses réelles et virtuelles.

Dans un exemple de réalisation de la présente invention, chaque tâche à exécuter est préalablement découpée en une séquence ordonnée d'étapes élémentaires pendant chacune desquelles au moins un élément est à contrôler. Les étapes E30 de détermination du mouvement 3D réel du ou de chaque élément à contrôler, de comparaison E40 dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler et de déclenchement E50 d'une alarme lorsque ladite étape de comparaison E40 a détecté une discordance entre le mouvement 3D réel d'au moins un élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler sont alors mises en œuvre, pour une tâche à exécuter donnée, étape élémentaire par étape élémentaire de ladite tâche et, ce, dans l'ordonnancement desdites étapes élémentaires. Chaque étape élémentaire est sélectionnée à l'étape de sélection E12.

Le système de commande 10 tel que celui qui est représenté à la Fig. 1 peut être mis en œuvre par un système informatique 100 tel que celui qui est représenté à la Fig. 3. Celui-ci comporte essentiellement une unité de contrôle 110, une interface 120 pour fournir des signaux vidéo à un dispositif d'affichage tel que le dispositif d'affichage 20 du système de la Fig. 1, une interface 130 pour recevoir les signaux vidéo d'au moins une caméra telle que la caméra 30, une interface 140 pour recevoir les signaux de profondeur issus d'une unité de détection de profondeur telle que l'unité 40 du système de la Fig. 1, une mémoire de type mémoire morte 150 et une mémoire de type volatile 160. La mémoire 150 est prévue pour stocker des programmes installés définitivement ainsi que des données aux valeurs constantes alors que la mémoire 160 stocke des programmes installés en cours d'utilisation ainsi que des données mémorisées temporairement. Plus particulièrement, en utilisation, la mémoire 160 comporte une zone 161 où est stocké un sous-programme qui, lorsqu'il est déroulé, met en œuvre l'étape E10 de sélection d'une tâche à exécuter du procédé d'assistance objet de la Fig. 2, une zone mémoire 152 où est stocké un sous-programme qui, lorsqu'il est déroulé, met en œuvre l'étape E20 dudit procédé d'assistance, une zone mémoire 153 où est stocké un sous-programme qui, lorsqu'il est déroulé, met en œuvre l'étape E30 dudit procédé d'assistance, une zone mémoire 154 où est stocké un sous-programme qui, lorsqu'il est déroulé, met en œuvre l'étape E40 dudit procédé d'assistance et une zone mémoire 155 où est stocké un sous-programme qui, lorsqu'il est déroulé, met en œuvre l'étape E50 dudit procédé d'assistance.

Les sous-programmes stockés dans les zones mémoires 151 à 155 constituent respectivement des modes de réalisation informatique des modules 11 à 15 de l'unité de commande 10 de la Fig. 1. L'ensemble de ces sous-programmes forme un programme qui, lorsqu'il est déroulé, met en œuvre l'ensemble des étapes E10 à E50 du procédé d'assistance selon la présente invention.

On appelle "sous-programme" ou "programme" un ensemble d'instructions élémentaires écrites dans un langage donné et stockées sous forme numérique dans une mémoire d'où elles peuvent être lues par une unité de contrôle pour être exécutées et ainsi mettre en œuvre une ou des étapes d'un procédé. Un programme est un ensemble de sous-programmes.

Une zone mémoire 166 est réservée à d'autres programmes ou sous-programmes (non décrits car ils sont hors du contexte de la présente invention) ainsi qu'aux données stockées de manière temporaire.

Claims (12)

1. REVENDICATIONS 1) Procédé pour assister un opérateur de maintenance dans l'exécution d'une tâche de maintenance d'un aéronef, ledit procédé d'assistance comportant une étape d'affichage (E20) en réalité augmentée sur un dispositif d'affichage (20) d'au moins une image virtuelle d'au moins un élément à contrôler, caractérisé en ce qu'il comporte en outre : - une étape (E30) de détermination du mouvement 3D réel d'au moins un élément à contrôler pour la tâche de maintenance à exécuter, - une étape (E40) de comparaison dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler associé à la tâche de maintenance à exécuter, et - une étape (E50) de déclenchement d'une alarme lorsque ladite étape de comparaison montre une discordance entre le mouvement 3D réel du ou de chaque élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler.
2. 2) Procédé pour assister un opérateur de maintenance selon la revendication 1, caractérisé en ce que l'étape (E30) de détermination du mouvement 3D réel du ou de chaque élément à contrôler pour la tâche de maintenance à exécuter comprend : - une étape (E31) de détermination de la pose réelle du ou de chaque élément à contrôler dans la scène où la tâche de maintenance est exécutée, - une étape (E32) de détermination du mouvement 3D réel du ou de chaque élément à contrôler comme étant une suite ordonnée de poses réelles successivement déterminées à l'étape de détermination de pose (E31).
3. 3) Procédé pour assister un opérateur de maintenance selon la revendication 2, caractérisé en ce que l'étape (E31) de détermination de la pose réelle du ou de chaque élément à contrôler est mise en œuvre en fonction d'un modèle virtuel 3D du ou de chaque élément à contrôler et d'un modèle réel 3D dudit élément à contrôler dans la scène où la tâche de maintenance est exécutée.
4. 4) Procédé pour assister un opérateur de maintenance selon une des revendications précédentes, caractérisé en ce que l'étape (E40) de comparaison consiste à comparer chaque pose réelle d'une suite ordonnée de poses réelles formant ledit mouvement 3D réel du ou de chaque élément à contrôler, prise dans l'ordre desdites poses réelles, avec, prise dans le même ordre, une pose virtuelle d'une suite ordonnée de poses virtuelles formant ledit mouvement 3D virtuel du ou de chaque élément à contrôler et en ce que ladite étape (E50) de déclenchement d'une alarme est mise en œuvre lorsque la pose réelle d'au moins un élément à contrôler pour un instant donné diffère d'une pose virtuelle prédéterminée du même élément à contrôler d'une quantité prédéterminée dans un même ordonnancement desdites poses réelles et virtuelles.
5. 5) Procédé selon une des revendications précédentes, caractérisé en ce qu'un élément à contrôler est l'un des éléments suivants : - un composant de l'aéronef que l'opérateur manipule lors de l'exécution de la tâche à exécuter, - un outil utilisé par l'opérateur pour exécuter ladite tâche, ou - une partie du corps de l'opérateur qui se trouve dans ladite scène.
6. 6) Procédé selon une des revendications précédentes, caractérisé en ce que chaque tâche à exécuter est préalablement découpée en une séquence d'étapes élémentaires ordonnancées pendant chacune desquelles au moins un élément à contrôler est manipulé par l'opérateur, lesdites étapes de détermination du mouvement 3D réel du ou de chaque élément à contrôler (E30), de comparaison dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler (E40) et de déclenchement d'une alarme lorsque ladite étape de comparaison montre une discordance entre le mouvement 3D réel d'au moins un élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler (E50) étant mises en œuvre, pour une tâche à exécuter donnée, étape élémentaire par étape élémentaire de ladite tâche dans l'ordre de ladite séquence d'étapes élémentaires.
7. 7) Système d'assistance pour assister un opérateur de maintenance dans l'exécution d'une tâche de maintenance d'un aéronef, ledit système d'assistance comportant un dispositif d'affichage (20) pour l'affichage en réalité augmentée d'au moins une image virtuelle d'au moins un élément à contrôler, caractérisé en ce qu'il comporte en outre : - un module (13) de détermination du mouvement 3D réel du ou de chaque élément à contrôler pour la tâche de maintenance à exécuter, - un module (14) de comparaison dudit mouvement 3D réel du ou de chaque élément à contrôler avec un mouvement 3D virtuel du même élément à contrôler associé à la tâche de maintenance à exécuter, et - un module (15) de déclenchement d'une alarme lorsque ladite étape de comparaison montre une discordance entre le mouvement 3D réel du ou de chaque élément à contrôler avec le mouvement 3D virtuel du même élément à contrôler.
8. 8) Système selon la revendication 7, caractérisé en ce qu'il comprend une base de données (11DB) prévue pour stocker, pour chaque élément à contrôler d'une tâche à exécuter, - un modèle 3D virtuel dudit élément à contrôler, - des informations relatives au mouvement de pose 3D virtuel dudit élément à contrôler caractérisé par une suite ordonnée de poses virtuelles que ledit élément à contrôler prend successivement.
9. 9) Système selon la revendication 7 ou 8, caractérisé en ce que lesdites informations de mouvement de pose 3D virtuel sont constituées d'une suite ordonnée de poses virtuelles que l'élément à contrôler considéré devrait successivement prendre lors de l'exécution de la tâche à exécuter.
10. 10) Système pour assister un opérateur de maintenance selon une des revendications 7 à 9, caractérisé en ce que le module (13) de détermination du mouvement 3D réel du ou de chaque élément à contrôler pour la tâche de maintenance à exécuter est prévu pour : - déterminer la pose réelle du ou de chaque élément à contrôler dans la scène (50) où la tâche de maintenance est exécutée, - déterminer le mouvement 3D réel du ou de chaque élément à contrôler comme étant une suite ordonnée de poses réelles, et en ce que le module (14) de comparaison est prévu pour comparer chaque pose réelle d'une suite ordonnée de poses réelles formant ledit mouvement 3D réel du ou de chaque élément à contrôler, prise dans l'ordre desdites poses réelles, avec, prise dans le même ordre, une pose virtuelle d'une suite ordonnée de poses virtuelles formant ledit mouvement 3D virtuel du ou de chaque élément à contrôler.
11. 11) Système selon la revendication 10, caractérisé en ce que le module (15) de déclenchement d'une alarme est prévu pour déclencher une alarme lorsque la pose réelle d'au moins un élément à contrôler pour un instant donné diffère d'une pose virtuelle prédéterminée du même élément à contrôler d'une quantité prédéterminée dans un même ordonnancement desdites poses réelles et virtuelles.
12. 12) Programme d'ordinateur chargé dans une mémoire (160) d'une unité de informatique (100) d'un système d'assistance selon une des revendications 7 à 11, comprenant des instructions pour mettre en œuvre, par un processeur (110) de ladite unité informatique (100), un procédé de surveillance selon une des revendications 1 à 6.