FR3065561A1 - SYSTEM AND METHOD FOR INSPECTING A MECHANICAL SYSTEM BASED ON ENHANCED REALITY - Google Patents
SYSTEM AND METHOD FOR INSPECTING A MECHANICAL SYSTEM BASED ON ENHANCED REALITY Download PDFInfo
- Publication number
- FR3065561A1 FR3065561A1 FR1753538A FR1753538A FR3065561A1 FR 3065561 A1 FR3065561 A1 FR 3065561A1 FR 1753538 A FR1753538 A FR 1753538A FR 1753538 A FR1753538 A FR 1753538A FR 3065561 A1 FR3065561 A1 FR 3065561A1
- Authority
- FR
- France
- Prior art keywords
- inspection
- mechanical system
- targets
- parts
- inspected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000007689 inspection Methods 0.000 claims abstract description 161
- 230000003190 augmentative effect Effects 0.000 claims abstract description 23
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010200 validation analysis Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 11
- 230000010365 information processing Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000124209 Crocus sativus Species 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0006—Industrial image inspection using a design-rule based approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
La présente invention concerne dispositif et procédé de contrôle d'un système mécanique basé sur la réalité augmentée. Le système d'inspection est constitué d'un ensemble de caméras permettant de localiser en temps réel le système mécanique à inspecter et d'un dispositif d'inspection comprenant une caméra et un écran manipulé par l'opérateur. A tout instant, l'opérateur visualise sur l'écran une image réelle du système mécanique soumis à l'inspection ainsi qu'une représentation en trois dimensions de la pièce à inspecter incrustée dans l'image réelle. On parle alors de réalité augmentée. Le dispositif d'inspection contrôle le bon déroulé de l'étape d'inspection en guidant l'opérateur et en lui présentant les pièces et la liste de points de contrôle associée. Ainsi, l'identification des pièces et leur positionnement voulu au sein du système mécanique lui sont présentés minimisant de ce fait tout risque de mauvaise identification de la pièce où du point de contrôle.The present invention relates to a device and method for controlling a mechanical system based on augmented reality. The inspection system consists of a set of cameras for locating in real time the mechanical system to be inspected and an inspection device comprising a camera and a screen manipulated by the operator. At any moment, the operator displays on the screen a real image of the mechanical system subjected to the inspection as well as a three-dimensional representation of the part to be inspected embedded in the real image. We then speak of augmented reality. The inspection device controls the correct inspection step by guiding the operator and presenting the parts and the associated checkpoint list. Thus, the identification of the parts and their desired positioning within the mechanical system are presented to him thereby minimizing any risk of misidentification of the part or control point.
Description
® RÉPUBLIQUE FRANÇAISE® FRENCH REPUBLIC
INSTITUT NATIONAL DE LA PROPRIÉTÉ INDUSTRIELLE © N° de publication : 3 065 561 (à n’utiliser que pour les commandes de reproduction) (© N° d’enregistrement national : 17 53538NATIONAL INSTITUTE OF INDUSTRIAL PROPERTY © Publication number: 3,065,561 (to be used only for reproduction orders) (© National registration number: 17 53538
COURBEVOIE © Int Cl8 : G 06 T 7/00 (2017.01), G 06 T 19/00, H 04 N 5/265COURBEVOIE © Int Cl 8 : G 06 T 7/00 (2017.01), G 06 T 19/00, H 04 N 5/265
DEMANDE DE BREVET D'INVENTION A1A1 PATENT APPLICATION
SYSTEME MECANIQUE BASE SUR LA REALITEREALITY-BASED MECHANICAL SYSTEM
SYSTEME ET PROCEDE D'INSPECTION D'UN AUGMENTEE.SYSTEM AND METHOD FOR INSPECTING AN INCREASED.
FR 3 065 561 - A1 (3/) La présente invention concerne dispositif et procédé de contrôle d'un système mécanique basé sur la réalité augmentée.FR 3 065 561 - A1 (3 /) The present invention relates to a device and method for controlling a mechanical system based on augmented reality.
Le système d'inspection est constitué d'un ensemble de caméras permettant de localiser en temps réel le système mécanique à inspecter et d'un dispositif d'inspection comprenant une caméra et un écran manipulé par l'opérateur. A tout instant, l'opérateur visualise sur l'écran une image réelle du système mécanique soumis à l'inspection ainsi qu'une représentation en trois dimensions de la pièce à inspecter incrustée dans l'image réelle. On parle alors de réalité augmentée. Le dispositif d'inspection contrôle le bon déroulé de l'étape d'inspection en guidant l'opérateur et en lui présentant les pièces et la liste de points de contrôle associée. Ainsi, l'identification des pièces et leur positionnement voulu au sein du système mécanique lui sont présentés minimisant de ce fait tout risque de mauvaise identification de la pièce où du point de contrôle.The inspection system consists of a set of cameras making it possible to locate in real time the mechanical system to be inspected and an inspection device comprising a camera and a screen manipulated by the operator. At any time, the operator visualizes on the screen a real image of the mechanical system subject to inspection as well as a three-dimensional representation of the part to be inspected embedded in the real image. We then speak of augmented reality. The inspection device controls the proper progress of the inspection stage by guiding the operator and presenting him with the parts and the associated list of control points. Thus, the identification of the parts and their desired positioning within the mechanical system are presented to him thereby minimizing any risk of incorrect identification of the part or of the control point.
Système et procédé d’inspection d’un système mécanique basé sur la réalité augmentéeSystem and method for inspecting a mechanical system based on augmented reality
La présente invention concerne un système et un procédé d’inspection d’un système mécanique basé sur la réalité augmentée.The present invention relates to a system and method for inspecting a mechanical system based on augmented reality.
Un système mécanique est un système constitué par l’assemblage d’un ensemble de pièces, potentiellement complexes. La fabrication de tels systèmes comporte typiquement une étape d’inspection en fin de fabrication pour vérifier que le système fabriqué est conforme à un cahier des charges. Cette étape d’inspection consiste à vérifier pour un ensemble de pièces constituant le système un ensemble de points de contrôle. Cet ensemble de points de contrôle dépend de la pièce inspectée et peut comprendre l’aspect visuel de la pièce, sa disposition au sein du système, sa bonne fixation, sa connexion aux pièces adjacentes ou tout autre point pertinent.A mechanical system is a system formed by assembling a set of potentially complex parts. The manufacture of such systems typically includes an inspection step at the end of manufacture to verify that the system produced conforms to specifications. This inspection step consists of checking a set of control points for a set of parts making up the system. This set of control points depends on the part inspected and can include the visual appearance of the part, its arrangement within the system, its good fixation, its connection to adjacent parts or any other relevant point.
L’étape d’inspection est typiquement conduite par un opérateur humain à l’aide d’une liste de pièces et de points de contrôle associés à chaque pièce. L’opérateur est alors responsable du suivi de cette liste et de la vérification de chaque point de contrôle. Ce suivi nécessite, entre autres, pour l’opérateur qu’il identifie correctement la pièce concernée au sein du système mécanique et ensuite qu’il vérifie chaque point de contrôle associé.The inspection step is typically carried out by a human operator using a list of parts and control points associated with each part. The operator is then responsible for monitoring this list and verifying each control point. This monitoring requires, among other things, for the operator that he correctly identifies the part concerned within the mechanical system and then that he checks each associated control point.
Lorsque le système mécanique devient complexe et est constitué d’un grand nombre de pièces, en particulier la bonne identification de la pièce concernée peut devenir difficile et entraîner des erreurs d’identification. De plus, la bonne identification de chaque point de contrôle peut également devenir difficile et entraîner des erreurs. Ceci est d’autant plus vrai dans le cas où le système mécanique est produit en petites séries hautement personnalisables, c’est-à-dire que chaque système mécanique produit peut contenir des agencements spécifiques devant être contrôlés sans erreur.When the mechanical system becomes complex and consists of a large number of parts, in particular the correct identification of the part concerned can become difficult and lead to identification errors. In addition, correctly identifying each control point can also become difficult and lead to errors. This is all the more true in the case where the mechanical system is produced in small highly customizable series, that is to say that each mechanical system produced can contain specific arrangements which must be checked without error.
La présente invention a pour but de résoudre les inconvénients précités en proposant un système d’inspection constitué d’un ensemble de caméras permettant de localiser en temps réel le système mécanique à inspecter et un dispositif d’inspection comprenant une caméra et un écran manipulé par l’opérateur. A tout instant, l’opérateur visualise sur l’écran une image réelle du système mécanique soumis à l’inspection ainsi qu’une représentation en trois dimensions de la pièce à inspecter incrustée dans l’image réelle. On parle alors de réalité augmentée. Le dispositif d’inspection contrôle le bon déroulé de l’étape d’inspection en guidant l’opérateur et en lui présentant les pièces et la liste de points de contrôle associée. Ainsi, l’identification des pièces et leur positionnement voulu au sein du système mécanique lui sont présentés minimisant de ce fait tout risque de mauvaise identification de la pièce où du point de contrôle.The present invention aims to solve the aforementioned drawbacks by proposing an inspection system consisting of a set of cameras making it possible to locate in real time the mechanical system to be inspected and an inspection device comprising a camera and a screen manipulated by the operator. At any time, the operator visualizes on the screen a real image of the mechanical system under inspection as well as a three-dimensional representation of the part to be inspected embedded in the real image. We then speak of augmented reality. The inspection system controls the proper progress of the inspection stage by guiding the operator and presenting him with the parts and the associated list of control points. Thus, the identification of the parts and their desired positioning within the mechanical system are presented to him thereby minimizing any risk of incorrect identification of the part or of the control point.
L’invention concerne également un procédé d’inspection exécuté au sein du système d’inspection et permettant à l’opérateur de mener à bien l’inspection.The invention also relates to an inspection process carried out within the inspection system and enabling the operator to carry out the inspection.
L’invention concerne un système d’inspection d’un système mécanique caractérisé en ce qu’il comprend :The invention relates to an inspection system of a mechanical system characterized in that it comprises:
- un premier ensemble de cibles reliées au système mécanique ;- a first set of targets linked to the mechanical system;
- un dispositif d’inspection doté d’un écran et d’une caméra pour l’affichage en temps réel d’un flux vidéo du système mécanique sur ledit écran ;- an inspection device with a screen and a camera for the real-time display of a video stream of the mechanical system on said screen;
- un second ensemble de cibles reliées au dispositif d’inspection ;- a second set of targets linked to the inspection system;
- d’un ensemble de capteurs permettant la localisation desdites cibles ;- a set of sensors allowing the location of said targets;
- un dispositif de traque connecté à l’ensemble des capteurs doté de moyens pour localiser la position respective du système mécanique et de la caméra du dispositif d’inspection à partir des informations sur la position des cibles transmises par les capteurs ;- a tracking device connected to all the sensors provided with means for locating the respective position of the mechanical system and the camera of the inspection device from information on the position of the targets transmitted by the sensors;
et où ledit dispositif d’inspection comprend en outre :and where said inspection device further comprises:
- des moyens de connexion au dispositif de traque ;- means of connection to the tracking device;
- un modèle en trois dimensions du système mécanique ; et- a three-dimensional model of the mechanical system; and
- un moteur de réalité augmentée pour l’affichage par incrustation dans ledit flux vidéo d’au moins une partie dudit modèle en trois dimension à partir de la position respective du système mécanique et de la caméra du dispositif d’inspection transmises par le dispositif de traque et des paramètres de prise de vue de la caméra.- an augmented reality engine for the display by overlay in said video stream of at least a part of said model in three dimensions from the respective position of the mechanical system and of the camera of the inspection device transmitted by the tracking and camera shooting settings.
Le système selon l’invention peut comprendre une ou plusieurs des caractéristiques suivantes, prises isolément les unes des autres ou en combinaison les unes avec les autres :The system according to the invention may include one or more of the following characteristics, taken in isolation from one another or in combination with each other:
- le dispositif d’inspection comprend en outre :- the inspection device also includes:
- un scénario comprenant une liste de pièces soumise à inspection au sein dudit système mécanique ;- a scenario including a list of parts subject to inspection within said mechanical system;
- des moyens pour afficher successivement lesdites pièces par le moteur de réalité augmentée ; et- Means for successively displaying said parts by the augmented reality engine; and
- des moyens pour permettre à un opérateur de valider ou d’invalider l’inspection de chacune desdites pièces soumises à inspection.- means to allow an operator to validate or invalidate the inspection of each of said parts subject to inspection.
- lesdites cibles sont des cibles infra-rouge et les capteurs (1.10) des caméras infrarouge,- said targets are infrared targets and the sensors (1.10) of infrared cameras,
- le premier ensemble de cibles sont des cibles infra-rouge passives et en ce que les capteurs comportent des émetteurs de lumière infra-rouge,the first set of targets are passive infrared targets and in that the sensors include emitters of infrared light,
- le système mécanique étant fixé à une nacelle porteuse, le premier ensemble de cibles est fixé sur ladite nacelle porteuse.the mechanical system being fixed to a carrying nacelle, the first set of targets is fixed to said carrying nacelle.
La présente invention concerne également un procédé d’inspection par un système d’inspection tel que décrit ci-dessus, caractérisé en ce qu’il comprend :The present invention also relates to an inspection method by an inspection system as described above, characterized in that it comprises:
- une étape d’identification d’un système mécanique soumis à inspection ;- a step of identifying a mechanical system subject to inspection;
- une étape d’obtention d’un modèle en trois dimensions dudit système mécanique et d’un scénario comprenant une liste de pièces dudit système mécanique devant être inspectées ;- a step of obtaining a three-dimensional model of said mechanical system and a scenario including a list of parts of said mechanical system to be inspected;
- une étape d’inspection comprenant l’affichage par le moteur de réalité augmentée des pièces du système mécanique soumises à inspection ;- an inspection step including the display by the augmented reality engine of the parts of the mechanical system subject to inspection;
- une étape de validation de l’inspection.- an inspection validation step.
Le procédé selon l’invention peut comprendre une ou plusieurs des caractéristiques ou étapes suivantes, prises isolément les unes des autres ou en combinaison les unes avec les autres :The method according to the invention may include one or more of the following characteristics or steps, taken in isolation from one another or in combination with each other:
- le procédé comprend une étape préalable de calibration par apprentissage de la position relative d’une nacelle porteuse et du système mécanique fixé à cette nacelle,- the method comprises a prior step of calibration by learning the relative position of a carrying nacelle and the mechanical system fixed to this nacelle,
- l’étape d’inspection comporte itérativement :- the inspection step iteratively includes:
- une étape de sélection d’une nouvelle pièce soumise à inspection dans un ensemble de pièces restant à inspecter ;- a step of selecting a new part subject to inspection from a set of parts remaining to be inspected;
- une étape d’inspection de la pièce sélectionnée comprenant l’affichage par le moteur de réalité augmentée de la pièce soumise à inspection.- an inspection step of the selected part including the display by the augmented reality engine of the part subject to inspection.
- l’étape d’inspection de la pièce comprend itérativement :- the part inspection step iteratively includes:
- une étape de sélection d’un point de contrôle dans un ensemble de points de contrôle restant à inspecter concernant ladite pièce soumise à inspection ;- a step of selecting a control point from a set of control points remaining to be inspected concerning said part subject to inspection;
- une étape d’inspection dudit point de contrôle.- an inspection step of said control point.
Dans un mode particulier de réalisation, des étapes du procédé précité sont déterminées par des instructions de programmes d'ordinateurs.In a particular embodiment, steps of the above method are determined by instructions of computer programs.
En conséquence, l'invention vise aussi un programme d'ordinateur sur un support d'informations, ce programme étant susceptible d'être mis en œuvre par un microprocesseur, ce programme comprenant des instructions adaptées à la mise en œuvre des étapes du procédé tel que mentionné ci-dessus. L’invention concerne ainsi un programme d’ordinateur comprenant des instructions adaptées à la mise en œuvre de chacune des étapes du procédé tel que décrit ci-dessus lorsque ledit programme est exécuté sur un ordinateur.Consequently, the invention also relates to a computer program on an information medium, this program being capable of being implemented by a microprocessor, this program comprising instructions adapted to the implementation of the steps of the method such than mentioned above. The invention thus relates to a computer program comprising instructions adapted to the implementation of each of the steps of the method as described above when said program is executed on a computer.
Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.This program can use any programming language, and be in the form of source code, object code, or intermediate code between source code and object code, such as in a partially compiled form, or in any other desirable form.
L'invention vise aussi un support d'informations lisible par un microprocesseur, et comprenant des instructions d'un programme d'ordinateur tel que mentionné cidessus.The invention also relates to an information medium readable by a microprocessor, and comprising instructions of a computer program as mentioned above.
Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comprendre un moyen de stockage, tel qu'une ROM, par exemple une ROM de microcircuit, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur, ou encore une mémoire flash. L’invention vise ainsi un moyen de stockage d'informations, amovible ou non, partiellement ou totalement lisible par un ordinateur ou un microprocesseur comportant des instructions de code d'un programme d'ordinateur pour l'exécution de chacune des étapes du procédé tel que décrit ci-dessus.The information medium can be any entity or device capable of storing the program. For example, the support may include a storage means, such as a ROM, for example a microcircuit ROM, or else a magnetic recording means, for example a hard disk, or even a flash memory. The invention thus relates to an information storage means, removable or not, partially or totally readable by a computer or a microprocessor comprising code instructions of a computer program for the execution of each of the steps of the method such as described above.
D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur une plateforme de stockage d’un réseau de type Internet.On the other hand, the information medium can be a transmissible medium such as an electrical or optical signal, which can be routed via an electrical or optical cable, by radio or by other means. The program according to the invention can in particular be downloaded to a storage platform of an Internet type network.
Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.Alternatively, the information medium can be an integrated circuit in which the program is incorporated, the circuit being adapted to execute or to be used in the execution of the process in question.
Le support d'informations et le programme d'ordinateur précités présentent des caractéristiques et avantages analogues au procédé qu'ils mettent en œuvre.The aforementioned information medium and computer program have characteristics and advantages analogous to the process that they implement.
D'autres particularités et avantages de l'invention apparaîtront encore dans la description ci-après en relation avec les dessins annexés, donnés à titre d'exemples non limitatifs :Other features and advantages of the invention will become apparent in the description below in relation to the appended drawings, given by way of non-limiting examples:
- la figure 1 illustre un système d’inspection selon un exemple de réalisation de l’invention ;- Figure 1 illustrates an inspection system according to an exemplary embodiment of the invention;
- La figure 2 illustre le fonctionnement du dispositif d’inspection dans un exemple de réalisation de l’invention ;- Figure 2 illustrates the operation of the inspection device in an exemplary embodiment of the invention;
- La figure 3 illustre le procédé d’inspection selon un mode de réalisation de l’invention ;- Figure 3 illustrates the inspection method according to one embodiment of the invention;
- La figure 4 illustre l’étape d’inspection 3.4 selon un exemple de réalisation de l’invention ;- Figure 4 illustrates the inspection step 3.4 according to an exemplary embodiment of the invention;
- La figure 5 est un bloc-diagramme schématique d'un dispositif de traitement de l’information pour la mise en œuvre d'un ou plusieurs modes de réalisation de l'invention.- Figure 5 is a schematic block diagram of an information processing device for the implementation of one or more embodiments of the invention.
La figure 1 illustre un système d’inspection selon un exemple de réalisation de l’invention. Dans cet exemple de réalisation, le système mécanique 1.1 devant être inspecté est un moteur d’avion. Ce moteur 1.1 est fixé à une nacelle porteuse 1.2 mobile permettant de déplacer le moteur dans l’espace d’inspection. La liaison entre la nacelle 1.2 et le moteur 1.1 est rigide et ne se modifie pas dans le temps. L’homme du métier comprendra que l’utilisation d’une nacelle pour présenter le système mécanique soumis à inspection n’est qu’un exemple, tout autre moyen de présenter le système mécanique peut être utilisé. Par exemple, le système mécanique peut être présenté posé sur un espace de travail.FIG. 1 illustrates an inspection system according to an exemplary embodiment of the invention. In this exemplary embodiment, the mechanical system 1.1 to be inspected is an aircraft engine. This engine 1.1 is fixed to a mobile carrying platform 1.2 allowing the engine to be moved in the inspection space. The connection between the nacelle 1.2 and the engine 1.1 is rigid and does not change over time. Those skilled in the art will understand that the use of a nacelle to present the mechanical system under inspection is only an example, any other means of presenting the mechanical system can be used. For example, the mechanical system can be presented posed on a workspace.
Le système d’inspection comprend un dispositif d’inspection 1.4 destiné à être utilisé par un opérateur pour les opérations d’inspection. Le dispositif d’inspection 1.4 comprend un appareil de prise de vue, typiquement une caméra, 1.5 permettant de capturer en temps réel un flux vidéo du système mécanique 1.1 soumis à inspection. Ce flux vidéo est affiché en temps réel sur un écran 1.11 du dispositif d’inspection 1.4. L’opérateur peut déplacer librement le dispositif d’inspection autour du moteur de façon à visualiser sur l’écran n’importe quelle partie du système mécanique soumis à inspection.The inspection system includes an inspection device 1.4 for use by an operator for inspection operations. The inspection device 1.4 comprises a camera, typically a camera, 1.5 making it possible to capture in real time a video stream of the mechanical system 1.1 subject to inspection. This video stream is displayed in real time on a screen 1.11 of the inspection device 1.4. The operator can freely move the inspection device around the engine so that any part of the mechanical system under inspection can be viewed on the screen.
Un des aspects de l’invention consiste à guider l’opérateur dans le processus d’inspection. Pour ce faire, le dispositif d’inspection doit lui permettre d’identifier facilement une pièce particulière à inspecter au sein du système mécanique. L’idée est ici d’utiliser le principe de la réalité augmentée pour enrichir les images du système mécanique à partir d’un modèle en trois dimensions de ce système. Cet enrichissement permet de mettre en évidence une pièce du système mécanique devant être inspectée. Ce procédé sera décrit plus en détail en référence avec la figure 2.One aspect of the invention is to guide the operator through the inspection process. To do this, the inspection device must allow it to easily identify a particular part to be inspected within the mechanical system. The idea here is to use the principle of augmented reality to enrich the images of the mechanical system from a three-dimensional model of this system. This enrichment makes it possible to highlight a part of the mechanical system to be inspected. This process will be described in more detail with reference to FIG. 2.
Pour permettre cet enrichissement, il est nécessaire que le système de réalité augmentée connaisse à chaque instant la position relative de la caméra 1.5 équipant le dispositif d’inspection et le système mécanique 1.1 soumis à inspection. Plus précisément, il doit connaître la position de l’axe optique de la caméra et les paramètres de prise de vue par rapport au système mécanique. Pour ce faire, le système mécanique est doté d’un premier ensemble de cibles 1.9 tandis que le dispositif d’inspection 1.4 est doté d’un second ensemble de cibles 1.3. Un ensemble de capteurs 1.10 est disposé dans l’espace d’inspection pour permettre de traquer en temps réel la position de ces cibles. L’espace d’inspection est ici typiquement l’espace contenant le système mécanique et dans lequel l’opérateur évolue avec le dispositif d’inspection pour réaliser ladite inspection. Cet ensemble de capteurs 1.10 est connecté par une liaison 1.8 à un dispositif de traitement de l’information 1.6, dit dispositif de traque, en charge de réaliser la traque à partir des informations recueillies par les capteurs et transmises en temps réel au dispositif 1.6 par les connexions 1.8.To allow this enrichment, it is necessary that the augmented reality system knows at all times the relative position of the camera 1.5 equipping the inspection device and the mechanical system 1.1 subjected to inspection. More specifically, he must know the position of the optical axis of the camera and the shooting parameters in relation to the mechanical system. To do this, the mechanical system has a first set of targets 1.9 while the inspection device 1.4 has a second set of targets 1.3. A set of 1.10 sensors is placed in the inspection space to allow tracking of the position of these targets in real time. The inspection space here is typically the space containing the mechanical system and in which the operator operates with the inspection device to carry out said inspection. This set of sensors 1.10 is connected by a link 1.8 to an information processing device 1.6, called the tracking device, in charge of carrying out the tracking from the information collected by the sensors and transmitted in real time to the device 1.6 by the connections 1.8.
Le dispositif de traque 1.6 analyse les informations fournies par les capteurs 1.10 et en déduit la position relative d’au moins certaines cibles 1.9 et 1.13. Ainsi, il est capable de déterminer les positions relatives et l’orientation relative du dispositif d’inspection 1.4 et du système mécanique 1.1. Du fait de la liberté de mouvement de l’opérateur muni du dispositif d’inspection 1.4 dans l’espace d’inspection, il est nécessaire de disposer d’un nombre de cibles et d’un nombre de capteurs suffisant pour garantir qu’à tout moment un nombre suffisant de cibles soient visibles par un nombre suffisant de capteurs pour permettre la localisation et l’orientation du système mécanique et du dispositif d’inspection. Dans la pratique, les cibles doivent être visibles d’au moins deux capteurs différents. Bien entendu, la position des capteurs 1.10 doit être parfaitement connue du dispositif de traque 1.6 pour permettre la localisation dans l’espace d’inspection des différentes cibles et donc du système mécanique et du dispositif d’inspection. Le dispositif de traque 1.6 communique en temps réel les informations de positionnement relatif de la caméra 1.5 et du système mécanique 1.1 au dispositif d’inspection 1.4 à l’aide de la connexion 1.7.The tracking device 1.6 analyzes the information provided by the sensors 1.10 and deduces therefrom the relative position of at least certain targets 1.9 and 1.13. Thus, it is able to determine the relative positions and the relative orientation of the inspection device 1.4 and of the mechanical system 1.1. Due to the freedom of movement of the operator equipped with the inspection device 1.4 in the inspection space, it is necessary to have a sufficient number of targets and a number of sensors to guarantee that at at all times a sufficient number of targets are visible by a sufficient number of sensors to allow the location and orientation of the mechanical system and the inspection device. In practice, targets must be visible from at least two different sensors. Of course, the position of the sensors 1.10 must be perfectly known by the tracking device 1.6 to allow the localization in the inspection space of the different targets and therefore of the mechanical system and of the inspection device. The tracking device 1.6 communicates in real time the relative positioning information of the camera 1.5 and of the mechanical system 1.1 to the inspection device 1.4 using the connection 1.7.
Dans l’exemple de réalisation, les cibles sont des cibles infra-rouge. Ces cibles peuvent être de deux types actives ou passives. Les cibles actives sont des cibles émettant de la lumière infra-rouge, tandis que les cibles passives se contentent de réfléchir la lumière infra-rouge. Les premières doivent être alimentées en énergie pour émettre la lumière infra-rouge, les secondes peuvent être simplement passives. Si des cibles passives sont utilisées, les capteurs sont également munis d’émetteurs infra-rouge permettant d’illuminer l’espace d’inspection de lumière infra-rouge permettant, par réflexion, d’identifier les cibles passives dans les images infra-rouge capturées. Par exemple, le système mécanique 1.1 peut être doté de cibles passives non alimentées 1.9 tandis que le dispositif d’inspection 1.4 est doté de cibles actives 1.3 alimentées par le dispositif lui-même. Tout autre type de cibles et de capteurs adaptés peuvent être utilisés. Par exemple, il est possible d’utiliser des cibles présentant un motif aisément reconnaissable et des caméras opérant en lumière visibles comme capteurs. Les cibles sont alors identifiées par traitement d’image dans le flux vidéo capturé par les caméras.In the embodiment, the targets are infrared targets. These targets can be of two active or passive types. Active targets are targets that emit infrared light, while passive targets simply reflect infrared light. The former must be supplied with energy to emit infrared light, the latter can be simply passive. If passive targets are used, the sensors are also fitted with infra-red emitters allowing to illuminate the infra-red light inspection space allowing, by reflection, to identify the passive targets in the infra-red images captured. For example, the mechanical system 1.1 can be equipped with passive non-powered targets 1.9 while the inspection device 1.4 is equipped with active targets 1.3 powered by the device itself. Any other type of target and suitable sensors can be used. For example, it is possible to use targets with an easily recognizable pattern and cameras operating in visible light as sensors. The targets are then identified by image processing in the video stream captured by the cameras.
Dans l’exemple de réalisation, on s’interdit de disposer des cibles 1.9 directement sur le système mécanique 1.1. En effet, une telle cible peut être oubliée sur le système mécanique et ainsi constituer une source potentielle de non qualité pour le produit livré. Les cibles 1.9 sont donc disposées sur la nacelle 1.2 comprenant les liaisons avec le moteur 1.1. Dans tous les cas, les cibles 1.9 sont reliées au système mécanique. Ainsi on s’assure de ne pas modifier le système mécanique soumis à inspection et de plus les cibles ne risquent pas d’interférer avec l’inspection. Bien qu’il soit considéré que la liaison entre le système mécanique et la nacelle est rigide et n’évolue pas dans le temps, la position relative du système mécanique et de la nacelle peut ne pas être connue. Dans ce cas une étape de calibration permettant l’apprentissage de cette position relative doit être menée.In the exemplary embodiment, it is prohibited to have targets 1.9 directly on the mechanical system 1.1. Indeed, such a target can be forgotten on the mechanical system and thus constitute a potential source of non-quality for the product delivered. The targets 1.9 are therefore placed on the nacelle 1.2 comprising the links with the engine 1.1. In all cases, the targets 1.9 are linked to the mechanical system. This ensures that the mechanical system subject to inspection is not changed, and that targets are not likely to interfere with the inspection. Although it is considered that the connection between the mechanical system and the nacelle is rigid and does not change over time, the relative position of the mechanical system and the nacelle may not be known. In this case a calibration step allowing the learning of this relative position must be carried out.
Les connexions 1.8 sont des connexions réseau devant faire face à la transmission en temps réel de plusieurs flux vidéo en provenance des capteurs 1.10.The 1.8 connections are network connections that have to deal with the real-time transmission of several video streams from the 1.10 sensors.
Pour cette raison une connexion filaire, par exemple Ethernet, est privilégiée, les différents éléments n’étant pas mobiles. Toutefois, une connexion sans fil à haut débit peut être envisagée comme une transmission large bande à 5 GHz. Tout type de connexion supportant la transmission simultanée d’autant de flux vidéo qu’il n’y a de capteurs peut être utilisé.For this reason a wired connection, for example Ethernet, is preferred, the various elements not being mobile. However, a broadband wireless connection can be considered as a 5 GHz broadband transmission. Any type of connection supporting the simultaneous transmission of as many video streams as there are no sensors can be used.
Le dispositif de traque peut être constitué de tout type de dispositif de traitement de l’information. Dans l’exemple de réalisation il s’agit d’un ordinateur de type PC doté de moyens logiciel pour identifier dans les images des flux vidéo reçus des capteurs la position des cibles. Ensuite, typiquement par des solutions à base de triangulation, la position absolue dans l’espace d’inspection des cibles est calculée. Enfin, on en déduit la position et l’orientation du système mécanique et du dispositif d’inspection. De telles solution logicielles sont connues de l’homme du métier et ne seront pas décrites plus en détail dans le présent document.The tracking device can consist of any type of information processing device. In the exemplary embodiment, it is a PC type computer provided with software means for identifying in the images of the video streams received from the sensors the position of the targets. Then, typically by triangulation-based solutions, the absolute position in the target inspection space is calculated. Finally, we deduce the position and orientation of the mechanical system and the inspection device. Such software solutions are known to those skilled in the art and will not be described in more detail in this document.
Les informations échangées entre le dispositif de traque 1.6 et le dispositif d’inspection 1.4 consistent essentiellement dans les informations de position du système mécanique 1.1 et du dispositif d’inspection 1.4. Le volume d’information est donc réduit. En conséquence, la connexion 1.7 entre le dispositif de traque et le dispositif d’inspection peut utiliser toute technique de communication filaire ou sans fil. Toutefois, une connexion sans fil apporte un avantage en terme de liberté de mouvement à l’opérateur et est donc privilégiée. Dans l’exemple de réalisation, la connexion est une connexion de type Wifi.The information exchanged between the tracking device 1.6 and the inspection device 1.4 essentially consists of the position information of the mechanical system 1.1 and of the inspection device 1.4. The volume of information is therefore reduced. Consequently, connection 1.7 between the tracking device and the inspection device can use any wired or wireless communication technique. However, a wireless connection provides an advantage in terms of freedom of movement for the operator and is therefore preferred. In the embodiment example, the connection is a Wifi type connection.
Le dispositif d’inspection 1.4 est constitué d’un dispositif de traitement de l’information auquel est connecté une caméra 1.5 pour la capture du flux vidéo du système mécanique soumis à inspection. Il dispose également d’un écran pour la restitution du flux vidéo et l’affichage d’une interface d’entrée-sortie permettant à l’opérateur d’interagir avec le dispositif pour la gestion du procédé d’inspection. Il dispose d’un modèle du système mécanique soumis à inspection. Ce modèle, présent dans sa mémoire peut être préalablement chargé en mémoire ou encore être téléchargé en début de procédure d’inspection, par exemple après identification du système mécanique, dans une base de données de modèles disponible sur un serveur distant accessible au dispositif d’inspection. Il dispose également d’un moteur de réalité augmentée. Ce moteur permet l’incrustation dans le flux vidéo fourni par la caméra d’éléments du modèle du système mécanique à partir des informations de position fournies par le dispositif de traque et des paramètres de prise de vue fournis par la caméra telle que l’ouverture de champ et autres. De tels moteurs de réalité augmentée sont connus de l’homme du métier et ne sont pas décrits plus avant dans le présent document. Le dispositif d’inspection possède enfin une application de gestion du procédé d’inspection qui permet à l’opérateur d’être guidé et de valider les points de contrôle des différentes pièces comme détaillé plus loin.The inspection device 1.4 is made up of an information processing device to which a camera 1.5 is connected for capturing the video stream of the mechanical system under inspection. It also has a screen for the reproduction of the video stream and the display of an input-output interface allowing the operator to interact with the device for managing the inspection process. He has a model of the mechanical system subject to inspection. This model, present in its memory, can be previously loaded into memory or even be downloaded at the start of the inspection procedure, for example after identification of the mechanical system, in a model database available on a remote server accessible to the device. inspection. It also has an augmented reality engine. This engine allows elements of the mechanical system model to be embedded in the video stream supplied by the camera from position information provided by the tracking device and shooting parameters provided by the camera such as the aperture field and others. Such augmented reality engines are known to those skilled in the art and are not described further in this document. The inspection device finally has an application for managing the inspection process which allows the operator to be guided and to validate the control points of the different parts as detailed below.
Les cibles 1.3 servant à traquer la position de la caméra, elles doivent être solidaires de celle-ci. Dans un mode de réalisation, le dispositif de traitement de l’information, la caméra et les cibles sont rendus solidaires, par exemple à l’aide d’un bâti réunissant ces éléments.The targets 1.3 used to track the position of the camera, they must be integral with the latter. In one embodiment, the information processing device, the camera and the targets are made integral, for example using a frame uniting these elements.
Dans l’exemple de réalisation, le dispositif de traitement de l’information utilisé pour réaliser le dispositif d’inspection est un ordinateur de type tablette PC telles qu’une Microsoft Surface Pro 2 couplée à une caméra uEye (marque déposée) de la société IDS. Le système de capture de mouvement est du type ARTTRACK5 (marque déposée) de la société ART - ADVANCED REALTIME TRACKING.In the exemplary embodiment, the information processing device used to make the inspection device is a tablet PC type computer such as a Microsoft Surface Pro 2 coupled to a uEye camera (registered trademark) of the company IDS. The motion capture system is of the ARTTRACK5 (registered trademark) type from the company ART - ADVANCED REALTIME TRACKING.
La figure 2 illustre plus en détail le fonctionnement du dispositif d’inspection 1.4 dans un exemple de réalisation de l’invention. Le système mécanique 1.1 comporte des pièces 2.3 devant être inspectées. Ces pièces sont assemblées au sein du système mécanique. La caméra du dispositif d’inspection capture un flux vidéo d’une partie 2.1 du système mécanique comprenant la pièce 2.2. Le flux vidéo capturé est affiché sur une partie 2.6 de l’écran 2.4 du dispositif d’inspection. La partie 2.6 affiche donc l’image de la partie 2.1 du système mécanique. Le moteur de réalité augmenté incruste alors l’image 2.7 de la pièce 2.2 devant être inspectée issue du modèle du système mécanique dans l’image capturée. Sur la figure, cette incrustation est représentée par un hachurage de la pièce 2.7. Ainsi, l’opérateur est en mesure de repérer immédiatement la pièce courante devant être inspectée et son emplacement théorique au sein du système mécanique 1.1.Figure 2 illustrates in more detail the operation of the inspection device 1.4 in an exemplary embodiment of the invention. The mechanical system 1.1 has parts 2.3 to be inspected. These parts are assembled within the mechanical system. The camera of the inspection device captures a video stream of part 2.1 of the mechanical system including part 2.2. The captured video stream is displayed on part 2.6 of screen 2.4 of the inspection device. Part 2.6 therefore displays the image of part 2.1 of the mechanical system. The augmented reality engine then embeds the image 2.7 of the part 2.2 to be inspected from the mechanical system model in the captured image. In the figure, this inlay is represented by a hatching of part 2.7. Thus, the operator is able to immediately identify the current part to be inspected and its theoretical location within the mechanical system 1.1.
L’écran 2.4 du dispositif d’inspection comprend également une zone de guidage 2.5 qui donne des informations sur la pièce courante soumise à l’inspection. Ces informations comprennent typiquement la liste de points de contrôle associée à la pièce courante. Pour chaque point de contrôle, la zone de guidage peut également donner des informations complémentaires pour aider le contrôleur à effectuer son contrôle. Dans certains modes de réalisation cette zone de guidage permet également à l’opérateur de naviguer librement dans la liste des pièces à inspecter et des points de contrôle.Screen 2.4 of the inspection device also includes a guidance area 2.5 which provides information on the current part under inspection. This information typically includes the list of control points associated with the current part. For each control point, the guidance zone can also give additional information to help the controller carry out his control. In certain embodiments, this guidance zone also allows the operator to freely navigate the list of parts to be inspected and the control points.
L’écran 2.4 du dispositif d’inspection comprend également une zone de contrôle 2.8 qui permet à l’opérateur d’effectuer l’inspection d’un point de contrôle. Elle contient des contrôles pour signaler un défaut, valider le point de contrôle et passer au point de contrôle suivant.Screen 2.4 of the inspection device also includes a control zone 2.8 which allows the operator to carry out the inspection of a control point. It contains checks to report a fault, validate the check point and go to the next check point.
Dans certains modes de réalisation, l’interface peut également contenir des éléments supplémentaires pour, par exemple, permettre à l’opérateur d’entrer un commentaire associé à un défaut constater ou encore de prendre une photo du défaut. Ces informations complémentaires sont alors associées au point de contrôle.In some embodiments, the interface can also contain additional elements to, for example, allow the operator to enter a comment associated with a finding fault or even take a photo of the fault. This additional information is then associated with the checkpoint.
La figure 3 illustre le procédé d’inspection selon un mode de réalisation de l’invention.FIG. 3 illustrates the inspection method according to an embodiment of the invention.
Lors d’une première étape de calibration 3.1, la position du système mécanique relativement à la nacelle porteuse est déterminée. Cette calibration est effectuée par apprentissage de la position d’une pluralité de points remarquables du système mécanique. Ainsi le dispositif de traque acquiert la position du système mécanique par rapport à la nacelle dont la position est connue à l’aide des cibles 1.9 de la figure 1. Certains modes de réalisation ne requièrent pas une telle étape de calibration, par exemple si les cibles 1.9 sont disposées directement sur le système mécanique ou encore si la position relative du système mécanique et de la nacelle est connue. Ce peut être le cas si le système de fixation du système mécanique à la nacelle n’offre pas le moindre degré de liberté dans la position du système mécanique.During a first calibration step 3.1, the position of the mechanical system relative to the carrying nacelle is determined. This calibration is carried out by learning the position of a plurality of remarkable points of the mechanical system. Thus, the tracking device acquires the position of the mechanical system with respect to the nacelle, the position of which is known using the targets 1.9 of FIG. 1. Certain embodiments do not require such a calibration step, for example if the 1.9 targets are placed directly on the mechanical system or if the relative position of the mechanical system and the nacelle is known. This may be the case if the system for fixing the mechanical system to the nacelle does not offer the slightest degree of freedom in the position of the mechanical system.
Lors d’une étape d’identification 3.2, le système mécanique soumis à inspection est identifié. Cette identification peut s’effectuer de plusieurs manières selon le mode de réalisation de l’invention. Selon un premier mode, l’opérateur est invité à entrer un numéro de série du système via le dispositif d’inspection. Dans un autre mode, le système mécanique soumis à inspection est choisi dans une liste offerte à l’opérateur. Selon un autre mode, le numéro de série du système mécanique est acquis à l’aide du dispositif d’inspection par reconnaissance d’un code à barres, à une ou deux dimensions, codant ce numéro et disposé sur le système mécanique. Ce mode de réalisation permet de limiter les risques de mauvaise identification. La reconnaissance s’effectue alors par une prise de vue du code à barres et sa lecture par un module logiciel adapté.During an identification step 3.2, the mechanical system subject to inspection is identified. This identification can be done in several ways depending on the embodiment of the invention. In a first mode, the operator is prompted to enter a system serial number via the inspection device. In another mode, the mechanical system subject to inspection is chosen from a list offered to the operator. According to another mode, the serial number of the mechanical system is acquired using the inspection device by recognition of a bar code, in one or two dimensions, coding this number and placed on the mechanical system. This embodiment makes it possible to limit the risks of misidentification. Recognition is then carried out by taking a picture of the bar code and reading it by a suitable software module.
Avantageusement, l’étape d’identification requiert également l’identification de l’opérateur. Cette identification peut également s’effectuer de plusieurs manières selon le mode de réalisation. L’opérateur peut être invité à entrer un identifiant, sous la forme d’un code ou de son nom, dans le dispositif d’inspection. Selon un autre mode de réalisation, l’opérateur est sélectionné dans une liste d’opérateurs prédéfinie. Selon un autre mode de réalisation, l’identification s’effectue par reconnaissance d’un code à barres présent, par exemple, sur le badge professionnel de l’opérateur.Advantageously, the identification step also requires the identification of the operator. This identification can also be done in several ways depending on the embodiment. The operator may be asked to enter an identifier, in the form of a code or his name, into the inspection system. According to another embodiment, the operator is selected from a predefined list of operators. According to another embodiment, the identification is carried out by recognition of a bar code present, for example, on the professional badge of the operator.
Lors de l’étape 3.3, le dispositif d’inspection obtient d’une part le modèle du système mécanique soumis à inspection et d’autre part le scénario d’inspection associé. Le modèle du système mécanique est un modèle en trois dimensions comprenant toutes les pièces dudit système mécanique. Il permet au moteur de réalité augmentée d’afficher à la demande n’importe quelle partie du système mécanique en incrustation dans le flux vidéo capturé du système mécanique réel. Le scénario associé contient une description opérationnelle du procédé d’inspection. Typiquement, il contient la liste des pièces devant être inspectée avec les points de contrôle associés. Dans certains modes de réalisation il contient également un déroulement du processus d’inspection, c’est-à-dire que la liste des points de contrôle est ordonnée et peut être présentée à l’opérateur selon cet ordonnancement. Il contient également avantageusement, pour chaque pièce ou chaque point de contrôle, des informations complémentaires destinées à être affichées pour aider l’opérateur lors de son contrôle. Le modèle et le scénario peuvent être préalablement chargés en mémoire du dispositif d’inspection qui peut, par exemple, contenir un ensemble de modèles et de scénarii associés. Le bon modèle et le scénario associé sont alors sélectionnés en fonction de l’identification du modèle mécanique réalisé lors de l’étape d’identification. Selon un autre mode de réalisation, le modèle et le scénario sont téléchargés sur un serveur distant en fonction de l’identification du modèle mécanique réalisé lors de l’étape d’identification.In step 3.3, the inspection device obtains on the one hand the model of the mechanical system subject to inspection and on the other hand the associated inspection scenario. The mechanical system model is a three-dimensional model comprising all the parts of said mechanical system. It allows the augmented reality engine to display on demand any part of the mechanical system as an overlay in the captured video stream of the real mechanical system. The associated scenario contains an operational description of the inspection process. Typically, it contains the list of parts to be inspected with the associated control points. In some embodiments it also contains a flow of the inspection process, that is to say that the list of control points is ordered and can be presented to the operator according to this order. It also advantageously contains, for each part or each control point, additional information intended to be displayed to help the operator during his control. The model and the scenario can be previously loaded into the memory of the inspection device which can, for example, contain a set of models and associated scenarios. The right model and the associated scenario are then selected according to the identification of the mechanical model made during the identification step. According to another embodiment, the model and the scenario are downloaded to a remote server as a function of the identification of the mechanical model produced during the identification step.
Lors de l’étape d’inspection 3.4, l’opérateur est guidé dans le processus d’inspection proprement dit qui consiste essentiellement à parcourir la liste des pièces soumises à inspection et pour chacune d’entre elles à parcourir une liste de points de contrôle. Cette étape comprend l’affichage par le moteur de réalité augmentée des pièces du système mécanique soumises à inspection. Cette étape est détaillée figure 4.During the inspection step 3.4, the operator is guided through the actual inspection process which essentially consists in browsing the list of parts subject to inspection and for each of them browsing a list of control points . This step includes the display by the augmented reality engine of the parts of the mechanical system subject to inspection. This step is detailed in Figure 4.
Lors de l’étape de validation 3.5, la validation de l’inspection est réalisée. Cette étape comprend la vérification que l’ensemble des points de contrôle ont été inspectés. Cette étape comprend aussi typiquement la génération d’un rapport d’inspection. Ce rapport d’inspection peut être stocké sur le dispositif d’inspection ou encore être transmis à un serveur distant. Le procédé d’inspection se termine alors.During validation step 3.5, validation of the inspection is carried out. This step includes checking that all the control points have been inspected. This step also typically includes the generation of an inspection report. This inspection report can be stored on the inspection device or transmitted to a remote server. The inspection process then ends.
La figure 4 illustre l’étape d’inspection 3.4 selon un exemple de réalisation de l’invention.FIG. 4 illustrates the inspection step 3.4 according to an exemplary embodiment of the invention.
Lors de l’étape 4.1 une nouvelle pièce à inspecter est sélectionnée dans un ensemble de pièces restant à inspecter. Selon un premier mode de réalisation, cette pièce est la pièce suivante à inspecter en fonction du scénario. Dans un autre mode de réalisation cette pièce est sélectionnée par l’opérateur dans une liste des pièces restant à inspecter. Ces deux modes peuvent être offerts en alternative à l’opérateur qui peut alors soit choisir la prochaine pièce à inspecter en fonction du scénario soit choisir librement une pièce dans la liste des pièces restant à inspecter.In step 4.1 a new part to be inspected is selected from a set of parts remaining to be inspected. According to a first embodiment, this part is the next part to be inspected according to the scenario. In another embodiment, this part is selected by the operator from a list of parts remaining to be inspected. These two modes can be offered as an alternative to the operator who can then either choose the next part to be inspected according to the scenario or freely choose a part from the list of parts remaining to be inspected.
La pièce sélectionnée doit alors être inspectée lors d’une étape d’inspection de cette pièce qui comprend les étapes 4.2, 4.3 et 4.4 détaillées ci-dessous.The selected part must then be inspected during an inspection step for this part which includes steps 4.2, 4.3 and 4.4 detailed below.
Lors de l’étape 4.2 un nouveau point de contrôle à inspecter est sélectionné dans un ensemble de points de contrôle restant à inspecter concernant ladite pièce soumise à inspection. Selon un premier mode de réalisation, ce point de contrôle est le point de contrôle suivant à inspecter en fonction du scénario. Dans un autre mode de réalisation ce point de contrôle est sélectionné par l’opérateur dans une liste des points de contrôle restant à inspecter. Ces deux modes peuvent être offerts en alternative à l’opérateur qui peut alors soit choisir le prochain point de contrôle à inspecter en fonction du scénario soit choisir librement un point de contrôle dans la liste des points de contrôle restant à inspecter.In step 4.2, a new control point to be inspected is selected from a set of remaining control points to be inspected concerning said part subject to inspection. According to a first embodiment, this control point is the next control point to be inspected according to the scenario. In another embodiment, this control point is selected by the operator from a list of control points remaining to be inspected. These two modes can be offered as an alternative to the operator who can then either choose the next control point to be inspected according to the scenario or freely choose a control point from the list of control points remaining to be inspected.
Lors de l’étape 4.3 l’opérateur conduit l’inspection effective du point de contrôle. Cette étape comprend l’affichage par le moteur de réalité augmentée de la pièce soumise à inspection. L’opérateur peut être aidé dans son inspection par des informations affichées lui indiquant quels sont les points à vérifier pour le point de contrôle en question. Il vérifie alors la conformité de la pièce du système mécanique réel. Si la pièce est conforme, alors il valide le point de contrôle. S’il constate un défaut il l’indique à l’interface. Dans le cas d’un défaut constaté, l’opérateur peut être invité à sélectionner le défaut constaté dans une liste de défauts possibles intégrée au scénario. Il peut encore être sollicité pour entrer un commentaire relatif au défaut constaté. Dans certains modes de réalisation il peut encore se voir offrir la possibilité de prendre une photo du défaut constaté qui est alors lié au point de contrôle et sera intégré au rapport final d’inspection.In step 4.3 the operator conducts the actual inspection of the checkpoint. This step includes the display by the augmented reality engine of the part under inspection. The operator can be assisted in his inspection by displayed information indicating which points to check for the control point in question. It then checks the conformity of the part of the real mechanical system. If the part is compliant, then it validates the checkpoint. If it finds a defect, it indicates it to the interface. In the event of a defect found, the operator may be asked to select the defect found in a list of possible faults included in the scenario. He can also be asked to enter a comment relating to the defect found. In certain embodiments, it may still be offered the possibility of taking a photo of the defect found which is then linked to the checkpoint and will be integrated into the final inspection report.
Lors de l’étape 4.4 un test est fait pour voir s’il reste des points de contrôle à inspecter concernant la pièce courante. Dans ce cas on boucle sur la sélection 4.2 d’un nouveau point de contrôle concernant la pièce courante. Dans le cas contraire on teste lors de l’étape 4.5 s’il reste des pièces à inspecter. Dans ce cas on boucle sur la sélection 4.1 d’une nouvelle pièce. Dans le cas contraire, l’inspection est terminée.In step 4.4 a test is made to see if there are still control points to be inspected concerning the current part. In this case, we loop on selection 4.2 of a new control point concerning the current part. Otherwise, we test in step 4.5 if there are still parts to inspect. In this case we loop on the selection 4.1 of a new part. Otherwise, the inspection is complete.
Dans le mode de réalisation décrit, le scénario d’inspection est construit sur un parcours à deux niveaux, d’abord par pièce et pour chaque pièce par point de contrôle concernant cette pièce. Dans un autre mode de réalisation, l’inspection est réalisée selon un scénario à un seul niveau. Dans ce cas, le scénario offre un parcours par pièce et chaque pièce est inspectée en une seule étape et validée ou invalidée dans son ensemble. Alternativement le scénario à un seul niveau peut offrir un parcours par point de contrôle indépendamment des pièces concernées.In the described embodiment, the inspection scenario is built on a two-level route, first by room and for each room by control point concerning this room. In another embodiment, the inspection is carried out according to a single-level scenario. In this case, the scenario offers a route per part and each part is inspected in a single step and validated or invalidated as a whole. Alternatively, the single-level scenario can offer one route per checkpoint regardless of the parts involved.
La figure 5 est un bloc-diagramme schématique d'un dispositif de traitement de l’information 500 pour la mise en œuvre d'un ou plusieurs modes de réalisation de l'invention. Le dispositif 500 de traitement de l’information peut être un périphérique tel qu'un micro-ordinateur, un poste de travail ou d'un terminal mobile de télécommunication. Le dispositif 500 comporte un bus de communication connecté à:Figure 5 is a schematic block diagram of an information processing device 500 for the implementation of one or more embodiments of the invention. The information processing device 500 can be a peripheral such as a microcomputer, a work station or a mobile telecommunication terminal. The device 500 includes a communication bus connected to:
- une unité centrale de traitement 501, tel qu'un microprocesseur, notée CPU ;a central processing unit 501, such as a microprocessor, denoted CPU;
- une mémoire à accès aléatoire 502, notée RAM, pour mémoriser le code exécutable du procédé de réalisation de l'invention ainsi que les registres adaptés à enregistrer des variables et des paramètres nécessaires pour la mise en œuvre du procédé selon des modes de réalisation de l'invention, la capacité de mémoire de celuici peut être complété par une mémoire RAM optionnelle connectée à un port d'extension, par exemple ;a random access memory 502, denoted RAM, for storing the executable code of the method for carrying out the invention as well as the registers suitable for recording variables and parameters necessary for the implementation of the method according to embodiments of the invention, the memory capacity of this can be supplemented by an optional RAM memory connected to an expansion port, for example;
- une mémoire morte 503, notée ROM, pour stocker des programmes informatiques pour la mise en œuvre des modes de réalisation de l'invention ;a read-only memory 503, denoted ROM, for storing computer programs for implementing the embodiments of the invention;
- une interface réseau 504 est normalement connectée à un réseau de communication sur lequel des données numériques à traiter sont transmis ou reçus. L'interface réseau 504 peut être une seule interface réseau, ou composée d'un ensemble d'interfaces réseau différentes (par exemple filaire et sans fil, interfaces ou différents types d'interfaces filaires ou sans fil). Des paquets de données sont envoyés sur l'interface réseau pour la transmission ou sont lues à partir de l'interface de réseau pour la réception sous le contrôle de l'application logiciel exécuté dans le processeur 501 ;a network interface 504 is normally connected to a communication network on which digital data to be processed are transmitted or received. The network interface 504 can be a single network interface, or composed of a set of different network interfaces (for example wired and wireless, interfaces or different types of wired or wireless interfaces). Data packets are sent over the network interface for transmission or are read from the network interface for reception under the control of the software application running in processor 501;
- une interface utilisateur 505 pour recevoir des entrées d'un utilisateur ou pour afficher des informations à un utilisateur ;- a user interface 505 for receiving input from a user or for displaying information to a user;
- un support de stockage optionnel 506 noté HD ;- an optional storage medium 506 denoted HD;
- un module d’entrée/sortie 507 pour la réception / l'envoi de données depuis / vers des périphériques externes tels que disque dur, support de stockage amovible ou autres.- an input / output module 507 for receiving / sending data from / to external devices such as hard disk, removable storage medium or others.
Le code exécutable peut être stocké dans une mémoire morte 503, sur le support de stockage 506 ou sur un support amovible numérique tel que par exemple un disque. Selon une variante, le code exécutable des programmes peuvent être reçu au moyen d'un réseau de communication, via l'interface réseau 504, afin d'être stocké dans l'un des moyens de stockage du dispositif de communication 500, tel que le support de stockage 506, avant d'être exécuté.The executable code can be stored in a read-only memory 503, on the storage medium 506 or on a removable digital medium such as for example a disk. According to a variant, the executable code of the programs can be received by means of a communication network, via the network interface 504, in order to be stored in one of the storage means of the communication device 500, such as the storage medium 506, before being executed.
L'unité centrale de traitement 501 est adaptée pour commander et diriger l'exécution des instructions ou des portions de code logiciel du programme ou des programmes selon l'un des modes de réalisation de l'invention, instructions qui sont stockées dans l'un des moyens de stockage précités. Après la mise sous tension, le CPU 501 est capable d'exécuter des instructions stockées dans la mémoire RAM principale 502, relatives à une application logicielle, après que ces instructions aient été chargées de la ROM par exemple. Un tel logiciel, lorsqu'il est exécuté par le processeur 501, provoque les étapes des organigrammes présentés dans les figures 3 et 4 pour être exécutées.The central processing unit 501 is adapted to control and direct the execution of the instructions or portions of software code of the program or programs according to one of the embodiments of the invention, instructions which are stored in one the aforementioned storage means. After power-up, the CPU 501 is capable of executing instructions stored in the main RAM 502, relating to a software application, after these instructions have been loaded from the ROM for example. Such software, when executed by processor 501, causes the steps of the flowcharts presented in Figures 3 and 4 to be executed.
Dans ce mode de réalisation, l'appareil est un appareil programmable qui utilise un logiciel pour mettre en œuvre l'invention. Toutefois, à titre subsidiaire, la présente invention peut être mise en œuvre dans le matériel (par exemple, sous la forme d'un circuit intégré spécifique ou ASIC).In this embodiment, the apparatus is a programmable apparatus which uses software to implement the invention. However, in the alternative, the present invention can be implemented in hardware (for example, in the form of a specific integrated circuit or ASIC).
Naturellement, pour satisfaire des besoins spécifiques, une personne compétente dans le domaine de l’invention pourra appliquer des modifications dans la description précédente.Naturally, to meet specific needs, a person competent in the field of the invention may apply modifications to the preceding description.
Bien que la présente invention ait été décrite ci-dessus en référence à des modes de réalisation spécifiques, la présente invention n'est pas limitée aux modes de réalisation spécifiques, et les modifications qui se trouvent dans le champ d'application de la présente invention seront évidentes pour une personne versée dans l'art.Although the present invention has been described above with reference to specific embodiments, the present invention is not limited to the specific embodiments, and the modifications which fall within the scope of the present invention will be obvious to a person skilled in the art.
Claims (11)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1753538A FR3065561B1 (en) | 2017-04-24 | 2017-04-24 | SYSTEM AND METHOD FOR INSPECTING A MECHANICAL SYSTEM BASED ON ENHANCED REALITY |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1753538 | 2017-04-24 | ||
| FR1753538A FR3065561B1 (en) | 2017-04-24 | 2017-04-24 | SYSTEM AND METHOD FOR INSPECTING A MECHANICAL SYSTEM BASED ON ENHANCED REALITY |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3065561A1 true FR3065561A1 (en) | 2018-10-26 |
| FR3065561B1 FR3065561B1 (en) | 2019-04-19 |
Family
ID=59325450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1753538A Active FR3065561B1 (en) | 2017-04-24 | 2017-04-24 | SYSTEM AND METHOD FOR INSPECTING A MECHANICAL SYSTEM BASED ON ENHANCED REALITY |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3065561B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021228610A1 (en) * | 2020-05-12 | 2021-11-18 | Safran Engineering Services | Method and system for visually inspecting a mechanical part by an operator |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2990286A1 (en) * | 2012-05-07 | 2013-11-08 | Schneider Electric Ind Sas | METHOD FOR HIGHLY REALIZED DISPLAY OF INFORMATION RELATING TO TARGET EQUIPMENT ON A SCREEN OF AN ELECTRONIC DEVICE, COMPUTER PROGRAM PRODUCT, ELECTRONIC DEVICE AND ELECTRIC EQUIPMENT THEREFOR |
| US20150062123A1 (en) * | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
| US20160371887A1 (en) * | 2013-07-03 | 2016-12-22 | Snecma | Augmented reality method and system for monitoring |
-
2017
- 2017-04-24 FR FR1753538A patent/FR3065561B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2990286A1 (en) * | 2012-05-07 | 2013-11-08 | Schneider Electric Ind Sas | METHOD FOR HIGHLY REALIZED DISPLAY OF INFORMATION RELATING TO TARGET EQUIPMENT ON A SCREEN OF AN ELECTRONIC DEVICE, COMPUTER PROGRAM PRODUCT, ELECTRONIC DEVICE AND ELECTRIC EQUIPMENT THEREFOR |
| US20160371887A1 (en) * | 2013-07-03 | 2016-12-22 | Snecma | Augmented reality method and system for monitoring |
| US20150062123A1 (en) * | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
Non-Patent Citations (2)
| Title |
|---|
| CHEN FENG: "Camera Marker Networks for Pose Estimation and Scene Understanding in Construction Automation and Robotics [electronic resource]", 1 January 2015 (2015-01-01), XP055393242, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.724.7307&rep=rep1&type=pdf> * |
| NAVAB N: "Developing killer apps for industrial augmented reality", IEEE COMPUTER GRAPHICS AND APPLICATIONS, IEEE SERVICE CENTER, NEW YORK, NY, US, vol. 24, no. 3, 1 May 2004 (2004-05-01), pages 16 - 20, XP011112379, ISSN: 0272-1716, DOI: 10.1109/MCG.2004.1297006 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021228610A1 (en) * | 2020-05-12 | 2021-11-18 | Safran Engineering Services | Method and system for visually inspecting a mechanical part by an operator |
| FR3110143A1 (en) * | 2020-05-12 | 2021-11-19 | Safran Engineering Services | Method and system for visual inspection of a mechanical part by an operator |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3065561B1 (en) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7126702B2 (en) | Systems and methods for remotely collecting electronic devices in exchange for monetary consideration | |
| US10685496B2 (en) | Saving augmented realities | |
| JP5871862B2 (en) | Image blur based on 3D depth information | |
| US20140010412A1 (en) | Video Image Capture and Identification of Vehicles | |
| US10839554B2 (en) | Image labeling for cleaning robot deep learning system | |
| WO2019211846A1 (en) | System and method for visual production line inspection of different production items | |
| EP2132710A2 (en) | Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream | |
| EP2111605B1 (en) | Method and device for creating at least two key images corresponding to a three-dimensional object | |
| WO2016135402A1 (en) | Method and device for remotely inspecting the state of an aircraft engine | |
| WO2017165332A1 (en) | 2d video analysis for 3d modeling | |
| CA2942652A1 (en) | Three dimensional simulation system capable of creating a virtual environment uniting a plurality of users, and associated process | |
| FR3018118A1 (en) | METHOD FOR TESTING AN ELECTRONIC SYSTEM | |
| FR3065561A1 (en) | SYSTEM AND METHOD FOR INSPECTING A MECHANICAL SYSTEM BASED ON ENHANCED REALITY | |
| WO2014060441A1 (en) | Method for authenticating an image capture of a three-dimensional entity | |
| EP3008693A1 (en) | System for tracking the position of the shooting camera for shooting video films | |
| US20170358072A1 (en) | Method and System for Articulation of a Visual Inspection Device | |
| US20160065842A1 (en) | Visual data capture feedback | |
| US20150117751A1 (en) | Method of inspecting images of connectors of optical cables by using live, still or stored images | |
| FR3023110A1 (en) | METHOD FOR ANALYZING USER COSMETIC ROUTINES AND ASSOCIATED SYSTEM | |
| FR3078426A1 (en) | SYSTEM AND METHOD FOR PHOTOREALIST DISPLAY OF A THREE-DIMENSIONAL VIRTUAL OBJECT IN AN ENHANCED REALITY APPLICATION | |
| EP4016382A1 (en) | Method for configuring and displaying, in augmented, mixed or extended reality, information relating to a device installed on a real site, associated computer program product and electronic device | |
| FR2852422A1 (en) | Digital image entities identifying method, involves assigning one identifier to entity and assigning other identifiers to unidentified entities based on statistical data characterizing occurrences of combination of identifiers | |
| FR3044122A1 (en) | METHOD AND SYSTEM FOR ASSISTING A MAINTENANCE OPERATOR IN THE EXECUTION OF AN AIRCRAFT MAINTENANCE TASK | |
| EP2730985A1 (en) | System and method for automatically checking the conformity of the manufacture of elements in a structure of an aircraft | |
| EP3828725A1 (en) | Method of performing a process using artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20181026 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 7 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |