EP3853815A1 - Dispositif, systeme et procede de localisation, par un module de traitement, d'un module d'acquisition par rapport a un equipement a controler - Google Patents

Dispositif, systeme et procede de localisation, par un module de traitement, d'un module d'acquisition par rapport a un equipement a controler

Info

Publication number
EP3853815A1
EP3853815A1 EP19794606.4A EP19794606A EP3853815A1 EP 3853815 A1 EP3853815 A1 EP 3853815A1 EP 19794606 A EP19794606 A EP 19794606A EP 3853815 A1 EP3853815 A1 EP 3853815A1
Authority
EP
European Patent Office
Prior art keywords
processing
equipment
checked
high resolution
acquisition module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19794606.4A
Other languages
German (de)
English (en)
Inventor
Ludovic Brethes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dassault Systemes SE
Original Assignee
Diotasoft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diotasoft filed Critical Diotasoft
Publication of EP3853815A1 publication Critical patent/EP3853815A1/fr
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Program controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a method for locating an image acquisition unit in the repository of an item of equipment to be checked.
  • an image acquisition unit - such as a robot or tablet - embedding at least part of the device and a system comprising the device.
  • the field of the invention is that of non-destructive conformity control of equipment by means of a camera, either during production, or in use, or in the context of maintenance, asynchronously or not. .
  • EP 1986154 A1 discloses a measuring device, which measures the relative position and orientation of an image capture means capturing images of one or more devices to be checked.
  • the respective geometric characteristics present in a 3D model of the equipment to be checked are projected onto the captured image on the basis of the position and the orientation of the image capture means, thus obtaining geometric projection characteristics.
  • the relative position and orientation of the image capturing means with respect to the measurement object is then calculated using the selected geometric projection characteristics and the geometric image characteristics corresponding to the selected geometric projection characteristics detected in the captured image.
  • a drawback of the state-of-the-art measuring device is that it carries a powerful, therefore expensive, if not heavy, computing unit.
  • the object of the present invention is to provide a localization method aimed at reducing the computing power of the measuring device.
  • a device for locating, by a processing module, an acquisition module in relation to equipment to be controlled comprising:
  • - first processing means arranged at the level of the acquisition module, configured to generate a first position of said acquisition module, and to generate a so-called high resolution image of the equipment to be checked;
  • - second processing means arranged at said processing module, configured to generate a second position, from said first position and from the high resolution image.
  • the device according to the invention may also include a graphics processor disposed at said processing module.
  • the device according to the invention further comprises image capture means, called high resolution, the image generated by the first processing means being generated from data captured by said image capture means to high resolution.
  • the high resolution image capture means may comprise a lens having a so-called long focal length between 18 mm and 50 mm, preferably 25 mm.
  • the device comprises capture means arranged at the level of the acquisition module and configured to capture a physical quantity and generate capture data, the first processing means being further configured to generate the first position from said capture data.
  • the capture means can include an inertial unit.
  • the capture means can comprise image capture means, said to be of low resolution, the capture data being images generated by the image capture means. More precisely still, the means for capturing images at low resolution can be configured so that the images generated comprise a capture of the entire element to be checked.
  • the low-resolution image capture means may comprise an objective having a focal length, called short, between 4.5 mm and 10 mm, preferably substantially equal to 7 mm.
  • the processing means arranged at the level of the processing module can also be configured to generate:
  • the acquisition module can be the effector of a robot, the processing module being able to be placed at the level of the robot chassis.
  • the robot can be of the cobot type.
  • the acquisition module can be a digital tablet.
  • a method for locating, by a processing module, an acquisition module with respect to an item of equipment to be controlled comprising:
  • processing means arranged at the level of the acquisition module, to generate a first position of said acquisition module, and to generate a so-called high resolution image of the equipment to be checked;
  • a transmission by transmission means from said acquisition module to the processing module, of the first position and of the high resolution image, - Processing by processing means, arranged at said processing module, to generate a second position, from said first position and from the high resolution image.
  • the processing for generating the second position from the high resolution image can be carried out using all of said high resolution image.
  • the processing for generating the second position from the high resolution image can be carried out from a selection of a so-called specific part of said high resolution image.
  • the method also comprises additional processing, by the processing means arranged at said processing module, to generate a third position, from the second position and from a digital model of the equipment to be checked.
  • a method for controlling, by a processing module, an item of equipment to be checked from a so-called high resolution image of said equipment to be checked, acquired by a module of acquisition comprising the steps of a localization method according to the third aspect of the invention, or one or more of its improvements, and in addition:
  • the method for controlling the equipment to be controlled can also comprise, between the simulation step and the step of obtaining a compliance state, a comparison of the simulated image with one or more images of the equipment. to control.
  • an image of the equipment to be checked is acquired from data captured by image capture means, said to be of low resolution, arranged at the level of the acquisition module.
  • an image of the equipment to be checked is acquired from the high resolution image.
  • FIG. 1 is a schematic representation of a first embodiment of a system according to the invention
  • FIG. 2 is a schematic representation of a second embodiment of a system according to the invention.
  • FIG. 3 is a schematic representation of a configuration of a system according to the invention.
  • variants of the invention comprising only a selection of described characteristics, subsequently isolated from the other described characteristics, if this selection of characteristics is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art.
  • This selection includes at least one characteristic, preferably functional, without structural details, or with only part of the structural details if this part only is sufficient to confer a technical advantage or to differentiate the invention from the state of the prior art. .
  • a system 100 comprises an acquisition module 200, a processing module 300 and a locating device 400, by the processing module 300, of the acquisition module 200 relative to equipment to control (which is not shown in this figure).
  • the locating device 400 comprises:
  • processing unit 600 arranged on the side of the processing module 300.
  • the acquisition unit 500 includes:
  • a communication module 502 with the processing module 300;
  • a processing module 504 configured to generate a first position of said acquisition module, and to generate a so-called high resolution image of the equipment to be checked;
  • the processing unit 600 comprises:
  • processing module 604 configured to generate a second position, from said first position and from the high resolution image.
  • the communication modules 502 and 602 form means of transmission, from said acquisition module 200 to the processing module 300, of the first position and of the high resolution image. These communication modules may or may not be wired.
  • the processing module 300 comprises a graphics processor 302 disposed at the level thereof.
  • the graphics processor is configured to be used by the processing module 300.
  • the acquisition unit 500 comprises image capture means 506, called high resolution, the image generated by the first processing means 504 being generated from data captured by the means of high resolution 506 image capture.
  • the high resolution image capture means 506 comprise a lens having a so-called long focal length of 25 mm.
  • the acquisition unit 500 comprises capture means 508 of physical quantities arranged at the level of the acquisition module 200 and configured to capture a physical quantity and generate capture data, the first means of processing 504 being further configured to generate the first position from said capture data.
  • the capture means 508 comprise an inertial unit.
  • the capture means 508 comprise image capture means, said to be of low resolution, the capture data being images generated by the image capture means.
  • the low resolution image capture means are configured so that the images generated include a capture of the entire element to be checked.
  • the low resolution image capture means comprise a lens having a so-called short focal length substantially equal to 7 mm.
  • processing means arranged at the level of the processing module are further configured to generate:
  • the acquisition unit 500 is integrated in the acquisition module 200 and the communication unit processing 600 is integrated in processing module 300.
  • the acquisition unit 500 does not include a communication module 501 with the acquisition module 200 since it is integrated in the acquisition module 200 and the processing unit 600 does not include communication module 601 since it is integrated in the processing module 300.
  • each module of the device according to the invention can be a software module or an electronic module using calculation means such as a computer or a processor, already present on the acquisition module or the processing module. .
  • the communication modules 502, 602 can be existing modules within the acquisition module or the processing module and which are arranged to carry out the desired operations.
  • the system according to the invention 700 comprises an autonomous platform 702 supporting a processing module 704 and a robot of the cobot type 706, supported by a mast 708 mounted on the autonomous platform 702.
  • the end of the robot 706 is mounted in translation and in rotation relative to the mast 708, by means of a plate mounted on rails fixed on the mast.
  • the other end of the robot 706 has an effector housing the acquisition module 710.
  • a processing by the processing means arranged at the level of the acquisition module 710, to generate a first position of said acquisition module 710, and to generate a so-called high resolution image of the equipment to be checked;
  • processing means arranged at said processing module 704, to generate a second position, from said first position and from the high resolution image.
  • the acquisition module is a digital tablet and the processing module is a computer comprising a graphics card.
  • An operator uses the digital tablet to record a video stream which is later taken up by the processing module and reprocessed.
  • the digital tablet then uses images at a low level of resolution to determine a first position of itself. It is a pyramid approach where the full resolution image, captured by the high resolution acquisition module, is reduced on several levels. On the processing computer, we then use a higher pyramid level to exploit the full resolution.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

Dispositif de localisation (400), par un module de traitement (300), d'un module d'acquisition (200) par rapport à un équipement à contrôler, comportant des premiers moyens de traitement (504) disposés au niveau du module d'acquisition, configurés pour générer une première position dudit module d'acquisition, et pour générer une image, dite haute résolution, de l'équipement à contrôler ; des moyens de transmission (502, 602), depuis ledit module d'acquisition vers le module de traitement, de la première position et de l'image haute résolution ; des deuxièmes moyens de traitement (404), disposés au niveau dudit module de traitement, configurés pour générer une deuxième position, à partir de ladite première position et de l'image haute résolution.

Description

DISPOSITIF, SYSTEME ET PROCEDE DE LOCALISATION, PAR UN MODULE DE TRAITEMENT, D’UN MODULE D’ACQUISITION PAR RAPPORT A UN
EQUIPEMENT A CONTROLER
Domaine technique
La présente invention concerne un procédé pour localiser une unité d’acquisition d’images dans le référentiel d’un équipement à contrôler.
Elle vise également un dispositif implémentant ce procédé de localisation, une unité d’acquisition d’images— tel que robot ou tablette— embarquant au moins une partie du dispositif et un système comportant le dispositif.
Le domaine de l’invention est celui du contrôle de conformité non destructif d’équipements au moyen d’une caméra, soit au cours de la production, soit en cours d’utilisation, soit dans le cadre de maintenances, de manière asynchrone ou non.
État de la technique antérieure
En contrôle de conformité, les opérateurs terrain embarquent une caméra destinée à capter un flux d’images d’un équipement sur lequel intervenir ou réaliser des opérations.
EP 1986154 A1 divulgue un appareil de mesure, qui mesure la position et l’orientation relatives d’un moyen de capture d’image capturant des images d’un ou plusieurs équipements à contrôler. Les caractéristiques géométriques respectives présentes dans un modèle 3D de l’équipement à contrôler sont projetées sur l’image capturée sur la base de la position et de l’orientation du moyen de capture d’image, obtenant ainsi des caractéristiques géométriques de projection. La position et l’orientation relatives du moyen de capture d’image par rapport à l’objet de mesure sont ensuite calculées en utilisant les caractéristiques géométriques de projection sélectionnées et les caractéristiques géométriques d’image correspondant aux caractéristiques géométriques de projection sélectionnées détectées dans l’image capturée.
Un inconvénient de l’appareil de mesure selon l’état de l’art est qu’il embarque une unité de calcul puissante donc onéreuse, si ce n’est lourde.
Le but de la présente invention est de proposer un procédé de localisation visant à réduire la puissance de calcul de l’appareil de mesure. Exposé de l’invention
Cet objectif est atteint avec un dispositif pour localiser par un module de traitement, d’un module d’acquisition par rapport à un équipement à contrôler, comportant :
- des premiers moyens de traitement disposés au niveau du module d’acquisition, configurés pour générer une première position dudit module d’acquisition, et pour générer une image, dite haute résolution, de l’équipement à contrôler ;
- des moyens de transmission, depuis ledit module d’acquisition vers le module de traitement, de la première position et de l’image haute résolution,
- des deuxièmes moyens de traitement, disposés au niveau dudit module de traitement, configurés pour générer une deuxième position, à partir de ladite première position et de l’image haute résolution.
Ainsi, il devient possible de déporter la charge de calcul au niveau du module de traitement et donc de réduire la puissance de calcul disposée au niveau du module d’acquisition, c’est-à-dire au niveau de l’appareil de mesure.
Le dispositif selon l’invention peut en outre comporter un processeur graphique disposé au niveau dudit module de traitement.
Avantageusement, le dispositif selon l’invention comporte en outre des moyens de capture d’image, dits à haute résolution, l’image générée par les premiers moyens de traitement étant générée à partir de données capturées par lesdits moyens de capture d’image à haute résolution.
À titre d’exemple, les moyens de capture d’image à haute résolution peuvent comporter un objectif présentant une focale, dite longue, comprise entre 18 mm et 50 mm, de préférence de 25 mm.
Selon un mode de réalisation, le dispositif selon l’invention comporte des moyens de capture disposés au niveau du module d’acquisition et configurés pour capter une grandeur physique et générer des données de capture, les premiers moyens de traitement étant en outre configurés pour générer la première position à partir desdites données de capture.
En particulier, les moyens de capture peuvent comprendre une centrale inertielle.
Selon une possibilité, les moyens de capture peuvent comprendre des moyens de capture d’image, dits à faible résolution, les données de captures étant des images générées par les moyens de capture d’image. Plus précisément encore, les moyens de captures d’images à faible résolution peuvent être configurés pour que les images générées comportent une capture de la totalité de l’élément à contrôler.
De préférence, les moyens de capture d’image à faible résolution peuvent comporter un objectif présentant une focale, dite courte, comprise entre 4,5 mm et 10 mm, de préférence sensiblement égale à 7 mm.
Selon un mode de réalisation, les moyens de traitement disposés au niveau du module de traitement peuvent en outre être configurés pour générer :
- des données de simulation d’une projection d’une maquette numérique de l’équipement à contrôler sur l’image haute résolution,
- des données d’un état de conformité de l’équipement à contrôler par rapport à la maquette numérique dudit équipement à contrôler.
- Selon un deuxième aspect de l’invention, il est proposé un système comportant :
- un module d’acquisition,
- un module de traitement,
- un dispositif de localisation, par le module de traitement, du module d’acquisition par rapport un équipement à contrôler selon le premier aspect de l’invention, ou l’un ou plusieurs de ses perfectionnements.
Le module d’acquisition peut être l’effecteur d’un robot, le module de traitement pouvant être disposé au niveau du châssis du robot.
Par exemple, le robot peut être de type cobot.
Le module d’acquisition peut être une tablette numérique.
Selon un troisième aspect de l’invention, il est proposé un procédé de localisation, par un module de traitement, d’un module d’acquisition par rapport à un équipement à contrôler, comportant :
- un traitement, par des moyens de traitement disposés au niveau du module d’acquisition, pour générer une première position dudit module d’acquisition, et pour générer une image, dite haute résolution, de l’équipement à contrôler ;
- une transmission par des moyens de transmission, depuis ledit module d’acquisition vers le module de traitement, de la première position et de l’image haute résolution, - un traitement par des moyens de traitement, disposés au niveau dudit module de traitement, pour générer une deuxième position, à partir de ladite première position et de l’image haute résolution.
Selon une possibilité, le traitement pour générer la deuxième position à partir de l’image haute résolution peut être réalisé en utilisant la totalité de ladite image haute résolution.
Selon une autre possibilité, le traitement pour générer la deuxième position à partir de l’image haute résolution peut être réalisé à partir d’une sélection d’une partie, dite spécifique, de ladite image haute résolution.
De préférence, le procédé comporte en outre un traitement supplémentaire, par les moyens de traitement disposés au niveau dudit module de traitement, pour générer une troisième position, à partir de la deuxième position et d’une maquette numérique de l’équipement à contrôler.
Selon un quatrième aspect de l’invention, il est proposé un procédé de contrôle, par un module de traitement, d’un équipement à contrôler à partir d’une image, dite haute résolution, dudit équipement à contrôler, acquise par un module d’acquisition, comportant les étapes d’un procédé de localisation selon le troisième aspect de l’invention, ou l’un ou plusieurs de ses perfectionnements, et en outre :
- une simulation, par les moyens de traitement disposés au niveau du module de traitement, d’une projection d’une maquette numérique de l’équipement à contrôler sur l’image haute résolution,
- une obtention d’un état de conformité de l’équipement à contrôler par rapport à la maquette numérique dudit équipement à contrôler.
Le procédé de contrôle de l’équipement à contrôler peut en outre comporter, entre l’étape de simulation et l’étape d’obtention d’un état conformité, une comparaison de l’image simulée avec une ou plusieurs images de l’équipement à contrôler.
Selon une possibilité, une image de l’équipement à contrôler est acquise à partir de données capturées par des moyens de capture d’image, dits à faible résolution, disposés au niveau du module d’acquisition.
De préférence, une image de l’équipement à contrôler est acquise à partir de l’image haute résolution. Présentation des figures
D’autres données, caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels :
- la figure 1 est une représentation schématique d’un premier mode de réalisation d’un système selon l’invention,
- la figure 2 est une représentation schématique d’un deuxième mode de réalisation d’un système selon l’invention,
- la figure 3 est une représentation schématique d’une configuration d’un système selon l’invention.
Description des modes de réalisation
Les modes de réalisation décrits ci-après n’étant nullement limitatifs, on pourra notamment considérer des variantes de l’invention ne comprenant qu’une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l’invention par rapport à l’état de la technique antérieure.
Il est maintenant décrit conjointement à la fois un mode de réalisation d’un système selon l’invention et un procédé selon l’invention.
Dans un premier mode de réalisation illustré par la figure 1 , un système 100 comprend un module d’acquisition 200, un module de traitement 300 et un dispositif de localisation 400, par le module de traitement 300, du module d’acquisition 200 par rapport un équipement à contrôler (qui n’est pas représenté sur cette figure).
Le dispositif de localisation 400 comporte :
- une unité d’acquisition 500 disposée du côté du module d’acquisition 200,
- une unité de traitement 600 disposée du côté du module de traitement 300.
L’unité d’acquisition 500 comporte :
- un module de communication 501 avec l’unité d’acquisition 500 ;
- un module de communication 502 avec le module de traitement 300 ; - un module de traitement 504, configuré pour générer une première position dudit module d’acquisition, et pour générer une image, dite haute résolution, de l’équipement à contrôler ;
L’unité de traitement 600 comporte :
- un module de communication 601 avec l’unité de traitement 600 ;
- un module de communication 602 avec le module d’acquisition 200 ;
- un module de traitement 604 configuré pour générer une deuxième position, à partir de ladite première position et de l’image haute résolution.
Les modules de communication 502 et 602 forment des moyens de transmissions, depuis ledit module d’acquisition 200 vers le module de traitement 300, de la première position et de l’image haute résolution. Ces modules de communication peuvent être filaires, ou non.
Ainsi, il devient possible de déporter la charge de calcul au niveau du module de traitement 200 et donc de réduire la puissance de calcul disposée au niveau du module d’acquisition 300, c’est-à-dire au niveau de l’appareil de mesure.
Dans l’exemple représenté, le module de traitement 300 comporte un processeur graphique 302 disposé au niveau de celui-ci. Le processeur graphique est configuré pour être utilisé par le module de traitement 300.
Dans l’exemple représenté, l’unité d’acquisition 500 comporte des moyens de capture d’image 506, dits à haute résolution, l’image générée par les premiers moyens de traitement 504 étant générée à partir de données capturées par les moyens de capture d’image 506 à haute résolution.
À titre d’exemple, les moyens de capture d’image haute résolution 506 comportent un objectif présentant une focale, dite longue, de 25 mm.
Toujours dans l’exemple représenté, l’unité d’acquisition 500 comporte des moyens de capture 508 de grandeurs physiques disposés au niveau du module d’acquisition 200 et configurés pour capter une grandeur physique et générer des données de capture, les premiers moyens de traitement 504 étant en outre configurés pour générer la première position à partir desdites données de capture.
À titre d’exemple, les moyens de capture 508 comprennent une centrale inertielle.
Dans le mode de réalisation décrit, les moyens de capture 508 comprennent des moyens de capture d’image, dits à faible résolution, les données de captures étant des images générées par les moyens de capture d’image. Les moyens de capture d’image à faible résolution sont configurés pour que les images générées comportent une capture de la totalité de l’élément à contrôler.
À titre d’exemple, les moyens de capture d’image à faible résolution comportent un objectif présentant une focale, dite courte, sensiblement égale à 7 mm.
En outre, les moyens de traitement disposés au niveau du module de traitement sont en outre configurés pour générer :
- des données de simulation d’une projection d’une maquette numérique de l’équipement à contrôler sur l’image haute résolution,
- des données d’un état de conformité de l’équipement à contrôler par rapport à la maquette numérique dudit équipement à contrôler.
Dans un second mode de réalisation illustré par la figure 2, d’un deuxième mode de réalisation d’un système 501 selon l’invention, l’unité d’acquisition 500 est intégrée dans le module d’acquisition 200 et l’unité de traitement 600 est intégrée dans le module de traitement 300.
Dans ce mode de réalisation, l’unité d’acquisition 500 ne comporte pas de module de communication 501 avec le module d’acquisition 200 puisqu’elle est intégrée dans le module d’acquisition 200 et l’unité de traitement 600 ne comporte pas de module de communication 601 puisqu’elle est intégrée dans le module de traitement 300.
Dans ce mode de réalisation, chaque module du dispositif selon l’invention peut être un module logiciel ou un module électronique utilisant des moyens de calcul tels qu’un calculateur ou un processeur, déjà présent sur le module d’acquisition ou le module de traitement.
De plus, les modules de communication 502, 602, peuvent être des modules existants au sein du module d’acquisition ou le module de traitement et qui sont agencés pour réaliser les opérations désirées.
Dans la configuration représentée sur la figure 3, le système selon l’invention 700 comporte une plateforme autonome 702 supportant un module de traitement 704 et un robot de type cobot 706, supporté par un mât 708 monté sur la plateforme autonome 702.
Plus précisément, l’extrémité du robot 706 est montée en translation et en rotation par rapport au mât 708, au moyen d’une platine montée sur des rails fixés sur le mat L’autre extrémité du robot 706 présente un effecteur logeant le module d’acquisition 710.
La mise en œuvre du procédé selon l’invention est réalisée par les étapes suivantes :
- un traitement, par les moyens de traitement disposés au niveau du module d’acquisition 710, pour générer une première position dudit module d’acquisition 710, et pour générer une image, dite haute résolution, de l’équipement à contrôler ;
- une transmission par les moyens de transmission, depuis le module d’acquisition 710 vers le module de traitement 704, de la première position et de l’image haute résolution,
- un traitement par les moyens de traitement, disposés au niveau dudit module de traitement 704, pour générer une deuxième position, à partir de ladite première position et de l’image haute résolution.
Selon une autre configuration possible, le module d’acquisition est une tablette numérique et le module de traitement est un ordinateur comportant une carte graphique.
Un opérateur utilise la tablette numérique pour enregistrer un flux vidéo qui est repris a posteriori par le module de traitement et retraité. La tablette numérique utilise alors des images à un faible niveau de résolution pour déterminer une première position d’elle-même. Il s’agit d’une approche pyramidale où l’image pleine résolution, captée par le module d’acquisition de haute résolution, est réduite sur plusieurs niveaux. Sur l’ordinateur de traitement, on utilise alors un niveau de pyramide plus élevé pour exploiter la pleine résolution.
On peut ainsi réaliser une première acquisition avec un moyen léger (tablette) puis réaliser un post traitement des résultats d’acquisition pour analyser la séquence avec une machine plus puissante qui permet à la fois de raffiner la localisation initiale estimée, mais également de faire des contrôles basés sur la vidéo.
Bien sûr, l’invention n’est pas limitée aux exemples qui viennent d’être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l’invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l’invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.

Claims

Revendications
1. Dispositif de localisation (400), par un module de traitement (300), d’un module d’acquisition (200) par rapport à un équipement à contrôler, comportant :
- des premiers moyens de traitement (504) disposés au niveau du module d’acquisition, configurés pour générer une première position dudit module d’acquisition, et pour générer une image, dite haute résolution, de l’équipement à contrôler ;
- des moyens de transmission (502 ; 602), depuis ledit module d’acquisition vers le module de traitement, de la première position et de l’image haute résolution,
- des deuxièmes moyens de traitement (404), disposés au niveau dudit module de traitement, configurés pour générer une deuxième position, à partir de ladite première position, et de l’image haute résolution.
2. Dispositif selon la revendication précédente, comportant en outre un processeur graphique (202) disposé au niveau dudit module de traitement (200).
3. Dispositif selon l’une quelconque des revendications précédentes, comportant en outre des moyens de capture d’image (506), dits à haute résolution, l’image générée par les premiers moyens de traitement (504) étant générée à partir de données capturées par lesdits moyens de capture d’image à haute résolution.
4. Dispositif selon la revendication précédente, dans lequel lesdits moyens de capture d’image à haute résolution (506) comportent un objectif présentant une focale, dite longue, comprise entre 18 mm et 50 mm, de préférence de 25 mm.
5. Dispositif selon l’une quelconque des revendications précédentes, comportant en outre des moyens de capture disposés au niveau du module d’acquisition (200) et configurés pour capter une grandeur physique et générer des données de capture, les premiers moyens de traitement (504) étant en outre configurés pour générer la première position à partir desdites données de capture.
6. Dispositif selon la revendication précédente, dans lequel les moyens de capture (508) comprennent une centrale inertielle.
7. Dispositif selon l’une quelconque des revendications précédentes, dans lequel les moyens de capture comprennent des moyens de capture d’image, dits à faible résolution, les données de captures étant des images générées par les moyens de capture d’image.
8. Dispositif selon la revendication précédente, dans lequel les moyens de captures d’images à faible résolution sont configurés pour que les images générées comportent une capture de la totalité de l’élément à contrôler.
9. Dispositif selon l’une quelconque des revendications 6 ou 7, dans lequel les moyens de capture d’image à faible résolution comportent un objectif présentant une focale, dite courte, comprise entre 4,5 mm et 10 mm, de préférence sensiblement égale à 7 mm.
10. Dispositif selon l’une quelconque des revendications précédentes, dans lequel les moyens de traitement (404) disposés au niveau du module de traitement (300) sont en outre configurés pour générer :
- des données de simulation d’une projection d’une maquette numérique de l’équipement à contrôler sur l’image haute résolution,
- des données d’un état de conformité de l’équipement à contrôler par rapport à la maquette numérique dudit équipement à contrôler.
11. Système (100) comportant :
- un module d’acquisition (200),
- un module de traitement (300),
- un dispositif de localisation (400), par le module de traitement, du module d’acquisition par rapport un équipement à contrôler selon l’une quelconque des revendications précédentes.
12. Système selon la revendication précédente, dans lequel le module d’acquisition est l’effecteur d’un robot, le module de traitement étant disposé au niveau du châssis du robot.
13. Système selon la revendication précédente, dans lequel le robot est de type cobot.
14. Système selon la revendication 1 1 , dans lequel le module d’acquisition est une tablette numérique.
15. Procédé de localisation, par un module de traitement, d’un module d’acquisition par rapport à un équipement à contrôler, comportant :
- un traitement, par des moyens de traitement disposés au niveau du module d’acquisition, pour générer une première position dudit module d’acquisition, et pour générer une image, dite haute résolution, de l’équipement à contrôler ;
- une transmission par des moyens de transmission, depuis ledit module d’acquisition vers le module de traitement, de la première position et de l’image haute résolution,
- un traitement par des moyens de traitement, disposés au niveau dudit module de traitement, pour générer une deuxième position, à partir de ladite première position et de l’image haute résolution.
16. Procédé selon la revendication précédente, dans lequel le traitement pour générer la deuxième position à partir de l’image haute résolution est réalisé en utilisant la totalité de ladite image haute résolution.
17. Procédé selon la revendication 15, dans lequel le traitement pour générer la deuxième position à partir de l’image haute résolution est réalisé à partir d’une sélection d’une partie, dite spécifique, de ladite image haute résolution.
18. Procédé selon l’une quelconque des revendications précédentes de procédé, comportant en outre un traitement supplémentaire, par les moyens de traitement disposés au niveau dudit module de traitement, pour générer une troisième position, à partir de la deuxième position et d’une maquette numérique de l’équipement à contrôler.
19. Procédé de contrôle, par un module de traitement, d’un équipement à contrôler à partir d’une image, dite haute résolution, dudit équipement à contrôler, acquise par un module d’acquisition, comportant les étapes d’un procédé de localisation selon l’une des revendications précédentes de procédé de localisation, et en outre :
- une simulation, par les moyens de traitement disposés au niveau du module de traitement, d’une projection d’une maquette numérique de l’équipement à contrôler sur l’image haute résolution,
- une obtention d’un état de conformité de l’équipement à contrôler par rapport à la maquette numérique dudit équipement à contrôler.
20. Procédé selon la revendication précédente, comportant en outre, entre l’étape de simulation et l’étape d’obtention d’un état conformité, une comparaison de l’image simulée avec une ou plusieurs images de l’équipement à contrôler.
21 . Procédé selon la revendication précédente, dans lequel une image de l’équipement à contrôler est acquise à partir de données capturées par des moyens de capture d’image, dits à faible résolution, disposés au niveau du module d’acquisition.
22. Procédé selon l’une quelconque des revendications 19 à 21 , dans lequel une image de l’équipement à contrôler est acquise à partir de l’image haute résolution.
EP19794606.4A 2018-09-21 2019-09-19 Dispositif, systeme et procede de localisation, par un module de traitement, d'un module d'acquisition par rapport a un equipement a controler Pending EP3853815A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1858575A FR3086436B1 (fr) 2018-09-21 2018-09-21 Dispositif, systeme et procede de localisation, par un module de traitement, d’un module d’acquisition par rapport a un equipement a controler
PCT/FR2019/052195 WO2020058641A1 (fr) 2018-09-21 2019-09-19 Dispositif, systeme et procede de localisation, par un module de traitement, d'un module d'acquisition par rapport a un equipement a controler

Publications (1)

Publication Number Publication Date
EP3853815A1 true EP3853815A1 (fr) 2021-07-28

Family

ID=63963253

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19794606.4A Pending EP3853815A1 (fr) 2018-09-21 2019-09-19 Dispositif, systeme et procede de localisation, par un module de traitement, d'un module d'acquisition par rapport a un equipement a controler

Country Status (5)

Country Link
US (1) US12390935B2 (fr)
EP (1) EP3853815A1 (fr)
CN (1) CN113261031A (fr)
FR (1) FR3086436B1 (fr)
WO (1) WO2020058641A1 (fr)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070110420A1 (en) * 2005-11-16 2007-05-17 Ramin Samadani Image capture system having an adjustable focal length and related method
JP5538667B2 (ja) * 2007-04-26 2014-07-02 キヤノン株式会社 位置姿勢計測装置及びその制御方法
GB201002973D0 (en) * 2010-02-23 2010-04-07 Airbus Operations Ltd Recording the location of a point of interest on an object
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
DE102012107153A1 (de) * 2012-08-03 2014-02-27 Hendrik Fehlis Vorrichtung und Verfahren zur Bestimmung der Eigenlage einer bildaufnehmenden Kamera
CN104898956B (zh) 2014-03-07 2019-10-29 联想(北京)有限公司 信息处理方法、输入设备和电子设备
FR3022527B1 (fr) * 2014-06-23 2017-12-01 Airbus Operations Sas Procede et dispositif pour la fabrication directe d'une piece sur une structure
US9892558B2 (en) * 2016-02-19 2018-02-13 The Boeing Company Methods for localization using geotagged photographs and three-dimensional visualization
EP3513238B1 (fr) * 2016-09-13 2024-06-26 Inscopix, Inc. Adaptateur pour imagerie microscopique
CN106529497A (zh) 2016-11-25 2017-03-22 浙江大华技术股份有限公司 一种图像采集设备的定位方法及装置
CN107491778B (zh) 2017-08-23 2020-07-03 众安信息技术服务有限公司 一种基于定位图像的智能设备屏幕提取方法和系统
JP2019150931A (ja) * 2018-03-05 2019-09-12 パナソニック株式会社 ロボットシステム、制御装置、及びロボット
US11084170B2 (en) * 2018-03-27 2021-08-10 Wipro Limited Collaborative robot and a method for protecting collaborative robot from hazardous events

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SENSOPART: "VISOR vision sensor - Pick & Place with Universal Robot (UR5)", 15 June 2016 (2016-06-15), XP093046228, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=9rDPeXzanh8&ab_channel=SensoPart> [retrieved on 20230511] *
SHIH CHING-LONG ET AL: "A Simple Robotic Eye-In-Hand Camera Positioning and Alignment Control Method Based on Parallelogram Features", ROBOTICS, vol. 7, no. 2, 18 June 2018 (2018-06-18), pages 31, XP093255211, ISSN: 2218-6581, DOI: 10.3390/robotics7020031 *

Also Published As

Publication number Publication date
US12390935B2 (en) 2025-08-19
FR3086436A1 (fr) 2020-03-27
US20210347056A1 (en) 2021-11-11
FR3086436B1 (fr) 2021-01-22
CN113261031A (zh) 2021-08-13
WO2020058641A1 (fr) 2020-03-26

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
EP4177839A1 (fr) Procédé de détermination de paramètres de calibration d&#39;un dispositif de prise de vue et produit programme d&#39;ordinateur associé
EP3853815A1 (fr) Dispositif, systeme et procede de localisation, par un module de traitement, d&#39;un module d&#39;acquisition par rapport a un equipement a controler
EP3070643A1 (fr) Procédé et système de reconnaissance d&#39;objets par analyse de signaux d&#39;image numérique d&#39;une scène
WO2014199085A1 (fr) Systemes de reperage de la position de la camera de tournage pour le tournage de films video
CN114689077A (zh) 基于车辆换电的车辆里程处理方法、系统、设备和介质
US9232132B1 (en) Light field image processing
EP0415494B1 (fr) Procédé et dispositif de traitement d&#39;images à estimation de mouvement améliorée
KR102920939B1 (ko) 배전설비의 검사 장치 및 그 방법
EP3170205A1 (fr) Dispositif de détection de mouvement
FR3167467A1 (fr) Procédé et dispositif d’apprentissage d’un modèle de prédiction de profondeur capable de traiter des objets dynamiques présents dans une scène.
CN116546188B (zh) 检测摄像模组焦距偏移状况的方法、装置、介质及设备
EP2877979B1 (fr) Methode monocamera de determination d&#39;une direction d&#39;un solide
US20250342608A1 (en) Image processing to measure absolute size and location of area of interest associated with object
FR2997926A1 (fr) Systeme et procede de controle automatique de la conformite de realisation d&#39;elements dans une structure d&#39;aeronef
FR3167468A1 (fr) Procédé et dispositif d’apprentissage d’un modèle de prédiction de profondeur assisté par un modèle de flux de scène.
FR3066303A1 (fr) Procede de calibration d&#39;un dispositif de surveillance d&#39;un conducteur dans un vehicule
WO2025149719A1 (fr) Procédé et dispositif de détermination d&#39;une profondeur par un système de vision stéréoscopique embarqué dans un véhicule
FR3158381A1 (fr) Procédé et dispositif de détermination d’une profondeur d’un pixel d’une image par un réseau de neurones associé à un système de vision embarqué dans un véhicule
FR3153676A1 (fr) Procédé et dispositif de détermination d’une profondeur par un système de vision auto-supervisé.
FR3154837A1 (fr) Procédé et dispositif de détermination d’une profondeur par un système de vision stéréoscopique auto-supervisé.
FR3161784A1 (fr) Procédé et dispositif d’apprentissage d’un modèle de prédiction de profondeur à partir de bandes verticales d’images.
FR3167233A1 (fr) Procédé et dispositif d’apprentissage d’un modèle de prédiction de positions de points tridimensionnels associé à un système de vision.
FR3147649A1 (fr) Procédé et dispositif de détermination de données représentatives d’au moins un objet dynamique dans une scène par un système de vision monoscopique.
EP4184439A1 (fr) Procédé de détermination de coordonnées d&#39;un point d&#39;un élément d&#39;intérêt dans le monde réel en fonction de coordonnées dudit point dans une image

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210318

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: DASSAULT SYSTEMES

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20250310