FR3069691A1 - Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur - Google Patents

Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur Download PDF

Info

Publication number
FR3069691A1
FR3069691A1 FR1757056A FR1757056A FR3069691A1 FR 3069691 A1 FR3069691 A1 FR 3069691A1 FR 1757056 A FR1757056 A FR 1757056A FR 1757056 A FR1757056 A FR 1757056A FR 3069691 A1 FR3069691 A1 FR 3069691A1
Authority
FR
France
Prior art keywords
robot
camera
reference frame
passage
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR1757056A
Other languages
English (en)
Other versions
FR3069691B1 (fr
Inventor
Louis Marcel Marie Maillard Samuel
Yann LE GUILLOUX
Benoit Bazin
Vincent Pierre Lasjaunias Benoit
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Safran SA
Original Assignee
Safran SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Safran SA filed Critical Safran SA
Priority to FR1757056A priority Critical patent/FR3069691B1/fr
Publication of FR3069691A1 publication Critical patent/FR3069691A1/fr
Application granted granted Critical
Publication of FR3069691B1 publication Critical patent/FR3069691B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Abstract

Procédé de détermination des position et orientation d'une caméra 2 associée à un repère caméra Roptique_réel, embarquée sur un bras 4 d'un robot 3 et associé à un repère robot RTCP0 centré sur un point TCP0, comportant les étapes de : fourniture d'une mire de calibration 5 définissant un motif 7 et portant trois points 8a, 8b et 8c définissant un repère mire Rmire ; apprentissage des points par le robot ; acquisition, d'un nombre prédéfini d'images du motif selon des orientations et des positions spatiales diverses du bras; calcul global à partir de ces images d'un modèle de distorsion et pour chaque image : correction de la distorsion, calcul des matrices de passages du repère caméra vers le repère mire et du repère mire vers le repère robot, de la matrice de passage du repère caméra vers le repère robot à partir des deux matrices précédentes; calcul d'une moyenne des matrices de passage du repère caméra vers le repère robot.

Description

Procédé de détermination de la position et de l’orientation d’un capteur optique matriciel par rapport à un robot porteur
La présente invention concerne le domaine de la robotique et plus particulièrement celui des robots équipés de caméras.
II est connu d’équiper un robot industriel d’une (ou plusieurs) de caméra(s) équipée(s) d’un capteur optique matriciel. Comme pour d’autres effecteurs équipant le robot, il est nécessaire de connaître avec précision la position et l’orientation réelles de la caméra, qui sert de repère outil au calculateur au robot et lui permet de positionner correctement la caméra pour les besoins des opérations (généralement de contrôle) à effectuer.
Un exemple d’application courant est celui du contrôle non destructif par thermographie d’une pièce (par ex. une tôle) ayant une surface complexe. Sur des pièces de grandes dimensions, il est alors nécessaire de réaliser plusieurs acquisitions optiques effectuées depuis différents points de vue à l’aide d’une caméra infrarouge positionnée sur le bras d’un robot.
Les images issues de la caméra peuvent, à l’aide des informations disponibles sur la position et l’orientation du robot pour chaque point de mesure, être projetées sur un modèle virtuel tridimensionnel de la pièce. Mais les procédures ordinaires ne fournissent qu’une projection très approximative des images sur le modèle virtuel tridimensionnel de pièce. De fait, les différentes images projetées ne se superposent pas parfaitement au modèle virtuel de pièce et on observe des discontinuités entre elles.
Ces discontinuités sont dues notamment :
à une distorsion des images, due aux caractéristiques optiques de la caméra, à une maîtrise insuffisante du champ de vision de la caméra dans l’environnement de la pièce.
Les effets de la distorsion peuvent être compensés grâce à une calibration intrinsèque de la caméra permettant de calculer les paramètres de distorsion de l’image.
Afin de limiter les décalages entre les images, une solution théorique consiste à déterminer avec précision les dimensions de l’outillage permettant de fixer la caméra au robot afin d’obtenir une meilleure maîtrise de son positionnement. Cependant, la faible tolérance de l’ensemble au positionnement angulaire rend sa mise en œuvre complexe et augmente drastiquement le coût des outillages pour un effet incertain.
Trois repères mathématiques peuvent être définis :
Center Point ou Point Central lvlCr0’ WH pviiu 1VI10 d’Outil) positionné au voisinage (Tool d’une extrémité du bras du robot, un repère lié à la caméra, un le repère noté Roptique_réeb centré sur immatériel correspondant au centre optique de la caméra, un repère lié à la mire, noté Rmire.
Si les repères RTCPo et Rmire sont connus des opérateurs,
Roptique_réei ne l’est pas. Le centre optique de la caméra, qui ne correspond pas à un point matériel particulier, ne peut être déterminé ni par un calcul simple, ni au moyen d’une chaîne de côtes.
La plupart des solutions visant à déterminer le repère Roptique_réei pour basées sur une calibration extrinsèque de une prise de vue donnée, sont la caméra.
Le repère robot RTCPo est données constructeur, mais ce mire RmireOn peut tenter de combler ce défaut en utilisant des nappes laser. Mais cette méthode nécessite la mise en place de moyens matériels supplémentaires.
L’objectif de la présente invention est de proposer une solution permettant de déterminer de manière simple le repère caméra Roptique_réei par rapport au repère robot RTCp0D’un point de vue mathématique, l’objectif est de définir une méthode de détermination d’une transformation géométrique (sous forme d’une matrice de passage) permettant de passer du repère caméra RoPtique_réei (inconnu) au le repère robot RTCp0, ou réciproquement.
Ainsi la présente invention propose, en premier lieu, un procédé de détermination de la position et de l’orientation d’une caméra associée à un repère caméra Ropttque_réeb embarquée sur un robot porteur pourvu d’un bras et associé à un repère robot RTCp0 centré sur un point TCP0 positionné au bout du bras du robot, par rapport à ce robot, comportant les étapes de :
fourniture d’une mire de calibration pourvue d’une face frontale définissant un motif géométrique, cette mire portant également, du côté de la face frontale, au moins trois points qui, par apprentissage avec le robot, définissent mécaniquement un repère mire Rmire associé à la mire ;
apprentissage des points de la mire par le robot ;
acquisition, au moyen de la caméra, d’un nombre prédéfini d’images de la mire selon des orientations et des positions spatiales diverses du bras du robot ;
calcul, à partir de toutes ces images de la mire, des paramètres de calibration intrinsèque et extrinsèque de la caméra, pour chaque image :
O calcul de la matrice de passage du repère Caméra Roptique_réel
vers le repère mire R mire î
o calcul de la matrice de passage du repère mire Rmire vers le
repère robot RTCp0,
o calcul de la matrice de passage du repère Caméra R optique _réel
vers repère robot RTCPo à partir des deux matrices de passages précédemment calculées ;
calcul d’une moyenne des matrices de Loptique_réei vers le repère robot Rtcp0. l’orientation
Ce procédé relation entre le
0’ de la caméra par rapport au robot, permet repère position et fiable et la
Caméra Roptique_réel ®l une telle relation est le de a fortiori de façon précise la position du repère robot RTCPo. pouvoir déterminer centre la caméra.
Selon une caractéristique particulière, calcul de l’étape de moyenne des matrices de passages du repère caméra Roptique_réei vers la le repère robot RTCPo comprend les opérations de :
passage des matrices de passage du repère caméra Roptique_réei vers le repère robot RTCPo dans un espace ou algèbre de Lie, plus spécifiquement, cette étape pouvant consister à effectuer un passage des matrices de passage du groupe de Lie vers un espace tangent (identifiable avec l’algèbre de Lie) calcul, dans cette algèbre, de la moyenne de ces matrices de passage, calcul de la matrice du groupe de Lie correspondant à la moyenne calculée à l’étape précédente, en particulier, le passage inverse de l’espace tangent au groupe de Lie permettant de fournir le résultat.
La présente invention propose en deuxième lieu un procédé de contrôle de la forme d’une pièce réelle comportant les étapes de : fourniture d’un modèle virtuel tridimensionnel de cette pièce, fourniture d’une caméra associée à un repère caméra Roptique_réei montée sur un bras d’un robot associé à un repère robot RTCPo, détermination de la matrice de passage du repère caméra Roptique_réei vers le repère robot RTCPo à partir du procédé précédemment décrit, acquisition de plusieurs images d’une pièce réelle au moyen de la caméra, projection des images sur le modèle virtuel tridimensionnel de la pièce au moyen de la matrice de passage du repère caméra RoPtique_réel Vers Ιθ ΓθρθΓΘ robot Rtcp0Dans une réalisation particulière de l’invention, la mire de calibration peut comprendre une plaque de faible (ou forte, respectivement) émissivité portant un réseau de plots de forte (ou faible, respectivement) émissivité, de préférence régulièrement répartis sur la plaque.
L’invention sera mieux comprise et d’autres détails, caractéristiques et avantages de l’invention apparaîtront à la lecture de la description suivante faite à titre d’exemple non limitatif en référence aux dessins dans lesquels :
La FIG.1 est une illustration d’un dispositif utilisé pour l’acquisition des images montrant les repères robot RTcp0> mire Rmtre et caméra Roptique_ réel >
La FIG.2 est une illustration d’une mire de calibration ;
La FIG.3 est une illustration du motif géométrique de la mire prévue dans le cas de l’utilisation d’une caméra infrarouge;
La FIG.4 est un diagramme fonctionnel illustrant la méthodologie utilisée par le premier procédé proposé par la présente invention.
La FIG.5 est une illustration d’un dispositif utilisé pour l’acquisition d’images issue d’une pièce réelle dans le cadre du procédé de contrôle de la forme de la pièce.
La FIG.6 illustre l’étape de projection d’image d’une pièce réelle sur le modèle tridimensionnel de la pièce.
Nous nous référons dans un premier temps à la FIG.1 illustrant le dispositif 1 utilisé pour l’acquisition des images. Ce dispositif 1 comprend une caméra 2 associée à un repère caméra RopttqUe_réei> un robot porteur 3 pourvu d’un bras 4 et associé à un repère robot RTCp0 centré sur un point TCP0 positionné au bout du bras 4 du robot 3, et d’une mire de calibration
5. Le repère RTCp0 est une donnée fournisseur décrivant la cinématique du robot 3 concerné. Le repère caméra Roptique_réei est centré sur le centre optique C de la caméra 2 et sa direction z est la direction de visée réelle de la caméra 2. La caméra 2 est fixée au bras 4 du robot 3 au moyen d’un outillage O prévu à cet effet.
On souhaite déterminer la position et de l’orientation de la caméra 2 associée au repère caméra Ropttque_réeb embarquée sur le robot porteur 3 dont le bras 4 est associé au repère robot RTCp0A cet effet, on effectue les opérations suivantes :
fourniture d’une mire de calibration 5 (voir FIG.2) pourvue d’une face frontale 6 définissant un motif géométrique 7 (voir FIG.3), cette mire 5 portant, du côté de la face frontale 6, au moins trois points ici formés par des pointes 8a, Rmire associé à la mire 5;
apprentissage des pointes ce qui définit Rmire/RTcp0', acquisition, au moyen de d’images de la mire 5 selon spatiales diverses du bras 4 du calcul, à partir de toutes les images de la mire, des paramètres de calibration intrinsèque et extrinsèque pour chaque image :
o calcul d’une matrice de passage
8a, la
8b et 8c caméra de d’un nombre prédéfini des orientations et des positions robot 3;
2, de du la caméra 2, repère RoPtique_réei vers le repère mire Rmire, o calcul d’une matrice de passage du repère mire Rmire vers le repère robot RTCp0, o calcul d’une matrice de passage du repère caméra Roptique_réei vers le repère robot RTCp0 à partir des deux matrices de passages précédemment calculées ;
calcul d’une moyenne des matrices de passage du repère caméra Roptique_réei vers Ιθ repère robot RTCp0, définissant la position et l’orientation de la caméra 2 par rapport au robot 3.
L’étape de calcul de la moyenne des matrices de passages du repère caméra Roptique_réei vers Ιθ repère robot RTCPo est avantageusement réalisée dans un espace de Lie. En effet les matrices de passage sont des matrices de transformation rigide, de taille 4X4 (comprenant 16 éléments). Il est connu que ces matrices sont des entités du groupe spécial euclidien SE(3). De façon générale, la moyenne d’entités appartenant au groupe spécial euclidien SE(3) n’est pas une entité de ce groupe. La moyenne des entités de ce groupe ne peut donc pas être calculée par application d’une formule linéaire. Cependant, SE(3)est un groupe de Lie auquel correspond I’ algèbre de Lie se(3). Une algèbre de Lie se(3) est un espace vectoriel, dans lequel la moyenne linéaire t est une opération interne. Donc, pour réaliser la moyenne des matrices de passage du repère caméra Roptique_réei vers Ιθ repère robot RTCPo, il est avantageux de passer par l’algèbre de Lie se(3). La moyenne calculée appartient donc à cet espace. Une opération de conversion de cette moyenne dans un le groupe de Lie SE(3) permet d’exprimer ladite moyenne sous forme d’une matrice 4x4.
La mire de calibration 5 comprend un motif régulier à détecter par un algorithme de traitement d’image. Ce motif à détecter peut prendre plusieurs formes en fonction de la caméra 2 utilisée : damier, réseau de lignes horizontales ou verticales, réseau de points, etc. et être composée de plusieurs matériaux (papier, plastique, métal, etc.). Dans le contexte d’une application employant une caméra infrarouge présenté ici à titre d’exemple non limitatif, le motif géométrique 7 est différent du damier rencontré classiquement.
La mire 5 illustrée est un exemple de mire qui peut être utilisée dans le cas d’un contrôle par caméra infrarouge. Elle comprend une plaque de faible émissivité à laquelle est superposé un réseau de plots P de forte émissivité régulièrement espacés de sorte à former le motif géométrique illustré en FIG.3. Le réseau de plots P comprend un nombre M de colonnes et un nombre N de lignes. Il est également possible d’utiliser un motif formé à partir d’une plaque de forte émissivité avec un réseau (MxN) de plots P de faible émissivité.
L’invention ne se limitant pas aux contrôles par caméra infrarouge, il est possible d’utiliser une mire formée par un motif géométrique sur un fond quelconque de telle sorte qu’il existe un contraste entre le fond et le motif.
Le repère mire Rmire est défini comme un repère objet où l’objet considéré est la mire 5. Ce repère mire Rmire est coplanaire à la face frontale 7 de la mire 5 et centré sur un point du motif géométrique situé à équidistance des pointes 8b et 8a.
L’étape d’apprentissage des pointes 8a, 8b et 8c de la mire 5 par le robot 3 est une procédure classique employée dans le domaine de la robotique permettant de faire apprendre au robot 3 le lien entre le repère objet (ici le repère mire Rmire) et le repère robot RTCp0- Cette procédure peut, à titre d’exemple faire appel à un système de pointes/contrepointes : une contrepointe est positionnée au bout du bras 4 du robot 3 et vient palper au moins trois pointes permettant de définir le repère objet. Dans le cas de la présente invention, la contrepointe vient palper les trois pointes 8a, 8b et 8c permettant de décrire le repère mire Rmire, de manière à apprendre la relation spatiale entre ce repère mire Rmtre et le repère robot RTCp0- Le palpage des trois pointes permet de générer un plan dont la position est exprimée dans le repère robot RTCp0 en utilisant un modèle cinématique inverse. Chaque image correspond ainsi à une configuration d’acquisition correspondant à une orientation et à une position spatiale connue du bras 4 du robot 3.
Les caractéristiques optiques de la caméra 2 sont calculées au moyen d’une calibration intrinsèque et d’une calibration extrinsèque. Il s’agit d’une procédure classique proposée par exemple dans la boîte à outils (toolbox) de Jean Yves Bouguet, accessible en ligne par le lien indiqué ci-après : https://www. vision.caltech.edu/bouciueti/calib doc/.
Les paramètres intrinsèques de la caméra 2 sont généralement la distance focale f, les facteurs d’agrandissement ku et kv de l’image, les coordonnées (cu,cv) du centre optique C de la caméra 2 dans le repère image (non représenté). L’obtention des paramètres de distorsion et la correction de la distorsion d’une image peut être réalisée par des approches connues dans la littérature, pouvant être paramétriques (ex. Flexible Caméra Calibration by Viewing a Plane from Unknown Orientations - Zhang, ICCV99, or A Four-step Caméra Calibration Procedure with Implicit Image Correction - Heikkil and Silven, CVPR97).
Les paramètres extrinsèques de la caméra 2 sont une matrice de rotation (3x3) et les composantes (tx,ty,tz) de la translation permettant de passer du repère lié à l’objet (ici le repère mire Rmire) au repère caméra Roptiqueréei- Ainsi la matrice de passage MRmire^Roptiqueréel du repère mire Rmire vers Ιθ repère caméra ROpttque_réeb défini par les paramètres extrinsèques de la caméra 2, est connue pour chaque configuration d’acquisition.
Au cours de chaque acquisition, la mire 5 est fixe par rapport à un repère de référence Rmonde· D’une configuration d’acquisition à une autre, c’est la position du bras 4 du robot 3 par rapport à ce repère Rmonde Qui varie. Comme la caméra 2 est positionnée au bout du bras 4 du robot 3, la position du point TCP0 dans le repère de référence Rmonde est connue pour chaque configuration d’acquisition réalisée. Par ailleurs, l’apprentissage du repère mire Rmire par le robot 3 permet de connaître la relation entre le repère mire Rmire et le repère robot RTCp0- La relation entre les deux repères et la position du point TCP0 dans le repère de référence Rmonde permettent de déduire, pour chaque configuration d’acquisition, une matrice de passage du repère mire Rmire vers le repère robot RTCPo notée MRmire^RTCPo.
Ainsi, pour chaque configuration d’acquisition, les matrices de passage MR . ^R , et MR . ^,R^O sont déterminées. II est alors possible, par combinaison des matrices et comme illustré dans la FIG.4, de calculer la matrice de passage du repère caméra Roptique_réei vers Ιθ repère robot RTCPo, noté MRoptiqueréel^RTCPg et illustré par l’équation (1) :
optique _réel^^T CP Ό ^mire^^TCPO' ^optique _réel~* Rmire ' '
On compte autant de matrices de passage MRoptique réel^RrcPg obtenues que de configurations d’acquisition. La matrice de passage finale Mf Roptique réei^RTCp0 ®st obtenue en calculant la moyenne de ces matrices de passage MRoptiqueréel^RTCPg, via l’algèbre de Lie, comme explicité précédemment, ladite matrice de passage finale définissant ainsi la position et l’orientation de la caméra 2 par rapport au robot 3.
Il est proposé, en deuxième lieu, un procédé de contrôle de la forme d’une pièce réelle 9, qui comprend les étapes suivantes :
fourniture d’un modèle virtuel tridimensionnel 10 de cette pièce 9, fourniture d’une caméra 2 associée à un repère caméra Roptique_réei montée sur un bras 4 d’un robot 3 associé à un repère robot RTCp0, détermination de la matrice de passage du repère caméra Roptique_réei vers le repère robot RTCp0 à partir du procédé précédemment décrit, acquisition de plusieurs images d’une pièce réelle 9 au moyen de la caméra 2, comme illustré sur la FIG.5, projection des images sur le modèle virtuel tridimensionnel 10 de la pièce réelle au moyen de la matrice de passage du repère caméra RoPtique_réel Vers Ιθ ΓθρθΓΘ robot RpcP0Le nombre d’images de la pièce 9 acquises lors de ce procédé varie en fonction des détails à contrôler sur la pièce. A titre d’exemple non limitatif, la FIG.6 illustre la projection de deux éléments 10a et 10b obtenus partir de deux images acquises de la pièce 9, sur son modèle tridimensionnel 10.
Ce deuxième procédé permet, par l’utilisation du premier procédé, d’obtenir une projection des images de la pièce à contrôler en réduisant les possibles erreurs de recalage avec le modèle virtuel tridimensionnel. De plus l’étape de projection des images sur un modèle 3D peut ainsi être réalisée quelle que soit l’orientation de la caméra 2 par rapport à l’outillage O et quelle que soit l’orientation de la caméra 2 par rapport au robot 3.
Le domaine de la robotique manque de méthodes simples et fiables pour déterminer la position du centre optique d’une caméra embarquée sur un robot lorsque ce centre optique est un point immatériel. Le premier procédé proposé par la présente invention est une combinaison innovante de deux techniques classiques (la calibration de la caméra 2 et l’utilisation d’une mire de calibration 5 pour l’apprentissage d’un repère objet par le robot 3), donc à bas coût.
Ce procédé permet de bien maîtriser une chaîne de mesure en prenant en compte les caractéristiques de la caméra 2 utilisée et la position du centre optique de la caméra 2 (définissant la position de son angle de vue) dans l’environnement d’un robot 3 industriel. Cette connaissance permet d’atteindre une incertitude acceptable pour pallier le manque de précision du robot 3 et autorise l’utilisation d’outillages de support plus simples et de coût réduit.
Par ailleurs, la connaissance du repère Roptique_réei permet avantageusement de générer des trajectoires du robot 3 prenant en compte des caractéristiques réelles de la caméra 2. La trajectoire du robot 3 permet généralement d’obtenir des images recouvrant ensemble toute la surface 10 de la pièce 9 à analyser.
Les procédés présentés peuvent être appliqués quelle que soit la caméra 2 utilisée (dans le visible ou l’infrarouge) sous réserve d’utiliser une mire de calibration 5 adaptée au type de caméra et à l’application.

Claims (4)

  1. REVENDICATIONS
    1. Procédé de détermination de la position et de l’orientation d’une caméra (2) associée à un repère caméra Roptique_réei> embarquée sur un robot porteur (3) pourvu d’un bras (4) et associé à un repère robot RTCPo centré sur un point TCP0 positionné au bout du bras (4) du robot (3), par rapport à ce robot (3), comportant les étapes de :
    fourniture d’une mire de calibration (5) pourvue d’une face frontale (6) définissant un motif géométrique (7), cette mire (5) portant, du côté de la face frontale (6)r au moins trois points (8a), (8b) et (8c) qui définissent un repère mire Rmire associé à la mire (5);
    apprentissage des points (8a), (8b) et (8c) de la mire (5) par le robot (3) ;
    acquisition, au moyen de la caméra (3), d’un nombre prédéfini d’images de la mire (5) selon des orientations et des positions spatiales diverses du bras (4) du robot (3) ;
    calcul, à partir de toutes les images de la mire (5), des paramètres de calibration intrinsèque et extrinsèque de la caméra, pour chaque image :
    o calcul de la matrice de passage du repère RoPtique_réel vers le repère mire Rmire, o calcul de la matrice de passage du repère mire Rmire vers le repère robot RTcp0> o calcul de la matrice de passage du repère Caméra Roptique_réel
    vers le repère robot RTCp0 à partir des deux matrices de passages précédemment calculées ;
    calcul d’une moyenne des matrices de passage du repère caméra Roptique.réei vers Ιθ repère RTCPo, définissant la position et l’orientation de la caméra (2) par rapport au robot (3).
  2. 2. Procédé selon la revendication 1, caractérisé en ce que l’étape de calcul de la moyenne des matrices de passages du repère Roptîque_réei vers Je repère robot RTcp0 comprend les opérations de :
    passage des matrices de passage du repère caméra RoptiqUe_réei vers le repère robot RTCp0 dans l’algèbre de Lie, calcul, dans cette algèbre, de la moyenne de de ces matrices de passage, calcul de la matrice du groupe de Lie correspondant à la moyenne calculée.
  3. 3. Procédé de contrôle de la forme d’une pièce réelle (9) comportant les étapes de :
    - fourniture d’un modèle virtuel tridimensionnel (10) de cette pièce (9);
    - fourniture d’une caméra (2) associée à un repère caméra Roptique_réei montée sur un bras (4) d’un robot (3) associé à un repère robot Rtcp0 !
    - détermination de la matrice de passage du repère caméra Roptique_réei vers 'e repère robot RTCp0 à partir du procédé de l’une quelconque des revendications 1 à 2 ;
    - acquisition de plusieurs images d’une pièce réelle (9) au moyen de la caméra (2);
    projection des images sur le modèle virtuel tridimensionnel (10) de la pièce réelle (9) au moyen de la matrice de passage du repère caméra Roptique_réei vers le repère robot RTcp0·
  4. 4. Procédé selon l’une des revendications précédentes, dans lequel la mire (5) de calibration comprend une plaque de faible ou forte, respectivement émissivité portant un réseau de plots (P) de forte ou faible, respectivement émissivité, de préférence régulièrement répartis sur la plaque.
FR1757056A 2017-07-25 2017-07-25 Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur Active FR3069691B1 (fr)

Priority Applications (1)

Application Number Priority Date Filing Date Title
FR1757056A FR3069691B1 (fr) 2017-07-25 2017-07-25 Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1757056A FR3069691B1 (fr) 2017-07-25 2017-07-25 Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur
FR1757056 2017-07-25

Publications (2)

Publication Number Publication Date
FR3069691A1 true FR3069691A1 (fr) 2019-02-01
FR3069691B1 FR3069691B1 (fr) 2020-07-10

Family

ID=60302231

Family Applications (1)

Application Number Title Priority Date Filing Date
FR1757056A Active FR3069691B1 (fr) 2017-07-25 2017-07-25 Procede de determination de la position et de l'orientation d'un capteur optique matriciel par rapport a un robot porteur

Country Status (1)

Country Link
FR (1) FR3069691B1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114683269A (zh) * 2020-12-31 2022-07-01 北京极智嘉科技股份有限公司 一种机器人及机器人的定位方法
CN116148259A (zh) * 2022-12-28 2023-05-23 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质
WO2024079429A1 (fr) * 2022-10-13 2024-04-18 Inbolt Procédé de détermination d'une position d'une zone d'un outil

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280472A1 (en) * 2010-05-14 2011-11-17 Wallack Aaron S System and method for robust calibration between a machine vision system and a robot

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ETHAN EADE: "Lie Groups for 2D and 3D Transformations", 6 September 2013 (2013-09-06), pages 1 - 24, XP055452085, Retrieved from the Internet <URL:https://web.archive.org/web/20130906005654if_/http://ethaneade.com/lie.pdf> [retrieved on 20180216] *
JINTAO WANG ET AL: "A New Hybrid Calibration Method for Extrinsic Camera Parameters and Hand-Eye Transformation", MECHATRONICS AND AUTOMATION, 2005 IEEE INTERNATIONAL CONFERENCE NIAGARA FALLS, ON, CANADA JULY 29-AUG 1, 2005, PISCATAWAY, NJ, USA,IEEE, vol. 4, 29 July 2005 (2005-07-29), pages 1981 - 1985, XP010913578, ISBN: 978-0-7803-9044-7 *
JURI PLATONOV ET AL: "A mobile markerless AR system for maintenance and repair", MIXED AND AUGMENTED REALITY, 2006. ISMAR 2006. IEEE/ACM INTERNATIONAL SYMPOSIUM ON, 22 October 2006 (2006-10-22), pages 105 - 108, XP058033345, ISBN: 978-1-4244-0650-0, DOI: 10.1109/ISMAR.2006.297800 *
LAGELA S ET AL: "Calibration and verification of thermographic cameras for geometric measurements", INFRARED PHYSICS AND TECHNOLOGY, vol. 54, no. 2, 1 March 2011 (2011-03-01), pages 92 - 99, XP028173500, ISSN: 1350-4495, [retrieved on 20110127], DOI: 10.1016/J.INFRARED.2011.01.002 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114683269A (zh) * 2020-12-31 2022-07-01 北京极智嘉科技股份有限公司 一种机器人及机器人的定位方法
CN114683269B (zh) * 2020-12-31 2024-02-27 北京极智嘉科技股份有限公司 一种机器人及机器人的定位方法
WO2024079429A1 (fr) * 2022-10-13 2024-04-18 Inbolt Procédé de détermination d'une position d'une zone d'un outil
FR3140979A1 (fr) * 2022-10-13 2024-04-19 Inbolt Procédé de détermination d’une position d’une zone d’un outil
CN116148259A (zh) * 2022-12-28 2023-05-23 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质
CN116148259B (zh) * 2022-12-28 2024-03-22 广州市斯睿特智能科技有限公司 车辆缺陷定位系统、方法、装置及存储介质

Also Published As

Publication number Publication date
FR3069691B1 (fr) 2020-07-10

Similar Documents

Publication Publication Date Title
Ahn et al. Analysis and noise modeling of the intel realsense d435 for mobile robots
US10931924B2 (en) Method for the generation of a correction model of a camera for the correction of an aberration
US8744133B1 (en) Methods and systems for locating visible differences on an object
CN101821578B (zh) 非接触式测量装置和方法
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
US20110288806A1 (en) Calibration of a profile measuring system
Wang et al. Development of structured light 3D-scanner with high spatial resolution and its applications for additive manufacturing quality assurance
US9137526B2 (en) Image enhancement via calibrated lens simulation
WO2011156919A1 (fr) Acquisition d&#39;images topographiques 3d de marques d&#39;outil utilisant un procédé stéréophotométrique non-linéaire
US20110010122A1 (en) Calibrating separately located cameras with a double sided visible calibration target for ic device testing handlers
FR3069691A1 (fr) Procede de determination de la position et de l&#39;orientation d&#39;un capteur optique matriciel par rapport a un robot porteur
JP2021527220A (ja) 空間内の複雑な表面上の点を特定するための方法および設備
Liu et al. Robust camera calibration by optimal localization of spatial control points
JP6237032B2 (ja) 色と三次元形状の計測方法及び装置
US20230070281A1 (en) Methods and systems of generating camera models for camera calibration
Oniga et al. Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results.
Lyngby et al. Using a robotic arm for measuring BRDFs
Ma et al. Center extraction deviation correction of SMD-LEDs in the target-based vision measurement system
Lari et al. Multi-camera system calibration with built-in relative orientation constraints (part 2) automation, implementation, and experimental results
Lanzetta et al. Integrated visual nanometric three-dimensional positioning and inspection in the automated assembly of AFM probe arrays
JP5280918B2 (ja) 形状測定装置
FR2884781A1 (fr) Methode et dispositif de calibrage de camera
TWI692614B (zh) 膜厚測定裝置、基板檢查裝置、膜厚測定方法及基板檢查方法
EP1363463B1 (fr) Procédé et dispositif pour étalonner un banc de prise de vues stéréoscopiques
JP4046282B2 (ja) レンジファインダ

Legal Events

Date Code Title Description
PLSC Publication of the preliminary search report

Effective date: 20190201

PLFP Fee payment

Year of fee payment: 3

PLFP Fee payment

Year of fee payment: 4

PLFP Fee payment

Year of fee payment: 5

PLFP Fee payment

Year of fee payment: 6

PLFP Fee payment

Year of fee payment: 7