DE10355283A1 - Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren - Google Patents

Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren Download PDF

Info

Publication number
DE10355283A1
DE10355283A1 DE10355283A DE10355283A DE10355283A1 DE 10355283 A1 DE10355283 A1 DE 10355283A1 DE 10355283 A DE10355283 A DE 10355283A DE 10355283 A DE10355283 A DE 10355283A DE 10355283 A1 DE10355283 A1 DE 10355283A1
Authority
DE
Germany
Prior art keywords
projection
image
corresponding points
shape descriptor
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10355283A
Other languages
English (en)
Inventor
Kyoung-Sig Roh
Young Son
Joo-Young Kwak
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of DE10355283A1 publication Critical patent/DE10355283A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39045—Camera on end effector detects reference pattern
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector

Abstract

Die Erfindung bezieht sich auf ein Hand/Auge-Kalibrierverfahren und auf ein hierzu einsetzbares Verfahren zum Extrahieren von sich entsprechenden Punkten zwischen Bildern. DOLLAR A Erfindungsgemäß umfasst das Hand/Auge-Kalibrierverfahren folgende Schritte: Berechnen eines projektionsinvarianten Formdeskriptors aus wenigstens zwei Bildern, die aufeinanderfolgend durch eine auf einer Roboterhand angebrachte Kamera aufgenommen werden, Extrahieren entsprechender Punkte zwischen den Bildern durch Verwenden des projektionsinvarianten Formdeskriptors, Berechnen einer Rotationsmatrix für die entsprechenden Punkte aus der Translation des Roboters, Berechnen des Translationsvektors für die entsprechenden Punkte aus Translation und Rotation des Roboters und Auffinden einer Relation zwischen der Roboterhand und der Kamera, basierend auf der in Schritt c berechneten Rotationsmatrix und dem in Schritt d berechneten Translationsvektor. DOLLAR A Verwendung in der Visual-Servoing-Technik.

Description

  • Die Erfindung bezieht sich auf ein Hand/Auge-Kalibrierverfahren und auf ein hierzu einsetzbares Verfahren zum Extrahieren von sich entsprechenden Punkten zwischen Bildern.
  • Eine Hand/Auge-Kalibrierung bezieht sich auf eine Prozedur zur Bestimmung der räumlichen Transformation zwischen einer Roboterhand und einer auf der Roboterhand angebrachten Kamera, um ein gewünschtes Bild unter Verwendung einer visuellen Beobachtungssteuertechnik (Visual Servoing) in einem Roboter-Koordinatensystem zu erhalten und den Roboter zu steuern. Eines der Hand/Auge-Kalibrierverfahren, das am häufigsten verwendet wird, besteht darin, eine vorgegebene Bewegungsinformation bereitzustellen und eine gewünschte Information von Bildtransformationen zu erhalten, die basierend auf der bereitgestellten Bewegungsinformation erzeugt werden. Um Transformationsinformation der Roboterhand leicht und korrekt zu extrahieren, ist es in diesem Verfahren sehr wichtig, entsprechende Punkte zwischen transformierten Bildern korrekt auszuwählen.
    •
  • Der Erfindung liegt daher als technisches Problem die Bereitstellung eines neuartigen Hand/Auge-Kalibrierverfahrens und eines zugehörigen Punktextraktionsverfahrens zugrunde, die insbesondere vergleichsweise unempfindlich gegenüber Rauschen und Kamera-Nichtlinearitäten sind.
  • Die Erfindung löst dieses Problem durch die Bereitstellung eines Hand/Auge-Kalibrierverfahrens mit den Merkmalen des Anspruchs 1 und eines Punktextraktionsverfahrens mit den Merkmalen des Anspruchs 12. Diese erfindungsgemäßen Verfahren verwenden einen projektionsinvarianten Formdeskriptor eines zweidimensionalen Bildes, wodurch sie nicht wesentlich von Rauschen und Kamera-Nichtlinearitäten beeinflusst werden.
  • Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.
    •
  • Vorteilhafte Ausführungsformen der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend beschrieben. Hierbei zeigen:
  • 1 eine Ansicht einer Roboterhand, auf der eine Kamera angebracht ist, wobei die Roboterhand unter Verwendung visueller Beobachtung gesteuert wird,
  • 2 eine Ansicht eines Erscheinungsbildes der Kamera von 1,
  • 3 eine Ansicht eines Lochkameramodells der Kamera von 2,
  • 4 eine Ansicht von Koordinatensystemen einer Objektebene und einer Bildebene sowie ein Projektionsergebnis der Bildebene auf die Objektebene,
  • 5 eine Ansicht, die Bedingungen zeigt, um einer Linearität der Kamera von 2 zu genügen,
  • 6 eine Ansicht, die eine Beziehung für ein Koordinatensystem einer Objektebene, ein Koordinatensystem auf einer Bildebene und ein Weltkoordinatensystem einer Roboterhand darstellt,
  • 7 eine Ansicht zu Erläuterung eines Verfahrens zur Gewinnung eines Projektionsinvarianten Formdeskriptors von einem zweidimensionalen Bild,
  • 8 eine Ansicht, die ein Beispiel für einen Projektionsinvarianten Formdeskriptor zeigt, der aus einer zweidimensionalen Form von 7 berechnet ist,
  • 9 ein Flussdiagramm eines Verfahrens zur Hand/Auge-Kalibrierung gemäß einer Ausführungsform der Erfindung und
  • 10 ein detailliertes Flussdiagramm eines Verfahrens zur Gewinnung entsprechender Punkte zwischen einem vorigen Bild und einem darauffolgenden Bild, wie in 9 gezeigt.
  • Die Erfindung wird nunmehr ausführlicher unter Bezugnahme auf die begleitenden Zeichnungen beschrieben. In den Zeichnungen beziehen sich gleiche Bezugszeichen überall auf gleiche Elemente.
  • 1 ist eine Ansicht einer Roboterhand 100, auf der eine Kamera 110 mit ladungsgekoppeltem Bauelement (CCD) angebracht ist, um eine visuelle Beobachtungssteuertechnik (Visual Servoing) anzuwenden. Bezugnehmend auf 1 ist wenigstens die eine CCD-Kamera 110 an einem Ende der Roboterhand 100 angebracht, die als ein Industrieroboter verwendet wird.
  • 2 ist eine Ansicht eines Erscheinungsbildes der CCD-Kamera 110 von 1. Bezugnehmend auf 2 besteht die CCD-Kamera 110 aus einem Hauptkörper 111, einer CCD-Anordnung 112 und einer Linse 114. Die Linse 114 weist die gleiche Funktion auf wie jene einer kristallinen Linse eines menschlichen Auges. Die CCD-Anordnung 112 entspricht einer Bildebene, auf die ein Bild geworfen wird, das durch die Linse 114 der CCD-Kamera 110 projiziert wird, und welche die gleiche Funktion aufweist wie jene der Netzhaut eines menschlichen Auges. Wenn ein Fokus der Linse 114 auf unendlich gesetzt wird, bezeichnet die Länge von einem Mittelpunkt der Linse 114 bis zu der CCD-Anordnung 112 eine Brennweite F, und das Bild sieht abhängig von der Brennweite F anders aus. Die Brennweite F ist ein wichtiger Parameter, der zur Abschätzung des Abstands zwischen der CCD-Kamera 110 und einem Objekt notwendig ist.
  • 3 ist eine Ansicht eines Lochkameramodells der CCD-Kamera 110 von 2, und 4 ist eine Ansicht von Koordinatensystemen einer Objektebene und einer Bildebene und von einem Projektionsergebnis der Bildebene auf die Objektebene. Bezugnehmend auf die 3 und 4 kann eine projektive Transformation für ein Bild in dem Lochkameramodell wie folgt ausgedrückt werden:
    Figure 00040001
    wobei (u, v, 1) Koordinaten eines Punktes q bezeichnen, der auf der Bildebene definiert ist, (X, Y, Z, 1) Koordinaten eines Punktes P in einem Objekt-Koordinatensystem bezeichnen und tij einen ij-Faktor einer Transformationsmatrix zwischen einer Objektebene und der Bildebene bezeichnet.
  • Hierbei wird, wenn ein Objekt auf eine zweidimensionale Ebene projiziert wird, d.h. Z = 0 Gleichung 1 wie folgt transformiert:
    Figure 00050001
  • Wie in den Gleichungen 1 und 2 gezeigt, wird der Prozess zur Gewinnung eines Bildes in einer nichtlinearen Umgebung durchgeführt. Es wird jedoch eine linearisierte projektive Transformation auf ein zweidimensionales Bild, das durch die CCD-Kamera 110 erhalten wurde, anstatt einer nichtlinearen projektiven Transformation wie in Gleichung 2 angewendet.
  • 5 ist eine Ansicht, die Bedingungen zeigt, um ein lineares Modell der CCD-Kamera von 2 zu erhalten. Wenn ein Abstand S von der CCD-Kamera 110 zu dem Objekt ausreichend länger als eine Abmessung So des Objekts ist, wird, wie in 5 gezeigt, die nichtlineare projektive Transformation aus Gleichung 2 wie folgt umgewandelt:
    Figure 00050002
  • Ein Fourier-Deskriptor ist ein linearisierter Formdeskriptor, der den Gleichungen 1, 2 und 3 genügt. Der Fourier-Deskriptor repräsentiert ein Bild des Objekts mit Fourier-Koeffizienten, die durch eine zweidimensionale Fourier-Transformation für die Bildkontur eines zweidimensionalen Objekts erhalten werden. Dieses Verfahren kann jedoch nur auf einen Fall angewendet werden, bei dem die Linearität einer Kamera garantiert ist, das heißt, bei dem eine Distanz zwischen der CCD-Kamera 110 und dem Objekt zu lang ist. Daher wird in der Erfindung zur Überwindung dieser Einschränkung das von der CCD-Kamera 110 erhaltene Bild durch Verwendung eines projektionsinvarianten Formdeskriptors I analysiert. Als Ergebnis kann selbst in einem Fall, in dem die Linearität der Kamera nicht garantiert ist, das heißt die Distanz zwischen der CCD-Kamera 110 und dem Objekt nicht lang ist, das Bild ohne Beeinflussung durch Effekte, die beim Aufnehmen von Bildern auftreten können, wie Rauschen, Schrägwinkel oder die Nichtlinearität der CCD-Kamera 110, korrekt analysiert werden.
  • 6 ist eine Ansicht, die eine Beziehung für ein Koordinatensystem einer Objektebene, ein Koordinatensystem auf einer Bildebene und ein Weltkoordinatensystem einer Roboterhand darstellt. Bezugnehmend auf 6 entspricht ein Koordinatensystem der CCD-Kamera 110 einem Weltkoordinatensystem der Roboterhand 100 nach einer Rotation und einer Translation. Somit ist eine Roboterhand/Auge-Kalibrierung ein Prozess des Auffindens der Elemente einer Rotationsmatrix R, die eine Richtung der CCD-Kamera 110 angibt, und von Komponenten eines Translationsvektors t, der einen Ort der CCD-Kamera 110 in dem Weltkoordinatensystem angibt.
  • In dem Hand/Auge-Kalibrierverfahren gemäß der Erfindung wird das Lochkameramodell verwendet, bei dem eine Verzerrung der Linse 114 oder eine Fehljustierung einer Lichtachse ignoriert werden kann. Die Beziehungen zwischen der Roboterhand 100 von 6 und der CCD-Kamera 110 können wie folgt ausgedrückt werden:
    Figure 00060001
    wobei Xh das Weltkoordinatensystem der Roboterhand 100 bezeichnet, d.h. Xc bezeichnet ein Koordinatensystem der CCD-Kamera 110, R bezeichnet eine Rotationsmatrix, und t bezeichnet einen Translationsvektor.
  • Die Beziehung zwischen der CCD-Kamera 110 und dem Bild kann wie folgt ausgedrückt werden:
    Figure 00070001
    wobei u und u0 X-Koordinaten auf einer Bildebene bezeichnen und ν und ν0 Y-Koordinaten auf einer Bildebene bezeichnen. Außerdem bezeichnet f eine Brennweite zwischen der Linse 114 und der CCD-Anordnung 112, und Sx sowie Sy bezeichnen Skalierungsfaktoren der CCD-Kamera 110. Die Brennweite f und die Skalierungsfaktoren Sx und Sy sind charakteristische Werte, welche Originalcharakteristika der CCD-Kamera 110 anzeigen und gemäß einer Spezifikation der CCD-Kamera 110 festgelegt sind.
  • Wenn eine dem Benutzer bereits bekannte Roboterbewegungsinformation XP1 = Rp1Xp2 + tp1 in Gleichung 4 eingesetzt wird, wird die folgende Gleichung erhalten:
    Figure 00070002
  • Die Bewegung Xc1 der CCD-Kamera 110 kann durch Verwendung von Gleichung 6 folgendermaßen ausgedrückt werden:
    Figure 00070003
  • Wenn die Rotationsmatrix aus Gleichung 7 herausgenommen wird und lediglich eine Translation betrachtet wird, kann die Rotationsmatrix R folgendermaßen ausgedrückt werden: tc1 = R–1tp1 (8)
  • Gleichung 8 kann mittels Substituieren von tp1 durch drei Bewegungsvektoren des Roboters tp1, tp2 und tp3 folgendermaßen ausgedrückt werden: (tc'1, tc'2, tc'3) = R–1(tp1, tp2, tp3) (9)
  • Hierbei sind Bildvektoren, die den drei Bewegungsvektoren der Roboterhand tp1, tp2 und tp3 entsprechen, OF1, OF2 und OF3, und jeder Bildvektor ist durch die folgende Gleichung 10 definiert:
    Figure 00080001
    wobei fx =
    Figure 00080002
    und fy =
    Figure 00080003
    . Intrinsische Parameter können folgendermaßen berechnet werden:
    Figure 00080004
  • Gleichung 11 kann folgendermaßen ausgedrückt werden: u0(u2 – u3) + s1(ν2 – ν3) – s2ν1(ν2 – ν3) = u1(u2 – u3) u0(u1 – u3) + s1(ν1 – ν3) – s2ν2(ν1 – ν3) = u2(u1 – u3) (12) wobei s1 =
    Figure 00090001
    und s2 =
    Figure 00090002
    . Gleichung 12 kann folgendermaßen in einer Matrixform ausgedrückt werden:
    Figure 00090003
  • Unter Beachtung von Rotation und Translation der Roboterhand 100 kann der Translationsvektor t zwischen der Roboterhand 100 und der CCD-Kamera 110 folgendermaßen ausgedrückt werden: tc1 = R–1(Rp 1t + tp 4 – t) t = (Rp1 – I)–1(Rtc1 – tp1) (14)wobei (Rp1,tp1) die dem Benutzer bereits bekannte Bewegungsinformation bezeichnet und R eine Rotationsmatrix bezeichnet, die aus drei Rotationen der Roboterhand 100 berechnet wird. Dabei bezeichnet tc1 einen Bildvektor, und I bezeichnet einen projektionsinvarianten Formdeskriptor, der aus einem zweidimensionalen Bild berechnet wird. Um die Präzision der Hand/Auge-Kalibrierung zu verbessern, ist es sehr wichtig, korrekt Punkte zu setzen, die Koordinaten entsprechen, die innerhalb des Gesichtsfeldes der CCD-Kamera 110 vorgegeben sind. Daher werden in der Erfindung entsprechende Punkte mittels der CCD-Kamera 110 durch Verwenden des projektionsinvarianten Formdeskriptors erhalten, der unter einer nichtlinearen Transformation nicht variiert. Dann werden die entsprechenden Punkte als Kalibirierungsziele verwendet, um die Hand/Auge-Kalibrierung durchzuführen. Der Projektionsinvariante Formdeskriptor I, der als ein fundamentaler Faktor der Hand/Auge-Kalibrierung verwendet wird, kann folgendermaßen definiert werden:
    Figure 00100001
    wobei P Punkte des Objekts bezeichnet und q entsprechende Punkte des Bildes bezeichnet, wie in 3 gezeigt. Die Determinante det(·) in Gleichung 15 kann folgendermaßen definiert werden:
    Figure 00100002
  • Der in den Gleichungen 15 und 16 ausgedrückte Projektionsinvariante Formdeskriptor I repräsentiert Information, die unter einer nichtlinearen Transformation nicht variiert, wie in Gleichung 2 gezeigt, und nicht variiert, obwohl Bilder, die von der CCD-Kamera 110 erhalten werden, transformiert werden.
  • 7 ist eine Ansicht zur Erläuterung eines Verfahrens zur Gewinnung eines Projektionsinvarianten Formdeskriptors aus einem zweidimensionalen Bild. Bezugnehmend auf 7 wird ein Umriss des zweidimensionalen Bildes einer Zeichnung extrahiert, und der extrahierte Umriss wird in fünf ähnliche Intervalle unterteilt. Es werden Koordinaten von Punkten (X1(1), X1(k), X2(1), X2(k), X3(1), X3(k), X4(1), X4(k), X5(1), X5(k)) erhalten, die jedes Intervall bilden, und der Projektionsinvariante Formdeskriptor wird berechnet. Die Punkte (X1(1), X1(k), X2(1), X2(k), X3(1), X3(k), X4(1), X4(k), X5(1), X5(k)) werden in Gleichung 15 rekursiv eingesetzt, wobei kontinuierlich um 1/N mal der Länge des Umrisses entlang des Umrisses weitergegangen wird, bis jeder Punkt seine Anfangsposition erreicht.
    Figure 00110001
    und Y-Achsenkoordinaten als Funktion des Umrisses bezeichnen.
  • Ein Beispiel für einen aus einer zweidimensionalen Form von 7 berechneten projektionsinvarianten Formdeskriptor ist in 8 gezeigt. Das Berechnungsergebnis des projektionsinvarianten Formdeskriptors I von 8, d.h. die Projektionsinvariante, hält ihren intrinsischen Wert aufrecht, auch wenn die Form des Bildes, das von der CCD-Kamera 110 erhalten wird, transformiert wird. Außerdem wird der projektionsinvariante Formdeskriptor I durch Rauschen und Schrägwinkel nicht beeinflusst. Somit kann die Präzision der Kalibrierung verbessert werden, wenn die Projektionsinvariante für die Hand/Auge-Kalibrierung verwendet wird.
  • Entsprechende Punkte der Bilder, die durch die CCD-Kamera 110 durch Verwenden des projektionsinvarianten Formdeskriptors I erhalten werden, können folgendermaßen extrahiert werden.
  • Um entsprechende Punkte der Bilder zu extrahieren, müssen Fehler in dem projektionsinvarianten Formdeskriptor I definiert werden. In der Erfindung werden die Fehler unter Verwendung eines Gauss'schen Rauschmodells definiert. Um das Gauss'sche Rauschmodell zu verwenden, kann Gleichung 17 folgendermaßen ausgedrückt werden.
    Figure 00120001
    wobei xi = (xi,yi,1)T oder I = I(x1,y1,x2,y2,x3,y3,x4,y4,x5,y5).
  • Wenn (xi, yi) wahre Daten sind und (X ~ i, y ~ i) ein rauschbehafteter Beobachtungsparameter ist, kann hierbei der Rausch-Beobachtungsparameter folgendermaßen ausgedrückt werden: x ~i = xi + ξi, y ~ i = yi + ηi (19)wobei Rauschterme ξi und ηi verteilte Rauschterme sind und ihr Mittelwert und ihre Varianz 0 bzw. σ 2 / i sind. Die Rauschterme können folgendermaßen ausgedrückt werden:
    Figure 00120002
  • Nach Beobachtung von rauschbehafteten Messungen auf dem Bild kann eine rauschbehaftete Invariante folgendermaßen ausgedrückt werden. II ~((x ~1,y ~1,x ~2,y ~2,x ~3,y ~3,x ~4,y ~4,x ~5,y ~5) (21)
  • sUm einen Erwartungswert und eine Varianz der rauschbehafteten Invariante I ~ zu berechnen, kann die rauschbehaftete Invariante I ~ unter Verwendung von Taylor-Reihen mit (x1, y1, x2, y2, x3, y3, x4, y4, x5, y5) ausgedrückt werden.
  • Figure 00130001
  • Hierbei kann die Varianz folgendermaßen ausgedrückt werden:
    Figure 00130002
  • Ein Schwellenwert der rauschbehafteten Invariante kann folgendermaßen definiert werden:
    Figure 00130003
  • Die entsprechenden Punkte werden den Bildern, die von der CCD-Kamera 110 der Roboterhand 100 erhalten werden, durch wiederholte Berechung des projektionsinvarianten Formdeskriptors entnommen, und Grenzdaten zwischen einem vorigen Bild und einem darauffolgenden Bild, die aufeinanderfolgend durch die CCD-Kamera 110 erhalten werden, können folgendermaßen ausgedrückt werden:
    Figure 00130004
    wobei nIn und nMo die Anzahl von Punkten in einer Grenze zwischen einer Szene und einem Modell bezeichnen. Die Grenzdaten werden durch Unterabtastung von N Daten dargestellt, und diese Unterabtastung kann folgendermaßen ausgedrückt werden:
    Figure 00130005
    wobei
    Figure 00140001
    und N die Anzahl von Punkten auf einer normierten Kontur bezeichnet.
  • Dann wird ein projektionsinvarianter Formdeskriptor unter Verwendung von q In / i und q Mo / i, die in Gleichung 26 definiert sind, berechnet, wenn ein Wert der folgenden Gleichung minimiert ist:
    Figure 00140002
    wobei A, b, c, und d Varianten bezeichnen, die von einer Transformation zwischen dem vorigen Bild und dem darauffolgenden Bild definiert sind, und folgendermaßen ausgedrückt werden können:
    Figure 00140003
  • Die Gewichtung wi von Gleichung 27 wird durch die in Gleichung 23 definierte Varianz folgendermaßen berechnet:
    Figure 00140004
  • Die projektionsinvarianten Formdeskriptoren können durch die Gleichungen 27 bis 30 folgendermaßen minimiert werden: P = (QTQ)–1QTH (31)
  • Hierbei sind P = (s1, s'2, s'4, s5, s'3, s'6, s'7, s'8)T,
    Figure 00150001
  • Nach Minimierung der projektionsinvarianten Formdeskriptoren durch Verwendung von Gleichung 31 wird das durch die CCD-Kamera 110 erhaltene folgende Bild in ein voriges Bild transformiert. Diese Transformation kann folgendermaßen ausgedrückt werden:
    Figure 00150002
    wobei A, b, c und d eine varianzdefinierte Transformation zwischen dem vorigen Bild und dem darauffolgenden Bild bezeichnen.
  • Nach Beendigung der Transformation zwischen dem vorigen Bild und dem darauffolgenden Bild wird das Verhältnis des Abstands zwischen Grenzdaten vor der Transformation zu dem Abstand zwischen Grenzdaten nach der Transformation, d.h. τ2(i)', durch Verwenden der folgenden Gleichung berechnet, und dann wird die Länge zwischen Daten durch Verwenden des Verhältnisses zurückgesetzt.
  • Figure 00150003
  • Durch Verwenden des mittels Gleichung 33 berechneten Verhältnisses τ2(i)' kann das darauffolgende Bild folgendermaßen erneut abgetastet werden:
    Figure 00160001
  • Um Fehler zwischen dem vorigen Bild und dem darauffolgenden Bild innerhalb eines vorgegebenen Umfangs zu berücksichtigen, werden danach die Gleichungen 29 bis 34 wiederholt. Die Fehler werden durch Fehler der entsprechenden Punkte und Ähnlichkeiten zwischen den Projektionsinvarianten Formdeskriptoren (Im, Ii) der Grenzdaten ausgedrückt. Ein Ähnlichkeitswert der Projektionsinvarianten Formdeskriptoren (Im, Ii) der Grenzdaten kann folgendermaßen ausgedrückt werden:
    Figure 00160002
  • Wenn der maximale Wert der Ähnlichkeitswerte größer als ein vorgegebener Schwellenwert ist, wird festgelegt, dass die entsprechenden Punkte des vorigen Bildes und des darauffolgenden Bildes gleich zueinander sind. Der Wert ΔI in Gleichung 35 und der vorgegebene Schwellenwert werden gemäß einer Umgebung, auf welche die Erfindung angewendet wird, und einer erforderlichen Präzision ausgewählt.
  • 9 ist ein Flussdiagramm eines Verfahrens zur Hand/Auge-Kalibrierung gemäß einer bevorzugten Ausführungsform der Erfindung. Bezugnehmend auf 9 beinhaltet das Hand/Auge-Kalibrierverfahren gemäß der Erfindung die Berechnung eines Projektionsinvarianten Formdeskriptors I aus einem zweidimensionalen Bild (Schritt 210). Dann werden entsprechende Punkte zwischen einem vorigen Bild und einem darauffolgenden Bild, die aufeinanderfolgend durch die CCD-Kamera 110 erhalten werden, durch Verwenden des berechneten Projektionsinvarianten Formdeskriptors I extrahiert (Schritt 220). Die extrahierten ent sprechenden Punkte werden als Ziele verwendet, um die Hand/Auge-Kalibrierung durchzuführen.
  • Dann wird eine Rotationsmatrix R für eine Koordinate, d.h. die extrahierenden entsprechenden Punkte, aus einer Translation der Roboterhand 100 berechnet (Schritt 230). Hierbei wird die Rotationsmatrix R durch Gleichung 8 berechnet. Ein Translationsvektor t für die Koordinate, d.h. die extrahierten entsprechenden Punkte, wird aus Translation und Rotation der Roboterhand 100 berechnet (Schritt 240). Hierbei wird der Translationsvektor t durch Gleichung 14 berechnet. Nach Beendigung der Schritte 230 und 240 wird die Hand/Auge-Kalibrierung beendet (Schritt 250), die eine Beziehung zwischen der Roboterhand 100 und der CCD-Kamera 110 definiert, das heißt ein Berechnungsergebnis von Xh = RXc + t gewinnt. Hierbei bezeichnet Xh ein Koordinatensystem der Roboterhand 100 und Xc bezeichnet ein Koordinatensystem der auf der Roboterhand 100 angebrachten CCD-Kamera 110.
  • 10 ist ein detailliertes Flussdiagramm eines Verfahrens zur Gewinnung entsprechender Punkte zwischen einem vorigen Bild und einem darauffolgenden Bild, wie in 9 gezeigt. Im Allgemeinen ist ein Kalibrierungsziel erforderlich, das fein organisiert ist, um die Hand/Auge-Kalibrierung präzise durchzuführen. Somit werden, wie in 10 der Erfindung gezeigt, entsprechende Punkte aufeinanderfolgender Bilder, die durch die CCD-Kamera 110 erhalten werden, durch Verwenden des Projektionsinvarianten Formdeskriptors I extrahiert, der nicht durch Nichtlinearität oder Rauschen der CCD-Kamera 110 beeinflusst wird, und der Projektionsinvariante Formdeskriptor I wird als Kalibrierungsziel verwendet.
  • Um die Hand/Auge-Kalibrierung präzise durchzuführen, werden Fehler des Projektionsinvarianten Formdeskriptors I von Bildern definiert (Schritt 2200), und eine rauschbehaftete Invariante wird durch Analysie ren eines Rauschmaßes der Bilder berechnet (Schritt 2210). Dann wird ein Schwellenwert gemäß der in Schritt 2210 berechneten rauschbehafteten Invariante berechnet (Schritt 2220).
  • Grenzdaten eines vorigen Bildes und eines darauffolgenden Bildes, die durch die CCD-Kamera 110 erhalten werden, werden extrahiert (Schritt 2230). Die extrahierten Grenzdaten werden durch Unterabtasten von N Daten dargestellt (Schritt 2240). Dann wird ein projektionsinvarianter Formdeskriptor gemäß Gleichung 31 minimiert (Schritt 2250), und das darauffolgende Bild wird in Reaktion auf den minimierten projektionsinvarianten Formdeskriptor in ein voriges Bild transformiert (Schritt 2260). Danach wird der Abstand zwischen Grenzdaten durch Verwenden des Verhältnisses des Abstands zwischen Grenzdaten vor der Transformation zu dem Abstand zwischen Grenzdaten nach der Transformation zurückgesetzt (Schritt 2270).
  • Nach dem Zurücksetzen des Abstands zwischen den Grenzdaten in Schritt 2270 werden Ähnlichkeiten zwischen den Grenzdaten des vorigen Bildes und des darauffolgenden Bildes aufgesucht (Schritt 2280), und entsprechende Punkte zwischen dem vorigen Bild und dem darauffolgenden Bild werden unter Verwendung der gefundenen Ähnlichkeiten. extrahiert (Schritt 2290).
  • Das Hand/Auge-Kalibrierverfahren gemäß der Erfindung extrahiert entsprechende Punkte zwischen dem vorigen Bild und dem darauffolgenden Bild unter Verwendung des projektionsinvarianten Formdeskriptors I. Somit ist es möglich, die Hand/Auge-Kalibrierung präzise durchzuführen, ohne durch Rauschen oder Nichtlinearität der Kamera beeinflusst zu werden.
  • In der Erfindung wird das Hand/Auge-Kalibrierverfahren auf die Roboterhand angewendet. Das Hand/Auge-Kalibrierverfahren kann jedoch auf verschiedene Arten von visuellen Beobachtungssteuervorrichtungen, d.h. Visual-Servoing-Geräten, angewendet werden, die Bewegungen eines Objekts unter Verwendung von Bildern steuern, die durch wenigstens eine Kamera aufgenommen werden.
  • Die Erfindung kann als ein computerlesbarer Code in einem computerlesbaren Medium ausgeführt werden. Das computerlesbare Medium beinhaltet alle Arten von Aufzeichnungsvorrichtungen, in denen computerlesbare Daten gespeichert sind. Das computerlesbare Medium beinhaltet ROMs, RAMs, CD-ROMs, Magnetbänder, Disketten, optische Datenspeichervorrichtungen und Trägerwellen, wie Übertragungen über das Internet. Außerdem kann das computerlesbare Medium auf Computersysteme verteilt sein, die über ein Netzwerk verbunden sind, und kann als computerlesbarer Code gespeichert und ausgeführt sein.

Claims (15)

  1. Hand/Auge-Kalibrierverfahren, gekennzeichnet durch folgende Schritte: (a) Berechnen eines projektionsinvarianten Formdeskriptors aus wenigstens zwei Bildern, die aufeinanderfolgend durch eine auf einer Roboterhand angebrachte Kamera aufgenommen werden, (b) Extrahieren entsprechender Punkte zwischen den Bildern durch Verwenden des projektionsinvarianten Formdeskriptors, (c) Berechnen einer Rotationsmatrix für die entsprechenden Punkte aus der Translation des Roboters, (d) Berechnen des Translationsvektors für die entsprechenden Punkte aus Translation und Rotation des Roboters und (e) Auffinden einer Relation zwischen der Roboterhand und der Kamera basierend auf der in Schritt c berechneten Rotationsmatrix und dem in Schritt d berechneten Translationsvektor.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die entsprechenden Punkte als Kalibrierungsziele verwendet werden, um eine Hand/Auge-Kalibrierung durchzuführen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Rotationsmatrix R einen Wert aufweist, der durch tc1 = R–1tp1 berechnet wird, wobei tc1 ein Bildvektor ist und tp1 eine Bewegungsinformation der Roboterhand ist.
  4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Translationsvektor t durch den Ausdruck t = (Rp1 – 1)–1(Rtc1 – tp1) berechnet wird, wobei R eine Rotationsmatrix bezeichnet, tc1 einen Bildvektor bezeichnet, (Rp1, tp1) eine Bewegungsinformation bezeichnet, die dem Benutzer bereits bekannt ist, und I einen projektionsinvarianten Formdeskriptor für die entsprechenden Punkte bezeichnet.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass ein Koordinatensystem der Roboterhand durch Multiplizieren eines Koordinatensystems der Kamera mit der Rotationsmatrix und Hinzufügen des Translationsvektors zu einem Resultat der Multiplikation berechnet wird.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass der Projektionsinvariante Formdeskriptor berechnet wird durch
    Figure 00210001
    wobei P Punkte des Objekts bezeichnet, q Punkte des Bildes entsprechend den Punkten des Objekts P bezeichnet und det(.) definiert ist als:
    Figure 00210002
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Schritt a durch Dividieren einer Kontur der zweidimensionalen Bilder in N Intervalle, Berechnen einer Koordinate für jeden Punkt, der das jeweilige Intervall bildet, und Wiederholen der Berechnung einer Projektionsinvarianten für die Koordinate gegeben ist, während die Koordinate um 1/N mal einer Länge der Kontur bewegt wird, bis die Koordinate einer Anfangsstelle jedes Intervalls entspricht.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass der projektionsinvariante Formdeskriptor für jedes der N Intervalle berechnet wird durch:
    Figure 00220001
    wobei 1 ≤ k ≤ N, X(k) und Y(k) eine X- und Y-Koordinatenachsenfunktion bezeichnen und
    Figure 00220002
  9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass der Schritt b des Weiteren umfasst: (b-1) Definieren von Fehlern für die projektionsinvarianten Formdeskriptoren und Berechnen einer rauschbehafteten Invarianz, (b-2) Berechnen eines Schwellenwerts, der zum Setzen entsprechender Punkte gemäß der rauschbehafteten Invarianz zu verwenden ist, (b-3) Extrahieren von Grenzdaten aus den Bildern und Darstellen der extrahierten Grenzdaten durch Unterabtastung von N Datenwerten, (b-4) Minimieren des projektionsinvarianten Formdeskriptors, (b-5) Transformieren des darauffolgenden Bildes in ein voriges Bild gemäß dem minimierten projektionsinvarianten Formdeskriptor, (b-6) Zurücksetzen der Distanz zwischen den Grenzdaten unter Berücksichtigung des Verhältnisses der Distanz zwischen Grenzdaten vor der Transformation zu der Distanz zwischen Grenzdaten nach der Transformation und (b-7) Auffinden von Ähnlichkeiten zwischen den Grenzdaten und Extrahieren von entsprechenden Punkten zwischen dem vorigen Bild und dem darauffolgenden Bild.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Fehler durch Verwendung eines Gauss'schen Rauschmodells definiert werden.
  11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Schritte b-4 bis b-6 wiederholt werden, bis die Fehler innerhalb eines vorgegebenen Umfangs liegen.
  12. Verfahren zum Extrahieren entsprechender Punkte zwischen Bildern, gekennzeichnet durch folgende Schritte: (a) Definieren von Fehlern für einen Projektionsinvarianten Formdeskriptor für ein zweidimensionales Bild von wenigstens zwei Bildern, die in einem vorgegebenen Intervall erhalten werden und Berechnen einer rauschbehafteten Invarianz, (b) Berechnen eines Schwellenwerts, der zum Setzen entsprechender Punkte gemäß der rauschbehafteten Invarianz verwendet wird, (c) Extrahieren von Grenzdaten aus den Bildern und Darstellen der extrahierten Grenzdaten durch Unterabtastung von N Daten, (d) Minimieren des Projektionsinvarianten Formdeskriptors, (e) Transformieren eines darauffolgenden Bildes in ein vorheriges Bild gemäß dem minimierten Projektionsinvarianten Formdeskriptor, (f) Zurücksetzen der Distanz zwischen den Grenzdaten unter Berücksichtigung des Verhältnisses der Distanz zwischen den Grenzdaten vor der Transformation zu der Distanz zwischen den Grenzdaten nach der Transformation und (g) Auffinden von Ähnlichkeiten zwischen den Grenzdaten und Extrahieren entsprechender Punkte zwischen dem vorherigen Bild und dem darauffolgenden Bild.
  13. Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Fehler durch Verwenden eines Gauss'schen Rauschmodells definiert werden.
  14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Schritte d bis f wiederholt werden, bis die Fehler innerhalb eines vorgegebenen Umfangs liegen.
  15. Computerlesbares Medium, dadurch gekennzeichnet, dass darauf ein Computerprogramm zum Ausführen eines Verfahrens nach einem der Ansprüche 1 bis 14 installiert ist.
DE10355283A 2002-11-21 2003-11-18 Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren Withdrawn DE10355283A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2002-72695 2002-11-21
KR10-2002-0072695A KR100468857B1 (ko) 2002-11-21 2002-11-21 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법

Publications (1)

Publication Number Publication Date
DE10355283A1 true DE10355283A1 (de) 2004-06-17

Family

ID=36263152

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10355283A Withdrawn DE10355283A1 (de) 2002-11-21 2003-11-18 Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren

Country Status (4)

Country Link
US (2) US7019825B2 (de)
KR (1) KR100468857B1 (de)
DE (1) DE10355283A1 (de)
FR (1) FR2847696A1 (de)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006005958A1 (de) * 2006-02-08 2007-08-16 Kuka Roboter Gmbh Verfahren zum Erzeugen eines Umgebungsbildes
EP2728374A1 (de) 2012-10-30 2014-05-07 Technische Universität Darmstadt Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
DE102021211185A1 (de) 2021-10-05 2023-04-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623685B2 (en) * 2004-08-20 2009-11-24 The Regents Of The University Of Colorado Biometric signatures and identification through the use of projective invariants
WO2006090671A1 (ja) * 2005-02-23 2006-08-31 Matsushita Electric Works, Ltd. 粒状物体の検査方法及びその方法を実施する検査装置
CN1330466C (zh) * 2005-04-21 2007-08-08 上海交通大学 基于运动选择的机器人在线手眼标定方法
US7684025B2 (en) * 2006-10-19 2010-03-23 Xerox Corporation Auto-adjust of imaging module mechanical setup
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
WO2013111229A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
WO2014161603A1 (en) 2013-04-05 2014-10-09 Abb Technology Ltd A robot system and method for calibration
US9652833B2 (en) * 2014-03-18 2017-05-16 Honeywell International, Inc. Point spread function estimation for motion invariant images
CN104864807B (zh) * 2015-04-10 2017-11-10 深圳大学 一种基于主动双目视觉的机械手手眼标定方法
CN104842371B (zh) * 2015-05-29 2016-08-24 山东大学 一种基于非最小化的最优化算法的机器人手眼标定方法
CN105215972A (zh) * 2015-09-18 2016-01-06 中国科学院合肥物质科学研究院 一种破拆机器人手眼协调定位装置及方法
US10076842B2 (en) * 2016-09-28 2018-09-18 Cognex Corporation Simultaneous kinematic and hand-eye calibration
CN106910223B (zh) * 2016-11-02 2019-07-09 北京信息科技大学 一种基于凸松弛全局优化算法的机器人手眼标定方法
CN106695796B (zh) * 2016-11-02 2019-04-05 北京信息科技大学 基于ransac的便携式激光扫描测量臂手眼标定方法
KR102576842B1 (ko) 2017-01-04 2023-09-12 삼성전자주식회사 핸드-아이 캘리브레이션을 수행하는 로봇 및 전자 장치
CN106920261B (zh) * 2017-03-02 2019-09-03 江南大学 一种机器人手眼静态标定方法
CN107053177B (zh) * 2017-04-13 2020-07-17 北京邮电大学 改进的基于筛选和最小二乘法的手眼标定算法
CN110998235B (zh) * 2017-07-28 2024-03-01 高通股份有限公司 在机器人式运载工具中的图像输出调整
CN107993227B (zh) * 2017-12-15 2020-07-24 深圳先进技术研究院 一种获取3d腹腔镜手眼矩阵的方法和装置
CN108393887B (zh) * 2018-01-31 2019-03-19 湖北工业大学 一种用于工件手眼标定方法
CN108748146A (zh) * 2018-05-30 2018-11-06 武汉库柏特科技有限公司 一种机器人手眼标定方法及系统
CN108994832B (zh) * 2018-07-20 2021-03-02 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN109493389B (zh) * 2018-10-15 2021-11-09 同济大学 一种基于深度学习的相机标定方法及系统
CN109702738B (zh) * 2018-11-06 2021-12-07 深圳大学 一种基于三维物体识别的机械臂手眼标定方法及装置
CN109859275B (zh) * 2019-01-17 2022-08-02 南京邮电大学 一种基于s-r-s结构的康复机械臂的单目视觉手眼标定方法
CN110000790B (zh) * 2019-04-19 2021-11-16 深圳市科瑞软件技术有限公司 一种SCARA机器人eye-to-hand手眼系统的标定方法
CN110238849B (zh) * 2019-06-13 2021-11-12 深圳市汇川技术股份有限公司 机器人手眼标定方法及装置
CN110370272B (zh) * 2019-06-20 2021-08-31 重庆大学 一种基于垂直反射的机器人tcp标定系统
CN110500990B (zh) * 2019-07-09 2020-08-18 同济大学 一种六自由度测量系统及方法
CN110238820A (zh) * 2019-07-12 2019-09-17 易思维（杭州）科技有限公司 基于特征点的手眼标定方法
EP3988254A4 (de) * 2019-07-19 2023-02-01 Siemens Ltd., China Verfahren und vorrichtung zur roboterhand-auge-kalibrierung, rechnervorrichtung, medium und produkt
CN110555889B (zh) * 2019-08-27 2021-01-15 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
KR102111655B1 (ko) * 2019-11-01 2020-06-04 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
KR102220173B1 (ko) * 2019-11-01 2021-02-25 주식회사 뉴로메카 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치
CN110853103B (zh) * 2019-11-12 2022-06-10 佛山智能装备技术研究院 一种用于深度学习姿态估计的数据集制作方法
CN111152223A (zh) * 2020-01-09 2020-05-15 埃夫特智能装备股份有限公司 一种全自动机器人手眼标定方法
CN111815634A (zh) * 2020-09-09 2020-10-23 苏州浪潮智能科技有限公司 基于机器视觉内存对位接插方法与系统、设备、存储介质
CN112067337B (zh) * 2020-09-21 2022-09-23 郑州轻工业大学 基于标准球双目机器人的快速手眼标定装置及标定方法
CN112022355B (zh) * 2020-09-27 2022-06-10 平安科技（深圳）有限公司 基于计算机视觉的手眼标定方法及装置、存储介质
CN112454332B (zh) * 2020-11-25 2022-02-22 中科新松有限公司 一种用于手眼标定的机器人轨迹点生成方法
CN112936301B (zh) * 2021-01-26 2023-03-03 深圳市优必选科技股份有限公司 一种机器人手眼标定方法、装置、可读存储介质及机器人
CN114147728B (zh) * 2022-02-07 2022-05-06 杭州灵西机器人智能科技有限公司 通用的机器人眼在手上标定方法和系统
CN114227700B (zh) * 2022-02-23 2022-05-20 杭州灵西机器人智能科技有限公司 机器人的手眼标定方法和系统
KR102585332B1 (ko) * 2022-12-06 2023-10-05 성형원 로봇 핸드와 로봇 핸드와 분리된 카메라 간의 캘리브레이션을 수행하는 방법 및 디바이스

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2690603B2 (ja) * 1990-05-30 1997-12-10 ファナック株式会社 視覚センサのキャリブレーション方法
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
JP2769947B2 (ja) * 1992-05-15 1998-06-25 株式会社椿本チエイン マニピュレータの位置・姿勢制御方法
JPH0882505A (ja) * 1994-09-12 1996-03-26 Mazda Motor Corp カメラパラメーターのキャリブレーション方法および物体の位置計測方法
JPH08272414A (ja) * 1995-03-29 1996-10-18 Fanuc Ltd ロボットとハンドカメラを用いた視覚センサのキャリブレーション方法
US5550376A (en) * 1995-05-22 1996-08-27 General Electric Company Method of calibration of imaging devices
AU9223298A (en) * 1997-09-04 1999-03-22 Dynalog, Inc. Method for calibration of a robot inspection system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006005958A1 (de) * 2006-02-08 2007-08-16 Kuka Roboter Gmbh Verfahren zum Erzeugen eines Umgebungsbildes
EP2728374A1 (de) 2012-10-30 2014-05-07 Technische Universität Darmstadt Erfindung betreffend die Hand-Auge-Kalibrierung von Kameras, insbesondere Tiefenbildkameras
DE102021211185A1 (de) 2021-10-05 2023-04-06 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern eines Roboters

Also Published As

Publication number Publication date
US20060095226A1 (en) 2006-05-04
US7019825B2 (en) 2006-03-28
US20040102911A1 (en) 2004-05-27
US7151853B2 (en) 2006-12-19
KR100468857B1 (ko) 2005-01-29
FR2847696A1 (fr) 2004-05-28
KR20040044620A (ko) 2004-05-31

Similar Documents

Publication Publication Date Title
DE10355283A1 (de) Hand/Auge-Kalibrierverfahren und zugehöriges Punktextraktionsverfahren
DE60133386T2 (de) Vorrichtung und verfahren zur anzeige eines ziels mittels bildverarbeitung ohne drei dimensionales modellieren
DE60023447T2 (de) Verfahren zur berechnung der lage und ausrichtung eines objektes im dreidimensionalen raum
DE112017006107T5 (de) Digitale Korrektur von optischen Systemaberrationen
DE102004049676A1 (de) Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium
DE102007001649A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Selbstkalibrierung einer Überwachungskamera
DE112009003144T5 (de) Verfahren und Vorrichtung zum Feststellen eines Hindernisses in einem Bild
EP1910999B1 (de) Verfahren und anordnung zur bestimmung der relativen lage eines ersten objektes bezüglich eines zweiten objektes, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102009013667A1 (de) Verfahren zur Herstellung einer bekannnten festen räumlichen Beziehung zwischen einem Laserscanner und einer Digitalkamera zur Verkehrsüberwachung
DE69829091T2 (de) Messungsgerät
DE10297343T5 (de) Erweiterungsfähige Verfolgung durch Linien-Autokalibrierung
WO2017144162A1 (de) Verfahren und bildverarbeitungsvorrichtung zur bestimmung einer geometrischen messgrösse eines objektes
EP3931798A1 (de) Schätzung der bewegung einer bildposition
EP2381207B1 (de) 3D-Zielvermessung und Zieleinweisung aus IR-Daten
DE102016123149A1 (de) Bilddatenbasierte rekonstruktion dreidimensionaler oberflächen
DE102007030378A1 (de) System zur Bestimmung der Lage eines Kamerasystems
DE102005005242A1 (de) Verfahren und Vorrichtung zum Bestimmen eines Kameraoffsets
WO2013091626A1 (de) Verfahren zur kalibrierung einer verkehrsüberwachungskamera zu einem lagesensor
DE10340023B3 (de) Verfahren zur Selbstkalibrierung eines Kamerasystems
DE10221389A1 (de) Verfahren zur Ermittlung eines Pixelwertes eines Pixel aufweisenden Bildes, Gewichtungsmatrix und Recheneinrichtung
DE102017104957A1 (de) Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102020116774A1 (de) Automatische visuelle Wahrnehmung mittels eines künstlichen neuronalen Netzes
DE102012209664B4 (de) Vorrichtung und verfahren zum kalibrieren von trackingsystemen
DE10042387A1 (de) Verfahren zum Transformieren dreidimensionaler Objektpunkte in zweidimensionale Bildpunkte für Linear-Fächerstrahlsensor-Bilder
DE19860038C1 (de) Verfahren zur Bewegungskorrektur bei Serien von Bildern eines starren Körpers

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8139 Disposal/non-payment of the annual fee