DE10164944B4 - Apparatus and method for correcting the movement of gripping and processing tools - Google Patents

Apparatus and method for correcting the movement of gripping and processing tools

Info

Publication number
DE10164944B4
DE10164944B4 DE2001164944 DE10164944A DE10164944B4 DE 10164944 B4 DE10164944 B4 DE 10164944B4 DE 2001164944 DE2001164944 DE 2001164944 DE 10164944 A DE10164944 A DE 10164944A DE 10164944 B4 DE10164944 B4 DE 10164944B4
Authority
DE
Germany
Prior art keywords
position
workpiece
image pickup
image
beam path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE2001164944
Other languages
German (de)
Inventor
Patentinhaber gleich
Original Assignee
Hermann, Dr.-Ing. Tropf
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to DE10150851.4 priority Critical
Priority to DE10150851 priority
Priority to DE10152571 priority
Priority to DE10152571.0 priority
Application filed by Hermann, Dr.-Ing. Tropf filed Critical Hermann, Dr.-Ing. Tropf
Priority to DE2001164944 priority patent/DE10164944B4/en
Application granted granted Critical
Publication of DE10164944B4 publication Critical patent/DE10164944B4/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator

Abstract

Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist A method for three-dimensional correction of the relative movement with several degrees of freedom between the workpieces on the one hand, and the gripper or tools on the other hand, with an image pickup device from one or more cameras, wherein the image pickup device and / or the workpiece is movable reproducibly
– mit einem Einrichtbetrieb mit folgenden Schritten - with a setup with the following steps
a) Abbilden von einem oder mehreren Bereichen des Werkstücks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang, wobei die Lage der Merkmale im jeweiligen Bereich des Werkstücks nicht bekannt ist, a) imaging one or more regions of the workpiece, via at least one respective assigned areas imaging beam path, wherein the position of the features in the respective region of the workpiece is not known
b) Anordnen eines Werkstücks in einer systematisch gewählten oder zufälligen Standardlage, b) disposing a workpiece in a selected systematic or random standard position,
c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage, c) positioning the image pickup device in a starting position,
d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang, d) receiving at least one image on each imaging beam path,
e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und e) storing the images of step d) and / or data derived therefrom, and
f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei f) arranging the image pickup device or of the workpiece in relative positions to the initial position or default position, each degree of freedom is at least varied once relative to the starting position or default position, wherein
für jede Relativlage: for each relative position:
– die Relativlage... - the relative position ...

Description

  • Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Gegenstaenden in unbekannter oder ungenauer Lage, insbesondere mittels Robotern. The invention relates to an apparatus and a method for correcting the movement of gripping or machining tools relative to objects in an unknown or less accurate position, particularly by means of robots.
  • Wenn die Gegenstaende in fester Position und Orientierung praesentiert werden, kann das Greifen oder Bearbeiten mittels Roboter ohne Modifikation einer einmal einprogrammierten Bewegung geschehen. When the objects are presented in a fixed position and orientation, the gripping or handling by means of the robot can be done without modification of a once programmed movement. Ist die Lage der Gegenstaende unsicher, z. Is the position of belongings unsure z. B. aufgrund von Unsicherheiten der Teileaufnahme, so muss fuer das Greifen oder Bearbeiten die Bewegung des Greif- bzw. Bearbeitungswerkzeugs und damit die des Roboters korrigiert werden. B. due to uncertainties of the parts receiving, so the movement of the gripping or machining tool and thus of the robot must be corrected for gripping or editing.
  • Beispiele fuer das Greifen sind die Entnahme aus Formfolien, Regalen oder Gitterboxen. Examples for the grabbing, the removal of molded sheets, shelves or mesh boxes. Beispiele fuer das Bearbeiten sind das Schleifen oder der Klebemittelauftrag; Examples of the processing are the loops or of the adhesive applicator; zur Bearbeitung sind ebenso zu zaehlen das Montieren und das Fuegen, wie beispielsweise das Montieren von Anbauteilen wie Scheiben oder Raedern an Automobil-Karossen oder das Einsetzen oder Anschweissen von Bolzen. for processing are also to count the assembly and joining, such as the mounting of parts such as pulleys or wheels on automobile bodies or the insertion of bolts or welding.
  • Zum besseren Verstaendnis der Erfindung werden im folgenden hier verwendete Begriffe naeher erlaeutert. For a better understanding of the invention, the terms used are explained in further detail here.
  • Da es sich bei den Gegenstaenden meist um Werkstuecke handelt, wird im folgenden von Werkstuecken gesprochen, im verallgemeindernden Sinn irgend eines, bezueglich der Genauigkeitsforderungen der Anwendung hinreichend starren Gegenstandes. Since most are the articles are workpieces, is made in the following workpieces, in verallgemeindernden sense any, in respect of the accuracy requirements of the application sufficiently rigid object.
  • Unter Werkzeug ist im folgenden je nach Aufgabenstellung verallgemeinernd entweder der Greifer oder das Bearbeitungswerkzeug zu verstehen. Lower die, either the gripper or the processing tool is to be understood in the following depending on the task in general terms.
  • Als Lage wird im folgenden die dreidimensionale Position und Orientierung im Raum (englisch ”position and attitude”) bezeichnet. As a location below the three-dimensional position and orientation in space ( "position and attitude" English) is called. Die Lage eines Werkstuecks wird durch mindestens 6 Parameter beschrieben, id R. durch drei translatorische und drei rotatorische, mit denen ein werkstuecksfestes Koordinatensystem in Bezug zu festen Raumkoordinaten steht. The position of a Werkstuecks is described by at least 6 parameters, as a rule by which a werkstuecksfestes coordinate system with respect stands by three translational and three rotational, to fixed spatial coordinates.
  • Der mehrdimensionale endliche Raum der in der vorliegenden Aufgabenstellung moeglichen Lageabweichungen (id R. ein 6-dimensionaler Hyperquader) wird im folgenden als Arbeitsbereich bezeichnet. The multi-dimensional finite area of ​​in the present task possible position deviations (usually a 6-dimensional hypercube) is hereinafter referred to as a work area. Je genauer die Halterung der Werkstuecke, desto kleiner darf der Arbeitsbereich sein. The more accurate the retention of the workpieces, the smaller the working area must be.
  • Der Begriff Roboter ist hier allgemein zu verstehen im Sinne eines mechanischen oder virtuellen Systems mit programmierbarer oder per Algorithmus steuerbarer oder regelbarer Bewegung. The term robot is here generally understood in terms of a mechanical or virtual system with programmable or by using algorithms controllable or controllable movement. Durch die Bewegung wird die Relativlage von Werkzeug und Werkstueck veraendert, wahlweise Werkzeug gegen Werkstueck oder umgekehrt oder beides. By the movement, the relative position of the tool and workpiece is changed, optionally tool against workpiece, or vice versa, or both.
  • Unter der Anzahl der Freiheitsgrade ist die Achsenzahl des verwendeten Roboters zu verstehen. Under the number of degrees of freedom, the number of axes of the robot used is to understand. Normalerweise liegen 6 Freiheitsgrade vor. Normally have six degrees of freedom. Es sind jedoch je nach Situation auch mehr Freiheitsgrade moeglich oder weniger. However, there are depending on the situation even more degrees of freedom possible or less. Es kann Roboterachsen geben, deren Bewegung/Stellung zur Lösung der hier gestellten Aufgabe grundsätzlich nicht verändert werden muss; There can be robot axes, the movement / position to achieve the stated objective here basically does not need to be changed; sie zählen hier nicht zu den Freiheitsgraden. they do not count the degrees of freedom.
  • Im Einrichtbetrieb (Offline-Betrieb) eines Systems wird – id R. unter menschlicher Ueberwachung oder Fuehrung – das System fuer die Anwendung parametriert, einschliesslich z. In set-up (off-operation) of a system - usually under human supervision or guide - the parameterized system for the application, including, for. B. Teachen einer Roboterbahn, Teachen eines Bildanalysesystems und Kalibrierung, sofern erforderlich. As teaching a robot path, teaching an image analysis system and calibration, if necessary.
  • Im Automatikbetrieb (Online-Betrieb) arbeitet das System selbsttaetig oder halbautomatisch entsprechend der vorliegenden Aufgabenstellung. the system in automatic mode (on-line operation) operates selbsttaetig or semi-automatically according to the present task.
  • Unter der Standardlage eines Werkstuecks verstehen wir im folgenden eine zufaellig oder speziell gewaehlte Lage, fuer die der Roboter eingeteacht wird. Under the standard position of a Werkstuecks we mean below a randomly or specifically selected position for which the robot is eingeteacht. Aufgabe ist es, das Werkstueck auch in einer von dieser Standardlage abweichenden Lage korrekt zu greifen oder zu bearbeiten. Task is to grasp the workpiece in a direction other than the default location location correctly or edit. Die Standardlage braucht nicht in irgendeiner bekannten Beziehung zu den Raumkoordinaten zu stehen. The standard position does not need to stand by the spatial coordinates in any known relationship. Salopp gesprochen koennte man das Werkstueck auf einen Tisch werfen, und die so entstandene zufaellige und geometrisch unspezifizierte Lage als Standardlage zum Teachen verwenden. Casually speaking could you throw the workpiece on a table, and use the resulting random and geometric unspecified location as the default location for teaching.
  • Ausgangslage ist eine im allgemeinen beim Teachen festgelegte Lage von Systemkomponenten, in der im Automatikbetrieb die jeweils ersten Bildaufnahmen durchgefuehrt werden. The starting point is a fixed generally in teach location of system components can be performed in the automatic mode, the respective first image recordings.
  • Als Fixmerkmale (hier speziell eingefuehrter Begriff) werden solche Merkmale eines Werkstuecks bezeichnet, die ortsfest auf den Werkstuecken vorhanden sind, wie ”von Natur aus” vorhandene Formen wie Kanten, Ecken, Loecher, Sicken, aber auch kuenstliche Marken (werkstueckbezogen ortsfest angebrachte Aufdrucke, Praegungen, Klebepunkte oder werkstueckbezogen ortsfeste Projizierungen wie Laserpunkte oder Lasermuster). As Fixmerkmale (here specifically been convicted phrase) refers to those characteristics of a Werkstuecks, which are stationary present on the workpieces, such as "by nature" existing forms such as edges, corners, holes, beading, but also artificial marks (werkstueckbezogen fixedly mounted prints, embossing, glue dots or werkstueckbezogen stationary screens projected as laser points or laser pattern).
  • Fixmerkmale sind auch solche, die unter Zuhilfenahme von strukturiertem Licht ein Muster erzeugen, das werkstueckbezogen ortsfest ist. Fixmerkmale are also those that produce a pattern with the aid of structured light, which is werkstueckbezogen stationary. Dies kann zur Erhoehung der Stoersicherheit sinnvoll sein: beispielsweise kann man, um Werkstueckkanten zuverlaessiger darzustellen, ein duennes Linienmuster auf die Oberflaeche projizieren und mittels eines angepassten Softwarefilters die Regionen mit Streifenmuster hervorheben, um eine sichere Figur-Hintergrund-Trennung zu erhalten (auf dem Hintergrund befindet sich kein Streifenmuster mit passenden Linienabstaenden). This can be useful to increase noise immunity: for example, may be to represent Werkstueckkanten reliable, projecting a thin line pattern on the surface and highlighting means of an adapted software filter, the regions with a stripe pattern in order to obtain a secure figure-ground separation (on the background There is no stripe pattern with matching Linienabstaenden).
  • Als ausgezeichnete Punkte werden solche Fixmerkmale bezeichnet, die durch Punkte repraesentiert werden, z. As excellent points such Fixmerkmale are called, which are represented by dots, for example. B. die Mitte eines Kreises oder ein Eckpunkt einer Kontur, gegeben als Schnittpunkt von zwei Geradenstuecken. As the center of a circle or a vertex of a contour, given as an intersection of two Geradenstuecken.
  • Zusaetzlich zu den werkstueckbezogen ortsfesten Merkmalen koennen nicht ortsfeste, beleuchtungstechnisch erzeugte Merkmale verwendet werden. In addition to the werkstueckbezogen fixed characteristics can be used not fixed, lighting values ​​generated features. Diese werden in folgenden als Flexmerkmale bezeichnet (hier speziell eingefuehrter Begriff). These are in the following referred to as Flex features (here specifically been convicted term).
  • Beispiele fuer Flexmerkmale: Examples for Flex Features:
    • a) Woelbungen: Bei Bewegung der Kamera gegenueber dem Werkstueck und gerichteter Beleuchtung wandern die Reflexionskanten auf der Woelbung relativ zum Werkstueck und verformen sich ausserdem. a) bulges: When camera movement from above the item and directed illumination, the reflection edges hiking on the curvature relative to the workpiece and deform also. Sie sind nicht werkstuecksbezogen fest, aber reproduzierbar und zur Gewinnung der Lageinformation geeignet. You are not werkstuecksbezogen firm but reproducible and for obtaining the position information suitable.
    • b) Projektion von Lichtmustern (id R. mittels Laser realisiert): die sich hierbei ergebenden Formen koennen grundsaetzlich zur dreidimensionalen Auswertung herangezogen werden; b) projecting light patterns (usually realized by means of laser) are generally used for three-dimensional evaluation, the case arising forms may be; da normalerweise die Beleuchtung nicht parallel mit dem Werkstueck bewegt wird, sind die Formen nicht werkstuecksbezogen fest. as normally the illumination is not moved in parallel with the workpiece, the shapes are not werkstuecksbezogen fixed.
  • Merkmale sind Fixmerkmale oder Flexmerkmale. Features are Fixmerkmale or flex characteristics.
  • Ein Merkmal ist ia dreidimensional; A feature is generally three-dimensional; die Abbildung eines ein Merkmal umfassenden Werkstueckbereiches in ein zweidimensionales Koordinatensystem ueber ein Strahlenbuendel, im folgenden auch Abbildungsstrahlengang genannt, wird als Merkmalsbild bezeichnet. the picture of a comprehensive a feature Werkstueckbereiches in a two-dimensional coordinate system about a Strahlenbuendel, hereinafter also called the imaging beam path is called the feature image.
  • Ein solches Merkmalsbild kann weiter ueberfuehrt werden in eine kompaktere Beschreibung in Form eines t-dimensionalen Bildbeschreibungsvektors von Werten, w1, w2, ... wt, mit t >= 1. In der Regel gilt t >= 2. Such a feature image can be further converted into a more compact description in the form of a t-dimensional image description vector of values, w1, w2, ... wt, with t> = 1 applies a rule t> = 2nd
  • Die Komponenten des Bildbeschreibungsvektors sind Masszahlen, die Eigenschaften der Abbildung von Merkmalen in Merkmalsbildern erfassen. The components of the image vector are description Mass numbers that capture properties of the image features in feature images. Einfachstes Beispiel, mit t = 2, ist die Messung des Schwerpunktes der Abbildung eines Lochs, der durch die beiden Schwerpunkts-Bildkoordinaten beschrieben wird. The simplest example, with t = 2, is the measurement of the centroid of the image of a hole, which is described by the two centroid image coordinates. Ein weiteres Beispiel ist die Berechnung von Verschiebung und Verdrehung eines beliebig strukturierten Bildmusters ueber Korrelationsverfahren (t = 3). Another example is the calculation of displacement and rotation of an arbitrarily structured image pattern by correlation process (t = 3). Wie weiter unten anhand der Ausfuehrungsbeispiele zu der Erfindung erlaeutert wird, sind fuer den Bildbeschreibungsvektor auch Masse geeignet wie Groessenveraenderung, Helligkeits- und Farbveraenderung, Ortsfrequenzveraenderungen – also Werte, die keine Verschiebung oder Verdrehung in Bildkoordinaten beschreiben. As will be further explained below with reference to Ausfuehrungsbeispiele to the invention, also are suitable as mass Groessenveraenderung, brightness and color change, spatial frequency CHANGES for the image description vector - that values ​​that describe any displacement or rotation in image coordinates.
  • Die triviale Art, einen Merkmalsvektor aus einem Grauwert-Merkmalsbild mit der Groesse nx mal ny Pixel zu bestimmen, besteht darin, einfach alle Pixelgrauwerte direkt in einen Bildbeschreibungsvektor mit nx mal ny Komponenten zu ueberfuehren. The trivial nature, a feature vector from a gray scale image with the feature size nx ny times pixels to determine, is to lead by simply all pixel gray values ​​directly in an image description vector with nx ny times components.
  • Durch die Zusammenfassung mehrerer Bildbeschreibungsvektoren, die derselben (ia unbekannten) mechanischen Werkstueckaufnahmesituation (z. B. der Ausgangslage) zuzuordnen sind, entsteht ein Vektor, der im folgenden als Lagebeschreibungsvektor bezeichnet wird. By combining a plurality of image description vectors of the same (generally unknown) Werkstueckaufnahmesituation mechanical (eg. As the starting position) are assigned, creates a vector which is hereinafter referred to as Location Description vector.
  • Wohlgemerkt beschreibt der Lagebeschreibungsvektor die zu bestimmende Lageabweichung nicht direkt, sondern implizit! Mind you able Description vector describes the deviation to be determined location not directly but implicitly!
  • Eine Korrektur der Roboterbewegung kann abgeleitet werden aus der Abweichung der aktuellen Lage von der Standardlage. A correction of the robot movement can be derived from the deviation of the current position from the standard position.
  • Diese Abweichung wird nach der konventionellen Vorgehensweise ermittelt, indem ein werkstueckeigenes Koordinatensystem definiert wird, und indem die absolute Lage des Werkstuecks sowohl fuer die Standardlage als auch fuer die aktuelle Lage bestimmt wird. This deviation is determined according to the conventional procedure by adding a werkstueckeigenes coordinate system is defined, and by the absolute position of Werkstuecks is determined both for the standard position as well as for the current situation. Fuer die Bestimmung einer absoluten Lage mittels optischer Sensoren, speziell Bildverarbeitungssystemen, werden in der Literatur zweierlei Methoden angegeben: For the determination of an absolute position by means of optical sensors, in particular image processing systems, two methods are given in the literature:
    • a) modellbasierte Methoden, a) model-based methods,
    • b) dreidimensional messende Systeme. b) three-dimensional measuring systems.
  • Modellbasierte Systeme verwenden die bekannte Geometrie von Fixmerkmalen im werkstueckeigenen Koordinatensystem. Model-based systems use the known geometry of Fixmerkmalen in werkstueckeigenen coordinate system.
  • Zu modellbasierten Verfahren zaehlen zum Beispiel [GMR], [Fan], [Isr]. To model-based methods include, for example, [GMR], [fan], [Isr]. Bei allen drei Beispielen muss der Bezug, der Merkmale zu einem koerpereigenen Koordinatensystem bekannt sein. In all three examples, the reference must be known of the features to a body's own coordinate system. [GMR] verwendet Punkte oder Punkte und Linien, eine oder mehrere Kameras. [GMR] used points or points and lines, one or more cameras. [Isr] verwendet nur Linien, drei oder mehr Kameras. [Isr] only lines, three or more cameras. [Fan] verwendet Punkte, drei oder mehr Kameras, ausserdem einen Eichkoerper, der fuer die Kalibrierung vor jede Kamera zu positionieren ist. [Fan] used points, three or more cameras, also a Eichkoerper, to be positioned for the calibration before each camera.
  • Nachteile der modellbasierten Methoden sind: Disadvantages of model-based methods are:
    • – die Lage der Merkmale im werkstueckseigenen Koordinatensystem muss bekannt sein, - the location of the features in werkstueckseigenen coordinate system must be known,
    • – die Kamera muss aufwendig kalibriert werden, - the camera must be laboriously calibrated
    • – sie koennen grundsaetzlich keine Flexmerkmale handhaben. - they generally can not handle Flex features.
  • Bei dreidimensional messenden Systemen braucht die Teilegeometrie nicht bekannt zu sein; In three-dimensional measuring systems, the part geometry does not need to be known; mit ihnen werden beispielsweise handgefertigte Modelle abgetastet zur Generierung von CAD-Daten fuer die Serienproduktion. handmade models are, for example, scanned for the generation of CAD data for the serial production with them.
  • Ein anderes Beispiel ist die Bahnregelung mittels Lichtschnittverfahren. Another example is the path control by means of light-section method.
  • Die Messmethoden fuer dreidimensional messende Systeme sind: The measurement methods for three-dimensional measuring systems are:
    • b1) punktweise Abstandsmessung ueber gepulstes oder moduliertes Licht, zusammen mit Messung der Licht-Laufzeit bzw. Phasenverschiebung, b1) pointwise distance measurement by pulsed or modulated light, along with measurement of the light transit time or phase shift,
    • b2) Triangulation ueber mindestens eine Kamera und strukturiertes Licht, b2) at least one triangulation camera and structured light,
    • b3) Triangulation ueber mindestens 2 Kameras (Stereo). b3) triangulation by at least two cameras (stereo).
  • Nachteilig ist die Methode b1) mit einem sehr hohen apparativen Aufwand verbunden und erfordert eine aufwendige, stabile Messtechnik. A disadvantage is the b1) method is associated with a very high expenditure on apparatus and requires complex, stable metrology.
  • Nachteilig ist die Methode b2) mit hohem apparativem Aufwand verbunden und erfordert ueberdies einen sehr hohen Aufwand bei der Kalibrierung der Systeme; A disadvantage is the b2) method is associated with high equipment cost and over, this requires a very high expenditure in the calibration of systems; Kamera- und Beleuchtungsgeometrie muessen bekannt und sehr stabil sein. Camera and lighting geometry must be known and very stable.
  • Bei messenden Systemen zur Abtastung von Oberflaechen nach Methode b2) kann der Sensor definiert bewegt werden, um fuer grossflaechige Werkstuecke den Messbereich solcher Systeme in Verbindung mit einer bekannten mechanischen Bewegung zu erweitern: In measuring systems for the scanning of surfaces by method b2) of the sensor can be moved defined to extend for grossflaechige workpieces the measuring range of such systems in conjunction with a known mechanical movement:
    Nach [Dif] wird der Sensor entweder entsprechend einer vorher bekannten Idealform bewegt und der (b2-)Sensor vermisst Abweichungen davon, oder der Sensor dient als Null-Indikator, um eine geregelte Bewegung in konstantem Abstand von der Oberflaeche zu erzeugen, wobei diese Bewegung als Messergebnis dient. For [Dif], the sensor is either moved in accordance with a previously known ideal shape and the (b2) sensor measures variations thereof, or the sensor serves as a zero indicator, to produce a controlled movement at a constant distance from the surface, this movement serves as a measurement result.
  • Nach [Per] dient ein Roboter zur Fuehrung eines (b2-)Sensors, wobei die im allgemeinen nicht ausreichende Genauigkeit des Roboters durch eine von Roboter und Sensor unabhaengige, nicht naeher beschriebene Zusatzeinrichtung (z. B. zusaetzliches ”Photogrammetrie”-System oder ”Kinematic correction module”) erhoeht. For [by] a robot serves to guide a (b2) sensor, wherein the insufficient accuracy of the robot generally (by an independent robot and sensor, not described in detail accessory z. B. additional "Photogrammetry" system or " Kinematic correction module ") increased.
  • Bei Stereoverfahren (b3) werden die selben Merkmale von jeweils mindestens 2 Kameras erfasst; For stereo process (b3) can be detected the same features of at least 2 cameras; aus der Disparitaet der Abbildung der Merkmale in den Bildern und aus den bekannten Daten der Kamera-Geometrie wird die dreidimensionale Lage der Merkmale berechnet. from the disparity mapping the features in the images and from the known data of the camera geometry, the three-dimensional position of the features is calculated. Die Werkstueckgeometrie und die Lage der Merkmale im Werkstueckkoordinatensystem braucht im allgemeinen nicht bekannt zu sein. The Werkstueckgeometrie and the location of the features in the workpiece coordinate need not be generally known.
  • Ein Nachteil der Stereoverfahren ist, dass verschiedene Kameras gleiche Merkmale erfassen muessen. A disadvantage of the stereo method, that various cameras must detect the same features. Daraus ergibt sich ein Problem bei grossen Werkstuecken: Um die erforderliche Rotationsgenauigkeit zu erzielen, muessen mehrere moeglichst weit auseinander liegende Merkmale erfasst werden. This results in a problem for large workpieces: In order to achieve the required rotational accuracy, several possible widely spaced features must be acquired. Das fuehrt dazu, dass This leads to the fact that
    • – entweder die Bildfelder sehr gross werden, was nun doch wiederum zu Genauigkeitsproblemen wegen geringer Bildpunktaufloesung fuehrt, - either the frames are very large, which now but in turn leads to accuracy problems due to low Bildpunktaufloesung,
    • – oder dass fuer weit auseinanderliegende Merkmale je zwei Kameras erforderlich sind, fuer drei weit auseinander liegende Merkmale also insgesamt mindestens 6 Kameras (sz B. [Lee]). - or that for widely spaced features two cameras for three widely spaced features are required for a total of at least six cameras (see eg [Lee]).
  • Ausserdem duerfen sich die Merkmale bei veraenderter Beleuchtungs- und Betrachtungsgeometrie nicht aendern. In addition to the features in transmuted illumination and viewing geometry may not change. Flexmerkmale verbieten sich daher vielfach. therefore flex characteristics ban in many cases.
  • Stereoverfahren sind ausfuehrlich in [Kle] beschrieben. Stereo method are described in detail in [Kle].
  • Ein gravierender Nachteil der triangulierenden Messverfahren (b2 und b3) ist die Notwendigkeit der genauen Kalibrierung, Kamera(s) und ggf. strukturierte Beleuchtung betreffend; A serious disadvantage of triangulating measurement method (b2 and b3) is the need for accurate calibration, camera (s) concerning and possibly structured illumination; ausserdem muss der Aufbau sehr stabil sein, um die geforderte Messgenauigkeit auch im rauen Industriebetrieb aufrechterhalten zu koennen. also has the structure to be very stable in order to be able to maintain the required measurement accuracy even in harsh industrial operation.
  • Anmerkung: Die Kalibrierung einer Kamera beschreibt die Abbildungsgeometrie; Note: The calibration of a camera describes the imaging geometry; man unterscheidet ueblicherweise aeussere und innere Parameter. Normally a difference outer and inner parameters. Die aeusseren Parameter beschreiben die Lage des Projektionszentrums und der optischen Achse im Raum, sowie den (skalaren) Abstand zwischen Projektionszentrum und Abbildungsebene. The outer parameters describe the location of the projection center and the optical axis in space, as well as the (scalar) distance between the center of projection and image plane. Die inneren Parameter beschreiben die Schraeglage der Abbildungsebene zur optischen Achse und die Lage des Durchstosspunktes der optischen Achse durch die Bildebene relativ zum Bildrahmen. The internal parameters describe the Schraeglage the imaging plane to the optical axis and the position of the intersection point of the optical axis through the image plane relative to the image frame.
  • In juengerer Zeit entstand das Arbeitsgebiet ”Visual Servoing”, im folgenden kurz Servoverfahren genannt [Hut]. More recently, the field of work "visual servoing" called [hat] to briefly servo method was born. Hier wird versucht, mit unkalibrierten oder ungeau kalibrierten Systemen ueber optische Rueckkopplung eine Regelung von Robotern zu realisieren. An attempt is made to realize with uncalibrated or calibrated ungeau systems over optical feedback regulation of robots. Waehrend der Roboterbewegung wird versucht, die Position der Merkmale in den Merkmalsbildern moeglichst genau auf Soll zu bringen. While the robot movement is trying to bring the position of the features in the feature images as exactly as possible on target. Dies impliziert die Moeglichkeit der Berechnung der Position von Merkmalen im Bildbereich. This implies the possibility of calculating the position of features in the image area.
  • Anmerkung: bei einer Regelung wird im Gegensatz zu einer Steuerung durch die Rueckfuehrung einer Messgroesse (hier der Position der Merkmale in den Merkmalsbildern) auf eine Stellgroesse (hier der Roboterstellung) eingewirkt. Note: in a control is in contrast to a control by the repatriation of a measured quantity (here, the robot position) (here, the position of the features in the feature images) to a manipulated variable acting. Bei Servoverfahren sind daher laufende Bildaufnahmen waehrend der Bewegung erforderlich, um die Abweichung der Messgroessen von den Sollwerten durch die Bewegung zu minimieren. Therefore, in servo method ongoing image recordings are required during the movement in order to minimize the deviation of the measured values ​​from the desired values ​​by the movement.
  • Bei Servoverfahren kann die folgende Fallunterscheidung getroffen werden: In servo method, the following case distinction can be made:
  • Fall 1: Hand-Auge-Koordination (”hand-eye-coordination”). Case 1: hand-eye coordination ( "hand-eye coordination").
  • Bei Hand-Auge-Koordination wird das Werkzeug relativ zu den(r) Kamera(s) bewegt. For hand-eye coordination, the tool relative to the (R) camera (s) is moved.
  • Die Kamera erfasst das Werkzeug oder Teile davon oder Markierungen oder mechanische Teile, die in geometrischer Beziehung zum Werkzeug stehen. The camera captures which the tool or parts or markings or mechanical parts that are provided to the tool in geometrical relationship.
  • Unterscheidung nach Bewegung: Distinction on Movement:
    • Fall 1a: Das Werkzeug wird bewegt und die Kamera steht fest. Case 1a: The tool is moved and the camera is fixed.
    • Fall 1b: Das Werkzeug steht fest und die Kamera wird bewegt. Case 1b: The tool is stationary and the camera is moved.
    • Fall 1c: Das Werkzeug und die Kamera werden beide bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera. Case 1c: the tool and the camera are both moved, for example, various degrees of freedom are distributed over the tool and the camera.
  • Unterscheidung nach Bilderfassung: Distinction for Acquisition:
    • Fall 1x: Die Kamera erfasst das Werkstueck und das Werkzeug (Standardfall). 1x case: The camera detects the workpiece and the tool (default case).
    • Fall 1y: Die Kamera erfasst das Werkstueck und nicht das Werkzeug. Case 1y: The camera detects the workpiece and not the tool.
    • Fall 1z: Die Kamera erfasst nicht das Werkstueck und erfasst das Werkzeug. 1z case: The camera does not detect the workpiece and detects tool.
  • Im Fall 1x kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden. In the case of the 1x robot position can be controlled in relation to the current Werkstuecklage or regulated.
  • Im Fall 1y kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert werden. In the case 1y robot position can be controlled with respect to the current Werkstuecklage.
  • Im Fall 1z kann nur eine Regelung der Roboterbewegung an sich realisiert werden, nicht aber im Bezug auf die aktuelle Werkstueckposition. In the case 1z only control the robot motion can be realized in itself, but not in relation to the current Werkstueckposition.
  • Fall 2: Auge-in-Hand (”eye-in-hand”): Case 2: Eye-in-hand ( "eye-in-hand"):
  • Bei Auge-in-Hand wird (werden) die Kamera(s) parallel mit dem Werkzeug relativ zum Werkstueck bewegt. In eye-in-hand is (are) the camera (s) to move parallel to the tool relative to the workpiece.
  • Unterscheidung nach Bewegung: Distinction on Movement:
    • Fall 2a: Das Werkzeug und Kameras werden bewegt und das Werkstueck steht still. Case 2a: The tool and cameras are moved and the workpiece is stationary.
    • Fall 2b: Das Werkzeug und Kameras stehen fest und das Werkstueck wird bewegt. Case 2b: The tool and cameras are fixed and the workpiece is moved.
    • Fall 2c: Das Werkzeug und Kameras werden gemeinsam bewegt, und das Werkstueck wird bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera einerseits und Werkstueck andererseits. Case 2c The tool and cameras are moved together, and the workpiece is moved, for example, various degrees of freedom are distributed over the tool and the camera on the one hand and on the other workpiece.
  • Unterscheidung nach Bilderfassung: Distinction for Acquisition:
    • Fall 2x: Die Kamera erfasst das Werkstueck und das Werkzeug. Case 2x: The camera detects the workpiece and the tool.
    • Fall 2y: Die Kamera erfasst das Werkstueck und erfasst nicht das Werkzeug. 2y case: The camera detects the workpiece and does not control the tool.
  • Im Fall 2x kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden, die Situation entspricht ungefaehr dem Fall 1x. In the case of 2x the robot position may be controlled in relation to the current Werkstuecklage or controlled, the situation corresponds to 1X approximately to the case.
  • Im Fall 2y kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden. In the case 2y the robot position may be controlled in relation to the current Werkstuecklage or regulated.
  • Um bei Servoverfahren die Regelung zu optimieren, wird versucht, den Zusammenhang zwischen Bewegung der Roboterachsen und der oertlichen Verschiebung der Abbildung von Fixmerkmalen zu modellieren. In order to optimize the regulation with servo method, it is attempted to model the relationship between movement of the robot axes and the local displacement of the image of Fixmerkmalen.
  • Vorgaenger der Servoverfahren sind einfache, steuernd arbeitende Systeme, die jeweils einen der folgenden Forelle betrachten: Predecessor of the servo methods are simple, controlling operating systems, each looking at one of the following Trout:
    • – Stereo, - Stereo,
    • – Fall 1x, - 1x case,
    • – Tracking ohne exakte Tiefenschaetzung, - Tracking without exact Tiefenschaetzung,
    mit den dementsprechenden Einschraenkungen. with the corresponding thereto restrictions.
  • Die Lineare Approximation dieses Zusammenhangs um einen Arbeitspunkt wird durch sog. visuelle Jakobi-Matrix beschrieben. The linear approximation of this relationship to an operating point is described by the so-called. Visual Jacobian matrix. Fuer die Hand-Auge-Koordination wurde zur Gewinnung der Jakobi-Matrix vorgeschlagen, dass im Einrichtbetrieb ein Satz von orthogonalen Roboterbewegungen durchgefuehrt wird, bei gleichzeitiger Beobachtung der Bewegung der Position der Abbildung der Merkmale [Ja1]. For the hand-eye coordination has been proposed for obtaining the Jacobian matrix that a sentence is carried out by the orthogonal robot movements in the setup, while observing the movement of the position of the imaging of the features [Ja1].
  • Verschiedene bekannte Verfahren der Funktionsapproximation wurden vorgeschlagen: stueckweise lineare Naeherung, stueckweise mit Splines [Ja0], ”Quasi-Newton”-Verfahren [Pie]. Various known methods of function approximation have been proposed: stueckweise linear approximation stueckweise with splines [JA0], "quasi-Newton" method [Pie].
  • Bei all diesen Annaeherungen wird waehrend der Regelungvorgangs einer Hand-zu-Auge-Koordinationsaufgabe versucht, durch die Naeherung eine Schaetzung fuer die optimale Bewegung abzuleiten, um mit der naechsten Bildaufnahme eine weitere, erhofft genauere, Schaetzung durchfuehren zu koennen. In all these Anna married conclusions of the control operation of a hand-to-eye coordination task while trying to derive an estimation for the optimal movement by the approximation to another, hoping the next image capture more accurate to perform estimation.
  • Servoverfahren haben die folgenden Nachteile: Servo methods have the following disadvantages:
    Servoverfahren koennen in Fall 1x oder Fall 2x ohne Kalibrierung oder mit sehr ungenauer Kalibrierung arbeiten. Servo method can work in case 1x or 2x case without calibration or with very accurate calibration. Im hier eingeschlossenen Fall 2y jedoch benoetigen wir fuer Zwecke der Werkstueckhandhabung oder Werkstueckbearbeitung eine genaue Kalibrierung. In the enclosed case here 2y but we need for the purpose of Werkstueckhandhabung or Werkstueckbearbeitung accurate calibration.
  • Fuer Zwecke der Zielverfolgung (Tracking) durch Auge-in-Hand Systeme mit Servoverfahren wird die Bewegung der Position der Abbildung von Merkmalen abhaengig von der Kamerabewegung bestimmt For the purpose of tracking (tracking) by eye-in-hand with servo systems process the movement of the position of the imaging of features is determined depending on the camera movement
    • a) analytisch [Mar]: das wiederum setzt Kenntnis der Kamerageometrie voraus (dh modellbasiert), a) analytically [Mar]: which in turn is aware of the camera geometry ahead (ie model-based)
    • b) durch online Schaetzung; b) through online estimation; Problem ist die Schaetzung der Entfernungsabhaengigkeit der Parameter in der Jacobimatrix ([Hut] S. 26); Problem is the estimation of the parameters in the Entfernungsabhaengigkeit Jacobi matrix ([hat] S. 26); fuer das Tracking kommt man mit einer sehr groben Schaetzung dieser Parameter aus, indem man die Zielpositionen in die Naehe der optischen Achse verlegt. for tracking to get there a very rough estimation of these parameters, by routing the target positions in the vicinity of the optical axis. Ohne zuverlaessige Abstandsinformation sind jedoch Aufgaben der Werkstueckhandhabung oder Werkstueckbearbeitung nicht loesbar. Without reliable distance information but tasks of Werkstueckhandhabung or Werkstueckbearbeitung can not be solved.
  • Servoverfahren sind auf die explizite Ableitung von Positionsinformation aus den Bildern angewiesen, wie dies beispielsweise bei Verwendung von ausgezeichneten Punkten realisierbar ist. Servo method are dependent on the explicit derivation of position information from the images, as is realized, for example, with the use of excellent points. Ohne solche explizite Positionsinformation kann kein visual Servoing realisiert werden. Without such explicit position information no visual servoing can be realized.
  • Ausserdem ist bei Servoverfahren aufgrund der regelnden Vorgehensweise im Automatikbetrieb die laufende Aufnahme und Auswertung von Bildern erforderlich, und damit insbesondere eine sehr schnelle Auswertung. In addition, for servo process due to the regulatory procedure in automatic mode, the current recording and analysis of images required, and in particular a very quick evaluation. Damit ist der Ansatz auch auf relativ einfache oder hardwaremaessig unterstuetzte Bildauswertungsmethoden begrenzt. Thus the approach is also limited to relatively simple in terms of hardware or supported image analysis methods.
  • Die The DE 199 30 087 A1 DE 199 30 087 A1 betrifft ein Verfahren und eine Vorrichtung zur Regelung der Vorhalteposition eines Manipulators eines Handhabungsgeraets. relates to a method and a device for regulating the pre-holding a manipulator of a Handhabungsgeraets. Im Einzelnen wird die Vorhalteposition des in mehreren Freiheitsgraden bewegbaren Manipulators eines Handhabungsgeraets relativ zu einem Objekt entlang einer Verfahrbahn geregelt. Specifically, the pre-holding of the movable in several degrees of freedom manipulator of a Handhabungsgeraets is regulated relative to an object along a movement path. Dabei werden mehrere Punkte zumindest eines Teils der IST-Verfahrbahn gespeichert und fuer eine vorausschauende Regelung der Vorhalteposition des Manipulators entlang dieses Teils der Verfahrbahn herangezogen. In this case, several points of at least part of the actual movement path will be stored and used for a predictive control of the pre-holding of the manipulator along this part of the movement path. Waehrend einer Trainingsphase wird der Manipulator um eine Soll-Vorhalteposition um jeweils einen Freiheitsgrad in unterschiedliche Vorhaltepositionen relativ zu dem Objekt bewegt. During a training phase the manipulator is in each case moved by a desired pre-holding a degree of freedom in different Vorhaltepositionen relative to the object. Sensoren, die an dem Manipulator befestigt sein koennen, liefern Messdaten anhand derer eine Vorhalteposition des Manipulators charakterisiert ist. Sensors that can be attached to the manipulator, provide measurement data by means of which a pre-holding of the manipulator is characterized. Diese Messdaten koennen auch Bildmessdaten sein, die durch Vermessen von Bildern gewonnen werden. These metrics can also be image data that are obtained by measuring images. Eine spaetere, im Rahmen eines Operations-Mode durchgefuehrte Regelung der Vorhalteposition wird in Abhaengigkeit von den gespeicherten Messdaten durchgefuehrt. A later, carried out as part of an operation mode control of the pre-holding is performed in dependence on the stored measurement data.
  • Die The DE 198 14 779 A1 DE 198 14 779 A1 betrifft ein Verfahren und eine Vorrichtung zum Steuern der Bewegung eines beweglichen ersten Gegenstandes relativ zu einem zweiten Gegenstand, mit Hilfe einer optischen Erfassung des zweiten Gegenstandes oder eines Teiles desselben durch ein optisches Erfassungssystem, und zwar unter Erkennung eines am zweiten Gegenstand vorgegebenen Musters bzw. einer daran vorhandenen Struktur, wobei Vergleichsstrukturen bzw. -muster in einer Speichereinrichtung gespeichert sind, wobei der erste und der zweite Gegenstand aus einer voneinander entfernten Position einander angenaehert und miteinander in Eingriff gebracht werden. relates to a method and apparatus for controlling the movement of a movable first object to a second object by means of an optical detection of the second object or a part thereof by a detection optical system, under detection of a prescribed on the second object pattern or relative to a present thereon structure, said comparison structures or patterns are stored in a memory device, wherein the first and second articles of a distant position can be approximated and engaged with each other.
  • Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Werkstuecken bereitzustellen. The object of the invention is to provide a method and a device for correcting the movement of gripping or machining tools with respect to workpieces.
  • Die Aufgabe wird erfindungsgemaess nach Anspruch 1 bzw. 17 geloest. The object is solved erfindungsgemaess according to claim 1 and 17 respectively.
  • Die Erfindung ermoeglicht eine derartige Korrektur The invention enables such correction
    • – ohne eine Kamerakalibrierung durchfuehren zu muessen, - having to perform without a camera calibration,
    • – ohne die Geometrie des Werkstueckes oder seiner Merkmale kennen zu muessen, - without having to know the geometry of the workpiece or its features,
    • – ohne ueberhaupt ueber positionsmaessig erfassbare Merkmale in den Bildern verfuegen zu muessen (bei Servoverfahren nach bisherigen Ansaetzen erforderlich); - without being required to have at all about positionsmaessig detectable features in the images (required for servo method according to previous approaches); es sind keine Ausgezeichneten Punkte erforderlich. no Excellent points are required.
    • – unter Vermeidung des oben angegebenen Nachteils von Stereosystemen, dass grosse Werkstuecke nur ungenau oder mit sehr vielen Kameras gehandhabt werden koennen. - avoiding the above disadvantage of stereo systems that large workpieces can be handled only inaccurately or with a lot of cameras.
  • Die Korrektur der Roboterbewegung ist eine geometrische Transformation einer ia dreidimensionalen Bewegung The correction of the robot movement is a geometric transformation of a three-dimensional motion ia
    • a) zum Greifen: die Modifikation einer vorgeteachten Bewegung von einer meist festen Ausgangslage bis zur Greifposition fuer das aktuelle Werkstueck, a) for gripping: the modification of a vorgeteachten movement from a normally fixed starting position to the gripping position for the current workpiece,
    • a) zum Bearbeiten: die Modifikation einer vorgeteachten Bearbeitungsbahn. a) for editing: the modification of a vorgeteachten machining path.
  • Die Modifikation ist typischerweise als additive Korrektur (Verschiebung, Verdrehung) auf die vorgeteachte Greifposition bzw. die vorgeteachte Bearbeitungsbahn realisiert. The modification is typically realized as an additive correction (displacement, rotation) to the gripping position or the vorgeteachte vorgeteachte machining path. In Sonderfaellen kann es sinnvoll sein, daraus eine nichtlinare Verzerrung der Bewegung abzuleiten. In Sonderfaellen it may be useful to derive a nichtlinare distortion of the movement.
  • Das hier beschriebene Verfahren kann auch zur Vorkorrektur der Bewegung eingesetzt werden, um in Verbindung mit weiteren Verfahren, insbesondere zusaetzlichen Sensoren, eine genauere Feinkorrektur zu ermoeglichen, z. The method described herein can also be used for pre-correction of the movement in order in conjunction with other methods, in particular additional sensors to provide a more accurate fine correction, z. B. fuer die Schweissbahnkorrektur. As for the welding path correction.
  • Im folgenden werden bevorzugte Ausfuehrungsformen der Erfindung unter Bezugnahme auf die Zeichnungen beschrieben, in denen: In the following preferred Ausfuehrungsformen of the invention are described with reference to the drawings, in which:
  • 1 1 eine Prinzipdarstellung einer ersten erfindungsgemaessen Ausfuehrungsform zeigt, a schematic representation of a first embodiment of the invention shows
  • 2 2 eine Prinzipdarstellung einer zweiten erfindungsgemaessen Ausfuehrungsform zeigt, a schematic representation of a second embodiment of the invention shows
  • 3 3 eine Prinzipdarstellung einer dritten erfindungsgemaessen Ausfuehrungsform zeigt, a schematic representation of a third embodiment of the invention shows
  • 4 4 eine Prinzipdarstellung einer vierten erfindungsgemaessen Ausfuehrungsform zeigt, a schematic representation of a fourth embodiment of the invention shows
  • 5 5 eine Prinzipdarstellung einer fuenften erfindungsgemaessen Ausfuehrungsform zeigt. a schematic diagram of a fifth embodiment of the invention FIG.
  • 1 1 zeigt eine Anordnung mit drei Kameras shows an arrangement with three cameras 10 10 , . 11 11 , . 12 12 und einem Strahlenbuendel bzw. Abbildungsstrahlengang and a Strahlenbuendel or imaging beam path 20 20 , . 21 21 , . 22 22 pro Kamera. per camera. Die Merkmale sind Fixmerkmale (Loecher, Kontur) The features are Fixmerkmale (holes, contour) 30 30 , . 31 31 , . 32 32 am Werkstueck the workpiece 2 2 . , Die Kameras the cameras 10 10 , . 11 11 , . 12 12 sind am Werkzeug are on the tool 1 1 befestigt. attached. Entweder wird das Werkzeug Either the tool 1 1 mit den Kameras bewegt oder das Werkstueck moves with the cameras or the workpiece 2 2 wird bewegt. is moved.
  • Die Fixmerkmale the Fixmerkmale 30 30 , . 31 31 , . 32 32 sind hier zwar als Punkte repraesentierbar, es muessen jedoch keine Punktkoordinaten berechnet werden, es genuegen einfache Bildvergleichsmethoden, um die Werkstuecklage zu bestimmen. Here are representable as points though, however, it must be calculated no point coordinates, to determine it suffice simple comparison methods Werkstuecklage. Ohne die erfindungsgemaessen Kennzeichen zu verlassen, koennen natuerlich auch Koordinatenwerte fuer Lagebeschreibungsvektoren (Definition siehe oben) herangezogen werden. Without departing from the inventive characteristics, can of course also coordinate values ​​for Location description vectors (defined above) can be used.
  • 2 2 zeigt die prinzipiell gleiche Anordnung, jedoch sind nur zwei Kameras shows the same arrangement in principle, but are only two cameras 10 10 , . 11 11 vorgesehen. intended. Dabei sind zwei Strahlenbuendel Here are two Strahlenbuendel 20a 20a , . 20b 20b mit einer einzigen Kamera with a single camera 10 10 realisiert. realized.
  • 3 3 zeigt die Verwendung eines Reflexes von einer Lichtquelle shows the use of a reflection from a light source 40 40 auf glatter, konvexer Oberflaeche, als Beispiel fuer ein Flexmerkmal on smooth convex surface, as an example for a Flex feature 34 34 . , Der Reflex stellt sich auf der Oberflaeche als Fleck dar, der bei Bewegung des Werkstueckes The reflex is presented on the surface as a stain that during movement of the workpiece 2 2 relativ zum Werkstueck wandert, dennoch ist er geeignet, daraus die Werkstuecklage abzuleiten. moves relative to the workpiece, but it is capable to derive the Werkstuecklage.
  • Es braucht weder die Position noch die Groesse noch die Form des Flecks bekannt zu sein; It needs neither nor the size to be known nor the shape of the spot position; es genuegt die Tatsache, dass der Fleck sich bei Bewegung des Werkstuecks aus Sicht der Kamera it is enough the fact that the spot on movement of Werkstuecks from the perspective of the camera 10 10 reproduzierbar aendert. reproducible changes.
  • 4 4 zeigt die Verwendung von strukturiertem Licht von Lichtquellen shows the use of structured light from light sources 50 50 , . 51 51 , . 52 52 , zur Erzeugung von Flexmerkmalen. , For the production of flex characteristics. Die Flexmerkmale The Flex features 60 60 , . 61 61 , . 62 62 sind projizierte Lichtmuster mit irgendeiner Struktur, die nicht weiter spezifiziert zu werden braucht; are projected light pattern with any structure that need not be further specified; weder die geometrische Form noch irgendwelche Abmessungen brauchen bekannt zu sein. neither the geometric shape still need to be aware of any dimensions. Willkuerlich wurde fuer das Beispiel ein ”wildes” Punktemuster, ein Kreisring und ein Rechteck verwendet. Arbitrarily a "wild" dot pattern, a circular ring and a rectangle has been used for the example. Solcherart Flexmerkmale sind fuer die Lage des Werkstueckes Flex of such features are for the position of the workpiece 2 2 signifikant. significant.
  • 5 5 zeigt die gleiche Anordnung wie shows the same arrangement as 4 4 , jedoch ist die projizierende Einrichtung However, the projected facility 50 50 , . 51 51 , . 52 52 nicht schraeg, sondern tangential ausgerichtet. not hatch, but tangentially aligned. Die Projizierende Einrichtung The projected facility 50 50 , . 51 51 , . 52 52 ist weitwinklig, so dass sich bei Bewegung des Werkstuecks is a wide angle, so that upon movement of the Werkstuecks 2 2 INNERHALB der Betrachtungs-Strahlenbuendel eine Verzerrung der Projektionsmuster ergibt, was zur Einhaltung der Signifikanzbedingung zwar grundsaetzlich ausreicht, aber bezueglich Stabilitaet und Genauigkeit weniger empfehlenswert ist als die strenge Einhaltung des Tangentenverbots. WITHIN the viewing Strahlenbuendel a distortion of the projection pattern emerges, which is sufficient to comply with the significance condition although in principle, but as regards stability and accuracy is less desirable than the strict observance of the tangent ban.
  • Die Berechnung der aktuellen Lage kann direkt aus den abgespeicherten Bildern abgeleitet werden, wenn man im Einrichtbetrieb den Arbeitsbereich in allen Freiheitsgraden mit ausreichend kleinen Schritten abtastet und Bildaufnahmen durchfuehrt, die Merkmalsbilder speichert und im Automatikbetrieb nach der Lage mit dem aehnlichsten Satz von Abbildungen sucht. The calculation of the current situation can be derived directly from the stored images when you scan the workspace in all degrees of freedom in setup with enough small steps and video recordings through leads, stores the feature images and studied in automatic mode after the location with the most similar set of illustrations. Diese Brute-Force-Methode setzt lediglich voraus, dass sich in verschiedenen Lagen reproduzierbar unterschiedliche, der Lageinformation innerhalb des Arbeitsbereichs eindeutig zuordenbare k-Tupel (k = Anzahl der Abbildungsstrahlengaenge oder Strahlenbuendel) von Merkmalsbildern ergeben. This brute force method requires only revealed that reproducibly different in different positions, the position information uniquely assignable within the working region k-tuples (k = number of Abbildungsstrahlengaenge or Strahlenbuendel) feature images. Diese Voraussetzung wird im folgenden einfach Signifikanzbedingung genannt. This condition is simply called significance condition below.
  • Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung und wird weiter unten diskutiert. The compliance of the significance condition is generally a necessary condition of the invention and is discussed further below.
  • Das Verfahren laeuft vorzugsweise auf das Durchsuchen einer mehr oder weniger grossen Datenbank von Lagebeschreibungsvektoren hinaus. The method preferably runs out to search a more or less large database of location Description vectors. Es kann eine grosse, hochdimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation und mit langen Vektoren arbeitet. It may be necessary a large, high-dimensional database, especially if you work without interpolation and with long vectors. Fuer das effiziente Durchsuchen solcher Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksysteme bereit. For the efficient searching such databases are methods from the working area of ​​database systems ready.
  • Bezueglich Arbeitsweise im Automatikbetrieb kann man unterscheiden: As regards operation in automatic mode can be distinguished:
  • – Nach Abtastweite: - After scanning width:
    • – Suche in einer Datenbank von Lagebeschreibungsvektoren, die durch feine Abtastung des Arbeitsbereiches entsteht. - Search in a database of location Description vectors created by fine sampling of the work area.
    • – interpolierendes Arbeiten mit einer Datenbank, die durch grobe Abtastung des Arbeitsbereiches entsteht. - interpolating working with a database that is created by coarse sampling of the work area.
  • Im letzten Fall ist die Datenbank wesentlich kleiner, da der Arbeitsbereich nur grob abgetastet wurde. In the latter case the database is much smaller because the workspace was only sampled coarse. Anschliessend wird aus mehreren benachbarten Lagekandidaten, ueber Interpolieren der Aehnlichkeitswerte, die Lage bestimmt. the situation is then made of a plurality of adjacent location candidates, by interpolating the Aehnlichkeitswerte determined.
  • – Nach Datenbankinhalt: - After database content:
    • – Arbeiten mit grossen Lagebeschreibungsvektoren in Form von Merkmalsbildern - Working with great location description vectors in the form of feature images
    • – Arbeiten mit kompakteren Lagebeschreibungsvektoren (grundsaetzlich sind nur 6 Vektorkomponenten erforderlich, um bei 6 Freiheitsgraden eine Lagekorrektur mit nur einer Bildaufnahme pro Buendel oder Abbildungsstrahlengang zu realisieren). - Working with compact location description vectors (only 6 vector components are required in principle to realize at 6 degrees of freedom, a position correction with only one image recording per bundle or imaging beam path).
  • Diese Methoden koennen auch miteinander kombiniert werden. These methods can also be combined.
  • Die Interpolation mit reinen Bilddaten ist unter bestimmten Voraussetzungen realisierbar: die Bildinhalte muessen – moeglichst in verschiedenen Richtungen – strukturiert sein, es sollten grobe und moeglichst auch feine Strukturen vorhanden sein). The interpolation with pure image data can be achieved under certain conditions: the image contents must - preferably in different directions - be structured, it should gross and possibly also fine structures to be present).
  • Die den Strahlenbuendeln (auch Abbildungsstrahlengang genannt) zugeordneten zweidimensionalen Koordinatensysteme sind normalerweise (aber nicht notwendigerweise) eben; The the Strahlenbuendeln (also called imaging beam path) associated with the two-dimensional coordinate systems are usually (but not necessarily) flat; sie koennen auch koplanar sein. they can also be coplanar. Verschiedenen Strahlenbuendel werden entweder durch verschiedene Kameras realisiert ( are different Strahlenbuendel realized either by different cameras ( 1 1 ) oder durch dieselbe Kamera realisiert ( ) Or by the same camera realized ( 2 2 , dort umfasst Kamera Includes camera there 11 11 das Buendel the bundle 31 31 und Kamera and camera 10 10 die Buendel the bundle 20a 20a und and 20b 20b ). ).
  • Die Bereiche dürfen sich grundsätzlich überlappen, sind jedoch vorteilhafterweise disjunkt oder mit nur geringer Überlappung realisiert. The areas may overlap in principle, but are disjoint or advantageously realized with little overlap.
  • Die Abgrenzung der Strahlenbündel kann durch mechanische Begrenzung von Bildfeldern geschehen, aber auch – insbesondere bei Realisierung mehrerer Strahlenbündel durch dieselbe Kamera – verfahrensmäßig durch Aufteilung des gesamten Kamerabildes in Bereiche. The demarcation of the beams can be accomplished by mechanical limitation of image frames, but also - in particular in the realization of multiple radiation beam by the same camera - procedurally by dividing the entire camera image into regions. Die den Bereichen entsprechenden Bildausschnitte (Merkmalsbilder) bzw. davon abgeleitete Daten werden im Einrichtbetrieb gespeichert bzw. im Automatikbetrieb weiterverarbeitet. The areas of the corresponding image segments (feature image) or data derived therefrom are stored in the set-up or further processed in automatic mode.
  • Falls alle Strahlenbündel durch dieselbe Kamera realisiert werden, ist zur Einhaltung der Signifikanzbedingung erforderlich, daß nicht alle Strahlen parallel sind; If all beams are realized by the same camera, is required to meet the significance condition that not all of the rays are parallel; ein telezentrischer Strahlengang ist in diesem Fall also ausgeschlossen. a telecentric beam path is therefore excluded in this case.
  • Bei Zentralprojektion ist die Signifikanzbedingung umso sicherer erfüllbar, je besser das Tangentenverbot erfüllt ist; In central projection, the significance condition is fulfilled, the safer, the better the tangent ban is complied with; dies wiederum ist bei Verwenden einer einzelnen Kamera umso besser erfüllbar; again this is all the better fulfilled when using a single camera; je weitwinkliger das Objektiv ist. each wide-angle is the lens. In der Praxis reicht in diesem Fall ein Objektfeldwinkel von mehr als ca. 20 Grad; In practice enough in this case an object field angle greater than 20 degrees; bevorzugt mindestens 45 Grad; preferably at least 45 degrees; bei ca. 90 Grad Objektfeldwinkel ist das Tangentenverbot am besten erfüllbar: dann können in einer Ebene liegende Werkstückbereiche alle mit ca. 45 Grad zur Tangente geschnitten werden. at about 90 degrees object field angle, the tangent prohibition is best fulfilled: then lying in a plane workpiece portions can all be cut by about 45 degrees to the tangent.
  • Entsprechendes gilt für die Verwendung von insgesamt zwei Kameras, wobei zwei Strahlenbündel durch eine von diesen zwei Kameras realisiert sind: das Tangentenverbot ist umso sicherer erfüllbar, je weitwinkliger das Objektiv dieser Kamera ist. The same applies to the use of a total of two cameras, wherein two beams are realized by one of these two cameras: the tangent prohibition is more secure satisfiable each wide-angle lens is this camera.
  • Falls mehrere Strahlenbündel durch dieselbe Kamera realisiert werden, ist es auch ausreichend, das Herausgreifen der Werkstückbereiche dieser Kamera nicht explizit, sondern implizit durchzuführen: Der Bildvergleich zweier Werkstückbereiche mit den entsprechenden Bereichen aus dem Einrichtbetrieb kann zusammenfassend in einem einzigen Schritt mit je einem Bild aus Einrichtbetrieb und Automatikbetrieb realisiert werden. If several beams are realized by the same camera, it is also sufficient, not explicit, but implicit perform the picking of the workpiece portions of this camera: The comparison of two regions of the workpiece to the corresponding regions from the set-up can collectively in a single step with one image from set- and automatic operation can be realized.
  • In diesen Vergleich können schadlos durchaus andere Partien des Bildes außerhalb der Bereiche einbezogen sein; In this comparison quite different parts of the picture may be incorporated outside the areas harmless; man kann dann z. you can then z. B. auch mit Gesamtbildern arbeiten, denn wenn die Bildpartien, die nicht die Tangentenbedingung erfüllen, sich bei Bewegung der Bildaufnahmeeinrichtung gegen das Werkstück nicht verändern, liefern diese Bildpartien zur Bildauswertung zwar keinen Beitrag, es ist aber auch nicht schädlich. B. also work with all images, because if the image areas that do not meet the tangent condition does not change with movement of the imaging device against the workpiece, supply these parts of the image for image evaluation Although no contribution, but it is not harmful. In diesem Fall werden die zusammengefaßten Bereiche als einzelner Bereich angesprochen, der über einen ihm zugeordneten Strahlengang abgebildet wird. In this case the combined areas to be addressed as a single region that is imaged via an associated him beam path.
  • Ein Bereich kann im Sonderfall auch den ganzen aus dem Blickwinkel der betreffenden Kamera sichtbaren Teil der Werkstückoberfläche umfassen. An area may also include the entire visible from the point of view of the respective camera portion of the workpiece surface in a special case.
  • Die Strahlenbuendel entsprechen nicht notwendigerweise einer Zentralprojektion, wie in The Strahlenbuendel not necessarily correspond to a central projection, as in 1 1 dargestellt; shown; sie koennen beispielsweise auch parallel sein, wie bei der Verwendung von telezentrischen Objektiven (Parallelprojektion). for example they may also be parallel, as in the use of telecentric lenses (parallel projection).
  • Die Begrenzung der Strahlenbuendel ist nicht notwendigerweise kreisfoermig, wie in The limitation of the Strahlenbuendel is not necessarily circular, as in 1 1 dargestellt; shown; die ausgewerteten Bereiche koennen beliebig abgegrenzt sein. the evaluated areas can be defined arbitrarily.
  • Verschiedene Strahlenbuendel koennen auch mit der selben Kamera in verschiedener Position und ggf. in verschiedener Einstellung (z. B. Zoom), zeitlich nacheinander realisiert werden. Various Strahlenbuendel can with the same camera in different positions and possibly in different settings (eg. As zoom) be implemented consecutively.
  • Im Rahmen der vorliegenden Erfindung können die Bildaufnahmen sowohl im Stillstand als auch während der Bewegung erfolgen zu Zeitpunkten, wenn sich die Systemkomponenten in den betreffenden Lagen befinden. In the present invention, the image recordings can be carried out both during standstill and during movement at times when the system components are located in the respective layers.
  • Das erfindungsgemäße Verfahren ist in beiden Fällten dabei ohne Einschränkung einsetzbar. The inventive method is applicable in both precipitated there without restriction. Die Praxis der industriellen Bildverarbeitung bietet viele bewährte Möglichkeiten der Bildaufnahme in der Bewegung, durch die z. The practice of industrial image processing offers many proven ways of image capture in motion by the z. B. das Problem der Bewegungsunschärfe unterbunden wird (z. B. Blitzbeleuchtung, Shuttertechnik, CMOS-Sensoren). B. the problem of motion blur is prevented (z. B. flash illumination shutter technique, CMOS sensors).
  • Das Verfahren kann auch mit alternativ ”umschaltbaren” Werkstueckbereichen arbeiten. The process can also work with alternative "switchable" Werkstueckbereichen. Beispiel: zur Lagekorrektur eines Schraubers fuer die Montage eines PKW-Rades mit 6 Schrauben, seien zwei alternative Saetze von je drei Werkstueckbereichen in einer einzigen, (kurzbrennweitigen, um das weiter unten erlaeuterte Tangentenverbot gut einzuhalten) Kamera definiert. For example, for correcting the position of a screwdriver for the assembly of a car wheel with 6 screws, two alternative sentences are defined by three Werkstueckbereichen in a single (short focal length in order to maintain the illustrated below tangent prohibition good) camera. Die Bereiche sind so gewaehlt, dass unabhaengig von der Drehlage der Radnabe in mindestens einem der Saetze von Bildbereichen in jedem der drei Bereiche immer ein Schraubenloch sichtbar ist. The areas are chosen such that a screw hole is visible regardless of the rotational position of the hub in at least one of the sets of image regions in each of the three areas always. Die den Saetzen zugeordneten Mengen von Bereichen brauchen grundsaetzlich nicht disjunkt zu sein. The rates charged to the allocated quantities of areas need basically not to be disjoint.
  • Die Beziehung zwischen der Ausgangslage und den weiteren Lagen kann in beliebigen Einheiten gemessen sein, die diese Beziehung beschreiben, vorzugsweise in der Anzahl der Schritte von Verfahrachsen oder in Raumkoordinaten-Inkrementen. The relationship between the initial position and the further layers may be measured in any units that describe this relationship, preferably in the number of steps of linear tracks or in space coordinate increments.
  • Das Speichern von Relativlagen (Schritt f) kann explizit geschehen durch Abspeichern der Werte, aber auch implizit, indem man beispielsweise in einer Programmschleife lediglich entsprechende Schrittweiten und Endwerte angibt. Storing relative positions (step f) can be done explicitly by storing the values, but also implicitly, for example by indicating only appropriate step sizes and end values ​​in a program loop.
  • Im Automatikbetrieb kann zwischen Bildaufnahmen eine definierte Bewegung des Roboters liegen In automatic mode, a defined movement of the robot can be between image capture
    • a) um die Eindeutigkeit der Zuordnung mit weniger Kameras zu erreichen und/oder a) to achieve and / or to the uniqueness of the association with fewer cameras
    • b) zur Gewinnung von Redundanzen und dadurch Erhoehung der Genauigkeit und Stoersicherheit. b) for the extraction of redundancy, thereby increasing the accuracy and noise immunity.
  • Unabhaengig davon koennen auch mehrere Bildaufnahmen in gleicher Roboterposition zur Erhoehung der Genauigkeit und Stoersicherheit sinnvoll sein. Irrespective of this can be useful also several images in the same robot position to the increase of the accuracy and noise immunity.
  • Mit dem erfindungsgemaessen Verfahren kann sowohl eine Steuerung als auch eine Regelung (aehnlich visual Servoing, mit mehreren Bildaufnahmen pro Strahlenbuendel) realisiert werden. With the inventive method, both a control and a control (similar visual servoing, a plurality of image frames per Strahlenbuendel) can be realized.
  • Mit dem erfindungsgemaessen Verfahren kann vorzugsweise auch eine mehrstufige, hierarchische Bestimmung der Lage realisiert werden: Im einem ersten Schritt wird eine grobe Lagebestimmung realisiert, auf Basis einer Datenbasis mit grober Abtastung, worauf der Roboter die Lage dementsprechend zunaechst grob korrigiert. With the inventive method a multi-level hierarchical determination of the position can preferably be realized: in a first step a rough determination of position is realized on the basis of a data base with a coarse scan, whereupon the robot accordingly roughly corrects the position initially. In den folgenden Schritten werden Datenbasen mit zunehmend kleineren Fangbereichen und zunehmend kleineren Abtastweiten verwendet. The following steps databases are used with increasingly smaller fishing areas and increasingly smaller Abtastweiten.
  • Die Signifikanzbedingung ist wie nachfolgend beschrieben erzielbar: The significance condition is achieved as described below:
    Wir gehen zunaechst gedanklich von 3 ausgezeichneten Punkten aus. We will initially mentally from three excellent points.
  • In [Fis] wird gezeigt, dass aus der zweidimensionalen Abbildung von 3 ausgezeichneten Punkten mit bekanntem Abstand, ueber eine einzelne Kamera mit bekannten inneren Parametern, die aeusseren Kameraparameter berechnet werden koennen. In [Fis] it is shown that from the two-dimensional image of 3 special points a known distance, by a single camera with known internal parameters can be calculated, the outer camera parameters. Dies entpricht umgekehrt der Bestimmung der Lage des 3-D-Punktetripels bei bekannten Kameraparametern. This Complies vice versa, the determination of the position of the 3-D Punktetripels with known camera parameters. Umformung der die Aufgabe beschreibenden geometrischen Gleichungen [Fis] fuehren zu einer Gleichung vierten Grades mit bis zu 4 diskreten, reellen positiven Loesungen. Transformation of the object descriptive geometrical equations [Fis] lead to a fourth degree equation with up to 4 discrete, real positive solutions. Diese Loesungen koennen jedoch grundsaetzlich nahe beisammen liegen. However, these solutions can be together basically close.
  • Wenn es gelingt, durch Wahl der Geometrie der Strahlenbuendel zu garantieren, dass maximal eine Loesung im Arbeitsbereich liegen kann, ist bei 3 ausgezeichneten Punkten und einer Kamera die Signifikanzbedingung einhaltbar. If we succeed to guarantee, by selecting the geometry of Strahlenbuendel that a maximum of a solution may lie in the work area, excellent at 3 points and a camera is the significance condition maintainable. Die Loesungen sollten also soweit auseinanderliegen, dass sich im Arbeitsbereich nur eine Loesung befinden kann. The solutions should therefore as far apart that can be located in the work area only a solution.
  • Mehrdeutigkeiten entstehen ambiguities arise
    • – wenn Strahlenbuendel parallel zu den translatorischen Freiheitsgraden des Roboters sind, - if Strahlenbuendel are parallel to the translational degrees of freedom of the robot,
    • – aufgrund der Rotationsfreiheitsgrade. - due to the rotational degrees of freedom.
  • Wenn bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel tangential schneiden, fallen 2 diskrete Loesungen zusammen. When the excellent points tangentially intersect the rays of Strahlenbuendel at rotations fall 2 discrete solutions together. Entsprechende anschauliche Betrachtungen werden in [Wil] durchgefuehrt fuer den 1-Kamera-Fall; Corresponding descriptive analyzes are conducted in [Wil] for the 1-camera case; sie sind fuer den hier vorliegenden Fall mit im allgemeinenen mehreren Kameras topologisch aequivalent: Wenn die rotierenden ausgezeichneten Punkte die Strahlenbuendel beinahe tangential schneiden, liegen die Schnittpunkte nah beisammen. they are topologically equivalent for the present case, having a plurality of commonly held cameras: if the rotating excellent points cut the Strahlenbuendel almost tangentially, the intersection points are close together. Wenn sie sie in einem groesseren Winkel (z. B. > 20 Grad) schneiden, liegen sie weit auseinander. If they intersect at a bigger angle (z. B.> 20 degrees), they are far apart.
  • Bei nicht zu grossem Arbeitsbereich kann also sichergestellt werden, dass im Arbeitsbereich nur eine Loesung liegt. At not too large work area so it can be ensured that the working area is only one solution.
  • Bedingung ist bei ausgezeichneten Punkten also, dass bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel nicht tangential, sondern moeglichst in einem groesseren Winkel (z. B. > 20 Grad) schneiden. Condition is in marked points so that the excellent points not tangential with rotations of the rays of the Strahlenbuendel but possible at a greater angle (z. B.> 20 degrees) intersect. Diese Bedingung, zusammen mit der Forderung, dass Strahlenbuendel nicht parallel zu den translatorischen Freiheitsgraden des Roboters sind, wird im folgenden Tangentenverbot genannt. This condition, together with the requirement that Strahlenbuendel are not parallel to the translational degrees of freedom of the robot, hereinafter referred to as tangent ban. Sie ist leicht und auf vielfaeltige Weise einzuhalten und beispielsweise dann erfuellt, wenn die Strahlenbuendel ein Dreibein darstellen und sich der Drehpunkt in der Mitte der Grundflaeche des Dreibeins befindet und die Drehachsen nicht durch die Merkmale gehen. It is light and observed in various ways and, for example, then met when the Strahlenbuendel represent a tripod and the pivot point is in the center of the base of the tripod and the rotational axes do not go through the features.
  • Das Tangentenverbot ist bei Flexmerkmalen auch dann erfuellt, wenn die LICHT-Strahlenbuendel dort, wo sie die Flexmerkmale treffen, nicht tangential zum Kreis um die Rotationsachsen sind. The tangent prohibition is also satisfied with Flex features when the LIGHT Strahlenbuendel, are not where they make the Flex features tangent to the circle around the axes of rotation.
  • Das Tangentenverbot ist ein Beispiel fuer die Erreichung der Signifikanzbedingung. The tangent ban is an example for achieving the significance condition. Das Tangentenverbot ist also eine hinreichende, aber nicht notwendige Bedingung fuer die Erreichung der (notwendigen) Signifikanzbedingung. The tangent ban is therefore a sufficient but not necessary condition for the achievement of the (necessary) significance condition. Siehe Beispiel See example 5 5 : hier ist die Signifikanzbedingung auch ohne Einhaltung des Tangentenverbots erfuellt. : Here the significance condition is met even without compliance with the tangent ban.
  • Andererseits ist die Einhaltung des Tangentenverbots vorteilhaft, wie man aus Vergleich von On the other hand, compliance with the ban tangent is advantageous, as seen from comparison of 4 4 und and 5 5 entnehmen kann: in can be found: in 5 5 verzerren sich bei Koerper-Rotation die abgebildeten Muster nur geringfuegig, waehrend sie sich in the patterns shown to distort during Koerper rotation only marginally, while they are in 4 4 deutlich veraendern. significantly change in yourself.
  • Da es sich bei dieser Erfindung um die KORREKTUR einer Bewegung handelt, sind die Arbeitsbereiche in der Regel ausreichend klein, um z. As it is, this invention is the CORRECTION a movement that work areas are usually small enough for. B. sicherstellen zu koennen, dass eine Rotationsachse nicht durch ein Merkmal hindurchgeht. B. make sure to be able that an axis of rotation does not pass through a feature.
  • Fuer die geometrischen Betrachtungen setzen [Fis] und [Wil] die Kenntnis der Punkteabstaende im Raum voraus; For the geometric considerations [FIS] and [Wil] require knowledge of Punkteabstaende in space; für die vorliegende Erfindung ist diese Kenntnis nicht unbedingt erforderlich. for the present invention, this knowledge is not required. Die Ueberlegungen von [Fis] und [Wil] sind hilfreich, um zu erkennen, unter welchen topologischen geometrischen Voraussetzungen die Signifikanzbedingung erzielbar ist. The considerations of [FIS] and [Wil] are helpful to identify under what conditions the topological geometric significance condition can be achieved.
  • Die Loesbarkeits- und Eindeutigkeits- und Stabilitaetsbetrachtungen sind abstrakt-geometrische Ueberlegungen und von den konkreten Abstandsmassen unabhaengig. The Loesbarkeits- and uniqueness and Stabilitaetsbetrachtungen are abstract-geometric considerations and on the specific distance mass regardless. Die fuer die Bestimmung der Lageabweichung erforderliche Zusatzinformation stammt aus den im Einrichtbetrieb gespeicherten Daten. The required for determining the position deviation Additional information comes from the data stored in the setup data. Lageinformation wird nur implizit bestimmt. Location information is determined only implicitly.
  • Bleibt noch der Uebergang von der Vermessung der Abbildung von ausgezeichneten Punkten zum Abspeichern und Vergleichen von allgemeinen Lagebeschreibungsvektoren, die im Extremfall direkt als Merkmalsbilder gegeben sein koennen: That leaves the transition from the measurement of the image of excellent points for storing and comparing general location description vectors that can be given in extreme cases directly as feature images:
    Ueber Korrelationsverfahren kann man bekanntermassen ohne ausgezeichnete Punkte die Verschiebung und Verdrehung eines Bildes gegenueber einem Referenzbild berechnen, vorausgesetzt die Bilder besitzen gewisse naeherungsweise reproduzierbare Strukturen, die in mindestens zwei Richtungen ausgepraegt sind. By correlation method can be known to be excellent without the displacement and rotation points of an image from a reference image to calculate, provided that the images have certain naeherungsweise reproducible structures which are marked in at least two directions. Solche Verfahren gestatten die Verschiebungsberechnung auch beim Vorhandensein von Stoerungen. Such methods allow the displacement calculation even in the presence of disturbances.
  • Im allgemeineren Fall verfuegt man ueber keinerlei positionsmaessig erfassbare Merkmale, also entweder nur direkt ueber Bilder oder Bildbeschreibungsvektoren mit Massen, die keine Positionen in Bildern angeben. In the general case one has no positionsmaessig detectable features, so either directly over images or image description vectors with masses that do not specify positions in pictures. Solche Masse sind z. Such measures are, for. B. Groessenveraenderung, Verdrehung, Verzerrung, Helligkeits- und Farbveraenderung, Ortsfrequenzveraenderungen. B. Groessenveraenderung, twisting, distortion, brightness and color change, spatial frequency Vera end stanchions. Diese Aenderungen koennen auch durch geeignete Beleuchtungsmassnahmen gezielt herbeigefuehrt werden, beispielsweise durch strukturiertes Licht oder Moire-Muster auf dem Werkstück. These changes can be brought about deliberately by suitable lighting measures, for example by structured light or moire patterns on the workpiece.
  • Dieser allgemeine Fall kann auf den Fall mit ausgezeichneten Punkten zurueckgefuehrt werden, indem man sich vorstellt, dass bei Bewegung des Werkstuecks im Raum sich Bildstrukturen und damit verbundene Wertetupel mit in einem monotonen Zusammenhang tendenziell so veraendern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall waere. This general case can be partially ascribed to the case with excellent points, by imagining that change in yourself when moving the Werkstuecks in space image structures and related tuples with a monotonous connection tends so as excellent for measurement of image coordinates of points of case would be.
    • – Wertevergleich: Zur eindeutigen Zuordnung kann zum Beispiel ein auf dem Werkstueck festes Gittermuster verwendet werden, dessen Gitterweite und Orientierung sich bei der Roboterbewegung in der Abbildung veraendert; - comparison of values: For unambiguous assignment, for example, a solid on the workpiece grid pattern may be used, the grid spacing and orientation is changed in the robot motion in the picture; es genuegt die Berechnung der Gitterweite und der Orientierung, ohne Positionsdaten zu berechnen. It is sufficient to calculate the grid spacing and orientation, without calculating position data.
    • – Bildvergleich: Ein begrenztes Schachbrettmuster zum Beispiel, dessen Rastergroesse und Orientierung sich bei der Roboterbewegung in der Abbildung veraendert, kann durch Bildvergleich einem von mehreren vorher gespeicherten Schachbrettmustern zugeordnet werden, ohne die jeweilige Rastergroesse und die Orientierung direkt zu berechnen (ein Schachbrett ist fuer direkten Bildvergleich guenstiger als beispielsweise ein Gitter mit feinen Linien). - Comparison: A limited checkerboard pattern, for example, the Rastergroesse and orientation is changed in the robot motion in the picture, can be assigned to one of several previously stored checkerboard patterns by comparison, without calculating the respective Rastergroesse and orientation directly (is a checkerboard for direct comparison cheaper than, for example, a grid with fine lines).
  • Damit ist plausibel gemacht, dass mit der angegebenen Anordnung auch bei direktem Bildvergleich, ohne ueber irgendwelche von den Bildern abgeleitete Positionswerte zu verfuegen, die Signifikanzbedingung eingehalten werden kann. Thus is made plausible that the significance condition can be met using the specified arrangement even in direct comparison without are equipped derived position values ​​over any of the images.
  • Bleibt noch der Uebergang von Fixmerkmalen auf Flexmerkmale. That leaves the transition from Fixmerkmalen on Flex features. Hier gilt eine aehnliche Ueberlegung: Auch hier sind Anordnungen realisierbar, mit denen Bildstrukturen entstehen, aufgrund derer skalare Wertetupel sich tendenziell so monoton veraendern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall ist. Here is a similar consideration applies: Again, arrangements can be realized with which image structures are created that could cause scalar value tuples to change in yourself tends to be so monotonous, as is the case with measurement of image coordinates of excellent points.
  • Beispiel eines Flexmerkmals: Die Erzeugung eines Gittermusters oder eines Schachbrettmusters mittels strukturierter Beleuchtung fuehrt bei geeigneter Beleuchtungsgeometrie auf den gleichen oben geschilderten Effekt, ohne dass solche Muster auf dem Werkstueck vorhanden sein muessen. Flex example of a characteristic: The generation of a grating pattern or a checkerboard pattern using structured illumination, with suitable illumination geometry leads to the same above-described effect without such pattern must be present on the workpiece. Siehe Beispiele see examples 4 4 und and 5 5 . ,
  • Zu Flexmerkmalen siehe auch das Beispiel Flex features see the example 3 3 . ,
  • Im folgenden werden Vorteile der Erfindung erlaeutert. The following advantages of the invention are explained.
  • Es muessen nicht unbedingt konventionelle geometrische Merkmale wie Kanten, Ecken, Loecher aufgenommen werden. It must not necessarily be included conventional geometric features such as edges, corners, holes. Es genuegen grundsaetzlich Abbildungen, aus denen sich irgendwelche reproduzierbare Bildstrukturen ergeben, die sich in irgendeiner Weise bei Veraenderung der Aufnahmegeometrie aendern und in ihrer Gesamtheit eine eindeutige Zuordnung zur Lage ermoeglichen. It basically meet illustrations, that give rise to any reproducible image structures that are changing in any way involved in alteration of the recording geometry and enable accurate correlation with the situation in its entirety.
  • Dazu gibt es vielerlei Moeglichkeiten. In addition there are many possibilities.
  • Merkmale im oben angegebenen Sinn erfuellen diese Forderung bei Einhalten des oben geschilderten Tangentenverbots. Features in the sense described above comply with this requirement in compliance with the above-described tangent ban. Solche Merkmale koennen verwendet werden, ihre Geometrie braucht jedoch nicht bekannt zu sein. Such features can be used, but their geometry does not need to be known.
  • Auch geeignet zur Auswahl der zu erfassenden Bereiche sind beispielsweise Also suitable for the selection of the detected areas, for example,
    • – Oberflaechenformen wie Sicken, Woelbungen, - Oberflaechenformen as beads, buckles,
    • – kuenstlich erzeugte Flexmerkmale (so), - artificially created Flex characteristics (see above),
    • – inhomogene Strukturen wie reproduzierbare Uebergaenge von Oberflaechenstrukturen; - inhomogeneous structures such reproducible Uebergaenge of Oberflaechenstrukturen; beliebige metrisch undefinierte, aber in der optischen Abbildung reproduzierbare Merkmale. any metric undefined but reproducible in the optical imaging characteristics.
  • Eine analytisch oder experimentelle Bestimmung der visuellen Jakobimatrix oder eines funktionellen (z. B. stueckweise linear approximierenden) Zusammenhangs zwischen Roboterbewegung und der Bewegung konventioneller (dh mit Positionsdaten verknuepfbarer) Bildmerkmale ist nicht erforderlich. An analytical or experimental determination of the visual Jacobian matrix or a functional (z. B. stueckweise linearly approximating) the relationship between the robot movement and the movement of conventional (ie, position data linkable) image features is not required. Im allgemeinen Fall des Arbeitens mit einer grossen Bild-Datenbasis werden von den Bildern ueberhaupt keine Daten abgeleitet. In the general case of working with a large database of images are at all derived from images data. Eine Darstellung irgendeines funktionellen Zusammenhangs eruebrigt sich. A representation of any functional relationship is unnecessary.
  • Das hier vorgestellte Verfahren ist nicht darauf angewiesen, dass gepulstes, moduliertes oder strukturiertes Licht eingesetzt wird. The method presented here is not reliant on pulsed, modulated or structured light is used. Das hier vorgestellte Verfahren kann grundsaetzlich mit beliebigem Licht arbeiten, z. The method presented here can work in principle with any light such. B. dem Tageslicht. B. daylight. Wird eine spezielle Beleuchtung verwendet, so kann diese durchaus zur Erhoehung der Stoeranfaelligkeit gegen Fremdlicht zusaetzlich gepulst oder moduliert oder auf einen bestimmten Spektralbereich begrenzt oder strukturiert werden. A special lighting is used, it may well be additionally pulsed to the increase of the susceptibility to interference from ambient light or modulated or limited to a specific spectral range or structured. Dies ist jedoch nicht grundsaetzlich erfoderlich; However, this is not basically erfoderlich; das Verfahren faellt also weder unter b1) noch unter b2) und ist – auch bei zusaetzlicher Verwendung von strukturiertem oder gepulstem oder moduliertem Licht – nicht mit den messtechnischen Problemen der Verfahren b1) und b2) verbunden. Thus, the method does not fall under b1) or under b2), and - even with the additional use of structured or pulsed or modulated light - not associated with the metrological problems of the method b1) and b2).
  • Bei der hier vorgestellten Erfindung betrachten im Gegensatz zu Stereo-Verfahren die Kameras im allgemeinen unterschiedliche Merkmale, ua mit dem Vorteil, dass grosse Werkstuecke leichter und genauer zu erfassen sind. In the invention presented here as opposed to stereo process, the cameras look generally different features, among others, the advantage that large workpieces are more easily and accurately capture. Je weiter die Merkmale auseinander liegen, desto genauer ist die Bewegungskorrektur moeglich. The further the features apart, the more accurate the motion correction is possible. Grundsaetzlich reicht andererseits jedoch, im Gegensatz zu Stereosystemen, eine einzige Kamera aus. Basically, enough other hand, however, as opposed to stereo systems, a single camera.
  • Im Gegensatz zu modellbasierten Systemen braucht die Werkstueckgeometrie oder die Lage der Merkmale in einem Werkstueck-Koordinatensystem nicht bekannt zu sein, ja sogar ein Werkstueckkoordinatensystem braucht nicht definiert zu sein. In contrast to model-based systems, the Werkstueckgeometrie or the position of features in a workpiece coordinate system need not be known, even a workpiece coordinate need not be defined. Die Aufgabe ist geloest, indem die Abweichung der Werkstuecklage gegenueber der Standardlage implizit bestimmt wird, ohne dass die geometrischen Verhaeltnisse bei Standardlage bekannt zu sein brauchen. The task is solved by the deviation of the Werkstuecklage opposite the standard position is determined implicitly, without the geometric relationships need to be familiar with standard situation. Die wirkliche Lage des Werkstuecks im Raum braucht prinzipiell weder in der Standardlage noch in der im Automatikbetrieb angetroffenen Lage bekannt zu sein und auch nicht berechnet zu werden. The real position of the Werkstuecks in the room needs to be known in principle and are not calculated in either the default location in the encountered in automatic mode position.
  • Ein Kalibrieren des Robotersystems auf Weltkoordinaten, wie es beispielsweise in [Ben] mittels Bewegung von Kameras mit Blick auf eine Kalibrierplatte realisiert wird, entfaellt. A calibration of the robot system to the world coordinate, as implemented, for example, in [Ben] by means of motion of cameras with a view of a calibration plate omitted.
  • Im Gegensatz zu konventionellen Stereosystemen braucht die Kamerageometrie nicht bekannt zu sein. Unlike conventional stereo systems, the camera geometry does not need to be known. Die Lage der ebenen Koordinatensysteme im Raum braucht nicht bekannt zu sein. The location of the plane coordinate systems in the area does not need to be known. Eine Berechnung der inneren oder aeusseren Kamerakoordinaten entfaellt damit. A calculation of the inner or outer camera coordinate is thus eliminated.
  • Ohne mathematische Mehrdeutigkeitsprobleme koennen auch Systeme mit mehr als 6 Roboter-Freiheitsgraden realisiert werden. Without mathematical ambiguity, systems with more than 6 robotic degrees of freedom can be realized. Soll z. If, for. B. ein Knickarmroboter eine bestimmte Lage des Greifers oder Werkzeugs im Raum herstellen, so kann es vorkommen, dass bestimmte Lagen mit mehreren verschiedenen Roboterstellungen erreicht werden koennen. B. an articulated arm robot produce a particular position of the gripper or tool in space, it is possible that certain layers may be achieved with several different robot positions. Die damit verbundenen mathematischen Probleme existieren hier nicht, da aufgrund des Vorzeigens in verschiedenen Robotereinstellungen eben nur diese (und ggf. dazu benachbarte) Einstellungen fuer den Automatikbetrieb in Frage kommen. The mathematical problems associated not exist here since come into question because of the Exhibiting in different robot configurations provide only these (and possibly adjacent thereto) settings for automatic operation.
  • Es ist nicht erforderlich, kuenstliche Merkmale anzubringen, wie z. It is not necessary to install artificial features such. B. Klebepunkte. B. adhesive dots.
  • Das Verfahren gestattet eine steuernde oder regelnde Vorgehensweise. The method allows a controlling or regulating procedure.
  • Das Verfahren ist einsetzbar, ohne dass positionsmaessig erfassbare Merkmale in den Bildern verfuegbar sein muessen. The method can be used without need to be available that positionsmaessig detectable features in the images.
  • In einem konkreten System ist der Uebergang von Fixmerkmalen zu Flexmerkmalen grundsaetzlich realisierbar allein durch Aendern der Beleuchtungseinrichtung, ohne an den restlichen Komponenten wie Roboter, Steuerung, insbesondere Bildauswertungsverfahren, etwas zu aendern. In an actual system, the transition from Fixmerkmalen to flex features is basically realized only by changing the illumination system without the remaining components, such as robot control, in particular image analysis method, to change anything.
  • Das Verfahren gestattet eine Selbstueberwachung, indem verschiedene Ausgangsstellungen des Roboters definiert werden und fuer diese Stellungen, jeweils nach einer korrigierenden Roboterbewegung, mit zusaetzlichen Bildaufnahmen, das Erreichen des Korrekturziels ueberprueft wird. The method allows a Selbstueberwachung by using different starting positions of the robot are defined, and for these positions, each time after a correcting robot motion, with additional image recordings, the reaching of the correction target is checked. Die Werkstuecklage braucht hierfuer nur konstant zu sein und braucht nicht der Standardlage zu entsprechen. The Werkstuecklage need here for just being constant and need not correspond to the standard position.
  • Die bei der Selbstueberwachung auftretende Abweichung kann fuer eine automatische Adaption an langsam oder geringfuegig veraenderliche Gegebenheiten verwendet werden. Which occurs in the Selbstueberwachung deviation can be used for automatic adaptation to slow or marginally Mutable circumstances.
  • Quellen: Swell:
    • [Ben] Luis Manuel Conde Bento Duarte Miguel Horta Mendonca: ”Computer Vision and Kinematic Sensing in Robotics”, Master Thesis, Department of Automatic Control, Lund Institute of Technology, Juni 2001 [Ben] Luis Manuel Conde Bento Duarte Miguel Horta Mendonca: "Computer Vision and Robotics in Kinematic Sensing", Master Thesis, Department of Automatic Control, Lund Institute of Technology, June 2001
    • [Dif] [Dif] US 6 211 506 B1 US 6,211,506 B1
    • [Fan] [Fan] US 4 639 878 A US 4639878 A
    • [Fis] FISCHLER, M. A; [FIS] Fischler, M. A; BOLLES, RC: ”Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography”, In: Communications of the ACM, June 1981, Vol. 24, No. BOLLES, RC: "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography"., In: Communications of the ACM, June 1981, Vol 24, No. 6, pp. 6, pp. 381–395. 381-395.
    • [GMR] [GMR] US 4 942 539 A US 4942539 A
    • [Hut] HUTCHINSON, S.; [Hat] HUTCHINSON, S .; HAGER, G.; HAGER, G .; CORKE, P.: ”A Tutorial on Visual Servo Control”, In: IEEE Transactions on Robotics and Automation, Vol. 12 No. Corke, P .: "A Tutorial on Visual Servo Control", In: IEEE Transactions on Robotics and Automation, 12 No. Vol. 5, S. 651–670, Oct. 5, pp 651-670, Oct. 1996. 1996th
    • [Isr] [Isr] EP 0 911 603 B1 EP 0911603 B1
    • [Ja0] www.cs.rochester.edu/u/jag/PercAct/dvfb.html Stand 23.09.2001 [JA0] www.cs.rochester.edu/u/jag/PercAct/dvfb.html Stand 23.09.2001
    • [Ja1] JAEGERSAND, M.; [Yes1] JAEGER SAND, M .; FUENTES, O.; FUENTES, O .; NELSON, R.: ”Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation”, In: Proc. NELSON, R .: "Experimental Evaluation of Uncalibrated visual servoing for Precision manipulation", In: Proc. Int. Int. Conf. Conf. on Robotics and Automation, April 1997, Vol. 4, pp 2874–2880 on Robotics and Automation, April 1997, Vol. 4, pp 2874-2880
    • [Kle] R. Klette, A. Koschan, K. Schluens: Computer Vision; [Kle] Klette R., A. Koschan, K. Schlüns: computer vision; raeumliche Information aus digitalen Bildern. spatial information from digital images. Vieweg Verlag Braunschweig, 1996. Oxford University Press., 1996
    • [Lee] LEES, DEB; [Lee] LEES, DEB; TREPAGNIER, P.: ”Guiding Robots with Stereo Vision”, In: Robotics Today, April 1984, S. 79–81. Trepagnier, P .: "Guiding robots with stereo vision", In: Robotics Today, May 1984, pp 79-81.
    • [Mar] MARCHAND, E.: ”VISP: a Software Environment for Eye-in-Hand Visual Servoing”, In: IEEE Int. [Mar] MARCHAND, E .: "VISP: a Software Environment for Eye-in-hand visual servoing", In: IEEE Int. Conf. Conf. on Robotics and Automation, ICRA, Vol. 4, pp 3224–3230, Detroit, Michigan, May 1999. on Robotics and Automation, ICRA, Vol. 4, pp 3224 to 3230, Detroit, Michigan, May 1999th
    • [Per] [By] EP 1 076 221 A2 EP 1076221 A2
    • [Pie] ARMSTRONG PIEPMEIER, J.; [Pie] ARMSTRONG BEEP MEIER, J .; McMURRAY, GV; McMurray, GV; LIPKIN, H.: ”Dynamic quasi-Newton Method for Uncalibrated Visual Servoing”, In: 1999 IEEE Int. LIPKIN, H .: "Dynamic quasi-Newton Method for Uncalibrated visual servoing" In: 1999 IEEE Int. Conf. Conf. on Robotics & Automation, ICRA, Vol. 2, pp 1565–1600, Detroit, Michigan, May 1999. on Robotics & Automation, ICRA, Vol. 2, pp 1565-1600, Detroit, Michigan, May 1999th
    • [Wil] WOLFE, WJ; [Wil] WOLFE, WJ; MATHIS, D.; MATHIS, D .; WEBER SKLAIR, C.; WEBER Sklair, C .; MAGEE, M.: ”The Perspective View of Three Points”, In: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 13, No. MAGEE, M .: "The Perspective View of Three Points", In: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 13, No.. 1, Jan. 1991, pp 66–73. 1, Jan. 1991, pp 66-73.

Claims (32)

  1. Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist – mit einem Einrichtbetrieb mit folgenden Schritten a) Abbilden von einem oder mehreren Bereichen des Werkstücks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang, wobei die Lage der Merkmale im jeweiligen Bereich des Werkstücks nicht bekannt ist, b) Anordnen eines Werkstücks in einer systematisch gewählten oder zufälligen Standardlage, c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage, d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang, e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativlagen zur Ausgangslag A method for three-dimensional correction of the relative movement with several degrees of freedom between the work pieces on the one hand, and the gripper or tools on the other hand, with an image pickup device from one or more cameras, wherein the image pickup device and / or the workpiece is reproducibly movable - with a setup comprising the steps of a) imaging one or more regions of the workpiece, via at least one respective assigned areas imaging beam path, wherein the position of the features in the respective region of the workpiece is not known, b) arranging a workpiece in a systematically selected or random standard position, c) positioning the image pickup device in a starting position, d) receiving at least one image on each imaging beam path, e) storing the images of step d) and / or data derived therefrom, and f) arranging the image pickup device or of the workpiece in relative positions to Ausgangslag e bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei für jede Relativlage: – die Relativlage selbst explizit oder implizit gespeichert wird, – die Schritte d) und e) wiederholt werden, – mit einem Automatikbetrieb, bei dem aufgrund der im Einrichtbetrieb gespeicherten Bilder und/oder davon abgeleiteten Daten die Relativbewegung korrigiert wird, wobei zum Aufnehmen der Bilder eine der folgenden beiden Bedingungen erfüllt ist: – zwei Abbildungsstrahlengänge S1 und S2 untereinander parallele Strahlen besitzen und ein dritter Abbildungsstrahlengang S3 keine Strahlen besitzt, die parallel zu einer Mittelebene zwischen irgend zwei parallelen Strahlen aus S1 und S2 liegen oder – mindestens drei Abbildungsstrahlengänge untereinander keine parallelen Strahlen besitzen. the relative position is stored even explicitly or implicitly - - steps d) and e) are repeated - with an automatic mode, e or standard situation, each degree of freedom wherein for each relative position is at least varied once relative to the starting position or default position, wherein the relative movement is due to the data stored in the setting-up images and / or data derived therefrom is corrected, wherein, for capturing the images of one of the following two conditions is met: - two imaging beam paths S1 and S2 to each other have parallel rays, and a third imaging beam path S3 has no beams which are parallel to a center plane between any two parallel beams from S1 and S2, or - at least three imaging beam paths with one another do not have parallel rays.
  2. Verfahren nach Anspruch 1, – mit einem Automatikbetrieb mit folgenden Schritten g) Aufnehmen mindestens eines Bildes von jedem der Bereiche des Werkstücks über je mindestens einen der ihnen zugeordneten Abbildungsstrahlengänge, in Ausgangslage der Bildaufnahmeeinrichtung oder einer zur Ausgangslage reproduzierbar abweichenden Lage, h) Vergleich der in Schritt g) aufgenommenen Bilder und/oder der davon abgeleiteten Daten mit Bildern bzw. Daten der entsprechenden Abbildungsstrahlengänge aus einem Einrichtbetrieb, i) Bestimmen der aktuellen Relativlage des Werkstücks zur Standardlage auf Basis des Vergleichs in Schritt h), j) Korrigieren der Relativbewegung abhängig von der in Schritt i) berechneten Relativlage. A method according to claim 1, - with an automatic mode, comprising the steps of g) receiving at least one image from each of the regions of the workpiece via a respective at least one of their associated imaging beam paths, in the starting position of the image pickup device or a reproducible deviating to the initial position location, h) comparison of the in step g) captured images and / or the data derived therefrom with images or data of the respective imaging beam paths of a set-up mode, i) determining the current relative position of the workpiece to the standard position on the basis of the comparison), j) in step h correcting the relative movement depends on calculated in step i) relative position.
  3. Verfahren nach Anspruch 1 oder 2, – wobei bei der Bildaufnahmeeinrichtung eine der folgenden Bedingungen erfüllt ist: – es wird eine einzelne Kamera mit Zentralprojektion verwendet und einem Objektfeldwinkel von mindestens 20 Grad, – es werden zwei Kameras verwendet, von denen mindestens eine mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad arbeitet, – es werden drei oder mehr Kameras verwendet. The method of claim 1 or 2, - wherein, when said image pickup means of the following conditions is fulfilled: - it is used a single camera with a central projection and an object field angle of at least 20 degrees, - the use of two cameras, of which at least one with a central projection, and operates an object field angle of at least 20 degrees - there are three or more cameras.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei von mindestens drei Werkstückbereichen sich keine zwei gegenseitig überlappen. Method according to one of claims 1 to 3, wherein at least three workpiece areas no two mutually overlap.
  5. Verfahren nach einem der Ansprüche 1 bis 4, wobei für mindestens zwei Abbildungsstrahlengänge getrennte Kameras verwendet werden. A method according to any one of claims 1 to 4, wherein separate for at least two imaging beam paths cameras are used.
  6. Verfahren nach einem der Ansprüche 1 bis 5, wobei für mindestens zwei Abbildungsstrahlengänge die selbe Kamera verwendet wird. Method according to one of claims 1 to 5, wherein the same camera is used for at least two imaging beam paths.
  7. Verfahren nach einem der Ansprüche 1 bis 6, wobei mindestens ein Bereich ein Merkmal aufweist, das auf dem Werkstück fest ausgebildet ist. A method according to any one of claims 1 to 6, wherein at least a portion having a feature that is formed firmly on the workpiece.
  8. Verfahren nach einem der Ansprüche 1 bis 7, wobei in mindestens einem Bereich ein Muster vorhanden ist, das mit Hilfe eines Beleuchtungsstrahlengangs auf dem Werkstück erzeugt wird. Method according to one of claims 1 to 7, wherein in at least one region, a pattern is present which is produced by an illumination beam path to the workpiece.
  9. Verfahren nach einem der Ansprüche 1 bis 8, wobei das Werkstück oder der Greifer bzw. das Werkzeug von einem Roboter gehalten wird und der Roboter mindestens einen Freiheitsgrad in einer translatorischen Koordinatenrichtung und/oder um eine oder mehrere Drehachsen aufweist, wobei der Roboter vorzugsweise insgesamt sechs Freiheitsgrade aufweist. A method according to any one of claims 1 to 8, wherein the workpiece or the gripper and the tool is held by a robot, and the robot has at least one degree of freedom in a translational coordinate direction and / or about one or more axes of rotation, the robot preferably six having degrees of freedom.
  10. Verfahren nach Anspruch 9, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 8 gilt: der betreffende Strahlengang ist schräg oder rechtwinklig zu den translatorischen Koordinaten des Roboters ausgerichtet. The method of claim 9, wherein for at least three regions of the workpiece, either for at least one imaging beam path and / or for the illumination beam path according to claim 8 applies: aligned the beam path in question is oblique or perpendicular to the translational coordinates of the robot.
  11. Verfahren nach Anspruch 9, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 8 gilt: der betreffende Strahlengang ist schräg oder rechtwinklig ausgerichtet zu der Tangente an die Kreise der Punkte des Werkstückbereichs um die Drehachsen. The method of claim 9, wherein for at least three regions of the workpiece, either for at least one imaging beam path and / or for the illumination beam path according to claim 8 applies: the optical path in question is oblique or oriented perpendicularly to the tangent to the circle of points of the workpiece region around the axes of rotation.
  12. Verfahren nach einem der Ansprüche 1 bis 11, mit mehrstufiger Arbeitsweise, mit Ausführung der Schritte g) bis j) in jeder Stufe, wobei, in der ersten Stufe eine grobe Lagekorrektur realisiert wird und in den weiteren Stufen, eine zunehmend genaue Lagekorrektur realisiert wird, mit einer jeweils zugehörigen Ausgangslage in jeder Stufe. A method according to any one of claims 1 to 11, with multi-stage operation, with execution of the steps g) to j) in each stage, wherein, in the first stage a coarse position correction is realized, and is implemented in the subsequent stages, an increasingly accurate position correction, each with a respective output location in each stage.
  13. Verfahren nach einem der Ansprüche 1 bis 12, mit mehreren Sätzen von Bildbereichen, wobei abhängig vom aktuellen Bildinhalt ein Satz von Bildbereichen zur Lagekorrektur gewählt wird. A method according to any one of claims 1 to 12, with multiple sets of image areas, said current depends on the image content, a set of image regions is chosen for the position correction.
  14. Verfahren nach einem der Ansprüche 1 bis 13, mit einem Selbstüberwachungsbetrieb mit den Schritten: – Durchführen der Schritte g) bis j) und Korrigieren der Lage der Bildaufnahmeeinrichtung, und – erneutes Durchführen der Schritte g) bis j) für diese Lage und Prüfen, ob die neu berechnete Relativbewegung ausreichend klein ist. A method according to any one of claims 1 to 13, with a self-monitoring mode comprising the steps of: - performing the steps g) to j) and correcting the position of the image pickup device, and - again performing steps g) to j) for this state, and checking whether the recalculated relative movement is sufficiently small.
  15. Verfahren nach einem der Ansprüche 1 bis 13, mit einem Selbstüberwachungsbetrieb mit den Schritten: – Durchführen der Schritte g) bis i) und Speichern der Korrekturwerte K-Null – wiederholtes Anordnen der Bildaufnahmeeinrichtung in verschiedenen Lagen l, mit bekannten Lageabweichungen Delta-l von der Ausgangslage – für jede dieser Lagen l: – Durchführen der Schritte g) bis i), mit Berechnen der Korrekturen K-Neu-l, – Vergleichen der Korrekturen K-Neu-l mit der Superposition von K-Null und Delta-l. A method according to any one of claims 1 to 13, with a self-monitoring mode comprising the steps of: - performing the steps g) to i), and storing the correction values ​​K-zero - repeatedly arranging the image pickup means in various positions l, with known positional deviations delta l of the the starting situation - for each of these layers l: - performing the steps g) to i), with calculating the correction K-Neu-l, - comparing the corrections K-Neu-l with the superposition of K-zero and delta-l.
  16. Verfahren nach Anspruch 14 oder 15, wobei die Selbstüberwachung ein Prüfergebnis über eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfügig veränderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Änderung der Befestigung und/oder Einstellung einer Bildaufnahmeeinrichtung und/oder eine Temperaturdrift der Kinematik des Roboters nach Anspruch 9. The method of claim 14 or 15, wherein the self-monitor provides a test result about a deviation of the correction achieved with the automatic adaptation slightly changing geometric conditions is realized slowly and / or, preferably a change in the fixing and / or adjusting an image pickup device and / or a temperature drift of the kinematics of the robot according to claim. 9
  17. Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstücken einerseits, und Greifer oder Werkzeugen andererseits, mit einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstück reproduzierbar beweglich ist – wobei in einem Einrichtbetrieb folgende Schritte durchführbar sind: a) Abbilden von einem oder mehreren Bereichen des Werkstücks, über je mindestens einen den Bereichen zugeordneten Abbildungsstrahlengang, wobei die Lage der Merkmale im jeweiligen Bereich des Werkstücks nicht bekannt ist, b) Anordnen eines Werkstücks in einer systematisch gewählten oder zufälligen Standardlage, c) Anordnen der Bildaufnahmeeinrichtung in einer Ausgangslage, d) Aufnehmen mindestens eines Bildes über jeden Abbildungsstrahlengang, e) Speichern der Bilder aus Schritt d) und/oder davon abgeleiteter Daten, und f) Anordnen der Bildaufnahmeeinrichtung bzw. des Werkstücks in Relativ A device for three-dimensional correction of the relative movement with several degrees of freedom between the work pieces on the one hand, and the gripper or tools on the other hand, with an image pickup device from one or more cameras, wherein the image pickup device and / or the workpiece is reproducibly movable - wherein the following steps are carried out in a set-up: a ) imaging one or more regions of the workpiece, via at least one respective assigned areas imaging beam path, wherein the position of the features in the respective region of the workpiece is not known, b) arranging a workpiece in a systematically selected or random standard position, c) placing the image pickup means in an initial position, d) receiving at least one image on each imaging beam path, e) storing the images of step d) and / or data derived therefrom, and f) arranging the image pickup device or of the workpiece in relative lagen zur Ausgangslage bzw. Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenüber der Ausgangslage bzw. Standardlage variiert wird, wobei für jede Relativlage: – die Relativlage selbst explizit oder implizit gespeichert wird, – die Schritte d) und e) wiederholt werden, – mit einem Automatikbetrieb, bei dem aufgrund der im Einrichtbetrieb gespeicherten Bilder und/oder davon abgeleiteten Daten die Relativbewegung korrigiert wird, wobei zum Aufnehmen der Bilder eine der folgenden beiden Bedingungen erfüllt ist: – zwei Abbildungsstrahlengänge S1 und S2 untereinander parallele Strahlen besitzen und ein dritter Abbildungsstrahlengang S3 keine Strahlen besitzt, die parallel zu einer Mittelebene zwischen irgend zwei parallelen Strahlen aus S1 und S2 liegen oder – mindestens drei Abbildungsstrahlengänge untereinander keine parallelen Strahlen besitzen. lay to the initial position or default position, each degree of freedom wherein for each relative position is at least varied once relative to the starting position or default position, - the relative position is stored even explicitly or implicitly - the steps d) and e) are repeated - with a two imaging ray paths S1 and S2 to each other have parallel rays, and a third imaging beam path S3 none -: automatic mode, in which the relative movement is corrected on the basis of the data stored in the set-up images and / or data derived therefrom, wherein, for capturing the images of one of the following two conditions is fulfilled rays possesses, which are parallel to a center plane between any two parallel beams from S1 and S2, or - at least three imaging beam paths with one another do not have parallel rays.
  18. Vorrichtung nach Anspruch 17, wobei in einem Automatikbetrieb folgende Schritte durchführbar sind: g) Aufnehmen mindestens eines Bildes von jedem der Bereiche des Werkstücks über je mindestens einen der ihnen zugeordneten Abbildungsstrahlengänge, in Ausgangslage der Bildaufnahmeeinrichtung oder einer zur Ausgangslage reproduzierbar abweichenden Lage h) Vergleich der in Schritt g) aufgenommenen Bilder und/oder der davon abgeleiteten Daten mit Bildern bzw. Daten der entsprechenden Abbildungsstrahlengänge aus einem Einrichtbetrieb, i) Bestimmen der aktuellen Relativlage des Werkstücks zur Standardlage auf Basis des Vergleichs in Schritt h), j) Korrigieren der Relativbewegung abhängig von der in Schritt i) berechneten Relativlage. The apparatus of claim 17, wherein the following steps are carried out in an automatic mode: g) receiving at least one image from each of the regions of the workpiece via a respective at least one of their associated imaging beam paths, h in the starting position of the image pickup device or a reproducibly deviates to the starting position location) Comparison of in step g) captured images and / or the data derived therefrom with images or data of the respective imaging beam paths of a set-up mode, i) determining the current relative position of the workpiece to the standard position on the basis of the comparison in step h), j) correcting the relative movement depends from the calculated in step i) relative position.
  19. Vorrichtung nach Anspruch 17 oder 18, – wobei bei der Bildaufnahmeeinrichtung eine der folgenden Bedingungen erfüllt ist: – es wird eine einzelne Kamera mit Zentralprojektion verwendet und einem Objektfeldwinkel von mindestens 20 Grad, – es werden zwei Kameras verwendet, von denen mindestens eine mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad arbeitet, – es werden drei oder mehr Kameras verwendet. Device according to claim 17 or 18, - wherein in the image pickup means of the following conditions is fulfilled: - it is used a single camera with a central projection and an object field angle of at least 20 degrees, - the use of two cameras, of which at least one with a central projection, and operates an object field angle of at least 20 degrees - there are three or more cameras.
  20. Vorrichtung nach einem der Ansprüche 17 bis 19, wobei von mindestens drei Werkstückbereichen sich keine zwei gegenseitig überlappen. wherein at least three workpiece areas no two overlap device according to one of claims 17 to 19, each other.
  21. Vorrichtung nach einem der Ansprüche 17 bis 20, wobei für mindestens zwei Abbildungsstrahlengänge getrennte Kameras vorgesehen sind. Device according to one of claims 17 to 20, wherein separate cameras are provided for at least two imaging beam paths.
  22. Vorrichtung nach einem der Ansprüche 17 bis 21, wobei für mindestens zwei Abbildungsstrahlengänge die selbe Kamera vorgesehen ist. Device according to one of claims 17 to 21, wherein the same camera is provided for at least two imaging beam paths.
  23. Vorrichtung nach einem der Ansprüche 17 bis 22, wobei mindestens ein Bereich ein Merkmal aufweist, das auf dem Werkstück fest ausgebildet ist. Device, which is firmly formed on the workpiece according to any one of claims 17 to 22, wherein at least one region has a feature.
  24. Vorrichtung nach einem der Ansprüche 17 bis 23, wobei in mindestens einem Bereich ein Muster vorhanden ist, das mit Hilfe eines Beleuchtungsstrahlengangs auf dem Werkstück erzeugt wird. Device according to one of claims 17 to 23, wherein in at least one region, a pattern is present which is produced by an illumination beam path to the workpiece.
  25. Vorrichtung nach einem der Ansprüche 17 bis 24, wobei das Werkstück oder der Greifer bzw. das Werkzeug von einem Roboter gehalten wird und der Roboter mindestens einen Freiheitsgrad in einer translatorischen Koordinatenrichtung und/oder um eine oder mehrere Drehachsen aufweist, wobei der Roboter vorzugsweise insgesamt sechs Freiheitsgrade aufweist. Device according to one of claims 17 to 24, wherein the workpiece or the gripper and the tool is held by a robot, and the robot has at least one degree of freedom in a translational coordinate direction and / or about one or more axes of rotation, the robot preferably six having degrees of freedom.
  26. Vorrichtung nach Anspruch 25, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 24 gilt: der betreffende Strahlengang ist schräg oder rechtwinklig zu den translatorischen Koordinaten des Roboters ausgerichtet. The apparatus of claim 25, wherein for at least three regions of the workpiece, either for at least one imaging beam path and / or for the illumination beam path according to claim 24: aligned the beam path in question is oblique or perpendicular to the translational coordinates of the robot.
  27. Vorrichtung nach Anspruch 25, wobei für mindestens drei Werkstückbereiche entweder für mindestens einen Abbildungsstrahlengang und/oder für den Beleuchtungsstrahlengang nach Anspruch 24 gilt: der betreffende Strahlengang ist schräg oder rechtwinklig ausgerichtet zu der Tangente an die Kreise der Punkte des Werkstückbereichs um die Drehachsen. The apparatus of claim 25, wherein for at least three regions of the workpiece, either for at least one imaging beam path and / or for the illumination beam path according to claim 24: the beam path in question is oblique or oriented perpendicularly to the tangent to the circle of points of the workpiece region around the axes of rotation.
  28. Vorrichtung nach einem der Ansprüche 17 bis 27, bei der eine mehrstufige Arbeitsweise durchführbar ist, mit Ausführung der Schritte g) bis i) in jeder Stufe, wobei, in der ersten Stufe eine grobe Lagekorrektur realisiert wird und in den weiteren Stufen, eine zunehmend genaue Lagekorrektur realisiert wird, mit einer jeweils zugehörigen Ausgangslage in jeder Stufe. Device according to one of claims 17 to 27, wherein a multi-stage operation is carried out, with execution of the steps g) to i) in each stage, wherein, in the first stage a coarse position correction is realized, and in the subsequent stages, an increasingly accurate position correction is realized with a respectively associated output position in each stage.
  29. Vorrichtung nach einem der Ansprüche 17 bis 28, mit mehreren Sätzen von Bildbereichen, mit der Möglichkeit, abhängig vom aktuellen Bildinhalt einen Satz von Bildbereichen zur Lagekorrektur zu wählen. To choose the device according to one of claims 17 to 28 having a plurality of sets of picture areas, with the possibility, depending on the current image content a set of image areas and the position correction.
  30. Vorrichtung nach einem der Ansprüche 17 bis 29, wobei in einem Selbstüberwachungsbetrieb folgende Schritte durchführbar sind: – Durchführen der Schritte g) bis i) und Korrigieren der Lage der Bildaufnahmeeinrichtung, und – erneutes Durchführen der Schritte g) bis i) für diese Lage und Prüfen, ob die neu berechnete Relativbewegung ausreichend klein ist. Device according to one of claims 17 to 29, wherein the following steps are carried out in a self-monitoring operation of: - performing the steps g) to i) and correcting the position of the image pickup device, and - again performing steps g) to i) for this location and testing whether the newly calculated relative movement is sufficiently small.
  31. Vorrichtung nach einem der Ansprüche 17 bis 29, wobei in einem Selbstüberwachungsbetrieb folgende Schritte durchführbar sind: – Durchführen der Schritte g) bis i) und Speichern der Korrekturwerte K-Null, – wiederholtes Anordnen der Bildaufnahmeeinrichtung in verschiedenen Lagen l, mit bekannten Lageabweichungen Delta-l von der Ausgangslage, – für jede dieser Lagen l: – Durchführen der Schritte g) bis i), mit Berechnen der Korrekturen K-Neu-l. Device according to one of claims 17 to 29, wherein the following steps are carried out in a self-monitoring operation of: - performing the steps g) to i), and storing the correction values ​​K-zero, - repeatedly arranging the image pickup means in various positions l, with known positional deviations delta l from the initial position, - for each of these layers l: - performing the steps g) to i), with calculating the correction K-Neu-l. – Vergleichen der Korrekturen K-Neu-l mit der Superposition von K-Null und Delta-l. - comparing the corrections K-Neu-l with the superposition of K-zero and delta l.
  32. Vorrichtung nach Anspruch 30 oder 31, wobei die Selbstüberwachung ein Prüfergebnis über eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfügig veränderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Änderung der Befestigung und/oder Einstellung einer Bildaufnahmeeinrichtung und/oder eine Temperaturdrift der Kinematik des Roboters nach Anspruch 25. Device according to claim 30 or 31, wherein the self-monitor provides a test result about a deviation of the correction achieved with the automatic adaptation slightly changing geometric conditions is realized slowly and / or, preferably a change in the fixing and / or adjusting an image pickup device and / or a temperature drift of the kinematics of the robot according to claim 25th
DE2001164944 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools Expired - Fee Related DE10164944B4 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE10150851.4 2001-10-15
DE10150851 2001-10-15
DE10152571 2001-10-24
DE10152571.0 2001-10-24
DE2001164944 DE10164944B4 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10159574A DE10159574B9 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools
DE2001164944 DE10164944B4 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools

Publications (1)

Publication Number Publication Date
DE10164944B4 true DE10164944B4 (en) 2013-03-28

Family

ID=26010381

Family Applications (2)

Application Number Title Priority Date Filing Date
DE2001164944 Expired - Fee Related DE10164944B4 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools
DE10159574A Active DE10159574B9 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE10159574A Active DE10159574B9 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and processing tools

Country Status (1)

Country Link
DE (2) DE10164944B4 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10351669B4 (en) * 2003-11-05 2012-09-13 Kuka Laboratories Gmbh Method and apparatus for controlling a handling device relative to an object
DE102004005380A1 (en) 2004-02-03 2005-09-01 Isra Vision Systems Ag A method for determining the position of an object in space
DE102004006596B4 (en) * 2004-02-10 2007-02-15 Vision Tools Bildanalyse Systeme Gmbh Manual input of workpiece Posen
DE102007009851B3 (en) * 2007-02-28 2008-05-29 Kuka Roboter Gmbh Industrial robot's position determining method, involves determining position of robot relative to object based on assigned model points, and determining position of camera assigned to image and position of camera relative to robot
DE102008020579B4 (en) * 2008-04-24 2014-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. A method for automatic object detection and location movement of a device relative to an object
DE102013007743A1 (en) 2012-05-08 2013-11-14 Vision Tools Bildanalyse Systeme Gmbh Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects
DE102013215430B4 (en) * 2013-08-06 2016-07-14 Lufthansa Technik Ag processing device
DE102013017895B4 (en) * 2013-10-29 2018-06-28 Rwth Aachen A process for continuously determining the 3D position and trajectory of the movement of a dynamic article of manufacture

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4639878A (en) * 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
DE4115846A1 (en) * 1991-05-15 1992-11-19 Ameling Walter Contactless spatial position measurement in robot processing chamber - acquiring images of robotic actuator with defined marking enabling calibration of imaging units in coordinate system
DE4421699A1 (en) * 1994-06-21 1996-01-04 Hartmut Prof Janocha Sensor-assisted pose adaption or generation system for robot handling device
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
EP0796704A1 (en) * 1995-09-06 1997-09-24 Fanuc Ltd. Apparatus and method for correcting a travelling route for a robot
DE19829661A1 (en) * 1998-07-02 1999-04-22 Georg Prof Stark Computer-aided robot control sequence generation method
DE19814779A1 (en) * 1998-04-02 1999-10-07 Vitronic Dr Ing Stein Bildvera Method and apparatus for controlling a moving object
DE19821873A1 (en) * 1998-05-15 1999-11-25 Inst Werkzeugmaschinen Und Bet Method for minimizing effects of temperature variations on industrial robots by computer correction of predetermined criteria
DE19930087A1 (en) * 1999-06-30 2001-01-11 Charalambos Tassakos Control of the positioning of a robot type handling device with optical sensors is improved by storage of future movement points in memory to enable the robot to follow a path more quickly with no loss of positioning accuracy
EP1076221A2 (en) * 1999-08-12 2001-02-14 Perceptron, Inc. A robot with gauging system for determining three-dimensional measurement data
US6211506B1 (en) * 1979-04-30 2001-04-03 Diffracto, Ltd. Method and apparatus for electro-optically determining the dimension, location and attitude of objects
EP0911603B1 (en) * 1997-10-22 2001-06-27 ISRA Vision Systems AG Method for the determination of the position of a three-dimensional body

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6211506B1 (en) * 1979-04-30 2001-04-03 Diffracto, Ltd. Method and apparatus for electro-optically determining the dimension, location and attitude of objects
US4639878A (en) * 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
DE4115846A1 (en) * 1991-05-15 1992-11-19 Ameling Walter Contactless spatial position measurement in robot processing chamber - acquiring images of robotic actuator with defined marking enabling calibration of imaging units in coordinate system
DE4421699A1 (en) * 1994-06-21 1996-01-04 Hartmut Prof Janocha Sensor-assisted pose adaption or generation system for robot handling device
EP0796704A1 (en) * 1995-09-06 1997-09-24 Fanuc Ltd. Apparatus and method for correcting a travelling route for a robot
EP0911603B1 (en) * 1997-10-22 2001-06-27 ISRA Vision Systems AG Method for the determination of the position of a three-dimensional body
DE19814779A1 (en) * 1998-04-02 1999-10-07 Vitronic Dr Ing Stein Bildvera Method and apparatus for controlling a moving object
DE19821873A1 (en) * 1998-05-15 1999-11-25 Inst Werkzeugmaschinen Und Bet Method for minimizing effects of temperature variations on industrial robots by computer correction of predetermined criteria
DE19829661A1 (en) * 1998-07-02 1999-04-22 Georg Prof Stark Computer-aided robot control sequence generation method
DE19930087A1 (en) * 1999-06-30 2001-01-11 Charalambos Tassakos Control of the positioning of a robot type handling device with optical sensors is improved by storage of future movement points in memory to enable the robot to follow a path more quickly with no loss of positioning accuracy
EP1076221A2 (en) * 1999-08-12 2001-02-14 Perceptron, Inc. A robot with gauging system for determining three-dimensional measurement data

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
ARMSTRONG PIEPMEIER, J.; McMURRAY, G. V.; LIPKIN, H.: "Dynamic quasi-Newton Method for Uncalibrated Visual Servoing", In: 1999 IEEE Int. Conf. on Robotics & Automation, ICRA, Vol. 2, pp 1565-1600, Detroit, Michigan, May 1999 *
FISCHLER, M. A; BOLLES, R. C.: "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography", In: Communications of the A. C. M., June 1981, Vol. 24, No. 6, pp. 381-395 *
HUTCHINSON, S.; HAGER, G.; CORKE, P.: "A Tutorial on Visual Servo Control", In: IEEE Transactions on Robotics and Automation, Vol. 12 No. 5, S. 651-670, Oct. 1996 *
JAEGERSAND,M.; FUENTES, O.; NELSON, R.: "Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation", In: Proc. Int. Conf. on Robotics and Automation, April 1997, Vol. 4, pp 2874-2880
JAEGERSAND,M.; FUENTES, O.; NELSON, R.: "Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation", In: Proc. Int. Conf. on Robotics and Automation, April 1997, Vol. 4, pp 2874-2880 *
LEES, D. E. B.; TREPAGNIER, P.: "Guiding Robots with Stereo Vision", In: Robotics Today, April 1984, S. 79-81 *
Luis Manuel Conde Bento Duarte Miguel Horta Mendonca: "Computer Vision and Kinematic Sensing in Robotics", Master Thesis, Department of Automatic Control, Lund Institute of Technology, June 2001 *
MARCHAND, E.: "VISP: a Software Environment for Eye-in-Hand Visual Servoing", In: IEEE Int. Conf. on Robotics and Automation, ICRA, Vol. 4, pp 3224-3230, Detroit, Michigan, May 1999 *
WOLFE, W.J.; MATHIS, D.; WEBER SKLAIR, C.; MAGEE, M.: "The Perspective View of Three Points", In: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 13, No. 1, Jan. 1991, pp 66-73 *

Also Published As

Publication number Publication date
DE10159574B4 (en) 2008-07-24
DE10159574A1 (en) 2003-04-30
DE10159574B9 (en) 2009-04-30

Similar Documents

Publication Publication Date Title
DE602004013107T2 (en) An apparatus for correcting a teaching position
DE69736348T2 (en) Robot force control system with visual sensor for assembly work
US7532949B2 (en) Measuring system
JP5606241B2 (en) Visual perception system and method for humanoid robot
DE69831181T2 (en) location
DE60129009T2 (en) Motion correction of a industrial robot
DE102005048136B4 (en) A method for determining a virtual tool center point
EP1537008B1 (en) Method and device for producing a connecting area on a production part
DE102005060967B4 (en) Method and apparatus for setting a trajectory of a robot apparatus
DE19536294C2 (en) A method for navigation of geometric 3D optical sensors for three-dimensional measurement of objects
EP2697604B1 (en) Measuring system for determining 3d coordinates of an object surface
EP1189732B1 (en) Method and device for calibrating robot measuring stations, manipulators and associated optical measuring devices
DE69913106T2 (en) Method and apparatus for robotic alignment
DE102004021892B4 (en) Robot controlled optical measuring system and method and the auxiliary device to calibrate these measuring arrangement
EP2402710B1 (en) Method and measuring system for contactless coordinate measuring of the surface of an object
DE112010000794B4 (en) A method for controlling a robot tool
US20040172164A1 (en) Method and apparatus for single image 3D vision guided robotics
DE69628956T2 (en) Scanning and procedures
DE102013203381B4 (en) Method and system for training a robot using a supported human task demonstration
EP1763845B1 (en) Method and device for determining optical overlaps with ar objects
JP2005342832A (en) Robot system
DE19781682B4 (en) Precision device with non-rigid, non-specific structure and method of operation thereof
EP1135237B1 (en) Method and device for improving the position exactness of effectors in mechanisms and for measuring objects in a work space
DE112014007236T5 (en) Between two-dimensional scanning with a three-dimensional scanner to speed up the registration
DE19618283B4 (en) Three-dimensional non-contact measuring device and method for measuring hereby

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative
R020 Patent grant now final

Effective date: 20130629

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140701