DE102007043497A1

DE102007043497A1 - Method for aligning an object

Info

Publication number: DE102007043497A1
Application number: DE200710043497
Authority: DE
Inventors: Ulrich Ehrenfried; Falk Thürmer; Rüdiger Opper
Original assignee: Pepperl and Fuchs SE
Current assignee: Pepperl and Fuchs SE
Priority date: 2007-09-12
Filing date: 2007-09-12
Publication date: 2009-03-19
Also published as: WO2009033708A3; WO2009033708A2

Abstract

Die Erfindung betrifft ein Verfahren zum Ausrichten eines Gegenstandes durch Drehen desselben um wenistens eine Drehachse, wobei mit einer Kamera ein Marker erfasst und als Markerbild abgebildet wird und entweder die Kamera an der Drehung teilnimmt und der Marker richtungsfest ist oder umgekehrt, so dass bei Drehen des Gegenstandes eine Relativdrehung zwischen Marker und Kamera erfolgt. Die Ist-Orientierung, welche zwischen Kamera und Marker vor der Drehung vorliegt, wird entweder aus der Orientierung, welche das Markerbild vor der Drehung im Bildfeld der Kamera aufweist, oder aus der linearen Ausdehnung, welche das Markerbild vor der Drehung im Bildfeld der Kamera aufweist, mittels Bildverarbeitung abgeleitet und das Ergebnis dazu herangezogen, einen Soll-Drehwinkel zu bestimmen, um welchen der Gegenstand zu seiner Ausrichtung in eine bestimmte Zielrichtung um die Drehachse zu drehen ist. Danach wird der Gegenstand um den Soll-Drehwinkel um die Drehachse gedreht und somit in die Zielrichtung ausgerichtet.The invention relates to a method for aligning an object by turning the same by at least one axis of rotation, wherein a marker detected with a camera and displayed as a marker image and either the camera participates in the rotation and the marker is directionally fixed or vice versa, so that upon rotation of the Object a relative rotation between marker and camera takes place. The actual orientation present between the camera and the marker prior to rotation is either from the orientation exhibited by the marker image prior to rotation in the field of view of the camera or from the linear extent which the marker image has prior to rotation in the field of view of the camera , derived by image processing and the result used to determine a desired rotation angle by which the object is to be rotated about the axis of rotation for its orientation in a specific target direction. Thereafter, the object is rotated about the desired rotation angle about the rotation axis and thus aligned in the target direction.

Description

Technisches Gebiet:Technical area:

Die Erfindung betrifft ein Verfahren zum Ausrichten eines Gegenstandes, wie Roboter, Arm eines Roboters oder Laser, durch Drehen des Gegenstandes um wenigstens eine Drehachse.The Invention relates to a method for aligning an object, like robot, arm of a robot or laser, by turning the object around at least one axis of rotation.

Stand der Technik:State of the art:

Im Stand der Technik ist es bekannt, Gegenstände, welche um eine Drehachse drehbar sind, z. B. Roboter, mit Hilfe mechanischer Winkelcodierer in eine gewünschte Richtung auszurichten. Ein solcher Winkelcodierer besteht in der Regel aus einem unbeweglichen Teil, welcher z. B. mit einer Wand oder dem Boden verbunden ist, und einem beweglichen Teil, welcher mit dem Roboter verbunden ist. Die Drehachse verläuft durch den Winkelcodierer. Der bewegliche und der unbewegliche Teil sind über ein Drehlager aneinander angeordnet. Wird der Roboter gegenüber seiner Umgebung um die Drehachse gedreht, so wird auch der bewegliche relativ zu dem unbeweglichen Teil des Winkelcodierers um die Drehachse gedreht. Diese Relativdrehung wird von einem in dem Winkelcodierer eingebauten Sensor erfasst und in ein Signal umgesetzt, welches eine Information über die winkelmäßige, auf die Drehachse bezogene Orientierung des Gegenstandes relativ zu seiner Umgebung oder über den Drehwinkel der Drehung enthält.in the It is known in the prior art to use objects which rotate about an axis of rotation are rotatable, z. B. robots, using mechanical angle encoder in a desired To align direction. Such an angle encoder consists in the Usually from an immovable part, which z. B. with a wall or the floor, and a moving part, which connected to the robot. The axis of rotation runs through the angle encoder. The movable and the immovable part are about a pivot bearing arranged together. Is the robot around its surroundings Turned axis, so is the movable relative to the immovable Part of the angle encoder rotated around the axis of rotation. This relative rotation is detected by a built-in encoder in the encoder and converted into a signal containing information about the angular, up the rotation axis related orientation of the object relative to his environment or over contains the angle of rotation.

Der Sensor kann z. B. nach Art eines Potentiometers arbeiten, dessen Abgriffspunkt sich bei der Drehung ändert. Eine andere Art von Sensoren erfasst den Drehwinkel optisch mit Hilfe einer codierten Winkelscheibe. Eine nochmals andere Art von Sensoren erfasst den Winkel magnetisch.Of the Sensor can z. B. work in the manner of a potentiometer whose Tapping point changes during rotation. Another type of Sensors detect the angle of rotation visually with the aid of a coded angle plate. Yet another type of sensor detects the angle magnetically.

Nachteilig bei der Ausrichtung von Gegenständen mit derartigen Winkelcodierern ist, dass eine hohe Präzision der Ausrichtung nur unter großem Aufwand erreichbar ist; hochauflösende Winkelcodierer sind daher teuer. Ein weiterer Nachteil der Ausrichtung von Gegenständen unter Verwendung von Winkelcodierern der genannten Arten besteht in der Empfindlichkeit gegen Verschmutzung bzw. Alterung. Außerdem müssen derartige Winkelcodierer auf der Drehachse angeordnet werden, was z. B. unter beengten Platzverhältnissen problematisch sein kann.adversely in the alignment of objects with such angle encoders is that high precision of the Alignment only with great effort is reachable; high-resolution Angular encoders are therefore expensive. Another disadvantage of the alignment of objects using angle encoders of the mentioned types in sensitivity to contamination or aging. In addition, such Angle encoder to be arranged on the axis of rotation, which z. More colorful cramped space can be problematic.

Soll ein Gegenstand in eine Richtung ausgerichtet werden, ohne dass eine Drehachse mechanisch existiert (z. B. Ausrichten eines auf Rädern frei umherfahrbaren Roboters durch Drehen desselben auf der Stelle oder Ausrichten eins auf einem Magnetlissen schwebenden Gegenstandes), ist die Verwendung solcher Winkelcodierer nicht, oder zumindest nicht ohne weiteres, möglich. Aus dem gleichen Grund ist es mit derartigeren Winkelcodierern ebenfalls nicht ohne weiters möglich, den Roboter z. B. quer zur Drehachse an einen anderen Standort zu verfahren und ihn dort durch Drehen auf der Stelle auszurichten, denn hierzu müsste zunächst die Drehachse von der Umgebung mechanisch abgekoppelt und am neuen Standort wieder an die Umgebung mechanisch angekoppelt werden, d. h. die Drehachse müsste mitsamt dem Roboter verlagert werden.Should an object can be aligned in one direction without a Rotary axis mechanically exists (eg aligning a freely wheeled on wheels Robot by turning it on the spot or aligning one on a magnetic levitation object), is the use such angle encoder not, or at least not readily, possible. For the same reason, it is the same with such angular encoders not possible without further the robot z. B. to move transversely to the axis of rotation to another location and to align it there by turning on the spot, for this purpose should first the axis of rotation mechanically decoupled from the environment and the new Site be mechanically coupled to the environment again, d. H. the axis of rotation would have to be moved together with the robot.

Ein weiterer Nachteil bei der Verwendung von Winkelcodierern zum Ausrichten von Gegenständen besteht darin, dass für eine Ausrichtung eines Gegenstandes in eine beliebige räumliche Richtung durch Drehen des Gegenstandes um drei zueinander senkrechte Drehachsen drei Winkelcodierer benötigt werden, nämlich einer pro Drehachse.One further disadvantage with the use of angle encoders for alignment of objects is that for an orientation of an object in any spatial Direction by turning the object around three mutually perpendicular Rotary axes three angular encoders are needed, namely one per axis of rotation.

Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zum Ausrichten eines Gegenstandes zu schaffen, welches diese Nachteile nicht aufweist.Of the The invention is therefore based on the object, a method for aligning to create an object that does not have these disadvantages.

A1 Diese Aufgabe wird gelöst durch ein Verfahren zum Ausrichten eines Gegenstandes, wie Roboter, Arm eines Roboters oder Laser, durch Drehen des Gegenstandes um wenigstens eine Drehachse, dadurch gekennzeichnet, dass

– mit einer Kamera ein Marker erfasst und als Markerbild abgebildet wird, wobei entweder die Kamera an der Drehung teilnimmt und der Marker richtungsfest ist oder umgekehrt, so dass bei Drehen des Gegenstandes um die Drehachse eine Relativdrehung zwischen dem Marker und der Kamera erfolgt,
– die Ist-Orientierung, welche zwischen Kamera und Marker vor der Drehung vorliegt, entweder aus der Orientierung, welche das Markerbild vor der Drehung im Bildfeld der Kamera aufweist, oder aus der linearen Ausdehnung, welche das Markerbild vor der Drehung im Bildfeld der Kamera aufweist, mittels elektronischer Bildverarbeitung abgeleitet und das Ergebnis dazu herangezogen wird, einen Soll-Drehwinkel zu bestimmen, um welchen der Gegenstand zur Herbeiführung einer vorgegebenen Soll-Orientierung zwischen Kamera und Marker und somit zum Ausrichten des Gegenstandes in eine bestimmte Zielrichtung um die Drehachse zu drehen ist,
– und danach der Gegenstand um den Soll-Drehwinkel um die Drehachse gedreht und somit in die Zielrichtung ausgerichtet wird.

A1 This object is achieved by a method for aligning an object, such as robot, arm of a robot or laser, by rotating the object about at least one axis of rotation, characterized in that

- A marker is detected with a camera and displayed as a marker image, either the camera participates in the rotation and the marker is directionally fixed or vice versa, so that when rotating the object about the axis of rotation takes place a relative rotation between the marker and the camera,
The actual orientation which exists between the camera and the marker before rotation, either from the orientation which the marker image has before the rotation in the field of view of the camera, or from the linear extent which the marker image has before the rotation in the field of view of the camera is derived by means of electronic image processing and the result is used to determine a desired rotation angle by which the object is to be rotated to bring about a predetermined target orientation between the camera and the marker and thus to align the object in a specific target direction about the axis of rotation .
- And then the object is rotated about the desired rotation angle about the rotation axis and thus aligned in the target direction.

A2 Gemäß einer Variante des Verfahrens werden folgende Schritte durchgeführt:

a) der Marker wird in der Umgebung des Gegenstandes richtungsfest angeordnet,
b) die Kamera wird an dem Gegenstand so angeordnet, dass sie an der Drehung des Gegenstandes teilnimmt, ihre optische Achse parallel oder schräg zur Drehachse verläuft und der Marker im Erfassungsbereich der Kamera liegt und somit von derselben als innerhalb ihres Bildfeldes liegendes Markerbild abgebildet wird,
c) mittels elektronischer Bildverarbeitung wird aus der Orientierung des Markerbildes im Bildfeld der Kamera die Ist-Orientierung der Kamera relativ zu dem Marker abgeleitet und mit der Soll-Orientierung der Kamera relativ zu dem Marker verglichen,
d) das Ergebnis des Schrittes c) wird dazu herangezogen, den Soll-Drehwinkel zu bestimmen,
e) der Gegenstand wird um den Soll-Drehwinkel um die Drehachse gedreht,

so dass nach dem Schritt e) die vorgegebene Soll-Orientierung zwischen Kamera und Marker vorliegt und somit der Gegenstand in der Zielrichtung ausgerichtet ist. Vorzugsweise wird die Kamera im Schritt b) starr an dem Gegenstand angeordnet.A2 According to a variant of the method, the following steps are carried out:

a) the marker is arranged directionally in the vicinity of the object,
b) the camera is arranged on the object so that it participates in the rotation of the object, its optical axis parallel or runs obliquely to the axis of rotation and the marker lies in the detection range of the camera and is thus imaged by the same as lying within its image field marker image,
c) by means of electronic image processing is derived from the orientation of the marker image in the image field of the camera, the actual orientation of the camera relative to the marker and compared with the desired orientation of the camera relative to the marker,
d) the result of step c) is used to determine the desired rotation angle,
e) the object is rotated about the desired rotational angle about the axis of rotation,

so that after step e), the predetermined target orientation between camera and marker is present and thus the object is aligned in the target direction. The camera is preferably arranged rigidly on the object in step b).

A3 Wenn die Orientierung zwischen dem Gegenstand und der Kamera bekannt ist, kann aus der Orientierung zwischen Kamera und Marker sofort die Orientierung zwischen Gegenstand und Marker bestimmt werden. Die Orientierung zwischen dem Gegenstand und der Kamera kann von vornherein bekannt sein. Gemäß einer Variante wird die Orientierung zwischen dem Gegenstand und der Kamera ermittelt, z. B. durch Einmessung.A3 If the orientation between the object and the camera is known is, can from the orientation between camera and marker immediately the orientation between object and marker can be determined. The orientation between the object and the camera can be from be known in advance. According to one Variant becomes the orientation between the object and the camera determined, z. B. by measurement.

Sofern die Orientierung des Markers gegenüber der Außenwelt bzw. Umgebung des Gegenstandes bekannt oder eingemessen ist, folgt aus der Orientierung des Gegenstandes relativ zum Marker sofort die absolute Orientierung des Gegenstandes bezüglich der Außenwelt bzw. Umgebung. Beispielsweise kann die Orientierung des Markers gegenüber der Nord-Süd-Richtung eingemessen sein. A12 Gemäß einer Verfahrensvariante wird daher die Orientierung des Markers gegenüber der Außenwelt ermittelt und die absolute Orientierung des Gegenstandes bezüglich der Außenwelt aus der Orientierung des Gegenstandes relativ zum Marker und der Orientierung des Markers gegenüber der Außenwelt oder gegenüber der Umgebung des Gegenstandes bestimmt.Provided the orientation of the marker relative to the outside world or surroundings of the object is known or measured, follows from the orientation of the object relative to the marker immediately the absolute orientation of the object in terms of the outside world or environment. For example, the orientation of the marker opposite the North-south be measured. A12 According to one Process variant is therefore the orientation of the marker over the outside world determined and the absolute orientation of the object with respect to outside world from the orientation of the object relative to the marker and the Orientation of the marker opposite the outside world or opposite the environment of the object determined.

Gemäß einer anderen Verfahrensvariante wird die Orientierung des Markers gegenüber der Umgebung des Gegenstandes ermittelt und die absolute Orientierung des Gegenstandes bezüglich der Umgebung des Gegenstandes aus der Orientierung des Gegenstandes relativ zum Marker und der Orientierung des Markers gegenüber der Außenwelt oder gegenüber der Umgebung des Gegenstandes bestimmt.According to one Another variant of the method is the orientation of the marker relative to the environment of the object and the absolute orientation of the object in terms of the environment of the object from the orientation of the object relative to the marker and the orientation of the marker relative to the marker outside world or opposite the environment of the object determined.

A4 Gemäß einer Variante werden folgende Schritte durchgeführt:

a') der Marker wird an dem Gegenstand so angeordnet, dass der Marker an der Drehung des Gegenstands teilnimmt,
b') die Kamera wird in der Umgebung des Gegenstandes richtungsfest so angeordnet, dass ihre optische Achse parallel oder schräg zur Drehachse verläuft und der Marker im Erfassungsbereich der Kamera liegt und somit von derselben als innerhalb ihres Bildfeldes liegendes Markerbild abgebildet wird,
c') mittels elektronischer Bildverarbeitung wird aus der Orientierung des Markerbildes im Bildfeld der Kamera die Ist-Orientierung des Markers relativ zu der Kamera abgeleitet und mit der Soll-Orientierung des Markers relativ zu der Kamera verglichen,
d') das Ergebnis des Schrittes c') wird dazu herangezogen, den Soll-Drehwinkel zu bestimmen,
e') der Gegenstand wird um den Soll-Drehwinkel um die Drehachse gedreht, so dass nach dem Schritt e') die vorgegebene Soll-Orientierung zwischen Marker und Kamera vorliegt und somit der Gegenstand in der Zielrichtung ausgerichtet ist.

A4 According to a variant, the following steps are carried out:

a ') the marker is placed on the article so that the marker participates in the rotation of the article,
b ') the camera is arranged in the surroundings of the object directionally fixed so that its optical axis is parallel or oblique to the axis of rotation and the marker lies in the detection range of the camera and thus is imaged by the same as lying within its image field marker image,
c ') the actual orientation of the marker relative to the camera is derived from the orientation of the marker image in the image field of the camera by means of electronic image processing and compared with the desired orientation of the marker relative to the camera,
d ') the result of step c') is used to determine the desired angle of rotation,
e ') the object is rotated about the desired rotation angle about the rotation axis, so that after the step e') the predetermined desired orientation between marker and camera is present and thus the object is aligned in the target direction.

Mit der Orientierung zwischen Kamera und Marker, d. h. mit der Ist-Orientierung der Kamera relativ zum Marker oder umgekehrt, ist diejenige Orientierung gemeint, welche die Projektion der Kamera auf eine zur Drehachse senkrechte Ebene relativ zur Projektion des Markers auf diese Ebene aufweist.With the orientation between camera and marker, d. H. with the actual orientation the camera relative to the marker or vice versa, is that orientation meant, which is the projection of the camera on one to the axis of rotation vertical plane relative to the projection of the marker on this plane having.

A5 Wenn die Orientierung zwischen dem Gegenstand und dem Marker bekannt ist, kann aus der Orientierung zwischen Marker und Kamera sofort die Orientierung zwischen Gegenstand und Kamera bestimmt werden. Die Orientierung zwischen dem Gegenstand und dem Marker kann von vornherein bekannt sein. Gemäß einer Variante wird die Orientierung zwischen dem Gegenstand und dem Marker ermittelt, z. B. durch Einmessung.A5 If the orientation between the object and the marker is known is, can from the orientation between marker and camera immediately the orientation between object and camera can be determined. The orientation between the object and the marker can be from be known in advance. According to one Variant becomes the orientation between the object and the marker determined, z. B. by measurement.

Mit der Orientierung zwischen Gegenstand und Marker ist diejenige Orientierung gemeint, welche die Projektion des Gegenstandes auf eine zur Drehachse senkrechte Ebene relativ zur Projektion des Markers auf diese Ebene aufweist.With The orientation between object and marker is the orientation meant, which is the projection of the object on one to the axis of rotation vertical plane relative to the projection of the marker on this plane having.

Vorzugsweise wird die Kamera im Schritt b) oder im Schritt b') so angeordnet, dass ihre optische Achse der Kamera parallel zur Drehachse verläuft oder ist gegen diese um einen Winkel von höchstens 85°, vorzugsweise um einen Winkel von höchstens 60°, besonders bevorzugt um einen Winkel von höchstens 30° oder um einen Winkel von höchstens 15° geneigt ist.Preferably the camera is arranged in step b) or in step b ') so that its optical axis the camera is parallel to the axis of rotation or is against this an angle of at most 85 °, preferably at an angle of at most 60 °, especially preferably at an angle of at most 30 ° or inclined at an angle of at most 15 ° is.

A6 Gemäß einer weiteren Variante des erfindungsgemäßen Verfahrens werden folgende Schritte durchgeführt:

A) der Marker wird an dem Gegenstand so angeordnet, dass der Marker an der Drehung des Gegenstands teilnimmt,
B) die Kamera wird in der Umgebung des Gegenstandes richtungsfest so angeordnet, dass ihre optische Achse senkrecht oder schräg zur Drehachse verläuft und der Marker im Erfassungsbereich der Kamera liegt und somit von derselben als innerhalb ihres Bildfeldes liegendes Markerbild abgebildet wird,
C) mittels elektronischer Bildverarbeitung wird aus der linearen Ausdehnung, welche im Bildfeld der Kamera das Markerbild senkrecht zur Richtung des Bildes der Drehachse aufweist, die Ist-Orientierung des Markers relativ zu der Kamera abgeleitet und mit der Soll-Orientierung des Markers relativ zu der Kamera verglichen,
D) das Ergebnis des Schrittes C) wird dazu herangezogen, den Soll-Drehwinkel zu bestimmen,
E) der Gegenstand wird um den Soll-Drehwinkel um die Drehachse gedreht,

so dass nach dem Schritt E) die vorgegebene Soll-Orientierung zwischen Marker und Kamera vorliegt und somit der Gegenstand in der Zielrichtung ausgerichtet ist.A6 According to a further variant of the method according to the invention, the following steps are carried out:

A) the marker is so attached to the item arranges that the marker participates in the rotation of the object,
B) the camera is arranged in the vicinity of the object directionally fixed so that its optical axis is perpendicular or oblique to the axis of rotation and the marker is within the detection range of the camera and thus is imaged by the same as lying within their image field marker image,
C) by means of electronic image processing, the actual orientation of the marker relative to the camera is derived from the linear extent, which has in the image field of the camera, the marker image perpendicular to the direction of the image of the axis of rotation, and with the desired orientation of the marker relative to the camera compared,
D) the result of step C) is used to determine the desired rotation angle,
E) the object is rotated about the desired rotation angle about the axis of rotation,

so that after step E), the predetermined desired orientation between marker and camera is present and thus the object is aligned in the target direction.

Da die Drehachse kein sichtbarer, physischer Körper ist, sondern eine gedachte Linie, ist selbstverständlich das Bild der Drehachse kein reales, sichtbares Bild im Bildfeld der Kamera, sondern ebenfalls eine gedachte Linie. Mit der Richtung des Bildes der Drehachse ist die Richtung dieser gedachten Linie im Bildfeld der Kamera gemeint.There the axis of rotation is not a visible, physical body, but an imaginary one Line, of course the image of the rotation axis no real, visible image in the image field the camera, but also an imaginary line. With the direction The image of the axis of rotation is the direction of this imaginary line meant in the frame of the camera.

Vorzugsweise wird die Kamera im Schritt B) so angeordnet, dass ihre optische Achse der Kamera senkrecht zur Drehachse verläuft oder ist gegen diese um einen Winkel von mindestens 5°, vorzugsweise um einen Winkel von mindestens 30°, besonders bevorzugt um einen Winkel von mindestens 60° oder um einen Winkel von mindestens 85° geneigt ist.Preferably the camera is placed in step B) so that their optical Axis of the camera is perpendicular to the axis of rotation or is against this order an angle of at least 5 °, preferably by an angle of at least 30 °, more preferably by one Angle of at least 60 ° or around an angle of at least 85 ° inclined is.

A7 Gemäß einer Verfahrensvariante ist der Gegenstand entlang einer Bahn oder auf oder parallel zu einer Lauffläche verfahrbar, wobei im Schritt a) eine Mehrzahl oder Vielzahl von Markern entlang der Bahn oder auf der Lauffläche angeordnet werden, der Gegenstand nacheinander an verschiedene Standorte verfahren wird, welche so gewählt sind, dass an jedem der Standorte wenigstens einer der Marker von der Kamera erfasst und abgebildet wird, und die Schritte b) bis e) für jeden der Standorte separat ausgeführt werden.A7 According to one Process variant is the object along a path or on or parallel to a tread movable, wherein in step a) a plurality or plurality of Markers can be arranged along the track or on the tread, the One object at a time to different locations, which is chosen are that at each of the sites at least one of the markers of the camera is captured and imaged, and steps b) to e) for each of the sites will run separately.

D. h., anstelle nur eines Markers werden gemäß dieser Variante mehrere Marker nacheinander benutzt, wobei der Gegenstand zunächst mit Hilfe des ersten Markers ausgerichtet wird, dann an einem anderen Standort mit Hilfe des zweiten Markers, usw.. A8 Bevorzugt ist herbei jeder Marker von allen übrigen Markern verschieden und mittels der Kamera und Bildverarbeitung individuell identifizierbar.D. h., instead of just one marker according to this variant, several markers used sequentially, the object first with the help of the first marker is aligned, then at another location using the second marker, etc. A8 Preferably, each marker is from all the rest Markers differently and by means of the camera and image processing individually identifiable.

A9 Als Marker kann z. B. ein Codeträger oder ein Zeichen oder eine Zeichenfolge oder ein Bildmuster oder Punktmuster verwendet werden, wobei der Marker eine Information trägt, die mittels der Kamera und Bildverarbeitung ausgelesen wird. Diese Information kann z. B. zur individuellen Identifizierbarkeit des Markers dienen und/oder den Standort des betreffenden Markers angeben.A9 As a marker z. B. a code carrier or a character or a string or pattern or Dot pattern can be used, the marker information wearing, which is read out by means of the camera and image processing. These Information can z. B. for individual identifiability of Markers and / or specify the location of the marker in question.

A10 Als Codeträger kann z. B. ein eindimensionaler Barcode verwendet werden. Gemäß einer anderen Variante wird als Codeträger ein zweidimensionaler Barcode oder ein Data-Matrix-Code verwendet.A10 As code carrier can z. B. a one-dimensional barcode can be used. According to another Variant is called code carrier uses a two-dimensional bar code or a data matrix code.

A11 Bevorzugt trägt jeder Marker eine Information über seine eigene Absolutposition entlang des Fahrweges oder über die Absolutposition seiner Projektion auf die Lauffläche jeweils bezüglich eines vorgegebenen Referenzpunktes, wobei diese Information mittels der Kamera und Bildverarbeitung ausgelesen wird. Auf diese Weise können die Marker bzw. die Informationen, welche die Marker tragen, zur Lokalisierung des Gegenstandes entlang der Bahn oder Lauffläche per Bildverarbeitung herangezogen werden.A11 Preferably carries Each marker has information about it his own absolute position along the track or over the Absolute position of its projection on the tread each with respect to a given Reference point, this information by means of the camera and Image processing is read out. In this way, the Marker or the information carrying the marker for localization of the object along the path or tread can be used by image processing.

Kurzbeschreibung der Zeichnung, in welcher anhand bevorzugter Ausführungsformen der Erfindung schematisch zeigen:Summary the drawing, in which reference to preferred embodiments of the invention schematically show:

1 eine Draufsicht auf einen durchsichtig dargestellten Roboter, welcher auf einer Lauffläche steht und um eine vertikale Drehachse drehbar ist, wobei an der Unterseite des Roboters eine ebenfalls durchsichtig dargestellte Kamera angeordnet ist und sich unter dem Roboter ein Marker befindet, welcher auf die Lauffläche aufgeklebt ist und von der Kamera erfasst und abgebildet wird, 1 a top view of a robot shown in transparent, which is on a tread and is rotatable about a vertical axis of rotation, wherein at the bottom of the robot, a camera is also shown transparent and is located under the robot, a marker, which is glued to the tread and captured and mapped by the camera,

2 das Bildfeld der Kamera in der Situation von 1, 2 the field of view of the camera in the situation of 1 .

3 den wiederum durchsichtig dargestellten Roboter von 1 in Draufsicht nach der Drehung um einen gemäß einer ersten Erfindungsvariante ermittelten Soll-Drehwinkel, 3 the again transparent robot from 1 in plan view after the rotation about a determined according to a first variant of the invention target rotation angle,

4 das Bildfeld der Kamera in der Situation von 3, 4 the field of view of the camera in the situation of 3 .

5 eine weitere Draufsicht auf den Roboter von 1, wobei die hier nicht dargestellte Kamera oberhalb des Roboters angeordnet ist und der Marker auf die Oberseite des Roboters aufgeklebt ist und von der Kamera erfasst und abgebildet wird, 5 another plan view of the robot from 1 wherein the camera, not shown here, is arranged above the robot and the marker is glued to the top side of the robot and is detected and imaged by the camera,

6 das Bildfeld der Kamera in der Situation von 5, 6 the field of view of the camera in the situation of 5 .

7 den Roboter von 5 in Draufsicht nach der Drehung um einen gemäß einer zweiten Erfindungsvariante ermittelten Soll-Drehwinkel, 7 the robot of 5 in plan view after the rotation about a determined according to a second variant of the invention target rotation angle,

8 das Bildfeld der Kamera in der Situation von 7, 8th the field of view of the camera in the situation of 7 .

9 eine weitere Draufsicht auf den Roboter von 1, wobei die hier ebenfalls nicht dargestellte Kamera oberhalb des Roboters angeordnet ist und der Marker auf die Oberseite des Arms des Roboters aufgeklebt ist und von der Kamera erfasst und abgebildet wird, 9 another plan view of the robot from 1 wherein the camera, also not shown here, is arranged above the robot and the marker is glued to the top of the arm of the robot and is detected and imaged by the camera,

10 das Bildfeld der Kamera in der Situation von 9, 10 the field of view of the camera in the situation of 9 .

11 das Bildfeld der Kamera nach Schwenkung des Roboterarms um eine Schwenkachse nach oben um einen gemäß einer dritten Erfindungsvariante ermittelten Soll-Drehwinkel, 11 the image field of the camera after pivoting of the robot arm about a pivot axis upward about a determined according to a third variant of the invention variant rotational angle,

12 den Roboter von 9 in Draufsicht nach Drehen des Roboterarms um seine Längsachse nach links um einen ebenfalls gemäß der dritten Erfindungsvariante ermittelten Soll-Drehwinkel 12 the robot of 9 in plan view after turning the robot arm about its longitudinal axis to the left about a likewise determined according to the third variant of the invention target rotation angle

13 das Bildfeld der Kamera in der Situation von 12, und 13 the field of view of the camera in the situation of 12 , and

14 das Bildfeld der Kamera in einer Situation, in welcher der Arm des Roboters gegenüber der Situation von 9 sowohl nach oben geschwenkt als auch nach links gedreht ist. 14 the field of view of the camera in a situation in which the arm of the robot against the situation of 9 both turned up and turned to the left.

Die 1, 3, 5, 7, 9 und 12 zeigen jeweils einen Roboter R, welcher mittels eines nicht gezeigten Antriebs um eine Drehachse V, nämlich um die Vertikalachse V des Roboters R, drehbar ist. Der Roboter R kann auf einer Lauffläche F Die Drehachse V verläuft im vorliegenden Beispiel senkrecht zur Lauffläche F.The 1 . 3 . 5 . 7 . 9 and 12 each show a robot R, which is rotatable about a rotational axis V, namely about the vertical axis V of the robot R, by means of a drive, not shown. The robot R can on a tread F The axis of rotation V runs in the present example perpendicular to the tread F.

Der Roboter R weist einen Arm A auf, welcher über ein Winkelstück W an dem Roboter angeordnet ist. Das Winkelstück W ist mitsamt dem Arm A um eine Schwenkachse S schwenkbar, wodurch der Roboter den Arm A heben und senken kann. Der Arm A ist ferner um eine Rotierachse RA, welche mit der Längsachse RA des Arms A zusammenfällt, rotierbar, wodurch der Roboter R den Arm A um dessen Längsachse RA drehen kann.Of the Robot R has an arm A, which via an elbow W to the robot is arranged. The angle W is together with the arm A to a pivot axis S pivotally, whereby the robot lift the arm A. and lower. The arm A is further about a rotation axis RA, which with the longitudinal axis RA of Arm A coincides rotatable, whereby the robot R, the arm A about its longitudinal axis RA can turn.

Am Arm ist in dessen vom Winkelstück W abgewandten Endbereich ein Laser L angeordnet, mittels welchem der Roboter R z. B. Punktschweißungen an Werkstücken vornehmen kann. Die Längsachse des Lasers L verläuft senkrecht zur Rotationsachse RA. Wenn der Arm A um seine Längsachse RA gedreht wird, ändert sich also die Ausrichtung des Lasers L. Durch Drehen des Roboters R um die Vertikalachse V, durch Drehen bzw. Schwenken des Arms um die Schwenkachse S und durch Drehen des Arms um seine Längsachse RA kann der Laser L somit in jede beliebige Raumrichtung ausgerichtet werden.At the Arm is in the one of the elbow W facing away from a laser L arranged by means of which the robot R z. B. spot welds on workpieces can make. The longitudinal axis of the laser L runs perpendicular to the axis of rotation RA. When the arm A is about its longitudinal axis RA is turned, changes So the orientation of the laser L. By turning the robot R about the vertical axis V, by turning or pivoting of the arm to the pivot axis S and by turning the arm about its longitudinal axis RA, the laser L can thus be aligned in any spatial direction become.

Nachfolgend werden vier Varianten des erfindungsgemäßen Verfahrens anhand der Figuren erläutert. In den nachfolgenden Erläuterungen zur ersten und zur zweiten Variante des erfindungsgemäßen Verfahrens ist generell

– mit der Orientierung eines Objekts (z. B. Marker M) relativ zu einem anderen Objekt (z. B. Kamera K, Roboter R),
– oder, was dasselbe ist, mit der Orientierung des Objektes bezüglich des anderen Objekts,
– oder, was ebenfalls dasselbe ist, mit der Orientierung zwischen diesen beiden Objekten,

jeweils diejenige Orientierung gemeint, welche die Projektion des Objekts auf eine zur Vertikalachse V senkrechte Ebene relativ zur Projektion des anderen Objekts auf diese Ebene aufweist.Four variants of the method according to the invention will be explained below with reference to the figures. In the following explanations to the first and second variants of the method according to the invention is general

With the orientation of one object (eg marker M) relative to another object (eg camera K, robot R),
Or, which is the same, with the orientation of the object with respect to the other object,
Or, which is also the same, with the orientation between these two objects,

in each case that orientation is meant, which has the projection of the object on a plane perpendicular to the vertical axis V relative to the projection of the other object on this plane.

Die 1 bis 4 veranschaulichen eine erste Variante eines erfindungsgemäßen Verfahrens. Diese Variante dient zum Ausrichten des Roboters R durch Drehen desselben um die Vertikalachse V und umfasst die folgenden Schritte:The 1 to 4 illustrate a first variant of a method according to the invention. This variant is used to align the robot R by rotating it around the vertical axis V and comprises the following steps:

Schritt a): Der Marker M wird in der Umgebung des Roboters R, nämlich im vorliegenden Beispiel auf der Lauffläche F unter dem Roboter R, ortsfest und richtungsfest angeordnet, z. B. aufgeklebt. Der Marker M ist im vorliegenden Beispiel ein eindimensionaler Barcode M, auf welchen zur besseren Veranschaulichung des erfindungsgemäßen Verfahrens ein Marker-Koordinatensystem Mx, My mit den parallel zur Lauffläche F ausgerichteten Achsen Mx, My bezogen ist, wobei die Mx-Achse parallel und die My-Achse senkrecht zu den Balken des Barcodes M verläuft. Auf den Informationsgehalt des Barcodes M kommt es hier nicht an.step a): The marker M is in the vicinity of the robot R, namely in present example on the tread F under the robot R, fixed and directional arranged, z. B. glued. The marker M in the present example is a one-dimensional barcode M, on which for better illustration of the method according to the invention a marker coordinate system Mx, My with the parallel to the tread F aligned axes Mx, My is related, with the Mx axis parallel and the My axis perpendicular to the bars of the bar code M runs. On the information content of the bar code M does not matter here.

In der Situation von 1 ist der Roboter R auf der Lauffläche F so ausgerichtet, dass die Schwenkachse S in einer Anfangsrichtung Z1 und in einem Winkel φ1 zur Mx-Achse verläuft. Der Winkel φ1 ist daher ein Maß für die Ist-Orientierung des Roboters R bezüglich des Markers M, welche in der Situation von 1 vorliegt.In the situation of 1 the robot R is aligned on the tread F so that the pivot axis S is in an initial direction Z1 and at an angle φ1 to the Mx axis. The angle φ1 is therefore a measure of the actual orientation of the robot R with respect to the marker M, which in the situation of 1 is present.

Schritt b): An dem Roboter R wird eine in 1 ebenfalls durchsichtig dargestellte CCD-Kamera K so angeordnet, dass die Kamera K an jeder Drehbewegung des Roboters R teilnimmt, von oben nach unten auf die Lauffläche F blickt, ihre optische Achse parallel zur Drehachse V verläuft und der Marker M im Erfassungsbereich E der Kamera K liegt und somit von derselben als innerhalb ihres Bildfeldes BF liegendes Markerbild M' abgebildet wird (2).Step b): At the robot R, an in 1 also shown transparent CCD camera K arranged so that the camera K takes part in each rotational movement of the robot R, from above looking down on the tread F, their optical axis is parallel to the axis of rotation V and the marker M is in the detection range E of the camera K and thus of the same as within their image field BF lying marker image M 'is mapped ( 2 ).

Auf die Kamera K ist ein Kamera-Koordinatensystem Kx, Ky bezogen, dessen zueinander senkrechte Achsen Kx, Ky jeweils parallel zur Lauffläche F und jeweils parallel zu einer Begrenzungslinie des Bildfeldes BF der Kamera K verlaufen. Die Achsen Kx, Ky spannen die Ebene des Bildfeldes BF auf.On the camera K is related to a camera coordinate system Kx, Ky, whose mutually perpendicular axes Kx, Ky respectively parallel to the tread F and each parallel to a boundary line of the image field BF of Camera K run. The axes Kx, Ky span the plane of the image field BF on.

Die Kx-Achse schneidet die Schwenkachse S unter einem Winkel β, bzw. die Projektion der Kx-Achse auf eine zur Vertikalachse V senkrechte Ebene schneidet die Projektion der Schwenkachse S auf diese Ebene unter dem Winkel β (1). Der Winkel β ist somit ein Maß für die Orientierung zwischen Kamera K und Roboter R. Da die Kamera K an jeder Drehung des Roboters teilnimmt, ändert sich der Winkel β bei Drehung des Roboters R nicht, sondern bleibt konstant.The Kx axis intersects the pivot axis S at an angle β, or the projection of the Kx axis onto a plane perpendicular to the vertical axis V intersects the projection of the pivot axis S onto this plane at the angle β (FIG. 1 ). The angle β is thus a measure of the orientation between camera K and robot R. Since the camera K participates in each rotation of the robot, the angle β does not change during rotation of the robot R, but remains constant.

In der Situation von 1 ist der Roboter R auf der Lauffläche F so ausgerichtet, dass die Kx-Achse in einem Winkel α1 zur Mx-Achse verläuft. Der Winkel α1 ist somit ein Maß für die Ist-Orientierung der Kamera K bezüglich des Markers M, welche in der Situation von 1 vorliegt. Es gilt φ1 = α1 + β.In the situation of 1 the robot R is aligned on the tread F so that the Kx axis is at an angle α1 to the Mx axis. The angle α1 is thus a measure of the actual orientation of the camera K with respect to the marker M, which in the situation of 1 is present. We have φ1 = α1 + β.

2 zeigt das Bildfeld BF, welches die Kamera K in der Situation von 1 liefert. Der Marker M wird von der Kamera K im Bildfeld BF als Markerbild M' abgebildet. Der im Erfassungsbereich E der Kamera K liegende Teil der Lauffläche F wird als Laufflächenbild F' abgebildet. Die Achse Mx wird im Bildfeld BF als Achsenbild Mx' abgebildet. Ebenso wird die Achse My im Bildfeld BF als Achsenbild My' abgebildet. Die Schwenkachse S wird im Bildfeld BF als Achsenbild S' abgebildet. Selbstverständlich sind alle Achsenbilder Mx', My', S' keine realen, sichtbaren Bilder im Bildfeld BF, sondern ebenso wie Achsen Mx, My, S nur gedachte Linien und in 2 (ebenso in 4, auf welche unten noch Bezug genommen wird) lediglich zur besseren Veranschaulichung der Erfindung eingezeichnet. 2 shows the image field BF, which the camera K in the situation of 1 supplies. The marker M is imaged by the camera K in the image field BF as a marker image M '. The lying in the detection range E of the camera K part of the tread F is shown as a tread image F '. The axis Mx is represented in the image field BF as an axis image Mx '. Likewise, the axis My in the image field BF is depicted as an axis image My '. The pivot axis S is imaged in the image field BF as an axis image S '. Of course, all axis images Mx ', My', S 'are not real, visible images in the image field BF, but just like axes Mx, My, S only imaginary lines and in 2 (also in 4 to which reference will be made below) are shown merely to better illustrate the invention.

Die Kamera K liefert ein seitenrichtiges und aufrechtes Bild, wobei der Abbildungsmaßstab in Kx-Richtung, in Ky-Richtung und in alen Zwischenrichtungen gleich ist, d. h. das Bild der Kamera K ist unverzerrt und somit winkeltreu. Daher verlaufen in 2 die Balken des Markerbildes M' im Bildfeld BF der Kamera K ebenfalls im Winkel α1 zur Kx-Achse, d. h. der Winkel α1 ist ein Maß auch dafür, wie in der Situation von 2 das Markerbild M' im Bildfeld BF orientiert ist.The camera K provides a right-angled and upright image, wherein the magnification in the Kx direction, in the Ky direction and in all intermediate directions is the same, ie the image of the camera K is undistorted and thus angle-faithful. Therefore, in 2 the bars of the marker image M 'in the image field BF of the camera K also at an angle α1 to the Kx axis, ie the angle α1 is a measure of this, as in the situation of 2 the marker image M 'is oriented in the image field BF.

Schritt c): Zunächst wird in diesem Schritt die Orientierung, welche das Markerbild M' im Bildfeld BF der Kamera K aufweist, mittels elektronischer Bildverarbeitung festgestellt. Dies kann insbesondere dadurch geschehen, dass die Richtung der Balken des Markerbildes M' im Bildfeld BF durch ein Bildverarbeitungsprogramm, welches diese Balken im Bildfeld BF zu erkennen imstande ist, festgestellt und daraus der Winkel α1 bestimmt wird.step c): First In this step, the orientation which the marker image M 'in the image field BF of Camera K has detected by means of electronic image processing. This can be done in particular by the direction of the Bars of the marker image M 'im Image field BF through an image processing program which displays these bars in the image field BF is capable of detecting, detected and therefrom the angle α1 is determined.

Danach wird im Schritt c) die Ist-Orientierung der Kamera K relativ zum Marker M abgeleitet. Da die Kamera K im vorliegenden Beispiel ein seitenrichtiges, aufrechtes und unverzerrtes Bild liefert, ist der Winkel, um den die Balken des Markerbildes M' im Bildfeld BF gegen die Kx-Achse geneigt sind, genauso groß wie der Winkel, um den die Balken des Markers M selbst gegen die Kx-Achse geneigt sind. Dieser Winkel ist gegeben durch α1, d. h. die Ist-Orientierung der Kamera K relativ zum Marker M ist durch den Winkel α1 bestimmt.After that in step c), the actual orientation of the camera K relative to Derived marker M. Since the camera K in the present example a true-to-itself, upright and undistorted image, is the angle, around which the bars of the marker image M 'in the image field BF are inclined to the Kx axis are as big as the angle to which the bars of the marker M itself against the Kx axis are inclined. This angle is given by α1, d. H. the actual orientation the camera K relative to the marker M is determined by the angle α1.

Nun wird die so gefundene Ist-Orientierung der Kamera K relativ zum Marker M mit einer vorgegebenen Soll-Orientierung zwischen Kamera K und Marker M verglichen, d. h. die Abweichung zwischen Soll- und Ist-Orientierung zwischen Kamera K und Marker M wird festgestellt. Die Soll-Orientierung der Kamera K relativ zum Marker M ist im vorliegenden Beispiel durch einen Winkel α2 definiert (3). Damit ist der Schritt c) abgeschlossen.Now, the thus found actual orientation of the camera K relative to the marker M is compared with a predetermined desired orientation between camera K and marker M, ie the deviation between the target and actual orientation between camera K and marker M is detected. The desired orientation of the camera K relative to the marker M is defined in the present example by an angle α2 ( 3 ). This completes step c).

Schritt d): Nun wird aus der im Schritt c) gefundenen Abweichung ein Soll-Drehwinkel φ (3) bestimmt, um welchen der Roboter R zur Herbeiführung der vorgegebenen Soll-Orientierung zwischen Kamera K und Marker M und somit zum Ausrichten des Roboters R in eine bestimmte, vorgebbare Zielrichtung um die Drehachse V zu drehen ist.Step d): Now, from the deviation found in step c), a target rotation angle φ ( 3 ) by which the robot R is to be rotated around the axis of rotation V in order to bring about the predetermined desired orientation between camera K and marker M and thus for aligning the robot R in a specific, specifiable target direction.

Das erfindungsgemäße Verfahren ist abgeschlossen, wenn die vorgegebene Soll-Orientierung zwischen Kamera K und Marker M erreicht ist, denn dann ist der Roboter R in der Zielrichtung ausgerichtet. Der Soll-Drehwinkel φ ist also durch die Abweichung

– der Ist-Orientierung zwischen Kamera K und Marker M
– von der Soll-Orientierung zwischen Kamera K und Marker M

vorgegeben und wird erfindungsgemäß per Bildverarbeitung ermittelt.The inventive method is completed when the predetermined target orientation between camera K and marker M is reached, because then the robot R is aligned in the target direction. The target rotation angle φ is thus due to the deviation

- the actual orientation between camera K and marker M
- from the target orientation between camera K and marker M

predetermined and is determined according to the invention by image processing.

Schritt e): Nun wird der Roboter R um den im Schritt d) bestimmten Soll-Drehwinkel φ um die Drehachse V gedreht. 3 zeigt den Roboter R von 1 nach der Drehung um den Soll-Drehwinkel φ. 4 zeigt das Bildfeld BF, welches die Kamera K in der Situation von 4 liefert.Step e): Now, the robot R is rotated about the rotation angle V by the target rotation angle φ determined in step d). 3 shows the robot R of 1 after the rotation about the target rotation angle φ. 4 shows the image field BF, which the camera K in the situation of 4 supplies.

Diese Drehung ist in 1 durch gekrümmte Pfeile angedeutet. Durch diese Drehung geht die Richtung der Schwenkachse S von der Anfangsrichtung Z1 in die Zielrichtung Z2 über, wodurch der Roboter R erfindungsgemäß in eine bestimmte Richtung ausgerichtet wird.This rotation is in 1 indicated by curved arrows. As a result of this rotation, the direction of the pivot axis S changes from the initial direction Z1 to the target direction Z2, as a result of which the robot R is aligned in a specific direction according to the invention.

Die Balken des Markers M verlaufen nach der Drehung in einem Winkel α2 zur Kx-Achse; die Schwenkachse S verläuft nun in einem Winkel φ2 zu den Balken des Markers M, wobei φ = α1 – α2 = φ1 – φ2 und φ2 = α2 + β gilt.The Bars of the marker M run at an angle α2 to the Kx axis after rotation; the pivot axis S extends now at an angle φ2 to the bars of the marker M, where φ = α1 - α2 = φ1 - φ2 and φ2 = α2 + β.

Somit ist der Roboter nach dem Schritt e) in einer bestimmten, vorgegebenen Richtung relativ zu dem Marker M ausgerichtet, nämlich im vorliegenden Beispiel so, dass die Schwenkachse S im Winkel φ2 zu den Balken des orts- und richtungsfesten Markers M verläuft.Consequently is the robot after step e) in a certain, predetermined Direction aligned relative to the marker M, namely in the present example such that the pivot axis S at an angle φ2 to the beams of the location and directional Markers M runs.

Die Zielrichtung Z2 braucht nicht notwendigerweise vorgegeben zu sein. Sofern die Orientierung β zwischen Roboter R und Kamera K bekannt ist, folgt die Orientierung des Roboters R unmittelbar aus der Orientierung der Kamera K. Dann folgt aus der Ist-Orientierung α1 zwischen Kamera K und Marker M die Anfangsrichtung Z1 und aus der Soll-Orientierung α2 zwischen Kamera K und Marker M die Zielrichtung Z2 als vorgebbare Soll-Zielrichtung.The Target direction Z2 does not necessarily have to be predetermined. If the orientation β between Robot R and camera K is known, follows the orientation of the robot R directly from the orientation of the camera K. Then follows from the Actual orientation α1 between camera K and marker M the initial direction Z1 and from the Target orientation α2 between camera K and marker M the target direction Z2 as specifiable Target objective.

Nun wird auf die 5 bis 8 Bezug genommen, welche eine zweite Variante des erfindungsgemäßen Verfahrens veranschaulichen. Auch diese zweite Variante dient zum Ausrichten des Roboters R durch Drehen desselben um die Vertikalachse V und umfasst die folgenden Schritte:Now on the 5 to 8th Reference is made, which illustrate a second variant of the method according to the invention. This second variant also serves to align the robot R by rotating it about the vertical axis V and comprises the following steps:

5 zeigt den Roboter R von 1 erneut, wobei dieser in 5 ebenso ausgerichtet ist wie in 1, nämlich so, dass die Schwenkachse S in der Anfangsrichtung Z1 verläuft. 5 shows the robot R of 1 again, this in 5 as well as in 1 in such a way that the pivot axis S runs in the initial direction Z1.

Die unter Bezug auf die 5 bis 8 erläuterte Variante des Verfahrens dient zum Ausrichten des Roboters R relativ zur Kamera K und umfasst anstelle der obigen Schritte a) bis e) die folgenden Schritte a') bis e'):The referring to the 5 to 8th explained variant of the method is used to align the robot R relative to the camera K and comprises the following steps a ') to e') instead of the above steps a) to e):

Schritt a'): Der bereits in 1 gezeigte Marker M wird, anders als in der oben erläuterten ersten Variante, nicht auf die Lauffläche F, sondern auf die Oberseite des Roboters R aufgeklebt, so dass der Marker M an jeder Drehung des Roboters R teilnimmt. Auf den Marker M ist das Marker-Koordinatensystem Mx, My mit den parallel zur Lauffläche F ausgerichteten Achsen Mx,My bezogen.Step a '): The already in 1 Markers M shown, unlike in the first variant discussed above, not on the tread F, but glued to the top of the robot R, so that the marker M takes part in each rotation of the robot R. On the marker M, the marker coordinate system Mx, My is related to the parallel to the tread F aligned axes Mx, My.

Die Mx-Achse schneidet die Schwenkachse S bzw. deren Projetion auf die von der Mx-Achse und der My-Achse aufgepannnte Ebene unter einem Winkel ε. Der Winkel ε ist somit ein Maß für die Orientierung zwischen Marker M und Roboter R. Da der Marker an jeder Drehung des Roboters R teilnimmt, ändert sich der Winkel ε bei Drehung des Roboters R nicht, sondern bleibt konstant.The Mx axis intersects the pivot axis S or its projection on the plane subtended by the Mx axis and the My axis under one Angle ε. The angle ε is thus a measure of orientation between marker M and robot R. As the marker rotates every time of the robot R changes the angle ε at Rotation of the robot R does not, but remains constant.

Schritt b'): Die in den 5 und 7 nicht dargestellte Kamera K wird, anders als in der oben erläuterten ersten Variante, nicht am Roboter R angeordnet, sondern über demselben so angeordnet, dass die Kamera von oben nach unten auf den Roboter R und den Marker M blickt, ihre optische Achse parallel zur Drehachse V verläuft und der Marker M im Erfassungsbereich E der Kamera liegt und somit von derselben als innerhalb ihres Bildfeldes BF liegendes Markerbild M' abgebildet wird (6). Die Kamera wird hierbei richtungsfest angeordnet, so dass sie nicht an Drehbewegungen des Roboters R teilnimmt.Step b '): The in the 5 and 7 not shown camera K, unlike in the above-explained first variant, not on the robot R, but arranged above the same so that the camera looks from top to bottom on the robot R and the marker M, their optical axis parallel to the axis of rotation V runs and the marker M lies in the detection range E of the camera and is therefore imaged by the same as within its image field BF lying marker image M '( 6 ). The camera is arranged directionally fixed so that it does not participate in rotational movements of the robot R.

Auf die Kamera ist das Kamera-Koordinatensystem Kx, Ky bezogen, dessen zueinander senkrechte Achsen Kx, Ky jeweils parallel zur Lauffläche F und jeweils parallel zu einer Begrenzungslinie des Bildfeldes BF der Kamera K verlaufen. Die Achsen Kx, Ky spannen die Ebene des Bildfeldes BF auf.On the camera is related to the camera coordinate system Kx, Ky, whose mutually perpendicular axes Kx, Ky respectively parallel to the tread F and each parallel to a boundary line of the image field BF of Camera K run. The axes Kx, Ky span the plane of the image field BF on.

In der Situation von 5 ist der Roboter R auf der Lauffläche F so ausgerichtet, dass die Kx-Achse in einem Winkel θ1 zur Mx-Achse und in einem Winkel ϕ1 zur Schwenkachse S verläuft (bzw. die Projektion der Kx-Achse auf eine zur Vertikalachse V senkrechte Ebene im Winkel δ1 zur Projektion der Mx-Achse auf diese Ebene und im Winkel ϕ1 zur Projektion der Schwenkachse S auf diese Ebene verläuft). Der Winkel δ1 ist ein Maß für die in der Situation von 5 vorliegende Ist-Orientierung des Markers M bezüglich der Kamera. Ebenso ist der Winkel ϕ1 ein Maß für die in der Situation von 1 vorliegende Ist-Orientierung des Roboters R bezüglich der Kamera. Hierbei gilt ϕ1 = ϕ1 + ε.In the situation of 5 the robot R is aligned on the tread F so that the Kx axis is at an angle θ1 to the Mx axis and at an angle φ1 to the pivot axis S (or the projection of the Kx axis on a plane perpendicular to the vertical axis V in FIG Angle δ1 for the projection of the Mx axis on this plane and at an angle φ1 for the projection of the pivot axis S on this plane). The angle δ1 is a measure of in the situation of 5 present orientation of the marker M with respect to the camera. Similarly, the angle φ1 is a measure of in the situation of 1 present orientation of the robot R with respect to the camera. Here, φ1 = φ1 + ε.

6 zeigt das Bildfeld BF, welches die Kamera K in der Situation von 5 liefert. Der Marker M wird von der Kamera im Bildfeld BF als Markerbild M' abgebildet. Der im Erfassungsbereich E der Kamera K liegende Teil der Oberseite des Roboters R wird als Roboterbild R' abgebildet. 6 shows the image field BF, which the camera K in the situation of 5 supplies. The marker M is imaged by the camera in the image field BF as a marker image M '. The part of the upper side of the robot R lying in the detection area E of the camera K is imaged as a robot image R '.

Da die Kamera K ein seitenrichtiges, aufrechtes und unverzerrtes Bild liefert, verlaufen in 6 die Balken des Markerbildes M' im Bildfeld BF ebenfalls im Winkel δ1 zur Kx-Achse, d. h. der Winkel δ1 ist ein Maß auch dafür, wie in der Situation von 6 das Markerbild M' im Bildfeld BF orientiert ist.Since the camera K delivers a right-angled, upright and undistorted image, run in 6 the bars of the marker image M 'in the image field BF also at an angle δ1 to the Kx axis, ie the angle δ1 is a measure of this, as in the situation of 6 the marker image M 'is oriented in the image field BF.

Schritt c'): Dieser Schritt unterscheidet sich von dem oben erläuterten Schritt c) nur dadurch, dass an die Stelle des Winkels α1 nun der Winkel θ1 tritt, durch welchen die Ist-Orientierung des Markers M relativ zu der Kamera K gegeben ist.Step c '): This step differs from the above-explained step c) only in that the angle θ1 is now substituted for the angle α1, by which the actual orientation of the marker M relative to the camera K is given.

Analog zum Schritt c) wird auch im Schritt c') die Abweichung der Ist-Orientierung zwischen Kamera und Marker M festgestellt von einer vorgegebenen Soll-Orientierung festgestellt, welche im vorliegenden Beispiel durch einen θ2 Winkel definiert ist (7).Analogously to step c), the deviation of the actual orientation between camera and marker M determined by a predetermined desired orientation is also determined in step c '), which is defined in the present example by a θ2 angle ( 7 ).

Schritt d'): Nun wird in völliger Analogie zum oben erläuterten Schritt d) aus der im Schritt c') gefundenen Abweichung ein Soll-Drehwinkel ϕ (7) bestimmt, um welchen der Roboter R zur Herbeiführung der gewünschten Soll-Orientierung zwischen Kamera und Marker M und somit zum Ausrichten des Roboters R so, dass die Schwenkachse S in der Richtung Z3 verläuft, um die Drehachse V zu drehen ist.Step d '): Now, in complete analogy to step d) explained above, from the deviation found in step c'), a setpoint rotation angle φ ( 7 ), by which the robot R is to bring about the desired target orientation between the camera and the marker M and thus for aligning the robot R so that the pivot axis S extends in the direction Z3 to rotate about the rotation axis V.

Schritt e'): Schließlich wird der Roboter R um den im Schritt d') bestimmten Soll-Drehwinkel ϕ um die Drehachse V gedreht. 7 zeigt den Roboter R von 1 nach dieser Drehung. 8 zeigt das Bildfeld BF, welches die Kamera in der Situation von 7 liefert. Diese Drehung ist in 5 durch gekrümmte Pfeile angedeutet. Durch diese Drehung geht die Richtung der Schwenkachse S von der Anfangsrichtung Z1 in die Zielrichtung Z3 über, wodurch der Roboter R erfindungsgemäß in eine bestimmte Richtung ausgerichtet wird. Die Balken des Markers M verlaufen nach der Drehung in einem Winkel θ2 zur Kx-Achse; die Schwenkachse S verläuft nun in einem Winkel ϕ2 zur Kx-Achse, wobei ϕ = δ1 – δ2 = ϕ1 – ϕ2 und ϕ2 = δ2 + ε gilt.Step e '): Finally, the robot R is rotated around the rotation axis V by the target rotation angle φ determined in step d'). 7 shows the robot R of 1 after this rotation. 8th shows the image field BF, which the camera in the situation of 7 supplies. This rotation is in 5 indicated by curved arrows. As a result of this rotation, the direction of the pivot axis S changes from the initial direction Z1 to the target direction Z3, as a result of which the robot R is aligned in a specific direction according to the invention. The bars of the marker M extend after rotation at an angle θ2 to the Kx axis; the pivot axis S now extends at an angle φ2 to the Kx axis, where φ = δ1-δ2 = φ1-φ2 and φ2 = δ2 + ε.

Somit ist der Roboter R nach dem Schritt e') in einer bestimmten, vorgegebenen Richtung relativ zu der Kamera ausgerichtet, nämlich im vorliegenden Beispiel so, dass die Schwenkachse S im Winkel ϕ2 zur Kx-Achse verläuft.Consequently is the robot R after the step e ') in a certain, predetermined Direction aligned relative to the camera, namely in the present example such that the pivot axis S extends at an angle φ2 to the Kx axis.

Nun wird auf die 9 bis 11 Bezug genommen, welche eine dritte Variante des erfindungsgemäßen Verfahrens veranschaulichen.Now on the 9 to 11 Referenced, which illustrate a third variant of the method according to the invention.

Da es in der dritten Variante nicht um eine Drehung um die Vertikalachse V geht, sondern um eine Drehung um die Schwenkachse S, ist in den nachfolgenden Erläuterungen zur dritten Variante des erfindungsgemäßen Verfahrens generell

– mit der Orientierung eines Objekts (z. B. Marker M) relativ zu einem anderen Objekt (z. B. Kamera),
– oder, was dasselbe ist, mit der Orientierung des Objektes bezüglich des anderen Objekts,
– oder, was ebenfalls dasselbe ist, mit der Orientierung zwischen diesen beiden Objekten,

jeweils diejenige Orientierung gemeint, welche die Projektion des Objekts auf eine zur Schwenkachse S senkrechte Ebene relativ zur Projektion des anderen Objekts auf diese Ebene aufweist.Since it is not about a rotation about the vertical axis V in the third variant, but about a rotation about the pivot axis S, is in the following explanations to the third variant of the method according to the invention in general

With the orientation of one object (eg marker M) relative to another object (eg camera),
Or, which is the same, with the orientation of the object with respect to the other object,
Or, which is also the same, with the orientation between these two objects,

in each case the orientation meant, which has the projection of the object on a plane perpendicular to the pivot axis S relative to the projection of the other object on this plane.

Die dritte Verfahrensvariante kann insbesondere zusätzlich oder gleichzeitig zur ersten Verfahrensvariante ausgeführt werden und dient nicht zum Ausrichten des Roboters R selbst, sondern zum Ausrichten Arms A des Roboters R relativ zur Kamera K durch Drehen bzw. Schwenken des Arms A um die Schwenkachse S, und umfasst die folgenden Schritte A) bis E):The third variant of the method may in particular additionally or simultaneously to first method variant executed and is not used to align the robot R itself, but for aligning arm A of the robot R relative to the camera K Turning or pivoting of the arm A about the pivot axis S, and comprises the following steps A) to E):

Schritt A): 9 zeigt den Roboter R von 1 erneut. Der bereits in 1 gezeigte Marker M wird gemäß Schritt A) nicht auf den Roboter R selbst, sondern auf die Oberseite des Arms A des Roboters R aufgeklebt, so dass der Marker M an jeder Drehung und Schwenkung des Arms A teilnimmt.Step A): 9 shows the robot R of 1 again. The already in 1 shown marker M is not glued to the robot R itself, but on top of the arm A of the robot R according to step A), so that the marker M takes part in each rotation and pivoting of the arm A.

Schritt B): Die in 9 nicht dargestellte Kamera K wird so angeordnet, dass die Kamera von oben nach unten auf den Arm A und den Marker M blickt, ihre optische Achse senkrecht zur Schwenkachse S verläuft und der Marker M im Erfassungsbereich E der Kamera liegt und somit von derselben als innerhalb ihres Bildfeldes BF liegendes Markerbild M' abgebildet wird (12). Die Kamera wird hierbei richtungsfest angeordnet, so dass sie nicht an Drehbewegungen des Arms A teilnimmt.Step B): The in 9 not shown camera K is arranged so that the camera looks from top to bottom on the arm A and the marker M, their optical axis is perpendicular to the pivot axis S and the marker M is in the detection range E of the camera and thus from the same as within their Image field BF lying marker image M 'is imaged ( 12 ). The camera is arranged directionally fixed so that it does not participate in rotational movements of the arm A.

Eine mögliche Anordnung des Roboters R, seines Arms A und des Markers M nach Ausführung der Schritte A) und B) ist in 9 als Beispiel gezeigt. In der Situation von 9 ist der Roboter R auf der Lauffläche F so ausgerichtet, dass die Kx-Achse parallel und die Längsachse RA des Arms A senkrecht zur Schwenkachse S verläuft, wobei der Arm A des Roboters R leicht gegen die Horizontale angehoben ist. Eine derartige Ausrichtung ist jedoch nicht Voraussetzung für die Durchführbarkeit des erfindungsgemäßen Verfahrens.A possible arrangement of the robot R, its arm A and the marker M after execution of steps A) and B) is in 9 shown as an example. In the situation of 9 the robot R is aligned on the tread F so that the Kx axis is parallel and the longitudinal axis RA of the arm A is perpendicular to the pivot axis S, the arm A of the robot R being slightly raised against the horizontal. However, such an orientation is not a prerequisite for the feasibility of the method according to the invention.

10 zeigt das Bildfeld BF, welches die Kamera K in der Situation von 9 liefert. Der Marker M wird von der Kamera im Bildfeld BF als Markerbild M' abgebildet. Der im Erfassungsbereich E der Kamera K liegende Teil des Arms A wird als Armbild A' abgebildet. Das Winkelstück W wird als Winkelstückbild W' abgebildet. 10 shows the image field BF, which the camera K in the situation of 9 supplies. The marker M is imaged by the camera in the image field BF as a marker image M '. The part of the arm A lying in the detection area E of the camera K is imaged as arm image A '. The angle W is shown as Winkelstückbild W '.

Schritt C): Das Bild S' der Schwenkachse S verläuft in 10 von rechts nach links. Selbstverständlich ist das Achsenbild S' keine reale, sichtbare Linie im Bildfeld BF, sondern ebenso wie die Schwenkachse S selbst nur eine gedachte Linie und in den 2, 4, 6, 8, 10, 11, 13 und 14 lediglich zur besseren Veranschaulichung der Erfindung jeweils als strichpunktierte Linie dargestellt (dasselbe gilt auch für das Bild RA' der Rotierachse RA).Step C): The image S 'of the pivot axis S extends in 10 from right to left. Of course, the axis image S 'is not real, visible Line in the image field BF, but just like the pivot axis S itself only an imaginary line and in the 2 . 4 . 6 . 8th . 10 . 11 . 13 and 14 only shown for clarity of the invention in each case as a dash-dotted line (the same applies to the image RA 'of the rotation axis RA).

Senkrecht zur Richtung des Achsenbildes S' besitzt das Markerbild M' im Bildfeld BF eine bestimmte lineare Ausdehnung y1 (10). Diese Ausdehnung ändert sich bei Drehung bzw. Schwenkung des Arms A um die Schwenkachse S auf Grund der sich ändernden perspektivischen Verzerrung. Die Ausdehnung y1 ist daher ein Maß für den Winkel, unter dem die optische Achse der Kamera die Längsachse RA des Arms A schneidet, bzw. unter dem die Projektion der optischen Achse der Kamera auf eine zur Schwenkachse S senkrechte Ebene die Projektion der Längsachse RA auf diese Ebene schneidet. Mit anderen Worten ist die Ausdehnung y1 ein Maß für die in der Situation von 10 vorliegende Ist-Orientierung des Arms A (und damit des Markers M) relativ zur Kamera.Perpendicular to the direction of the axis image S ', the marker image M' in the image field BF has a specific linear extent y1 (FIG. 10 ). This expansion changes upon rotation of the arm A about the pivot axis S due to the changing perspective distortion. The extent y1 is therefore a measure of the angle at which the optical axis of the camera intersects the longitudinal axis RA of the arm A, or under the projection of the optical axis of the camera on a plane perpendicular to the pivot axis S, the projection of the longitudinal axis RA this plane intersects. In other words, the extent y1 is a measure of that in the situation of 10 present orientation of the arm A (and thus the marker M) relative to the camera.

Im Schritt C) wird nun mittels elektronischer Bildverarbeitung aus der linearen Ausdehnung y1 die Ist-Orientierung des Markers M relativ zu der Kamera K abgeleitet und mit einer vorgegebenen Soll-Orientierung des Markers M relativ zu der Kamera K verglichen.in the Step C) will now be by means of electronic image processing the linear expansion y1 the actual orientation of the marker M relative derived to the camera K and with a predetermined target orientation of the marker M relative to the camera K compared.

Sofern sich der Marker M in der Soll-Orientierung relativ zu der Kamera K befindet, besitzt die lineare Ausdehnung, welche im Bildfeld BF der Kamera K das Markerbild M' senkrecht zur Richtung des Achsenbildes S' aufweist, im vorliegenden Beispiel den Wert y2 (11). Im Schritt C) wird daher einfach der Wert y1 per Bildverarbeitung ermittelt und mit dem vorgegebenen Wert y2 verglichen.If the marker M is in the desired orientation relative to the camera K, the linear extent which has the marker image M 'perpendicular to the direction of the axis image S' in the image field BF of the camera K has the value y2 (in the present example). 11 ). In step C), therefore, the value y1 is simply determined by image processing and compared with the predetermined value y2.

Schritt D): Nun wird aus der im Schritt C) gefundenen Abweichung y1 – y2 ein Soll-Drehwinkel bestimmt, um welchen der Arm A zur Herbeiführung der gewünschten Soll-Orientierung zwischen Kamera und Marker M um die Schwenkachse S zu drehen ist.step D): Now, the deviation y1 -y2 found in step C) becomes Setpoint rotation angle determined, around which the arm A for bringing the desired Target orientation between camera and marker M around the swivel axis S is to turn.

Schritt E): Schließlich wird der Arm A um den im Schritt D) bestimmten Soll-Drehwinkel um die Schwenkachse S gedreht. 11 zeigt das Bildfeld BF der Kamera nach dieser Drehung. Der Arm A ist nun stärker gegen die Horizontale angehoben als in der Situation von 9. Durch diese Drehung geht die Längsrichtung des Arms A in eine bestimmte Zielrichtung über, wodurch der Arm A erfindungsgemäß in diese Zielrichtung ausgerichtet wird.Step E): Finally, the arm A is rotated about the predetermined in step D) rotational angle about the pivot axis S. 11 shows the image field BF of the camera after this rotation. The arm A is now more strongly raised to the horizontal than in the situation of 9 , By this rotation, the longitudinal direction of the arm A is in a certain direction, whereby the arm A is aligned according to the invention in this direction.

Somit ist der Arm A nach dem Schritt E) in einer bestimmten, vorgegebenen Richtung relativ zu der Kamera ausgerichtet, nämlich im vorliegenden Beispiel so, dass die lineare Ausdehnung, welche das Markerbild M' im Bildfeld BF der Kamera senkrecht zur Richtung Achsenbildes S' aufweist, den Wert y2 annimmt.Consequently is the arm A after the step E) in a certain, predetermined Direction aligned relative to the camera, namely in the present example such that the linear extent which the marker image M 'in the image field BF of the Camera perpendicular to the direction axis image S ', the value assumes y2.

Prinzipiell kann die lineare Ausdehnung, welche das Markerbild M' im Bildfeld BF der Kamera senkrecht zur Richtung Achsenbildes S' aufweist, auch dadurch vom Wert y1 auf den Wert y2 gebracht werden, dass der Arm A nicht gegen die Horizontale abgehoben, sondern abgesenkt wird. Denn auch in diesem Fall gibt es eine Orientierung des Armes A relativ zur Kamera, bei welcher diese lineare Ausdehnung den Wert y2 annimmt. Ebenso gibt es zwei Orientierungen des Arms A relativ zur Kamera, bei welchen die lineare Ausdehnung, welche das Markerbild M' im Bildfeld BF der Kamera senkrecht zur Richtung Achsenbildes S' aufweist, den Wert y1 annimmt. Völlig entsprechendes gilt auch für jeden anderen Wert der lineare Ausdehnung, welche das Markerbild M' im Bildfeld BF der Kamera senkrecht zur Richtung Achsenbildes S' aufweist.in principle For example, the linear extent which the marker image M 'in the image field BF of the Camera perpendicular to the direction of the axis image S ', also by the value y1 be brought to the value y2, that the arm A is not against the Horizontal lifted but lowered. Because in this, too Case, there is an orientation of the arm A relative to the camera, at which this linear expansion assumes the value y2. Likewise there There are two orientations of the arm A relative to the camera, in which the linear extent which the marker image M 'in the image field BF of the camera perpendicular to the direction of axis image S ', takes the value y1. Completely the same applies to any other value of the linear extent that the marker image M 'in the image field BF the camera perpendicular to the direction of the axis image S 'has.

Gemäß einer bevorzugten Variante der Erfindung wird diese Mehrdeutigkeit durch geeignete Maßnahmen beseitigt. Beispielsweise kann hierzu bei der Drehung des Arms A um die Schwenkachse S zwischen Vorwärts- und Rückwärtsdrehung unterschieden werden, so dass überwacht wird, ob z. B. der Wert y1 oder ein anderer bestimmter Wert der linearen Ausdehnung, welche das Markerbild M' im Bildfeld BF der Kamera senkrecht zur Richtung Achsenbildes S' aufweist, durch Vorwärts- oder Rückwärtsdrehung des Arms A um die Schwenkachse S erreicht wurde.According to one preferred variant of the invention, this ambiguity is through appropriate measures eliminated. For example, this can during the rotation of the arm A be distinguished about the pivot axis S between forward and reverse rotation, so that monitors is, whether z. For example, the value y1 or another specific value of linear extent, which the marker image M 'in the image field BF of the camera perpendicular to the direction of axis image S ', through forward or reverse rotation of the arm A has been reached about the pivot axis S.

Eine andere Möglichkeit zur Vermeidung von Mehrdeutigkeit besteht darin, dass die Grob-Ausrichtung des Arms durch eine andere Methode festgestellt wird, z. B. durch Verwendung eines Tasters, einer Lichtschranke, eines Winkelcodierers, eines Kompasses oder einer Wasserwaage, und mittels des erfindungsgemäßen Verfahrens eine Fein-Ausrichtung vorgenommen wird. Die Ablesung des Kompasses oder der Wasserwaage können ebenfalls mittels der Kamera und Bildverarbeitung automatisch erfolgen. Zahlreiche weitere Methoden zur Beseitigung der genannten Mehrdeutigkeit sind möglich.A different possibility To avoid ambiguity is that the coarse alignment the arm is determined by another method, for. B. by Use of a button, a photoelectric sensor, an angle encoder, a compass or a spirit level, and by the method according to the invention a fine alignment is made. The reading of the compass or the spirit level also done automatically by means of the camera and image processing. Numerous other methods for eliminating the above ambiguity are possible.

Diese Ausführungen zur Mehrdeutigkeit und ihrer Beseitigung sind völlig analog auch zutreffend für die Orientierungen, welche sich aus den nachfolgend erläuterten Werten x1 und x2 ergeben.These versions the ambiguity and its elimination are completely analogous also applicable to the orientations, which result from the values x1 and x2 explained below.

Nun wird erneut auf 10 sowie zusätzlich auf die 12 und 13 Bezug genommen, welche eine vierte Variante des erfindungsgemäßen Verfahrens veranschaulichen.Now it will open again 10 as well as in addition to the 12 and 13 Reference is made, which illustrate a fourth variant of the method according to the invention.

Da es in der vierten Variante nicht um eine Drehung um die Vertikalachse A oder um die Schwenkachse S geht, sondern um eine Drehung um die Roationsachse RA, ist in den nachfolgenden Erläuterungen zur vierten Variante des erfindungsgemäßen Verfahrens generell

– mit der Orientierung eines Objekts (z. B. Marker M, Arm A) relativ zu einem anderen Objekt (z. B. Kamera),
– oder, was dasselbe ist, mit der Orientierung des Objektes bezüglich des anderen Objekts,
– oder, was ebenfalls dasselbe ist, mit der Orientierung zwischen diesen beiden Objekten,

jeweils diejenige Orientierung gemeint, welche die Projektion des Objekts auf eine zur Rotationsachse RA senkrechte Ebene relativ zur Projektion des anderen Objekts auf diese Ebene aufweist.Since in the fourth variant it is not about a rotation about the vertical axis A or about the pivot axis S, but about a rotation about the Roationsachse RA, is in the following explanations to the fourth variant of the method according to the invention in general

With the orientation of an object (eg marker M, arm A) relative to another object (eg camera),
Or, which is the same, with the orientation of the object with respect to the other object,
Or, which is also the same, with the orientation between these two objects,

in each case that orientation is meant which has the projection of the object on a plane perpendicular to the axis of rotation RA relative to the projection of the other object on this plane.

Die vierte Verfahrensvariante kann insbesondere zusätzlich oder gleichzeitig zur ersten und zur dritten Verfahrensvariante ausgeführt werden und dient zum Ausrichten des Lasers L relativ zur Kamera K durch Drehen des Arms A um die Rotationsachse RA, und umfasst die folgenden Schritte A') bis E'). Diese Schritte unterscheiden sich von den Schritten A) bis E) der dritten Verfahrensvariante nur dadurch, dass die Rotation um die Rotationsachse RA und nicht um die Schwenkachse S erfolgt, und daher an die Stelle der Linearausdehnungen y1 und y2 die nachfolgend erläuterten Linearausdehnungen x1 und x2 treten.The fourth variant of the method may in particular additionally or simultaneously to are performed first and third method variant and serves for aligning of the laser L relative to the camera K by turning the arm A around the Rotation axis RA, and includes the following steps A ') to E'). These steps differ from steps A) to E) of the third variant of the method only in that the rotation about the axis of rotation RA and not takes place about the pivot axis S, and therefore in place of the linear expansions y1 and y2 explained below Linear expansion x1 and x2 occur.

Schritte A') und B'): Diese Schritte sind identisch mit den obigen Schritten A) und B). 9 zeigt als Beispiel eine mögliche Anordnung des Roboters R, seines Arms A mit dem Laser L und des Markers M nach Ausführung der Schritte A') und B'). 10 zeigt das Bildfeld BF, welches die Kamera in der Situation von 9 liefert. Im Schritt A') wird der Marker M indirekt, nämlich über den Arm A, am Laser L angeordnet, so dass der Marker M an jeder Drehung des Lasers L teilnimmt.Steps A ') and B'): These steps are identical to the above steps A) and B). 9 shows as an example a possible arrangement of the robot R, its arm A with the laser L and the marker M after performing steps A ') and B'). 10 shows the image field BF, which the camera in the situation of 9 supplies. In step A '), the marker M is arranged indirectly, namely via the arm A, on the laser L, so that the marker M participates in each rotation of the laser L.

Schritt C'): Das Bild RA' der Rotationsachse R verläuft in 10 von oben nach unten.Step C '): The image RA' of the rotation axis R extends in 10 from top to bottom.

Senkrecht zur Richtung des Achsenbildes RA' besitzt das Markerbild M' im Bildfeld BF eine bestimmte lineare Ausdehnung x1 (10). Diese Ausdehnung ändert sich bei Drehung des Arms A um die Rotationsachse RA auf Grund der sich ändernden perspektivischen Verzerrung. Die Ausdehnung x1 ist daher ein Maß für die Ausrichtung des Arms A bezüglich seiner eigenen Längsachse RA. Mit anderen Worten ist die Ausdehnung x1 ein Maß für die in der Situation von 10 vorliegende Ist-Orientierung des Arms A (und damit des Markers M) relativ zur Kamera.Perpendicular to the direction of the axis image RA ', the marker image M' in the image field BF has a specific linear extent x1 ( 10 ). This expansion changes as the arm A rotates about the axis of rotation RA due to the changing perspective distortion. The extent x1 is therefore a measure of the orientation of the arm A with respect to its own longitudinal axis RA. In other words, the extent x1 is a measure of that in the situation of 10 present orientation of the arm A (and thus the marker M) relative to the camera.

Im Schritt C') wird mittels Bildverarbeitung aus der linearen Ausdehnung x1 die Ist-Orientierung des Markers M relativ zu der Kamera K abgeleitet und mit einer vorgegebenen Soll-Orientierung des Markers M relativ zu der Kamera K verglichen.in the Step C ') becomes using image processing from the linear expansion x1 the actual orientation of Markers M relative to the camera K derived and given a predetermined Target orientation of the marker M relative to the camera K compared.

Sofern sich der Marker M in der Soll-Orientierung relativ zu der Kamera K befindet, besitzt die lineare Ausdehnung, welche das Markerbild M' im Bildfeld BF senkrecht zur Richtung des Achsenbildes RA' aufweist, im vorliegenden Beispiel den Wert x2 (13). Im Schritt C') wird daher einfach der Wert x1 per Bildverarbeitung ermittelt und mit dem vorgegebenen Wert x2 verglichen.If the marker M is in the desired orientation relative to the camera K, the linear extent which the marker image M 'in the image field BF has perpendicular to the direction of the axis image RA' in the present example has the value x2 ( 13 ). In step C '), therefore, the value x1 is simply determined by image processing and compared with the predetermined value x2.

Schritt D'): Nun wird aus der im Schritt D) gefundenen Abweichung x1 – x2 ein Soll-Drehwinkel bestimmt, um welchen der Arm R zur Herbeiführung der gewünschten Soll-Orientierung zwischen Kamera und Marker M um die seine Längsachse RA zu drehen ist.step D '): Now off the deviation x1-x2 found in step D) determines a desired angle of rotation, around which the arm R for bringing the desired Target orientation between camera and marker M around its longitudinal axis RA is to turn.

Schritt E'): Schließlich wird der Arm A um den im Schritt D') bestimmten Soll-Drehwinkel um die Drehachse S gedreht. 12 zeigt den Roboter R mit dem Arm A, dem Laser L und dem Marker M nach dieser Drehung. 13 zeigt das Bildfeld BF, welches die Kamera in der Situation von 12 liefert.Step E '): Finally, the arm A is rotated around the rotation axis S by the target rotation angle determined in step D'). 12 shows the robot R with the arm A, the laser L and the marker M after this rotation. 13 shows the image field BF, which the camera in the situation of 12 supplies.

Auf Grund dieser Drehung ist der Arm A in 12 gegenüber 10 nach links gedreht. Durch diese Drehung geht die Ausrichtung des Lasers L in eine bestimmte Zielrichtung über, wodurch der Laser L erfindungsgemäß in diese Zielrichtung ausgerichtet wird.Due to this rotation, the arm A is in 12 across from 10 turned to the left. As a result of this rotation, the orientation of the laser L changes into a specific target direction, as a result of which the laser L is aligned in this direction in accordance with the invention.

Somit ist der Laser L nach dem Schritt E') in einer bestimmten, vorgegebenen Richtung relativ zu der Kamera ausgerichtet, nämlich im vorliegenden Beispiel so, dass die lineare Ausdehnung, welche das Markerbild M' im Bildfeld BF der Kamera senkrecht zur Richtung Achsenbildes RA' aufweist, den Wert x2 annimmt.Consequently is the laser L after the step E ') in a certain, predetermined Direction aligned relative to the camera, namely in the present example such that the linear extent which the marker image M 'in the image field BF of the Camera perpendicular to the direction axis image RA ', the value x2 assumes.

14 zeigt das Bildfeld der Kamera in einer Situation, welche sich ausgehend von der Situation von 9 dadurch ergibt, dass zunächst die Schritte A) bis E) und danach die Schritte A') bis E') ausgeführt werden. 14 veranschaulicht, dass der Laser L mit dem erfindungsgemäßen Verfahren durch Überlagerung von Rotationen um die Drehachsen V, S und RA in eine beliebig vorgebbare räumliche Ausrichtung gebracht werden kann, wobei die erforderlichen Soll-Drehwinkel alle durch Verwendung ein- und desselben Marker M und ein- und derselben Kamera K automatisch per elektronischer Bildverarbeitung ermittelt werden können. 14 shows the image field of the camera in a situation which is based on the situation of 9 This results in that first steps A) to E) and then the steps A ') to E') are performed. 14 illustrates that the laser L can be brought into an arbitrarily predeterminable spatial orientation by the superposition of rotations about the axes of rotation V, S and RA with the method according to the invention, the required nominal angles of rotation being all determined by using one and the same marker M and and the same camera K can be determined automatically by electronic image processing.

Der Barcode M trägt eine Information. Diese Information kann z. B. den Standort des Markers M auf der Lauffläche F enthalten und während der Durchführung des Verfahrens eingelesen werden. Die Verwendung eines Barcodes als Marker M ist daher sehr vorteilhaft.The bar code M carries information. This information can z. B. the location of the marker M contained on the tread F and read during the execution of the procedure. The use of a barcode as a marker M is therefore very advantageous.

Die Drehachse braucht nicht durch den Marker zu verlaufen. Daher braucht bei der Anbringung des Markers auf der Lauffläche F (Schritt a) oder am Roboter R (Schritt a') oder am Arm R (Schritte A bzw. A') keine Sorgfalt darauf verwendet zu werden, den Marker M mit hoher Präzision an einer bestimmten Stelle zu platzieren, wodurch Aufwand und Kosten gespart werden; ebenso kann daher der Ort des Markers in weiten Grenzen an die jeweils vorliegenden Platzverhältnisse angepasst werden.The The axis of rotation does not need to run through the marker. Therefore needs when attaching the marker on the tread F (step a) or on the robot R (step a ') or on the arm R (steps A and A ') no care to be used, the marker M with high precision to place at a certain point, which saves effort and costs become; as well, therefore, the location of the marker within wide limits be adapted to the available space available.

Die mit dem erfindungsgemäßen Verfahren erreichbare Genauigkeit der Ausrichtung in die Zielrichtung ist nur durch die Auflösung der Kamera K begrenzt. Das Verfahren erlaubt daher selbst bei Verwendung einer preisgünstigen CCD-Kamera als Kamera K eine sehr präzise Ausrichtung in eine beliebige Raumrichtung.The achievable with the method according to the invention Accuracy of alignment in the target direction is only through the resolution the camera K limited. The method therefore allows itself when used a reasonably priced one CCD camera as camera K a very precise alignment in any Spatial direction.

Das erfindungemäße Verfahren weist somit gegenüber dem Stand der Technik erheblich Vorteile auf.The inventive method thus faces The prior art has significant advantages.

Gewerbliche Anwendbarkeit:Industrial Applicability:

Die Erfindung ist gewerblich anwendbar z. B. im Bereich der Logistik, der Lagerhaltung, der industriellen Fertigung und der Robotik.The Invention is industrially applicable for. In the field of logistics, warehousing, industrial manufacturing and robotics.

AA: Arm von Rpoor from R
A'A ': Bild des innerhalb von E liegenden Teils von Aimage of the part of A lying within E
BFBF: Bildfeld von Kfield from K
✓✓: Vertikalachse von Rvertical axis from R
Ee: Erfassungsbereich von Kdetection range from K
FF: Bewegungsflächemovement area
F'F ': Bild des innerhalb von E liegenden Teils von Fimage of the part of F lying within E
KK: CCD-KameraCCD camera
Kx, KyKx, Ky: x-Achse, y-Achse des Kamera-KoordinatensystemsX axis, y-axis of the camera coordinate system
Kx', Ky'Kx ', ky': Bilder von Kx, Kyimages from Kx, Ky
LL: Laserlaser
L'L ': Bild von Limage from L
MM: Barcodebarcode
Mx, MyMx, My: x-Achse, y-Achse des Marker-KoordinatensystemsX axis, y axis of the marker coordinate system
Mx', My'Mx ', my': Bilder von Mx, Myimages from Mx, My
M'M ': Bild von Mimage from M
RR: Roboterrobot
RR: Bild des innerhalb von E liegenden Teils von Rimage of the part of R lying inside E
RARA: Rotierachse von ARotierachse from A
RA' Bild vonRA 'picture of: RARA
SS: Schwenkachseswivel axis
S'S ': Bild von Simage from S.
WW: Winkelstück von RElbow of R
W'W ': Bild des innerhalb von E liegenden Teils von Wimage of the part of W lying within E
x1, x2x1, x2: lineare Ausdehnungen in BF senkrecht zu RA'linear Expansions in BF perpendicular to RA '
y1, y2y1, y2: lineare Ausdehnungen in BF senkrecht zu S'linear Expansions in BF perpendicular to S '
Z1Z1: Anfangsrichtunginitial direction
Z2, Z3Z2, Z3: Zielrichtungentarget directions
α1α1: Orientierung zwischen K und M vor der Drehung um φorientation between K and M before rotation by φ
α2α2: Orientierung zwischen K und M nach der Drehung um φorientation between K and M after the rotation by φ
ββ: Orientierung zwischen S und K bei richtungsfestem Markerorientation between S and K with directional marker
φφ: Soll-Drehwinkel bei richtungsfestem MarkerTarget rotation angle with directional marker
φ1φ1: Orientierung zwischen S und M vor der Drehung um φ orientation between S and M before rotation by φ
φ2φ2: Orientierung zwischen S und M nach der Drehung um φorientation between S and M after the rotation by φ
δ1δ1: Orientierung zwischen M und K vor der Drehung um ϕorientation between M and K before rotation around φ
δ2δ2: Orientierung zwischen M und K nach der Drehung um ϕorientation between M and K after the rotation by φ
ϕφ: Soll-Drehwinkel bei richtungsfester KameraTarget rotation angle with directional camera
ϕ1φ1: Orientierung zwischen S und K vor der Drehung um ϕorientation between S and K before the rotation by φ
ϕ2φ2: Orientierung zwischen S und K nach der Drehung um ϕorientation between S and K after the rotation by φ
εε: Orientierung zwischen S und M bei richtungsfester Kameraorientation between S and M with directional camera

Claims

Method for aligning an object (R, A, L), such as robot (R), arm (A) of a robot (R) or laser (L), by rotating the object (R, A, L) about at least one axis of rotation ( V, S, RA), characterized in that - with a camera (K) a marker (M) is detected and displayed as a marker image (M '), either the camera (K) takes part in the rotation and the marker (M ) is fixed in direction or vice versa, so that upon rotation of the object (R, A, L) about the axis of rotation (V, S, RA) a relative rotation between the marker (M) and the camera (K) takes place, - the actual orientation (α1, δ1) which exists between camera (K) and marker (M) before rotation, either from the orientation which the marker image (M ') has before rotation in the image field (BF) of the camera (K), or from the linear expansion (y1, x1), which the marker image (M ') before the rotation in the image field (BF) of the camera (K), derived by means of electronic image processing and the result thereof forth is attracted to determine a desired rotation angle (φ, φ), around which the object (R, A, L) for establishing a predetermined desired orientation (α2, δ2) between the camera (K) and marker (M) and thus for aligning the object (R, A, L) in a specific target direction (Z2, Z3) about the axis of rotation (V, S, RA) is to be rotated, - and then the object (R, A, L) to the target Rotation angle (φ, φ) about the axis of rotation (V, S, RA) is rotated and thus aligned in the target direction (Z2, Z3).

Method according to claim 1, characterized in that that following steps are performed become: a) the marker (M) is in the vicinity of the object (R) directional party arranged, b) the camera (K) is connected to the Subject (R) arranged so that - she at the rotation of the object (R) participates, - your optical axis parallel or oblique to the axis of rotation (V) - and the Marker (M) in the detection range (E) of the camera (K) and thus from the same as within their image field (BF) lying marker image (M ') shown becomes, c) by means of electronic image processing is from the Orientation (α1) of the marker image (M ') in the image field (BF) of the camera (K) the actual orientation (α1) of the camera (K) relative to the marker (M) derived and with the desired orientation (α2) of the camera (K) relative to the marker (M) compared, d) the result of the Step c) is used to determine the desired rotation angle (φ) e) the Object (R) is rotated about the target rotation angle (φ) about the rotation axis (V), so that after step e) the predetermined desired orientation (α2) between Camera (K) and marker (M) is present and thus the subject (R) in the target direction (Z2) is aligned.

Method according to claim 2, characterized in that that the orientation (β) between the object (R) and the camera (K) is known or determined becomes.

Method according to claim 1, characterized in that that following steps are performed become: a ') the marker (M) is placed on the object (R) so that it participates in the rotation of the same, b ') the camera (K) will be in the area of the article (R) directionally arranged so that - their optical Axis parallel or oblique to the axis of rotation (V) runs - and the Marker (M) in the detection range (E) of the camera (K) and thus from the same as within their image field (BF) lying marker image (M ') shown becomes, c ') by means of Electronic image processing becomes the orientation (δ1) of the marker image (M ') in the image field (BF) of the camera (K) the actual orientation (δ1) of the marker (M) relative to derived from the camera (K) and with the desired orientation (δ2) of the marker (M) relative to compared to the camera (K), d ') the result of step c') is used to the desired angle of rotation to determine (φ) e ') the object (R) is rotated by the desired rotation angle (φ) rotated around the axis of rotation (V), so that after the step e ') the predetermined target orientation (δ2) between Marker (M) and camera (K) is present and thus the subject (R) in the target direction (Z3) is aligned.

Method according to claim 4, characterized in that that orientation (ε) between the object (R) and the marker (M) is known or by Measurement is determined.

Method according to one of claims 1 to 5, characterized that following steps are performed become: A) the marker (M) is placed on the object (A, L) so that he participates in the rotation of the same, B) the camera (K) is placed in the vicinity of the article (A, L) directional so that - your optical axis is perpendicular or oblique to the axis of rotation (S, RA) - and the Marker (M) in the detection range (E) of the camera (K) and thus from the same as within their image field (BF) lying marker image (M ') shown becomes, C) by means of electronic image processing is from the linear expansion (y1, x1), which in the image field (BF) of the camera (K) the marker image (M ') perpendicular to the direction of the image (S ', RA') the axis of rotation (S, RA), the actual orientation of the marker (M) relative to the camera (K) derived and with the desired orientation of the marker (M) relative to the camera (K), D) the Result of step C) is used to determine the desired angle of rotation, e) the object (A, L) is about the target rotational angle about the axis of rotation (S, RA) shot, so that after the step E) the predetermined target orientation between marker (M) and camera (K) and thus the subject (A, L) is oriented in the target direction.

A method according to claim 2, characterized in that - the article (R) along a path or on or parallel to a tread (F) is movable, - in step a) a plurality or plurality of markers along the path or on the tread ( F), - the article (R) successively to different Sites are chosen, which are selected so that at each of the locations at least one of the markers of the camera (K) is detected and mapped, - and the steps b) to e) for each of the sites are carried out separately.

Method according to claim 7, characterized in that that every marker of all the rest Markers differently and by means of the camera (K) and image processing individually identifiable.

Method according to one of the preceding claims, characterized characterized in that as marker (M) either a code carrier (M) or a character or a string or pattern or Dot pattern is used, wherein the marker (M) information wearing, which is read out by means of the camera (K) and image processing.

Method according to claim 9, characterized that - when code carrier a one-dimensional barcode (M) is used, or - As a code carrier two-dimensional bar code or a data matrix code is used.

A method according to claim 7 or 8 and according to claim 9 or 10, characterized in that each marker (M) contains information about its own absolute position along the track or over the Absolute position of its projection on the tread (F) in each case with respect to a carries predetermined reference point, and this information by means of the camera (K) and image processing is read out.

Method according to claim 2 or 3, characterized that the orientation of the marker (M) to the outside world or to the Environment of the object (R) and determines the absolute orientation of the article (R) with respect to the outside world or re the environment (R) of the object (R) - the orientation of the object (R) relative to marker (M) - and the orientation of the Markers (M) opposite the outside world or opposite the environment of the object (R) is determined.