EP1436126A2 - Correction of the relative motion between gripping or machining tools and work pieces - Google Patents

Correction of the relative motion between gripping or machining tools and work pieces

Info

Publication number
EP1436126A2
EP1436126A2 EP02785199A EP02785199A EP1436126A2 EP 1436126 A2 EP1436126 A2 EP 1436126A2 EP 02785199 A EP02785199 A EP 02785199A EP 02785199 A EP02785199 A EP 02785199A EP 1436126 A2 EP1436126 A2 EP 1436126A2
Authority
EP
European Patent Office
Prior art keywords
workpiece
cameras
image
images
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02785199A
Other languages
German (de)
French (fr)
Inventor
Hermann Tropf
Alexander Tropf
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tropf Hermann Dr-Ing
Original Assignee
Tropf Hermann Dr-Ing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE10159574A external-priority patent/DE10159574B9/en
Application filed by Tropf Hermann Dr-Ing filed Critical Tropf Hermann Dr-Ing
Publication of EP1436126A2 publication Critical patent/EP1436126A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator

Definitions

  • the invention relates to a method and devices for correcting the movement of gripping or processing tools relative to objects in an unknown or inaccurate position, in particular by means of robots.
  • gripping or processing by means of robots can be done without modifying a movement that has already been programmed. Is the position of the objects unsafe, e.g. Due to the uncertainties of the parts holder, the movement of the gripping or machining tool and thus that of the robot must be corrected for gripping or machining.
  • gripping are the removal from shaped foils, shelves or mesh boxes.
  • processing are grinding or applying adhesive;
  • the assembly and insertion and joining are also to be counted for processing, such as the mounting of add-on parts such as disks or wheels on automobile bodies or the insertion or welding of bolts.
  • tool is to be understood generally as either the gripper or the machining tool.
  • position the three-dimensional position and orientation in space (English “position and attitude") is referred to as position.
  • the position of a workpiece is described by at least 6 parameters, usually by three translational and three rotary, with which a coordinate system that is fixed to the workpiece is related to fixed spatial coordinates.
  • the multidimensional finite space of the positional deviations that are possible in this task (usually a 6-dimensional hyperguader) is referred to below as the work area.
  • robot is to be understood generally here in the sense of a mechanical or virtual system with programmable or algorithmically controllable or controllable movement.
  • the relative position of the tool and the workpiece is changed by the movement, either tool against workpiece or vice versa or both.
  • setup mode (offline mode) of a system - usually under human supervision or leadership - the system parameterized for the application, including e.g. Teaching a robot path, teaching an image analysis system and calibration, if necessary.
  • the standard position of a workpiece as a random or specially selected position for which the robot is taught.
  • the task is to grasp or process the workpiece correctly even in a position deviating from this standard position.
  • the standard position need not be in any known relation to the spatial coordinates. To put it bluntly, you could throw the workpiece on a table and use the random and geometrically unspecified position that emerged as the standard position for teaching.
  • the starting point is a position of system components that is generally determined during teaching, in which the first image recordings are made in automatic mode.
  • Fixed features are those features of a workpiece that are fixed on the workpieces, such as "naturally" existing shapes such as edges, corners, holes, beads, but also artificial brands (workpiece-specific, stationary imprints, Embossing, glue dots or workpiece-specific fixed projections such as laser dots or laser patterns).
  • Fixed features are also those that create a pattern with the help of structured light that is stationary in relation to the workpiece. This can be useful to increase interference immunity: for example, in order to represent workpiece edges more reliably, a thin line pattern can be projected onto the surface and the regions can be highlighted with a striped pattern using an adapted software filter in order to obtain a reliable figure-background separation (on the background there is no stripe pattern with matching line spacing).
  • Such excellent features are defined as those fixed features that are represented by points, for example the center of a circle or a corner point of a contour, given as the intersection of two straight pieces.
  • non-stationary, lighting-technically generated features can be used. These are referred to as flex features in the following (specifically introduced term).
  • Examples of flex features a) Bulges: When the camera moves relative to the workpiece and the lighting is directed, the reflection edges on the bulge move relative to the workpiece and also deform. They are not specific to the workpiece, but they are reproducible and suitable for obtaining the location information. b) Projection of light patterns (usually realized by laser): the resulting ones
  • shapes can be used for three-dimensional evaluation; Since the lighting is normally not moved in parallel with the workpiece, the shapes are not specific to the workpiece.
  • Characteristics are fixed characteristics or flex characteristics.
  • a characteristic is generally in three dimensions;
  • the mapping of a workpiece area comprising a feature into a two-dimensional coordinate system over a beam, also called an imaging beam path, is referred to as a feature image.
  • the components of the image description vector are measures that capture properties of the mapping of features in feature images.
  • the simplest example, with t 2, is the measurement of the centroid of the image of a hole, which is described by the two centroid image coordinates.
  • masses are also suitable for the image description vector, such as changes in size, changes in brightness and color, changes in spatial frequency - that is to say values which do not describe any displacement or rotation in image coordinates.
  • the trivial way to determine a feature vector from a gray value feature image with the size nx by ny pixels is to simply convert all pixel gray values directly into an image description vector with nx by ny components.
  • a correction of the robot movement can be derived from the deviation, -, the current position from the standard position.
  • This deviation is determined according to the conventional procedure, by defining a workpiece-specific coordinate system and by determining the absolute position of the workpiece, both for the standard position and for the current position.
  • a) model-based methods b) three-dimensional measuring systems.
  • Model-based systems use the familiar geometry of fixed features in the workpiece coordinate system. Features are modeled three-dimensionally.
  • Model-based methods include, for example, [GMR], [Fan], [Isr].
  • [GMR] uses dots or dots and lines, one or more cameras.
  • [Isr] only uses lines, three or more cameras.
  • [Fan] uses points, three or more cameras, as well as a calibration body that has to be positioned in front of each camera for calibration.
  • the part geometry does not need to be known; They are used, for example, to scan hand-made models to generate CAD data for series production.
  • ⁇ Another example is the path control using the light section method.
  • the measuring methods for three-dimensional measuring systems are: bl) point-by-point distance measurement via pulsed or modulated light, together with measurement of the light propagation time or phase shift, b2) triangulation via at least one camera and structured light, b3) triangulation via at least 2 cameras (stereo) ,
  • the method bl) is associated with a very high expenditure on equipment and requires complex, stable measurement technology.
  • the method b2) is associated with a high outlay on equipment and moreover requires a very high outlay in the calibration of the systems; Camera and lighting geometry must be known and very stable.
  • the senor can be moved in a defined manner in order to expand the measuring range of such systems in connection with a known mechanical movement for large workpieces:
  • the senor is either moved according to a previously known ideal shape and the (b2-) sensor measures deviations from it, or the sensor serves as a zero indicator to produce a controlled movement at a constant distance from the surface, this movement serves as the measurement result.
  • This is a model-based, measuring system.
  • a robot is used to guide a (b2) sensor, the generally insufficient accuracy of the robot being achieved by an additional device that is independent of the robot and sensor and is not described in detail (for example, an additional "photogrammetry” system or “kinematic correction module” ”) elevated .
  • the same features are recorded by at least two cameras each; the three-dimensional position of the features is calculated from the disparity of the mapping of the features in the images and from the known data of the camera geometry by means of triangulation.
  • the workpiece geometry and the position of the features in the workpiece coordinate system generally need not be known, but is assumed to be known in most approaches.
  • a disadvantage of the stereo method is that different cameras have to record the same features. This results in a problem with large workpieces: the required To achieve rotational accuracy, several features that are as far apart as possible must be recorded. This leads to the fact that
  • a serious disadvantage of the triangulating measurement methods (b2 and b3) is the need for exact calibration, camera (s) and possibly structured lighting;
  • the structure must be very stable in order to be able to maintain the required measuring accuracy even in rough industrial operation.
  • the calibration of a camera describes the imaging geometry; one usually differentiates between external and internal parameters.
  • the outer parameters describe the position of the projection center and the optical axis in space, as well as the (scalar) distance between the projection center and the imaging plane.
  • the inner parameters describe the oblique position of the imaging plane to the optical axis and the position of the intersection point • of the optical axis through the image plane relative to the image frame
  • [Axi] is model-based 3-D matching of stereo features (including movement parallax) or 3D features obtained using special distance sensors, with 3-D models.
  • model-based methods that are based on triangulation or other three-dimensional measuring systems
  • any (model) feature comparisons have to take place in the three-dimensional; however, these comparisons already presuppose a reliable 2D to 3D transition, and thus a reliable measurement technique.
  • Case 1 hand-eye coordination.
  • the tool is moved relative to the camera (s).
  • the camera captures the tool or parts thereof or markings or mechanical parts that are geometrically related to the tool.
  • Case la The tool is moved and the camera is stationary.
  • Case lb The tool is stationary and the camera is moved.
  • Case lc The tool and the camera are both moved, for example, different degrees of freedom can be distributed between the tool and the camera.
  • Case lx The camera captures the workpiece and the tool (standard case).
  • Case ly The camera captures the workpiece and not the tool.
  • Case lz The camera does not capture the workpiece and captures the tool.
  • the robot position can be controlled or regulated in relation to the current workpiece position.
  • the robot position can be controlled in relation to the current workpiece position.
  • the camera (s) is (are) moved in parallel with the tool relative to the workpiece. Differentiation according to movement:
  • Case 2a Tools and cameras are moved and the workpiece is stationary.
  • Case 2b Tool and cameras are fixed and the workpiece is moved.
  • Case 2c Tool and cameras are moved together, and the workpiece is moved, for example, different degrees of freedom can be distributed between the tool and camera on the one hand and the workpiece on the other.
  • Case 2y The camera captures the workpiece and does not capture the tool.
  • the robot position can be controlled or regulated in relation to the current workpiece position, the situation roughly corresponds to case lx.
  • the robot position can be controlled or regulated in relation to the current workpiece position.
  • Predecessors of the servo process are simple, controlling systems that each consider one of the following cases: • - Stereo,
  • Servo procedures can work in case lx or case 2x without calibration or with very inaccurate calibration.
  • case 2y included here we need an exact calibration for the purpose of workpiece handling or workpiece processing.
  • the movement of the position of the features is determined depending on the camera movement a) analytically [Mar]: this in turn requires knowledge of the camera geometry, b) through online estimation ;
  • the problem is the estimation of the distance dependency of the parameters in the Jacobi matrix ([Hut] p. 26) .; for tracking you can get a very rough estimate of these parameters by moving the target positions close to the optical axis. Without reliable distance information, however, tasks of workpiece handling or workpiece processing cannot be solved.
  • Servo methods rely on the explicit derivation of position information from the images, as can be achieved, for example, when using excellent points. Without such explicit position information, no visual servoing can be implemented.
  • This invention treats self-monitoring as a secondary problem.
  • the object of the invention is to provide a movement correction, depending on the implementation variant while at the same time observing as many of the following boundary conditions as possible:
  • Claim 11 relates to the limitation of the work area in the facility.
  • the 1 shows an arrangement with three cameras 10, 11, 12 and one beam (see below) or imaging beam path 20, 21, 22 per camera.
  • the features are fixed features (holes, contour) 30, 31, 32 on the workpiece 2.
  • the cameras 10, 11, 12 are attached to the tool 1. Either the tool 1 is moved with the cameras or the workpiece 2 is moved.
  • the fixed features 30, 31, 32 can be represented here as points, but no point coordinates have to be calculated; simple image comparison methods are sufficient to determine the workpiece position. Without leaving the characteristics according to the invention, coordinate values for position description vectors (definition see above) can of course also be used.
  • FIG. 2 shows the same arrangement in principle, but only two cameras 10, 11 are provided. Two bundles of rays 20a, 20b are realized with a single camera 10.
  • FIG. 3 shows the use of a reflection from a light source 40 on a smooth, convex surface, as an example for a flex feature 34.
  • the reflection appears on the surface as a spot that moves relative to the workpiece when the workpiece 2 moves, but it is suitable from the material grade ⁇ stuecklage derive.
  • FIG. 4 shows the use of structured light from light sources 50, 51, 52 to generate flex features.
  • Flex features 60, 61, 62 are projected light patterns with any structure that need not be specified; neither the geometric shape nor any dimensions need to be known.
  • a "wild" dot pattern, an annulus and a rectangle were arbitrarily used for the example.
  • Such flex features are significant for the location of the workpiece 2.
  • Fig. 5 shows the same arrangement as Fig. 4, but the projecting device 50, 51, 52 is not oblique, but oriented tangentially.
  • the projecting device 50, 51, 52 is wide-angled, so that when the workpiece 2 is moved INSIDE the viewing beam bundle there is a distortion of the projection pattern, which is basically sufficient to comply with the significance condition (see below), but is less recommendable in terms of stability and accuracy than strict compliance with the tangent ban (see below).
  • Fig. 6 shows an arrangement with camera groups, advantageous with linear features.
  • Fig. 7 shows an arrangement of such a camera group, advantageously with twisted parts.
  • Fig. 8 explains the limitation of the work area in the setup mode by skillful selection of the pivot point.
  • the correction of the robot movement is a geometric transformation of an i.a. three-dimensional movement a) for gripping: the modification of a pre-taught movement from a mostly fixed starting position to the gripping position for the current workpiece, a) for machining: the modification of a pre-taught machining path.
  • the modification is typically a rigid correction (displacement, twisting) to the pre-taught Gripping movement or the pre-taught machining path realized. In special cases, it can be useful to derive a distortion of the movement from this.
  • step e6 (claim 1) is typically, but not necessarily, implemented by the robot.
  • step e6 the relative position to the standard position is varied if the workpiece is only moving, the relative position to the starting position if the image recording device is only moving.
  • the method described here can also be used to pre-correct the movement in order to enable a more precise fine correction in connection with other methods, in particular additional sensors, e.g. for welding track correction.
  • the image recordings can take place both at a standstill and during the movement at times when the system components are in the relevant positions.
  • the method according to the invention can be used in both cases without restriction.
  • the practice of industrial image processing offers many tried and tested options for capturing images in motion, e.g. the problem of motion blur is prevented (e.g. flash lighting, shutter technology, CMOS sensors).
  • the relationship between the starting position and the further positions can be measured in any units that describe this relationship, preferably in the number of steps of travel axes or in space coordinate increments.
  • step e6 The storage of relative positions (step e6) can be done explicitly by saving the values, but also implicitly, for example, by only specifying corresponding step sizes and end values in a program loop.
  • a defined movement of the robot can lie between image recordings a) in order to achieve the uniqueness of the assignment with fewer cameras and / or b) to obtain redundancies and thereby increase the accuracy and interference immunity.
  • both a control and a regulation can be implemented.
  • the method according to the invention can also preferably be used to implement a multi-stage, hierarchical determination of the position: in a first step, a rough determination of the position is carried out, based on a database with coarse scanning, whereupon the robot accordingly corrects the position roughly first.
  • a database with coarse scanning whereupon the robot accordingly corrects the position roughly first.
  • databases with increasingly smaller work areas and increasingly smaller scanning distances are used.
  • step a2 the positional deviation is determined via an explicitly or implicitly implemented comparison of the current images / data with the previously stored images / data.
  • the method preferably amounts to searching a larger database of location description vectors.
  • Preliminary remark The storage and comparison of any data takes place here exclusively in two dimensions, in contrast to model-based systems (irrespective of whether database methods are used or not).
  • the positional deviation can be taken directly from the relative positions assigned to the stored images if you scan the work area in all degrees of freedom with sufficiently small steps and carry out image recordings, save the feature images and search for the position with the most similar set of images in automatic mode.
  • a large, high-dimensional database may be required, especially if you work without interpolation and with long vectors. Methods from the field of database systems are available for the efficient search of such databases.
  • the interpolation with pure image data can be realized under certain conditions: the image content must be structured - if possible in different directions - there should be coarse and if possible also fine structures).
  • step e6 In extreme cases, you can work in small work areas with interpolation and only one change of position per degree of freedom in step e6) (claim 1).
  • Adherence to the significance condition means that reproducibly different image contents that can be clearly assigned to the position information result in different positions within the work area.
  • a technical implementation of the compliance with the significance condition is given by the conditions sl and s2 of claim 1 and is derived via the concept of the beam bundle (also called imaging beam path).
  • An image via one or more cameras is mentally divided into at least three bundles of rays.
  • the two-dimensional coordinate systems assigned to the bundles of rays are normally (but not necessarily) flat; they can also be coplanar.
  • Different bundles of rays are either realized by different cameras (FIG. 1) or realized by the same camera (FIG. 2, where camera 11 comprises bundle 31 and camera 10 bundles 20a and 20b).
  • An area of the workpiece or the tool is viewed over a beam. Two areas are not identical. The areas may fundamentally overlap, but are viewed as disjoint to simplify the observation.
  • the image sections (feature images) corresponding to the areas or data derived therefrom are stored in set-up mode or processed further in automatic mode.
  • Different bundles of rays can also be realized in succession with the same camera in different positions and possibly in different settings (e.g. zoom).
  • the method can also work with alternatively "switchable" workpiece areas.
  • the areas are selected so that, regardless of the rotational position of the wheel hub in at least one of the sets of image areas, a screw hole is always visible in each of the three areas.
  • the sets of areas assigned to the sets do not in principle need to be disjoint.
  • the significance condition can be met with 3 excellent points and one camera.
  • the solutions should be so far apart that there can only be one solution in the work area.
  • the condition for excellent points is that when rotating, the excellent points do not intersect the rays of the bundle of rays tangentially, but rather at a larger angle (e.g.> 20 degrees).
  • This condition is called the tangent ban in the following. It is easy to maintain in a variety of ways and is fulfilled, for example, when the bundles of rays represent a tripod and the center of rotation is in the center of the base of the tripod and the axes of rotation do not go through the features.
  • the tangent prohibition can also be fulfilled for flex features if the LICHT bundles of rays where they meet the flex features are tangent to the circle around the axes of rotation.
  • the tangent ban is an example of the achievement of the significance condition.
  • the ban on tangents is therefore a sufficient but not necessary condition for the (necessary) significance condition to be met. See example Fig. 5: here the significance condition is met even without compliance with the tangent ban.
  • the working areas are usually sufficiently small, for example, to be able to ensure that no axis of rotation passes through a feature.
  • the significance condition can be fulfilled the more reliably the tangent ban is fulfilled; this in turn is easier to achieve when using a single camera, the wider the lens is.
  • an object field angle of more than approx. 20 degrees is sufficient in this case; preferably at least 45 degrees;
  • the tangent ban is best met at an object field angle of approx. 90 degrees: then workpiece areas lying in one plane can all be cut at approx. 45 degrees to the tangent.
  • an area can also encompass the entire part of the workpiece surface that is visible from the point of view of the camera in question.
  • the bundles of rays do not necessarily correspond to a central projection, as shown in FIG. 1; for example, they can also be parallel, such as when using multiple telecentric lenses (parallel projection).
  • the limitation of the beam is not necessarily circular, as shown in Fig. 1; the evaluated areas can be delimited as desired.
  • This general case can be traced back to the case with excellent points by imagining that when the workpiece is moved in space, the image structures and associated value tuples tend to change in a monotonous context in the same way as when measuring the image coordinates of excellent ones Points would be the case.
  • a limited checkerboard pattern for example, whose grid size and orientation changes with the robot movement in the illustration, can be assigned to one of several previously saved checkerboard patterns by image comparison without directly calculating the respective grid size and orientation (a checkerboard is for direct image comparison cheaper than, for example, a grid with fine lines).
  • a telecentric beam path is excluded when using a single camera, since not all beams may be parallel (no "field angle").
  • a large, high-dimensional database may be required, especially if you work without interpolation.
  • Methods from the field of database systems are available for efficiently searching such large databases. Even if you work without interpolation, the very large size of the database according to the current state of the art is not a problem.
  • the invention now also relates specifically to the calculation of interpolated images or data sets, according to approach 2, in setup mode.
  • Interpolated images are not so much a gray value or color interpolation, but rather a motion interpolation of the image content (although the first aspect also plays a certain role).
  • the basic task of motion interpolation is motion estimation; There is extensive literature on this in the area of dynamic scene analysis. There, a distinction is made between pixel-based and feature-based (edge-corner-related, etc.) methods for deriving motion vector fields from image sequences. On the basis of such motion vector fields, one could now generate motion-interpolated images (a similar task can be found in the area of data compression for image sequences).
  • a side object of the invention is therefore to provide a robust method for image or data interpolation without having to resort to workpiece model information.
  • Claim 9 also applies generally to the two-dimensional case. The same mark can be captured by multiple cameras.
  • the stamps are usually specially realized (eg specially assembled parts protruding into the image field with holes or clean edges), but they can also be random features of the environment, for example the contours of the for the workpiece holder realized in the set-up mode.
  • the latter is particularly practical because the exact relative position is not important.
  • the brands can even be applied in the form of stickers that can be differentiated analytically (via shape, color, rough position, etc.) directly to the workpiece used in the set-up shop. The exact position of the brands on the workpiece is irrelevant.
  • the interpolation now takes place, for example, by appropriately interpolating the transformation parameters obtained from the mapping of the marks and transforming one of the images accordingly.
  • a statement about whether the level transformation is valid can be obtained automatically by transforming both images accordingly and comparing the results (transformation parameters from brand images MA and MB; transformation MA to Interpol. Image IA, also MB to IB; comparison IA with IB). If the results are similar, the level transformation is sufficient. Otherwise, the interpolation intervals must be reduced by adding further real images. On the other hand, if the results are sufficiently similar, it makes sense to think about the results.
  • FIG. 6 shows a preferred solution with three pairs of cameras 10, each of which captures an edge section of a workpiece 2 which is delimited in a straight line.
  • FIG. 7 shows a preferred implementation of a camera pair, with one lighting per camera. 7 the lighting 40 for the camera 10 and the lighting 41 for the camera 11 are responsible. Cameras and lights are in the immediate vicinity of gripper 70.
  • the workpiece 2 shown in the standard position can move within the frame 100 due to inaccurate mounting, for example in the position 102 shown.
  • the gripper 1 is shown in the starting position.
  • the view of the workpiece in position 102 from the initial position is to be simulated in the setup process by changing the position of the gripper for the workpiece in the standard position. This is the case in the gripper position 101. If this view occurs in automatic mode, the gripper must take the inverted position 201.
  • the change in orientation of the gripper required in this example need not be combined with all possible translations.
  • a pure change in orientation around the center of the gripper, without translation (gripper position 301) leads to a workpiece view that is geometrically not possible due to the frame 100.
  • the task of teaching only feasible views as possible is easiest accomplished by a suitable choice of the fulcrum, preferably by moving the fulcrum approximately in the middle of the frame 100 in the set-up mode.
  • the starting position for gripping or joining tasks is preferably chosen so that a workpiece can be approached in a standard position with a single linear movement, see Fig. 8.
  • a workpiece can be approached in a standard position with a single linear movement, see Fig. 8.
  • Complicated approaches are required, these have to be transformed via displacement and rotation about the pivot point (which is basically arbitrary, but advantageously in the center of the frame 100).
  • the method presented here does not rely on the use of pulsed, modulated or structured light.
  • the method presented here can basically work with any light, e.g. the daylight. If special lighting is used, it can certainly be pulsed or modulated, or limited or structured to a certain spectral range, to increase the susceptibility to external light. However, this is not fundamentally necessary; the method therefore does not fall under bl) or b2) and is - even with the additional use of structured or pulsed or modulated light - not associated with the measurement problems of methods bl) and b2).
  • the cameras In contrast to stereo methods, in the invention presented here the cameras generally consider different features, with the advantage, among other things, that large workpieces are easier and more precisely to detect. The further the characteristics are apart, the more precise the movement correction is possible. Basically, on the other hand, in contrast to stereo systems, a single camera is sufficient.
  • the camera geometry does not need to be known.
  • the position of the plane coordinate systems in space need not be known.
  • a calculation of the inner or outer camera coordinates is not necessary.
  • Adhesive dots It is not necessary to add artificial features such as Adhesive dots.
  • the procedure allows a controlling or regulating procedure.
  • the method can be used without it being necessary for features which can be determined in terms of position to be available in the images.
  • the transition from fixed features to flexible features can basically be achieved solely by changing the lighting device, without changing anything on the remaining components such as robots, controls, in particular image evaluation methods.
  • the workpiece position only needs to be constant and does not need to correspond to the standard position or any known position.
  • Standardized, miniaturized gripper-integrated solutions can be implemented, since workpieces such as e.g. Sheet metal parts always look similar. This makes it possible to implement standardized solutions including lighting (for general characteristics, the lighting usually has to be optimally designed for the specific case).
  • the arrangement according to FIG. 6 --- requires a total of six cameras, as in the known stereo arrangement.
  • the arrangement, in comparison with stereo, in conjunction with claim 1 of the main application, has the advantage that, in contrast to, for example, [Axi] or [Isr], neither the edge geometry has to be known, nor does calibration of the cameras using a calibration plate or the like be necessary. be made. Accordingly, replacing a camera is very easy: The cameras only need to be roughly aligned with the edges and focused before setting up. When designing the system, only the characteristics of the features can be represented and the significance condition must be observed; deeper modeling or geometry considerations are unnecessary. This massive simplification compared to previous approaches is bought through the resulting amount of data; On the one hand, this is manageable in terms of database technology, and a solution is offered for the time required in set-up operation using the position interpolation method described.
  • Consensus A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A.C.M. June 1981, Vol. 24, No. 6, pp. 381-395.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

The invention relates to a method and a device for three-dimensionally correcting the relative motion, with many degrees of freedom, between work pieces on the one hand and grippers or tools on the other hand, in a setting mode and/or automatic mode, by means of a robot and an imaging device comprising one or several cameras, whereby said imaging device and/or work piece is reproducibly movable.

Description

Korrektur der Relativbewegung zwischen Greif- oderCorrection of the relative movement between gripping or
Bearbeitungswerkzeugen und Werkstuecken.Machining tools and workpieces.
Die Erfindung betrifft ein Verfahren und Vorrichtungen zur Korrektur der Bewegung von Greif- oder Bearbeitungswerkzeugen relativ zu Gegenstaenden in unbekannter oder ungenauer Lage, insbesondere mittels Robotern.The invention relates to a method and devices for correcting the movement of gripping or processing tools relative to objects in an unknown or inaccurate position, in particular by means of robots.
Wenn die Gegenstaende in fester Position und Orientierung praesentiert werden, kann das Greifen oder Bearbeiten mittels Roboter ohne Modifikation einer einmal einprogrammierten Bewegung geschehen. Ist die Lage der Gegenstaende unsicher, z.B. aufgrund von Unsicherheiten der Teileaufnahme, so muss fuer das Greifen oder Bearbeiten die Bewegung des Greif- bzw. Bearbeitungswerkzeugs und damit die des Roboters korrigiert werden.If the objects are presented in a fixed position and orientation, gripping or processing by means of robots can be done without modifying a movement that has already been programmed. Is the position of the objects unsafe, e.g. Due to the uncertainties of the parts holder, the movement of the gripping or machining tool and thus that of the robot must be corrected for gripping or machining.
Beispiele fuer das Greifen sind die Entnahme aus Formfolien, Regalen oder Gitterboxen. Beispiele fuer das Bearbeiten sind das Schleifen oder der Klebemittelauftrag; zur Bearbeitung sind ebenso zu zaehlen das Montieren und Einlegen und das Fuegen, wie beispielsweise das Montieren von Anbauteilen wie Scheiben oder Raedern an Automobil-Karossen oder das Einsetzen oder Anschweissen von Bolzen.Examples of gripping are the removal from shaped foils, shelves or mesh boxes. Examples of processing are grinding or applying adhesive; The assembly and insertion and joining are also to be counted for processing, such as the mounting of add-on parts such as disks or wheels on automobile bodies or the insertion or welding of bolts.
Begriffeterms
Zum besseren Verstaendnis- der Erfindung werden im folgenden hier verwendete (teilweise neue) Begriffe naeher erlaeutert.For a better understanding of the invention (partly new) terms used here are explained in more detail below.
Da es sich bei den Gegenstaenden meist um Werkstuecke handelt, wird im folgenden von Werkstuecken gesprochen, im verall- gemeindernden Sinn irgend eines, bezueglich der Genauigkeitsforderungen der Anwendung hinreichend starren Gegenstandes .Since the objects are mostly workpieces, we will speak of workpieces in the following, in the general sense reducing anything, with regard to the accuracy requirements of the application of a sufficiently rigid object.
Unter Werkzeug ist im folgenden je nach Aufgabenstellung verallgemeinernd entweder der Greifer oder das Bearbeitungswerkzeug zu verstehen. Als Lage wird im folgenden die dreidimensionale Position und Orientierung im Raum (englisch "position and attitude") bezeichnet. Die Lage eines Werkstuecks wird durch mindestens 6 Parameter beschrieben, i.d.R. durch drei translatorische und drei rotatorische, mit denen ein werkstuecksfestes Koordinatensystem in Bezug zu festen Raumkoordinaten steht.In the following, depending on the task, tool is to be understood generally as either the gripper or the machining tool. In the following, the three-dimensional position and orientation in space (English "position and attitude") is referred to as position. The position of a workpiece is described by at least 6 parameters, usually by three translational and three rotary, with which a coordinate system that is fixed to the workpiece is related to fixed spatial coordinates.
Der mehrdimensionale endliche Raum der in der vorliegenden Aufgabenstellung moeglichen Lageabweichungen (i.d.R. ein 6-dimensionaler Hyperguader) wird im folgenden als Arbeitsbereich bezeichnet. Je genauer die Halterung der Werkstuecke, desto kleiner darf der Arbeitsbereich sein.The multidimensional finite space of the positional deviations that are possible in this task (usually a 6-dimensional hyperguader) is referred to below as the work area. The more precise the holder of the workpieces, the smaller the working area may be.
Der Begriff Roboter ist hier allgemein zu verstehen im Sinne eines mechanischen oder virtuellen Systems mit programmierbarer oder per Algorithmus steuerbarer oder regelbarer Bewegung. Durch die Bewegung wird die Relativlage von Werkzeug und Werkstueck veraendert, wahlweise Werkzeug gegen Werkstueck oder umgekehrt oder beides.The term robot is to be understood generally here in the sense of a mechanical or virtual system with programmable or algorithmically controllable or controllable movement. The relative position of the tool and the workpiece is changed by the movement, either tool against workpiece or vice versa or both.
Im Einrichtbetrieb (Offline-Betrieb) eines Systems wird - i.d.R. unter menschlicher Ueberwachung oder Fuehrung - das System fuer die Anwendung parametriert, einschliesslich z.B. Teachen einer Roboterbahn, Teachen eines Bildanalysesystems und Kalibrierung, sofern erforderlich.In setup mode (offline mode) of a system - usually under human supervision or leadership - the system parameterized for the application, including e.g. Teaching a robot path, teaching an image analysis system and calibration, if necessary.
Im Automatikbetrieb (Online-Betrieb) arbeitet das System selbsttaetig oder halbautomatisch entsprechend der vorliegenden Aufgabenstellung.In automatic mode (online mode), the system works automatically or semi-automatically in accordance with the task at hand.
Unter der Standardlage eiaes Werkstuecks verstehen wir im folgenden eine zufaellig oder speziell gewaehlte Lage, fuer die der Roboter eingeteacht wird. Aufgabe ist es, das Werkstueck auch in einer von dieser Standardlage abweichenden Lage korrekt zu greifen oder zu bearbeiten. Die Standardlage braucht nicht in irgendeiner bekannten Beziehung zu den Raumkoordinaten zu stehen. Salopp gesprochen koennte man das Werkstueck auf einen Tisch werfen, und die so entstandene zufaellige und geometrisch unspezifizierte Lage als Standardlage zum Teachen verwenden.In the following, we understand the standard position of a workpiece as a random or specially selected position for which the robot is taught. The task is to grasp or process the workpiece correctly even in a position deviating from this standard position. The standard position need not be in any known relation to the spatial coordinates. To put it bluntly, you could throw the workpiece on a table and use the random and geometrically unspecified position that emerged as the standard position for teaching.
In Sonderfaellen, in denen ein Werkzeug unsicher und ein Werkstueck sicher positioniert ist, kann natuerlich ein Rollentausch zwischen Werkstueck und Werkzeug stattfinden. Beim Montieren, Einlegen, Fuegen oder sonstigen dazu aehnlichen Aufgaben spielt der Gegenstand, wo das Werkstueck ein/angebracht wird, normalerweise die Rolle des Werkzeugs .In special cases, in which a tool is unsafe and a workpiece is securely positioned, a role exchange between the workpiece and the tool can of course take place. When assembling, inserting, joining or other similar tasks, the object where the workpiece is inserted / attached usually plays the role of the tool.
Ausgangslage ist eine im allgemeinen beim Teachen festgelegte Lage von Systemkomponenten, in der im Automatikbetrieb die jeweils ersten Bildaufnahmen durchgefuehrt werden.The starting point is a position of system components that is generally determined during teaching, in which the first image recordings are made in automatic mode.
Als Fixmerkmale (hier speziell eingefuehrter Begriff) werden solche Merkmale eines Werkstuecks bezeichnet, die ortsfest auf den Werkstuecken vorhanden sind, wie "von Natur aus" vorhandene Formen wie Kanten, Ecken, Loecher, Sicken, aber auch kuenstliche Marken (werkstueckbezogen ortsfest angebrachte Aufdrucke, Praegungen, Klebepunkte oder werkstueckbezogen ortsfeste Projizierungen wie Laserpunkte oder Lasermuster) .Fixed features (specifically introduced term here) are those features of a workpiece that are fixed on the workpieces, such as "naturally" existing shapes such as edges, corners, holes, beads, but also artificial brands (workpiece-specific, stationary imprints, Embossing, glue dots or workpiece-specific fixed projections such as laser dots or laser patterns).
Fixmerkmale sind auch solche, die unter Zuhilfenahme von strukturiertem Licht ein Muster erzeugen, das werkstueckbezogen ortsfest ist. Dies kann zur Erhoehung der Stoersicherheit sinnvoll sein: beispielsweise kann man, um Werkstueckkanten zuverlaessiger darzustellen, ein duennes Linienmuster auf die Oberflaeche projizieren und mittels eines angepassten Softwarefilters die Regionen mit Streifenmuster hervorheben, um eine sichere Figur-Hintergrund-Trennung zu erhalten (auf dem Hintergrund befindet sich kein Streifenmuster mit passenden Linienabstaenden) .Fixed features are also those that create a pattern with the help of structured light that is stationary in relation to the workpiece. This can be useful to increase interference immunity: for example, in order to represent workpiece edges more reliably, a thin line pattern can be projected onto the surface and the regions can be highlighted with a striped pattern using an adapted software filter in order to obtain a reliable figure-background separation (on the background there is no stripe pattern with matching line spacing).
Als ausgezeichnete Punkte.- erden, solche Fixmerkmale bezeichnet, die durch Punkte repraesentiert werden, z.B. die Mitte eines Kreises oder ein Eckpunkt einer Kontur, gegeben als Schnittpunkt von zwei Geradenstuecken. Such excellent features are defined as those fixed features that are represented by points, for example the center of a circle or a corner point of a contour, given as the intersection of two straight pieces.
Zusaetzlich zu den werkstueckbezogen ortsfesten Merkmalen koennen nicht ortsfeste, beleuchtungstechnisch erzeugte Merkmale verwendet werden. Diese werden in folgenden als Flexmerkmale bezeichnet (hier speziell eingefuehrter Begriff) .In addition to the workpiece-related stationary features, non-stationary, lighting-technically generated features can be used. These are referred to as flex features in the following (specifically introduced term).
Beispiele fuer Flexmerkmale: a) Woelbungen: Bei Bewegung der Kamera gegenueber dem Werkstueck und gerichteter Beleuchtung wandern die Reflexionskanten auf der Woelbung relativ zum Werkstueck und verformen sich ausserdem. Sie sind nicht werk- stuecksbezogen fest, aber reproduzierbar und zur Gewinnung der Lageinformation geeignet. b) Projektion von Lichtmustern (i.d.R. mittels Laser realisiert) : die sich hierbei ergebendenExamples of flex features: a) Bulges: When the camera moves relative to the workpiece and the lighting is directed, the reflection edges on the bulge move relative to the workpiece and also deform. They are not specific to the workpiece, but they are reproducible and suitable for obtaining the location information. b) Projection of light patterns (usually realized by laser): the resulting ones
Formen koennen grundsaetzlich zur dreidimensionalen Auswertung herangezogen werden; da normalerweise die Beleuchtung nicht parallel mit dem Werkstueck bewegt wird, sind die Formen nicht werkstuecksbezogen fest.Basically, shapes can be used for three-dimensional evaluation; Since the lighting is normally not moved in parallel with the workpiece, the shapes are not specific to the workpiece.
Merkmale sind Fixmerkmale oder Flexmerkmale.Characteristics are fixed characteristics or flex characteristics.
Ein Merkmal ist i.a. dreidimensional; die Abbildung eines ein Merkmal umfassenden Werkstueckbereiches in ein zweidimensionales Koordinatensystem ueber ein Strahlenbuendel, auch Abbildungsstrahlengang genannt, wird als Merkmalsbild bezeichnet.A characteristic is generally in three dimensions; The mapping of a workpiece area comprising a feature into a two-dimensional coordinate system over a beam, also called an imaging beam path, is referred to as a feature image.
Ein solches Merkmalsbild kann weiter ueberfuehrt -werden in eine kompaktere.-. Beschreibung in Form eines t-dimensLonalen Bildbeschreibungsvektors von Werten, wl, w2, ... wt, mit t>=l. In der Regel gilt t>=2.Such an image of features can be converted further into a more compact one. Description in the form of a t-dimensional image description vector of values, wl, w2, ... wt, with t> = l. As a rule, t> = 2.
Die Komponenten des Bildbeschreibungsvektors sind Masszahlen, die Eigenschaften der Abbildung von Merkmalen in Merkmalsbildern erfassen. Einfachstes Beispiel, mit t=2, ist die Messung des Schwerpunktes der Abbildung eines Lochs, der durch die beiden Schwerpunkts-Bildkoordinaten beschrieben wird. Ein weiteres Beispiel ist die Berechnung von Verschiebung und Verdrehung eines beliebig struk- turierten Bildmusters ueber Korrelationsverfahren (t=3) . Wie weiter unten anhand der Ausfuehrungs- beispiele zu der Erfindung erlaeutert wird, sind fuer den Bildbeschreibungsvektor auch Masse geeignet wie Groessenveraenderung, Helligkeits- und Farb- veraenderung, Ortsfrequenzveraenderungen - also Werte, die keine Verschiebung oder Verdrehung in Bildkoordinaten beschreiben.The components of the image description vector are measures that capture properties of the mapping of features in feature images. The simplest example, with t = 2, is the measurement of the centroid of the image of a hole, which is described by the two centroid image coordinates. Another example is the calculation of displacement and rotation of an arbitrarily structured tured image pattern using correlation methods (t = 3). As will be explained further below with reference to the exemplary embodiments of the invention, masses are also suitable for the image description vector, such as changes in size, changes in brightness and color, changes in spatial frequency - that is to say values which do not describe any displacement or rotation in image coordinates.
Die triviale Art, einen Merkmalsvektor aus einem Grauwert-Merkmalsbild mit der Groesse nx mal ny Pixel zu bestimmen, besteht darin, einfach alle Pixelgrauwerte direkt in einen Bildbeschreibungsvektor mit nx mal ny Komponenten zu ueberfuehren.The trivial way to determine a feature vector from a gray value feature image with the size nx by ny pixels is to simply convert all pixel gray values directly into an image description vector with nx by ny components.
Durch die Zusammenfassung mehrerer Bildbeschreibungsvektoren, die derselben (i.a. unbekannten) mechanischen Werkstueckaufnahmesituation (z.B. der Ausgangslage) zuzuordnen sind, entsteht ein Vektor, der im folgenden als Lagebeschreibungsvektor bezeichnet wird.The combination of several image description vectors, which can be assigned to the same (generally unknown) mechanical workpiece recording situation (e.g. the starting position), creates a vector, which is referred to below as the position description vector.
Wohlgemerkt beschreibt der Lagebeschreibungsvektor die zu bestimmende Lageabweichung nicht direkt, sondern implizit !Mind you, the position description vector does not describe the position deviation to be determined directly, but implicitly!
Stand der TechnikState of the art
Eine Korrektur der Roboterbewegung kann abgeleitet werden aus der Abweichung,-, der aktuellen Lage von der Standardlage .A correction of the robot movement can be derived from the deviation, -, the current position from the standard position.
Diese Abweichung wird nach der konventionellen Vorgehensweise ermittelt, indem ein werkstueckeigenes Koordinatensystem definiert wird, und indem die absolute Lage des Werkstuecks sowohl fuer die Standardlage als auch fuer die aktuelle Lage bestimmt wird. Fuer die Bestimmung einer absoluten Lage mittels optischer Sensoren, speziell Bildverarbeitungssystemen, werden in der Literatur zweierlei Methoden angegeben: a) modellbasierte Methoden, b) dreidimensional messende Systeme. Modellbasierte und 3D-Mess-SystemeThis deviation is determined according to the conventional procedure, by defining a workpiece-specific coordinate system and by determining the absolute position of the workpiece, both for the standard position and for the current position. For the determination of an absolute position using optical sensors, especially image processing systems, two different methods are specified in the literature: a) model-based methods, b) three-dimensional measuring systems. Model-based and 3D measurement systems
Modellbasierte Systeme verwenden die bekannte Geometrie von Fixmerkmalen im werkstueckeigenen Koordinatensystem. Merkmale werden dreidimensional modelliert.Model-based systems use the familiar geometry of fixed features in the workpiece coordinate system. Features are modeled three-dimensionally.
Zu modellbasierten Verfahren zaehlen zum Beispiel [GMR] , [Fan] , [Isr] . Bei allen drei Beispielen muss der Bezug der Merkmale zu einem koerpereigenen Koordinatensystem bekannt sein. [GMR] verwendet Punkte oder Punkte und Linien, eine oder mehrere Kameras. [Isr] verwendet nur Linien, drei oder mehr Kameras. [Fan] verwendet Punkte, drei oder mehr Kameras, ausserdem einen Eichkoerper, der fuer die Kalibrierung vor jede Kamera zu positionieren ist .Model-based methods include, for example, [GMR], [Fan], [Isr]. In all three examples, the relationship of the characteristics to a body's own coordinate system must be known. [GMR] uses dots or dots and lines, one or more cameras. [Isr] only uses lines, three or more cameras. [Fan] uses points, three or more cameras, as well as a calibration body that has to be positioned in front of each camera for calibration.
Weitere Beispiele sind [Axi] , [Jan] (Diskussion siehe weiter unten) .Other examples are [Axi], [Jan] (for discussion see below).
Nachteile der modellbasierten Methoden sind:Disadvantages of the model-based methods are:
- die Lage der Merkmale im werkstueckseigenen Koordinatensystem muss bekannt sein,- the position of the features in the workpiece coordinate system must be known,
- die Kamera muss aufwendig kalibriert werden,- the camera has to be calibrated,
- sie koennen grundsaetzlich keine Flexmerkmale handhaben.- You can basically not handle any flex features.
Bei dreidimensional messenden Systemen braucht die Teilegeometrie nicht bekannt zu sein; mit ihnen werden beispielsweise handgefertigte Modelle abgetastet zur Generierung von CAD-Daten fuer die Serienproduktion. ■ Ein anderes Beispiel ist die Bahnregelung mittels Lichtschnittverfahren.With three-dimensional measuring systems, the part geometry does not need to be known; They are used, for example, to scan hand-made models to generate CAD data for series production. ■ Another example is the path control using the light section method.
Die Messmethoden fuer dreidimensional messende Systeme sind: bl) punktweise Abstandsmessung ueber gepulstes oder moduliertes Licht, zusammen mit Messung der Licht-Laufzeit bzw. Phasenverschiebung, b2) Triangulation ueber mindestens eine Kamera und strukturiertes Licht, b3) Triangulation ueber mindestens 2 Kameras (Stereo) .The measuring methods for three-dimensional measuring systems are: bl) point-by-point distance measurement via pulsed or modulated light, together with measurement of the light propagation time or phase shift, b2) triangulation via at least one camera and structured light, b3) triangulation via at least 2 cameras (stereo) ,
Nachteilig ist die Methode bl) mit einem sehr hohen apparativen Aufwand verbunden und erfordert eine aufwendige, stabile Messtechnik. Nachteilig ist die Methode b2) mit hohem apparativem Aufwand verbunden und erfordert ueberdies einen sehr hohen Aufwand bei der Kalibrierung der Systeme; Kamera- und Beleuchtungsgeometrie muessen bekannt und sehr stabil sein.Disadvantageously, the method bl) is associated with a very high expenditure on equipment and requires complex, stable measurement technology. Disadvantageously, the method b2) is associated with a high outlay on equipment and moreover requires a very high outlay in the calibration of the systems; Camera and lighting geometry must be known and very stable.
Bei messenden Systemen zur Abtastung von Oberflaechen nach Methode b2) kann der Sensor definiert bewegt werden, um fuer grossflaechige Werkstuecke den Messbereich solcher Systeme in Verbindung mit einer bekannten mechanischen Bewegung zu erweitern:In the case of measuring systems for scanning surfaces by method b2), the sensor can be moved in a defined manner in order to expand the measuring range of such systems in connection with a known mechanical movement for large workpieces:
Nach [Dif] wird der Sensor entweder entsprechend einer vorher bekannten Idealform bewegt und der (b2-) Sensor vermisst Abweichungen davon, oder der Sensor dient als Null-Indikator, um eine geregelte Bewegung in konstantem Abstand von der Oberflaeche zu erzeugen, wobei diese Bewegung als Messergebnis dient. Hier handelt es sich um ein modellbasiertes, messendes System.According to [Dif] the sensor is either moved according to a previously known ideal shape and the (b2-) sensor measures deviations from it, or the sensor serves as a zero indicator to produce a controlled movement at a constant distance from the surface, this movement serves as the measurement result. This is a model-based, measuring system.
Nach [Per] dient ein Roboter zur Fuehrung eines (b2-) Sensors, wobei die im allgemeinen nicht ausreichende Genauigkeit des Roboters durch eine von Roboter und Sensor unabhaengige, nicht naeher beschriebene Zusatzeinrichtung (z.B. zusaetzliches "Photogrammetrie"-System oder "Kinematic correction module") erhoeht .According to [Per], a robot is used to guide a (b2) sensor, the generally insufficient accuracy of the robot being achieved by an additional device that is independent of the robot and sensor and is not described in detail (for example, an additional "photogrammetry" system or "kinematic correction module" ") elevated .
Bei Stereoverfahren (b3) werden die selben Merkmale von jeweils mindestens 2 Kameras erfasst; aus der Dispari- taet der Abbildung der Merkmale in den Bildern und aus den bekannten Daten der Kamera-Geometrie wird mittels Trian- gunation die dreidimensionale Lage der Merkmale berechnet. Die Werkstueckgeometrie und die Lage der Merkmale im Werkstuackkoordinatensystem braucht im allgemeinen nicht bekannt zu sein, wird jedoch bei den meisten Ansaetzen als bekannt vorausgesetzt.In the case of stereo methods (b3), the same features are recorded by at least two cameras each; the three-dimensional position of the features is calculated from the disparity of the mapping of the features in the images and from the known data of the camera geometry by means of triangulation. The workpiece geometry and the position of the features in the workpiece coordinate system generally need not be known, but is assumed to be known in most approaches.
Ein Nachteil der Stereoverfahren ist, dass verschiedene Kameras gleiche Merkmale erfassen muessen. Daraus ergibt sich ein Problem bei grossen Werkstuecken: Um die erforderliche Rotationsgenauigkeit zu erzielen, muessen mehrere moeglichst weit auseinander liegende Merkmale erfasst werden. Das fuehrt dazu, dassA disadvantage of the stereo method is that different cameras have to record the same features. This results in a problem with large workpieces: the required To achieve rotational accuracy, several features that are as far apart as possible must be recorded. This leads to the fact that
- entweder die Bildfelder sehr gross werden, was nun doch wiederum zu Genauigkeitsproblemen wegen geringer Bildpunktaufloesung fuehrt,- either the image fields become very large, which in turn leads to accuracy problems due to the low pixel resolution,
- oder dass fuer weit auseinanderliegende Merkmale je zwei Kameras erforderlich sind, fuer drei weit auseinander liegende Merkmale also insgesamt mindestens 6 Kameras (s. z.B. [Lee] ) .- or that two cameras are required for features that are far apart, i.e. a total of at least 6 cameras for three features that are far apart (see e.g. [Lee]).
Ausserdem duerfen sich die Merkmale bei veraenderter Be- leuchtungs- und Betrachtungsgeometrie nicht aendern. Flexmerkmale verbieten sich daher vielfach.In addition, the characteristics must not change when the lighting and viewing geometry is changed. Flex features are therefore often prohibited.
Stereoverfahren sind ausfuehrlich in [Kle] beschrieben.Stereo procedures are described in detail in [Kle].
Ein gravierender Nachteil der triangulierenden Messverfahren (b2 und b3) ist die Notwendigkeit der genauen Kalibrierung, Kamera (s) und ggf. strukturierte Beleuchtung betreffend; ausserdem muss der Aufbau sehr stabil sein, um die geforderte Messgenauigkeit auch im rauen Industriebetrieb aufrechterhalten zu koennen.A serious disadvantage of the triangulating measurement methods (b2 and b3) is the need for exact calibration, camera (s) and possibly structured lighting; In addition, the structure must be very stable in order to be able to maintain the required measuring accuracy even in rough industrial operation.
Anmerkung: Die Kalibrierung einer Kamera beschreibt die Abbildungsgeometrie; man unterscheidet ueblicherwei- se aeussere und innere Parameter. Die aeusseren Parameter beschreiben die Lage des ProjektionsZentrums und der optischen Achse im Raum, sowie den (skalaren) Abstand zwischen ProjektionsZentrum und Abbildungsebene. Die inneren Parameter beschreiben die Schraeglage der Abbildungsebene zur optischen Achse und die Lage des Durchstosspunktes •der optischen Achse durch- die Bildebene relativ zum BildrahmenNote: The calibration of a camera describes the imaging geometry; one usually differentiates between external and internal parameters. The outer parameters describe the position of the projection center and the optical axis in space, as well as the (scalar) distance between the projection center and the imaging plane. The inner parameters describe the oblique position of the imaging plane to the optical axis and the position of the intersection point • of the optical axis through the image plane relative to the image frame
Weitere Beispiele des Einsatzes von Stereoverfahren sind [Axi] , [Jan] . Further examples of the use of stereo methods are [Axi], [Jan].
Bei [Axi] handelt es sich um modellbasiertes 3-D-Matchen von Stereo-gewonnenen (incl. Bewegungsparallaxe) oder ueber spezielle Abstandssensoren gewonnenen 3D-Merkmalen, mit 3-D-Modellen.[Axi] is model-based 3-D matching of stereo features (including movement parallax) or 3D features obtained using special distance sensors, with 3-D models.
So werden Merkmale im 3-Dimensionalen ermittelt, diese dann mit 3-dimensionalen Daten einer "knowledge base" verglichen und aus diesem Vergleich wird eine aktuelle 3-D- Lagebeschreibung von Koerpern abgeleitet. Diesem Ansatz sind daher die o.g. Nachteile von Stereoverfahren gemein; ausserdem muss bei modellbasierten Verfahren die Werk- stueckgeometrie bekannt sein.Characteristics are determined in the 3-dimensional, these are then compared with 3-dimensional data of a "knowledge base" and a current 3-D position description of bodies is derived from this comparison. This approach is therefore the above Disadvantages of stereo procedures common; in addition, the workpiece geometry must be known for model-based processes.
Bei [Jan] handelt es sich ebenso um einen Vergleich von gemessenen Mustern im Dreidimensionalen.[Jan] is also a comparison of measured patterns in three dimensions.
Ein Nachteil der Modellbasierten Methoden, die auf Triangulation oder sonstigen dreidimensional messenden Systemen aufsetzen ist, dass irgendwelche (Modell-) Merkmalsvergleiche im Dreidimensionalen stattfinden muessen; diese Vergleiche setzen jedoch bereits einen zuverlaessigen 2D-zu- 3D-Uebergang voraus, und damit eine zuverlaessige Messtechnik.A disadvantage of the model-based methods that are based on triangulation or other three-dimensional measuring systems is that any (model) feature comparisons have to take place in the three-dimensional; however, these comparisons already presuppose a reliable 2D to 3D transition, and thus a reliable measurement technique.
Visual ServoingVisual Servoing
In juengerer Zeit entstand das Arbeitsgebiet "Visual Servoing", im folgenden kurz Servoverfahren genannt [Hut] . Hier wird versucht, mit unkalibrierten oder ungeau • kalibrierten Systemen ueber optische Rueckkopplung eine Regelung-.von Robotern zu realisieren. Waehrend der Roboterbewegung wird versucht, die Position der Merkmalsbilder moeglichst genau auf Soll zu bringen. Dies impliziert die Moeglichkeit der Berechnung der Position von Merkmalsbildbern.More recently, the "Visual Servoing" area of work, hereinafter referred to as the servo process [hat], came into being. Attempts are made here to implement control of robots with uncalibrated or uncalibrated systems via optical feedback. During the robot movement, an attempt is made to bring the position of the feature images as precisely as possible to the target. This implies the possibility of calculating the position of feature images.
Anmerkung: bei einer Regelung wird im Gegensatz zu einer Steuerung durch die Rueckfuehrung einer Messgroesse (hier der Position der Merkmalsbilder) auf eine Stellgroesse (hier der Roboterstellung) eingewirkt. Bei Servoverfahren sind daher laufende Bildaufnahmen waehrend der Bewegung erforderlich, um die Abweichung der Messgroessen von den Sollwerten durch die Bewegung zu minimieren. Bei Servoverfahren kann die folgende Fallunterscheidung getroffen werden:Note: in the case of a control system, in contrast to a control system, the feedback of a measurement variable (here the position of the feature images) acts on a manipulated variable (here the robot position). With servo processes, continuous image recordings are therefore required during the movement in order to minimize the deviation of the measured variables from the setpoints due to the movement. The following case distinction can be made for servo procedures:
Fall 1: Hand-Auge-Koordination ( "hand-eye-coordination" ) .Case 1: hand-eye coordination.
Bei Hand-Auge-Koordination wird das Werkzeug relativ zu den(r) Kamera (s) bewegt.With hand-eye coordination, the tool is moved relative to the camera (s).
Die Kamera erfasst das Werkzeug oder Teile davon oder Markierungen oder mechanische Teile, die in geometrischer Beziehung zum Werkzeug stehen.The camera captures the tool or parts thereof or markings or mechanical parts that are geometrically related to the tool.
Unterscheidung nach Bewegung:Differentiation according to movement:
Fall la: Das Werkzeug wird bewegt und die Kamera steht fest.Case la: The tool is moved and the camera is stationary.
Fall lb: Das Werkzeug steht fest und die Kamera wird bewegt .Case lb: The tool is stationary and the camera is moved.
Fall lc: Das Werkzeug und die Kamera werden beide bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera.Case lc: The tool and the camera are both moved, for example, different degrees of freedom can be distributed between the tool and the camera.
Unterscheidung nach Bilderfassung:Differentiation after image capture:
Fall lx: Die Kamera erfasst das Werkstueck und das Werkzeug (Standardfall) .Case lx: The camera captures the workpiece and the tool (standard case).
Fall ly: Die Kamera erfasst das Werkstueck und nicht das Werkzeug.Case ly: The camera captures the workpiece and not the tool.
Fall lz: Die Kamera erfasst nicht das Werkstueck und erfasst das Werkzeug.Case lz: The camera does not capture the workpiece and captures the tool.
Im Fall lx kann die Roboterposition in Bezug auf die aktueLle Werkstuecklage gesteuert oder geregelt werden.In case lx the robot position can be controlled or regulated in relation to the current workpiece position.
Im Fall ly kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert werden.In case ly, the robot position can be controlled in relation to the current workpiece position.
Im Fall lz kann nur eine Regelung der Roboterbewegung an sich realisiert werden, nicht aber im Bezug auf die aktuelle Werkstueckposition.In the case of lz, only a regulation of the robot movement per se can be implemented, but not in relation to the current workpiece position.
Fall 2: Auge-in-Hand ( "eye-in-hand") :Case 2: Eye-in-hand:
Bei Auge-in-Hand wird (werden) die Kamera (s) parallel mit dem Werkzeug relativ zum Werkstueck bewegt. Unterscheidung nach Bewegung:With eye-in-hand, the camera (s) is (are) moved in parallel with the tool relative to the workpiece. Differentiation according to movement:
Fall 2a: Werkzeug und Kameras werden bewegt und das Werkstueck steht still.Case 2a: Tools and cameras are moved and the workpiece is stationary.
Fall 2b: Werkzeug und Kameras stehen fest und das Werkstueck wird bewegt.Case 2b: Tool and cameras are fixed and the workpiece is moved.
Fall 2c: Werkzeug und Kameras werden gemeinsam bewegt, und das Werkstueck wird bewegt, beispielsweise koennen verschiedene Freiheitsgrade verteilt werden auf Werkzeug und Kamera einerseits und Werkstueck andererseits .Case 2c: Tool and cameras are moved together, and the workpiece is moved, for example, different degrees of freedom can be distributed between the tool and camera on the one hand and the workpiece on the other.
Unterscheidung nach Bilderfassung:Differentiation after image capture:
Fall 2x: Die Kamera erfasst das Werkstueck und dasCase 2x: The camera captures the workpiece and that
Werkzeug. Fall 2y: Die Kamera erfasst das Werkstueck und erfasst nicht das Werkzeug.Tool. Case 2y: The camera captures the workpiece and does not capture the tool.
Im Fall 2x kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden, die Situation entspricht ungefaehr dem Fall lx.In case 2x, the robot position can be controlled or regulated in relation to the current workpiece position, the situation roughly corresponds to case lx.
Im Fall 2y kann die Roboterposition in Bezug auf die aktuelle Werkstuecklage gesteuert oder geregelt werden.In case 2y, the robot position can be controlled or regulated in relation to the current workpiece position.
Vorgaenger der Servoverfahren sind einfache, steuernd arbeitende Systeme, die jeweils einen der folgenden Faelle betrachten: • - Stereo,Predecessors of the servo process are simple, controlling systems that each consider one of the following cases: • - Stereo,
- Fall lx,- case lx,
- Tracking ohne exakte Tiefenschaetzung, mit den dementsprechenden Einschraenkungen.- Tracking without exact depth estimation, with the corresponding restrictions.
Um bei Servoverfahren die Regelung zu optimieren, wird versucht, den Zusammenhang zwischen Bewegung der Roboterachsen und der oertlichen Verschiebung der Abbildung von Fixmerkmalen zu modellieren. Die Lineare Approximation dieses Zusammenhangs um einen Arbeitspunkt wird durch die sog. visuelle Jakobi-Matrix beschrieben. Fuer die Hand-Auge-Koordination wurde zur Gewinnung der Jakobi-Matrix vorgeschlagen, dass im Einrichtbetrieb ein Satz von orthogonalen Roboterbewegungen durchgefuehrt wird, bei gleichzeitiger Beobachtung der Bewegung der Position der Abbildung der Merkmale [Jal] .In order to optimize the control in servo processes, an attempt is made to model the relationship between the movement of the robot axes and the local displacement of the mapping of fixed features. The linear approximation of this relationship around a working point is described by the so-called visual Jakobi matrix. For the hand-eye coordination it was proposed to obtain the Jakobi matrix that a set of orthogonal robot movements is carried out in the set-up mode, while simultaneously observing the movement of the position of the mapping of the features [Jal].
Verschiedene bekannte Verfahren der Funktionsapproximation wurden vorgeschlagen: stueckweise lineare Naeherung, stueckweise mit Splines [JaO] , "Quasi-Newton"-Verfahren [Pie] .Various known methods of functional approximation have been proposed: piecewise linear approximation, piecewise with splines [JaO], "quasi-Newton" method [Pie].
Bei all diesen Annaeherungen wird waehrend der Regelung einer Hand-zu-Auge-Koordinationsaufgabe versucht, durch die Naeherung eine Schaetzung fuer die optimale Bewegung abzuleiten, um mit der naechsten Bildaufnahme eine weitere, erhofft genauere, Schaetzung durchfuehren zu koennen.In all of these approaches, while regulating a hand-to-eye coordination task, an attempt is made to derive an estimate for the optimal movement by the approximation, in order to be able to carry out another, hoped-for more accurate estimate with the next image acquisition.
Die Themen der Veroeffentlichungen zu Visual Servo sind regelungstechnischer Art, bezogen auf Positionen von Merkmalsbildern, wobei die Berechnung/Schaetzung der Jakobimatrix eine zentrale Rolle spielt. Regelungen mit 3D-Zielsetzung sind bei Visual Servo modellbasiert, z.B. [Sta] .The topics of the publications on Visual Servo are of a control-technical nature, related to positions of feature images, whereby the calculation / estimation of the Jacobi matrix plays a central role. Regulations with 3D objectives are model-based in Visual Servo, e.g. [Sta].
Servoverfahren haben die folgenden Nachteile:Servo procedures have the following disadvantages:
Bei Servoverfahren ist aufgrund der regelnden Vorgehensweise im Automatikbetrieb die laufende Aufnahme und Auswertung von Bildern erforderlich, und damit insbesondere eine sehr schnelle Auswertung. Damit ist der Ansatz auch auf relativ einfache oder hardwaremaessig unter- stuetzte Bildauswertungsmethoden begrenzt.With servo processes, the continuous recording and evaluation of images is necessary due to the regulating procedure in automatic mode, and thus in particular a very fast evaluation. The approach is therefore also limited to relatively simple or hardware-supported image evaluation methods.
Servoverfahren koennen in Fall lx oder Fall 2x ohne Kalibrierung oder mit sehr ungenauer Kalibrierung arbeiten. Im hier eingeschlossenen Fall 2y jedoch benoe- tigen wir fuer Zwecke der Werkstueckhandhabung oder Werkstueckbearbeitung eine genaue Kalibrierung. Fuer Zwecke der Zielverfolgung (Tracking) durch Auge- in-Hand Systeme mit Servoverfahren wird die Bewegung der Position der Abbildung von Merkmalen abhaengig von der Kamerabewegung bestimmt a) analytisch [Mar] : das wiederum setzt Kenntnis der Kamerageometrie voraus, b) durch online Schaetzung; Problem ist die Schaetzung der Entfernungsabhaengigkeit der Parameter in der Jakobimatrix ([Hut] S. 26).; fuer das Tracking kommt man mit einer sehr groben Schaetzung dieser Parameter aus, indem man die Zielpositionen in die Naehe der optischen Achse verlegt. Ohne zuverlaessige Abstands- information sind jedoch Aufgaben der Werkstueckhand- habung oder Werkstueckbearbeitung nicht loesbar.Servo procedures can work in case lx or case 2x without calibration or with very inaccurate calibration. In case 2y included here, however, we need an exact calibration for the purpose of workpiece handling or workpiece processing. For the purpose of tracking by eye-in-hand systems with servo methods, the movement of the position of the features is determined depending on the camera movement a) analytically [Mar]: this in turn requires knowledge of the camera geometry, b) through online estimation ; The problem is the estimation of the distance dependency of the parameters in the Jacobi matrix ([Hut] p. 26) .; for tracking you can get a very rough estimate of these parameters by moving the target positions close to the optical axis. Without reliable distance information, however, tasks of workpiece handling or workpiece processing cannot be solved.
Servoverfahren sind auf die explizite Ableitung von Positionsinformation aus den Bildern angewiesen, wie dies beispielsweise bei Verwendung von ausgezeichneten Punkten realisierbar ist. Ohne solche explizite Positionsinformation kann kein Visual Servoing realisiert werden.Servo methods rely on the explicit derivation of position information from the images, as can be achieved, for example, when using excellent points. Without such explicit position information, no visual servoing can be implemented.
SelbstueberwachungSelbstueberwachung
Diese Erfindung behandelt als ein Nebenproblem die Aufgabe einer Selbstueberwachung.This invention treats self-monitoring as a secondary problem.
Selbstueberwachungsverfahren fuer die hier vorliegende Aufgabe werden beschrieben in [Arne] und [Gra] .Self-monitoring procedures for the task at hand are described in [Arne] and [Gra].
Nach [Arne] werden am Roboter kuenstliche Passpunkte angebracht, .-deren Lage im Robotersystem ermittelbar sein muss. Die Kameras werden kalibriert. Das Grundverfahren wird - intermittierend - direkt wiederholt.According to [Arne], artificial control points are attached to the robot, whose position must be determinable in the robot system. The cameras are calibrated. The basic procedure is repeated - intermittently - directly.
Nach [Gra] wird fuer Zwecke der Temperatur ompensation eine Vielzahl von kuenstlichen Messpunkten an speziell bestimmten Stellen im Raum angebracht. Diese Messpunkte, die im Normalbetrieb nicht gebraucht werden, werden zur Fehlerue- berwachtung bzw. Fehlerkompensation extra angefahren und mit verschiedenen Methoden vermessen, u.a. ueber optische Merkmale und Bilderfassungseinrichtungen, die die raeum- liche Lage der Merkmale erfassen. AufgabeAccording to [Gra], a large number of artificial measuring points are attached to specially defined points in the room for the purpose of temperature compensation. These measuring points, which are not used in normal operation, are approached separately for error monitoring or error compensation and measured using various methods, including optical features and image acquisition devices that record the spatial position of the features. task
Grundaufgabe Aufgabe der Erfindung ist es, eine Bewegungskorrektur bereitzustellen, je nach Realisierungsvariante unter gleichzeitiger Einhaltung moeglichst vieler der folgenden Randbedingungen:Basic task The object of the invention is to provide a movement correction, depending on the implementation variant while at the same time observing as many of the following boundary conditions as possible:
- ohne Merkmale auf den Werkstuecken explizit definieren zu muessen,- without having to explicitly define characteristics on the workpieces,
- ohne die Werkstueck- oder Merkmalsgeometrie modellieren (kennen) zu muessen,- without having to model (know) the workpiece or feature geometry,
- ohne Verwendung mechanischer Kalibrier-Hilfsmittel wie Kalibriertafeln, Theodoliten oder dergleichen,without the use of mechanical calibration aids such as calibration boards, theodolites or the like,
- im Blickbereich einer Kamera befindet sich nur das Werkstueck bzw. das Werkzeug (im Gegensatz zu Visual Servoverfahren, Fall lx) ,- In the field of view of a camera there is only the workpiece or the tool (in contrast to the visual servo method, case lx),
- unter Vermeidung des oben angegebenen Nachteils von Stereosystemen, dass grosse Werkstuecke nur ungenau oder mit sehr vielen Kameras gehandhabt werden koennen.- while avoiding the above-mentioned disadvantage of stereo systems that large workpieces can only be handled inaccurately or with a large number of cameras.
- ohne dass ausgezeichneten Punkte erforderlich sind (bei zufaelliger Verfuegbarkeit wird man sie natuerlich verwenden) ,- without the need for excellent points (if they are available accidentally, they will of course be used),
- ohne Positionsinformation aus den Bildern ableiten zu muessen, wie dies bei Visual Servo Verfahren grund- saetzlich der Fall ist.- without having to derive position information from the pictures, as is basically the case with the Visual Servo process.
Ausserdem werden die folgenden Nebenaufgaben behandelt:The following additional tasks are also covered:
- Beherrschung von verwundenen Teilen, • - Selbstueberwachung,- control of twisted parts, • - self-monitoring,
- Adapti-on an schleichende Geometrieveraenderungen,- Adaptation to creeping changes in geometry,
- Aufwandsverringerung im Einrichtbetrieb durch Interpolation von Bildern und Bilddaten, ohne Rueckgriff auf Werkstueck- oder Merkmalsgeometrie.- Reduction of effort in setup mode by interpolation of images and image data, without resorting to workpiece or feature geometry.
LoesungSolution
Die Grundaufgabe wird nach den unabhaengigen Anspruechen 1 und 3 und den davon abhaengigen Anspruechen geloest, wobei die Ansprueche 3, 4 und 5 speziell der Beherrschung (geringfuegig) verwundener Teile gewidmet sind. Die Nebenaufgabe "Selbstueberwachung" wird nach Unteranspruch 6 und unabhaengigem Anspruch 7 geloest.The basic task is solved according to independent claims 1 and 3 and the dependent claims, claims 3, 4 and 5 are specifically devoted to the control (slightly) of twisted parts. The sub-task "self-monitoring" is solved according to subclaim 6 and independent claim 7.
Die Nebenaufgabe "Adaption" wird nach Unteranspruch 8 geloest .The side task "adaptation" is solved according to subclaim 8.
Die Nebenaufgabe "Interpolation" wird nach Anspruch 9 und Unteranspruch 10 geloest.The sub-task "interpolation" is solved according to claim 9 and sub-claim 10.
Anspruch 11 betrifft die Eingrenzung des Arbeitsbereichs im Einrichtbetrieb.Claim 11 relates to the limitation of the work area in the facility.
Abgesehen davon, dass Anspruch 4 die letzte Randbedingung nicht erfuellt, werden sonst alle Randbedingungen von allen Anspruechen erfuellt .Apart from the fact that claim 4 does not meet the last boundary condition, all the boundary conditions are otherwise met by all claims.
Erlaeuterung der LoesungExplanation of the solution
Die folgende genauere Erlaeuterung der Erfindung geschieht unter Zuhilfenahme der Figuren 1 bis 8.The following more detailed explanation of the invention takes place with the aid of FIGS. 1 to 8.
Die Erlaeuterung ist wie folgt gegliedert:The explanation is structured as follows:
- Kurzbeschreibung der Figuren- Brief description of the figures
- Allgemeines- General
- Speichern und Suchen in einer Datenbank- Save and search in a database
- Die Signifikanzbedingung- The significance condition
- Betrachtung von Strahlenbuendeln- consideration of bundles of rays
- Vorbetrachtung: Strahlenbuendel und Tangentenverbot- Preview: bundle of rays and ban on tangents
- Einhaltung der Signifikanzbedingung- Compliance with the significance condition
- Technische Realisierung der Einhaltung der Signi- fikanzbedingung- Technical implementation of compliance with the significance condition
- Bild/Daten-Interpolation im Einrichtbetrieb- Image / data interpolation in setup mode
- Beherrschung von verwundenen Teilen- Control of twisted parts
- Eingrenzung des Arbeitsbereichs im Einrichtbetrieb Kurzbeschreibung der Figuren- Limitation of the work area in set-up mode Brief description of the figures
Fig. 1 zeigt eine Anordnung mit drei Kameras 10,11,12 und einem Strahlenbuendel (s.u.) oder Abbildungsstrahlengang 20,21,22 pro Kamera. Die Merkmale sind Fixmerkmale (Loecher, Kontur) 30,31,32 am Werkstueck 2. Die Kameras 10,11,12 sind am Werkzeug 1 befestigt. Entweder wird das Werkzeug 1 mit den Kameras bewegt oder das Werkstueck 2 wird bewegt.1 shows an arrangement with three cameras 10, 11, 12 and one beam (see below) or imaging beam path 20, 21, 22 per camera. The features are fixed features (holes, contour) 30, 31, 32 on the workpiece 2. The cameras 10, 11, 12 are attached to the tool 1. Either the tool 1 is moved with the cameras or the workpiece 2 is moved.
Die Fixmerkmale 30,31,32 sind hier zwar als Punkte repraesentierbar, es muessen jedoch keine Punktkoordinaten berechnet werden, es genuegen einfache Bildvergleichsmethoden, um die Werkstuecklage zu bestimmen. Ohne die erfindungsgemaessen Kennzeichen zu verlassen, koennen natuerlich auch Koordinatenwerte fuer Lagebeschreibungsvektoren (Definition siehe oben) herangezogen werden.The fixed features 30, 31, 32 can be represented here as points, but no point coordinates have to be calculated; simple image comparison methods are sufficient to determine the workpiece position. Without leaving the characteristics according to the invention, coordinate values for position description vectors (definition see above) can of course also be used.
Fig. 2 zeigt die prinzipiell gleiche Anordnung, jedoch sind nur zwei Kameras 10,11 vorgesehen. Dabei sind zwei Strahlenbuendel 20a, 20b mit einer einzigen Kamera 10 realisiert.2 shows the same arrangement in principle, but only two cameras 10, 11 are provided. Two bundles of rays 20a, 20b are realized with a single camera 10.
Fig. 3 zeigt die Verwendung eines Reflexes von einer Lichtquelle 40 auf glatter, konvexer Oberflaeche, als Beispiel fuer ein Flexmerkmal 34. Der Reflex stellt sich auf der Oberflaeche als Fleck dar, der bei Bewegung des Werkstueckes 2 relativ zum Werkstueck wandert, dennoch ist er geeignet, daraus die Werk- ■ stuecklage abzuleiten.FIG. 3 shows the use of a reflection from a light source 40 on a smooth, convex surface, as an example for a flex feature 34. The reflection appears on the surface as a spot that moves relative to the workpiece when the workpiece 2 moves, but it is suitable from the material grade ■ stuecklage derive.
Es braucht weder die Position noch die Groesse noch die Form des Flecks bekannt zu sein; es genuegt die Tatsache, dass der Fleck sich bei Bewegung des Werkstuecks aus Sicht der Kamera 10 reproduzierbar aendert . Fig. 4 zeigt die Verwendung von strukturiertem Licht von Lichtquellen 50,51,52, zur Erzeugung von Flex- merkmalen. Die Flexmerkmale 60,61,62 sind projizierte Lichtmuster mit irgendeiner Struktur, die nicht weiter spezifiziert zu werden braucht; weder die geometrische Form noch irgendwelche Abmessungen brauchen bekannt zu sein. Willkuerlich wurde fuer das Beispiel ein "wildes" Punktemuster, ein Kreisring und ein Rechteck verwendet. Solcherart Flexmerkmale sind fuer die Lage des Werkstueckes 2 signifikant .Neither the position nor the size nor the shape of the spot need be known; it suffices the fact that the spot changes reproducibly from the point of view of the camera 10 when the workpiece is moved. FIG. 4 shows the use of structured light from light sources 50, 51, 52 to generate flex features. Flex features 60, 61, 62 are projected light patterns with any structure that need not be specified; neither the geometric shape nor any dimensions need to be known. A "wild" dot pattern, an annulus and a rectangle were arbitrarily used for the example. Such flex features are significant for the location of the workpiece 2.
Fig. 5 zeigt die gleiche Anordnung wie Fig. 4, jedoch ist die projizierende Einrichtung 50, 51, 52 nicht schraeg, sondern tangential ausgerichtet. Die Projizierende Einrichtung 50, 51, 52 ist weitwinklig, so dass sich bei Bewegung des Werkstuecks 2 INNERHALB der Betrachtungs-Strahlenbuendel eine Verzerrung der Projektionsmuster ergibt, was zur Einhaltung der Signifikanzbedingung (s.u.) zwar grundsaetzlich ausreicht, aber bezueglich Stabilitaet und Genauigkeit weniger empfehlenswert ist als die strenge Einhaltung des Tangentenverbots (s.u.).Fig. 5 shows the same arrangement as Fig. 4, but the projecting device 50, 51, 52 is not oblique, but oriented tangentially. The projecting device 50, 51, 52 is wide-angled, so that when the workpiece 2 is moved INSIDE the viewing beam bundle there is a distortion of the projection pattern, which is basically sufficient to comply with the significance condition (see below), but is less recommendable in terms of stability and accuracy than strict compliance with the tangent ban (see below).
Fig. 6 zeigt eine Anordnung mit Kameragruppen, vorteilhaft bei linear ausgepraegten Merkmalen.Fig. 6 shows an arrangement with camera groups, advantageous with linear features.
Fig. 7 zeigt eine Anordnung einer solchen Kameragruppe, vorteilhaft bei verwundenen Teilen.Fig. 7 shows an arrangement of such a camera group, advantageously with twisted parts.
Fig. 8 erlaeutert die Eingrenzung des Arbeitsbereichs im Einrichtbetrieb durch geschickte Wahl des Drehpunkts.Fig. 8 explains the limitation of the work area in the setup mode by skillful selection of the pivot point.
AllgemeinesGeneral
Die Korrektur der Roboterbewegung ist eine geometrische Transformation einer i.a. dreidimensionalen Bewegung a) zum Greifen: die Modifikation einer vorgeteachten Bewegung von einer meist festen Ausgangslage bis zur Greifposition fuer das aktuelle Werkstueck, a) zum Bearbeiten: die Modifikation einer vorgeteachten Bearbeitungsbahn .The correction of the robot movement is a geometric transformation of an i.a. three-dimensional movement a) for gripping: the modification of a pre-taught movement from a mostly fixed starting position to the gripping position for the current workpiece, a) for machining: the modification of a pre-taught machining path.
Die Modifikation ist typischerweise als starre Korrektur (Verschiebung, Verdrehung) auf die vorgeteachte Greifbewegung bzw. die vorgeteachte Bearbeitungsbahn realisiert. In Sonderfaellen kann es sinnvoll sein, daraus eine Verzerrung der Bewegung abzuleiten.The modification is typically a rigid correction (displacement, twisting) to the pre-taught Gripping movement or the pre-taught machining path realized. In special cases, it can be useful to derive a distortion of the movement from this.
Die Lageveraenderung in Schritt e6 (Anspruch 1) wird typischerweise, aber nicht notwendigerweise durch den Roboter realisiert.The change in position in step e6 (claim 1) is typically, but not necessarily, implemented by the robot.
In Schritt e6 (Anspruch 1) wird bei nur bewegtem Werkstueck die Relativlage zur Standardlage variiert, bei nur bewegter Bildaufnahmeeinrichtung die Relativlage zur Ausgangslage.In step e6 (claim 1), the relative position to the standard position is varied if the workpiece is only moving, the relative position to the starting position if the image recording device is only moving.
Das hier beschriebene Verfahren kann auch zur Vorkorrektur der Bewegung eingesetzt werden, um in Verbindung mit weiteren Verfahren, insbesondere zusaetzlichen Sensoren, eine genauere Feinkorrektur zu ermoeglichen, z.B. fuer die Schweissbahnkorrektur .The method described here can also be used to pre-correct the movement in order to enable a more precise fine correction in connection with other methods, in particular additional sensors, e.g. for welding track correction.
Im Rahmen der vorliegenden Erfindung koennen die Bildaufnahmen sowohl im Stillstand als auch waehrend der Bewegung erfolgen zu Zeitpunkten, wenn sich die Systemkomponenten in den betreffenden Lagen befinden.In the context of the present invention, the image recordings can take place both at a standstill and during the movement at times when the system components are in the relevant positions.
Das erfindungsgemaesse Verfahren ist in beiden Faellen dabei ohne Einschraenkung einsetzbar. Die Praxis der industriellen Bildverarbeitung bietet viele bewaehrte Moeglichkeiten der Bildaufnahme in der Bewegung, durch die z.B. das Problem der Bewegungsunschaerfe unterbunden wird (z.B. Blitzbeleuchtung, Shuttertechnik, CMOS-Sensoren) .The method according to the invention can be used in both cases without restriction. The practice of industrial image processing offers many tried and tested options for capturing images in motion, e.g. the problem of motion blur is prevented (e.g. flash lighting, shutter technology, CMOS sensors).
Die Beziehung zwischen der Ausgangslage und den weiteren Lagen kann in beliebigen Einheiten gemessen sein, die diese Beziehung beschreiben, vorzugsweise in der Anzahl der Schritte von Verfahrachsen oder in Raumkoordinaten- Inkrementen. The relationship between the starting position and the further positions can be measured in any units that describe this relationship, preferably in the number of steps of travel axes or in space coordinate increments.
Das Speichern von Relativlagen (Schritt e6) kann explizit geschehen durch Abspeichern der Werte, aber auch implizit, indem man beispielsweise in einer Programmschleife lediglich entsprechende Schrittweiten und Endwerte angibt .The storage of relative positions (step e6) can be done explicitly by saving the values, but also implicitly, for example, by only specifying corresponding step sizes and end values in a program loop.
Im Automatikbetrieb kann zwischen Bildaufnahmen eine definierte Bewegung des Roboters liegen a) um die Eindeutigkeit der Zuordnung mit weniger Kameras zu erreichen und/oder b) zur Gewinnung von Redundanzen und dadurch Erhoehung der Genauigkeit und Stoersicherheit .In automatic mode, a defined movement of the robot can lie between image recordings a) in order to achieve the uniqueness of the assignment with fewer cameras and / or b) to obtain redundancies and thereby increase the accuracy and interference immunity.
Unabhaengig davon koennen auch mehrere Bildaufnahmen in gleicher Roboterposition zur Erhoehung der Genauigkeit und Stoersicherheit sinnvoll sein.Regardless of this, multiple image recordings in the same robot position can be useful to increase accuracy and noise immunity.
Mit dem erfindungsgemaessen Verfahren kann sowohl eine Steuerung als auch eine Regelung (aehnlich visual Servoing, mit mehreren Bildaufnahmen pro Kamera) realisiert werden.With the method according to the invention, both a control and a regulation (similar visual servoing, with several image recordings per camera) can be implemented.
Mit dem erfindungsgemaessen Verfahren kann vorzugsweise auch eine mehrstufige, hierarchische Bestimmung der Lage realisiert werden: Im einem ersten Schritt wird eine grobe Lagebesti mung realisiert, auf Basis einer Datenbasis mit grober Abtastung, worauf der Roboter die Lage dementsprechend zunaechst grob korrigiert. In den folgenden Schritten werden Datenbasen mit zunehmend kleineren Arbeitsbereichen und zunehmend kleineren Abtastweiten verwendet .The method according to the invention can also preferably be used to implement a multi-stage, hierarchical determination of the position: in a first step, a rough determination of the position is carried out, based on a database with coarse scanning, whereupon the robot accordingly corrects the position roughly first. In the following steps, databases with increasingly smaller work areas and increasingly smaller scanning distances are used.
In Schritt a2 (Anspruch 1) wird die Lageabweichung ermittelt ueber einen explizit oder implizit realisierten Vergleich der aktuellen Bilder/Daten mit den zuvor gespeicherten Bildern/Daten.In step a2 (claim 1), the positional deviation is determined via an explicitly or implicitly implemented comparison of the current images / data with the previously stored images / data.
Speichern und Suchen in einer DatenbankSave and search in a database
Das Verfahren laeuft vorzugsweise auf das Durchsuchen einer groesseren Datenbank von Lagebeschreibungsvektoren hinaus . Vorbemerkung: Das Speichern und Vergleichen von irgendwelchen Daten findet hier ausschliesslich im Zweidimen- sionalen statt, im Gegensatz zu modellbasierten Systemen (gleichgueltig, ob Datenbankmethoden zum Einsatz kommen oder nicht) .The method preferably amounts to searching a larger database of location description vectors. Preliminary remark: The storage and comparison of any data takes place here exclusively in two dimensions, in contrast to model-based systems (irrespective of whether database methods are used or not).
Die Lageabweichung kann direkt aus den den abgespeicherten Bildern zugeordneten Relativlagen entnommen werden, wenn man im Einrichtbetrieb den Arbeitsbereich in allen Freiheitsgraden mit ausreichend kleinen Schritten abtastet und Bildaufnahmen durchfuehrt, die Merkmalsbilder speichert und im Automatikbetrieb nach der Lage mit dem aehnlichsten Satz von Abbildungen sucht.The positional deviation can be taken directly from the relative positions assigned to the stored images if you scan the work area in all degrees of freedom with sufficiently small steps and carry out image recordings, save the feature images and search for the position with the most similar set of images in automatic mode.
Diese Brute-Force-Methode setzt lediglich die Einhaltung der Signifikanzbedingung (siehe unten) voraus. Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung und wird weiter unten diskutiert.This brute force method only requires compliance with the significance condition (see below). Compliance with the significance condition is a generally necessary requirement of the invention and is discussed below.
Es kann eine grosse, hochdimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation und mit langen Vektoren arbeitet. Fuer das effiziente Durchsuchen solcher Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksysteme bereit.A large, high-dimensional database may be required, especially if you work without interpolation and with long vectors. Methods from the field of database systems are available for the efficient search of such databases.
Bezueglich Arbeitsweise im Automatikbetrieb kann man unterscheiden :A distinction can be made with regard to working in automatic mode:
- Nach Abtastweite:- By scanning distance:
- Suche in einer Datenbank von Lagebeschreibungsvektoren, die--durch feine Abtastung des Arbeitsbereiches entsteht.- Search in a database of location description vectors, which - is created by fine scanning of the work area.
- interpolierendes Arbeiten mit einer Datenbank, die durch grobe Abtastung des Arbeitsbereiches entsteht.- Interpolating work with a database, which is created by roughly scanning the work area.
Im letzten Fall ist die Datenbank wesentlich kleiner, da der Arbeitsbereich nur grob abgetastet wurde. An- schliessend wird aus mehreren benachbarten Lagekandidaten, ueber Interpolieren der Aehnlichkeitswerte, die Lage bestimmt. - Nach Datenbankinhalt:In the latter case, the database is much smaller because the work area was only scanned roughly. The position is then determined from several neighboring position candidates by interpolating the similarity values. - By database content:
- Arbeiten mit grossen Lagebeschreibungsvektoren in Form von Merkmalsbildern- Working with large location description vectors in the form of feature images
- Arbeiten mit kompakteren Lagebeschreibungsvektoren- Working with more compact location description vectors
(grundsaetzlich sind nur 6 Vektorkomponenten erforderlich, um bei 6 Freiheitsgraden eine Lagekorrektur mit nur einer Bildaufnahme pro Buendel oder Abbildungsstrahlengang zu realisieren) .(Basically, only 6 vector components are required in order to implement a position correction with only one image acquisition per bundle or imaging beam path with 6 degrees of freedom).
Diese Methoden koennen auch miteinander kombiniert werden.These methods can also be combined with each other.
Die Interpolation mit reinen Bilddaten ist unter bestimmten Voraussetzungen realisierbar: die Bildinhalte muessen - moeglichst in verschiedenen Richtungen - strukturiert sein, es sollten grobe und moeglichst auch feine Strukturen vorhanden sein) .The interpolation with pure image data can be realized under certain conditions: the image content must be structured - if possible in different directions - there should be coarse and if possible also fine structures).
Im Extremfall kann man bei kleinen Arbeitsbereichen mit Interpolation und nur einer Lageveränderung pro Freiheitsgrad im Schritt e6) (Anspruch 1) arbeiten.In extreme cases, you can work in small work areas with interpolation and only one change of position per degree of freedom in step e6) (claim 1).
Die Loesung der Interpolationsaufgabe wird weiter unten ausfuehrlich erlaeutert.The solution to the interpolation problem is explained in detail below.
Die SignifikanzbedingungThe significance condition
Unter Einhaltung der Signifikanzbedingung wird verstanden, dass sich in verschiedenen Lagen innerhalb des Arbeitsbereiches reproduzierbar unterschiedliche, der Lageinformation eindeutig zuordenbare Bildinhalte ergeben.Adherence to the significance condition means that reproducibly different image contents that can be clearly assigned to the position information result in different positions within the work area.
Die Einhaltung der Signifikanzbedingung ist eine allgemein notwendige Voraussetzung der Erfindung.Compliance with the significance condition is a generally necessary requirement of the invention.
Eine technische Realisierung der Einhaltung der Signifikanzbedingung ist durch die Bedingungen sl und s2 des Anspruchs 1 gegeben und wird abgeleitet ueber das Konzept der Strahlenbuendel (auch Abbildungsstrahlengang genannt) .A technical implementation of the compliance with the significance condition is given by the conditions sl and s2 of claim 1 and is derived via the concept of the beam bundle (also called imaging beam path).
Betrachtung von StrahlenbuendelnViewing bundles of rays
Eine Abbildung ueber eine oder mehrere Kameras wird gedanklich aufgeteilt in mindestens drei Strahlenbuendel. Die den Strahlenbuendeln zugeordneten zweidimensionalen Koordinatensysteme sind normalerweise (aber nicht notwendigerweise) eben; sie koennen auch koplanar sein. Verschiedenen Strahlenbuendel werden entweder durch verschiedene Kameras realisiert (Fig. 1) oder durch dieselbe Kamera realisiert (Fig. 2, dort umfasst Kamera 11 das Buendel 31 und Kamera 10 die Buendel 20a und 20b) .An image via one or more cameras is mentally divided into at least three bundles of rays. The two-dimensional coordinate systems assigned to the bundles of rays are normally (but not necessarily) flat; they can also be coplanar. Different bundles of rays are either realized by different cameras (FIG. 1) or realized by the same camera (FIG. 2, where camera 11 comprises bundle 31 and camera 10 bundles 20a and 20b).
Ueber je ein Strahlenbuendel wird ein Bereich des Werkstuecks bzw. des Werkzeugs betrachtet. Zwei Bereiche sind nicht identisch. Die Bereiche duerfen sich grundsaetzlich ueberlappen, werden jedoch zur Vereinfachung der Betrachtung als disjunkt gesehen.An area of the workpiece or the tool is viewed over a beam. Two areas are not identical. The areas may fundamentally overlap, but are viewed as disjoint to simplify the observation.
Die den Bereichen entsprechenden Bildausschnitte (Merkmalsbilder) bzw. davon abgeleitete Daten werden im Einrichtbetrieb gespeichert bzw. im Automatikbetrieb weiterverarbeitet .The image sections (feature images) corresponding to the areas or data derived therefrom are stored in set-up mode or processed further in automatic mode.
Verschiedene Strahlenbuendel koennen auch mit der selben Kamera in verschiedener Position und ggf. in verschiedener Einstellung (z.B. Zoom), zeitlich nacheinander realisiert werden.Different bundles of rays can also be realized in succession with the same camera in different positions and possibly in different settings (e.g. zoom).
Das Verfahren kann auch mit alternativ "umschaltbaren" Werkstueckbereichen arbeiten. Beispiel: zur Lagekorrektur eines Schraubers fuer die Montage eines PKW-Rades mit 6 Schrauben, seien zwei alternative Saetze von je drei Werkstueckbereichen in einer einzigen, (kurzbrennweitigen, um das weiter unten erlaeuterte Tangentenverbot gut einzuhalten) Kamera definiert.The method can also work with alternatively "switchable" workpiece areas. Example: to correct the position of a screwdriver for the assembly of a car wheel with 6 screws, two alternative sets of three workpiece areas each are defined in a single (short focal length, in order to comply well with the tangent ban explained below) camera.
•Die Bereiche sind so gewaehlt, dass unabhaengig von der Drehlage-.der Radnabe in mindestens einem der Saetze von Bildbereichen in jedem der drei Bereiche immer ein Schraubenloch sichtbar ist. Die den Saetzen zugeordneten Mengen von Bereichen brauchen grundsaetzlich nicht disjunkt zu sein. • The areas are selected so that, regardless of the rotational position of the wheel hub in at least one of the sets of image areas, a screw hole is always visible in each of the three areas. The sets of areas assigned to the sets do not in principle need to be disjoint.
Vorbetrachtung: Strahlenbuendel und TangentenverbotPreview: bundle of rays and ban on tangents
Zur Ableitung der Einhaltung der Signifikanzbedingung eine abstrakte Vorbetrachtung, die aus didaktischen Gruenden zunaechst gedanklich von 3 ausgezeichneten Punkten ausgeht (Anmerkung: die Erfindung ist NICHT auf ausgezeichnete Punkte angewiesen) .To derive compliance with the significance condition, an abstract preliminary consideration, which for educational reasons starts with 3 excellent points (Note: the invention is NOT dependent on excellent points).
In [Fis] wird gezeigt, dass aus der zweidimensionalen Abbildung von 3 ausgezeichneten Punkten mit bekanntem Abstand, ueber eine einzelne Kamera mit bekannten inneren Parametern, die aeusseren Kameraparameter berechnet werden koennen. Dies entpricht umgekehrt der Bestimmung der Lage des 3-D-Punktetripels bei bekannten Kameraparametern. Umformung der die Aufgabe beschreibenden geometrischen Gleichungen [Fis] fuehren zu einer Gleichung vierten Grades mit bis zu 4 diskreten, reellen positiven Loesungen. Diese Loesungen koennen jedoch grundsaetzlich nahe beisammen liegen.In [Fis] it is shown that the outer camera parameters can be calculated from the two-dimensional image of 3 excellent points with a known distance, using a single camera with known inner parameters. Conversely, this corresponds to the determination of the position of the 3-D triple point with known camera parameters. Transformation of the geometric equations describing the task [Fis] lead to a fourth degree equation with up to 4 discrete, real positive solutions. However, these solutions can in principle be close together.
Wenn es gelingt, durch Wahl der Geometrie der Strahlenbuendel zu garantieren, dass maximal eine Loesung im Arbeitsbereich liegen kann, ist bei 3 ausgezeichneten Punkten und einer Kamera die Signifikanzbedingung einhaltbar. Die Loesungen sollten also soweit auseinanderliegen, dass sich im Arbeitsbereich nur eine Loesung befinden kann.If the geometry of the beam bundle can guarantee that a maximum of one solution can be in the work area, the significance condition can be met with 3 excellent points and one camera. The solutions should be so far apart that there can only be one solution in the work area.
Wenn bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel tangential schneiden, fallen 2 diskrete Loesungen zusammen. Entsprechende anschauliche Betrachtungen werden in [Wil] durchge- fuehrt fuer den 1-Kamera-Fall; sie sind fuer den hier vorliegenden Fall mit im allgemeinenen mehreren Kameras topologisch aequivalen : Wenn die rotierenden ausgezeichneten Punkte die Strahlenbuendel beinahe tangential schneiden, liegen die Schnittpunkte nah beisammen. Wenn sie sie in einem groesseren Winkel (z.B. > 20 Grad) schneiden, liegen sie weit auseinander . Bei nicht zu grossem Arbeitsbereich kann also sichergestellt werden, dass im Arbeitsbereich nur eine Loesung liegt.If, during rotations, the excellent points tangentially intersect the rays of the ray bundle, two discrete solutions coincide. Corresponding illustrative considerations are carried out in [Wil] for the 1-camera case; they are topologically equivalent for the present case with generally several cameras: If the rotating excellent points cut the bundle of rays almost tangentially, the intersection points are close together. If you cut them at a larger angle (e.g.> 20 degrees), they are far apart. If the work area is not too large, it can be ensured that there is only one solution in the work area.
Bedingung ist bei ausgezeichneten Punkten also, dass bei Rotationen die ausgezeichneten Punkte die Strahlen der Strahlenbuendel nicht tangential, sondern moeglichst in einem groesseren Winkel (z.B. > 20 Grad) schneiden. Diese Bedingung wird im folgenden Tangentenverbot genannt. Sie ist leicht und auf vielfaeltige Weise einzuhalten und beispielsweise dann erfuellt, wenn die Strahlenbuendel ein Dreibein darstellen und sich der Drehpunkt in der Mitte der Grundflaeche des Dreibeins befindet und die Drehachsen nicht durch die Merkmale gehen.The condition for excellent points is that when rotating, the excellent points do not intersect the rays of the bundle of rays tangentially, but rather at a larger angle (e.g.> 20 degrees). This condition is called the tangent ban in the following. It is easy to maintain in a variety of ways and is fulfilled, for example, when the bundles of rays represent a tripod and the center of rotation is in the center of the base of the tripod and the axes of rotation do not go through the features.
Das Tangentenverbot kann bei Flexmerkmalen auch dann erfuellt sein, wenn die LICHT-Strahlenbuendel dort, wo sie die Flexmerkmale treffen, tangential zum Kreis um die Rotationsachsen sind.The tangent prohibition can also be fulfilled for flex features if the LICHT bundles of rays where they meet the flex features are tangent to the circle around the axes of rotation.
Das Tangentenverbot ist ein Beispiel fuer die Erreichung der Signifikanzbedingung. Das Tangentenverbot ist also eine hinreichende, aber nicht notwendige Bedingung fuer die Erreichung der (notwendigen) Signifikanzbedingung. Siehe Beispiel Fig. 5: hier ist die Signifikanzbedingung auch ohne Einhaltung des Tangentenverbots erfuellt.The tangent ban is an example of the achievement of the significance condition. The ban on tangents is therefore a sufficient but not necessary condition for the (necessary) significance condition to be met. See example Fig. 5: here the significance condition is met even without compliance with the tangent ban.
Andererseits ist die Einhaltung des Tangentenverbots vorteilhaft, wie man aus Vergleich von Fig. 4 und Fig. 5 entnehmen kann: in Fig. 5 verzerren sich bei Koerper-Rotation die abgebildeten Muster nur geringfuegig, ' aehrend sie sich in Fig.-~4 deutlich veraendern.On the other hand, is advantageous in compliance with the tangent prohibition, as can be seen from comparison of Figures 4 and 5:... In Figure 5, the pattern shown distort only slightly at body rotation, 'hile it clearly in Fig.- ~ 4 change.
Da es sich bei dieser Erfindung um die KORREKTUR einer Bewegung handelt, sind die Arbeitsbereiche in der Regel ausreichend klein, um z.B. sicherstellen zu koennen, dass keine Rotationsachse durch ein Merkmal hindurchgeht. Since this invention is the CORRECTION of a movement, the working areas are usually sufficiently small, for example, to be able to ensure that no axis of rotation passes through a feature.
Fuer die geometrischen Betrachtungen setzen [Fis] und [Wil] die Kenntnis der Punkteabstaende im Raum voraus; fuer die vorliegende Erfindung ist diese Kenntnis nicht unbedingt erforderlich. Die Ueberlegungen von [Fis] und [Wil] sind hilfreich, um zu erkennen, unter welchen geometrischen Voraussetzungen die Signifikanzbedingung erzielbar ist. Die Loesbarkeits- und Eindeutigkeits- und Stabilitaetsbetrach- tungen sind abstrakt-geometrische Ueberlegungen und von den konkreten Abstandsmassen unabhaengig. Die fuer die Bestimmung der Lageabweichung erforderliche Zusatzinformation stammt aus den im Einrichtbetrieb gespeicherten Daten. Lageinformation wird nur implizit bestimmt.For the geometrical considerations [Fis] and [Wil] require knowledge of the spacing of points in space; this knowledge is not absolutely necessary for the present invention. The considerations of [Fis] and [Wil] are helpful in recognizing the geometrical conditions under which the significance condition can be achieved. The solubility, uniqueness and stability considerations are abstract-geometric considerations and independent of the concrete distance dimensions. The additional information required for determining the positional deviation comes from the data stored in the setup mode. Location information is only determined implicitly.
Einhaltung der SignifikanzbedingungCompliance with the significance condition
Bei Zentralprojektion ist die Signifikanzbedingung umso sicherer erfuellbar, je besser das Tangentenverbot erfuellt ist; dies wiederum ist bei Verwenden einer einzelnen Kamera umso besser erfuellbar, je weitwinkliger das Objektiv ist. In der Praxis reicht in diesem Fall ein Objektfeldwinkel von mehr als ca. 20 Grad; bevorzugt mindestens 45 Grad; bei ca. 90 Grad Objektfeldwinkel ist das Tangentenverbot am besten erfuellbar: dann koennen in einer Ebene liegende Werkstueck- bereiche alle mit ca. 45 Grad zur Tangente geschnitten werden.In the case of a central projection, the significance condition can be fulfilled the more reliably the tangent ban is fulfilled; this in turn is easier to achieve when using a single camera, the wider the lens is. In practice, an object field angle of more than approx. 20 degrees is sufficient in this case; preferably at least 45 degrees; The tangent ban is best met at an object field angle of approx. 90 degrees: then workpiece areas lying in one plane can all be cut at approx. 45 degrees to the tangent.
Entsprechendes gilt fuer die Verwendung von insgesamt zwei Kameras, wobei zwei Strahlenbuendel durch eine von diesen zwei Kameras realisiert sind: das Tangen- tenverbαt ist umso sicherer erfuellbar, je weitwinkliger das Objektiv dieser Kamera ist.The same applies to the use of a total of two cameras, two bundles of rays being realized by one of these two cameras: the tangent verb can be met with greater certainty the wider the lens of this camera is.
Falls mehrere Strahlenbuendel durch dieselbe Kamera realisiert werden, ist es auch ausreichend, das Herausgreifen der Werkstueckbereiche dieser Kamera nicht tatsaechlich, sondern indirekt durchzufuehren: Der Bildvergleich zweier Werkstueckbereiche mit den entsprechenden Bereichen aus dem Einrichtbetrieb kann zusammenfassend in einem einzigen Schritt mit je einem Bild aus Einrichtbetrieb und Automatikbetrieb realisiert werden. In diesen Vergleich koennen schadlos durchaus andere Partien des Bildes ausserhalb der Bereiche einbezogen sein (man kann dann z.B. auch mit Gesamtbildern arbeiten) , denn wenn die Bildpartien, die nicht die Tangentenbedingung erfuellen, sich bei Bewegung der Bildaufnahmeeinrichtung gegen das Werkstueck nicht veraendern, liefern diese Bildpartien zur Bildauswertung zwar keinen Beitrag, es ist aber auch nicht schaedlich.If several beam bundles are realized by the same camera, it is also sufficient not to actually pick out the workpiece areas of this camera, but rather indirectly: The image comparison of two workpiece areas with the corresponding areas from the set-up mode can be summarized in a single step, each with a picture from set-up mode and automatic operation can be realized. In this comparison, other parts of the image outside of the areas can be included without damage (one can also work with overall images, for example), because if the image parts that do not meet the tangent condition If the image recording device does not change against the workpiece, these image parts do not make any contribution to the image evaluation, but it is also not harmful.
Ein Bereich kann im Sonderfall auch den ganzen aus dem Blickwinkel der betreffenden Kamera sichtbaren Teil der Werkstueckoberflaeche umfassen.In a special case, an area can also encompass the entire part of the workpiece surface that is visible from the point of view of the camera in question.
Die Strahlenbuendel entsprechen nicht notwendigerweise einer Zentralprojektion, wie in Fig. 1 dargestellt; sie koennen beispielsweise auch parallel sein, wie bei der Verwendung von mehreren telezentrischen Objektiven (Parallelprojektion).The bundles of rays do not necessarily correspond to a central projection, as shown in FIG. 1; for example, they can also be parallel, such as when using multiple telecentric lenses (parallel projection).
Die Begrenzung der Strahlenbuendel ist nicht notwendigerweise kreisfoermig, wie in Fig. 1 dargestellt; die ausgewerteten Bereiche koennen beliebig abgegrenzt sein.The limitation of the beam is not necessarily circular, as shown in Fig. 1; the evaluated areas can be delimited as desired.
Bleibt noch der Uebergang von der Vermessung der Abbildung von ausgezeichneten Punkten zum Abspeichern und Vergleichen von allgemeinen Lagebeschreibungsvektoren, die im Extremfall direkt als Merkmalsbilder gegeben sein koennen:There remains the transition from measuring the mapping of excellent points to storing and comparing general location description vectors, which in extreme cases can be given directly as feature images:
Ueber Korrelationsverfahren kann man bekanntermassen ohne ausgezeichnete Punkte die Verschiebung und Verdrehung eines Bildes gegenueber einem Referenzbild berechnen, vorausgesetzt die Bilder besitzen gewisse naeherungsweise reproduzierbare Strukturen, die in mindestens zwei Richtungen ausgepraegt sind. Solche Verfahren gestatten eine Veaschiebungsberechnung auch beim Vorhandensein von Stoerungen.It is known that correlation methods can be used to calculate the displacement and rotation of an image with respect to a reference image without excellent points, provided that the images have certain approximately reproducible structures that are pronounced in at least two directions. Such methods allow a displacement calculation even in the presence of faults.
Im allgemeineren Fall verfuegt man ueber keinerlei posi- tionsmaessig erfassbare Merkmale, also entweder nur direkt ueber Bilder oder Bildbeschreibungsvektoren mit Massen, die keine Positionen in Bildern angeben. Solche Masse sind z.B. Groessenveraenderung, Verdrehung, Verzerrung, Helligkeits- und Farbveraenderung, Ortsfrequenzveraen- derungen. Diese Aenderungen koennen auch durch geeignete Beleuchtungsmassnahmen gezielt herbeigefuehrt werden, beispielsweise durch strukturiertes Licht oder Moire-Muster auf dem Werkstueck.In the more general case, there are no features which can be detected in terms of position, that is to say either only directly via images or image description vectors with masses which do not indicate any positions in images. Such masses are, for example, size change, twisting, distortion, Changes in brightness and color, changes in spatial frequency. These changes can also be brought about in a targeted manner by suitable lighting measures, for example by structured light or moire patterns on the workpiece.
Dieser allgemeine Fall kann auf den Fall mit ausgezeichneten Punkten zurueckgefuehrt werden, indem man sich vorstellt, dass bei Bewegung des Werkstuecks im Raum sich Bildstrukturen und damit verbundene Wertetupel mit in einem monotonen Zusammenhang tendenziell so veraen- dern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall waere .This general case can be traced back to the case with excellent points by imagining that when the workpiece is moved in space, the image structures and associated value tuples tend to change in a monotonous context in the same way as when measuring the image coordinates of excellent ones Points would be the case.
- Wertevergleich: Zur eindeutigen Zuordnung kann zum Beispiel ein auf dem Werkstueck festes Gittermuster verwendet werden, dessen Gitterweite und Orientierung sich bei der Roboterbewegung in der Abbildung ver- aendert; es genuegt die Berechnung der Gitterweite und der Orientierung, ohne Positionsdaten zu berechnen.- Comparison of values: For a clear assignment, for example, a grid pattern fixed on the workpiece can be used, the grid width and orientation of which changes with the robot movement in the figure; it is sufficient to calculate the grid width and the orientation without calculating position data.
- Bildvergleich: Ein begrenztes Schachbrettmuster zum Beispiel, dessen Rastergroesse und Orientierung sich bei der Roboterbewegung in der Abbildung veraen- dert, kann durch Bildvergleich einem von mehreren vorher gespeicherten Schachbrettmustern zugeordnet werden, ohne die jeweilige Rastergroesse und die Orientierung direkt zu berechnen (ein Schachbrett ist fuer direkten Bildvergleich guenstiger als beispielsweise ein Gitter mit feinen Linien) .- Image comparison: A limited checkerboard pattern, for example, whose grid size and orientation changes with the robot movement in the illustration, can be assigned to one of several previously saved checkerboard patterns by image comparison without directly calculating the respective grid size and orientation (a checkerboard is for direct image comparison cheaper than, for example, a grid with fine lines).
Damit ist plausibel gemacht, dass mit der angegebenen Anordnung auch bei direktem Bildvergleich, ohne ueber irgendwelche von den Bildern abgeleitete Positionswerte zu verfuegen, die Signifikanzbedingung eingehalten werden kann.This makes it plausible that with the specified arrangement, even with a direct image comparison, without having any position values derived from the images, the significance condition can be met.
Bleibt noch der Uebergang von Fixmerkmalen auf Flexmerkmale. Hier gilt eine aehnliche Ueberlegung: Auch hier sind Anordnungen realisierbar, mit denen Bildstrukturen entstehen, aufgrund derer skalare Wertetupel sich tendenziell so monoton veraendern, wie dies bei Vermessung der Bildkoordinaten von ausgezeichneten Punkten der Fall ist. Beispiel eines Flexmerkmals : Die Erzeugung eines Gittermusters oder eines Schachbrettmusters mittels strukturierter Beleuchtung fuehrt bei geeigneter Beleuchtungsgeometrie auf den gleichen oben geschilderten Effekt, ohne dass solche Muster auf dem Werkstueck vorhanden sein muessen. Siehe Beispiele Fig. 4 und 5.What remains is the transition from fixed features to flex features. A similar consideration applies here: Here too, arrangements can be realized with which image structures are created, on the basis of which scalar value tuples tend to change as monotonously as is the case when measuring the image coordinates of excellent points. Example of a flex feature: The generation of a lattice pattern or a checkerboard pattern by means of structured lighting leads to the same effect described above with suitable lighting geometry, without such patterns having to be present on the workpiece. See examples FIGS. 4 and 5.
Zu Flex erkmalen siehe auch das Beispiel Fig. 3.For more information on Flex, see also the example in Fig. 3.
Technische Realisierung der Einhaltung der Signifi- kanzbedingungTechnical implementation of compliance with the significance condition
Die technische Realisierung der Einhaltung der Signifikanzbedingung geschieht erfindungsgemaess durch Einhaltung der Bedingungen sl oder s2 (Anspruch 1) oder nach Anspruch 3, also dadurch, dass mindestens drei Kameragruppen mit je mindestens zwei Kameras existieren, wobei mindestens zwei Kameras einer Kameragruppe schraeg oder senkrecht zueinander stehen, wobei das Blickfeld der Kameras jeder Kameragruppe Werkstueckmerkmale erfasst, die im wesentlichen linear in eine Richtung ausgedehnt sind, insbesondere gerade oder naeherungsweise gerade Werkstueckkanten .The technical realization of the compliance with the significance condition takes place according to the invention by adhering to the conditions sl or s2 (claim 1) or according to claim 3, that is, by the fact that at least three camera groups each with at least two cameras exist, with at least two cameras of one camera group being oblique or perpendicular to one another , the field of view of the cameras of each camera group capturing workpiece features that are essentially linearly extended in one direction, in particular straight or approximately straight workpiece edges.
Anmerkung: Ein telezentrischer Strahlengang ist bei Verwendung einer einzelnen Kamera ausgeschlossen, da nicht alle Strahlen parallel sein duerfen (kein "Bildfeldwinkel") . Note: A telecentric beam path is excluded when using a single camera, since not all beams may be parallel (no "field angle").
Bild/Daten-Interpolation im Einrichtbetrieb:Image / data interpolation in setup mode:
Es kann eine grosse, hochimensionale Datenbank erforderlich sein, insbesondere wenn man ohne Interpolation arbeitet. Fuer das effiziente Durchsuchen solch grosser Datenbanken stehen Methoden aus dem Arbeitsgebiet der Datenbanksysteme bereit. Auch wenn man ohne Interpolation arbeitet, stellt der sehr grosse Umfang der Datenbank nach dem heutigen Stand der Technik kein Problem dar.A large, high-dimensional database may be required, especially if you work without interpolation. Methods from the field of database systems are available for efficiently searching such large databases. Even if you work without interpolation, the very large size of the database according to the current state of the art is not a problem.
Problematisch ist jedoch die Zeit, die im Einrichtbetrieb zur Erfassung erforderlich ist, denn mit jeder Bildaufnahme (fuer alle Kameras zusammengenommen) ist eine mechanische Bewegung verbunden. Um die Zeit in ertraeglichen Grenzen zu halten, empfiehlt es sich, interpolierend zu arbeiten.However, the time that is required for acquisition in setup mode is problematic, since each image acquisition (taken for all cameras together) involves a mechanical movement. In order to keep the time within tolerable limits, it is advisable to work interpolating.
Zur Durchfuehrung einer Interpolation gibt es nun grundsaetzlich zwei verschiedene Ansaetze:There are now basically two different approaches to performing an interpolation:
1) Im Einrichtbetrieb: Mechanische Grobabtastung; Speichern der zugehoerigen Bilder oder Daten nur fuer diese groben Abtastungen.1) In setup mode: mechanical rough scanning; Save the associated images or data only for these rough scans.
Im Automatikbetrieb: Suche von mehreren aehnlich- sten Nachbardatensaetzen und Interpolation darueber (entweder durch Interpolation der zugehoerigen Lageabweichungen, abhaengig von den Aehnlichkeitsmassen, oder durch nachtraegliches Berechnen von interpolierten Bildern oder Daten) .In automatic mode: Search for several similar neighboring data sets and interpolation (either by interpolating the associated positional deviations, depending on the similarity measures, or by subsequently calculating interpolated images or data).
2) Im Einrichtbetrieb: Mechanische Grobabtastung; Berechnen von interpolierten Bildern oder Daten; Speichern der aufgenommenen und der interpolierten Bilder oder Daten.2) In setup mode: mechanical coarse scanning; Computing interpolated images or data; Save the captured and interpolated images or data.
Im Automatikbetrieb: Suche des aehnlichsten gespeicherten Bildes oder Datensatzes.In automatic mode: search for the most similar saved image or data record.
Es sind auch Mischformen der beiden Ansaetze moeglich.Mixed forms of the two approaches are also possible.
Die Erfindung betrifft nun speziell auch die Berechnung von interpolierten Bildern oder Datensaetzen, nach Ansatz 2, im Einrichtbetrieb. Bei interpolierten Bildern handelt es sich hier weniger um eine Grauwert- oder Farb-Interpolation, sondern eher um eine Bewegungsinterpolation der Bildinhalte (obwohl der erstgenannte Aspekt auch eine gewisse Rolle spielt). Grundaufgabe einer Bewegungsinterpolation ist eine Bewegungsschaetzung; hierzu gibt es im Bereich der Analyse dynamischer Szenen eine ausfuehrliche Literatur. Dort unterscheidet man zwischen pixelbasierten und merkmalsbezogenen (kanten- eckenbezogen etc.) Methoden, um Bewegungsvektorfelder aus Bildfolgen abzuleiten. Auf Basis solcher Bewegungsvektorfelder koennte man nun bewegungsinterpolierte Bilder erzeugen (eine aehnliche Aufgabenstellung findet sich im Bereich der Datenkompression bei Bildfolgen) . Die aus der Literatur bekannten Methoden sind jedoch fehleranfaeilige Bild-Vorverarbeitungsmethoden, die erst nach einer modellbasierten Nachverarbeitung die fuer industrielle Anwendungen ausreichende Robustheit aufweisen. Werkstueck-Mo- dellinformation einzubringen ist hier jedoch sehr schwierig und fallabhaengig, ausserdem ist es von Vorteil, im Einrichtbetrieb nicht auf Werkstueckinfor- mation angewiesen zu sein.The invention now also relates specifically to the calculation of interpolated images or data sets, according to approach 2, in setup mode. Interpolated images are not so much a gray value or color interpolation, but rather a motion interpolation of the image content (although the first aspect also plays a certain role). The basic task of motion interpolation is motion estimation; There is extensive literature on this in the area of dynamic scene analysis. There, a distinction is made between pixel-based and feature-based (edge-corner-related, etc.) methods for deriving motion vector fields from image sequences. On the basis of such motion vector fields, one could now generate motion-interpolated images (a similar task can be found in the area of data compression for image sequences). However, the methods known from the literature are error-prone image preprocessing methods which only have the robustness sufficient for industrial applications after model-based postprocessing. However, it is very difficult to bring in workpiece model information and depends on the case, and it is also advantageous not to be dependent on workpiece information in the set-up mode.
Eine Nebenaufgabe der Erfindung ist es daher, ein robustes Verfahren zur Bild- oder Dateninterpolation bereitzustellen, ohne auf Werkstueck-Modellinfor ation zurueckgreifen zu muessen.A side object of the invention is therefore to provide a robust method for image or data interpolation without having to resort to workpiece model information.
Diese Aufgabe wird nach den Anspruechen 9 und 10 geloest.This problem is solved according to claims 9 and 10.
Anmerkung: Anspruch 9 gilt verallgemeinernd auch fuer den zweidimensionalen Fall. Dieselbe Marke kann von mehreren Kameras erfasst sein.Note: Claim 9 also applies generally to the two-dimensional case. The same mark can be captured by multiple cameras.
Wesentlich ist, dass die Relativlage der Marken zum Werkstueck nicht bekannt zu sein braucht. Die Marken muessen lediglich im Einrichtbetrieb ihre Relativlage beibehalten. Die Marken muessen voneinander bildanalyse- technisch unterscheidbar sein, beispielsweise ueber Form und/oder Farbe und/oder Grobposition im Bild.It is essential that the relative position of the brands to the workpiece does not need to be known. The brands only have to maintain their relative position during set-up. The marks must be technically distinguishable from one another in terms of image analysis, for example about shape and / or color and / or rough position in the image.
Die Marken werden normalerweise speziell realisiert (z.B. speziell montierte, ins Bildfeld hineinragende Teile mit Loechern oder sauberen Kanten) , es koennen aber auch ohnehin und zufaellig vorhandene Merkmale der Umgebung sein, beispielsweise die Konturen der fuer den Einrichtbetrieb realisierten Werkstueckhalterung. Letzteres ist insbesondere deshalb sehr praktikabel, weil es auf die genaue Relativlage nicht ankommt. Die Marken koennen sogar in Form von bildanalytisch (ueber Form, Farbe, Grobposition etc.) unterscheidbaren Aufklebern direkt auf das im Einrichtbetrieb verwendete Werkstueck aufgebracht werden. Die genaue Position der Marken auf dem Werkstueck ist dabei gleichgueltig.The stamps are usually specially realized (eg specially assembled parts protruding into the image field with holes or clean edges), but they can also be random features of the environment, for example the contours of the for the workpiece holder realized in the set-up mode. The latter is particularly practical because the exact relative position is not important. The brands can even be applied in the form of stickers that can be differentiated analytically (via shape, color, rough position, etc.) directly to the workpiece used in the set-up shop. The exact position of the brands on the workpiece is irrelevant.
Vorzugsweise wird mit vier Marken gearbeitet. Anhand von je vier Marken in zwei Bildern, die einander zuordenbar sind, kann man die einer Zentralprojektion zugrundeliegende Transformation von einer Objektebene in eine andere berechnen. Diese "Ebenen-Transformation" ist ausreichend fuer Werkstuecke, deren Merkmale sich naeherungsweise in einer Ebene befinden, insbesondere fuer alle naeherungsweise flachen Werkstuecke, bei entsprechend kleinen Interpolationsintervallen aber auch bei dreidimensional ausgepraegten Werkstuecken.Four brands are preferred. With the help of four marks in two pictures, which can be assigned to each other, one can calculate the transformation from one object level to another on which a central projection is based. This "plane transformation" is sufficient for workpieces whose characteristics are approximately in one plane, in particular for all approximately flat workpieces, with correspondingly small interpolation intervals, but also with three-dimensional workpieces.
Die Interpolation geschieht nun beispielsweise, indem man die aus der Abbildung der Marken gewonnennen Transformationsparameter geeignet interpoliert und eines der Bilder entsprechend transformiert.The interpolation now takes place, for example, by appropriately interpolating the transformation parameters obtained from the mapping of the marks and transforming one of the images accordingly.
Eine Aussage darueber, ob die Ebenen-Transformation gueltig ist, kann automatisch darueber gewonnen werden, dass man beide Bilder entsprechend transformiert und die Ergebnisse vergleicht (Transformationsparameter aus Markenbildern MA und MB; Transformation MA zu Interpol. Bild IA, ebenso MB zu IB; Vergleich IA mit IB) . Sind die Ergebnisse aehnlich, so ist die Ebenen-Transformation ausreichend. Andernfalls muessen die Interpolationsintervalle verkleinert werden durch Hinzunahme von weiteren realen Bildaufnahmen. Sind andererseits die Ergebnisse ausreichend aehnlich, so liegt es nahe, ueber die Ergebnisse zu mittein.A statement about whether the level transformation is valid can be obtained automatically by transforming both images accordingly and comparing the results (transformation parameters from brand images MA and MB; transformation MA to Interpol. Image IA, also MB to IB; comparison IA with IB). If the results are similar, the level transformation is sufficient. Otherwise, the interpolation intervals must be reduced by adding further real images. On the other hand, if the results are sufficiently similar, it makes sense to think about the results.
Anmerkung: Bei dreidimensional ausgepraegten Werkstuecken und groesseren Interpolationsintervallen veraendert sich der Aspekt so stark, dass sich nicht nur die Bilder gegeneinander homografisch verzerren, sondern dass sich die Bildinhalte veraendern, dass sich Bildinhalte unterschiedlich gegeneinander bewegen oder dass gar neue Merkmale auftauchen und andere verschwinden, sich also deutlich unterschiedliche Merkmale in den Bildern befinden. Dann ist die Ebenen-Transformation nicht auseichend und die Interpolationsintervalle muessen verkleinert werden.Note: In the case of three-dimensional workpieces and larger interpolation intervals, the aspect changes so much that not only do the images distort each other homographically, but that change the image content, that image content moves differently against each other or that new features appear and others disappear, meaning that there are clearly different features in the images. Then the level transformation is not sufficient and the interpolation intervals have to be reduced.
Mit weniger als vier Marken kommt man bei weniger Freiheitsgraden des Werkstuecks aus.With fewer than four brands, you can get by with fewer degrees of freedom of the workpiece.
Mit mehr als vier Marken kann man, auch bei Ebenen- Transformation, arbeiten, um die erreichbare Genauigkeit zu erhoehen.You can work with more than four brands, even with level transformation, to increase the achievable accuracy.
Beherrschung von verwundenen Teilen:Mastery of twisted parts:
Bei nicht ganz starren Werkstuecken tritt ist ein moeg- liches Problem dadurch auf, dass ein ausreichend genaues Zugreifen mit Spreizgreifern (beschraenkter Hub) oder Zangengreifern (beschraenkte Maulweite) nicht mehr sichergestellt werden kann.In the case of workpieces that are not completely rigid, a possible problem arises in that adequately precise access with spreading grippers (restricted stroke) or pliers grippers (restricted opening width) can no longer be ensured.
Tiefere Ursache dafuer ist, dass die Greifpunkte sich normalerweise nicht mit den ausgewerteten Bereichen decken und daher das Werkstueck an den Greifpunkten trotz der an sich korrekt berechneten Lagekorrektur nicht mehr gegriffen werden kann. Die naheliegende Loesung, einfach die Regionen in unmittelbare ' Greifernaehe zu verlegen,-- z. B. fuer drei Greifer drei Kameras--einzusetzen, die jeweils in die Naehe eines einzelnen Greifers blicken, ist meist nicht handhabbar, da sich in Greifernaehe nur in Ausnahmefaellen Regionen mit genuegend Struktur befinden: Dort liegen oft nur gerade oder fast gerade Kanten, deren Abbildung bei Bewegung der Kameras bzw. des Werkstuecks signifikante Strukturaenderung nur quer zu den Kanten-Abbildungen enthalten. Bei kleiner Drehung einer Kamera veraendern sich zwar i.a. auch die Steigungen der so abgebildeten Geraden, doch isd diese Strukturaenderung, insbesondere bei kleinen Bildausschnitten relativ zur Werkstueckgroesse, zu empfindlich gegen kleine Stoerungen der Bildauswertung. Diese Betrach- tung ist unabhaengig von der Art der Bildauswertung und insbesondere unabhaengig davon, ob man direkt Bilddaten vergleicht oder daraus abgeleitete Daten.A deeper reason for this is that the gripping points do not normally coincide with the evaluated areas and therefore the workpiece at the gripping points can no longer be gripped despite the position correction, which is correctly calculated per se. The obvious solution, simply to move the regions in close proximity to the gripper, e.g. B. for three grippers three cameras - to use, each looking into the vicinity of a single gripper, is usually not manageable, since in the vicinity of the gripper there are only regions with sufficient structure in exceptional cases: there are often only straight or almost straight edges, the Image with movement of the cameras or the workpiece contains significant structural changes only transversely to the edge images. When a camera is rotated slightly, the gradients of the straight line depicted in this way generally also change, but this structural change, in particular in the case of small image sections relative to the workpiece size, is too sensitive to small disturbances in the image evaluation. These considerations tion is independent of the type of image evaluation and in particular is independent of whether one compares image data directly or data derived therefrom.
Es besteht also die Nebenaufgabe, Greifen zu er- moeglichen bei Werkstuecken, die in nicht ausreichendem Masse als starre Koerper betrachtet werden koennen, speziell wenn sie etwas verwunden in der Werkstueck- aufnahme liegen, und wenn Werkstueckregionen in Greifernaehe nicht ausreichend Struktur abgeben, um daraus ausreichend Information abzuleiten, die einer Einschraenkung um zwei Freiheitsgrade entspricht.So there is the secondary task of gripping workpieces that can not be regarded as rigid bodies to a sufficient extent, especially if they are somewhat twisted in the workpiece holder and if workpiece regions in the vicinity of the gripper do not provide sufficient structure to use them derive sufficient information that corresponds to a restriction by two degrees of freedom.
Diese Aufgabe wird nach Anspruch 3 bis 5 geloest.This object is achieved according to claims 3 to 5.
Fig. 6 zeigt eine bevorzugte Loesung mit drei Paaren von Kameras 10, die je einen Kantenabschnitt eines geradlinig begrenzten Werkstuecks 2 erfassen.6 shows a preferred solution with three pairs of cameras 10, each of which captures an edge section of a workpiece 2 which is delimited in a straight line.
Fig. 7 zeigt eine bevorzugte Realisierung eines Kamerapaars, mit je einer Beleuchtung pro Kamera. In Fig. 7 ist die Beleuchtung 40 fuer die Kamera 10 und die Beleuchtung 41 fuer die Kamera 11 zustaendig. Kameras und Beleuchtungen befinden sich in unmittelbarer Naehe des Greifers 70.FIG. 7 shows a preferred implementation of a camera pair, with one lighting per camera. 7 the lighting 40 for the camera 10 and the lighting 41 for the camera 11 are responsible. Cameras and lights are in the immediate vicinity of gripper 70.
Eine besondere Ausgestaltung besteht in einer integrierten Loesung mit zwei Kameras und je einer dazuge- hoerigen Beleuchtung, wobei jede Beleuchtung gegenueber "ihrer" Kamera in V-foermiger Anordnung steht, so dass exakt oder naeherungsweise die Reflexionsbedingung (Einfallswinkel = Ausfallswinkel) gilt. Dann lassen s-ich die Kanten besonders kontrastreich darstellen. A special embodiment consists of an integrated solution with two cameras and an associated lighting system, each lighting system being in a V-shaped arrangement with respect to "their" camera, so that the reflection condition (angle of incidence = angle of reflection) applies exactly or approximately. Then I have the edges displayed in particularly high contrast.
Eingrenzung des Arbeitsbereichs im Einrichtbetrieb:Narrowing down the work area in set-up mode:
Falls im Einrichtbetrieb der Greifer mit am Greifer montierten Kameras gegen das Werkstueck bewegt wird, braucht bei der Variation der 6 Freiheitsgrade nicht der komplette 6-dimensionale Hyperquader der moeglichen Veraenderungen bearbeitet zu werden. Dies soll anhand Fig. 8 erlaeutert werden: Das Werkstueck 2, abgebildet in Standardlage, kann sich aufgrund ungenauer Halterung innerhalb des Rahmens 100 bewegen, beispielsweise in die eingezeichnete Lage 102. Der Greifer 1 ist in Ausgangslage gezeichnet. Die Ansicht des Werkstuecks in Lage 102 aus Ausgangslage soll im Einrichtvorgang simuliert werden durch eine Lage- veraenderung des Greifers bei Werkstueck in Standardlage. Dies ist der Fall in Greiferlage 101. Tritt im Automatikbetrieb diese Ansicht auf, so muss der Greifer die dazu invertierte Lage 201 einnehmen. Die in diesem Beispiel erforderliche Orientierungsaenderung des Greifers braucht nicht mit allen moeglichen Translationen kombiniert zu werden. Beispielsweise fuehrt eine reine Orientierungsaenderung um den Greifermittelpunkt, ohne Translation (Greiferlage 301) , zu einer Werkstueckansicht, die aufgrund des Rahmens 100 geometrisch nicht moeglich ist. Die Aufgabe, moegichst nur realisierbare Ansichten einzulernen, wird am einfachsten durch geeignete Wahl des Drehpunktes geloest, vorzugsweise indem man im Einrichtbetrieb den Drehpunkt etwa in die Mitte des Rahmens 100 verlegt .If the gripper is moved against the workpiece in the set-up mode with cameras mounted on the gripper, the complete 6-dimensional hyper-square of the possible changes need not be machined when varying the 6 degrees of freedom. This will be explained with reference to FIG. 8: The workpiece 2, shown in the standard position, can move within the frame 100 due to inaccurate mounting, for example in the position 102 shown. The gripper 1 is shown in the starting position. The view of the workpiece in position 102 from the initial position is to be simulated in the setup process by changing the position of the gripper for the workpiece in the standard position. This is the case in the gripper position 101. If this view occurs in automatic mode, the gripper must take the inverted position 201. The change in orientation of the gripper required in this example need not be combined with all possible translations. For example, a pure change in orientation around the center of the gripper, without translation (gripper position 301), leads to a workpiece view that is geometrically not possible due to the frame 100. The task of teaching only feasible views as possible is easiest accomplished by a suitable choice of the fulcrum, preferably by moving the fulcrum approximately in the middle of the frame 100 in the set-up mode.
Die Ausgangslage wird bei Greif- oder Fuegeaufgaben vorzugsweise so gewaehlt, dass mit einer einzigen linearen Bewegung- ein Werkstueck in Standardlage angefahren werden kann, siehe Fig. 8. Bei speziellen Werkstueck/Greifer- geometrien sind natuerlich u.U. komplizerte Anfahrwege erforderlich, diese muessen ueber Verschiebung und Drehung um den (grundsaetzlich willkuerlich, aber vorteilhaft im Mittelpunkt des Rahmens 100) gewaehlten Drehpunkt transformiert werden.The starting position for gripping or joining tasks is preferably chosen so that a workpiece can be approached in a standard position with a single linear movement, see Fig. 8. With special workpiece / gripper geometries, it is of course possible that Complicated approaches are required, these have to be transformed via displacement and rotation about the pivot point (which is basically arbitrary, but advantageously in the center of the frame 100).
Vorteile:Benefits:
Abgesehen davon, dass Anspruch 4 die letzte Randbedingung nicht erfuellt, werden sonst alle Randbedingungen von al- len Anspruechen erfuellt, mit den entsprechenden Vorteilen gegenueber bisher bekannten Systemen. Auch die Nebenaufgaben, teilweise bisher voellig ungeloest, werden ueber die betreffenden Anprueche geloest.Apart from the fact that claim 4 does not meet the last boundary condition, all boundary conditions of otherwise len claims met, with the corresponding advantages over previously known systems. The secondary tasks, some of which have so far been completely unsolved, are also solved via the relevant claims.
Im folgenden werden einige weitere vorteilhafte Aspekte erlaeutert .Some further advantageous aspects are explained below.
Im Gegensatz zu konventionellen Systemen, die ein Gegenstandseigenes Koordinatensystem definieren, und mit diesem die absolute Lage des Gegenstandes sowohl fuer die Standardlage als auch fuer die aktuelle Lage bestimmen, wird hier direkt die LageABWEICHUNG bestimmt, ohne ueber eine absolute Lage zu gehen, weshalb sich die Definition von globalen Koordinatensystemen eruebrigt .In contrast to conventional systems that define an object's own coordinate system and use it to determine the absolute position of the object for both the standard position and the current position, the position DEVIATION is determined here directly, without going over an absolute position, which is why the No need to define global coordinate systems.
Im Gegensatz zu beispielsweise [Axi] oder [Jan] wird hier ein Vergleich mit irgendwelchen Daten nicht im Dreidimensionalen, sondern im Zweidimensionalen realisiert; dann erst erfolgt der Uebergang in die dreidimensionale Lage; Merkmale selbst brauchen nicht im Dreidimensionalen gehandhabt zu werden.In contrast to, for example, [Axi] or [Jan], a comparison with any data is not realized in three dimensions, but in two dimensions; only then does the transition to the three-dimensional position take place; Features themselves do not need to be handled in three dimensions.
Es muessen nicht unbedingt konventionelle geometrische Merkmale wie Kanten, Ecken, Loecher aufgenommen werden. Es genuegen grundsaetzlich Abbildungen, aus denen sich irgendwelche reproduzierbare Bildstrukturen ergeben, die sich in irgendeiner Weise bei Veraenderung der Aufnahmegeometrie aendern und in ihrer Gesamtheit eine eindeutige Zuordnung zur Lage ermoeglichen. Dazu gibt es vielerlei Moeglichkeiten.Conventional geometric features such as edges, corners and holes do not necessarily have to be recorded. Basically, images are sufficient from which any reproducible image structures result, which change in any way when the recording geometry is changed and which, in their entirety, allow a clear assignment to the position. There are many ways to do this.
Merkmale im oben angegebenen Sinn erfuellen diese Forderung bei Einhalten des oben geschilderten Tangentenverbots. Solche Merkmale koennen verwendet werden, ihre Geometrie braucht jedoch nicht bekannt zu sein.Features in the sense given above meet this requirement if the above-mentioned tangent ban is observed. Such features can be used, but their geometry need not be known.
Auch geeignet zur Auswahl der zu erfassenden Bereiche sind beispielsweiseFor example, are also suitable for selecting the areas to be recorded
- Oberflaechenformen wie Sicken, Woelbungen,- surface shapes such as beads, bulges,
- kuenstlich erzeugte Flexmerkmale (s.o.),- artificially created flex features (see above),
- inhomogene Strukturen wie reproduzierbare Uebergaenge von Oberflaechenstrukturen; beliebige metrisch Undefinierte, aber in der optischen Abbildung reproduzierbare Merkmale. Eine analytisch oder experimentelle Bestimmung der visuellen Jakobimatrix oder eines funktioneilen (z.B. stueckweise linear approximierenden) Zusammenhangs zwischen Roboterbewegung und der Bewegung konventioneller (d.h. mit Positionsdaten verknuepfbarer) Bildmerkmale ist grundsaetzlich nicht erforderlich. Im allgemeinen Fall des Arbeitens mit einer grossen Bild-Datenbasis werden von den Bildern ueberhaupt keine Daten abgeleitet. Eine Darstellung irgendeines funktioneilen Zusammenhangs eruebrigt sich. (Themen der Veroeffentlichungen zu Visual Servo sind regelungstechnischer Art, bezogen auf Positionen von Merkmalsbildern, wobei die Berechnung/Schaetzung der Jakobimatrix eine zentrale Rolle spielt. Regelungen mit 3D-Zielsetzung sind bei Visual Servo modellbasiert, z.B. [Sta] ) .- Inhomogeneous structures such as reproducible transitions from surface structures; any metrically undefined but reproducible features in the optical image. An analytical or experimental determination of the visual Jakobi matrix or a functional (eg linearly approximating) connection between robot movement and the movement of conventional (ie linkable with position data) image features is basically not necessary. In the general case of working with a large image database, no data is derived from the images at all. There is no need to describe any functional connection. (Topics of the publications on Visual Servo are of a control-technical nature, related to positions of feature images, whereby the calculation / estimation of the Jakobi matrix plays a central role. Controls with 3D objectives are model-based in Visual Servo, eg [Sta]).
Das hier vorgestellte Verfahren ist nicht darauf angewiesen, dass gepulstes, moduliertes oder strukturiertes Licht eingesetzt wird. Das hier vorgestellte Verfahren kann grundsaetzlich mit beliebigem Licht arbeiten, z.B. dem Tageslicht. Wird eine spezielle Beleuchtung verwendet, so kann diese durchaus zur Erhoehung der Stoeranfaelligkeit gegen Fremdlicht zusaetzlich gepulst oder moduliert oder auf einen bestimmten Spektralbereich begrenzt oder strukturiert werden. Dies ist jedoch nicht grundsaetzlich erfoderlich; das Verfahren faellt also weder unter bl) noch unter b2) und ist - auch bei zusaetz- licher Verwendung von strukturiertem oder gepulstem oder moduliertem Licht - nicht mit den messtechnischen Problemen der Verfahren bl) und b2) verbunden.The method presented here does not rely on the use of pulsed, modulated or structured light. The method presented here can basically work with any light, e.g. the daylight. If special lighting is used, it can certainly be pulsed or modulated, or limited or structured to a certain spectral range, to increase the susceptibility to external light. However, this is not fundamentally necessary; the method therefore does not fall under bl) or b2) and is - even with the additional use of structured or pulsed or modulated light - not associated with the measurement problems of methods bl) and b2).
Bei der hier vorgestellten Erfindung betrachten im Gegensatz zu Stereo-Verfahren die Kameras im allgemeinen unterschiedliche Merkmale, u.a. mit dem Vorteil, dass grosse Werkstuecke leichter und genauer zu erfassen sind. Je weiter die Merkmale auseinander liegen, desto genauer ist die Bewegungskorrektur moeglich. Grundsaetzlich reicht andererseits jedoch, im Gegensatz zu Stereosystemen, eine einzige Kamera aus.In contrast to stereo methods, in the invention presented here the cameras generally consider different features, with the advantage, among other things, that large workpieces are easier and more precisely to detect. The further the characteristics are apart, the more precise the movement correction is possible. Basically, on the other hand, in contrast to stereo systems, a single camera is sufficient.
Im Gegensatz zu modellbasierten Systemen (z.B. [Axi], [GMR], [Fan] , [Isr] ) braucht weder Werkstueckgeometrie noch die Lage der Merkmale in einem Werkstueck-Koordinatensystem nicht bekannt zu sein, ja sogar ein Werkstueckkoordinaten- system braucht nicht definiert zu sein. Die Aufgabe ist geloest, indem die Abweichung der Werkstuecklage gegenueber der Standardlage implizit bestimmt wird, ohne dass die geometrischen Verhaeltnisse bei Standardlage bekannt zu sein brauchen. Die wirkliche Lage des Werkstuecks im Raum braucht prinzipiell weder in der Standardlage noch in der im Automatikbetrieb angetroffenen Lage bekannt zu sein und auch nicht berechnet zu werden.In contrast to model-based systems (eg [Axi], [GMR], [Fan], [Isr]), neither workpiece geometry nor the location of the features in a workpiece coordinate system need be unknown, and even a workpiece coordinate system does not need to be defined to be. The task is solved by implicitly determining the deviation of the workpiece position from the standard position without having to know the geometric conditions in the standard position. In principle, the real position of the workpiece in the room need not be known, neither in the standard position nor in the position encountered in automatic mode, and also not to be calculated.
Ein Kalibrieren des Robotersystems auf Weltkoordinaten, wie es beispielsweise in [Ben] mittels Bewegung von Kameras mit Blick auf eine Kalibrierplatte realisiert wird, entfaellt.Calibrating the robot system to world coordinates, as is done for example in [Ben] by moving cameras with a view of a calibration plate, is not necessary.
Im Gegensatz zu konventionellen Stereosystemen braucht die Kamerageometrie nicht bekannt zu sein. Die Lage der ebenen Koordinatensysteme im Raum braucht nicht bekannt zu sein. Eine Berechnung der inneren oder aeusseren Kamerakoordinaten entfaellt damit.In contrast to conventional stereo systems, the camera geometry does not need to be known. The position of the plane coordinate systems in space need not be known. A calculation of the inner or outer camera coordinates is not necessary.
Es ist nicht erforderlich, kuenstliche Merkmale anzubringen, wie z.B. Klebepunkte.It is not necessary to add artificial features such as Adhesive dots.
Das Verfahren gestattet eine steuernde oder regelnde Vorgehen-sweise .The procedure allows a controlling or regulating procedure.
Das Verfahren ist einsetzbar, ohne dass positionsmaessig erfassbare Merkmale in den Bildern verfuegbar sein muessen.The method can be used without it being necessary for features which can be determined in terms of position to be available in the images.
In einem konkreten System ist der Uebergang von Fixmerkmalen zu Flexmerkmalen grundsaetzlich realisierbar allein durch Aendern der Beleuchtungseinrichtung, ohne an den restlichen Komponenten wie Roboter, Steuerung, insbesondere Bildauswertungsverfahren, etwas zu aendern. Bei der Selbstueberwachung braucht die Werkstuecklage nur konstant zu sein und braucht nicht der Standardlage oder irgendeiner bekannten Lage zu entsprechen.In a specific system, the transition from fixed features to flexible features can basically be achieved solely by changing the lighting device, without changing anything on the remaining components such as robots, controls, in particular image evaluation methods. When self-monitoring, the workpiece position only needs to be constant and does not need to correspond to the standard position or any known position.
Fuer die Selbstueberwachung sind keine besonderen Hilfsmittel erforderlich (Im Gegensatz zu [Arne] , wo am Roboter kuenstliche Passpunkte angebracht werden, oder zu [Gra] , wo im Raum Messpunkte angebracht werden) . Die Selbstueberwachung funktioniert auch ohne eine Kamerakalibrierung.No special aids are required for self-monitoring (in contrast to [Arne], where artificial control points are attached to the robot, or to [Gra], where measuring points are attached in the room). Self-monitoring also works without camera calibration.
Vorteile der Anordnung nach Anspruch 3 und dessen Unteranspruechen :Advantages of the arrangement according to claim 3 and its subclaims:
Auch nicht starre, speziell verwundene Werkstuecke, nach Aufgabenstellung, koennen sicher gegriffen werden.Even non-rigid, specially twisted workpieces, according to the task, can be gripped safely.
Es koennen kleine Maulweiten bei Zangengreifern eingesetzt werden.Small jaw widths can be used with pliers grippers.
Es sind standardisierte, miniaturisierte greiferintegrierte Loesungen realisierbar, da in Greifernaehe Werkstuecke wie z.B. Blechteile immer aehnlich aussehen. Damit sind standardisierte Loesungen ein- schliesslich Beleuchtung realisierbar (fuer allgemeine Merkmale muss normalerweise die Beleuchtung jeweils fuer den speziell vorliegenden Fall optimal gestaltet werden) .Standardized, miniaturized gripper-integrated solutions can be implemented, since workpieces such as e.g. Sheet metal parts always look similar. This makes it possible to implement standardized solutions including lighting (for general characteristics, the lighting usually has to be optimally designed for the specific case).
Die Anordnung nach Fig. 6--- erfordert zwar insgesamt sechs Kameras, wie bei der bekannten Stereo-Anordnung. Jedoch hat die Anordnung, gegenueber Stereo, in Verbindung mit Anspruch 1 der Hauptanmeldung, den Vorteil, dass im Gegensatz zu z.B. [Axi] oder [Isr] weder die Kantengeometrie bekannt sein muss, noch muss eine Kalibrierung der Kameras mittels Kalibrierplatte o.ae. vorgenommen werden. Dementsprechend gestaltet sich beispielsweise der Austausch einer Kamera sehr einfach: Die Kameras brauchen nur vor dem Einrichtbetrieb grob auf die Kanten ausgerichtet und scharf eingestellt zu werden. Beim Systementwurf braucht nur auf die Darstellbarkeit der Merkmale und auf die Einhaltung der Signifikanzbedingung geachtet zu werden; tiefergehende Modellierungen oder Geometriebetrachtungen eruebrigen sich. Diese massive Vereinfachung gegenueber bisherigen Ansaetzen wird erkauft ueber die entstehende Datenmenge; diese ist zum einen datenbanktechnisch heute beherrschbar, be- zueglich Zeitaufwand im Einrichtbetrieb wird ueber die geschilderten Positions-Interpolationsverfahren eine Loesung angeboten. The arrangement according to FIG. 6 --- requires a total of six cameras, as in the known stereo arrangement. However, the arrangement, in comparison with stereo, in conjunction with claim 1 of the main application, has the advantage that, in contrast to, for example, [Axi] or [Isr], neither the edge geometry has to be known, nor does calibration of the cameras using a calibration plate or the like be necessary. be made. Accordingly, replacing a camera is very easy: The cameras only need to be roughly aligned with the edges and focused before setting up. When designing the system, only the characteristics of the features can be represented and the significance condition must be observed; deeper modeling or geometry considerations are unnecessary. This massive simplification compared to previous approaches is bought through the resulting amount of data; On the one hand, this is manageable in terms of database technology, and a solution is offered for the time required in set-up operation using the position interpolation method described.
Quellen:Swell:
[Arne] DE 41 15 846 AI[Arne] DE 41 15 846 AI
[Axi] US 5 579 444[Axi] US 5,579,444
[Ben] Luis Manuel Conde Bento, Duarte Miguel[Ben] Luis Manuel Conde Bento, Duarte Miguel
Horta Mendoca: Computer Vision and Kinametic Sensing in Robotics . Thesis Department of Automatic Control, Lund Institute of Technology, Juni 2001Horta Mendoca: Computer Vision and Kinametic Sensing in Robotics. Thesis Department of Automatic Control, Lund Institute of Technology, June 2001
[Dif] US 6 211 506 Bl[Dif] US 6 211 506 Bl
[Fan] US 4 639 878[Fan] US 4,639,878
[Fis] M.A. Fischler, R.C. Bolles: Random Sample[Fis] M.A. Fischler, R.C. Bolles: Random Sample
Consensus: A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A.C.M. June 1981, Vol. 24, No. 6, pp. 381-395.Consensus: A Paradigm for model Fitting with Applications to Image Analysis and Automated Cartography. Communications of the A.C.M. June 1981, Vol. 24, No. 6, pp. 381-395.
[GMR] US 4 942 539[GMR] US 4,942,539
[Gra] DE 198 21 873 AI[Gra] DE 198 21 873 AI
[Hut] S. Hutchinson, G. Hager, P. Corke: A Tutorial on Visual Servo Control. IEEE Trans, on Robotics and Automation. Vol. 12 No. 5, S. 651-670, Oct. 1996.[Hut] S. Hutchinson, G. Hager, P. Corke: A Tutorial on Visual Servo Control. IEEE Trans, on Robotics and Automation. Vol. 12 No. 5, pp. 651-670, Oct. 1996th
[Isr] EU--0911 603 Bl[Isr] EU - 0911 603 sheets
[JaO] www.es . rochester. edu/u/jag/PercAct/dvfb.html Stand 23.09.2001[JaO] www.es. rochester. edu / u / jag / PercAct / dvfb.html as of 09/23/2001
[Jal] M. Jaegersand, O. Fuentes, R. Nelson: Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation. Proc. Int. Conf. on Robotics an Automation, 1997[Jal] M. Jaegersand, O. Fuentes, R. Nelson: Experimental Evaluation of Uncalibrated Visual Servoing for Precision Manipulation. Proc. Int. Conf. on Robotics an Automation, 1997
[Jan] DE 44 21 699 AI [Kle] R. Klette, A. Koschan, K. Schluens: Computer Vision; raeumliche Information aus digitalen Bildern. Vieweg Verlag Braunschweig, 1996.[Jan] DE 44 21 699 AI [Kle] R. Klette, A. Koschan, K. Schluens: Computer Vision; spatial information from digital images. Vieweg Verlag Braunschweig, 1996.
[Lee] D.E.B. Lees, P. Trepagnier: Guiding Robots with[Lee] D.E.B. Lees, P. Trepagnier: Guiding Robots with
Stereo Vision. Robotics Today, April 1984, S. 79-81.Stereo vision. Robotics Today, April 1984, pp. 79-81.
[Mar] E. Marchand: VISP: a Software Environment for[Mar] E. Marchand: VISP: a Software Environment for
Eye-in-Hand Visual Servoing. IEEE Int. Conf. on Robotics and Automation, ICRA, Vol. 4, pp 3224-3230, Detroit, Michigan, 1999.Eye-in-hand visual servoing. IEEE Int. Conf. on Robotics and Automation, ICRA, Vol. 4, pp 3224-3230, Detroit, Michigan, 1999.
[Per] EP 1 076 221 A2[Per] EP 1 076 221 A2
[Pie] J.A. Piepmeier, G.V. McMurray, H. Lipkin: Dynamic quasi-Newton Method for Uncalibrated Visual Servoing. 1999 IEEE Int. Conf. on Robotics & Automation, Minneapolis, May 1999.[Pie] J.A. Piepmeier, G.V. McMurray, H. Lipkin: Dynamic quasi-Newton Method for Uncalibrated Visual Servoing. 1999 IEEE Int. Conf. on Robotics & Automation, Minneapolis, May 1999.
[Sta] J. Stavnitzky, D. Capson: Multiple Camera Model-Based 3-D Visual Servo. IEEE Trans, on Robotics and Automation, Vol. 16. No. 6, Dec. 2000, pp 732-739[Sta] J. Stavnitzky, D. Capson: Multiple Camera Model-Based 3-D Visual Servo. IEEE Trans, on Robotics and Automation, Vol. 16. No. 6, Dec. 2000, pp 732-739
[Wil] J. William, D.E.Wolfe: The Perspective View of[Wil] J. William, D.E. Wolfe: The Perspective View of
Three Points. IEEE Trans, on Pattern Analysis and Machine Intelligence. Vol. 13, No. 1 Jan. 1991, pp 66-73. Three points. IEEE Trans, on Pattern Analysis and Machine Intelligence. Vol. 13, No. Jan. 1, 1991, pp 66-73.

Claims

Patentansprueche :Claims:
Verfahren zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, mit einem Roboter und einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung und/oder das Werkstueck reproduzierbar beweglich ist,Method for three-dimensional correction of the relative movement with several degrees of freedom between workpieces on the one hand, and grippers or tools on the other hand, with a robot and an image recording device from one or more cameras, the image recording device and / or the workpiece being reproducibly movable,
- wobei die Kameras unter Einhaltung der Signifikanzbedingung angeordnet sind, die erfuellt ist, indem mindestens eine der Bedingungen sl, s2 erfuellt ist: sl) es werden eine oder mehrere Kameras verwendet, davon mindestens eine, Signifikanzkamera genannt, mit Zentralprojektion und einem Objektfeldwinkel von mindestens 20 Grad, vorzugsweise mindestens 45 Grad, s2) es werden mindestens drei Kameras verwendet, von denen mindestens drei, Signifikanzkameras genannt, mit mindestens 20 Grad schraeg, in Sonderheit rechtwinklig, zueinander stehen,- The cameras are arranged in compliance with the significance condition, which is fulfilled by at least one of the conditions sl, s2 being fulfilled: sl) one or more cameras are used, at least one of which, called the significance camera, with a central projection and an object field angle of at least 20 degrees, preferably at least 45 degrees, s2) at least three cameras are used, of which at least three, called significance cameras, are at an angle of at least 20 degrees, in particular at right angles, to each other,
- mit einem Einrichtbetrieb mit den folgenden Schritten: el) Abbilden des Werkstuecks oder Teilen davon ueber die Signifikanzkameras, so dass sich in jeder Signifikanzkamera mindestens ein Fixmerkmal und/oder Flexmerkmal darstellt, e2) Anordnen eines Werkstuecks in einer systematisch oder zufaellig gewaehlten Standardlage, e3) Anordnen der Bildaufnahmeeinrichtung in einer Aus- g-angslage, e4) Aufnehmen mindestens eines Bildes durch die Signifikanzkameras, e5) Speichern der Bilder aus Schritt e4) und/oder davon abgeleiteter Daten, - With a setup operation with the following steps: el) imaging the workpiece or parts thereof via the significance cameras, so that at least one fixed feature and / or flex feature is shown in each significance camera, e2) arranging a workpiece in a systematically or randomly selected standard position, e3 ) Arranging the image recording device in an initial position, e4) recording at least one image by the significance cameras, e5) storing the images from step e4) and / or data derived therefrom,
e6) Anordnen der Bildaufnahmeeinrichtung in bekannten Relativlagen zur Ausgangslage und/oder Anordnen des Werkstücks in bekannten Relativlagen zur Standardlage, wobei jeder Freiheitsgrad mindestens einmal gegenueber der Ausgangslage bzw. Standardlage variiert wird, wobei fuer jede Relativlagee6) arranging the image recording device in known relative positions to the starting position and / or arranging the workpiece in known relative positions to the standard position, each degree of freedom being varied at least once with respect to the starting position or standard position, with each relative position
- die Relativlage selbst explizit oder implizit gespeichert wird,- the relative position itself is explicitly or implicitly saved,
- die Schritte e4) und e5) wiederholt werden, mit einem Automatikbetrieb mit den folgenden Schritten: al) Aufnehmen aktueller Bilder durch die Signifikanzkameras in Ausgangslage bzw. Standardlage oder einer dazu bekannt abweichenden Lage, optional Berechnen von aktuellen Daten zu den aktuellen Bildern, a2) Bestimmung der Lageabweichung aus den aktuellen- Steps e4) and e5) are repeated with an automatic mode with the following steps: al) taking current pictures by the significance cameras in the starting position or standard position or a known deviating position, optionally calculating current data on the current pictures, a2 ) Determination of the position deviation from the current
Bildern und/oder Daten, und den in den Schritten e5) und e6) gespeicherten Bildern und/oder Daten, a3) Korrigieren der Relativbewegung abhaengig von der Lageabweichung .Images and / or data, and the images and / or data stored in steps e5) and e6), a3) correcting the relative movement depending on the positional deviation.
2. Verfahren nach Anspruch 1, mit mehrstufiger Arbeitsweise, wobei im Einrichtbetrieb Schritt e6) die Variation der Relativlage mit grober und zunehmend feiner Schrittweite realisiert wird, mit mindestens zwei Aufloesungsstufen, vorzugsweise bei feineren Aufloesungen mit kleineren Arbeitsbereichen, wobei im Automatikbetrieb aufgrund einer ersten Berechnung einer groben Lageabweichung eine grobe Lagekorrektur durchgefuehrt wird, und danach in mindestens einer weiteren Stufe mit weiteren Bildaufnahmen eine zunehmend feiner aufgeloeste Lageabweichung berechnet wird, die mindestens bis auf die letzte berechnete Lageabweichung zu entsprechenden Lagekorrekturen fuehren, wobei die zuletzt berechnete Lageabweichung entweder direkt oder ueber eine zuvor realisierte letzte Lagekorrektur zur Korrektur der Relativbewegung dient . 2. The method according to claim 1, with a multi-stage method of operation, wherein in the setting-up operation step e6) the variation of the relative position is realized with a coarse and increasingly fine increment, with at least two resolution levels, preferably in the case of finer resolutions with smaller working ranges, in automatic mode based on a first calculation a rough positional deviation, a rough positional correction is carried out, and then, in at least one further step, an increasingly finely resolved positional deviation is calculated with further image recordings, which lead to corresponding positional corrections at least up to the last calculated positional deviation, the last calculated positional deviation either directly or via an last position correction previously implemented serves to correct the relative movement.
3. Vorrichtung zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, mit einem Roboter und einer Bildaufnahmeeinrichtung aus einer oder mehreren Kameras, mit mindestens drei Kameragruppen mit je mindestens zwei Kameras, wobei mindestens zwei Kameras einer Kameragruppe schraeg oder senkrecht zueinander stehen, wobei das Blickfeld der Kameras jeder Kameragruppe Merkmale erfasst, die im wesentlichen linear in eine Richtung ausgedehnt sind, insbesondere gerade oder naeherungsweise gerade Werkstueckkanten.3.Device for three-dimensional correction of the relative movement with several degrees of freedom between workpieces on the one hand, and grippers or tools on the other hand, with a robot and an image recording device made up of one or more cameras, with at least three camera groups, each with at least two cameras, with at least two cameras oblique of a camera group or are perpendicular to one another, the field of view of the cameras of each camera group capturing features which are essentially linearly extended in one direction, in particular straight or approximately straight workpiece edges.
4. Verfahren nach Anspruch 1 oder 2, mit einer Vorrichtung nach Anspruch 3, wobei in den aufgenommenen Bildern Daten abgeleitet werden in Form der Steigung und/oder der Position der Abbildung der im wesentlichen linerar ausgedehnten Merkmale.4. The method according to claim 1 or 2, with a device according to claim 3, wherein data are derived in the recorded images in the form of the slope and / or the position of the image of the substantially linearly extended features.
5. Vorrichtung nach Anspruch 3, wobei sich die Kameragruppen unmittelbar in der Naehe von Greifern oder direkt im Greifer befinden, wobei vorzugsweise mit den Kameras der Bereich des Werkstuecks erfasst wird, der dem Bereich entpricht oder benachbart ist, an dem der Greifer das Werkstueck greift.5. The device according to claim 3, wherein the camera groups are in the immediate vicinity of grippers or directly in the gripper, the cameras preferably detecting the area of the workpiece that corresponds to or is adjacent to the area at which the gripper grips the workpiece ,
6. Selbstueberwachungsverfahren nach Anspruch 2 oder 4, dadurch gekennzeichnet, dass die Konvergenz der schrittweisen Naeherung ueberprueft wird.6. Self-monitoring method according to claim 2 or 4, characterized in that the convergence of the gradual approximation is checked.
7. Selbstueberwachungsverfahren fuer ein System zur dreidimensionalen Korrektur der Relativbewegung mit mehreren Freiheitsgraden zwischen Werkstuecken einerseits, und Greifer oder Werkzeugen andererseits, dadurch gekennzeichnet, dass die Berechnung der erforderlichen Korrekturwerte mehrmals realisiert wird, mit mehreren verschiedenen Ausgangslagen und/oder Standardlagen, die sich bekannt vonein- ander unterscheiden, wobei ueberprueft wird, ob die Unterschiede der berechneten Korrekturwerte den bekannten Unterschieden der Ausgangslagen bzw. Standardlagen genau genug entsprechen.7. Self-monitoring method for a system for three-dimensional correction of the relative movement with several degrees of freedom between workpieces on the one hand, and grippers or tools on the other hand, characterized in that the calculation of the required correction values is realized several times, with several different starting positions and / or standard positions that are known from each other - differentiate, whereby it is checked whether the differences of the calculated correction values correspond exactly enough to the known differences of the starting positions or standard positions.
8. Adaptionsverfahren mit einer Selbstueberwachung nach Anspruch 6 oder 7, wobei die Selbstueberwachung ein Pruefergebnis ueber eine Abweichung der erzielten Korrektur liefert, mit der eine automatische Adaption an langsam und/oder geringfuegig veraenderliche geometrische Gegebenheiten realisiert wird, vorzugsweise eine Aenderung von Befestigungen und/oder eine Temperaturdrift der Kinematik des Roboters.8. adaptation method with a self-monitoring according to claim 6 or 7, wherein the self-monitoring provides a test result on a deviation of the correction achieved, with which an automatic adaptation to slowly and / or slightly changeable geometric conditions is realized, preferably a change of fastenings and / or a temperature drift of the robot's kinematics.
9. Anordnung zur Positions-Interpolation von Werkstueck- bildern und/oder davon abgeleiteten Daten, die gewonnen werden in einem Einrichtbetrieb, mit einer Bildaufnahmeeinrichtung mit einer oder mehreren Kameras, wobei die Bildaufnahmeeinrichtung verschiedene bekannte Relativlagen zur einer Ausgangslage oder Standardlage einnehmen kann, wobei die Bilder bzw. Daten mit ihren Relativlagen gespeichert werden koennen, dadurch gekennzeichnet, dass sich im Einrichtbetrieb im Bildfeld aller Kameras mindestens zwei, vorzugsweise vier Marken in fester Lage relativ zum abgebildeten Teil befinden.9. Arrangement for position interpolation of workpiece images and / or data derived therefrom, which are obtained in a set-up operation, with an image recording device with one or more cameras, wherein the image recording device can assume various known relative positions to a starting position or standard position, the Images or data with their relative positions can be stored, characterized in that at least two, preferably four marks are located in a fixed position relative to the depicted part in the set-up mode in the image field of all cameras.
10. Verfahren zur Positions-Interpolation von Werkstueck- bildern und/oder davon abgeleiteten Daten, die in einem Einrichtbetrieb mit den Schritten el) bis e6) in Anspruch 1 gewonnen werden, mit 'einer Anordnung nach Anspruch 9, dadurch gekennzeichnet, dass anhand der Markenpositionen in mindestens zwei Bildern, die verschiedenen Relativlagen zugeordnet sind, fuer eine Zwischen-Relativlage zwischen diesen Relativlagen, ein positionsinterpo- liertes Bild und/oder ein positionsinterpolierter Datensatz berechnet wird.10. Method for position interpolation of workpiece images and / or data derived therefrom, which are obtained in a set-up operation with steps el) to e6) in claim 1, with an arrangement according to claim 9, characterized in that on the basis of Mark positions in at least two images, which are assigned to different relative positions, are calculated for an intermediate relative position between these relative positions, a position-interpolated image and / or a position-interpolated data set.
11. Verfahren nach einem der Ansprueche 1,2,4,6,8 oder 10, wobei in Schritt e6) bei Variation der Lage, der Mittelpunkt von Drehbewegungen genau oder ungefaehr in die Mitte des dreidimensionalen Raumes gelegt wird, in dem sich die Merkmale befinden koennen. 11. The method according to one of claims 1, 2, 4, 6, 8 or 10, wherein in step e6) with variation of the position, the center point of rotary movements is placed exactly or approximately in the middle of the three-dimensional space in which the features are located can be.
12. Verfahren nach einem der Ansprueche 1,2,4,6,8,10 oder 11, wobei das Tangentenverbot eingehalten wird, d.h. dass in mindestens drei Strahlenbuendeln der Signifikanzkameras, bei Drehlagenveraenderungen in Schritt e6) , die Strahlenbuendel mit mindestens 20 Grad schraeg gegen die Tangenten an die Raumkreise liegen, auf denen sich die mit den betreffenden Strahlenbuendeln erfassten Merkmalspunkte drehen.12. The method according to one of claims 1, 2, 4, 6, 8, 10 or 11, whereby the tangent ban is observed, i.e. that in at least three beam bundles of the significance cameras, with changes in the rotational position in step e6), the beam bundles lie at least 20 degrees obliquely against the tangents to the spatial circles on which the feature points detected with the relevant beam bundles rotate.
13. Verfahren nach einem der Ansprueche 1,2,4,6,8,10,11 oder 12, mit einer Vielzahl von Relativlagen in Schritt e6) , für jeden Freiheitsgrad, vorzugsweise 2 bis 20 Relativlagen für jeden Freiheitsgrad, wobei besonders bevorzugt die Anzahl der Relativlagen für mindestens zwei Freiheitsgrade gleich ist.13. The method according to one of claims 1, 2, 4, 6, 8, 10, 11 or 12, with a large number of relative positions in step e6), for each degree of freedom, preferably 2 to 20 relative positions for each degree of freedom, with particular preference given to Number of relative positions is the same for at least two degrees of freedom.
14. Verfahren nach einem der Ansprueche 1,2,4,6,8,10,11,12 oder 13, mit Schritt a2) realisiert durch Durchsuchen einer Datenbank von14. The method according to one of claims 1, 2, 4, 6, 8, 10, 11, 12 or 13, with step a2), implemented by searching a database of
- Bilddaten und/oder davon abgeleiteten Daten und- image data and / or data derived therefrom and
- daraus positionsinterpolierten Bildern bzw. Daten, mit der jeweils zugeordneten Relativlage, die als Lageabweichung ausgegeben wird, vorzugsweise in invertierter Form. - Images or data interpolated therefrom, with the respectively assigned relative position, which is output as a position deviation, preferably in inverted form.
EP02785199A 2001-10-15 2002-10-11 Correction of the relative motion between gripping or machining tools and work pieces Withdrawn EP1436126A2 (en)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
DE10150851 2001-10-15
DE10150851 2001-10-15
DE10152571 2001-10-24
DE10152571 2001-10-24
DE10159574 2001-12-05
DE10159574A DE10159574B9 (en) 2001-10-15 2001-12-05 Apparatus and method for correcting the movement of gripping and machining tools
DE10206411 2002-02-15
DE10206411 2002-02-15
DE10246856 2002-10-08
DE10246856 2002-10-08
PCT/EP2002/011414 WO2003033219A2 (en) 2001-10-15 2002-10-11 Correction of the relative motion between gripping or machining tools and work pieces

Publications (1)

Publication Number Publication Date
EP1436126A2 true EP1436126A2 (en) 2004-07-14

Family

ID=27512431

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02785199A Withdrawn EP1436126A2 (en) 2001-10-15 2002-10-11 Correction of the relative motion between gripping or machining tools and work pieces

Country Status (2)

Country Link
EP (1) EP1436126A2 (en)
WO (1) WO2003033219A2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006011124B4 (en) * 2005-03-09 2007-05-10 Tropf, Hermann Arrangement and method for the three-dimensional localization of a body
DE102015121807A1 (en) * 2015-12-15 2017-06-22 Endress+Hauser Conducta Gmbh+Co. Kg Method for the automated production of a workpiece having at least one diaphragm
TWI668541B (en) 2017-09-29 2019-08-11 財團法人工業技術研究院 System and method for calibrating tool center point of robot

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
DE3405909A1 (en) * 1984-02-18 1985-08-22 Licentia Patent-Verwaltungs-Gmbh, 6000 Frankfurt DEVICE FOR DETECTING, MEASURING ANALYSIS AND / OR REGULATING TECHNICAL PROCEDURES
US4942539A (en) * 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
FR2706345B1 (en) * 1993-06-11 1995-09-22 Bertin & Cie Method and device for locating in space a mobile object such as a sensor or a tool carried by a robot.
JP3904605B2 (en) * 1995-12-27 2007-04-11 ファナック株式会社 Compound sensor robot system
DE19738096A1 (en) * 1997-09-01 1999-03-11 Bosch Gmbh Robert Method and device for positioning a tool

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO03033219A3 *

Also Published As

Publication number Publication date
WO2003033219A2 (en) 2003-04-24
WO2003033219A3 (en) 2004-01-15

Similar Documents

Publication Publication Date Title
EP2227356B1 (en) Method and system for extremely precise positioning of at least one object in the end position of a space
DE102016212695B4 (en) industrial robots
EP2435217B1 (en) Method and system for extremely precise positioning of at least one object in the end position in space
EP2071279B1 (en) Method and device for recording measurements of bodies and contour data of a solid body
DE112011101730B4 (en) System and method for robust calibration between an image processing system and a robot
DE112010005008B4 (en) System and method for determining camera calibration in runtime
DE102015011914A1 (en) Contour line measuring device and robot system
DE102016116404B4 (en) Object position calculation system
EP1497613A1 (en) Method and device for determining the spatial co-ordinates of an object
DE3618480A1 (en) METHOD AND DEVICE FOR AUTOMATICALLY DETERMINING THE LOCATION AND LOCATION OF AN OBJECT
DE102008042261B4 (en) Method for the flexible handling of objects with a handling device and an arrangement for a handling device
DE19618283A1 (en) Imaging device and method for three-dimensional non-contact measurement
DE3635076C2 (en)
DE102008042260B4 (en) Method for the flexible handling of objects with a handling device and an arrangement for a handling device
DE19525561C2 (en) 3D measuring device
DE102021209178A1 (en) Method and device for determining relative poses and for calibration in a coordinate measuring machine or robot
DE10164944B4 (en) Apparatus and method for correcting the movement of gripping and machining tools
EP1468792A2 (en) Method for robot calibration
EP1436126A2 (en) Correction of the relative motion between gripping or machining tools and work pieces
EP1471401B1 (en) Method for measurement of the coordinate system of a robot camera relative to the coordinate system of the robot or vice versa
DE10118514B4 (en) Method for operating point stabilization in contactless 3D position detection of an object to be measured by means of digital cameras
WO2007090557A2 (en) Method for generating an environmental image
DE10233372B4 (en) Measuring system and method for recording geometric quantities
DE102005043070B4 (en) Method for high-precision three-dimensional measurement and / or reconstruction of objects with the aid of digital image recordings, for example for image evaluation of traffic routes
DE10327479A1 (en) Device for determining the position of a workpiece and method therefor using at least one electronic camera

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040430

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

17Q First examination report despatched

Effective date: 20040920

17Q First examination report despatched

Effective date: 20040920

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20120503