DE102013007743A1 - Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects - Google Patents

Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects Download PDF

Info

Publication number
DE102013007743A1
DE102013007743A1 DE201310007743 DE102013007743A DE102013007743A1 DE 102013007743 A1 DE102013007743 A1 DE 102013007743A1 DE 201310007743 DE201310007743 DE 201310007743 DE 102013007743 A DE102013007743 A DE 102013007743A DE 102013007743 A1 DE102013007743 A1 DE 102013007743A1
Authority
DE
Germany
Prior art keywords
pose
objects
sensor system
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310007743
Other languages
German (de)
Inventor
wird später genannt werden Erfinder
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VISION TOOLS BILDANALYSE SYSTEME GmbH
Original Assignee
VISION TOOLS BILDANALYSE SYSTEME GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VISION TOOLS BILDANALYSE SYSTEME GmbH filed Critical VISION TOOLS BILDANALYSE SYSTEME GmbH
Priority to DE201310007743 priority Critical patent/DE102013007743A1/en
Publication of DE102013007743A1 publication Critical patent/DE102013007743A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37131—Moire pattern, diffraction grating, fringe
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37425—Distance, range
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40006—Placing, palletize, un palletize, paper roll placing, box stacking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40594—Two range sensors for recognizing 3-D objects

Abstract

The method involves generating a depth picture in a pose and another pose, where the poses are calculated from a rough calculation of the position of one or more objects (4). A gray value- or colored picture is recorded in the calculated latter pose. The exact position of one of the objects is calculated from the gray value- or colored picture. A sensor system (2) is provided with a pattern projector, with which a pattern is projected on the object, with whose help a distance picture is generated.

Description

Die Erfindung betrifft ein Verfahren zum automatischen Entladen von Objekten mit einem robotermontierten Sensorsystem. Diese hier behandelte Aufgabe tritt insbesondere auf beim Depalettieren von Objekten, aber auch dann, wenn Teile aus einer Kiste gegriffen werden sollen.The invention relates to a method for the automatic unloading of objects with a robot-mounted sensor system. This task is especially useful for depalletizing objects, but also for grabbing parts out of a box.

In der industriellen Praxis erfordert das automatische Depalettieren von ungenau oder gar wahllos positionierten Objekten (Kisten, Schachteln, Säcke mit Greifschlaufen, unverpackte Produkte etc.) den Einsatz von Handhabungssystemen (im folgenden Roboter genannt) mit Bildverarbeitung. In der Regel sind die Anwendungen taktzeitkritisch, so dass für Bildaufnahme und Bildauswertung nur wenig Zeit bleibt. Trotzdem müssen die Auswerteverfahren robust und zuverlässig sein, denn Stillstandszeiten aufgrund von Störungen wegen schwierig auszuwertender Bilder oder gar Crashs aufgrund von Fehlinterpretationen sind unbedingt zu vermeiden. In vielen Fällen ist zudem ein sehr genaues Greifen und damit eine genaue Lagebestimmung erforderlich. Die Forderungen nach Geschwindigkeit, Robustheit und Genauigkeit widersprechen sich, so dass – obwohl viele 3D-Objekterkennungsmethoden bekannt sind – praxistaugliche Systeme nach wie vor schwierig zu realisieren sind.In industrial practice, the automatic depalletizing of inaccurate or even indiscriminately positioned objects (boxes, boxes, sacks with gripping loops, unpackaged products, etc.) requires the use of handling systems (hereinafter called robots) with image processing. As a rule, the applications are critical in terms of clock time, so that there is little time left for image acquisition and image evaluation. Nevertheless, the evaluation procedures must be robust and reliable, because downtimes due to disturbances due to difficult-to-interpret images or even crashes due to misinterpretations must be avoided at all costs. In many cases, a very accurate gripping and thus a precise orientation is also required. The demands for speed, robustness and accuracy are contradictory, so that - although many 3D object recognition methods are known - practicable systems are still difficult to realize.

Zur dreidimensionalen Lagebestimung von Objekten in Verbindung mit Robotern sind verschiedene Verfahren aufgrund von Grauwertbildern/Farbbildern oder aufgrund von Höhenbildern bekannt (das im folgenden für Grauwertbilder Genannte gilt entsprechend auch für Farbbilder).For three-dimensional position determination of objects in conjunction with robots, various methods based on gray-level images / color images or on the basis of height images are known (which also applies to gray-level images below applies correspondingly to color images).

Grauwert-Methoden arbeiten i. a. mit merkmalsbasierter Objekterkennung, wobei mit einer oder mehreren kalibrierten Kameras Formmerkmale wie Löcher, Ecken oder spezielle objektspezifische Formen ausgewertet werden. Wenn zuverlässige Merkmale im Bild dargestellt werden können, sind solche Verfahren bei entsprechender Kamera-Auflösung ausreichend genau. Allerdings ist es in der Regel problematisch, eine für alle realisitischen Situationen geeignete Beleuchtung zu finden, denn das würde eine viel Raum beanspruchende, große Beleuchtungseinrichtung (in der Regel aus vielen Beleuchtungselementen) erfordern. Wenn sich Fremdkörper in der Szene befinden können, können ohne zusätzliche Sicherheitseinrichtungen Kollisionen nicht vermieden werden: Zum einen können die in ihrer Form unbekannten Fremdkörper nicht sicher erkannt werden, zum anderen können sie Objekt-Formmerkmale verdecken und damit die Erkennung von Objekten unmöglich machen. Beides kann zu Crashs führen.Gray value methods work i. a. with feature-based object recognition, wherein with one or more calibrated cameras shape features such as holes, corners or special object-specific shapes are evaluated. If reliable features can be displayed in the image, such methods are sufficiently accurate with appropriate camera resolution. However, it is usually problematic to find a suitable for all realistic situations lighting, because that would require a much space consuming, large lighting device (usually from many lighting elements). If foreign objects can be present in the scene, collisions can not be avoided without additional safety devices: on the one hand, foreign objects unknown in their shape can not be reliably detected, on the other hand they can obscure object shape features and thus make the detection of objects impossible. Both can lead to crashes.

Zur Erzeugung von Höhenbildern sind bekannt:

  • 1. Lichtschnittverfahren. Diese klassichen Verfahren sind scannend und erfordern für den Bildaufbau eine mechanische Relativbewegung zwischen Objekt und Sensor (Scanbewegung) und sind daher langsam.
  • 2. Lichtlaufzeitverfahren. Lichtlaufzeit-Kamerasysteme sind zwar schnell, aber zumindest bisher relativ ungenau. Ein Lichtlaufzeit-Kamerasystem mit modulierter Lichtquelle wird beispielsweise in DE 10 2010 043 723 beschrieben.
  • 3. Streifenlicht-Methoden (Codiertes Licht, Phasenshift, Zufallsmuster-Verfahren). Sowohl die klassichen Verfahren Codiertes Licht und Phasenshift benötigen naturgemäß mehrere Bildaufnahmen. Ein Zufallsmuster-Verfahren mit mehreren unterschiedlichen Mustern und unkalibriertem Projektor ist in DE 2006 001 634 beschrieben. Diese Verfahren sind teilweise sehr genau, benötigen jedoch einen Projektor, der in der Lage ist, unterschiedliche Muster in rascher Folge zu projizieren. Da unabhängig vom Verfahren mehrere Bilder erforderlich sind, sind schnelle Auswertungen nicht realisierbar. Aufgrund des bei Depalettieraufgaben in der Regel großen Bildfeldes und aufgrund von potentiellem Fremdlicht sind hier sehr leistungsstarke Projektoren erforderlich.
  • 4. Verfahren mit einem einzelnen, Quasi-Zufallsmuster. Bei kalibriertem Projektor und kalibrierter Kamera kann bei bekanntem Muster die 3D-Oberflächengeometrie berechnet werden. Solche Systeme sind bereits im Gebrauch. Diese Verfahren sind naturgemäß schnell, allerdings für die hier vorliegende Aufgabe in der Regel zu ungenau. Probleme gibt es beispielsweise bei dünnwandigen Kisten (große, aber kurz anhaltende Höhensprünge sind im Tiefenbild schwierig zu erfassen) oder Objekten mit glänzenden Oberflächen. Die Messdaten sind in solchen Fällen für ein präzises Greifen meist zu ungenau.
To generate elevation images are known:
  • 1. Light section method. These classical methods are scanning and require a mechanical relative movement between the object and the sensor (scanning movement) for the image structure and are therefore slow.
  • 2. Light transit time method. Time-of-flight camera systems are fast, but at least relatively inaccurate so far. A light-time-time camera system with a modulated light source is used, for example, in DE 10 2010 043 723 described.
  • 3. Strip light methods (coded light, phase shift, random pattern method). Both the classical methods coded light and phase shift naturally require several image recordings. A random pattern method with several different patterns and uncalibrated projector is in DE 2006 001 634 described. These methods are sometimes very accurate, but require a projector capable of projecting different patterns in rapid succession. Since multiple images are required regardless of the procedure, fast evaluations are not feasible. Due to the Depalletieraufgaben usually large image field and due to potential extraneous light here very powerful projectors are required.
  • 4. Method with a single, quasi-random pattern. With the projector calibrated and the camera calibrated, the 3D surface geometry can be calculated using a known pattern. Such systems are already in use. These methods are naturally fast, but generally too imprecise for the task at hand. Problems exist, for example, with thin-walled boxes (large, but short-lasting height jumps are difficult to detect in the depth image) or objects with shiny surfaces. In such cases, the measured data are usually too inaccurate for precise gripping.

Aufgabe ist es, ein praxistaugliches Verfahren zum Depalettiern von Objekten anzugeben, mit Roboter und Bildverarbeitung, das es ermöglicht, die Forderungen nach Geschwindigkeit, Robustheit und Genauigkeit gleichzeitig zu erfüllen und zusätzlich Kollisionen zu vermeiden.The task is to specify a practicable method for depalletizing objects, with robots and image processing, which makes it possible to meet the requirements for speed, robustness and accuracy at the same time and also to avoid collisions.

Die Aufgabe wird nach den unabhängigen Ansprüchen gelöst.The object is achieved according to the independent claims.

Das Sensorsystem besitzt Komponenten, mit denen einerseits Grauwertbilder aufgenommen werden können, und über das andererseits, ohne Scanbewegung, mit zumindest näherungsweise gleicher Aufnahmegeometrie, ein Abstandsbild erzeugt werden kann. Zur Abstandsbilderzeugung ist das Sensorsystem wahlweise ausgerüstet entweder a) mit einer modulierten Lichtquelle und mit einer Time-of-Flight-Abstandssensor-Kamera, oder b) mit einem Musterprojektor für ein einzelnes, kalibriertes Muster, und einer kalibrierten Grauwertkamera. Da nur ein einzelnes Muster und nur eine Kamera für die 3D-Berechnung verwendet wird, ist die Berechnung entsprechend noch relativ ungenau. Grauwertbild-Aufnahme und Höhenbild-Gewinnung geschehen mit zumindest näherungsweise gleicher Aufnahmegeometrie, entweder über die gleiche Kamera oder über zwei nah beisammen montierte Kameras mit zumindest näherungsweise gleichem Strahlengang. Das Sensorsystem ist am Roboter montiert und wird durch den Roboter bewegt.The sensor system has components with which grayscale images can be recorded on the one hand, and on the other hand, without scanning movement, with at least approximately the same recording geometry, a distance image can be generated. For distance imaging, the sensor system is optionally equipped either a) with a modulated light source and with a time-of-flight distance sensor camera, or b) with a pattern projector for a single, calibrated pattern, and a calibrated grayscale camera. Since only a single sample and only one camera is used for the 3D calculation, the calculation is still relatively inaccurate. Gray-scale image acquisition and height image extraction are done with at least approximately the same recording geometry, either via the same camera or two cameras mounted close together with at least approximately the same beam path. The sensor system is mounted on the robot and is moved by the robot.

In einer ersten Pose (ggf. in Bewegung) wird ein Tiefenbild erzeugt, und aus einer darauf basierenden groben Berechnung der Lage eines oder mehrerer Objekte (hierzu sind verschiedene Methoden bekannt) wird eine zweite Pose berechnet, in der sich das Sensorsystem bereits nahe an einem zu greifenden Objekt befindet. Bei Bildaufnahme in Bewegung kann die Berechnung des Tiefenbilds auch während der Weiterbewegung erfolgen, was zu drastischer Taktzeitverkürzung des Gesamtsystems führt.In a first pose (possibly in motion), a depth image is generated, and from a coarse calculation based on the position of one or more objects (various methods are known) a second pose is calculated, in which the sensor system is already close to one is to be gripped object. When taking pictures in motion, the calculation of the depth image can also take place during the further movement, which leads to a drastic reduction in the cycle time of the overall system.

In der so berechneten zweiten Pose (wiederum ggf. in Bewegung) wird ein Grauwertbild aufgenommen; aus dem Grauwertbild wird – vorzugsweise über merkmalsbasierte Objekterkennung, auch hierzu sind verschiedene Methoden bekannt – die genauere Lage mindestens eines der Objekte berechnet, wobei zumindest die 3D-Position und die Verdrehung um die Achse in Blickrichtung der Kamera(s) bestimmt wird.In the second pose thus calculated (again possibly in motion), a gray-scale image is recorded; the gray value image is used to calculate the more precise position of at least one of the objects, preferably via feature-based object recognition, also for this purpose, wherein at least the 3D position and the rotation about the axis in the direction of the camera (s) is determined.

In der ersten Pose geschieht also eine Groblokalisierung mittels Höhenbild, in der zweiten Pose eine Feinlokalisierung mittels Grauwertbild. Dabei können auch mehrere Groblokalisierungs- bzw. Feinlokalisierungsstufen hintereinander geschaltet werden, mit entsprechend einer oder mehreren ersten Posen, gefolgt von einer oder mehreren zweiten Posen.In the first pose, therefore, a coarse localization by means of height image occurs, in the second pose a fine localization by means of gray value image. In this case, several coarse localization or fine localization stages can also be connected in series, with one or more first poses, followed by one or more second poses.

Durch das Entfallen einer Scanbewegung, und da (pro Pose) nur eine einzelne Bildaufnahme zu realisieren ist, geschieht die Bildaufnahme sehr schnell, so dass die Bildaufnahme, wenn erforderlich, auch in Bewegung erfolgen kann (nicht zu verwechseln mit einer Scanbewegung, wie sie beim Lichtschnittverfahren erforderlich wäre!).Due to the omission of a scanning movement, and since (per pose) only a single image acquisition is to be realized, the image acquisition takes place very quickly, so that the image recording, if necessary, can also take place in motion (not to be confused with a scanning movement, as in Light-section method would be necessary!).

Erfindungsgemäß wird in der zweiten Pose zur Bildaufnahme eine seitlich des Sensorsystems angebrachte Beleuchtung eingeschaltet, die vorzugsweise während der Aufnahme in der ersten Pose ausgeschaltet ist (wirkt u. U. in der ersten Pose störend wie Fremdlicht).According to the invention, in the second pose for image recording, a lighting system which is attached to the side of the sensor system is switched on, which is preferably switched off during the recording in the first pose (in some cases it interferes in the first pose like extraneous light).

In einer speziellen erfindungsgemäßen Ausgestaltung werden durch die Beleuchtung an mindestens einem Objekt eindeutig erkennbare Schattenkanten erzeugt (dazu zählen auch beispielsweise Löcher mit teilweise kontrastreicher Kontur), aufgrund deren Position im Grauwertbild zumindest die Lage des mindestens einen Objektes bestimmt wird. Es sind Verfahren bekannt, wie bei kurzen Brennweiten, mit nur einer einzelnen Kamera, eine 3D-Lageerkennung mit 6 Freiheitsgraden möglich ist (in DE 101 59 574 beispielsweise wird beschrieben, wie ohne Kamerkalibrierung mit einer einzelnen Kamera und mehreren Abbildunsstrahlengängen auf Merkmale die 3D-Lage eines Objektes relativ zu einer Standardlage bestimmt werden kann. In EP 00001711777 B2 ist beschrieben, wie bei einer kalibrierten Kamera die Lage und Relativerschiebung eines Objektes mit mindestens 3 Merkmalen bestimmbar ist). Nach Erfahrung des Anmelders sind solche Methoden besonders genau, wenn nicht alle 6 Freiheitsgrade vorliegen, sondern die 3D-Position des Objektes und seine Verdrehung um eine Achse, die zumindest näherungsweise in Blickrichtung der Kamera liegt, zu bestimmen ist. Ein weiterer wichtiger Vorteil in dieser Situation ist, dass zur Lagebestimmung einschließlich Höhenlage lediglich zwei lokale Merkmale im Bild erforderlich sind. Um eine möglichst hohe Genauigkeit zu erreichen, sollten sie im Bild möglichst weit auseinander liegen – und genau dieses ist in der 2. Pose gegeben, wenn sich das Objekt in der Nähe der Kamera befindet.In a specific embodiment according to the invention, the illumination on at least one object produces clearly recognizable shadow edges (including, for example, holes with a partially high-contrast contour), on the basis of whose position in the gray value image at least the position of the at least one object is determined. Methods are known, as with short focal lengths, with only a single camera, a 3D position detection with 6 degrees of freedom is possible (in DE 101 59 574 For example, it is described how the 3D position of an object relative to a standard position can be determined without camera calibration with a single camera and several image beam paths on features. In EP 00001711777 B2 describes how the position and relative displacement of an object with at least 3 features can be determined with a calibrated camera). In the Applicant's experience, such methods are particularly accurate if not all 6 degrees of freedom are present, but the 3D position of the object and its rotation about an axis that lies at least approximately in the direction of the camera's eye is to be determined. Another important advantage in this situation is that only two local features are required in the image to determine the position, including the altitude. In order to achieve the highest possible accuracy, they should be as far apart as possible in the image - and this is precisely what is given in the second pose when the object is in the vicinity of the camera.

Erfindungsgemäß wird die Beleuchtung seitlich so angebracht und die Merkmale so gewählt, dass der Kamera-Blick an den Schattenkanten auf jeweils eine oben liegende, beleuchtete und eine innen liegende, unbeleuchtete oder relativ dazu schwach beleuchtete Seite gerichtet ist.According to the invention, the lighting is mounted laterally and the features chosen so that the camera view is directed to the shadow edges on each one overhead, lit and an inside, unlit or relatively weakly illuminated page.

Anmerkung: Liegen jedoch alle 6 Freiheitsgrade bei hohen Genauigkeitserfordernissen vor, so kann nach Erfahrung des Anmelders die erforderliche Genauigkeit durch die oben erwähnte mehrstufige Vorgehensweise mit mehreren unterschiedlichen zweiten Posen erreicht werden.Note: However, if all 6 degrees of freedom are present with high accuracy requirements, then, according to Applicant's experience, the required accuracy can be achieved by the above-mentioned multi-step approach with several different second poses.

Die Beleuchtung kann während der Feinlokalisierungsphase situationsabhängig zugeschaltet werden, d. h. es können je nach zweiter Pose oder Teilegeometrie oder Teilelage, ohne viel Raum zu beanspruchen, Leuchtmittel so selektiert und aktiviert werden, dass sich die jeweils gewünschten Merkmale sicher und genau im Bild darstellen.The lighting can be switched on during the fine localization phase, depending on the situation. H. Depending on the second pose or part geometry or part position, bulbs can be selected and activated in such a way that the respective desired features are displayed safely and accurately without taking up much space.

1 zeigt eine typische Anordnung mit Roboter 1 (vereinfachend mit weniger als 6 Freiheitsgraden gezeichnet) und Sensorsystem 2, sowie einer Palette 3 mit Objekten 4. Das Sensorsystem ist bei diesem Beispiel am Roboter neben einem Greifer 5 befestigt ist. Die Objekte 4 sind Kleinladungsträger, die zum Greifen mit Greiflöchern ausgestattet sein können (Greiflöcher nicht gezeichnet). Die Kleinladungsträger können unterschiedliche Größe haben und sind zumindest näherungsweise waagrecht übereinander gestapelt. Der Greifer ist so konstruiert, dass die Greifbacken – falls erforderlich mit veränderbarer Geometrie – an Greiflöchern oder anderen Stellen die Objekte zuverlässig erfassen und hochheben kann. Seitlich des Sensorsystems befinden sich Beleuchtungen 6, vorzugsweise schaltbar und/oder dimmbar. 1 shows a typical arrangement with robot 1 (simplified with less than 6 degrees of freedom drawn) and sensor system 2 , as well as a pallet 3 with objects 4 , The sensor system in this example is on the robot next to a gripper 5 is attached. The objects 4 are small load carriers that can be equipped to grip with gripping holes (gripping holes not drawn). The small load carriers can be different sizes have and are at least approximately horizontally stacked. The gripper is designed in such a way that the gripper jaws - if necessary with variable geometry - can reliably grasp and lift objects at gripping holes or other places. Side of the sensor system are lights 6 , preferably switchable and / or dimmable.

In der in 1 gezeigten Situation kann, wenn die Greifbewegung in Blickrichtung der Kamera erfolgt, auch bei geringfügig zur Seite gekippten Objekten (Objekt 4a) zuverlässig gegriffen werden, auch wenn lediglich die Verdrehung um die Achse in Blickrichtung der Kamera(s) bestimmt wird und die Kippwinkel vernachlässigt werden: von oben gesehen verändern sich die Greifpositionen durch das Verkippen nur sehr wenig (Cosinus von kleinen Winkeln nahe 1).In the in 1 shown situation, when the gripping movement takes place in the direction of the camera, even with slightly tilted to the side objects (object 4a ) are reliably gripped, even if only the rotation about the axis in the direction of the camera (s) is determined and the tilt angles are neglected: seen from above, the gripping positions change very little due to tilting (cosine of small angles close to 1).

2 zeigt schematisch den Aufbau einer Realisierung des Sensorsystems 2 in der Variante mit modulierter Beleuchtung 7 und Kamera 8. Wahlweise wird in Pose 2 entweder dieselbe Kamera verwendet, oder eine zweite, nahe bei der ersten montierte Kamera mit zumindest näherungsweise gleicher Aufnahmegeometrie; vorzugsweise wird dieselbe Kamera in Pose 1 und in Pose 2 verwendet. 2 zeigt den ersten, bevorzugten Fall. 2 shows schematically the structure of a realization of the sensor system 2 in the variant with modulated lighting 7 and camera 8th , Optionally, pose 2 uses either the same camera or a second camera mounted close to the first with at least approximately the same acquisition geometry; preferably, the same camera is used in pose 1 and pose 2. 2 shows the first, preferred case.

3 zeigt schematisch den Aufbau einer Realisierung des Sensorsystems 2 in der Variante mit Musterprojektor 9. Auch hier wird Wahlweise in Pose 2 entweder dieselbe Kamera 8 verwendet, oder eine zweite, nahe bei der ersten montierte Kamera mit zumindest näherungsweise gleicher Aufnahmegeometrie; vorzugsweise wird dieselbe Kamera in Pose 1 und in Pose 2 verwendet. 3 zeigt den zweiten, nicht bevorzugten Fall. 3 shows schematically the structure of a realization of the sensor system 2 in the variant with pattern projector 9 , Again, in Pose 2, either the same camera will be used 8th used, or a second, close to the first mounted camera with at least approximately the same recording geometry; preferably, the same camera is used in pose 1 and pose 2. 3 shows the second, non-preferred case.

Im zweiten Fall haben die nah beieinander montierten Kameras näherungsweise die gleiche Aufnahmegeometrie (z. B. gleicher Typ, gleiches Objektiv), wodurch der Aufbau vereinfacht, die Beschaffung verbilligt, und der Kalibriervorgang vereinfacht wird; lediglich die Scharfstellung ist vorteilhaft unterschiedlich eingestellt (Fernbereich in Pose 1, Nahbeeich in Pose 2).In the second case, the cameras mounted close to each other have approximately the same recording geometry (eg same type, same objective), which simplifies the design, reduces the cost of procurement and simplifies the calibration process; only the focus is advantageously set differently (long range in pose 1, near pose in pose 2).

4 zeigt, wie durch eine seitliche Beleuchtung von weit auseinanderliegenden Objektkanten, mit Kamera-Blick jeweils auf eine oben liegende, beleuchtete Seite 10 und eine innen liegende, unbeleuchtete oder schwach beleuchtete Seite 11, eine zuverlässig kontrastierende und scharfkantige Merkmalsdarstellung erreicht wird. 4 shows, as by a lateral illumination of widely spaced object edges, with camera view each on an overhead, illuminated side 10 and an inside, unlit or dimly lit side 11 , a reliable contrasting and sharp-edged feature representation is achieved.

Nicht gezeichnet ist eine Auswerteeinheit, die entweder als separater Computer oder in das Sensorsystem integriert realisiert werden kann.Not shown is an evaluation that can be implemented either as a separate computer or integrated into the sensor system.

Durch die spezielle Hintereinanderschaltung der speziellen Verfahrensschritte ist es möglich, mit einem kompakt bauenden Sensorsystem Depalettier-Aufgabenstellungen mit großer Geschwindigkeit, Zuverlässigkeit und Genauigkeit zu bewältigen – und das unter Vermeidung von Kollisionen.Due to the special series connection of the special process steps, it is possible to handle depalletizing tasks with great speed, reliability and accuracy with a compact sensor system - and avoiding collisions.

Die hohe Geschwindigkeit resultiert aus dem Wegfallen einer Scanbewegung, aus der Möglichkeit der Aufnahme von Höhenbildern und Grauwertbildern in Bewegung, aus 3D-Rechnungen mit nur je einer einzigen Bildaufnahme, aus der Möglichkeit, für die Feinlokalisierung nur 2 Merkmale in dem Grauwertbild auszuwerten.The high speed results from the omission of a scan movement, from the possibility of recording height images and gray scale images in motion, from 3D calculations with only one image acquisition, from the possibility of evaluating only 2 features in the gray value image for the fine localization.

Trotz Verwendung von nur 2 lokalen Formmerkmalen in der Feinvermessungsphase ist andererseits über die Höhenbildauswertung die Sicherstellung der Kollisionsfreiheit beim Greifen möglich: Fremdkörper können bereits in der Groblokalisierungsstufe erkannt werden, gleichgültig ob sie lokale Formmerkmale verdecken oder nicht, denn die Höhenbild-Abtastung kann – wenn auch weniger genau – flächig über die ganze Szene hinweg realisiert werden.On the other hand, despite the use of only 2 local shape features in the fine measurement phase, it is possible to ensure collision freedom when gripping via the height image analysis: foreign bodies can already be detected in the coarse localization stage, regardless of whether they obscure local shape features or not, because the height image sampling can - albeit Less accurate - can be realized across the entire scene.

Ohne die Geometrie des Sensorsystems zu verändern, kann – lediglich unter Verändern der Anfahrstrategie und ggf. der Beleuchtungsstrategie – ein großes Feld von Anwendungen abgedeckt werden. Dies ist möglich unter Verwendung nur einer Kamera bzw. zwei sehr nah beieinander positionierten Kameras; bei Verwendung von Stereo-Kameras müßten diese ausreichend weit auseinander am Greifer i. a. Objekttyp-spezifisch positioniert werden, was neben den größeren Platzbedarf auch noch eine zusätzliche mechanische (automatische bzw. manuelle) Verstell-Einrichtung erforderlich machen würde.Without changing the geometry of the sensor system, a large field of applications can be covered only by changing the approach strategy and possibly the lighting strategy. This is possible using only one camera or two cameras positioned very close to each other; when using stereo cameras, these would have to be far enough apart on the gripper i. a. Object type-specific be positioned, which would also require an additional mechanical (automatic or manual) adjustment device in addition to the larger footprint.

Die Empfindlichkeit gegen Fremdlichteinflüsse wird minimiert, da im letzten Verfahrensschritt die Beleuchtung ausreichend nah an den auszuwertenden Merkmalen positioniert werden kann. Dies spielt insbesondere auch eine Rolle bei relativ kleinen Objekten, die sich auf großen Paletten befinden, oder bei Objekten, deren Merkmale optisch nur schwierig darstellbar sind. Der erste Verfahrensschritt hingegen ist aufgrund der verwendeten Technik unempfindlich gegen Fremdlicht, braucht jedoch nicht so genau zu sein und das Versagen an einzelnen Stellen ist nicht schädlich, auch wenn sich dort u. U. Merkmale für die spätere Feinlokalisierung befinden.The sensitivity to extraneous light influences is minimized since in the last method step the illumination can be positioned sufficiently close to the features to be evaluated. This also plays a role in relatively small objects that are located on large pallets, or in objects whose features are difficult to visualize visually. The first method step, however, is insensitive to extraneous light due to the technique used, but does not need to be so accurate and the failure of individual points is not harmful, even if there u. U. Features for later fine localization.

Da auch die Beleuchtung für die merkmalsbasierte Grauwert/Farb-Auswertung robotermontiert ist, kann sie in kleiner Bauweise realisiert und platzsparend angeordnet werden, da sie erst in der Feinstufe zum Tragen kommt, wenn sie sich schon in grob bekannter Nähe des Objekts befindet.Since the lighting for the feature-based gray value / color evaluation is also robot-mounted, it can be realized in a compact design and arranged in a space-saving manner, since it only comes into play in the fine stage, if it is already in a roughly known proximity to the object.

Bei der in 1 geschilderten Aufgabe des Depalettierens von Kleinladungsträgern, aber auch bei ähnlichen Objekten, wird durch eine seitliche Beleuchtung von weit auseinanderliegenden Objektkanten, mit Kamera-Blick jeweils auf eine oben liegende, beleuchtete und eine innen liegende, unbeleuchtete Seite, eine zuverlässig kontrastierende und scharfkantige Merkmalsdarstellung erreicht – und da die Merkmale in der zweiten Pose im Bild weit auseinander liegen, sorgen sie für hohe geometrische Meßgenauigkeit. At the in 1 described task of Depalettierens of small load carriers, but also in similar objects, is achieved by a lateral illumination of widely spaced object edges, with camera view each on an overhead, illuminated and an inside, unlit side, a reliable contrasting and sharp-edged feature representation - and because the features in the second pose are far apart in the image, they provide high geometric measurement accuracy.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010043723 [0005] DE 102010043723 [0005]
  • DE 2006001634 [0005] DE 2006001634 [0005]
  • DE 10159574 [0014] DE 10159574 [0014]
  • EP 00001711777 B2 [0014] EP 00001711777 B2 [0014]

Claims (6)

Verfahren zum Entladen von Objekten (4) mit Sensorsystem (2), das an einem Handhabungssystem (1), das verschiedene Posen einnehmen kann, befestigt ist, wobei das Sensorsystem entweder eine Kamera (8) oder zwei nah beisammen montierte Kameras zumindest näherungsweise gleicher Aufnahmegeometrie aufweist, mit denen Grauwert- oder Farbbilder aufgenommen werden können, und mit deren Hilfe ohne Scanbewegung ein Abstandsbild erzeugt werden kann, dadurch gekennzeichnet, dass in einer ersten Pose ein Tiefenbild erzeugt und aus einer darauf basierenden groben Berechnung der Lage eines oder mehrerer Objekte eine zweite Pose berechnet wird, dass in der so berechneten zweiten Pose ein Grauwert- bzw Farbbild aufgenommen wird, und dass aus dem Grauwert- bzw. Farbbild die genauere Lage mindestens eines der Objekte berechnet wird, wobei die Lage die 3D-Position des Objektes und seine Verdrehung um eine Achse, die zumindest näherungsweise in Blickrichtung der Kamera liegt, umfaßt.Method for unloading objects ( 4 ) with sensor system ( 2 ) attached to a handling system ( 1 ), which can assume various poses, is attached, wherein the sensor system either a camera ( 8th ) or two cameras mounted close together at least approximately the same recording geometry, with which gray value or color images can be recorded, and with the aid of a scanned motion a distance image can be generated, characterized in that in a first pose creates a depth image and from a thereon based rough calculation of the position of one or more objects, a second pose is calculated that in the second pose thus calculated a gray value or color image is taken, and that from the gray value or color image, the more accurate position of at least one of the objects is calculated the position comprises the 3D position of the object and its rotation about an axis which lies at least approximately in the direction of view of the camera. Verfahren nach Anspruch 1, wobei das Sensorsystem einen Musterprojektor (9) umfaßt, mit dem ein Muster auf das Objekt projiziert wird, mit dessen Hilfe ein Abstandsbild erzeugt wird.The method of claim 1, wherein the sensor system comprises a pattern projector ( 9 ) with which a pattern is projected onto the object with the aid of which a distance image is generated. Verfahren nach Anspruch 1, wobei das Sensorsystem eine modulierte Beleuchtug (7) umfaßt, mit deren Hilfe über die Time-of-Flight-Methode ein Abstandsbild erzeugt wird.The method of claim 1, wherein the sensor system comprises a modulated illumination ( 7 ), by means of which a distance image is generated via the time-of-flight method. Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, dass in der zweiten Pose zur Bildaufnahme eine seitlich des Sensorsystems angebrachte Beleuchtung (6) eingeschaltet ist.Method according to one of the preceding claims, characterized in that in the second pose for image recording a side of the sensor system mounted illumination ( 6 ) is turned on. Verfahren nach Anspruch 4, wobei durch die Beleuchtung (6) an einem Objekt zwei Schattenkanten erzeugt werden, aufgrund deren Position im Grauwert- bzw. Farbbild die 3D-Position und die Verdrehung um eine Achse, die zumindest näherungsweise in Blickrichtung der Kamera liegt, bestimmt werden.Method according to claim 4, wherein the illumination ( 6 ) are generated on an object two shadow edges, due to their position in the gray value or color image, the 3D position and the rotation about an axis that is at least approximately in the direction of the camera, are determined. Verfahren nach Anspruch 5, mit Kamera-Blick an den Schattenkanten auf jeweils eine oben liegende, beleuchtete Seite (10) und eine innen liegende, unbeleuchtete oder relativ dazu schwach beleuchtete Seite (11).Method according to Claim 5, with a camera view at the shadow edges on each of an overhead, illuminated side ( 10 ) and an inside, unlit or relatively weakly illuminated side ( 11 ).
DE201310007743 2012-05-08 2013-05-07 Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects Withdrawn DE102013007743A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310007743 DE102013007743A1 (en) 2012-05-08 2013-05-07 Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012008894 2012-05-08
DE102012008894.9 2012-05-08
DE201310007743 DE102013007743A1 (en) 2012-05-08 2013-05-07 Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects

Publications (1)

Publication Number Publication Date
DE102013007743A1 true DE102013007743A1 (en) 2013-11-14

Family

ID=49475622

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310007743 Withdrawn DE102013007743A1 (en) 2012-05-08 2013-05-07 Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects

Country Status (1)

Country Link
DE (1) DE102013007743A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019121062A1 (en) * 2017-12-21 2019-06-27 Kuka Deutschland Gmbh Detection of objects using robot-guided sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10159574A1 (en) 2001-10-15 2003-04-30 Hermann Tropf Relative movement correction method for robot gripper or machining tool comparing reference images and/or image data with actual images or image data
DE202006001634U1 (en) 2006-01-23 2006-05-04 Bachert, Axel Rapid release between a chest/hip belt and an abseil cable has a burr fastener, at a cushion or loop grip, which can be opened with one hand
EP1711777B2 (en) 2004-02-03 2011-01-12 ISRA Vision AG Method for determining the position and the relative motion of an object in a space
DE102010043723A1 (en) 2010-11-10 2012-05-10 Ifm Electronic Gmbh Camera system has illumination module that emits light whose intensity is maintained at preset value, so that luminous flux for receiving pixels of photo sensor within preset limit is set to be constant

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10159574A1 (en) 2001-10-15 2003-04-30 Hermann Tropf Relative movement correction method for robot gripper or machining tool comparing reference images and/or image data with actual images or image data
EP1711777B2 (en) 2004-02-03 2011-01-12 ISRA Vision AG Method for determining the position and the relative motion of an object in a space
DE202006001634U1 (en) 2006-01-23 2006-05-04 Bachert, Axel Rapid release between a chest/hip belt and an abseil cable has a burr fastener, at a cushion or loop grip, which can be opened with one hand
DE102010043723A1 (en) 2010-11-10 2012-05-10 Ifm Electronic Gmbh Camera system has illumination module that emits light whose intensity is maintained at preset value, so that luminous flux for receiving pixels of photo sensor within preset limit is set to be constant

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019121062A1 (en) * 2017-12-21 2019-06-27 Kuka Deutschland Gmbh Detection of objects using robot-guided sensors

Similar Documents

Publication Publication Date Title
DE102014206309B4 (en) System and method for obtaining offset images to be used for improved edge resolution
DE102014102943B4 (en) Robot system with functionality for determining the location of a 3D box
EP2886239B1 (en) Method and device for monitoring and controlling the processing path of a laser joining process
DE102007063041A1 (en) Laser light section arrangement for determining e.g. elevation profile of object, has image processing device for identifying and separating laser sectional lines from each other in recorded image, and assigning lines to respective lasers
DE102007046287A1 (en) Method for calibrating a sensor arrangement and sensor arrangement
DE102013017007B4 (en) Robot with a end manipulator arm with end effector and method for determining a force and torque input to an end effector of a robot
DE102008042260B4 (en) Method for the flexible handling of objects with a handling device and an arrangement for a handling device
DE102015122172A1 (en) Headlamp based projection of patterns to measure spatial characteristics of a vehicle environment
DE102008042261A1 (en) Method for flexible handling of objects by handling device, involves locating and starting object or object retainer, and monitoring gripping space, where location of object or object retainer is detected in front of grip
DE10040981A1 (en) Position determining method for object having edge e.g. paper sheet stack in printer involves illuminating predefined illumination areas within boundaries on edge of sheet stack by diverging infrared light beam irradiated from light source
DE19630187A1 (en) Automatic positioning method and positioning system for crane systems
EP1543471B1 (en) Detection and gripping of objects
DE102013007743A1 (en) Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects
EP3048456B1 (en) Method for locating of grip points of objects
DE4011407A1 (en) Quantitative absolute measurer for three=dimensional coordinates - contains projector of test pattern, sensor and displacement device for surface evaluation of test object
EP1111334B1 (en) Method and apparatus for the localisation of cylindrical objects
DE102014106641A1 (en) Method and device for the automated three-dimensional optical measurement of objects, especially with hard-to-reach areas
DE102017208485A1 (en) Arrangement and method for non-contact distance determination in the manner of the light-section method
WO2010006352A1 (en) Method and apparatus for capturing the position of a vehicle in a defined region
EP3615907A1 (en) Inspection apparatus for optically inspecting an object, production plant having the inspection apparatus, and method for optically inspecting the object using the inspection apparatus
DE102007046288B4 (en) Method and sensor arrangement for measuring optical characteristics
DE10338323B4 (en) Method and arrangement for image acquisition for position detection of disordered parts
DE102004046752B4 (en) Method for the three-dimensional detection of measurement objects
WO2015082580A1 (en) Method for reading a two-dimensional code by means of a camera used for three-dimensional optical measurement of objects
DE102014114272B4 (en) Method for controlling a robot arrangement guided by image acquisition

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee