DE102017011897B4 - Detection of objects using robot-guided sensors - Google Patents

Detection of objects using robot-guided sensors Download PDF

Info

Publication number
DE102017011897B4
DE102017011897B4 DE102017011897.3A DE102017011897A DE102017011897B4 DE 102017011897 B4 DE102017011897 B4 DE 102017011897B4 DE 102017011897 A DE102017011897 A DE 102017011897A DE 102017011897 B4 DE102017011897 B4 DE 102017011897B4
Authority
DE
Germany
Prior art keywords
detection
sensor
pose
value
aid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017011897.3A
Other languages
German (de)
Other versions
DE102017011897A1 (en
Inventor
Kirill Safronov
Christian Weiglein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Priority to DE102017011897.3A priority Critical patent/DE102017011897B4/en
Priority to PCT/EP2018/083929 priority patent/WO2019121062A1/en
Publication of DE102017011897A1 publication Critical patent/DE102017011897A1/en
Application granted granted Critical
Publication of DE102017011897B4 publication Critical patent/DE102017011897B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/06—Programme-controlled manipulators characterised by multi-articulated arms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zur Detektion wenigstens eines Prozessobjekts mithilfe eines durch einen Roboter (10) geführten Sensors (2), mit den Schritten:
- Detektieren (S30; S2) wenigstens eines ersten Objekts (1) mithilfe des Sensors in einer ersten Detektions-Pose bei einem ersten Detektions-Wert eines Erfassungsparameters des Sensors, einer Bildverarbeitung und/oder einer Umgebung;
- Detektieren (S30; S2) des ersten oder wenigstens eines weiteren Objekts mithilfe des Sensors in wenigstens einer weiteren Detektions-Pose und/oder bei wenigstens einem weiteren Detektions-Wert des Erfassungsparameters;
- Ermitteln (S60; S4) wenigstens einer Soll-Pose des Sensors und/oder wenigstens eines Soll-Wertes des Erfassungsparameters auf Basis einer Güte der Detektion des ersten Objekts mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters und einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors in der weiteren Detektions-Pose bzw. bei dem weiteren Detektions-Wert des Erfassungsparameters; und
- Detektieren (S70; S2) des Prozessobjekts mithilfe des Sensors in der ermittelten Soll-Pose bzw. bei dem ermittelten Soll-Wert des Erfassu ngsparameters.

Figure DE102017011897B4_0000
Method for detecting at least one process object with the aid of a sensor (2) guided by a robot (10), comprising the steps:
- Detecting (S30; S2) at least one first object (1) with the aid of the sensor in a first detection pose given a first detection value of a detection parameter of the sensor, image processing and / or an environment;
- Detecting (S30; S2) the first or at least one further object with the aid of the sensor in at least one further detection pose and / or with at least one further detection value of the detection parameter;
- Determining (S60; S4) at least one target pose of the sensor and / or at least one target value of the detection parameter on the basis of a quality of the detection of the first object with the aid of the sensor in the first detection pose for the first detection value of the detection parameter and a quality of the detection of the first or further object with the aid of the sensor in the further detection pose or with the further detection value of the detection parameter; and
- Detecting (S70; S2) the process object with the aid of the sensor in the determined target pose or with the determined target value of the detection parameter.
Figure DE102017011897B4_0000

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Detektion wenigstens eines Prozessobjekts mithilfe eines durch einen Roboter geführten Sensors sowie ein System bzw. Computerprogrammprodukt zur Durchführung des Verfahrens.The present invention relates to a method for detecting at least one process object with the aid of a sensor guided by a robot and a system or computer program product for carrying out the method.

Die US 2007 0 213 874 A1 betrifft eine Robotersimulationsvorrichtung zum Simulieren eines Betriebs eines Roboters mit einem Vision-Sensor in einem Offline-Modus, wobei die Vorrichtung einen Arbeitsumgebungs-Modell-Einstellabschnitt zum Anordnen eines Sensormodells, eines Robotermodells und mehrerer unregelmäßig gestapelter Werkstückmodelle in einer virtuellen Arbeitsumgebung und einen Betriebssimulationsabschnitt, um es dem Sensormodell und dem Robotermodell zu ermöglichen, einen Werkstückerfassungsvorgang und eine Behälterentnahmebewegung zu simulieren, umfasst, wobei der Operationssimulationsabschnitt einen Werkstückmodell-Bilderzeugungsabschnitt, um es dem Sensormodell zu ermöglichen, die Werkstückmodelle aufzunehmen und ein virtuelles Bild davon zu erzeugen, einen Werkstückmodell-Positionserfassungsabschnitt zum Identifizieren eines Aufgaben-Werkstückmodells aus dem virtuellen Bild und zum Erfassen einer virtuellen Position davon und einen Robotermodell-Betriebssteuerungsabschnitt, um es dem Robotermodell zu ermöglichen, das Aufgaben-Werkstückmodell basierend auf der virtuellen Position auszuwählen, umfasst.The US 2007 0 213 874 A1 relates to a robot simulation device for simulating an operation of a robot with a vision sensor in an offline mode, the device having a work environment model setting section for arranging a sensor model, a robot model and a plurality of irregularly stacked workpiece models in a virtual work environment and an operation simulation section to enable the sensor model and the robot model to simulate a workpiece detection process and a container removal movement, wherein the operation simulation section comprises a workpiece model image generation section to enable the sensor model to pick up the workpiece models and generate a virtual image thereof, a workpiece model position detection section for Identifying a task workpiece model from the virtual image and acquiring a virtual position thereof, and a robot model operation control section to add it to the robot model to enable the task workpiece model to be selected based on the virtual position.

Aufgabe der vorliegenden Erfindung ist es zu, die Detektion von Objekten mithilfe robotergeführter Sensoren und insbesondere die robotergestützte Handhabung und/oder Bearbeitung der (detektierten) Objekte zu verbessern.The object of the present invention is to improve the detection of objects with the aid of robot-guided sensors and, in particular, the robot-supported handling and / or processing of the (detected) objects.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 11, 12 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.This object is achieved by a method with the features of claim 1. Claims 11, 12 provide a system or computer program product for performing a method described here under protection. The subclaims relate to advantageous developments.

Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zur Detektion von einen oder mehreren, insbesondere unterschiedlichen oder gleich(artig)en, Prozessobjekten, insbesondere Waren, Bauteilen, Werkzeugen oder dergleichen, mithilfe eines Sensors, der hierzu bzw. hierbei durch einen Roboter geführt, insbesondere, in einer Ausführung zerstörungsfrei lösbar oder stationär bzw. dauerhaft, an diesem befestigt ist bzw. wird, die Schritte auf:

  • - Detektieren eines oder mehrerer, insbesondere gleich(artig)er oder verschiedenartiger, erster Objekte mithilfe des Sensors in einer ersten Detektions-Pose (des Sensors bzw. des diesen führenden Roboters), wobei ein ein- oder mehrdimensionaler Erfassungsparameter des Sensors, einer Bildverarbeitung und/oder einer Umgebung einen ersten Detektions-Wert aufweist;
  • - Detektieren des bzw. der ersten oder eines oder mehrerer, insbesondere hierzu gleich(artig)er oder hiervon verschiedenartiger, weiterer Objekte mithilfe des Sensors in einer oder mehreren weiteren Detektions-Posen und/oder bei einem oder mehreren weiteren Detektions-Werten des Erfassungsparameters, insbesondere also
    • - in wenigstens einer weiteren Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters,
    • - in der ersten Detektions-Pose bei wenigstens einem weiteren Detektions-Wert des Erfassungsparameters und/oder
    • - in wenigstens einer weiteren Detektions-Pose bei wenigstens einem weiteren Detektions-Wert des Erfassungsparameters;
  • - Ermitteln, insbesondere Abspeichern,
    • - einer oder mehrerer Soll-Posen des Sensors auf Basis bzw. in Abhängigkeit von
      • - einer Güte der Detektion des bzw. der ersten Objekte mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters und
      • - einer Güte der Detektion des bzw. der ersten bzw. weiteren Objekte mithilfe des Sensors in der bzw. den weiteren Detektions-Posen bei dem ersten bzw. den weiteren Detektions-Werten des Erfassungsparameters und/oder
    • - wenigstens eines oder mehrerer Soll-Werte des Erfassungsparameters auf Basis bzw. in Abhängigkeit von
      • - einer Güte der Detektion des bzw. der ersten Objekte mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters und
      • - einer Güte der Detektion des bzw. der ersten bzw. weiteren Objekte mithilfe des Sensors in der ersten bzw. den weiteren Detektions-Posen bei dem bzw. den weiteren Detektions-Werten des Erfassungsparameters; und
  • - Detektieren des bzw. der Prozessobjekte mithilfe des Sensors in (einer) der ermittelten Soll-Pose(n) bzw. bei dem bzw. einem der ermittelten Soll-Wert(e) des Erfassungsparameters.
According to one embodiment of the present invention, a method for the detection of one or more, in particular different or identical, process objects, in particular goods, components, tools or the like, with the aid of a sensor which is guided for this purpose or in this case by a robot, in particular, in one embodiment non-destructively detachable or stationary or permanent, attached to this, the steps on:
  • - Detecting one or more, in particular the same or different, first objects with the aid of the sensor in a first detection pose (of the sensor or the robot guiding it), with a one- or multi-dimensional detection parameter of the sensor, image processing and / or an environment has a first detection value;
  • - Detecting the first or one or more, in particular the same or different, further objects with the aid of the sensor in one or more further detection poses and / or with one or more further detection values of the detection parameter, especially so
    • - in at least one further detection pose for the first detection value of the detection parameter,
    • - in the first detection pose with at least one further detection value of the detection parameter and / or
    • - in at least one further detection pose with at least one further detection value of the detection parameter;
  • - Determine, in particular save,
    • - One or more target poses of the sensor based on or as a function of
      • a quality of the detection of the first object or objects with the aid of the sensor in the first detection pose for the first detection value of the detection parameter and
      • - a quality of the detection of the first or further object or objects with the aid of the sensor in the further detection pose or poses for the first or further detection values of the detection parameter and / or
    • - At least one or more target values of the acquisition parameter based on or as a function of
      • a quality of the detection of the first object or objects with the aid of the sensor in the first detection pose for the first detection value of the detection parameter and
      • a quality of the detection of the first or further object or objects with the aid of the sensor in the first or further detection poses for the further detection value or values of the detection parameter; and
  • - Detecting the process object or objects with the aid of the sensor in (one) of the determined target pose (s) or at the or one of the determined target value (s) of the detection parameter.

Hierdurch können in einer Ausführung eine, insbesondere global bzw. absolut, oder mehrere, insbesondere lokal bzw. relativ, vorteilhafte Kombinationen aus Pose des Sensors bzw. des diesen führenden Roboters und einem Wert des Erfassungsparameters ermittelt und zum Detektieren des bzw. der Prozessobjekte genutzt werden, das dadurch verbessert werden kann.As a result, in one embodiment, one, in particular globally or absolutely, or several, in particular locally or relatively, advantageous combinations of the pose of the sensor or the robot guiding it and a value of the Detection parameters are determined and used to detect the process object or objects, which can be improved as a result.

In einer Ausführung wird eine Soll-Pose auf Basis der Güte der Detektion in der ersten Detektions-Pose und in der bzw. den weiteren Detektions-Posen derart ermittelt, dass ihr Abstand zu wenigstens einer der Detektions-Posen, für die die Detektion eine höhere Güte aufweist, geringer ist als zu wenigstens einer anderen der Detektions-Posen, für die die Detektion eine (demgegenüber) niedrigere Güte aufweist. In einer Weiterbildung wird als Soll-Pose eine der Detektions-Posen ermittelt, für die die Detektion eine höhere Güte aufweist als für alle benachbarten Detektions-Posen. Gleichermaßen kann in einer Ausführung eine Soll-Pose auch durch Interpolation zwischen Detektions-Posen, Extrapolation aus Detektions-Posen oder dergleichen ermittelt werden.In one embodiment, a target pose is determined on the basis of the quality of the detection in the first detection pose and in the further detection pose (s) in such a way that its distance from at least one of the detection poses for which the detection is higher Has quality, is lower than at least one other of the detection poses for which the detection has a (in contrast) lower quality. In a further development, one of the detection poses for which the detection has a higher quality than for all neighboring detection poses is determined as the target pose. Likewise, in one embodiment, a target pose can also be determined by interpolation between detection poses, extrapolation from detection poses or the like.

In einer Ausführung wird ein Soll-Wert des Erfassungsparameters auf Basis der Güte der Detektion bei dem ersten Detektions-Wert und bei dem bzw. den weiteren Detektions-Werten derart ermittelt, dass die Differenz dieses Soll-Werts zu wenigstens einem der Detektions-Werte, für die die Detektion eine höhere Güte aufweist, geringer ist als zu wenigstens einem anderen der Detektions-Werte, für die die Detektion eine (demgegenüber) niedrigere Güte aufweist. In einer Weiterbildung wird als Soll-Wert einer der Detektions-Werte ermittelt, für den die Detektion eine höhere Güte aufweist als für alle benachbarten Detektions-Werte. Gleichermaßen kann in einer Ausführung ein Soll-Wert auch durch Interpolation zwischen Detektions-Werten, Extrapolation aus Detektions-Werten oder dergleichen ermittelt werden.In one embodiment, a setpoint value of the detection parameter is determined on the basis of the quality of the detection for the first detection value and for the further detection value (s) in such a way that the difference between this setpoint value and at least one of the detection values, for which the detection has a higher quality is lower than for at least one other of the detection values for which the detection has a (in contrast) lower quality. In a further development, one of the detection values for which the detection has a higher quality than for all neighboring detection values is determined as the setpoint value. Similarly, in one embodiment, a setpoint value can also be determined by interpolation between detection values, extrapolation from detection values or the like.

In einer Ausführung weist das Verfahren die Schritte auf:

  • - Ermitteln, insbesondere Abspeichern, eines ersten Soll-Wertes des Erfassungsparameters für eine erste Referenz-Pose des Sensors sowie (je) eines weiteren Soll-Wertes des Erfassungsparameters für eine oder mehrere weitere Referenz-Posen des Sensors, insbesondere eines ersten sowie wenigstens eines weiteren der vorstehend genannten Soll-Werte;
  • - Ermitteln, insbesondere Einstellen, eines Soll-Wertes des Erfassungsparameters für eine, insbesondere vorgegebene und/oder aktuelle oder anzufahrende, Arbeitspose des Sensors auf Basis des ersten und des bzw. der weiteren Soll-Werte des Erfassungsparameters; und
  • - Detektieren des bzw. der Prozessobjekte mithilfe des Sensors in der Arbeitspose des Sensors bei dem hierfür ermittelten Soll-Wert des Erfassungsparameters.
In one embodiment, the method has the following steps:
  • Determination, in particular storage, of a first setpoint value of the detection parameter for a first reference pose of the sensor and (each) a further setpoint value of the detection parameter for one or more further reference poses of the sensor, in particular a first and at least one further the aforementioned target values;
  • Determining, in particular setting, a target value of the acquisition parameter for a, in particular predetermined and / or current or to be approached, working position of the sensor on the basis of the first and the further target value (s) of the acquisition parameter; and
  • - Detecting the process object or objects with the aid of the sensor in the working position of the sensor with the setpoint value of the detection parameter determined for this purpose.

In einer Ausführung wird als Soll-Wert für die Arbeitspose der Soll-Wert für diejenige der Referenz-Posen ermittelt, deren Abstand zur Arbeitspose am geringsten ist. Gleichermaßen kann in einer Ausführung der Soll-Wert für die Arbeitspose auch durch Interpolation zwischen Soll-Werten für Referenz-Posen, Extrapolation aus Soll-Werten für Referenz-Posen oder dergleichen ermittelt werden.In one embodiment, the setpoint value for that of the reference poses whose distance from the work pose is the smallest is determined as the setpoint value for the working pose. Likewise, in one embodiment, the setpoint value for the working pose can also be determined by interpolation between setpoint values for reference poses, extrapolation from setpoint values for reference poses or the like.

Zusätzlich oder alternativ weist das Verfahren in einer Ausführung die Schritte auf:

  • - Ermitteln, insbesondere Abspeichern, einer ersten Soll-Pose des Sensors für einen ersten Referenz-Wert des Erfassungsparameters sowie (je) einer weiteren Soll-Pose des Sensors für einen oder mehrere weitere Referenz-Werte des Erfassungsparameters, insbesondere einer ersten sowie wenigstens einer weiteren der vorstehend genannten Soll-Posen;
  • - Ermitteln, insbesondere Anfahren, einer Soll-Pose des Sensors für einen, insbesondere vorgegebenen und/oder aktuellen, insbesondere erfassten oder einzustellenden, Arbeitswert des Erfassungsparameters auf Basis der ersten und der weiteren Soll-Pose(n) des Sensors; und
  • - Detektieren des bzw. der Prozessobjekte mithilfe des Sensors bei dem Arbeitswert des Erfassungsparameters in der hierfür ermittelten Soll-Pose des Sensors
Additionally or alternatively, the method has the following steps in one embodiment:
  • Determination, in particular storage, of a first target pose of the sensor for a first reference value of the acquisition parameter and (each) a further target pose of the sensor for one or more further reference values of the acquisition parameter, in particular a first and at least one further the aforementioned target poses;
  • Determining, in particular starting up, a target pose of the sensor for a, in particular predetermined and / or current, in particular acquired or set, working value of the acquisition parameter on the basis of the first and the further target pose (s) of the sensor; and
  • - Detecting the process object or objects with the aid of the sensor in the case of the working value of the detection parameter in the target pose of the sensor determined for this purpose

In einer Ausführung wird als Soll-Pose für den Arbeitswert des Erfassungsparameters diejenige der Referenz-Posen ermittelt, für die eine Differenz ihres Referenz-Wertes zum Arbeitswert am geringsten ist. Gleichermaßen kann in einer Ausführung die Soll-Pose auch durch Interpolation zwischen Soll-Posen für Referenz-Werte, Extrapolation aus Soll-Posen für Referenz-Werte oder dergleichen ermittelt werden.In one embodiment, that of the reference poses for which a difference between its reference value and the work value is smallest is determined as the setpoint pose for the work value of the detection parameter. Likewise, in one embodiment, the target pose can also be determined by interpolation between target poses for reference values, extrapolation from target poses for reference values, or the like.

Somit werden in einer Ausführung für verschiedene (Referenz-)Posen des Sensors posenspezifische Soll-Werte des Erfassungsparameters ermittelt, insbesondere abgespeichert, und dann für eine, insbesondere vorgegebene und/oder aktuelle oder anzufahrende, Arbeitspose des Sensors ein entsprechender Soll-Wert des Erfassungsparameters ermittelt, insbesondere eingestellt, bzw. für verschiedene (Referenz-)Werte des Erfassungsparameters erfassungsparameterwertspezifische Soll-Posen des Sensors ermittelt, insbesondere abgespeichert, und dann für einen, insbesondere vorgegebenen und/oder aktuellen, insbesondere erfassten oder einzustellenden, Arbeitswert des Erfassungsparameters eine entsprechender Soll-Pose des Sensors ermittelt, insbesondere angefahren.Thus, in one embodiment, for different (reference) poses of the sensor, pose-specific setpoint values of the detection parameter are determined, in particular stored, and then a corresponding setpoint value of the detection parameter is determined for a particularly predetermined and / or current or to be approached working position of the sensor , in particular set, or for various (reference) values of the acquisition parameter, acquisition parameter value-specific target poses of the sensor are determined, in particular stored, and then for a, in particular predetermined and / or current, in particular acquired or set, working value of the acquisition parameter, a corresponding target position The position of the sensor is determined, in particular approached.

Hierdurch kann in einer Ausführung differenzierter eine besonders vorteilhafte Kombination aus Pose des Sensors bzw. des diesen führenden Roboters und einem Wert des Erfassungsparameters ermittelt und zum Detektieren des bzw. der Prozessobjekte genutzt werden, das dadurch weiter verbessert werden kann.As a result, a particularly advantageous combination of the pose of the sensor or the one guiding it can be differentiated in one embodiment Robot and a value of the detection parameter are determined and used to detect the process object or objects, which can be further improved as a result.

In einer Ausführung umfasst das Verfahren den Schritt: Führen und/oder Bearbeiten des bzw. der detektierten Prozessobjekte mithilfe des Roboters, der in einer Ausführung den Sensor dabei weiter führt.In one embodiment, the method comprises the step: guiding and / or processing the detected process object or objects with the aid of the robot, which in one embodiment continues to guide the sensor.

Hierdurch kann in einer Ausführung die robotergestützte Handhabung und/oder Bearbeitung der detektierten Prozessobjekte weiter verbessert, insbesondere eine hierfür benötigte Prozesszeit reduziert werden.As a result, in one embodiment, the robot-assisted handling and / or processing of the detected process objects can be further improved, in particular a process time required for this can be reduced.

In einer Ausführung kann die robotergestützte Handhabung und/oder Bearbeitung der Prozessobjekte (auch) zur Ermitteln vorteilhafter Soll-Posen des Sensors und/oder Soll-Werte des Erfassungsparameters genutzt bzw. wenigstens eine Soll-Pose des Sensors und/oder wenigstens ein Soll-Wert des Erfassungsparameters im Zuge eines Handhabens und/oder Bearbeitens von Prozessobjekten mithilfe des Roboters ermittelt werden.In one embodiment, the robot-assisted handling and / or processing of the process objects can (also) be used to determine advantageous target positions of the sensor and / or target values of the detection parameter or at least one target pose of the sensor and / or at least one target value of the acquisition parameter can be determined in the course of handling and / or processing process objects with the aid of the robot.

Insbesondere hierzu sind in einer Ausführung das bzw. die ersten weiteren Objekte jeweils Prozessobjekte, die nach dem Detektieren durch den Roboter geführt und/oder bearbeitet werden. In einer Ausführung werden also zunächst ein oder mehrere (erste) Prozessobjekte mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert und in wenigstens einer weiteren der Detektions-Posen bzw. bei wenigstens einem weiteren der Detektions-Wert detektiert, hieraus der bzw. die Soll-Posen bzw. Soll-Werte ermittelt, und dann diese (ersten) und/oder weitere Prozessobjekte mithilfe des Sensors in der ermittelten Soll-Pose bzw. bei dem ermittelten Soll-Wert des Erfassungsparameters detektiert. Somit werden in einer Ausführung beim Detektieren zum anschließenden Handhaben und/oder Bearbeiten von ersten und/oder weiteren Prozessobjekten mithilfe des Roboters die Pose des Sensors und/oder der Wert des Erfassungsparameters zum bzw. vor dem Detektieren der ersten Prozessobjekten variiert und anschließend diese ersten und/oder weiteren Prozessobjekten mithilfe des Sensors in (einer) der auf Basis dieser Variation ermittelten Soll-Pose(n) bzw. bei dem bzw. einem der auf Basis dieser Variation ermittelten Soll-Wert(e) des Erfassungsparameters detektiert und anschließend mithilfe des Roboters geführt und/oder bearbeitet.In particular for this purpose, in one embodiment, the first further object (s) are each process objects that are guided and / or processed by the robot after detection. In one embodiment, one or more (first) process objects are thus initially detected with the aid of the sensor in the first detection pose at the first detection value and in at least one further of the detection poses or at least one further detection value, from this determines the desired pose (s) or desired value, and then detects these (first) and / or further process objects with the aid of the sensor in the determined desired pose or with the determined desired value of the acquisition parameter. Thus, in one embodiment, when detecting for the subsequent handling and / or processing of first and / or further process objects with the aid of the robot, the pose of the sensor and / or the value of the detection parameter are varied before or before the detection of the first process objects and then these first and / or further process objects are detected with the aid of the sensor in (one) of the desired pose (s) determined on the basis of this variation or at the or one of the desired value (s) of the detection parameter determined on the basis of this variation and then with the aid of the robot guided and / or edited.

Hierdurch kann in einer Ausführung die robotergestützte Handhabung und/oder Bearbeitung im laufenden Prozessbetrieb verbessert und/oder eine für die Ermittlung vorteilhafter Soll-Posen bzw. -Werte benötigte Zeit reduziert werden.As a result, in one embodiment, the robot-assisted handling and / or processing during ongoing process operation can be improved and / or a time required for the determination of advantageous target poses or values can be reduced.

Zusätzlich oder alternativ können in einer Ausführung auch vor dem Detektieren bzw. Handhaben und/oder Bearbeiten von Prozessobjekten vorteilhafte, insbesondere mit Testobjekten, Soll-Posen bzw. -Werte ermittelt werden, insbesondere im Rahmen einer separaten, vorgeschalteten Optimierung Soll-Posen bzw. -Werte und/oder in Zeiten, in denen kein Prozessbetrieb des Roboters vorgesehen ist, vorzugsweise zwischen Arbeitsschichten, nachts, an Wochenenden oder dergleichen.Additionally or alternatively, in one embodiment, advantageous target poses or values, in particular with test objects, can also be determined before the detection or handling and / or processing of process objects, in particular in the context of a separate, upstream optimization of target poses or values. Values and / or in times when the robot is not in process operation, preferably between work shifts, at night, on weekends or the like.

Insbesondere hierzu oder auch beim Detektieren im Zuge eines Handhabens und/oder Bearbeitens von Prozessobjekten werden in einer Ausführung eine oder mehrere der weiteren Detektions-Posen (jeweils) auf Basis einer Güte der Detektion des bzw. der ersten bzw. weiteren Objekte mithilfe des Sensors in wenigstens zwei anderen der Detektions-Posen vorgegeben, insbesondere derart, dass ein Abstand dieser weiteren vorzugebenden bzw. vorgegeben Detektions-Pose zu einer der anderen der Detektions-Posen mit höherer Güte geringer ist als zu einer der anderen der Detektions-Posen mit geringerer Güte.In particular for this purpose or also when detecting in the course of handling and / or processing process objects, one or more of the further detection poses are (in each case) based on a quality of detection of the first or further object with the aid of the sensor in at least two other of the detection poses are predefined, in particular such that a distance between this further predefined or predefined detection pose and one of the other detection poses with higher quality is less than with one of the other detection poses with lower quality.

Zusätzlich oder alternativ werden in einer Ausführung eine oder mehrere der weiteren Detektions-Werte des Erfassungsparameters auf Basis einer Güte der Detektion des bzw. der ersten bzw. weiteren Objekte mithilfe des Sensors bei wenigstens zwei anderen der Detektions-Werte des Erfassungsparameters vorgegeben, insbesondere derart, dass eine Differenz dieses weiteren vorzugebenden bzw. vorgegeben Detektions-Wertes zu einem der anderen der Detektions-Werte mit höherer Güte geringer ist als zu einem der anderen der Detektions-Werte mit geringerer Güte.Additionally or alternatively, in one embodiment, one or more of the further detection values of the detection parameter are specified on the basis of a quality of detection of the first or further object with the aid of the sensor for at least two other detection values of the detection parameter, in particular such that a difference of this further predefined or predefined detection value to one of the other of the detection values with higher quality is smaller than to one of the other detection values with lower quality.

Somit wird in einer Ausführung gezielt auf Basis der Güte der Detektion, insbesondere in Richtung steigender Güte, gesucht bzw. hierzu weitere Detektions-Posen bzw. - Werte vorgegeben, beispielsweise in Form eines Gradientenverfahrens oder dergleichen.Thus, in one embodiment, a search is made specifically on the basis of the quality of the detection, in particular in the direction of increasing quality, or further detection poses or values are specified for this purpose, for example in the form of a gradient method or the like.

Zusätzlich oder alternativ werden in einer Ausführung eine oder mehrere der weiteren Detektions-Posen (jeweils) auf Basis eines vorgegebenen Abstandes zu wenigstens einer anderen der Detektions-Posen vorgegeben, insbesondere derart, dass diese weitere vorzugebende bzw. vorgegebene Detektions-Pose zu einer oder mehreren der anderen der Detektions-Posen den, insbesondere denselben, vorgegebenen Abstand aufweist.Additionally or alternatively, in one embodiment, one or more of the further detection poses (in each case) are specified on the basis of a predetermined distance from at least one other of the detection poses, in particular in such a way that this further detection pose that is to be specified or specified is associated with one or more the other of the detection poses has the, in particular the same, predetermined distance.

Zusätzlich oder alternativ werden in einer Ausführung eine oder mehrere der weiteren Detektions-Werte des Erfassungsparameters auf Basis einer vorgegebenen Differenz zu wenigstens einem anderen der Detektions-Werte vorgegeben, insbesondere derart, dass dieser weitere vorzugebende bzw. vorgegebene Detektions-Wert zu einer oder mehreren der anderen der Detektions-Werte die, insbesondere dieselbe, vorgegebene Differenz aufweist.Additionally or alternatively, in one embodiment, one or more of the further detection values of the detection parameter are predefined on the basis of a predefined difference to at least one other of the detection values, in particular such that this further detection value to be specified or specified has the, in particular the same, specified difference from one or more of the other detection values.

Somit wird in einer Ausführung ein möglicher Posen- bzw. Wertebereich, in einer Ausführung äquidistant, abgetastet bzw. durchprobiert.Thus, in one embodiment, a possible range of poses or values is scanned or tried out equidistantly in one embodiment.

In einer Ausführung kann die Vorgabe der Detektions-Posen und/oder -Werte auf Basis einer Güte der Detektion in anderen Detektions-Posen bzw. bei anderen Detektions-Werten und auf Basis vorgegebenen Abstände bzw. Differenzen, insbesondere mehrstufig, kombiniert sein, insbesondere, indem in einer ersten Stufe Detektions-Posen und/oder -Werte auf Basis vorgegebenen Abstände bzw. Differenzen vorgegeben bzw. durchprobiert und dabei eine oder mehrere primäre Soll-Posen und/oder -Werte ermittelt und dann in einer zweiten Stufe im Bereich dieser primären Soll-Posen und/oder -Werte, insbesondere feiner gerastert bzw. mit kleineren Abstände bzw. Differenzen, erneut Detektions-Posen und/oder -Werte vorgegeben bzw. durchprobiert und dabei eine oder mehrere sekundäre Soll-Posen und/oder -Werte ermittelt werden, wobei diese Stufenfolge auch mehrfach wiederholt werden kann. Insbesondere können so mehrere lokale bzw. relative Maxima der Güte der Detektion bei unterschiedlichen primären Soll-Posen bzw. -Werten verglichen und dann gezielt bei dem besten dieser lokalen bzw. relativen Maxima weitergesucht werden. Dabei kann es besonders vorteilhaft sein, in einer ersten Stufe für jede der Detektions-Posen einen Detektions-Wertebereich des Erfassungsparameters auszuprobieren, den für die jeweilige Detektions-Posen besten Detektions-Wert abzuspeichern, und dann in der zweiten Stufe ausgehend von der Detektions-Pose mit der besten Güte der Detektion und dem hierzu abgespeicherten Detektions-Wert erneut, insbesondere feiner gerastert, zu suchen.In one embodiment, the specification of the detection poses and / or values can be combined on the basis of a quality of detection in other detection poses or in the case of other detection values and on the basis of predetermined distances or differences, in particular in multiple stages, in particular, by specifying or trying out detection poses and / or values based on predetermined distances or differences in a first stage and thereby determining one or more primary target poses and / or values and then in a second stage in the range of these primary target values Poses and / or values, in particular more finely rasterized or with smaller distances or differences, again detection poses and / or values specified or tried out and one or more secondary target poses and / or values are determined in the process, this sequence of steps can also be repeated several times. In particular, a plurality of local or relative maxima of the quality of the detection can be compared with different primary target poses or values and then searched for in a targeted manner for the best of these local or relative maxima. It can be particularly advantageous in a first stage for each of the detection poses to try out a detection value range of the detection parameter, to store the best detection value for the respective detection poses, and then in the second stage based on the detection pose to search again with the best quality of detection and the detection value stored for this purpose, in particular with a finer grid.

In einer Ausführung werden, insbesondere in wenigstens einer der vorstehend genannten Stufen, solange weitere Detektions-Posen und/oder Detektions-Werte des Erfassungsparameters vorgegeben bzw. durchprobiert, bis eine Änderung der Güte der Detektion einen vorgegebenen Schwellwert unterschreitet oder eine andere Abbruchbedingung, beispielsweise eine vorgegebene maximale Anzahl von Detektions-Posen bzw. -Werten, erreicht ist.In one embodiment, in particular in at least one of the aforementioned stages, further detection poses and / or detection values of the detection parameter are specified or tried out until a change in the quality of the detection falls below a specified threshold value or another termination condition, for example a predetermined maximum number of detection poses or values is reached.

Hierdurch können in einer Ausführung besonders vorteilhafte Soll-Positionen bzw. - Werte ermittelt werden.In this way, particularly advantageous target positions or values can be determined in one embodiment.

Die Güte der Detektion kann in einer Ausführung, insbesondere linear, von einer Abweichung zwischen einer ermittelten und bekannten Pose des detektierten Objekts abhängen, diese insbesondere beinhalten, insbesondere sein. Mit anderen Worten weist in einer Ausführung eine Detektion eine höhere Güte auf, wenn eine Abweichung zwischen einer ermittelten und bekannten Pose des detektierten Objekts kleiner ist, insbesondere bei ansonsten gleich(wertig)en anderen Komponenten der Güte.In one embodiment, the quality of the detection can depend, in particular linearly, on a deviation between a determined and known pose of the detected object, in particular contain this, in particular be. In other words, in one embodiment, a detection has a higher quality if a discrepancy between a determined and known pose of the detected object is smaller, in particular if other components of the quality are otherwise equal.

Zusätzlich oder alternativ kann in einer Ausführung die Güte der Detektion , insbesondere linear, von einer Güte, insbesondere einem Gütewert, einer Bilderkennung des detektierten Objekts abhängen, diese insbesondere beinhalten, insbesondere sein. Mit anderen Worten weist in einer Ausführung eine Detektion eine höhere Güte auf, wenn eine Bilderkennung des detektierten Objekts eine(n) höhere(n) Güte(wert) aufweist, insbesondere bei ansonsten gleich(wertig)en anderen Komponenten der Güte. Der Gütewert einer Bilderkennung eines detektierten Objekts hängt in einer Ausführung von einer (prognostizierten) Zuverlässigkeit und/oder Genauigkeit der Bilderkennung ab, insbesondere von einer Übereinstimmung mit vorgegebenen Mustern oder dergleichen.Additionally or alternatively, in one embodiment, the quality of the detection, in particular linear, can depend on a quality, in particular a quality value, of an image recognition of the detected object, in particular contain it, in particular be. In other words, in one embodiment, a detection has a higher quality if an image recognition of the detected object has a higher quality (value), in particular if other components of the quality are otherwise equivalent. The quality value of an image recognition of a detected object depends in one embodiment on a (predicted) reliability and / or accuracy of the image recognition, in particular on a correspondence with predetermined patterns or the like.

Wie sich aus Vorstehenden ergibt, kann die Güte der Detektion in einer Ausführung mehrere Komponenten, insbesondere eine Abweichung zwischen einer ermittelten und bekannten Pose des detektierten Objekts und eine(n) Güte(wert) der Bilderkennung des detektierten Objekts aufweisen, insbesondere in Form einer gewichteten Summe, eines Parteo-Optimums oder dergleichen.As can be seen from the above, the quality of the detection in one embodiment can have several components, in particular a deviation between a determined and known pose of the detected object and a quality (value) of the image recognition of the detected object, in particular in the form of a weighted one Sum, a Parteo optimum or the like.

In einer Ausführung umfasst das Verfahren den Schritt: Führen eines zu detektierenden (ersten oder weiteren)Objekts in eine zum Detektieren mithilfe des Sensors in einer der Detektions-Posen bei einem der Detektions-Werte des Erfassungsparameters des Sensors vorgegebene (Objekt)Pose mithilfe des Roboters, in einer Ausführung durch Handführen bzw. manuelle Kraftbeaufschlagung des (hierzu nachgiebig gesteuerten) Roboters.In one embodiment, the method comprises the step of guiding a (first or further) object to be detected into a (object) pose predetermined for detection with the aid of the sensor in one of the detection poses with the aid of the robot for one of the detection values of the detection parameter of the sensor , in one version by manual guidance or manual application of force to the (for this purpose flexibly controlled) robot.

Hierdurch kann in einer Ausführung vorteilhaft die vorstehend genannte bekannte Pose des detektierten Objekts zur Verfügung gestellt werden, auf deren Basis die Güte der Detektion ermittelt wird.As a result, in one embodiment, the aforementioned known pose of the detected object can advantageously be made available, on the basis of which the quality of the detection is determined.

In einer Ausführung weist der Roboter eine mobile, insbesondere, in einer Ausführung auf einem Boden frei bzw. ungebunden, (ver)fahrbare Basis und/oder einen Roboterarm mit wenigstens drei, insbesondere wenigstens sechs, in einer Ausführung wenigstens sieben, (Bewegungs)Achsen bzw. Gelenken auf, die durch, insbesondere elektrische, Antriebe aktuier- bzw. verstellbar sind bzw. aktuiert bzw. verstellt werden.In one embodiment, the robot has a mobile, in particular, in one embodiment on a floor free or unbound, (movable) base and / or a robot arm with at least three, in particular at least six, in one embodiment at least seven (movement) axes or joints that can be actuated or adjusted by, in particular electrical, drives or are actuated or adjusted.

Mithilfe solcher Roboter können in einer Ausführung besonders viele unterschiedliche Posen des Sensors dargestellt werden, so dass die vorliegende Erfindung hierfür besonders vorteilhaft ist.With the help of such robots, a particularly large number of different poses of the Sensor are represented, so that the present invention is particularly advantageous for this.

In einer Ausführung ist der Sensor ein optischer Sensor. In einer Weiterbildung umfasst das Detektieren eines Objekts mithilfe des Sensors ein Aufnehmen und/oder Auswerten eines Bildes, insbesondere eine Bilderkennung.In one embodiment, the sensor is an optical sensor. In one development, the detection of an object with the aid of the sensor includes recording and / or evaluating an image, in particular image recognition.

Mithilfe solcher Sensoren bzw. einer Bilderkennung können in einer Ausführung Objekte besonders vorteilhaft detektiert werden.With the aid of such sensors or image recognition, objects can be detected particularly advantageously in one embodiment.

Der Wert des Erfassungsparameters kann in einer Ausführung, insbesondere linear, von einem, insbesondere verstellbaren, Betriebsparameter einer Bildaufnahme mithilfe des Sensors, beispielsweise einer Belichtungszeit, einer Blende, einem Weißabgleich oder dergleichen, abhängen, diesen insbesondere beinhalten, insbesondere sein.In one embodiment, the value of the detection parameter can depend, in particular linearly, on an, in particular adjustable, operating parameter of an image recording with the aid of the sensor, for example an exposure time, an aperture, a white balance or the like, in particular contain it, in particular be.

Zusätzlich oder alternativ kann in einer Ausführung der Wert des Erfassungsparameters, insbesondere linear, von einem, insbesondere verstellbaren, Betriebsparameter einer Bildverarbeitung, insbesondere -erkennung, eines mithilfe des Sensors aufgenommenen Bildes, beispielsweise einem Bildausschnitt, einem Mustererkennungsalgorithmus oder dergleichen, abhängen, diesen insbesondere beinhalten, insbesondere sein.Additionally or alternatively, in one embodiment the value of the acquisition parameter, in particular linear, can depend on, in particular contain, an, in particular adjustable, operating parameter of image processing, in particular recognition, of an image recorded with the aid of the sensor, for example an image section, a pattern recognition algorithm or the like , in particular be.

Zusätzlich oder alternativ kann in einer Ausführung der Wert des Erfassungsparameters, insbesondere linear, von einem, insbesondere erfassten und/oder verstellbaren, Lichtparameter der Umgebung, beispielsweise einer Beleuchtung oder dergleichen, abhängen, diesen insbesondere beinhalten, insbesondere sein.Additionally or alternatively, in one embodiment, the value of the detection parameter, in particular linear, can depend on a, in particular detected and / or adjustable, light parameter of the environment, for example lighting or the like, in particular contain it, in particular be.

Somit können in einer Ausführung zum Beispiel für verschiedene Lichtverhältnisse spezifische, jeweils für die Detektion günstige Soll-Posen ermittelt werden. Gleichermaßen können in einer Ausführung für eine oder mehrere Posen des Sensors spezifische, jeweils für die Detektion günstige Soll-Belichtungszeiten, Soll-Blenden, Soll-Beleuchtungen oder dergleichen ermittelt werden. Zusätzlich oder alternativ kann in einer Ausführung eine für die Detektion absolut bzw. global besonders günstige Soll-Pose des Sensors und Soll-Belichtungszeit, Soll-Blende, Soll-Beleuchtung oder dergleichen ermittelt werden.In one embodiment, for example, specific target poses that are favorable for the detection can be determined for different lighting conditions. Likewise, in one embodiment, for one or more poses of the sensor, specific target exposure times, target apertures, target illuminations or the like that are favorable in each case for the detection can be determined. Additionally or alternatively, in one embodiment, a target pose of the sensor that is particularly favorable for the detection in absolute or global terms and a target exposure time, target aperture, target lighting or the like can be determined.

Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:

  • - Mittel zum Detektieren wenigstens eines ersten Objekts mithilfe des Sensors in einer ersten Detektions-Pose bei einem ersten Detektions-Wert eines Erfassungsparameters des Sensors, einer Bildverarbeitung und/oder einer Umgebung;
  • - Mittel zum Detektieren des ersten oder wenigstens eines weiteren Objekts mithilfe des Sensors in wenigstens einer weiteren Detektions-Pose und/oder bei wenigstens einem weiteren Detektions-Wert des Erfassungsparameters;
  • - Mittel zum Ermitteln wenigstens einer Soll-Pose des Sensors und/oder wenigstens eines Soll-Wertes des Erfassungsparameters auf Basis einer Güte der Detektion des ersten Objekts mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters und einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors in der weiteren Detektions-Pose bzw. bei dem weiteren Detektions-Wert des Erfassungsparameters; und
  • - Mittel zum Detektieren des Prozessobjekts mithilfe des Sensors in der ermittelten Soll-Pose bzw. bei dem ermittelten Soll-Wert des Erfassungsparameters
According to one embodiment of the present invention, a system, in particular in terms of hardware and / or software, in particular in terms of programming, is set up to carry out a method described here and / or has:
  • - Means for detecting at least one first object with the aid of the sensor in a first detection pose given a first detection value of a detection parameter of the sensor, an image processing and / or an environment;
  • - Means for detecting the first or at least one further object with the aid of the sensor in at least one further detection pose and / or with at least one further detection value of the detection parameter;
  • - Means for determining at least one target pose of the sensor and / or at least one target value of the detection parameter based on a quality of the detection of the first object with the aid of the sensor in the first detection pose for the first detection value of the detection parameter and a quality the detection of the first or further object with the aid of the sensor in the further detection pose or with the further detection value of the detection parameter; and
  • - Means for detecting the process object with the aid of the sensor in the determined target pose or with the determined target value of the detection parameter

In einer Ausführung weist das System bzw. sein(e) Mittel auf:

  • - Mittel zum Ermitteln eines ersten Soll-Wertes des Erfassungsparameters für eine erste Referenz-Pose des Sensors sowie eines weiteren Soll-Wertes des Erfassungsparameters für wenigstens eine weitere Referenz-Pose des Sensors, Mittel zum Ermitteln eines Soll-Wertes des Erfassungsparameters für eine Arbeitspose des Sensors auf Basis des ersten und wenigstens einen weiteren Soll-Wertes des Erfassungsparameters, und Mittel zum Detektieren des Prozessobjekts mithilfe des Sensors in der Arbeitspose des Sensors bei dem hierfür ermittelten Soll-Wert des Erfassungsparameters; und/oder
  • - Mittel zum Ermitteln einer ersten Soll-Pose des Sensors für einen ersten Referenz-Wert des Erfassungsparameters sowie einer weiteren Soll-Pose des Sensors für wenigstens einen weiteren Referenz-Wert des Erfassungsparameters, Mittel zum Ermitteln einer Soll-Pose des Sensors für einen Arbeitswert des Erfassungsparameters auf Basis der ersten und wenigstens einen weiteren Soll-Pose des Sensors, und Mittel zum Detektieren des Prozessobjekts mithilfe des Sensors bei dem Arbeitswert des Erfassungsparameters in der hierfür ermittelten Soll-Pose des Sensors; und/oder
  • - Mittel zum Führen und/oder Bearbeiten des detektierten Prozessobjekts mithilfe des, insbesondere den Sensor führenden, Roboters; und/oder
  • - Mittel zum Vorgegeben wenigstens einer der weiteren Detektions-Posen auf Basis einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors in wenigstens zwei anderen der Detektions-Posen und/oder eines vorgegebenen Abstandes zu wenigstens einer anderen der Detektions-Posen und/oder wenigstens eines der weiteren Detektions-Werte des Erfassungsparameters auf Basis einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors bei wenigstens zwei anderen der Detektions-Werte des Erfassungsparameters und/oder einer vorgegebenen Differenz zu wenigstens einem anderen der Detektions-Werte; und/oder
  • - Mittel zum Führen eines zu detektierenden Objekts in eine hierzu vorgegebene Pose mithilfe des Roboters; und/oder
  • - Mittel zum Aufnehmen und/oder Auswerten eines Bildes, insbesondere zur Bilderkennung, zum Detektieren eines Objekts mithilfe des Sensors.
In one embodiment, the system or its means has:
  • - Means for determining a first target value of the acquisition parameter for a first reference pose of the sensor and a further target value of the acquisition parameter for at least one further reference pose of the sensor, means for determining a target value of the acquisition parameter for a working pose of the Sensor based on the first and at least one further setpoint value of the detection parameter, and means for detecting the process object with the aid of the sensor in the working position of the sensor at the setpoint value of the detection parameter determined for this purpose; and or
  • - Means for determining a first target pose of the sensor for a first reference value of the acquisition parameter and a further target pose of the sensor for at least one further reference value of the acquisition parameter, means for determining a target pose of the sensor for a working value of the Acquisition parameters based on the first and at least one further target pose of the sensor, and means for detecting the process object with the aid of the sensor at the working value of the acquisition parameter in the target pose of the sensor determined for this purpose; and or
  • - Means for guiding and / or processing the detected process object with the aid of the robot, in particular guiding the sensor; and or
  • - Means for specifying at least one of the further detection poses on the basis of a quality of detection of the first or further object with the aid of the sensor in at least two other of the detection poses and / or a predetermined distance from at least one other of the detection poses and / or at least one of the further detection values of the detection parameter based on a quality of detection of the first or further object with the aid of the sensor for at least two other detection values of the detection parameter and / or a predetermined difference to at least one other of the detection values; and or
  • - Means for guiding an object to be detected into a predetermined pose with the aid of the robot; and or
  • - Means for recording and / or evaluating an image, in particular for image recognition, for detecting an object with the aid of the sensor.

Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann und damit insbesondere den Sensor und/oder Roboter betreiben, insbesondere steuern, kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen.A means within the meaning of the present invention can be designed in terms of hardware and / or software, in particular a processing, in particular microprocessor unit (CPU) and / or a, preferably digital, processing unit (CPU) and / or a data or signal connected to a memory and / or bus system or have several programs or program modules. The CPU can be designed to process commands which are implemented as a program stored in a memory system, to acquire input signals from a data bus and / or to output output signals to a data bus. A storage system can have one or more, in particular different, storage media, in particular optical, magnetic, solid-state and / or other non-volatile media. The program can be designed in such a way that it embodies or is able to execute the methods described here, so that the CPU can execute the steps of such methods and thus in particular operate, in particular control, the sensor and / or robot. In one embodiment, a computer program product can have, in particular a non-volatile, storage medium for storing a program or with a program stored thereon, execution of this program causing a system or a controller, in particular a computer, to do so to carry out the method described here or one or more of its steps.

In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.In one embodiment, one or more, in particular all, steps of the method are carried out completely or partially in an automated manner, in particular by the system or its means.

In einer Ausführung weist das System den Roboter und/oder Sensor auf.In one embodiment, the system has the robot and / or sensor.

Eine Pose umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder eine ein-, zwei- oder dreidimensionale Orientierung. Eine Pose des Sensors kann in einer Ausführung von dessen Position und/oder Orientierung relativ zur Umgebung, dem Roboter, insbesondere einer Roboterbasis, und/oder dem zu detektierenden Objekt bzw. dessen Soll- oder Ist-Pose abhängen, diese insbesondere angeben bzw. definieren. Eine Pose eines Objekts kann in einer Ausführung von dessen Position und/oder Orientierung relativ zur Umgebung, dem Roboter, insbesondere einer Roboterbasis, und/oder dem Sensor abhängen, diese insbesondere angeben bzw. definieren.In one embodiment, a pose comprises a one-, two- or three-dimensional position and / or a one-, two- or three-dimensional orientation. In one embodiment, a pose of the sensor can depend on its position and / or orientation relative to the environment, the robot, in particular a robot base, and / or the object to be detected or its target or actual pose, in particular indicate or define this . In one embodiment, a pose of an object can depend on its position and / or orientation relative to the environment, the robot, in particular a robot base, and / or the sensor, and in particular indicate or define these.

Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert,:

  • 1: ein System zur Detektion eines Prozessobjekts mithilfe eines durch einen Roboter geführten Sensors nach einer Ausführung der vorliegenden Erfindung;
  • 2: ein Verfahren zur Detektion des Prozessobjekts mithilfe des durch den Roboter geführten Sensors nach einer Ausführung der vorliegenden Erfindung; und
  • 3: ein Verfahren zur Detektion des Prozessobjekts mithilfe des durch den Roboter geführten Sensors nach einer weiteren Ausführung der vorliegenden Erfindung.
Further advantages and features emerge from the subclaims and the exemplary embodiments. For this purpose shows, partly schematically:
  • 1 : a system for detecting a process object with the aid of a sensor guided by a robot according to an embodiment of the present invention;
  • 2 : a method for detecting the process object using the sensor guided by the robot according to an embodiment of the present invention; and
  • 3 : a method for detecting the process object with the aid of the sensor guided by the robot according to a further embodiment of the present invention.

1 zeigt ein System zur Detektion eines Prozessobjekts mithilfe eines durch einen Roboter 10 geführten Sensors 2 nach einer Ausführung der vorliegenden Erfindung. 1 shows a system for the detection of a process object with the aid of a robot 10 guided sensor 2 according to an embodiment of the present invention.

Der Roboter weist eine mobile Plattform 11, einen darauf montierten Roboterarm mit einem Greifer 12 und eine Robotersteuerung 13 auf. An dem distalen Flansch bzw. Endglied des Roboter(arm)s ist der Sensor in Form einer 2D- oder 3D-Kamera 2 angeordnet.The robot exhibits a mobile platform 11 , a robotic arm mounted on it with a gripper 12th and a robot controller 13th on. The sensor in the form of a 2D or 3D camera 2 is arranged on the distal flange or end member of the robot (arm).

2 zeigt ein Verfahren zur Detektion des Prozessobjekts mithilfe des durch den Roboter 10 geführten Sensors 2 nach einer Ausführung der vorliegenden Erfindung. 2 shows a method for detecting the process object with the aid of the robot 10 guided sensor 2 according to an embodiment of the present invention.

In einem ersten Schritt S10 wird das Prozess- oder ein gleichartiges Objekt 1 mithilfe des Greifers 12 abgelegt, so dass dessen Pose bekannt ist. Zusätzlich werden in Schritt S10 mehrere Detektions-Posen vorgegeben.In a first step S10, the process object or a similar object 1 using the gripper 12th filed so that its pose is known. In addition, several detection poses are specified in step S10.

In einem Schritt S20 wird die Kamera 2 mithilfe des Roboters 10 in die erste dieser Detektions-Posen gebracht. Zusätzlich wird in Schritt S20 ein Ausgangs-Detektions-Wert eines Erfassungsparameters des Sensors 2, einer Bildverarbeitung eines von diesem aufgenommenen Bildes und/oder einer Umgebung, beispielsweise eine Belichtungszeit und/oder Blende und/oder ein Weißabgleich der Kamera 2, ein Bildausschnitt einer Bilderkennung und/oder eine Umgebungshelligkeit, als ein aktueller Detektions-Wert abgespeichert.In a step S20, the camera 2 using the robot 10 in the first of these detection Brought poses. In addition, in step S20, an output detection value becomes a detection parameter of the sensor 2 , image processing of an image recorded by this and / or an environment, for example an exposure time and / or aperture and / or a white balance of the camera 2 , an image section of an image recognition and / or an ambient brightness, stored as a current detection value.

In einem Schritt S30 wird der abgespeicherte Detektions-Wert gemäß einer Optimierungsstrategie, beispielsweise eines Gradientenverfahrens oder dergleichen, variiert, ein Bild aufgenommen, darin mittels Bilderkennung das Objekt 1 detektiert, insbesondere seine Pose ermittelt, und eine Güte dieser Detektion ermittelt, die gleich einer gewichteten Summe aus der Abweichung zwischen dieser ermittelten Pose und der durch das robotergeführte Ablegen bekannten Pose des Objekts 1 und dem Gütewert der Bilderkennung ist. Diese Güte der Detektion wird zusammen mit der Detektions-Pose und dem Detektions-Wert in Schritt S30 abgespeichert.In a step S30, the stored detection value is varied in accordance with an optimization strategy, for example a gradient method or the like, and an image is recorded and the object therein by means of image recognition 1 detects, in particular its pose, and determines a quality of this detection which is equal to a weighted sum of the deviation between this determined pose and the pose of the object known from the robot-guided placing down 1 and the quality value of the image recognition. This quality of detection is stored together with the detection pose and the detection value in step S30.

Dann wird in einem Schritt S40 geprüft, ob eine Verbesserung der Güte der Detektion durch die Variation des Detektions-Wertes einen vorgegebenen Schwellwert überschreitet und eine vorgegebene Mindestzahl von Detektions-Werten noch nicht erreicht bzw. durchprobiert wurde.In a step S40, it is then checked whether an improvement in the quality of the detection due to the variation of the detection value exceeds a predefined threshold value and a predefined minimum number of detection values has not yet been reached or tried.

Ist dies der Fall, d.h. wurden die vorgegebene Mindestzahl noch nicht erreicht oder ergab sich noch eine ausreichend große Verbesserung (S40: „Y“), kehrt das Verfahren zu Schritt S30 zurück, in dem erneut der abgespeicherte Detektions-Wert variiert, ein Bild aufgenommen, das Objekt 1 detektiert, eine Güte dieser Detektion ermittelt und zusammen mit der Detektions-Pose und dem Detektions-Wert abgespeichert wird.If this is the case, ie if the specified minimum number has not yet been reached or if there was still a sufficiently large improvement (S40: “Y”), the method returns to step S30, in which the stored detection value varies again and a picture is taken , the object 1 is detected, a quality of this detection is determined and stored together with the detection pose and the detection value.

Falls die Verbesserung der Güte der Detektion durch die Variation des Detektions-Wertes den vorgegebenen Schwellwert nicht überschreitet und auch die vorgegebene Mindestzahl von Detektions-Werten bereits erreicht bzw. durchprobiert wurde (S40: „N“), wird in einem Schritt S50 geprüft, ob alle vorgegebenen Detektions-Posen durchprobiert worden sind. Ist dies nicht der Fall (S50: „N“), kehrt das Verfahren zu Schritt S20 zurück, der erneut mit der nächsten der vorgegebenen Detektions-Posen durchgeführt wird.If the improvement in the quality of the detection due to the variation of the detection value does not exceed the predefined threshold value and the predefined minimum number of detection values has already been reached or tried (S40: “N”), it is checked in a step S50 whether all specified detection poses have been tried. If this is not the case (S50: “N”), the method returns to step S20, which is carried out again with the next of the predefined detection poses.

Sind alle vorgegebenen Detektions-Posen durchprobiert (S50: „Y“), werden in einem Schritt S60 die abgespeicherten Güten der Detektionen verglichen, die Kombination aus Detektions-Pose und Detektions-Wert mit der höchsten Güte ausgewählt und diese(r) als Soll-Pose bzw. -Wert abgespeichert.If all the predefined detection poses have been tried out (S50: "Y"), the stored qualities of the detections are compared in a step S60, the combination of detection pose and detection value with the highest quality is selected and this (r) is used as the target value. Pose or value saved.

Anschließend können Prozessobjekte mit dieser besonders vorteilhaften Soll-Pose und diesem besonders vorteilhaften Soll-Wert detektiert werden (S70).Process objects with this particularly advantageous target pose and this particularly advantageous target value can then be detected (S70).

Dies ist ein Beispiel einer vorab durchgeführten Optimierung der Pose des Sensors und des Wertes des Erfassungsparameters, wobei eine Vielzahl von Abwandlungen möglich ist.This is an example of an optimization of the pose of the sensor and the value of the detection parameter carried out in advance, with a large number of modifications being possible.

So können insbesondere zusätzlich oder alternativ auch Detektions-Posen auf Basis bereits probierter Detektions-Posen und hierfür ermittelter Güten der Detektion vorgegeben werden, insbesondere in Richtung steigender Güte (weiter)gesucht werden, in einer Ausführung bis die hierdurch erreichte Verbesserung der Güte der Detektion den vorgegebenen Schwellwert unterschreitet. Gleichermaßen können in den vorgegeben Detektions-Posen auch vorab vorgegebene Detektions-Werte durchprobiert werden.In particular, additionally or alternatively, detection poses on the basis of already tried detection poses and the detection qualities determined for this purpose can also be specified, in particular searches can be made (further) in the direction of increasing quality, in one embodiment until the improvement in detection quality achieved as a result falls below the specified threshold. Likewise, predetermined detection values can also be tried out in the predetermined detection poses.

Gleichermaßen kann insbesondere für mehrere der ausprobierten Detektions-Posen jeweils der Detektions-Wert, für den die höchste Güte der Detektion ermittelt worden ist, als zugehöriger, posenspezifischer Soll-Wert abgespeichert werden. Dann kann in Schritt S70 der Roboter 10 die Kamera 2 in einer Arbeitspose anordnen, die beispielsweise durch eine Kollisionsvermeidung oder dergleichen bestimmt ist, und für die Detektion denjenigen der abgespeicherten Soll-Werte einstellen, dessen zugehörige Pose dieser Arbeitspose am nächsten liegt.In the same way, the detection value for which the highest quality of detection has been determined can be stored as an associated, pose-specific setpoint value, in particular for several of the detection poses that have been tried out. Then in step S70 the robot can 10 the camera 2 Arrange in a working pose, which is determined, for example, by collision avoidance or the like, and for the detection set that of the stored target values whose associated pose is closest to this working pose.

In analoger Weise kann beispielsweise für eine erfasste Umgebungshelligkeit jeweils eine hierfür besonders günstige Sensorpose angefahren werden oder dergleichen.In an analogous manner, for example, a particularly favorable sensor pose or the like can be approached in each case for a detected ambient brightness.

3 zeigt ein Verfahren zur Detektion des Prozessobjekts mithilfe des durch den Roboter 10 geführten Sensors 2 nach einer weiteren Ausführung der vorliegenden Erfindung. 3 shows a method for detecting the process object with the aid of the robot 10 guided sensor 2 according to a further embodiment of the present invention.

In einem ersten Schritt S1 ordnet der Roboter 10 den Sensor 2 in einer Ausgangs-Detektions-Pose an und es wird ein Ausgangs-Detektions-Wert des Erfassungsparameters eingestellt sowie als eine Güte der Detektion initial ein minimal möglicher Werte, beispielsweise Null, zusammen mit der Ausgangs-Detektions-Pose und dem Ausgangs-Detektions-Wert des Erfassungsparameters als Soll-Pose bzw. Soll-Wert des Erfassungsparameters abgespeichert.In a first step S1, the robot arranges 10 the sensor 2 in an initial detection pose and an initial detection value of the detection parameter is set and, as a quality of detection, initially a minimum possible value, for example zero, together with the initial detection pose and the initial detection value of the acquisition parameter is stored as a target pose or target value of the acquisition parameter.

In einem Schritt S2 werden Detektions-Pose und/oder -Wert variiert, ein Bild des Prozessobjekts 1 aufgenommen, darin mittels Bilderkennung das Prozessobjekt detektiert, insbesondere seine Pose ermittelt, und eine Güte dieser Detektion ermittelt, die gleich dem Gütewert der Bilderkennung ist.In a step S2, the detection pose and / or value are varied, an image of the process object 1 recorded, the process object is detected therein by means of image recognition, in particular its pose is determined, and a quality of this detection is determined which is equal to the quality value of the image recognition.

Diese Güte der Detektion wird in einem Schritt S3 mit der abgespeicherten Güte verglichen. Ist die in Schritt S2 ermittelte Güte höher als die abgespeicherte Güte (S3: „Y“), werden in einem Schritt S4 diese in Schritt S2 ermittelte Güte und die in Schritt S2 angefahrene Detektions-Pose bzw. der in Schritt S2 eingestellte Detektions-Wert des Erfassungsparameters als neue Güte bzw. Detektions-Pose bzw. -Wert abgespeichert.This quality of detection is compared with the stored quality in a step S3. If the quality determined in step S2 is higher than the stored quality (S3: “Y”), in a step S4 this quality determined in step S2 and the detection pose approached in step S2 or the detection value set in step S2 of the detection parameter is saved as a new quality or detection pose or value.

Andernfalls (S3: „N“) werden die zuvor abgespeicherte Güte und zugehörige Detektions-Pose bzw. -Wert nicht überschrieben.Otherwise (S3: "N") the previously saved quality and the associated detection pose or value are not overwritten.

In einem Schritt S5 wird das detektierte Prozessobjekt 1 mithilfe des Roboters 10 bearbeitet und/oder gehandhabt, insbesondere transportiert.In a step S5, the detected process object is 1 using the robot 10 processed and / or handled, in particular transported.

Sofern anschließend ein weiteres Prozessobjekt bearbeitet und/oder gehandhabt werden soll (S5: „Y“), kehrt das Verfahren zu Schritt S2 zurück, d.h. variiert Detektions-Pose und/oder -Wert erneut, insbesondere in vorstehend mit Bezug auf 2 erläuterter Weise in einer durch die Güte ermittelten Suchrichtung, nimmt ein Bild des weiteren Prozessobjekts auf, detektiert darin mittels Bilderkennung dieses Prozessobjekt und ermittelt eine Güte dieser Detektion.If a further process object is then to be processed and / or handled (S5: “Y”), the method returns to step S2, ie varies the detection pose and / or value again, in particular in relation to FIG 2 explained in a search direction determined by the quality, records an image of the further process object, detects this process object therein by means of image recognition and determines a quality of this detection.

Andernfalls (S5: „N“) endet der Prozess (S6).Otherwise (S5: “N”), the process (S6) ends.

Dies ist ein Beispiel einer während der Handhabung bzw. Bearbeitung von Prozessobjekten durchgeführten Optimierung der Pose des Sensors bzw. des Wertes des Erfassungsparameters, wobei wiederum eine Vielzahl von Abwandlungen möglich ist.This is an example of an optimization of the pose of the sensor or the value of the detection parameter carried out during the handling or processing of process objects, with a large number of modifications being possible again.

So kann beispielsweise das Verfahren dadurch initialisiert werden, dass die Güte der Detektion im Prozess fortlaufend überwacht und erst bei einer Verschlechterung um wenigstens einen vorgegebenen Wert die oben beschriebene Optimierung der Pose des Sensors bzw. des Wertes des Erfassungsparameters begonnen wird.For example, the method can be initialized by continuously monitoring the quality of the detection in the process and only starting the above-described optimization of the pose of the sensor or the value of the detection parameter when it deteriorates by at least a predetermined value.

Beide mit Bezug auf 2, 3 erläuterten Verfahren können auch kombiniert werden, indem zum Beispiel das Verfahren gemäß 3 während der Handhabung bzw. Bearbeitung von Prozessobjekten durchgeführt wird und das Verfahren gemäß 2 zuvor und/oder anschließend. Somit können die Pose des Sensors bzw. der Wert des Erfassungsparameters bereits vorab optimiert, anschließend während der Handhabung bzw. Bearbeitung von Prozessobjekten weiter optimiert werden, wobei in Schritt S2 als Ausgangs-Detektions-Pose bzw. Ausgangs-Detektions-Wert die in Schritt S60 ermittelte Soll-Pose bzw. der in Schritt S60 ermittelte Soll-Wert verwendet wird, und/oder anschließend an die(se) Handhabung bzw. Bearbeitung von Prozessobjekten, während der die Pose des Sensors bzw. der Wert des Erfassungsparameters (weiter) optimiert werden, die Pose des Sensors bzw. der Wert des Erfassungsparameters (noch) weiter optimiert werden, indem in Schritt S10, S20 die auszuprobierenden Detektions-Posen und Detektions-Werte des Erfassungsparameters auf Basis der während der Handhabung bzw. Bearbeitung von Prozessobjekten abgespeicherten Pose bzw. Wert des Erfassungsparameters vorgegeben werden, insbesondere in deren bzw. dessen Nähe.Both related to 2 , 3 explained methods can also be combined, for example by the method according to 3 is carried out during the handling or processing of process objects and the method according to 2 before and / or afterwards. Thus, the pose of the sensor or the value of the detection parameter can already be optimized in advance, then further optimized during the handling or processing of process objects, with the starting detection pose or output detection value in step S60 in step S2 determined target pose or the target value determined in step S60 is used, and / or following the (se) handling or processing of process objects, during which the pose of the sensor or the value of the detection parameter are (further) optimized , the pose of the sensor or the value of the detection parameter can (still) be further optimized by the detection poses and detection values of the detection parameters to be tried out on the basis of the pose or the processing objects stored during the handling or processing of process objects in steps S10, S20. The value of the detection parameter can be specified, in particular in or near it.

Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Although exemplary embodiments have been explained in the preceding description, it should be pointed out that a large number of modifications are possible.

So wurde das Verfahren mit Bezug auf die Detektion eines einzelnen Objekts 1 erläutert. Gleichermaßen können jedoch auch jeweils mehrere Objekte detektiert werden, insbesondere bei bzw. für einen „Griff-in-die-Kiste“-Prozess oder dergleichen.So was the procedure with regard to the detection of a single object 1 explained. In the same way, however, a plurality of objects can also be detected in each case, in particular during or for a “pick-in-the-box” process or the like.

BezugszeichenlisteList of reference symbols

11
Objektobject
22
Kamera (Sensor)Camera (sensor)
1010
Roboter(arm)Robot (arm)
1111
mobile Plattformmobile platform
1212th
GreiferGrapple
1313th
RobotersteuerungRobot control

Claims (12)

Verfahren zur Detektion wenigstens eines Prozessobjekts mithilfe eines durch einen Roboter (10) geführten Sensors (2), mit den Schritten: - Detektieren (S30; S2) wenigstens eines ersten Objekts (1) mithilfe des Sensors in einer ersten Detektions-Pose bei einem ersten Detektions-Wert eines Erfassungsparameters des Sensors, einer Bildverarbeitung und/oder einer Umgebung; - Detektieren (S30; S2) des ersten oder wenigstens eines weiteren Objekts mithilfe des Sensors in wenigstens einer weiteren Detektions-Pose und/oder bei wenigstens einem weiteren Detektions-Wert des Erfassungsparameters; - Ermitteln (S60; S4) wenigstens einer Soll-Pose des Sensors und/oder wenigstens eines Soll-Wertes des Erfassungsparameters auf Basis einer Güte der Detektion des ersten Objekts mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters und einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors in der weiteren Detektions-Pose bzw. bei dem weiteren Detektions-Wert des Erfassungsparameters; und - Detektieren (S70; S2) des Prozessobjekts mithilfe des Sensors in der ermittelten Soll-Pose bzw. bei dem ermittelten Soll-Wert des Erfassu ngsparameters.Method for detecting at least one process object with the aid of a sensor (2) guided by a robot (10), comprising the steps of: - Detecting (S30; S2) at least one first object (1) with the aid of the sensor in a first detection pose in a first Detection value of a detection parameter of the sensor, image processing and / or an environment; - Detecting (S30; S2) the first or at least one further object with the aid of the sensor in at least one further detection pose and / or with at least one further detection value of the detection parameter; - Determining (S60; S4) at least one target pose of the sensor and / or at least one target value of the detection parameter on the basis of a quality of the detection of the first object with the aid of the sensor in the first detection pose for the first detection value of the detection parameter and a quality of the detection of the first or further object with the aid of the sensor in the further detection pose or at the further detection value of the detection parameter; and - detecting (S70; S2) the process object with the aid of the sensor in the determined target pose or with the determined target value of the detection parameter. Verfahren nach Anspruch 1, mit den Schritten: - Ermitteln eines ersten Soll-Wertes des Erfassungsparameters für eine erste Referenz-Pose des Sensors sowie eines weiteren Soll-Wertes des Erfassungsparameters für wenigstens eine weitere Referenz-Pose des Sensors; - Ermitteln eines Soll-Wertes des Erfassungsparameters für eine Arbeitspose des Sensors auf Basis des ersten und wenigstens einen weiteren Soll-Wertes des Erfassungsparameters; und - Detektieren des Prozessobjekts mithilfe des Sensors in der Arbeitspose des Sensors bei dem hierfür ermittelten Soll-Wert des Erfassungsparameters; und/oder den Schritten: - Ermitteln einer ersten Soll-Pose des Sensors für einen ersten Referenz-Wert des Erfassungsparameters sowie einer weiteren Soll-Pose des Sensors für wenigstens einen weiteren Referenz-Wert des Erfassungsparameters; - Ermitteln einer Soll-Pose des Sensors für einen Arbeitswert des Erfassungsparameters auf Basis der ersten und wenigstens einen weiteren Soll-Pose des Sensors; und - Detektieren des Prozessobjekts mithilfe des Sensors bei dem Arbeitswert des Erfassungsparameters in der hierfür ermittelten Soll-Pose des SensorsProcedure according to Claim 1 , with the steps of: determining a first setpoint value of the detection parameter for a first reference pose of the sensor and a further setpoint value of the detection parameter for at least one further reference pose of the sensor; Determining a setpoint value of the detection parameter for a working position of the sensor on the basis of the first and at least one further setpoint value of the detection parameter; and - detecting the process object with the aid of the sensor in the working position of the sensor at the setpoint value of the detection parameter determined for this purpose; and / or the steps of: determining a first target pose of the sensor for a first reference value of the acquisition parameter and a further target pose of the sensor for at least one further reference value of the acquisition parameter; Determining a target pose of the sensor for an operating value of the detection parameter on the basis of the first and at least one further target pose of the sensor; and - using the sensor to detect the process object at the working value of the detection parameter in the target pose of the sensor determined for this purpose Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch den Schritt: Führen und/oder Bearbeiten des detektierten Prozessobjekts mithilfe des, insbesondere den Sensor führenden, Roboters.Method according to one of the preceding claims, characterized by the step: guiding and / or processing the detected process object with the aid of the robot, in particular guiding the sensor. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das erste und weitere Objekt jeweils ein Prozessobjekt ist, das nach dem Detektieren durch den Roboter geführt und/oder bearbeitet wird.Method according to one of the preceding claims, characterized in that the first and further objects are each a process object that is guided and / or processed by the robot after detection. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass: - wenigstens eine der weiteren Detektions-Posen auf Basis einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors in wenigstens zwei anderen der Detektions-Posen und/oder eines vorgegebenen Abstandes zu wenigstens einer anderen der Detektions-Posen; und/oder - wenigstens einer der weiteren Detektions-Werte des Erfassungsparameters auf Basis einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors bei wenigstens zwei anderen der Detektions-Werte des Erfassungsparameters und/oder einer vorgegebenen Differenz zu wenigstens einem anderen der Detektions-Werte. vorgegeben wird.Method according to one of the preceding claims, characterized in that: at least one of the further detection poses based on a quality of detection of the first or further object with the aid of the sensor in at least two other of the detection poses and / or a predetermined distance at least one other of the detection poses; and / or at least one of the further detection values of the detection parameter based on a quality of detection of the first or further object with the aid of the sensor for at least two other detection values of the detection parameter and / or a predetermined difference to at least one other of the detection -Values. is specified. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Güte der Detektion von einer Abweichung zwischen einer ermittelten und bekannten Pose und/oder einer Güte einer Bilderkennung des detektierten Objekts abhängt.Method according to one of the preceding claims, characterized in that the quality of the detection depends on a deviation between a determined and known pose and / or a quality of image recognition of the detected object. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch den Schritt: Führen eines zu detektierenden Objekts in eine hierzu vorgegebene Pose mithilfe des Roboters.Method according to one of the preceding claims, characterized by the step of guiding an object to be detected into a pose predetermined for this with the aid of the robot. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Roboter eine mobile Basis (11) aufweist.Method according to one of the preceding claims, characterized in that the robot has a mobile base (11). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sensor ein optischer Sensor ist, insbesondere das Detektieren eines Objekts mithilfe des Sensors ein Aufnehmen und/oder Auswerten eines Bildes, insbesondere eine Bilderkennung, umfasst.Method according to one of the preceding claims, characterized in that the sensor is an optical sensor, in particular the detection of an object with the aid of the sensor comprises a recording and / or evaluation of an image, in particular an image recognition. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Wert des Erfassungsparameters von einem, insbesondere verstellbaren, Betriebsparameter einer Bildaufnahme mithilfe des Sensors und/oder einem, insbesondere verstellbaren, Betriebsparameter einer Bildverarbeitung, insbesondere -erkennung, und/oder einem, insbesondere erfassten und/oder verstellbaren, Lichtparameter der Umgebung abhängt.Method according to one of the preceding claims, characterized in that the value of the acquisition parameter of one, in particular adjustable, operating parameter of an image recording with the aid of the sensor and / or one, in particular adjustable, operating parameter of image processing, in particular recognition, and / or one, in particular acquired and / or adjustable, light parameters of the environment depends. System zur Detektion wenigstens eines Prozessobjekts mithilfe eines durch einen Roboter (10) geführten Sensors (2), das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist: - Mittel zum Detektieren wenigstens eines ersten Objekts (1) mithilfe des Sensors in einer ersten Detektions-Pose bei einem ersten Detektions-Wert eines Erfassungsparameters des Sensors, einer Bildverarbeitung und/oder einer Umgebung; - Mittel zum Detektieren des ersten oder wenigstens eines weiteren Objekts mithilfe des Sensors in wenigstens einer weiteren Detektions-Pose und/oder bei wenigstens einem weiteren Detektions-Wert des Erfassungsparameters; - Mittel zum Ermitteln wenigstens einer Soll-Pose des Sensors und/oder wenigstens eines Soll-Wertes des Erfassungsparameters auf Basis einer Güte der Detektion des ersten Objekts mithilfe des Sensors in der ersten Detektions-Pose bei dem ersten Detektions-Wert des Erfassungsparameters und einer Güte der Detektion des ersten bzw. weiteren Objekts mithilfe des Sensors in der weiteren Detektions-Pose bzw. bei dem weiteren Detektions-Wert des Erfassungsparameters; und - Mittel zum Detektieren des Prozessobjekts mithilfe des Sensors in der ermittelten Soll-Pose bzw. bei dem ermittelten Soll-Wert des ErfassungsparametersSystem for detecting at least one process object with the aid of a sensor (2) guided by a robot (10), which sensor is set up to carry out a method according to one of the preceding claims and / or has: - means for detecting at least one first object (1) with the aid of the Sensor in a first detection pose for a first detection value of a detection parameter of the sensor, image processing and / or an environment; - Means for detecting the first or at least one further object with the aid of the sensor in at least one further detection pose and / or with at least one further detection value of the detection parameter; - Means for determining at least one target pose of the sensor and / or at least one target value of the detection parameter based on a quality of the detection of the first object with the aid of the sensor in the first detection pose for the first detection value of the detection parameter and a quality the detection of the first or further object with the aid of the sensor in the further detection pose or at the further detection value of the detection parameter; and means for detecting the process object with the aid of the sensor in the determined target pose or with the determined target value of the detection parameter Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.Computer program product with a program code, which is stored on a medium readable by a computer, for carrying out a method according to one of the preceding claims.
DE102017011897.3A 2017-12-21 2017-12-21 Detection of objects using robot-guided sensors Active DE102017011897B4 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017011897.3A DE102017011897B4 (en) 2017-12-21 2017-12-21 Detection of objects using robot-guided sensors
PCT/EP2018/083929 WO2019121062A1 (en) 2017-12-21 2018-12-07 Detection of objects using robot-guided sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017011897.3A DE102017011897B4 (en) 2017-12-21 2017-12-21 Detection of objects using robot-guided sensors

Publications (2)

Publication Number Publication Date
DE102017011897A1 DE102017011897A1 (en) 2019-06-27
DE102017011897B4 true DE102017011897B4 (en) 2021-07-01

Family

ID=65003325

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017011897.3A Active DE102017011897B4 (en) 2017-12-21 2017-12-21 Detection of objects using robot-guided sensors

Country Status (2)

Country Link
DE (1) DE102017011897B4 (en)
WO (1) WO2019121062A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070213874A1 (en) * 2006-03-10 2007-09-13 Fanuc Ltd Device, program, recording medium and method for robot simulation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013007743A1 (en) * 2012-05-08 2013-11-14 Vision Tools Bildanalyse Systeme Gmbh Method for unloading objects with sensor system, involves generating depth picture in pose and another pose, where poses are calculated from rough calculation of position of one or more objects
US9205562B1 (en) * 2014-08-29 2015-12-08 Google Inc. Integration of depth points into a height map
CA2977077C (en) * 2017-06-16 2019-10-15 Robotiq Inc. Robotic arm camera system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070213874A1 (en) * 2006-03-10 2007-09-13 Fanuc Ltd Device, program, recording medium and method for robot simulation

Also Published As

Publication number Publication date
DE102017011897A1 (en) 2019-06-27
WO2019121062A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
DE102014102943B4 (en) Robot system with functionality for determining the location of a 3D box
DE102016212695B4 (en) industrial robots
DE102015208584B4 (en) Gripping device and gripping method
DE112011103794B4 (en) Pick-up device for workpieces
DE102015000587B4 (en) A robot programming device for creating a robot program for taking an image of a workpiece
DE102015002348B4 (en) Robot controller with the function to simplify the teaching process and to improve the mobility of the robot
DE102016001174B4 (en) Robot system for removing workpieces with position and orientation conversion function and process for removing workpieces
EP3320483B1 (en) Method for controlling a robot and/or an autonomous driverless transport system
DE112018007727B4 (en) robotic system
DE102015102399A1 (en) Robot simulation device for generating a movement path of a robot
DE102021103726B4 (en) Measurement parameter optimization method and device and computer control program
DE112019001256B3 (en) Control device, working robot, program and control method
DE102014016032A1 (en) Apparatus and method for picking up randomly heaped items with a robot
DE102022130652A1 (en) TRAINING A ROBOT BY DEMONSTRATING USING VISUALSERVOING
DE102015012344A1 (en) Method for calibrating a camera
DE102017011897B4 (en) Detection of objects using robot-guided sensors
DE102017128332B4 (en) Molding system provided with a molding machine and a molded product take-out device
DE102006036345B4 (en) Method and device for determining the position of objects in three-dimensional space
DE102018218611A1 (en) Method and computing device for generating a three-dimensional CAD model
DE102016006232A1 (en) Method and system for aligning a virtual model with a real object
DE102019120053B4 (en) Process and measuring cell for checking non-inherently rigid components and manufacturing plant
DE102018205669A1 (en) Receiving Payloads Using a Robot-Driven Tool
DE112018007703B4 (en) robot controller
EP3875892B1 (en) Optical measuring apparatus, method for generating a measuring program for optical measurement of an object and inspection method for optical measurement of an object
DE102014114272B4 (en) Method for controlling a robot arrangement guided by image acquisition

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: WALLINGER RICKER SCHLOTTER TOSTMANN PATENT- UN, DE

R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final