DE102015209900A1 - Verfahren zum Bestimmen eines Bahnpunktes - Google Patents

Verfahren zum Bestimmen eines Bahnpunktes Download PDF

Info

Publication number
DE102015209900A1
DE102015209900A1 DE102015209900.8A DE102015209900A DE102015209900A1 DE 102015209900 A1 DE102015209900 A1 DE 102015209900A1 DE 102015209900 A DE102015209900 A DE 102015209900A DE 102015209900 A1 DE102015209900 A1 DE 102015209900A1
Authority
DE
Germany
Prior art keywords
environment
temperature
determining
point
path point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102015209900.8A
Other languages
English (en)
Inventor
Jacob Saoumi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Priority to DE102015209900.8A priority Critical patent/DE102015209900A1/de
Priority to CN201680031527.8A priority patent/CN107666988A/zh
Priority to PCT/EP2016/061667 priority patent/WO2016193058A1/de
Priority to EP16725497.8A priority patent/EP3302895A1/de
Publication of DE102015209900A1 publication Critical patent/DE102015209900A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/35Nc in input of data, input till input file format
    • G05B2219/35444Gesture interface, controlled machine observes operator, executes commands
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37266Infrared
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37426Detected with infrared sensor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/375673-D vision, stereo vision, with two cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39441Voice command, camera detects object, grasp, move

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Bahnpunktes für eine Roboterprogrammierung, umfassend ein Erfassen eines ersten Temperaturprofils einer Umgebung und ein Bestimmen des Bahnpunktes unter Verwendung des erfassten ersten Temperaturprofils. Ferner betrifft die vorliegende Erfindung ein entsprechendes System zum Bestimmen eines Bahnpunktes für eine Roboterprogrammierung.

Description

  • 1. Technischer Bereich
  • Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Bahnpunktes für eine Roboterprogrammierung, und ferner ein entsprechendes System zum Bestimmen eines Bahnpunktes für eine Roboterprogrammierung.
  • 2. Technischer Hintergrund
  • Roboter (und insbesondere Industrieroboter) sind frei programmierbare, programmgesteuerte Handhabungsgeräte. Die eigentliche Robotermechanik wird üblicherweise als Manipulator bezeichnet, welche aus einer Vielzahl von beweglichen Gliedern oder Achsen bestehen kann. Durch eine gezielte Regelung von Motoren (und insbesondere Servomotoren) können die einzelnen Achsen bewegt werden.
  • Während eines Arbeitsprozesses, wie beispielsweise einem Schweißprozess oder Falzprozess, fährt ein entsprechender Manipulator üblicherweise eine Trajektorie oder Bahn ab, wobei die einzelnen Punkte der Bahn durch ein Roboterprogramm oder eine Bahnplanung vorgegeben sind. Der Begriff Bahnplanung beschreibt dabei generell Verfahren und Vorrichtungen zur Bewegung eines Manipulators. Zur Programmierung eines Roboterprogramms müssen die Positionen einzelner Bahnpunkte, welche von dem Manipulator angefahren werden sollen, zunächst erfasst bzw. vorgegeben werden. Die übrigen Punkte, bzw. die detaillierte Bahnbewegung des Manipulators, wird mittels eines Algorithmus berechnet, etwa mittels einer Punkt-zu-Punkt-Bahnplanung (engl.: point-to-point), oder einer sogenannten Spline-Bahnplanung. Dieses Festlegen von einzelnen Bahnpunkten, bzw. das „Teachen“ von Bahnpunkten, oder das Festlegen einer abzufahrenden Bahn ist ein zeitaufwendiger Schritt in der Roboterprogrammierung. Prinzipiell kann zwischen zwei verschiedenen Ansätzen unterschieden werden: Der Online- und Offlineprogrammierung.
  • Bei der Offlineprogrammierung können beispielsweise mittels eines CAD-Modells oder eines Simulations-Tools einzelne Bahnpunkte generiert werden. Der Manipulator wird dabei nicht zur Programmerstellung benötigt, da die Bewegungsabläufe des Manipulators mit Hilfe virtueller dreidimensionaler Simulationsumgebungen festgelegt werden können.
  • Bei der Onlineprogrammierung erfolgt die Programmierung direkt an dem Manipulator. Hierzu können beispielsweise spezielle Programmierhandgeräte eingesetzt werden, um einen Manipulator direkt von einem Punkt zu einem anderen zu führen und dabei die angefahrenen Bahnpunkte aufzunehmen und zu speichern. Dieses Verfahren ist jedoch sehr zeitaufwendig und nicht intuitiv. Weiterhin ist ein Playback-Verfahren als eine andere Variante der Onlineprogrammierung bekannt. Hierbei fährt der Programmierer den Manipulator durch direktes Führen des Manipulators entlang einer später abzufahrenden Bahn. Währenddessen werden einzelne Punkte aufgezeichnet und in ein entsprechendes Roboterprogramm übertragen. Hierzu müssen jedoch spezielle Sicherheitsvorkehrungen getroffen werden, damit der Programmierer nicht durch den Manipulator verletzt wird. Weiterhin ist ein PdV-Verfahren (Programmieren-durch-Vormachen-Verfahren) als eine weitere Variante der Onlineprogrammierung bekannt, bei welchem unterschiedliche Sensoren und maschinelle Lernverfahren verwendet werden, um eine menschliche Bewegung durch eine entsprechende Manipulatorbewegung abzubilden.
  • Aus dem Dokument US 2014/0201112 A1 ist ein Verfahren zum Teachen von Bahnpunkten bekannt, bei welchem ein spezielles Handhabungsgerät verwendet wird, welches mit Leuchtelementen ausgestattet ist. Dieses Verfahren ist ebenfalls nachteilig, da dieses spezielle Handhabungsgerät notwendigerweise bereitgestellt werden muss, und zudem eine entsprechende Ausbildung des Programmierers zur Nutzung des Handhabungsgeräts erforderlich ist.
  • Es ist somit eine Aufgabe der vorliegenden Erfindung ein Verfahren und ein System bereitzustellen, mit welchem Arbeitsabläufe eines Roboters definiert werden können, wobei die oben genannten Nachteile zumindest teilweise ausgeräumt werden. Es ist ferner eine Aufgabe der vorliegenden Erfindung ein Verfahren und ein System bereitzustellen, mit welchem Bahnpunkte einer Roboterprogrammierung intuitiv und zuverlässig bestimmt werden können.
  • Diese und weitere Aufgaben, welche beim Lesen der folgenden Beschreibung ersichtlich werden, werden mit einem Verfahren nach Anspruch 1 und einem System nach Anspruch 10 gelöst.
  • 3. Inhalt der Erfindung
  • Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen eines Bahnpunktes für ein Roboterprogramm bzw. für eine Roboterprogrammierung. Das erfindungsgemäße Verfahren kann somit verwendet werden, um einen oder mehrere Bahnpunkte zu bestimmen, welche für eine Roboterprogrammierung verwendet werden können. Der Begriff Roboterprogrammierung umfasst dabei das Vorgeben eines Bewegungsablaufs eines Roboters bzw. Manipulators entsprechend eines oder mehrerer Bahnpunkte. Die bestimmten Bahnpunkte können beispielsweise direkt in ein Roboterprogramm oder eine Bahnplanung integriert werden, oder zur Erstellung eines solchen herangezogen werden. Das Verfahren kann dabei vorzugsweise während einer Offline- oder Onlineprogrammierung eines Manipulators eingesetzt werden.
  • Das Verfahren umfasst ein Erfassen eines ersten Temperaturprofils einer Umgebung, und ein Bestimmen eines Bahnpunktes unter Verwendung des erfassten ersten Temperaturprofils. Dabei können vorzugsweise mehr als ein Bahnpunkt bestimmt werden, beispielsweise wenn eine Bahn bestehend aus mehreren Bahnpunkten festgelegt werden soll. Vorzugsweise erfolgt das Erfassen des Temperaturprofils mittels einer Temperaturmesseinrichtung und weiter vorzugsweise mittels einer Wärmebildkamera.
  • Es kann somit beispielsweise eine Wärmesignatur, welche auf einer Oberfläche der Umgebung vorhanden ist, erfasst werden, und diese Wärmesignatur zum Bestimmen des Bahnpunktes herangezogen werden. Ein aufwendiges Simulieren oder direktes Führen eines Manipulators ist dabei vorteilhaft nicht notwendig.
  • Der Begriff „Umgebung“ umfasst dabei Gegenstände und Objekte, welche beispielsweise in die Roboterprogrammierung einbezogen werden können. So können beispielsweise Werkstücke unter den Begriff der „Umgebung“ fallen, welche mittels eines Manipulators (und einem entsprechenden Roboterprogramm) bearbeitet werden sollen. Die Umgebung kann auch ebene oder strukturierte Oberflächen umfassen, wie beispielsweise Wände, Böden, Tischplatten, Gussformen, und so weiter. Ebenfalls kann die Umgebung auch einen oder mehrere Manipulatoren umfassen.
  • Vorzugsweise weist das Verfahren ferner ein Erzeugen einer Temperaturveränderung auf der Umgebung auf, wobei dieser Schritt des Erzeugens vorzugsweise durch einen Benutzer und insbesondere durch einen Menschen erfolgt. Weiter vorzugsweise erfolgt das Erzeugen der Temperaturveränderung durch Berühren der Umgebung mit einem Finger. Dabei ist insbesondere vorzugsweise das erfasste erste Temperaturprofil der Umgebung charakteristisch für die durch den Benutzer erzeugte Temperaturveränderung auf der Umgebung.
  • Somit erlaubt es das erfindungsgemäße Verfahren, durch Berühren der Umgebung entsprechende Bahnpunkte zu definieren. Dabei können Spuren von Wärme erfasst und verarbeitet werden, um einen Bahnpunkt zu bestimmen. Diese Spuren von Wärme werden beispielsweise von einem Benutzer durch Berührung einer Oberfläche erzeugt. Da die Körpertemperatur eines Menschen (etwa 37 °C) üblicherweise nicht gleich der Umgebungstemperatur ist, wird durch Berühren der Umgebung durch den Benutzer die Umgebung lokal erwärmt (oder lokal gekühlt).
  • Beispielsweise kann somit ein Benutzer durch Bewegung eines Zeigefingers auf einer beliebigen Oberfläche der Umgebung Wärmebahnen entstehen lassen, anhand welcher Bahnpunkte für die Roboterprogrammierung bestimmt werden können. Somit stellt das erfindungsgemäße Verfahren ein einfaches und intuitives Verfahren zum Definieren einer gewünschten Bahnlinie bereit, welche beispielsweise durch einen Manipulator abgefahren werden soll. Alternativ können auch nur einzelne Punkte in der Umgebung durch einen Benutzer berührt werden, welche für die Ermittlung des entsprechenden Bahnpunktes herangezogen werden. Somit umfasst das Bestimmen des Bahnpunktes vorzugsweise ein Ermitteln der auf der Umgebung erzeugten Temperaturveränderung. Hierzu können beispielsweise simple Erkennungs-Algorithmen angewendet werden, um Spuren von Wärme oder einzelne, punktuelle Wärmepunkte zu ermitteln. Je nach verwendeten Komponenten (wie beispielsweise der Wärmebildkamera), Eigenschaften der berührten Oberfläche, Umgebungstemperatur, Zeit zwischen Berührung und Erfassen des Temperaturprofils, etc., sollte die Fingerberührung ausreichend lange erfolgen, um ein möglichst eindeutiges Bestimmen des Bahnpunktes zu ermöglichen.
  • Weiter bevorzugt umfasst dabei das Erzeugen der Temperaturveränderung ein Erzeugen einer zeichenhaften Temperaturveränderung. Der Benutzer kann beispielsweise eine bestimmte Gestik mit seinem Finger auf der Umgebung abfahren, sodass die hieraus resultierende Temperaturveränderung diese Gestik widerspiegelt. So kann der Benutzer beispielsweise ein Kreuzzeichen, ein Kreiszeichen, stilisierte Pfeile oder ähnliche Symbole bzw. Zeichen mit seinem Finger auf der Umgebung abfahren. Die zeichenhafte Temperaturveränderung kann dabei auch aus einer gleichzeitigen, beispielsweise parallelen Führung von zwei Fingern entlang der Umgebung resultieren. Ferner vorzugsweise umfasst das Bestimmen des Bahnpunktes ein Zuordnen einer vordefinierten Roboteraktion. Durch Ermitteln der somit auf der Umgebung erzeugten Temperaturveränderung kann das Zeichen bzw. die Gestik erkannt werden, und einer entsprechenden Roboteraktion in dem Roboterprogramm zugeordnet werden. Somit kann der Benutzer auf eine intuitive Weise bestimmte Roboteraktionen, wie beispielsweise das Starten oder Beenden einer Messung, festlegen.
  • Vorzugsweise weist das Verfahren ferner ein Erfassen eines zweiten Temperaturprofils der Umgebung auf. Dabei erfolgt das Bestimmen des Bahnpunktes vorzugsweise unter Verwendung des erfassten zweiten Temperaturprofils. Vorzugsweise ist das zweite Temperaturprofil verschieden von dem ersten Temperaturprofil, beispielsweise aufgrund eines Einwirkens eines Benutzers auf die Umgebung. Beispielsweise kann ein erstes Temperaturprofil der Umgebung erfasst werden, anschließend eine Temperaturveränderung auf der Umgebung durch einen Benutzer hervorgerufen werden (indem dieser Benutzer beispielsweise einen Punkt der Umgebung mit seinem Finger berührt), und anschließend ein zweites Temperaturprofil der Umgebung erfasst werden. Basierend auf den beiden erfassten Temperaturprofilen bzw. unter Verwendung dieser Temperaturprofile wird der Bahnpunkt bestimmt, welcher der Stelle entspricht, welche mit dem Finger berührt wurde. Ferner vorzugsweise umfasst das Bestimmen des Bahnpunktes ein Vergleichen des ersten und zweiten Temperaturprofils. Durch solch einen Vergleich kann effizient festgestellt werden, ob und welcher Bereich einer Umgebung beispielsweise durch einen Benutzer berührt wurde, und für die Bestimmung des Bahnpunktes verwendet werden soll.
  • Vorzugsweise umfasst das Verfahren weiterhin ein Erfassen eines dreidimensionalen Bildes von der Umgebung, und ein Ermitteln eines dreidimensionalen Strukturprofils der Umgebung basierend auf dem erfassten dreidimensionalen Bild. Somit wird sowohl ein Temperaturprofil als auch ein dreidimensionales Bild der Umgebung erfasst. Das dreidimensionale Strukturprofil enthält dabei Informationen über eine räumliche Anordnung der Umgebung, wie beispielsweise ein Höhenprofil. Ferner erfolgt das Bestimmen des Bahnpunktes unter Verwendung des ermittelten dreidimensionalen Strukturprofils der Umgebung. Dadurch wird es möglich, Wärmespuren auch auf Oberflächen zu erkennen, deren Geometrie vorab unbekannt ist. Mit Hilfe des dreidimensionalen Bildes kann dabei erkannt werden, welche dreidimensionalen Koordinaten des Raums bzw. der Umgebung für die Bestimmung des Bahnpunktes zu verwenden sind. Ferner vorzugsweise erfolgt das Erfassen des dreidimensionalen Bildes mittels einer 3D-Kamera.
  • Vorzugsweise weist das Verfahren ferner ein Bereitstellen des bestimmten Bahnpunktes an eine Manipulatorsteuerung auf. Ferner vorzugsweise umfasst das Verfahren ein Steuern eines Manipulators anhand des bestimmten Bahnpunktes auf, wobei dieses Steuern mittels der Manipulatorsteuerung erfolgt. Dabei kann der bestimmte Bahnpunkt insbesondere vorzugsweise für eine Spline-Bahnplanung oder eine Punkt-zu-Punkt-Bahnplanung bereitgestellt werden. Somit kann der bestimmte Bahnpunkt direkt verwendet werden, um einen Manipulator entsprechend zu steuern. Beispielsweise kann ein Benutzer ein Objekt berühren, und anschließend kann mittels des erfindungsgemäßen Verfahrens dieses Objekt durch einen Manipulator gegriffen werden. Ein aufwendiges Programmieren einer solchen Manipulator- bzw. Roboterbewegung ist nicht notwendig, vielmehr erlaubt die vorliegende Erfindung ein intuitives Festlegen von Bahnpunkten.
  • Vorzugsweise weist das Verfahren ferner ein Aufnehmen eines Sprachbefehls auf, und das Bestimmen des Bahnpunktes erfolgt weiterhin unter Verwendung des aufgenommenen Sprachbefehls. Ein Programmierer kann also mit seiner Stimme das Verfahren intuitiv steuern, in dem er beispielsweise das Erfassen eines Temperaturprofils mittels eines entsprechenden Sprachbefehls steuert. Vorzugsweise erfolgt das Aufnehmen des Sprachbefehls mittels eines Mikrofons. Somit ist das Verfahren weiter intuitiv, ein langwieriges Einlernen eines Programmierers ist dabei vorteilhaft nicht notwendig. Vorzugsweise kann mittels eines Sprachbefehls zwischen zwei Verfahrensmodi geschaltet werden, wobei vorzugsweise ein Verfahrensmodus ein Bestimmen einzelner Bahnpunkte basierend auf beispielsweise einzelnen Wärmepunkten, und ein anderer Verfahrensmodus ein Bestimmen einer Bahn basierend auf beispielsweise einer Wärmespur ist.
  • Vorzugsweise weist die Umgebung eine im Wesentlichen ebene Oberfläche auf, beispielsweise eine Platte oder Glasfläche. Ferner umfasst das Erfassen des Temperaturprofils vorzugsweise ein Erfassen eines Temperaturprofils der im Wesentlichen ebenen Oberfläche. So kann ein Programmierer beispielsweise auf der im Wesentlichen ebenen Oberfläche eine bestimmte Bahn mit seinem Finger vorgeben, wie etwa durch eine Berührung der Oberfläche mit seinem Zeigefinger, und anschließend kann die aus dieser Berührung resultierende Wärmespur erfasst werden und für die Berechnung bzw. Bestimmung des Bahnpunktes herangezogen werden. Dieses Verfahren ist somit sehr robust, da beispielsweise fragile berührungsempfindliche Handhabungsgeräte zur Programmierung nicht notwendig sind. Der Fachmann versteht dabei, entsprechend der Anwendung, ein geeignetes Material mit einer geeigneten Wärmeleitfähigkeit zu wählen. Dabei versteht der Fachmann insbesondere, dass ein Material mit hoher Wärmeleitfähigkeit, wie etwa Stahl, ein einfaches Erzeugen einer Temperaturveränderung durch beispielsweise eine Fingerberührung ermöglicht, wobei die resultierende lokale Temperaturerhöhung jedoch leicht dissipieren kann. Weiter versteht der Fachmann, dass ein Material mit geringer Wärmeleitfähigkeit, wie etwa Holz, schlechter Wärme durch beispielsweise eine Fingerberührung aufnehmen kann, eine lokale Temperaturerhöhung allerdings länger bestehen bleibt. So kann beispielsweise, je nach Anwendungsform, eine Oberfläche (bspw. eine Holzplatte) mit einer entsprechenden Beschichtung (bspw. Kupferbeschichtung) versehen werden, um eine optimale Bestimmung eines Bahnpunktes im Sinne der vorliegenden Erfindung zu ermöglichen.
  • Weiterhin betrifft die vorliegende Erfindung ein System zum Bestimmen eines Bahnpunktes für ein Roboterprogramm bzw. für eine Roboterprogrammierung. Das System umfasst dabei eine Temperaturmesseinrichtung, eingerichtet zum Erfassen eines ersten Temperaturprofils einer Umgebung, und eine Steuerung, welche eingerichtet ist zum Bestimmen des Bahnpunktes unter Verwendung des mittels der Temperaturmesseinrichtung erfassten ersten Temperaturprofils. Dabei umfasst die Temperaturmesseinrichtung vorzugsweise eine Wärmebildkamera.
  • Vorzugsweise weist das System ferner eine Kamera auf, eingerichtet zum Erfassen eines dreidimensionalen Bildes von der Umgebung, und die Steuerung ist ferner eingerichtet zum Bestimmen des Bahnpunktes unter Verwendung des erfassten dreidimensionalen Bildes, wobei die Kamera vorzugsweise eine 3D-Kamera umfasst.
  • Vorzugsweise weist das System ein Mikrofon auf, welches eingerichtet ist zum Aufnehmen eines Sprachbefehls, und die Steuerung ist ferner eingerichtet zum Bestimmen des Bahnpunktes unter Verwendung des aufgenommenen Sprachbefehls.
  • Die einzelnen Komponenten des Systems können (teilweise) separat implementiert sein, oder auch (teilweise) in einer einzelnen Vorrichtung bereitgestellt werden. Beispielsweise können die Steuerung und das Mikrofon in einer einzelnen Vorrichtung bereitgestellt sein, wie etwa einem tragbaren Computer. Ferner kann beispielsweise die Steuerung zusammen mit einer Robotersteuerung implementiert sein, und/oder die Temperaturmesseinrichtung kann auf einem entsprechenden Roboter bzw. Manipulator bereitgestellt sein.
  • Der Begriff „Temperaturprofil“ kann im Sinne der vorliegenden Erfindung eine von einem Benutzer auf der Umgebung erzeugte Temperaturveränderung umfassen. Insbesondere kann die auf der Umgebung erzeugte Temperaturveränderung vorzugsweise einen einzelnen Wärmepunkt, und/oder eine Wärmespur bestehend aus mehreren Wärmepunkten umfassen. Der Begriff „Wärmepunkt“ umfasst dabei einen einzelnen Punkt auf der Umgebung, welcher aufgrund seiner (relativen) Temperatur markant ist. Beispielsweise hat ein Wärmepunkt auf einer Fläche eine höhere oder niedrigere Temperatur als die übrigen Punkte auf der Fläche. Dabei kann ein solcher (eindimensionaler) Wärmepunkt beispielsweise durch punktuelles Berühren der Fläche mit einem Finger entstehen. Eine „Wärmespur“ hingegen entsteht nicht nur durch ein punktuelles Berühren einer Fläche, sondern beispielsweise durch Abfahren einer Linie auf der Fläche. Somit kann eine Bahnlinie bestimmt werden, welche beispielsweise während eines Schweißprozesses durch den Manipulator abgefahren werden soll, um eine bestimmte Schweißnaht zu erstellen.
  • 4. Ausführungsbeispiele
  • Im Folgenden wird die vorliegende Erfindung unter Bezugnahme auf die beiliegenden Figuren näher beschrieben. Dabei zeigen:
  • 1 schematisch das Bestimmen eines Bahnpunktes gemäß einer Ausführungsform;
  • 2 schematisch das Bestimmen eines Bahnpunktes gemäß einer anderen Ausführungsform;
  • 3 schematisch den Ablauf eines Verfahrens zum Bestimmen eines Bahnpunktes gemäß einer Ausführungsform;
  • 4 schematisch den Ablauf eines Verfahrens zum Bestimmen eines Bahnpunktes gemäß einer anderen Ausführungsform, und
  • 5 schematisch den Ablauf eines Verfahrens zum Bestimmen eines Bahnpunktes gemäß einer weiteren Ausführungsform.
  • In der 1 ist schematisch das Bestimmen eines Bahnpunktes dargestellt, entsprechend einer Ausführungsform der vorliegenden Erfindung. Ein Kamerasystem 10, umfassend eine Wärmebildkamera, ist auf eine Oberfläche bzw. Fläche 12 gerichtet, welche im Wesentlichen eben ist. Zum Bestimmen eines Bahnpunktes fährt ein Programmierer mit seinem Finger 11 über die Fläche 12, und erwärmt dabei diese Fläche 12 lokal. Die dadurch resultierende Wärmespur 13 wird durch die Wärmekamera erfasst, und folgend werden entsprechende Bahnpunkte für eine Bewegung eines Manipulators aus dieser erfassten Wärmespur abgeleitet. Zum Erfassen der Wärmespur 13 mittels der Wärmekamera kann der Programmierer beispielsweise eine Auslösetaste (nicht gezeigt) drücken, wenn sichergestellt ist, dass die Wärmebildkamera nicht den Programmierer selbst erfasst. Alternativ oder zusätzlich kann der Programmierer auch einen Sprachbefehl aussprechen, welcher von einem Mikrofon (nicht gezeigt) aufgezeichnet wird und das Erfassen der Wärmespur 13 auslöst. Um die Wärmespur 13 präzise automatisch zu erkennen, kann beispielsweise mittels der Wärmebildkamera ein Bild vor und nach der Berührung der Fläche 12 durch den Finger 11 verglichen werden.
  • Die Darstellung in 2 entspricht im Wesentlichen der aus 1, jedoch befinden sich auf der Fläche 22 zwei Objekte 23, 24. Im Gegensatz zu der Darstellung aus 1 soll nun keine Bahn basierend auf einer Wärmespur, sondern nur zwei einzelne Bahnpunkte basierend auf zwei einzelnen Wärmepunkten 25, 26 bestimmt werden. Hierzu kann der Programmierer beispielsweise eine Umschalttaste (nicht gezeigt) drücken, mit welcher zwischen den Modi „Erfassen einer Bahnlinie“ und „Erfassen einzelner Bahnpunkte“ umgeschaltet werden kann. Alternativ kann ein solches Umschalten auch mittels eines Sprachbefehls gesteuert werden, welcher von einem Mikrofon (nicht gezeigt) aufgezeichnet werden kann.
  • Das Kameragehäuse 20 umfasst neben einer Wärmebildkamera zusätzlich eine 3D-Kamera. Der Programmierer berührt mit seinem Finger 21 jeweils einen Punkt auf den Objekten 23, 24, wodurch die Objekte eine punktuelle Temperaturerhöhung erfahren. Die Wärmebildkamera erfasst diese lokal erhöhten Temperaturen, bzw. die Wärmepunkte 25, 26. Die 3D-Kamera erfasst dazu ein dreidimensionales Bild, welches es erlaubt die dreidimensionale Position der berührten Punkte auf den Objekten 23, 24 zu ermitteln. Anschließend werden zwei Bahnpunkte basierend auf den mittels der Wärmebildkamera und der 3D-Kamera erfassten Daten bestimmt.
  • In 3 ist ein Verfahren 30 zum Bestimmen eines Bahnpunktes dargestellt. In Schritt 31 wird ein Temperaturprofil einer Umgebung erfasst. Anschließend wird in Schritt 32 ein Bahnpunkt unter Verwendung des erfassten Temperaturprofils bestimmt.
  • In 4 ist ein weiteres Verfahren 40 zum Bestimmen eines Bahnpunktes dargestellt. In Schritt 41 wird ein erstes Temperaturprofil einer Umgebung erfasst. Anschließend, bei Schritt 42, erzeugt ein Benutzer durch Berührung der Umgebung mit seinem Finger eine Wärmespur auf dieser Umgebung. Im folgenden Schritt 43 wird ein zweites Temperaturprofil der Umgebung erfasst. Der Fachmann versteht dabei, dass aufgrund der Berührung der Umgebung durch den Benutzer dieses zweite Temperaturprofil verschieden von dem ersten Temperaturprofil sein kann. In Schritt 44 wird das erste Temperaturprofil mit dem zweiten Temperaturprofil verglichen, und anschließend basierend hierauf in Schritt 45 der entsprechende Bahnpunkt bestimmt.
  • In 5 ist ein weiteres Verfahren 50 zum Bestimmen eines Bahnpunktes dargestellt. In Schritt 51 wird mittels einer Wärmebildkamera ein Wärmebild von einer Umgebung aufgenommen. In Schritt 52 wird eine Wärmespur in diesem Wärmebild erkannt. Parallel dazu wird in Schritt 53 ein dreidimensionales Bild von derselben Umgebung aufgenommen, und in Schritt 54 ein dreidimensionales Strukturprofil von dieser Umgebung basierend auf dem erfassten dreidimensionalen Bild ermittelt. Anschließend wird in Schritt 55 der Bahnpunkt unter Verwendung der in Schritt 52 erkannten Wärmespur und dem in Schritt 54 ermittelten dreidimensionalen Strukturprofil bestimmt.
  • Bezugszeichenliste
  • 10, 20
    Kamerasystem
    11, 21
    Finger
    12, 22
    Fläche
    13
    Wärmespur
    23, 24
    Objekte
    25, 26
    Wärmepunkte
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2014/0201112 A1 [0006]

Claims (15)

  1. Verfahren zum Bestimmen eines Bahnpunktes für ein Roboterprogramm, das Verfahren aufweisend: Erfassen eines ersten Temperaturprofils einer Umgebung (12, 22, 23, 24), und Bestimmen des Bahnpunktes unter Verwendung des erfassten ersten Temperaturprofils.
  2. Verfahren nach Anspruch 1, wobei das Erfassen des Temperaturprofils mittels einer Temperaturmesseinrichtung, und vorzugsweise mittels einer Wärmebildkamera erfolgt.
  3. Verfahren nach Anspruch 1 oder 2, weiter aufweisend: Erzeugen,, einer Temperaturveränderung (13, 25, 26) auf der Umgebung (12, 22, 23, 24), wobei das Erzeugen der Temperaturveränderung (13, 25, 26) vorzugsweise durch Berühren der Umgebung (12, 22, 23, 24) mit einem Finger durch einen Benutzer erfolgt, und wobei das Bestimmen des Bahnpunktes vorzugsweise ein Ermitteln der auf der Umgebung (12, 22, 23, 24) erzeugten Temperaturveränderung (13, 25, 26) umfasst.
  4. Verfahren nach Anspruch 3, wobei das Erzeugen der Temperaturveränderung ein Erzeugen einer zeichenhaften Temperaturveränderung umfasst, wie beispielsweise Kreuze, Kreise oder Pfeile, und wobei das Bestimmen des Bahnpunktes vorzugsweise ein Zuordnen einer vordefinierten Roboteraktion unter Berücksichtigung des erfassten ersten Temperaturprofils umfasst.
  5. Verfahren nach einem der voranstehenden Ansprüche, weiter aufweisend ein Erfassen eines zweiten Temperaturprofils der Umgebung (12, 22, 23, 24), und wobei das Bestimmen des Bahnpunktes unter Verwendung des erfassten zweiten Temperaturprofils erfolgt, wobei das Bestimmen des Bahnpunktes vorzugsweise ein Vergleichen des ersten und zweiten Temperaturprofils umfasst.
  6. Verfahren nach einem der voranstehenden Ansprüche, weiter aufweisend: Erfassen eines dreidimensionalen Bildes von der Umgebung (12, 22, 23, 24), und Ermitteln eines dreidimensionalen Strukturprofils der Umgebung (12, 22, 23, 24) basierend auf dem erfassten dreidimensionalen Bild, wobei das Bestimmen des Bahnpunktes unter Verwendung des ermittelten dreidimensionalen Strukturprofils der Umgebung (12, 22, 23, 24) erfolgt.
  7. Verfahren nach Anspruch 6, wobei das Erfassen des dreidimensionalen Strukturprofils mittels einer 3D-Kamera erfolgt.
  8. Verfahren nach einem der voranstehenden Ansprüche, weiterhin aufweisend ein Bereitstellen des bestimmten Bahnpunktes an eine Manipulatorsteuerung, und vorzugsweise ferner aufweisend ein Steuern eines Manipulators anhand des bestimmten Bahnpunktes, wobei das Steuern mittels der Manipulatorsteuerung erfolgt.
  9. Verfahren nach einem der voranstehenden Ansprüche, weiterhin aufweisend ein Aufnehmen eines Sprachbefehls, und wobei das Bestimmen des Bahnpunktes ferner unter Verwendung des aufgenommenen Sprachbefehls erfolgt, wobei das Aufnehmen des Sprachbefehls vorzugsweise mittels eines Mikrofons erfolgt.
  10. Verfahren nach einem der voranstehenden Ansprüche, wobei die Umgebung (12, 22, 23, 24) eine im Wesentlichen ebene Oberfläche (12, 22) aufweist, und wobei das Erfassen des Temperaturprofils ein Erfassen eines Temperaturprofils der im Wesentlichen ebenen Oberfläche (12, 22) umfasst.
  11. System zum Bestimmen eines Bahnpunktes für ein Roboterprogramm, aufweisend: Eine Temperaturmesseinrichtung, eingerichtet zum Erfassen eines ersten Temperaturprofils einer Umgebung (12, 22, 23, 24), und eine Steuerung, eingerichtet zum Bestimmen des Bahnpunktes unter Verwendung des mittels der Temperaturmesseinrichtung erfassten ersten Temperaturprofils.
  12. System nach Anspruch 11, wobei die Temperaturmesseinrichtung eine Wärmebildkamera umfasst.
  13. System nach Anspruch 11 oder 12, weiter aufweisend eine Kamera, eingerichtet zum Erfassen eines dreidimensionalen Bildes von der Umgebung (12, 22, 23, 24), und wobei die Steuerung ferner eingerichtet ist zum Bestimmen des Bahnpunktes unter Verwendung des erfassten dreidimensionalen Bildes, wobei die Kamera vorzugsweise eine 3D-Kamera umfasst.
  14. System nach einem der Ansprüche 11 bis 13, weiter aufweisend ein Mikrofon, eingerichtet zum Aufnehmen eines Sprachbefehls, und wobei die Steuerung ferner eingerichtet ist zum Bestimmen des Bahnpunktes unter Verwendung des aufgenommenen Sprachbefehls.
  15. Verfahren nach einem der Ansprüche 1 bis 10 oder System nach einem der Ansprüche 11 bis 14, wobei das Temperaturprofil eine von einem Benutzer auf der Umgebung (12, 22, 23, 24) erzeugte Temperaturveränderung (13, 25, 26) umfasst, wobei die auf der Umgebung (12, 22, 23, 24) erzeugte Temperaturveränderung (13, 25, 26) vorzugsweise eine Wärmespur (13) bestehend aus mehreren Wärmepunkten (25, 26) umfasst.
DE102015209900.8A 2015-05-29 2015-05-29 Verfahren zum Bestimmen eines Bahnpunktes Ceased DE102015209900A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102015209900.8A DE102015209900A1 (de) 2015-05-29 2015-05-29 Verfahren zum Bestimmen eines Bahnpunktes
CN201680031527.8A CN107666988A (zh) 2015-05-29 2016-05-24 用于确定路径点的方法
PCT/EP2016/061667 WO2016193058A1 (de) 2015-05-29 2016-05-24 Verfahren zum bestimmen eines bahnpunktes
EP16725497.8A EP3302895A1 (de) 2015-05-29 2016-05-24 Verfahren zum bestimmen eines bahnpunktes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102015209900.8A DE102015209900A1 (de) 2015-05-29 2015-05-29 Verfahren zum Bestimmen eines Bahnpunktes

Publications (1)

Publication Number Publication Date
DE102015209900A1 true DE102015209900A1 (de) 2016-12-01

Family

ID=56084025

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102015209900.8A Ceased DE102015209900A1 (de) 2015-05-29 2015-05-29 Verfahren zum Bestimmen eines Bahnpunktes

Country Status (4)

Country Link
EP (1) EP3302895A1 (de)
CN (1) CN107666988A (de)
DE (1) DE102015209900A1 (de)
WO (1) WO2016193058A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018189417A1 (en) * 2017-04-11 2018-10-18 University Of Helsinki Method and system for determining human-object interaction

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6826069B2 (ja) * 2018-04-18 2021-02-03 ファナック株式会社 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009035121A1 (de) * 2009-07-29 2011-02-03 Tekfor Cologne Gmbh Verfahren zur Verarbeitung von Werkstücken
DE102012015056A1 (de) * 2012-07-28 2014-02-13 Bsautomatisierung Gmbh Robotersteuerungsvorrichtung
US20140201112A1 (en) 2013-01-16 2014-07-17 Kabushiki Kaisha Yaskawa Denki Robot teaching system and robot teaching method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE526119C2 (sv) * 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
JP6221224B2 (ja) * 2012-11-27 2017-11-01 セイコーエプソン株式会社 ロボットシステム、プログラム、生産システム及びロボット
WO2014093822A1 (en) * 2012-12-14 2014-06-19 Abb Technology Ag Bare hand robot path teaching
US9423879B2 (en) * 2013-06-28 2016-08-23 Chia Ming Chen Systems and methods for controlling device operation according to hand gestures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009035121A1 (de) * 2009-07-29 2011-02-03 Tekfor Cologne Gmbh Verfahren zur Verarbeitung von Werkstücken
DE102012015056A1 (de) * 2012-07-28 2014-02-13 Bsautomatisierung Gmbh Robotersteuerungsvorrichtung
US20140201112A1 (en) 2013-01-16 2014-07-17 Kabushiki Kaisha Yaskawa Denki Robot teaching system and robot teaching method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018189417A1 (en) * 2017-04-11 2018-10-18 University Of Helsinki Method and system for determining human-object interaction

Also Published As

Publication number Publication date
WO2016193058A1 (de) 2016-12-08
EP3302895A1 (de) 2018-04-11
CN107666988A (zh) 2018-02-06

Similar Documents

Publication Publication Date Title
DE102019006800B4 (de) Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität
DE102018116053B4 (de) Robotersystem und Roboterlernverfahren
DE102019119319B4 (de) Abtastsystem, Arbeitssystem, Verfahren zum Anzeigen von Augmented-Reality-Bildern, Verfahren zum Speichern von Augmented-Reality-Bildern und Programme dafür
WO2014117895A1 (de) Verfahren und vorrichtung zum steuern eines werkstattgeräts
DE102015107436B4 (de) Lernfähige Bahnsteuerung
DE102018112403B4 (de) Robotersystem, das informationen zur unterweisung eines roboters anzeigt
DE102019122865B4 (de) Erfassungssystem, Arbeitssystem, Anzeigeverfahren für ein Erweiterte-Realität-Bild und Programm
DE102015000587B4 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
EP3366434B1 (de) Verfahren zur überprüfung einer funktion eines fahrzeuges und/oder zumindest einer bedieneinrichtung
DE102017124502B4 (de) Simulationsvorrichung und Simulationsverfahren, die eine Betriebssimulation eines Robotersystems ausführen, und Aufzeichnungsmedium, das ein Computerprogramm aufzeichnet
DE102015209899B4 (de) Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
EP3518055B1 (de) Überwachungs- und bediensystem für einen fertigungsarbeitsplatz und verfahren zum fertigen eines produkts oder teilprodukts
DE102014118001A1 (de) Verfahren zur Bewegungssimulation eines Manipulators
DE102018009025A1 (de) Robotersteuervorrichtung zum Einstellen eines Bewegungskoordinatensystems
DE102020129967A1 (de) Simulationsvorrichtung und Robotersystem mit erweiterter Realität
DE102014017307B4 (de) Verfahren und System zum Bearbeiten eines Bauteils mit einem robotergeführten Werkzeug
WO2020229028A1 (de) Eingabeeinrichtung, verfahren zur bereitstellung von bewegungsbefehlen an einen aktor und aktorsystem
EP2299344A2 (de) Eingabevorrichtung und -verfahren für einen Manipulator
DE102015209900A1 (de) Verfahren zum Bestimmen eines Bahnpunktes
DE102020102160B3 (de) Verfahren zum Erzeugen eines Eingabebefehls für einen Roboterarm und Roboterarm
DE102017005194B3 (de) Steuern einer Roboteranordnung
DE102018124671B4 (de) Verfahren und Vorrichtung zur Erstellung eines Robotersteuerprogramms
DE102019206606B4 (de) Verfahren zur berührungslosen Interaktion mit einem Modul, Computerprogrammprodukt, Modul sowie Kraftfahrzeug
DE102008062623A1 (de) Verfahren und Vorrichtung zur Auswahl einer gespeicherten Position eines Arbeitspunktes eines Manipulators
DE102016221193B3 (de) Verfahren zum Steuern eines Manipulators basierend auf Handerkennung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final