DE102016226017A1 - Optisch überwachtes manipulatorsystem und manipulatorprogramm - Google Patents

Optisch überwachtes manipulatorsystem und manipulatorprogramm Download PDF

Info

Publication number
DE102016226017A1
DE102016226017A1 DE102016226017.0A DE102016226017A DE102016226017A1 DE 102016226017 A1 DE102016226017 A1 DE 102016226017A1 DE 102016226017 A DE102016226017 A DE 102016226017A DE 102016226017 A1 DE102016226017 A1 DE 102016226017A1
Authority
DE
Germany
Prior art keywords
routine
manipulator
error
control
manipulator system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102016226017.0A
Other languages
English (en)
Inventor
Yevgen Kogan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Priority to DE102016226017.0A priority Critical patent/DE102016226017A1/de
Priority to DE212017000277.8U priority patent/DE212017000277U1/de
Priority to PCT/EP2017/001370 priority patent/WO2018114033A1/de
Publication of DE102016226017A1 publication Critical patent/DE102016226017A1/de
Ceased legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40609Camera to monitor end effector as well as object to be handled
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40611Camera to monitor endpoint, end effector position

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein optisch überwachtes Manipulatorsystem, umfassend zumindest einen Manipulator 10, zumindest eine optische Sensoreinheit 50, 52, 54, welche dazu eingerichtet ist zumindest einen Bereich 60, 62, 64 des Manipulatorsystems 1 optisch zu erfassen und zumindest eine Steuereinrichtung 20, welche dazu eingerichtet ist den zumindest einen Manipulator 10 mittels eines Manipulatorprogramms 100 zu steuern. Das Manipulatorprogramm umfasst zumindest eine Steuerroutine, welche zumindest einen Routinenabschnitt umfasst, wobei der Steuerroutine 110, 112, 114, 116 eine Fehler- Erkennungs-Routine 120,122, 124 zugeordnet ist, um auf einen im Ablauf der Steuerroutine 110, 112, 114, 116 auftretenden Fehler 120', 122', 124' und/oder einen fehlerhaft ausgeführten Routinenabschnitt erkennen zu können, und wobei einem Fehler und/oder einem Routinenabschnitt ein vordefinierter zu erfassender Bereich 60, 62, 64 des Manipulatorsystems zugeordnet ist, welcher Bereich 60, 62, 64 von der zumindest einen optischen Sensoreinheit 50, 52, 54 optisch erfasst werden kann, wenn die Fehler-Erkennungs-Routine 120,122,124 einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.

Description

  • Gebiet der Erfindung
  • Die Erfindung betrifft ein optisch überwachtes Manipulatorsystem sowie ein Manipulatorprogramm, welches dazu eingerichtet ist auf einer Steuereinrichtung des Manipulatorsystems ausgeführt zu werden.
  • Hintergrund der Erfindung
  • Manipulatorsysteme umfassen typischerweise zumindest einen Manipulator sowie eine Steuereinrichtung, wobei die Steuereinrichtung dazu eingerichtet ist den zumindest einen Manipulator mittels eines Manipulatorprogramms zu steuern.
  • Manipulatoren sind Handhabungsmaschinen, welche dazu eingerichtet sind physikalisch mit ihrer Umgebung zu interagieren. Manipulatoren sind beispielsweise Industrieroboter, welche über eine Vielzahl freiprogrammierbarer Bewegungsachsen verfügen, und welche entweder ortsfest oder mobil eingesetzt werden. Industrieroboter führen typischerweise Werkstücke oder Werkzeuge (Endeffektoren) und werden in industriellen Applikationen eingesetzt.
  • Typische industrielle Applikationen umfassen das Greifen und Bewegen von Objekten, das Montieren, das Schweißen, usw. Beim Betrieb der Manipulatoren, beispielsweise in industriellen Applikationen, können aufgrund unvorhergesehener Ereignisse Fehler auftreten. Ein typischer Fehler beim Greifen ist, dass ein zu greifendes Objekt nicht an der programmierten Greifposition vorhanden ist, so dass der Manipulator das Objekt nicht greifen kann. Andere Fehler können auftreten, wenn beispielsweise ein Objekt falsch gegriffen wird und/oder ein falsches Objekt gegriffen wird. Andere applikationsspezifische Fehler sind ebenso möglich.
  • Viele dieser applikationsspezifischen Fehler können ohne ein direktes Eingreifen eines Benutzers behoben werden. Ein direktes Eingreifen ist ein manuelles Eingreifen des Benutzers unmittelbar am Manipulator und/oder in der Umgebung des Manipulators, sodass sich der Benutzer in unmittelbarer Nähe zum Manipulator aufhalten muss. Beispielsweise kann durch direktes Eingreifen ein fehlendes Objekt in der Greifposition bereitgestellt werden, oder ein falsch gegriffenes Objekt aus einem Greifer des Manipulators entnommen werden.
  • Viele Fehler können ohne direktes Eingreifen eines Benutzers behoben werden. So kann der Benutzer beispielsweise der Steuereinrichtung des Manipulatorsystems mitteilen, dass mit einem nächsten Greifschritt oder Bearbeitungsschritt fortgefahren werden soll. Um festzustellen, wie auf einen aufgetretenen Fehler reagiert werden soll, muss der Benutzer im vielen Fällen das Manipulatorsystem visuell betrachten. Beispielsweise kann hierfür eine Manipulatorzelle videoüberwacht werden.
  • Jedoch ist in vielen Anwendungen das Erkennen eines spezifischen Fehlers durch eine Videoüberwachung nicht möglich, da die Fehlerursache durch den Manipulator und/oder in der Umgebung befindliche Gegenstände verdeckt sein kann oder nur in einem (sehr) kleinen Bereich des Manipulatorsystems zu sehen sein kann, so dass die Fehlerursache aus einem Gesamtbild der Videoüberwachung nicht erkennbar ist.
  • Aufgabe der vorliegenden Erfindung ist es daher die genannten Nachteile zumindest teilweise zu überwinden.
  • Ausführliche Beschreibung der Erfindung
  • Die Aufgabe wird durch ein optisch überwachtes Manipulatorsystem nach Anspruch 1 sowie durch ein Manipulatorprogramm nach Anspruch 7 gelöst.
  • Insbesondere wird die Aufgabe durch ein optisch überwachtes Manipulatorsystem gelöst, welches zumindest einen Manipulator, zumindest eine optische Sensoreinheit und zumindest eine Steuereinrichtung umfasst. Die zumindest eine optische Sensoreinheit ist dazu eingerichtet zumindest einen Bereich des Manipulatorsystems optisch zu erfassen. Die zumindest eine Steuereinrichtung ist dazu eingerichtet den zumindest einen Manipulator mittels eines Manipulatorprogramms zu steuern, wobei das Manipulatorprogramm zumindest eine Steuerroutine umfasst, welche zumindest einen Routinenabschnitt umfasst, wobei der Steuerroutine eine Fehler- Erkennungs-Routine zugeordnet ist, um auf einen im Ablauf der Steuerroutine auftretenden Fehler und/oder einen fehlerhaft ausgeführten Routinenabschnitt erkennen zu können, und wobei einem Fehler und/oder einem Routinenabschnitt ein vordefinierter zu erfassender Bereich des Manipulatorsystems zugeordnet ist, welcher Bereich von der zumindest einen optischen Sensoreinheit optisch erfasst werden kann, wenn die Fehler-Erkennungs-Routine einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.
  • Insbesondere bevorzugt wird der Bereich von der zumindest einen optischen Sensoreinheit optisch erfasst, wenn die Fehler-Erkennungs-Routine einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.
  • Der vordefinierte zu erfassende Bereich ist vorzugsweise derart vordefiniert, dass ein Bild des Bereichs einen aufgetretenen Fehler deutlich zeigt. Somit kann ein aufgetretener Fehler anhand des erfassten Bildes zuverlässig analysiert werden. Basierend auf der Analyse, kann dann eine gewünschte Fehlerbehebung ausgewählt werden. Die Fehlerbehebung kann rein manuell erfolgen oder mithilfe sogenannter Fehler-Korrektur-Routinen.
  • Ist eine Steuerroutine in unterschiedliche Routinenabschnitte unterteilt, kann ein auftretender Fehler innerhalb der Steuerroutine eingegrenzt werden. Beispielsweise ist eine Startroutine zum Greifen eines Objekts mittels eines Greifers eines Manipulators in die Routinenabschnitte Anfahren, Greifen und Anheben unterteilt. Schlägt das Greifen des Objekts fehl, so kann mittels der Fehler- Erkennungs-Routine der fehlerhaft ausgeführte Routinenabschnitt erkannt werden und das Auftreten des Fehlers eingegrenzt werden. Insbesondere kann die Fehler- Erkennungs-Routine einem Routineabschnitt zugeordnet sein. Besonders bevorzugt ist jedem Routineabschnitt eine Fehler- Erkennungs-Routine zugeordnet, wobei auch mehreren Routineabschnitten dieselbe Fehler- Erkennungs-Routine zugeordnet sein kann.
  • Das Manipulatorprogramm kann weiterhin eine Fehler-Korrektur-Routine umfassen, wobei die Fehler-Korrektur-Routine der Fehler-Erkennungs-Routine zugeordnet ist, um auf einen im Ablauf der Steuerroutine erkannten, auftretenden Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt reagieren zu können. Auf den aufgetretenen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt kann dann mittels der Fehler-Korrektur-Routine reagiert werden. Insbesondere kann die Fehler-Korrektur-Routine fehlerspezifisch sein, sodass für einen bestimmten auftretenden Fehler eine spezifische Fehler-Korrektur-Routine ausgeführt wird. Wird beispielsweise ein Fehler in einer Steuerroutine und/oder einem Routinenabschnitt erkannt, welche den Manipulator steuert um ein Objekt zu greifen, so kann der Fehler das Fehlschlagen des Greifens sein. Eine spezifische Fehler-Korrektur-Routine würde es ermöglichen auf das fehlgeschlagene Greifen zu reagieren, beispielsweise durch Kommandieren eines erneuten Greifens. Der der Fehlkorrekturroutine zugeordnete vordefinierte zu erfassende Bereich des Manipulatorsystems wäre entsprechend ein Bereich, welcher den Greifer des Manipulators beinhaltet. Vorzugsweise ist der zu erfassende Bereich entsprechend klein gewählt, um möglichst viele Details des Bereichs, welche fehlerursächlich sind, mittels der optischen Sensoreinheit erfassen zu können.
  • Insbesondere können einer Steuerroutine und/oder einem Routinenabschnitt auch mehrere Fehler-Erkennungs-Routinen und/oder Fehler-Korrektur-Routinen zugeordnet sein, sodass spezifisch auf unterschiedliche in der Steuerroutine und/oder im Routinenabschnitt auftretende Fehler reagiert werden kann. Die entsprechende Fehler-Korrektur-Routine kann einen auftretenden Fehler entweder vollkommen selbstständig beheben, oder das Mitwirken eines Benutzers erfordern. Das Mitwirken des Benutzers kann beispielsweise die Kommandierung eines Befehls zum Fortsetzten des Manipulatorprogramms beinhalten. Der Benutzer kann in diesem Fall vorzugsweise wählen, von welcher Stelle das Manipulatorprogramm fortgesetzt wird. Alternativ kann die fehlerhaft ausgeführte Steuerroutine wiederholt werden und/oder der Manipulator manuell in eine gewünschte Stellung gesteuert werden. Beispielsweise kann bei einem fehlgeschlagenen Greifen das Greifen erneut durchgeführt werden, oder es kann ein anderes Objekt gegriffen werden.
  • Insbesondere kann das Manipulatorsystem eine Vielzahl von optischen Sensoreinheiten umfassen, wobei jede optische Sensoreinheit dazu eingerichtet ist je zumindest einen Bereich des Manipulatorsystems optisch zu erfassen. Eine Vielzahl von optischen Sensoreinheiten ermöglicht die Erfassung eines Bereichs unter verschiedenen Blickwinkeln. Ebenso kann durch die Anwahl einer entsprechenden optischen Sensoreinheit ein vorherbestimmter zu erfassender Bereich erfasst und einem Benutzer ein entsprechendes Bild des Bereichs angezeigt werden. Die Vielzahl von optischen Sensoreinheiten ermöglicht es eine Vielzahl unterschiedlicher optischer Bereiche zu erfassen und einem Benutzer rückzumelden, so dass dieser einen aufgetretenen Fehler visuell überprüfen kann und innerhalb einer Fehler-Korrektur-Routine auf den Fehler adäquat reagieren kann, ohne selbst in der Nähe des Manipulators präsent sein zu müssen.
  • Weiterhin kann zumindest eine optische Sensoreinheit dazu eingerichtet sein, unterschiedliche Bereiche des Manipulatorsystems optisch zu erfassen, wobei die optische Sensoreinheit vorzugsweise frei positionierbar und/oder rotierbar ist, um unterschiedliche Bereiche des Manipulatorsystems optisch zu erfassen.
  • Unterschiedliche Bereiche des Manipulatorsystems können erfasst werden, indem die optische Sensoreinheit beispielsweise zoombar ist. Dazu kann der erfasste optische Bereich vergrößert oder verkleinert werden. Beispielsweise kann ein erster optischer Bereich das vollständige Manipulatorsystem umfassen. Ein zweiter kleinerer Bereich kann entsprechend einen Ausschnitt des Manipulatorsystems erfassen.
  • Eine freie Positionierbarkeit und Rotierbarkeit kann erreicht werden, indem die zumindest eine optische Sensoreinheit auf einer geeigneten mechanischen Vorrichtung angebracht wird, die beispielsweise mehrere freiprogrammierbare Bewegungsachsen aufweist. Eine solche mechanische Vorrichtung kann beispielsweise ein Industrieroboter sein. Ebenso ist es möglich andere mechanische Vorrichtungen bereitzustellen. Eine weitere Möglichkeit ist, die zumindest eine optische Sensoreinheit an einem Fahrzeug oder an einem Flugkörper, wie beispielsweise an einer Drohne, anzubringen. Bekannte Drohnen sind beispielsweise Quadrokopter und dergleichen. Somit kann eine sehr spezifische Definition des zu erfassenden Bereichs erzielt werden. Insbesondere können nur schwer einsehbare Stellen des Manipulatorsystems optisch erfasst werden.
  • Die optische Sensoreinheit kann beispielsweise eine Kamera sein und insbesondere eine Videokamera sein, wobei die Kamera vorzugsweise eine zoombare Kamera ist. Eine Kamera kann dazu eingerichtet sein, wiederholt Bilder des zu erfassenden Bereichs aufzunehmen. Dies kann beispielsweise mittels einer Fotokamera erfolgen. Ebenso kann die Kamera eine Videokamera sein, die eine kontinuierliche Erfassung des Bereichs des Manipulatorsystems ermöglicht. Weiterhin kann die Kamera eine Hochgeschwindigkeitskamera sein. Dies ermöglicht es auch sehr schnell ablaufende Prozesse optisch zu erfassen und die erfassten Daten zur Fehlerbestimmung heranzuziehen. Insbesondere können die erfassten Bilder der optischen Sensoreinheit verlangsamt und/oder wiederholt angezeigt werden, um eine Fehlerbestimmung durchführen zu können. Eine zoombare Kamera ermöglicht den zu erfassenden Bereich zu verkleinern und/oder zu vergrößern, um fehlerspezifisch einen kleineren und/oder einen größeren Bereich des Manipulatorsystems betrachten zu können.
  • Weiterhin kann das Manipulatorsystem eine optische Anzeige und eine Eingabevorrichtung umfassen, wobei die optische Anzeige dazu eingerichtet ist, ein Bild des von der optischen Sensoreinheit erfassten Bereichs einem Benutzer anzuzeigen. Die Eingabevorrichtung kann dazu eingerichtet sein, Steuerbefehle eines Benutzers aufzunehmen und an die Steuereinrichtung zu senden, wenn die Fehler-Korrektur-Routine ausgeführt wird, um den Manipulator vorzugsweise manuell zu steuern.
  • Die optische Anzeige erlaubt es einem Benutzer ein Bild des erfassten Bereichs anzuzeigen und entsprechend der Fehler-Korrektur-Routine auf den erkannten Fehler zu reagieren. Dies erfolgt beispielsweise mittels der Eingabevorrichtung. Die Eingabevorrichtung kann in die optische Anzeige integriert sein, wie beispielsweise in eine berührungssensitive optische Anzeige, oder kann eine separate Eingabevorrichtung sein, wie beispielsweise ein Joystick und/oder dergleichen. Ebenso kann die optische Anzeige in eine Eingabevorrichtung integriert sein. Beispielsweise können eine optische Anzeige und eine Eingabevorrichtung, welche beispielsweise zumindest ein Eingabeelement, wie einen Schalter, eine Tastatur, ein berührungssensitives Element, einen Joystick und/oder andere Eingabeelemente umfasst, in einer strukturellen Einheit, wie einem Gehäuse, integriert sein. Weiterhin ist es auch möglich, eine berührungssensitive optische Anzeige mit zusätzlichen Eingabeelementen zu kombinieren.
  • Mittels der Eingabevorrichtung kann der Benutzer entsprechend der Fehler-Korrektur-Routine Steuerbefehle an die Steuereinrichtung senden, um den Manipulator manuell zu steuern. Dies erlaubt eine vielfältige Reaktion auf einen aufgetretenen Fehler. Neben dem bloßen Fortsetzen und erneuten Ausführen von Steuerroutinen kann das manuelle Steuern des Manipulators dazu führen, unvorhergesehene Fehler beheben zu können. Beispielsweise kann ein Manipulator, der aufgrund einer Kollision die vorherbestimmte Bewegungsbahn verlassen hat, mittels manueller Steuerung in einen Startpunkt des Manipulatorprogramms zurückbewegt werden. Alternative Fehlerlösungskonzepte mittels manueller Steuerung sind ebenso vorstellbar.
  • Insbesondere kann die Steuereinrichtung dazu eingerichtet sein, vor und/oder zu Beginn des Ausführens der Fehler-Korrektur-Routine einen zu erfassenden Bereich des Manipulatorsystems zu definieren, wobei der zu erfassende Bereich derart definiert wird, dass vorzugsweise der Tool-Center-Point des Manipulators im zu erfassenden Bereich liegt. Dies ermöglicht es einem Benutzer ein Bild des zu erfassenden Bereichs anzuzeigen, welches Bild stets den Tool-Center-Point des Manipulators zeigt, wenn ein Fehler aufgetreten ist. Der Tool-Center-Point des Manipulators ist typischerweise ein gedachter Referenzpunkt, der sich an geeigneter Stelle des Werkzeugs des Manipulators befindet. Bei Greifern liegt der Tool-Center-Point typischerweise zwischen den Greifbacken des Greifers. Bei Schweißelektroden kann der Tool-Center-Point beispielsweise als Schweißpunkt der Elektrode definiert sein.
  • Weiterhin wird die Aufgabe gelöst durch ein Verfahren zum Steuern eines Manipulatorsystems, welches zumindest einen Manipulator, eine Steuereinrichtung und eine optische Sensoreinheit umfasst, wobei das Verfahren die folgenden Schritte aufweist:
    • - Steuern des Manipulators mittels der Steuereinrichtung, entsprechend einer Steuerroutine, wobei die Steuerroutine zumindest einen Routinenabschnitt umfasst, und wobei der Steuerroutine eine Fehler-Erkennungs-Routine zugeordnet ist,
    • - Erkennen eines im Ablauf der Steuerroutine auftretenden Fehlers und/oder eines fehlerhaft ausgeführten Routinenabschnitts, wobei einem Fehler und/oder einem Routinenabschnitt ein vordefinierter zu erfassender Bereich des Manipulatorsystems zugeordnet ist, und
    • - Optisches Erfassen des vordefinierten Bereichs mittels der zumindest einen optischen Sensoreinheit (50, 52, 54), wenn die Fehler-Erkennungs-Routine (120,122,124) einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.
  • Weiterhin kann das Verfahren zum Steuern eines Manipulatorsystems, den folgenden Schritt umfassen:
    • - Ausführen einer Fehler-Korrektur-Routine, wobei die Fehler-Korrektur-Routine der Fehler-Erkennungs-Routine zugeordnet ist, um auf einen im Ablauf der Steuerroutine erkannten, auftretenden Fehler und/oder auf einen fehlerhaft ausgeführten Routinenabschnitt zu reagieren.
  • Weiterhin wird die Aufgabe durch ein Manipulatorprogramm gelöst, welches dazu eingerichtet ist, das vorhergehend beschriebene Verfahren auf einer Steuereinrichtung eines Manipulatorsystems auszuführen. Somit können alle vorhergenannten Vorteile mittels des Manipulatorprogramms und/oder mittels des Verfahrens erreicht werden.
  • Figurenliste
  • Im Folgenden wird die Erfindung unter Bezugnahme auf die angefügten Figuren näher beschrieben. Dabei zeigt
    • 1 ein Manipulatorsystem, welches optisch überwacht ist, und
    • 2 eine schematische Darstellung eines Manipulatorprogramms.
  • Insbesondere zeigt 1 ein Manipulatorsystem 1, welches optisch überwacht ist. Das Manipulatorsystem 1 umfasst einen Manipulator 10 sowie eine Steuereinrichtung 20, welche dazu eingerichtet ist den Manipulator 10 zu steuern. Die Steuerung des Manipulators 10 erfolgt insbesondere mittels eines Manipulatorprogramms 100, welches auf der Steuereinrichtung 20 läuft. Der Manipulator 10 kann beispielsweise einen Greifer 12 umfassen und dazu eingerichtet sein Werkstücke 30 zu greifen und zu positionieren. Weiterhin umfasst das Manipulatorsystems 1 eine Vielzahl optischer Sensoreinheiten 50, 52, 54, welche dazu eingerichtet sind, zumindest einen Bereich 60, 62, 64 des Manipulatorsystems 1 optisch zu erfassen.
  • Die optischen Sensoreinheiten 50, 52, 54 sind typischerweise Kameras, wie beispielsweise Videokameras die zoombar eingerichtet sind. Sie erfassen Bereiche 60, 62, 64 des Manipulatorsystems. Die erfassten Bereiche 60, 62, 64 können veränderbar sein. Diese Veränderung kann beispielsweise durch zoomen erzielt werden. Durch das Zoomen kann der Erfassungswinkel α verändert werden, sodass wahlweise beispielsweise das gesamte Manipulatorsystem 1 optisch erfasst werden kann oder nur ein kleiner Ausschnitt davon.
  • Ebenso können die optischen Sensoreinheiten 50, 52, 54 frei positionierbar und/oder rotierbar angeordnet sein, sodass unterschiedliche optische Bereiche erfasst werden können. Dazu verfügen die Sensoreinheiten 50, 52, 54 über eine entsprechende mechanische Vorrichtung, die in 1 durch Schwenkachsen angedeutet ist. Weiterhin kann eine optische Sensoreinheit 54 beispielsweise an einer Drohne 55, wie beispielsweise einem Quadrokopter angebracht sein, um eine vollkommen freie Positionierung bereitzustellen.
  • Die optischen Sensoreinheiten 50, 52, 54 verfügen vorzugsweise über eine Kommunikationsschnittstelle 90, 92, 94, welche insbesondere eine drahtlose Kommunikationsschnittstelle 90, 92, 94 sein kann, um erfasste Bildinformationen an die Steuereinrichtung 20 bzw. deren drahtlose Kommunikationsvorrichtung 25, bereitstellen zu können. Ebenso können die Bildinformationen drahtgebunden übertragen werden. Weiterhin können über die Kommunikationsschnittstelle Steuerbefehle an die optischen Sensoreinheiten 50, 52, 54 übertragen werden. Diese Steuerbefehle können beispielsweise Positionierungsbefehle, Zoombefehle, Belichtungsbefehle und dergleichen umfassen.
  • Die Steuereinrichtung 20 kann die empfangenen Bildinformationen an eine optische Anzeige 70 des Manipulatorsystems 1 bereitstellen, um ein Bild des erfassten Bereichs 60, 62, 64 an einen Benutzer bereitzustellen. Ebenso können Bildinformationen direkt an die optische Anzeige 70 übertagen werden.
  • Der Benutzer kann weiterhin über eine Eingabevorrichtung 80, wie beispielsweise einen Joystick, Eingabebefehle an die Steuereinrichtung 20 senden, um den Manipulator 10 beispielsweise manuell zu steuern. Das Manipulatorprogramm 100, welches der Steuerung des Manipulators 10 dient, umfasst Steuerroutinen, Fehler-Erkennungs-Routinen und vorzugsweise Fehler-Korrektur-Routinen, wie unter Bezugnahme auf 2 näher erläutert wird.
  • Einer Steuerroutine ist dabei zumindest eine Fehler- Erkennungs-Routine zugeordnet, um einen im Ablauf der Steuerroutine auftretenden Fehler erkennen zu können und/oder einen fehlerhaft ausgeführten Routinenabschnitt der Steuerroutine erkennen zu können. Einem Fehler und/oder einem Routinenabschnitt ist weiterhin ein vordefinierter zu erfassender Bereich des Manipulatorsystems zugeordnet, welcher Bereich 60, 62, 64 von der zumindest einen optischen Sensoreinheit 50, 52, 54 optisch erfasst wird. Schlägt beispielsweise das Greifen des Werkstücks 30 mittels des Greifers 12 des Manipulators 10 fehl, so kann dies erkannt werden.
  • Ist diesem Fehler, bzw. dem entsprechenden Routinenabschnitt beispielsweise der vordefinierte zu erfassende Bereich 62 zugeordnet, so kann die optische Sensoreinheit 52 den Bereich 62 erfassen und entsprechende Bildinformationen an die Steuereinrichtung 20 senden. Erfasst die optische Sensoreinheit 52 zum Zeitpunkt des Fehlers den Bereich 62 nicht, so kann diese beim oder nach dem Ausführen der Fehler-Erkennungs-Routine derart positioniert und/oder rotiert und/oder gezoomt werden, dass der Bereich 62 optisch erfasst wird. Ebenso kann der vordefinierte zu erfassende Bereich durch die optischen Sensoreinheiten 50 oder 54 erfasst werden. Eine gleichzeitige Erfassung mittels mehrerer optischer Sensoreinheiten ist ebenso möglich, um einem Benutzer beispielsweise unterschiedliche Blickwinkel bereitstellen zu können.
  • 2 zeigt eine schematische Darstellung eines Manipulatorprogramms 100, welches dazu eingerichtet ein Verfahren zum Steuern eines Manipulatorsystems (1) auf einer Steuereinrichtung (20) des Manipulatorsystems (1) auszuführen. Dabei umfasst das Manipulatorprogramm 100 die Steuerroutinen 110, 112, 114, 116. Tritt beim Durchführen einer Steuerroutine 110, 112, 114 ein Fehler 110', 112' oder 114' auf, so kann dies mittels einer Fehler-Erkennungs-Routine erkannt werden (nicht dargestellt). Vorzugsweise kann anschließend mit einer Fehler-Korrektur-Routine 120, 122, 124, welche einem entsprechenden Fehler 110', 112' oder 114' zugeordnet ist, fortgefahren werden. Ebenso kann die Fehler-Korrektur-Routine 120, 122, 124 einem fehlerhaft ausgeführten Routinenabschnitt der Steuerroutine 110, 112, 114 zugeordnet sein. Jedem Fehler bzw. fehlerhaft ausgeführten Routinenabschnitt ist ein entsprechender vordefinierter zu erfassender Bereich des Manipulatorsystems 1 zugeordnet, so dass eine optische Sensoreinheit auf den Bereich gerichtet werden kann, um diesen zu erfassen. Soll beispielsweise in der Steuerroutine 110 ein Objekt gegriffen werden und schlägt dieses Greifen durch Fehler 110' fehl, so kann während des Ausführens der Fehler-Korrektur-Routine 120 der Greifer des Manipulators optisch erfasst werden. Ein Benutzer kann entsprechend der Fehler-Korrektur-Routine 120 einen Befehl zum erneuten Greifen an den Manipulator 10 senden. Ebenso kann der Bereich 60, 62, 64 von der zumindest einen optischen Sensoreinheit 50, 52, 54 optisch erfasst werden, wenn die Fehler-Erkennungs-Routine einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.
  • Bezugszeichenliste
  • 1
    Manipulatorsystem
    10
    Manipulator
    12
    Greifer
    20
    Steuereinrichtung
    25
    drahtlose Kommunikationsschnittstelle
    30
    Werkstück
    50, 52, 54
    optische Sensoreinheit
    55
    Drohne
    60, 62, 64
    zu erfassender optischer Bereich
    70
    Anzeigevorrichtung
    80
    Eingabeeinrichtung
    90, 92, 94
    drahtlose Kommunikationsschnittstelle
    100
    Manipulatorprogramm
    110, 112, 114, 116
    Steuerroutine
    110', 112', 114'
    Fehler
    120,122,124
    Fehler-Korrektur-Routine

Claims (10)

  1. Optisch überwachtes Manipulatorsystem (1), umfassend: zumindest einen Manipulator (10); zumindest eine optische Sensoreinheit (50, 52, 54), welche dazu eingerichtet ist zumindest einen Bereich (60, 62, 64) des Manipulatorsystems (1) optisch zu erfassen; zumindest eine Steuereinrichtung (20), welche dazu eingerichtet ist den zumindest einen Manipulator (10) mittels eines Manipulatorprogramms (100) zu steuern, wobei das Manipulatorprogramm (100) zumindest eine Steuerroutine (110, 112, 114, 116) umfasst, welche Steuerroutine (110, 112, 114, 116) zumindest einen Routinenabschnitt umfasst, wobei der Steuerroutine (110, 112, 114, 116) eine Fehler- Erkennungs-Routine (120, 122,124) zugeordnet ist, um einen im Ablauf der Steuerroutine (110, 112, 114, 116) auftretenden Fehler (120', 122', 124') und/oder einen fehlerhaft ausgeführten Routinenabschnitt erkennen zu können, und wobei einem Fehler und/oder einem Routinenabschnitt ein vordefinierter zu erfassender Bereich (60, 62, 64) des Manipulatorsystems (1) zugeordnet ist, welcher Bereich (60, 62, 64) von der zumindest einen optischen Sensoreinheit (50, 52, 54) optisch erfasst werden kann, wenn die Fehler-Erkennungs-Routine (120, 122, 124) einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.
  2. Manipulatorsystem (1) nach Anspruch 1, wobei das Manipulatorprogramm (100) weiterhin eine Fehler-Korrektur-Routine (120, 122, 124) umfasst, wobei die Fehler-Korrektur-Routine (120, 122, 124) der Fehler-Erkennungs-Routine (110, 112, 114, 116) zugeordnet ist, um auf einen im Ablauf der Steuerroutine (110, 112, 114,116) erkannten, auftretenden Fehler (120', 122', 124') und/oder fehlerhaft ausgeführten Routinenabschnitt reagieren zu können.
  3. Manipulatorsystem (1) nach einem der vorhergehenden Ansprüche weiterhin umfassend: eine Vielzahl von optischen Sensoreinheiten (50, 52, 54), wobei jede optische Sensoreinheit (50, 52, 54) dazu eingerichtet ist je zumindest einen Bereich (60, 62, 64) des Manipulatorsystems (1) optisch zu erfassen.
  4. Manipulatorsystem (1) nach einem der vorhergehenden Ansprüche, wobei die zumindest eine optischen Sensoreinheit (50, 52, 54) dazu eingerichtet ist unterschiedliche Bereiche (60, 62, 64) des Manipulatorsystems (1) optisch zu erfassen, und wobei die optische Sensoreinheit (50, 52, 54) vorzugsweise frei positionierbar und/oder rotierbar ist, um unterschiedliche Bereiche (60, 62, 64) des Manipulatorsystems (1) optisch zu erfassen.
  5. Manipulatorsystem (1) nach einem der vorhergehenden Ansprüche, wobei die zumindest eine optische Sensoreinheit (50, 52, 54) eine Kamera ist, insbesondere eine Videokamera, und wobei die Kamera vorzugsweise eine zoombare Kamera ist.
  6. Manipulatorsystem (1) nach einem der vorhergehenden Ansprüche, wobei das Manipulatorsystem (1) weiterhin eine optische Anzeige (70) und eine Eingabevorrichtung (80) umfasst, wobei die optische Anzeige (70) dazu eingerichtet ist, ein Bild des von der optischen Sensoreinheit erfassten Bereichs einem Benutzer anzuzeigen, und wobei die Eingabevorrichtung (80) dazu eingerichtet ist, Steuerbefehle eines Benutzers aufzunehmen und an die Steuereinrichtung (20) zu senden, wenn die Fehler-Korrektur-Routine (120, 122, 124) ausgeführt wird, um den Manipulator (10) vorzugsweise manuell zu steuern.
  7. Manipulatorsystem (1) nach einem der vorhergehenden Ansprüche, wobei die Steuereinrichtung dazu eingerichtet ist, vor und/oder zu Beginn des Ausführens der Fehler-Korrektur-Routine (120, 122, 124) einen zu erfassenden Bereich (60, 62, 64) des Manipulatorsystems (1) zu definieren, wobei der zu erfassende Bereich (60, 62, 64) vorzugsweise derart definiert wird, dass der Tool-Center-Point des Manipulators (10) im zu erfassenden Bereich (60, 62, 64) liegt.
  8. Verfahren zum Steuern eines Manipulatorsystems (1), welches zumindest einen Manipulator (10), eine Steuereinrichtung (20) und eine optische Sensoreinheit (50, 52, 54) umfasst, wobei das Verfahren die folgenden Schritte aufweist: - Steuern des Manipulators (10) mittels der Steuereinrichtung (20), entsprechend einer Steuerroutine (110, 112, 114, 116), wobei die Steuerroutine (110, 112, 114, 116) zumindest einen Routinenabschnitt umfasst, und wobei der Steuerroutine (110, 112, 114, 116) eine Fehler-Erkennungs-Routine (120, 122, 124) zugeordnet ist, - Erkennen eines im Ablauf der Steuerroutine (110, 112, 114, 116) auftretenden Fehlers (120', 122', 124') und/oder eines fehlerhaft ausgeführten Routinenabschnitts, wobei einem Fehler und/oder einem Routinenabschnitt ein vordefinierter zu erfassender Bereich (60, 62, 64) des Manipulatorsystems (1) zugeordnet ist, und - Optisches Erfassen des vordefinierten Bereichs (60, 62, 64) mittels der zumindest einen optischen Sensoreinheit (50, 52, 54), wenn die Fehler-Erkennungs-Routine (120,122,124) einen Fehler und/oder fehlerhaft ausgeführten Routinenabschnitt erkennt.
  9. Verfahren zum Steuern eines Manipulatorsystems (1), nach Anspruch 8, wobei das Verfahren weiterhin den folgenden Schritt umfasst: - Ausführen einer Fehler-Korrektur-Routine (120, 122, 124), wobei die Fehler-Korrektur-Routine (120,122,124) der Fehler-Erkennungs-Routine (110, 112, 114, 116) zugeordnet ist, um auf einen im Ablauf der Steuerroutine (110, 112, 114, 116) erkannten, auftretenden Fehler (120', 122', 124') und/oder auf einen fehlerhaft ausgeführten Routinenabschnitt zu reagieren.
  10. Manipulatorprogramm (100), welches dazu eingerichtet ist, das Verfahren nach einem der Ansprüche 8 oder 9 auf einer Steuereinrichtung (20) eines Manipulatorsystems (1) auszuführen.
DE102016226017.0A 2016-12-22 2016-12-22 Optisch überwachtes manipulatorsystem und manipulatorprogramm Ceased DE102016226017A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102016226017.0A DE102016226017A1 (de) 2016-12-22 2016-12-22 Optisch überwachtes manipulatorsystem und manipulatorprogramm
DE212017000277.8U DE212017000277U1 (de) 2016-12-22 2017-11-24 Optisch überwachtes Manipulatorsystem
PCT/EP2017/001370 WO2018114033A1 (de) 2016-12-22 2017-11-24 Optisch überwachtes manipulatorsystem und manipulatorprogramm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016226017.0A DE102016226017A1 (de) 2016-12-22 2016-12-22 Optisch überwachtes manipulatorsystem und manipulatorprogramm

Publications (1)

Publication Number Publication Date
DE102016226017A1 true DE102016226017A1 (de) 2018-06-28

Family

ID=60923425

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102016226017.0A Ceased DE102016226017A1 (de) 2016-12-22 2016-12-22 Optisch überwachtes manipulatorsystem und manipulatorprogramm
DE212017000277.8U Active DE212017000277U1 (de) 2016-12-22 2017-11-24 Optisch überwachtes Manipulatorsystem

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE212017000277.8U Active DE212017000277U1 (de) 2016-12-22 2017-11-24 Optisch überwachtes Manipulatorsystem

Country Status (2)

Country Link
DE (2) DE102016226017A1 (de)
WO (1) WO2018114033A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11534908B2 (en) 2019-03-25 2022-12-27 Fanuc Corporation Operation adjustment apparatus for adjusting operation of robot apparatus and operation adjustment method for adjusting operation of robot apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008060052A1 (de) * 2008-12-02 2010-06-17 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Kompensation einer kinematischen Abweichung

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004174662A (ja) * 2002-11-27 2004-06-24 Fanuc Ltd ロボットの動作状態解析装置
JP5939267B2 (ja) * 2014-03-05 2016-06-22 株式会社安川電機 ロボット監視システム、ロボット監視装置、ロボット監視方法、ロボット監視モジュール、およびロボット監視プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008060052A1 (de) * 2008-12-02 2010-06-17 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Kompensation einer kinematischen Abweichung

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11534908B2 (en) 2019-03-25 2022-12-27 Fanuc Corporation Operation adjustment apparatus for adjusting operation of robot apparatus and operation adjustment method for adjusting operation of robot apparatus
DE102020107385B4 (de) 2019-03-25 2023-06-07 Fanuc Corporation Betriebseinstellvorrichtung zum einstellen des betriebs einer robotervorrichtung

Also Published As

Publication number Publication date
WO2018114033A1 (de) 2018-06-28
DE212017000277U1 (de) 2019-08-23

Similar Documents

Publication Publication Date Title
DE102012024328B4 (de) Entnahmevorrichtung mit einer Funktion zum Korrigieren der Stellung eines Artikels
DE102017001305B4 (de) Fehlerdiagnosevorrichtung eines Robotersystem zum Beurteilen eines Fehlers anhand eines Kamerabildes
DE102017120614B4 (de) Robotersystem mit einem Programmierhandgerät, das mit einer Robotersteuerung kommuniziert
DE102017128652B4 (de) Robotersystem mit einer mehrzahl von robotern, robotersteuerung und robotersteuerverfahren
DE10224031B3 (de) Vorrichtung zur Überwachung eines Erfassungsbereiches an einem Arbeitsmittel
EP3587044B1 (de) Verfahren zum greifen von objekten in einem suchbereich und positioniersystem
DE102008062622A1 (de) Verfahren und Vorrichtung zur Befehlseingabe in eine Steuerung eines Manipulators
EP2652568B1 (de) Einrichtung zur programmierung einer handhabungsvorrichtung
DE102018212531B4 (de) Artikeltransfervorrichtung
DE102015100882B4 (de) Punktschweißsystem zum Verwalten einer Elektrodenüberprüfung und ein dafür verwendeter Roboter
DE102005020149A1 (de) Verfahren zur automatischen Fehlererkennung in Prüfteilen mittels einer Röntgenprüfanlage
EP3037905B1 (de) Vorrichtung und verfahren zum aufnehmen von positionen
EP3374137A1 (de) Verfahren und computerprogramm zur erzeugung einer grafischen benutzerschnittstelle eines manipulatorprogramms
DE10215885A1 (de) Automatische Prozesskontrolle
EP3374135B1 (de) Verfahren zum vereinfachten ändern von applikationsprogrammen zur steuerung einer industrieanlage
EP3323565B1 (de) Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
WO2020074722A1 (de) Verfahren und robotersystem zur eingabe eines arbeitsbereichs
DE212017000277U1 (de) Optisch überwachtes Manipulatorsystem
EP1675709A2 (de) VERFAHREN ZUR EINRICHTUNG EINER BEWEGUNG EINES HANDHABUNGSGERÄTS UND BILDVERARBEITUNG
DE102015209896B3 (de) Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
DE102018130942B4 (de) Robotersystem
EP3710900B1 (de) Verfahren und system zum vorgeben bzw. lernen eines roboterbefehls
WO2018077469A1 (de) Verfahren zum steuern eines manipulators basierend auf handerkennung
EP3710207B1 (de) Qualitätssicherung eines prozesses
EP2845697A2 (de) Verfahren zum Überwachen einer nutzlastführenden Roboteranordnung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final