DE102017011252A1 - Verfahren und System zur Bauteilbearbeitung durch Roboter - Google Patents

Verfahren und System zur Bauteilbearbeitung durch Roboter Download PDF

Info

Publication number
DE102017011252A1
DE102017011252A1 DE102017011252.5A DE102017011252A DE102017011252A1 DE 102017011252 A1 DE102017011252 A1 DE 102017011252A1 DE 102017011252 A DE102017011252 A DE 102017011252A DE 102017011252 A1 DE102017011252 A1 DE 102017011252A1
Authority
DE
Germany
Prior art keywords
processing
determined
component
robot
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017011252.5A
Other languages
English (en)
Inventor
Michael Wenger
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Priority to DE102017011252.5A priority Critical patent/DE102017011252A1/de
Priority to PCT/EP2018/081494 priority patent/WO2019110270A1/de
Publication of DE102017011252A1 publication Critical patent/DE102017011252A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39391Visual servoing, track end effector with camera image feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Ein erfindungsgemäßes Verfahren zur Bearbeitung eines Bauteils (30) durch einen Roboter (10) umfasst die Schritte:
- Ermitteln (S20) wenigstens einer Bearbeitungsfläche (31; 31') des Bauteils mithilfe einer Bildverarbeitung eines Bildes (30') des Bauteils; und
- Bearbeiten (S60) des Bauteils durch den Roboter auf Basis der ermittelten Bearbeitungsfläche.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Bearbeitung wenigstens eines Bauteils durch einen Roboter sowie ein Computerprogrammprodukt zur Durchführung des Verfahrens.
  • Aus betriebsinterner Praxis ist es bekannt, zunächst mittels Bildverarbeitung ein vorgegebenes Muster auf einem Bauteil zu erkennen, hieraus eine Pose des Bauteils relativ zu einem Roboter zu ermitteln, und das Bauteil dann durch den Roboter entlang einer Bearbeitungsbahn zu bearbeiten, die bezüglich des Bauteils vorgegeben ist und entsprechend der ermittelten Pose des Bauteils relativ zum Roboter durch diesen abgefahren wird.
  • Nachteilig muss hier für jeden Bauteiltyp jeweils zunächst die Bearbeitungsbahn vorgegeben, in der Regel manuell geteacht, werden.
  • Aufgabe der vorliegenden Erfindung ist es, die Bauteilbearbeitung durch Roboter zu verbessern.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst. Ansprüche 10, 11 stellen ein System bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
  • Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zur Bearbeitung eines Bauteils durch einen Roboter die Schritte auf:
    • - Ermitteln einer oder mehrerer Bearbeitungsfläche(n) des Bauteils mithilfe einer, insbesondere durch eine, Bildverarbeitung eines Bildes des Bauteils; und
    • - Bearbeiten des Bauteils durch den bzw. mit dem Roboter auf Basis bzw. in Abhängigkeit von der bzw. den ermittelten Bearbeitungsfläche(n).
  • Indem mithilfe einer Bildverarbeitung eine Bearbeitungsfläche ermittelt und das Bauteil auf Basis dieser ermittelten Bearbeitungsfläche bearbeitet wird, statt zunächst ein vorgegebenes Muster auf einem Bauteil zu erkennen, hieraus die Pose des Bauteils zu ermitteln und dann eine vorgegebene Bearbeitungsbahn auf diese Pose zu transformieren, kann in einer Ausführung vorteilhaft das aufwändige Vorgeben, insbesondere Teachen, einer (bauteiltypspezifischen) Bearbeitungsbahn bezüglich des Bauteils entfallen. Zusätzlich oder alternativ kann in einer Ausführung durch das Ermitteln einer Bearbeitungsfläche mithilfe bzw. durch eine(r) Bildverarbeitung eine Bearbeitung durch den Roboter, insbesondere deren Präzision und/oder Zuverlässigkeit, verbessert werden.
  • In einer Ausführung weist der Roboter einen Roboterarm mit wenigstens drei, insbesondere wenigstens sechs, in einer Ausführung wenigstens sieben, Gelenken bzw. (Bewegungs)Achsen, insbesondere Drehgelenken bzw. -achsen, auf, die in einer Ausführung durch, insbesondere elektrische, insbesondere elektromotorische, Antriebe aktuier- bzw. verstellbar sind bzw. (zur Bearbeitung, insbesondere dem Abfahren einer Bearbeitungsbahn) aktuiert bzw. verstellt werden. Solche Roboter stellen, insbesondere aufgrund ihrer Flexibilität, besonders vorteilhafte Anwendungen der vorliegenden Erfindung dar.
  • In einer Ausführung umfasst das Ermitteln einer (realen) Bearbeitungsfläche des (realen) Bauteils ein Ermitteln einer Pose, insbesondere einer ein-, zwei- oder dreidimensionalen Position und/oder einer ein-, zwei- oder dreidimensionalen Orientierung, der Bearbeitungsfläche, insbesondere relativ zu dem Roboter und/oder dessen Umgebung bzw. einem roboter- bzw. umgebungsfesten Bezugssystem. Dabei kann ein zweidimensionales Ermitteln in einer Ausführung vorteilhaft präzise(r) und/oder schnell(er) erfolgen, ein dreidimensionales Ermitteln in einer Ausführung vorteilhaft komplexere Bearbeitungen und/oder Bauteile ermöglichen.
  • Zusätzlich oder alternativ umfasst in einer Ausführung das Ermitteln einer (virtuellen) Bearbeitungsfläche des Bauteils ein Ermitteln eines Bildes der (realen) Bearbeitungsfläche in dem Bild des Bauteils mithilfe der bzw. durch die Bildverarbeitung, insbesondere einer Pose, insbesondere einer ein-, zwei- oder dreidimensionalen Position und/oder einer ein-, zwei- oder dreidimensionalen Orientierung, des Bildes der Bearbeitungsfläche in dem Bild des Bauteils.
  • Die ermittelte Bearbeitungsfläche kann somit in einer Ausführung eine reale Bearbeitungsfläche, deren Pose, insbesondere dreidimensionale Position und Orientierung, relativ zum Roboter bzw. dessen Umgebung ermittelt wird, oder gleichermaßen eine virtuelle Bearbeitungsfläche bzw. ein Bild einer realen Bearbeitungsfläche sein, deren Pose, insbesondere zweidimensionale Position und eindimensionale Orientierung, relativ zu, insbesondere in, dem Bild des Bauteils ermittelt wird.
  • Insbesondere kann auf Basis einer Pose einer ermittelten virtuellen Bearbeitungsfläche bzw. eines Bildes der realen Bearbeitungsfläche in dem Bild des Bauteils und einer, insbesondere durch eine Pose einer Kameraanordnung bei Aufnahme des Bildes des Bauteils vorgegebenen bzw. bekannten, insbesondere kalibrierten bzw. ermittelten, Pose des Bildes des Bauteils relativ zu dem Roboter bzw. dessen Umgebung bzw. dem roboter- bzw. umgebungsfesten Bezugssystem eine Pose der (realen) Bearbeitungsfläche relativ zu dem Roboter bzw. dessen Umgebung bzw. dem roboter- bzw. umgebungsfesten Bezugssystem ermittelt werden.
  • In einer Ausführung weist das Verfahren die Schritte auf:
    • - (jeweils) Ermitteln einer oder mehrerer Bearbeitungsbahn(en) an, insbesondere auf und/oder in, der (jeweils) ermittelten Bearbeitungsfläche, in einer Ausführung mithilfe einer, insbesondere durch eine, Bildverarbeitung; und
    • - Bearbeiten des Bauteils durch den Roboter auf Basis, insbesondere entlang, der ermittelten Bearbeitungsbahn(en).
  • In einer Ausführung umfasst das Ermitteln einer Bearbeitungsbahn ein Ermitteln einer realen Bearbeitungsbahn, insbesondere ein Ermitteln einer Pose, insbesondere einer ein-, zwei- oder dreidimensionalen Position und/oder einer ein-, zwei- oder dreidimensionalen Orientierung, der realen Bearbeitungsbahn, insbesondere relativ zu dem Roboter und/oder dessen Umgebung bzw. einem roboter- bzw. umgebungsfesten Bezugssystem, insbesondere von Posen, insbesondere ein-, zwei- oder dreidimensionalen Positionen und/oder Orientierungen, von Punkten der realen Bearbeitungsbahn bzw. von entsprechenden Posen einer roboterfesten Referenz, insbesondere eines TCPs, des Roboters entlang der realen Bearbeitungsbahn. Zusätzlich oder alternativ umfasst in einer Ausführung das Ermitteln einer Bearbeitungsbahn ein, insbesondere vorhergehendes, Ermitteln einer (virtuellen) Bearbeitungsbahn, insbesondere ein Ermitteln eines Bildes der Bearbeitungsbahn in dem Bild des Bauteils, insbesondere in dem Bild der Bearbeitungsfläche bzw. an der virtuellen Bearbeitungsfläche, mithilfe der bzw. durch die Bildverarbeitung, insbesondere einer Pose, insbesondere einer ein-, zwei- oder dreidimensionalen Position und/oder einer ein-, zwei- oder dreidimensionalen Orientierung, der virtuellen Bearbeitungsbahn bzw. von Punkten der virtuellen Bearbeitungsbahn in dem Bild des Bauteils.
  • Insbesondere kann bzw. können auf Basis von (einer) Pose(n) einer ermittelten virtuellen Bearbeitungsbahn bzw. ihrer Punkte in dem Bild des Bauteils und einer, insbesondere durch eine Pose einer Kameraanordnung bei Aufnahme des Bildes des Bauteils vorgegebenen bzw. bekannten, insbesondere kalibrierten bzw. ermittelten, Pose des Bildes des Bauteils relativ zu dem Roboter bzw. dessen Umgebung bzw. dem roboter- bzw. umgebungsfesten Bezugssystem (eine) Pose(n) der (realen) Bearbeitungsfläche bzw. ihrer Punkte relativ zu dem Roboter bzw. dessen Umgebung bzw. dem roboter- bzw. umgebungsfesten Bezugssystem ermittelt werden.
  • Somit kann in einer Ausführung bereits eine Pose, insbesondere dreidimensionale Position und Orientierung, der realen Bearbeitungsfläche relativ zu Roboter bzw. Umgebung auf Basis einer Pose, insbesondere zweidimensionale Position und eindimensionale Orientierung, des Bildes der Bearbeitungsfläche in dem Bild des Bauteils und einer Pose, insbesondere dreidimensionale Position und Orientierung, des Bildes des Bauteils relativ zu Roboter bzw. Umgebung und dann (eine) Pose(n) der realen Bearbeitungsbahn bzw. ihrer Punkte relativ zu dieser realen Bearbeitungsfläche und somit relativ zu Roboter bzw. Umgebung ermittelt werden.
  • Gleichermaßen kann/können in einer anderen Ausführung zunächst (eine) Pose(n) der virtuellen Bearbeitungsbahn bzw. ihrer Punkte an bzw. relativ zu der virtuellen Bearbeitungsfläche in dem Bild des Bauteils ermittelt und diese dann auf Basis einer Pose, insbesondere dreidimensionale Position und Orientierung, des Bildes des Bauteils relativ zu Roboter bzw. Umgebung auf (eine) Pose(n) einer realen Bearbeitungsbahn bzw. ihrer Punkte relativ zu Roboter bzw. Umgebung transformiert bzw. eine solche ermittelt werden. In einer Ausführung wird somit mithilfe einer Bildverarbeitung wenigstens eine virtuelle Bearbeitungsbahn an der ermittelten virtuellen Bearbeitungsfläche ermittelt, auf Basis dieser virtuellen Bearbeitungsbahn eine reale Bearbeitungsbahn ermittelt, insbesondere entsprechend einer Pose des Bildes des Bauteils transformiert, und das reale Bauteil an seiner realen Bearbeitungsfläche durch den Roboter entlang dieser realen Bearbeitungsbahn bearbeitet.
  • Mit anderen Worten kann in einer Ausführung zunächst die Bearbeitungsbahn virtuell in dem Bild des Bauteils und hieraus dann die reale Bearbeitungsbahn relativ zu Roboter bzw. Umgebung ermittelt werden, in einer anderen Ausführung bereits die reale Bearbeitungsfläche relativ zu Roboter bzw. Umgebung und daran dann die reale Bearbeitungsbahn relativ zu Roboter bzw. Umgebung ermittelt werden.
  • In einer Ausführung wird somit ein zweistufiges Verfahren vorgeschlagen, bei dem zunächst durch eine Bildverarbeitung die Bearbeitungsfläche(n) bzw. deren Bild(er) und dann daran, insbesondere mithilfe einer weiteren Bildverarbeitung, die (virtuelle(n) bzw. reale(n)) Bearbeitungsbahn(en) ermittelt wird bzw. werden. In einer Ausführung übermittelt die bzw. das Mittel zur (weitere(n)) Bildverarbeitung die von ihm ermittelte(n), insbesondere virtuelle(n) oder reale(n), Bearbeitungsbahn(en) an ein Mittel zum Steuern des Roboters.
  • Eine reale Bearbeitungsbahn kann ebenso wie eine virtuelle Bearbeitungsbahn insbesondere eine Soll-Bahn sein. Eine reale Bearbeitungsbahn bzw. -fläche kann in einer Ausführung eine Bahn bzw. Fläche im Arbeitsraum des Roboters sein und weist entsprechend in einer Ausführung drei Positionskoordinaten und gegebenenfalls drei Orientierungskoordinaten auf. Eine virtuelle Bearbeitungsbahn bzw. -fläche kann in einer Ausführung eine Bahn bzw. Fläche in einem Bild des Bauteils sein und weist entsprechend in einer Ausführung zwei Positionskoordinaten und gegebenenfalls eine Orientierungskoordinate auf.
  • Hierdurch kann in einer Ausführung eine Bearbeitung durch den Roboter, insbesondere deren Präzision und/oder Zuverlässigkeit, (weiter) verbessert werden.
  • In einer Ausführung weist das Verfahren die Schritte auf:
    • - (jeweils) Segmentieren der ermittelten Bearbeitungsfläche, insbesondere also der virtuellen Bearbeitungsfläche bzw. des Bildes der realen Bearbeitungsfläche;
    • - Ermitteln von Segmentpunkten in Segmenten der segmentierten Bearbeitungsfläche; und
    • - Ermitteln von Punkten der Bearbeitungsbahn auf Basis der ermittelten Segmentpunkte.
  • Hierdurch kann in einer Ausführung die Ermittlung von Bearbeitungsbahnen, insbesondere deren Präzision und/oder Zuverlässigkeit, (weiter) verbessert werden.
  • In einer Ausführung wird (jeweils) die ermittelte Bearbeitungsfläche auf Basis bzw. in Abhängigkeit von einem, insbesondere hierzu, ermittelten Mittelpunkt, insbesondere Flächenmittelpunkt, der ermittelten Bearbeitungsfläche und/oder einer, in einer Ausführung durch eine Benutzereingabe und/oder automatisch, vorgegebenen, Segmentgröße, segmentiert, in einer Ausführung in um den Mittelpunkt verdrehte Segmente.
  • Zusätzlich oder alternativ werden in einer Ausführung Segmentpunkte mithilfe einer Bildverarbeitung der ermittelten Bearbeitungsfläche, insbesondere also der virtuellen Bearbeitungsfläche bzw. des Bildes der realen Bearbeitungsfläche, ermittelt, sie können in einer Ausführung (mithilfe der Bildverarbeitung ermittelte) Mittelpunkte, insbesondere Flächenmittelpunkte, der Segmente sein.
  • Zusätzlich oder alternativ können in einer Ausführung Punkte der Bearbeitungsbahn jeweils ermittelten Segmentpunkten entsprechen, insbesondere also mithilfe einer Bildverarbeitung des Bildes der Bearbeitungsfläche bzw. der Segmente direkt Punkte der Bearbeitungsbahn ermittelt werden.
  • Zusätzlich oder alternativ können in einer Ausführung Punkte der Bearbeitungsbahn mithilfe einer Filterung und/oder Interpolation ermittelter Segmentpunkten und/oder eines vorgegebenen Offsets gegenüber ermittelten Segmentpunkten ermittelt werden, wobei eine Interpolation ermittelter Segmentpunkte in einer Ausführung eine Extrapolation über ermittelte Segmentpunkte hinaus umfassen kann.
  • Hierdurch können in einer Ausführung Bearbeitungsbahnen und/oder deren Ermittlung (weiter) verbessert werden, insbesondere vorteilhafte, insbesondere glatte, Bahnen ermittelt und/oder die Präzision und/oder Zuverlässigkeit der Ermittlung verbessert werden.
  • In einer Ausführung wird die Bearbeitungsfläche auf Basis einer vorgegebenen Charakterisierung der Bearbeitungsfläche, insbesondere einer vorgegebenen Farbe, Helligkeit, Größe, Form und/oder Pose der Bearbeitungsfläche, insbesondere relativ zu dem Bild, ermittelt, insbesondere auf Basis hierfür vorgegebener oberer und/oder unterer Grenzen bzw. Bereiche.
  • So kann die Bildverarbeitung in einer Ausführung in dem Bild des Bauteils, insbesondere in vorgegebenen Bereichen dieses Bildes, nach, insbesondere zusammenhängenden, Bildbereichen suchen bzw. solche ermitteln, deren Farbe und/oder Helligkeit in einem vorgegebenen Wertebereich liegt, und in einer Ausführung unter diesen den- bzw. diejenigen als Bearbeitungsfläche(nsegment) auswählen, deren Größe, Form und/oder Pose am besten einer vorgegebenen Charakterisierung entspricht.
  • In einer Ausführung weist das Verfahren die Schritte auf: Aufnehmen des Bildes des Bauteils durch eine Kameraanordnung mit einer oder mehreren stationären Kamera(s) und/oder einer oder mehreren durch den Roboter geführten Kamera(s).
  • Durch stationäre bzw. roboterexterne Kameras kann der Roboter in einer Ausführung unabhängig von diesen agieren und so insbesondere die Bearbeitung beschleunigt werden. Robotergeführte Kameras können in einer Ausführung vorteilhaft, insbesondere nur temporär und/oder in vorgegebenen Posen relativ zu dem Bauteil bzw. einer Bauteilauflage, verwendet werden.
  • In einer Ausführung wird eine Bearbeitungsfläche (jeweils) bautteiltypunabhängig ermittelt, insbesondere also unabhängig von einer Kenntnis bzw. Vorgabe eines Bautteiltyps.
  • Damit kann in einer Ausführung vorteilhaft das aufwändige Vorgeben, insbesondere Teachen, einer (bauteiltypspezifischen) Bearbeitungsbahn bezüglich des Bauteils entfallen. Zusätzlich oder alternativ kann hierdurch in einer Ausführung eine Bearbeitung durch den Roboter, insbesondere deren Präzision und/oder Zuverlässigkeit, (weiter) verbessert werden.
  • In einer Ausführung weist die Bildverarbeitung zum Ermitteln der Bearbeitungsfläche und/oder die Bildverarbeitung zum Ermitteln der Bearbeitungsbahn(en), insbesondere die Bildverarbeitung zum Ermitteln der Segmentpunkte, (jeweils) eine sogenannte Blob-Suche („blob detection“) auf, insbesondere also eine Suche bzw. Ermittlung von, insbesondere zusammenhängenden, Bildbereichen, deren Bildpunktfarbe und/oder -helligkeit voneinander höchstens um einen vorgegebenen Wert differieren bzw. in einem vorgegebenen Wertebereich liegen.
  • In einer Ausführung kann das Bearbeiten ein Auftragen bzw. -bringen und/oder Abtragen von Material, insbesondere ein Kleben, Löten, Lackieren, Fräsen oder dergleichen, und/oder ein optisches, chemisches und/oder thermisches Bearbeiten, insbesondere Schweißen, durch den Roboter aufweisen, insbesondere sein. Solche Bearbeitungen stellen besonders vorteilhafte Anwendungen der vorliegenden Erfindung dar.
  • Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist auf:
    • - Mittel zum Ermitteln wenigstens einer Bearbeitungsfläche des Bauteils mithilfe einer Bildverarbeitung eines Bildes des Bauteils; und
    • - Mittel zum Bearbeiten des Bauteils durch den Roboter auf Basis der ermittelten Bearbeitungsfläche.
  • In einer Ausführung weist das System bzw. sein(e) Mittel auf:
    • - Mittel zum Ermitteln wenigstens einer Bearbeitungsbahn an der ermittelten Bearbeitungsfläche, insbesondere mithilfe einer Bildverarbeitung und Mittel zum Bearbeiten des Bauteils durch den Roboter auf Basis der ermittelten Bearbeitungsbahn; insbesondere
    • - Mittel zum Segmentieren der ermittelten Bearbeitungsfläche, Mittel zum Ermitteln von Segmentpunkten in Segmenten der segmentierten Bearbeitungsfläche, und Mittel zum Ermitteln von Punkten der Bearbeitungsbahn auf Basis der ermittelten Segmentpunkte; insbesondere
    • - Mittel zum Segmentieren der ermittelten Bearbeitungsfläche auf Basis eines ermittelten Mittelpunktes der Bearbeitungsfläche und/oder einer vorgegebenen Segmentgröße und/oder Mittel zum Ermitteln von Segmentpunkten mithilfe einer Bildverarbeitung der ermittelten Bearbeitungsfläche und/oder Mittel zum Ermitteln von Segmentpunkten und/oder Mittel zum Ermitteln von Punkten der Bearbeitungsbahn mithilfe einer Filterung und/oder Interpolation ermittelter Segmentpunkte und/oder eines vorgegebenen Offsets gegenüber ermittelten Segmentpunkten.
  • Zusätzlich oder alternativ weist das System bzw. sein(e) Mittel in einer Ausführung auf:
    • - Mittel zum Ermitteln wenigstens einer Bearbeitungsfläche auf Basis einer vorgegebenen Charakterisierung, insbesondere Farbe, Helligkeit, Größe, Form und/oder Pose, der Bearbeitungsfläche; und/oder
    • - Mittel zum Aufnehmen des Bildes des Bauteils durch eine Kameraanordnung mit wenigstens einer stationären und/oder wenigstens einer durch den Roboter geführten Kamera; und/oder
    • - Mittel zum bautteiltypunabhängigen Ermitteln der Bearbeitungsfläche; und/oder
    • - Mittel zur Bildverarbeitung mithilfe einer Blob-Suche; und/oder
    • - Mittel zum Auf- und/oder Abtragen von Material und/oder optischen, chemischen und/oder thermischen Bearbeiten durch den Roboter.
  • Ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU) und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die CPU die Schritte solcher Verfahren ausführen kann und damit insbesondere der Roboter steuern kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere nichtflüchtiges, Speichermedium zum Speichern eines Programms bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein, wobei ein Ausführen dieses Programms ein System bzw. eine Steuerung, insbesondere einen Computer, dazu veranlasst, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen.
  • In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. ihr(e) Mittel.
  • Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
    • 1: ein System zur Bearbeitung eines Bauteils durch einen Roboter nach einer Ausführung der vorliegenden Erfindung;
    • 2: ein Bild des Bauteils während einer Bildverarbeitung; und
    • 3: ein Verfahren zur Bearbeitung des Bauteils durch den Roboter nach einer Ausführung der vorliegenden Erfindung.
  • 1 zeigt ein System zur Bearbeitung eines Bauteils 30 durch einen Roboter 10 nach einer Ausführung der vorliegenden Erfindung.
  • Das System weist außer dem Roboter 10 eine Kamera 40, Mittel zum Steuern des Roboters in Form einer Robotersteuerung 20 sowie ein Mittel zur Bildverarbeitung 25 auf, das mit der Kamera 40 und der Robotersteuerung 20 kommuniziert.In einer nicht dargestellten Abwandlung können das Mittel zur Bildverarbeitung 25 auch in der Robotersteuerung 20 integriert bzw. das Mittel zum Steuern des Roboters und das Mittel zur Bildverarbeitung nur softwareseitig getrennt sein und auf dem- bzw. durch denselben Computer ausgeführt werden.
  • Das Bauteil 30 ist auf einer Bauteilauflage 100 aufgespannt und weist mehrere blanke Metallflächen auf, von denen in 1 eine stirnseitige Fläche 31 und in 2(a) deren Bild 31' sowie ein Bild 31" einer weiteren blanken Metallfläche erkennbar ist. Das System führt ein nachfolgend mit Bezug auf 3 erläutertes Verfahren zur Bearbeitung des Bauteils 30 durch den Roboter 10 nach einer Ausführung der vorliegenden Erfindung durch.
  • In einem Schritt S10 wird durch die Kamera 40 ein Bild 30' des Bauteils 30 aufgenommen, das in 2(a) dargestellt ist.
  • In diesem Bild ermittelt das Mittel zur Bildverarbeitung 25 in einem Schritt S20 mittels Blob-Suche mögliche Bearbeitungsflächen, beispielsweise die Flächen 31', 31" in 2(a) aufgrund ihrer größeren Helligkeit und ihrer zusammenhängenden Form, und wählt unter diesen die Fläche 31' als ermittelte Bearbeitungsfläche in dem Bild 30' aus, da für die gewünschte Arbeitsfläche beispielsweise eine rechteckige(re) Form und/oder eine gewisse Mindestgröße vorgegeben ist.
  • In einem Schritt S30 wird der Flächenmittelpunkt 33 der ermittelten virtuellen Bearbeitungsfläche 31' ermittelt und diese Bearbeitungsfläche 31' auf Basis dieses Flächenmittelpunkts 33 mit einer vorgegebenen Segmentgröße von 1° kreissegmentartig in Segmente 34 segmentiert, wie in 2(b) angedeutet.
  • In einem Schritt S40 wird mittels Blob-Suche in jedem der Segmente 34 jeweils dessen Flächenmittelpunkt 35 ermittelt und in einem Schritt S50 als virtuelle Bearbeitungsbahn 36 die Verbindung dieser Segmentpunkte 35 ermittelt, wie in 2(c) angedeutet.
  • Diese virtuelle Bearbeitungsbahn 36 bzw. deren Bahnpunkte werden in Schritt S50 an die Robotersteuerung 20 übermittelt, die in einem Schritt S60 dann hieraus auf Basis der bekannten Pose des Bildes 30' relativ zum Roboter, die durch eine Kalibrierung der Kamera 40 und Bildverarbeitung ermittelt worden ist, die reale Bearbeitungsbahn ermittelt und den Roboter 10 derart steuert, dass eine robotergeführte Klebepistole 11 entlang dieser realen Bearbeitungsbahn eine Kleberaupe 32 aufbringt (vgl. 1). Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
  • Bezugszeichenliste
  • 10
    Roboter
    11
    Klebepistole
    20
    Robotersteuerung
    25
    Bildverarbeitungsmittel
    30
    Bauteil
    30'
    Bauteilbild
    31
    reale Bearbeitungsfläche
    31'; 31"
    virtuelle Bearbeitungsfläche
    32
    Kleberaupe
    33
    Flächenmittelpunkt von Bearbeitungsfläche 31'
    34
    Segment
    35
    Segment-Flächenmittelpunkt
    36
    virtuelle Bearbeitungsbahn
    40
    Kamera
    100
    Bauteilauflage

Claims (11)

  1. Verfahren zur Bearbeitung eines Bauteils (30) durch einen Roboter (10), mit den Schritten: - Ermitteln (S20) wenigstens einer Bearbeitungsfläche (31; 31') des Bauteils mithilfe einer Bildverarbeitung eines Bildes (30') des Bauteils; und - Bearbeiten (S60) des Bauteils durch den Roboter auf Basis der ermittelten Bearbeitungsfläche.
  2. Verfahren nach Anspruch 1, gekennzeichnet durch die Schritte: - Ermitteln (S50) wenigstens einer Bearbeitungsbahn (36) an der ermittelten Bearbeitungsfläche, insbesondere mithilfe einer Bildverarbeitung; und - Bearbeiten (S60) des Bauteils durch den Roboter auf Basis der ermittelten Bearbeitungsbahn.
  3. Verfahren nach dem vorhergehenden Anspruch, gekennzeichnet durch die Schritte: - Segmentieren (S30) der ermittelten Bearbeitungsfläche; - Ermitteln (S40) von Segmentpunkten (35) in Segmenten (34) der segmentierten Bearbeitungsfläche; und - Ermitteln (S50) von Punkten der Bearbeitungsbahn auf Basis der ermittelten Segmentpunkte.
  4. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass - die ermittelte Bearbeitungsfläche auf Basis eines ermittelten Mittelpunktes (33) der Bearbeitungsfläche und/oder einer vorgegebenen Segmentgröße segmentiert wird; - Segmentpunkte mithilfe einer Bildverarbeitung der ermittelten Bearbeitungsfläche ermittelt werden, insbesondere Mittelpunkte der Segmente sind; und/oder - Punkte der Bearbeitungsbahn ermittelten Segmentpunkten entsprechen oder mithilfe einer Filterung und/oder Interpolation ermittelter Segmentpunkte und/oder eines vorgegebenen Offsets gegenüber ermittelten Segmentpunkten ermittelt werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bearbeitungsfläche auf Basis einer vorgegebenen Charakterisierung, insbesondere Farbe, Helligkeit, Größe, Form und/oder Pose, der Bearbeitungsfläche ermittelt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch den Schritt: - Aufnehmen (S10) des Bildes des Bauteils durch eine Kameraanordnung mit wenigstens einer stationären und/oder wenigstens einer durch den Roboter geführten Kamera (40).
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bearbeitungsfläche bautteiltypunabhängig ermittelt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens eine Bildverarbeitung eine Blob-Suche aufweist.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bearbeiten Auf- und/oder Abtragen von Material und/oder optisches, chemisches und/oder thermisches Bearbeiten durch den Roboter aufweist.
  10. System zur Bearbeitung eines Bauteils (30) durch einen Roboter (10), das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist: - Mittel (25) zum Ermitteln wenigstens einer Bearbeitungsfläche (31; 31') des Bauteils mithilfe einer Bildverarbeitung eines Bildes (30') des Bauteils; und - Mittel (20) zum Bearbeiten des Bauteils durch den Roboter auf Basis der ermittelten Bearbeitungsfläche.
  11. Computerprogrammprodukt mit einem Programmcode, der auf einem von einem Computer lesbaren Medium gespeichert ist, zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche.
DE102017011252.5A 2017-12-06 2017-12-06 Verfahren und System zur Bauteilbearbeitung durch Roboter Withdrawn DE102017011252A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102017011252.5A DE102017011252A1 (de) 2017-12-06 2017-12-06 Verfahren und System zur Bauteilbearbeitung durch Roboter
PCT/EP2018/081494 WO2019110270A1 (de) 2017-12-06 2018-11-16 Verfahren und system zur bauteilbearbeitung durch roboter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017011252.5A DE102017011252A1 (de) 2017-12-06 2017-12-06 Verfahren und System zur Bauteilbearbeitung durch Roboter

Publications (1)

Publication Number Publication Date
DE102017011252A1 true DE102017011252A1 (de) 2019-06-06

Family

ID=64402199

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017011252.5A Withdrawn DE102017011252A1 (de) 2017-12-06 2017-12-06 Verfahren und System zur Bauteilbearbeitung durch Roboter

Country Status (2)

Country Link
DE (1) DE102017011252A1 (de)
WO (1) WO2019110270A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244722A (ja) * 1996-03-06 1997-09-19 Toyota Autom Loom Works Ltd 産業用ロボットの教示データ作成方法、産業用ロボットの教示データ作成装置、及び、産業用ロボットシステム
EP0997236A1 (de) * 1998-10-30 2000-05-03 Fanuc Ltd Bildverarbeitungsgerät für einen Roboter
DE60127644T2 (de) * 2000-12-07 2007-07-19 Fanuc Ltd. Lehrvorrichtung für einen Roboter
DE602006000648T2 (de) * 2005-10-12 2009-03-26 Fanuc Ltd. Offline-Lehrgerät für einen Roboter
DE102015000587A1 (de) * 2014-01-24 2015-07-30 Fanuc Corporation Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102015015638A1 (de) * 2014-12-02 2016-10-13 Fanuc Corporation Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置
CN102378943A (zh) * 2009-02-03 2012-03-14 范努克机器人技术美国有限公司 控制机器人工具的方法
EP2928648B1 (de) * 2012-12-10 2019-12-04 ABB Schweiz AG Roboterprogrammerzeugung für robotische prozesse

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09244722A (ja) * 1996-03-06 1997-09-19 Toyota Autom Loom Works Ltd 産業用ロボットの教示データ作成方法、産業用ロボットの教示データ作成装置、及び、産業用ロボットシステム
EP0997236A1 (de) * 1998-10-30 2000-05-03 Fanuc Ltd Bildverarbeitungsgerät für einen Roboter
DE60127644T2 (de) * 2000-12-07 2007-07-19 Fanuc Ltd. Lehrvorrichtung für einen Roboter
DE602006000648T2 (de) * 2005-10-12 2009-03-26 Fanuc Ltd. Offline-Lehrgerät für einen Roboter
DE102015000587A1 (de) * 2014-01-24 2015-07-30 Fanuc Corporation Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
DE102015015638A1 (de) * 2014-12-02 2016-10-13 Fanuc Corporation Vorrichtung und Verfahren zum Übertragen von Artikeln unter Verwendung eines Roboters

Also Published As

Publication number Publication date
WO2019110270A1 (de) 2019-06-13

Similar Documents

Publication Publication Date Title
DE102015015503B4 (de) Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
DE102015009151A1 (de) Ermitteln eines Eingabebefehls für einen Roboter, der durch manuelles Ausüben einer Kraft auf den Roboter eingegeben wird
DE102017124502B4 (de) Simulationsvorrichung und Simulationsverfahren, die eine Betriebssimulation eines Robotersystems ausführen, und Aufzeichnungsmedium, das ein Computerprogramm aufzeichnet
DE102014117346B4 (de) Roboter, Robotersteuerungsverfahren und Robotersteuerungsprogramm zur Werkstückkorrektur
DE102015008144A1 (de) Umschalten einer Steuerung eines Roboters in einen Handführ-Betriebsmodus
DE112010000794T5 (de) Verfahren zum Steuern eines Roboterwerkzeugs
DE102015001527A1 (de) Robotersystem, das visuelle Rückmeldung verwendet
EP3221094B1 (de) Verfahren und system zur korrektur einer bearbeitungsbahn eines robotergeführten werkzeugs
DE102017001131C5 (de) Verfahren und System zum Betreiben eines Roboters
DE102018001026A1 (de) Robotersystem mit einer lernenden steuerungsfunktion und lernendes steuerungsverfahren
DE102015000587A1 (de) Roboterprogrammiervorrichtung zum Erstellen eines Roboterprogramms zum Aufnehmen eines Bilds eines Werkstücks
WO2007065750A1 (de) Trackingsystem und verfahren zur posenbestimmung
EP3581341A1 (de) Verfahren zum betreiben eines roboters, datenspeicher mit einem entsprechenden programmcode, roboter und robotersystem
WO2020225229A1 (de) Maschinelles lernen einer objekterkennung mithilfe einer robotergeführten kamera
DE102016210096A1 (de) Roboter
DE102016102579A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Vielzahl von Raumkoordinaten an einem Gegenstand
DE102017003993A1 (de) Kalibrierung eines Roboters
EP3471928B1 (de) Konfigurieren und/oder steuern einer roboteranordnung
WO2018091141A1 (de) Vermessen einer bewegungsachse eines roboters
DE102017011252A1 (de) Verfahren und System zur Bauteilbearbeitung durch Roboter
DE102017010244A1 (de) Verfahren und Steuermittel zum Steuern einer Roboteranordnung
DE102017008917A1 (de) Verfahren zum Lokalisieren eines mobilen Roboters
DE112021002301T5 (de) Vorrichtung zum erhalten einer position eines visuellen sensors im steuerkoordinatensystem eines roboters, robotersystem, verfahren und computerprogramms
DE102017107593B4 (de) Verfahren zum Bestimmen unbekannter Transformationen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R082 Change of representative

Representative=s name: WALLINGER RICKER SCHLOTTER TOSTMANN PATENT- UN, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee