DE102021209867A1 - Bewerten und/oder Steuern eines Roboterarbeitsprozesses - Google Patents

Bewerten und/oder Steuern eines Roboterarbeitsprozesses Download PDF

Info

Publication number
DE102021209867A1
DE102021209867A1 DE102021209867.3A DE102021209867A DE102021209867A1 DE 102021209867 A1 DE102021209867 A1 DE 102021209867A1 DE 102021209867 A DE102021209867 A DE 102021209867A DE 102021209867 A1 DE102021209867 A1 DE 102021209867A1
Authority
DE
Germany
Prior art keywords
work process
vibration data
robot
data
measurement data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021209867.3A
Other languages
English (en)
Inventor
Manuel Kaspar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Deutschland GmbH filed Critical KUKA Deutschland GmbH
Priority to DE102021209867.3A priority Critical patent/DE102021209867A1/de
Priority to PCT/EP2022/073547 priority patent/WO2023036610A1/de
Publication of DE102021209867A1 publication Critical patent/DE102021209867A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1641Programme controls characterised by the control loop compensation for backlash, friction, compliance, elasticity in the joints
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39241Force and vibration control

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Ein Verfahren zum überwachten maschinellen Lernen eines Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters (2) umfasst die Schritte: Erfassen (S20) von Schwingungsdaten und Messdaten während der Durchführung des Arbeitsprozesses; und überwachtes maschinelles Lernen (S50) eines Prozessmodell: des Arbeitsprozesses auf Basis der Messdaten, welche auf Basis der erfassten Schwingungsdaten gelabelt sind. Ein Verfahren zum Bewerten, insbesondere zum Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters (2), umfasst den Schritt: Bewerten (S60), insbesondere Überwachen, und/oder Steuern (S60) eines Arbeitsprozesses wenigstens eines Roboters (2) auf Basis eines Prozessmodells, das mithilfe des Verfahrens zum überwachten maschinellen Lernen maschinell gelernt ist.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zum Bewerten, insbesondere zum Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters auf Basis eines maschinell gelernten Prozessmodells, ein Verfahren zum überwachten maschinellen Lernen eines, insbesondere dieses, Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters, sowie ein System, Computerprogramm bzw. Computerprogrammprodukt zur Durchführung wenigstens eines dieser Verfahren.
  • Prozessmodelle von Roboterarbeitsprozessen, die durch überwachtes maschinelles Lernen (maschinell) gelernt sind, können vorteilhaft verwendet werden, insbesondere, um die Roboterarbeitsprozesse zu verbessern, vorzugsweise, um diese zu bewerten, insbesondere zu überwachen, und/oder um diese zu steuern.
  • Zum überwachten maschinellen Lernen ist es erforderlich, Messdaten zu labeln, beispielsweise Antriebsströme, Antriebsdrehmomente und/oder Regelfehler des Roboters dahingehend zu labeln, ob der damit durchgeführte Arbeitsprozess fehlerfrei war oder nicht.
  • Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es, das überwachte maschinelle Lernen eines Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters zu verbessern. Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es, das Bewerten, insbesondere das Überwachen, und/oder das Steuern eines Arbeitsprozesses wenigstens eines Roboters zu verbessern.
  • Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. 7 gelöst. Ansprüche 8, 9 stellen ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung wenigstens eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
  • Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum überwachten maschinellen Lernen eines Prozessmodells eines Arbeitsprozesses eines oder mehrerer Roboter(s) die Schritte:
    • - Erfassen von Schwingungsdaten und Messdaten während der, vorzugsweise mehrfachen bzw. wiederholten, Durchführung des Arbeitsprozesses; und
    • - überwachtes maschinelles Lernen („Supervised (Machine) Learning“) eines, insbesondere mathematischen und/oder numerischen bzw. computertechnisch implementierten, Prozessmodells, insbesondere KI-Prozessmodells, des Arbeitsprozesses auf Basis der Messdaten, welche auf Basis der erfassten Schwingungsdaten gelabelt sind.
  • Das Prozessmodell kann insbesondere wenigstens ein künstliches neuronales Netz umfassen, das überwachte maschinelle Lernen entsprechend ein Trainieren des Prozessmodells, insbesondere dieses künstlichen neuronalen Netzes, mithilfe der gelabelten Messdaten, ohne jedoch hierauf beschränkt zu sein.
  • In einer Ausführung umfasst das Verfahren auch den Schritt:
    • - Labeln der erfassten Messdaten auf Basis der erfassten Schwingungsdaten, insbesondere vor dem Schritt des überwachten maschinellen Lernens.
  • Nach betriebsinterner Praxis werden Messdaten häufig manuell auf Basis visueller Beobachtungen des Arbeitsprozesses oder von Kamerabildern von dem Arbeitsprozess gelabelt.
  • Dabei können jedoch insbesondere Sichthindernisse, mangelnde Auflösung, geheimzuhaltende sichtbare Prozess- und/oder Umgebungsdetails oder dergleichen problematisch sein, insbesondere für ein ausgelagertes bzw. externes Labeln außer Sichtweite des Arbeitsprozesses.
  • Daher wird in einer Ausführung vorgeschlagen, zusätzlich oder alternativ zu visuellen Beobachtungen und/oder Kamerabildern erfasste Schwingungsdaten zum Labeln der Messdaten zu verwenden. In einer Ausführung umfassen die erfassten Schwingungsdaten Luft- und/oder Körperschall(wellen)signale bzw. Luft- und/oder Strukturschwingungssignale.
  • Hierdurch können in einer Ausführung Probleme mit Sichthindernissen, mangelnder optischer Auflösung, geheimzuhaltenden sichtbaren Prozess- und/oder Umgebungsdetails oder dergleichen reduziert werden.
  • In einem einfachen Beispiel kann anhand eines Einschnappgeräusches beurteilt werden, ob ein Fügeprozess erfolgreich durchgeführt wurde oder nicht, und bei diesem Fügeprozess erfasste Messdaten entsprechend als „Fügeprozess erfolgreich“ oder „Fügeprozess nicht erfolgreich“ gelabelt werden.
  • In einer Ausführung werden die Schwingungsdaten mithilfe eines Sensors oder mehrerer Sensoren erfasst, der bzw. von denen einer oder mehrere an dem Roboter, in einer Ausführung einem Endflansch des Roboters, angeordnet ist bzw. sind.
  • Zusätzlich oder alternativ kann der Sensor bzw. einer oder mehrere der Sensoren (jeweils) ein Beschleunigungssensor sein, in einer Ausführung ein ein- oder mehrachsiger Beschleunigungssensor.
  • Hierdurch können in einer Ausführung die Schwingungsdaten vorteilhaft, insbesondere präzise(r) und/oder ungestört(er), erfasst werden, beispielsweise im Vergleich zu extern (angeordneten) Mikrofonen, die zwar auch verwendet werden können, häufig jedoch mehr Stör- bzw. Umgebungsgeräusche erfassen.
  • In einer Ausführung sind bzw. werden die Messdaten auf Basis der erfassten Schwingungsdaten manuell bzw. durch eine oder mehrere Personen, in einer Ausführung gemeinsam, gelabelt, wobei ein gemeinsames manuelles Labeln in einer Ausführung eine Auswertung mehrerer einzelner Label von je einer oder mehreren Personen umfasst, insbesondere ein Labeln entsprechend der Mehrheit der einzelnen Labels, eines Durchschnitts der einzelnen Labels oder dergleichen.
  • Insbesondere da Menschen akustische Signale besonders gut, insbesondere rasch(er), präzise(r), intuitiv(er) und/oder wenig(er) fehleranfällig, verarbeiten können, kann hierdurch das Labeln der Messdaten in einer Ausführung verbessert werden.
  • Zusätzlich oder alternativ sind bzw. werden die Messdaten außer Sichtweite des Arbeitsprozesses bzw. remote gelabelt, in einer Weiterbildung in einer Cloud („Cloud-Labeling“).
  • Dadurch kann in einer Ausführung das Labeln der Messdaten vorteilhaft verteilt und/oder ohne Beeinträchtigung des Arbeitsprozesses und/oder ohne Beeinträchtigung durch den Arbeitsprozess durchgeführt und dadurch in einer Ausführung das Labeln und/oder der Arbeitsprozess verbessert werden.
  • Zusätzlich oder alternativ sind bzw. werden die Messdaten auf Basis von akustischen Signalen, die ganz oder teilweise mit den Schwingungsdaten übereinstimmen oder von den Schwingungsdaten abhängig sind, in einer Ausführung aus diesen generiert werden, gelabelt.
  • Mit anderen Worten können die Schwingungsdaten bereits (die) akustische(n) Signale aufweisen, insbesondere sein, wodurch in einer Ausführung die Präzision verbessert werden kann.
  • Gleichermaßen können in einer Ausführung die Schwingungsdaten in (die) akustische(n) Signale umgewandelt bzw. verarbeitet bzw. die akustischen Signale auf Basis der erfassten Schwingungsdaten erzeugt werden. Dann werden in einer Ausführung die Messdaten auf Basis dieser akustischen Signale und somit auch auf Basis der (diesen zugrundeliegenden) erfassten Schwingungsdaten gelabelt
  • Wie vorstehend ausgeführt, können Menschen akustische Signale besonders gut, insbesondere rasch(er), präzise(r), intuitiv(er) und/oder wenig(er) fehleranfällig, verarbeiten, so dass hierdurch das Labeln der Messdaten in einer Ausführung (weiter) verbessert werden kann.
  • In einer Ausführung werden die erfassten Schwingungsdaten, in einer Ausführung zu (den) akustischen Signalen, verarbeitet, und die Messdaten sind bzw. werden dann auf Basis dieser verarbeiteten Schwingungsdaten, insbesondere akustischen Signalen, gelabelt.
  • Hierdurch kann in einer Ausführung die Erfassung und/oder Präzision verbessert werden. So kann beispielsweise mittels eines Beschleunigungssensors, in einer Ausführung am Roboter, Körperschall erfasst und in hörbare akustische Signale verarbeitet werden, die ein Mensch besonders gut, insbesondere rasch(er), präzise(r), intuitiv(er) und/oder wenig(er) fehleranfällig, verarbeiten kann.
  • In einer Ausführung werden die erfassten Schwingungsdaten in einen anderen, in einer Weiterbildung hörbaren, Frequenzbereich, der in einer Ausführung zwischen 20 Hz und 20 kHz liegt, transformiert. Da wie erwähnt Menschen akustische Signale besonders gut, insbesondere rasch(er), präzise(r), intuitiv(er) und/oder wenig(er) fehleranfällig, verarbeiten können, kann hierdurch das Labeln der Messdaten in einer Ausführung verbessert werden.
  • In einer Ausführung liegen, gegebenenfalls auch, die erfassten Schwingungsdaten ganz oder teilweise im hörbaren Frequenzbereich bzw. einem Frequenzbereich zwischen 20 Hz und 20 kHz. Durch solche Schwingungsdaten kann das Labeln in einer Ausführung besonders präzise und/oder zuverlässig durchgeführt werden. Entsprechend erfasst in einer Ausführung der wenigstens eine Sensor, insbesondere Beschleunigungssensor, wenigstens teilweise in einem Frequenzbereich, der zwischen 20 Hz und 20 kHz liegt, bzw. ist hierzu eingerichtet bzw. wird hierzu verwendet.
  • Zusätzlich oder alternativ werden die erfassten Schwingungsdaten beim Verarbeiten in einer Ausführung durch wenigstens einen Bandpassfilter und/oder Ausschneiden eines, in einer Weiterbildung vorgegebenen Frequenzbereichs, gefiltert. Dadurch können in einer Ausführung besonders signifikante Frequenzbereiche zum Labeln verwendet bzw. zur Verfügung gestellt und dadurch das Labeln, insbesondere die Präzision und/oder Zuverlässigkeit, verbessert werden. Die Filterung, insbesondere ein vorgegebener Frequenzbereich, der ausgeschnitten wird und/oder eine oder mehrere Frequenz(en) des Bandpassfilters, werden in einer Ausführung mittels künstlicher Intelligenz, insbesondere Explainable Al, Anomaliedetektion, Autoencoder, Reconstruction Error, insbesondere Minimierung dessen, oder dergleichen, oder empirisch festgelegt. Hierdurch können in einer Ausführung besonders vorteilhafte, insbesondere signifikante und/oder für menschliche Labler geeignete, verarbeitete Schwingungsdaten generiert werden.
  • In einer Ausführung werden zum Labeln der Messdaten vorab Übungsschwingungsdaten erfasst und der Instanz, in einer Ausführung dem bzw. den Menschen, die anschließend die Messdaten labeln, die, in einer Ausführung in vorstehend mit Bezug auf die Schwingungsdaten erläuterter Weise, verarbeiteten, Übungsschwingungsdaten zusammen mit einer Klassifikation dieser Übungsschwingungsdaten zum (Ein)Üben des Labelns zur Verfügung gestellt. Die Klassifikation kann beispielsweise auf Basis einer visuellen Inspektion, einer Bilderkennung oder dergleichen erfolgen.
  • Somit werden in einer Ausführung die Übungsschwingungsdaten zu akustischen Signalen verarbeitet und/oder in einen anderen, insbesondere hörbaren, Frequenzbereich transformiert und/oder, insbesondere durch wenigstens einen Bandpassfilter und/oder Ausschneiden eines vorgegebenen Frequenzbereichs, gefiltert, bevor sie der Instanz zum Üben des Labelns zur Verfügung gestellt werden.
  • Diese Instanz kann dann anhand dieser Übungsschwingungsdaten bzw. akustischen (Übungs-)Signale das (korrekte) Labeln üben.
  • In einer Ausführung umfassen die erfassten Messdaten, die auf Basis der erfassten Schwingungsdaten gelabelt sind bzw. werden und auf deren Basis das Prozessmodell (überwascht) maschinell gelernt wird bzw. die erfassten Messdaten, auf deren Basis der Arbeitsprozess bewertet und/oder gesteuert wird, Bewegungsdaten, insbesondere Zeitreihen, und/oder Lastdaten, insbesondere Zeitreihen, in einer Ausführung (Zeitreihen von) Positionen, Kräfte(n), Drehmomente(n), Regelabweichungen und/oder (Zeitreihen von) erste(n) und/oder höhere(n) zeitliche(n) Ableitungen von Positionen, Kräften, Drehmomenten und/oder Regelabweichungen, des Roboters, in einer Ausführung seiner Antriebe.
  • Diese Messdaten sind besonders zum Bewerten und/oder Steuern von Roboterarbeitsprozessen geeignet, so dass hierdurch das Prozessmodell und/oder das Bewerten und/oder Steuern eines Roboterarbeitsprozesses auf Basis des gelernten Prozessmodells verbessert werden kann.
  • Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum Bewerten, insbesondere zum Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters, den Schritt:
    • - Bewerten, insbesondere Überwachen, und/oder Steuern eines Arbeitsprozesses wenigstens eines Roboters auf Basis eines Prozessmodells, das mithilfe überwachten maschinellen Lernens nach einem hier beschriebenen Verfahren maschinell gelernt ist, in einer Ausführung maschinell gelernt wird.
  • Entsprechend umfasst in einer Ausführung das Verfahren zum Bewerten, insbesondere zum Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters, die Schritte:
    • - überwachtes maschinelles Lernen eines Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters nach einem hier beschriebenen Verfahren; und
    • - Bewerten, insbesondere Überwachen, und/oder Steuern eines, vorzugsweise gleichartigen, Arbeitsprozesses wenigstens eines, vorzugsweise dieses, Roboters auf Basis dieses gelernten Prozessmodells.
  • In einer Ausführung umfasst das Bewerten und/oder Steuern des Arbeitsprozesses auf Basis des gelernten Prozessmodells die Schritte:
    • - Erfassen von Messdaten während der Durchführung des Arbeitsprozesses;
    • - Verarbeiten der Messdaten durch das gelernte Prozessmodell zu einer ein- oder mehrdimensionalen Ausgabe; und
    • - Bewerten, insbesondere Überwachen, und/oder Steuern des Arbeitsprozesses auf Basis dieser Ausgabe.
  • Wie einleitend erläutert, kann ein Prozessmodell, das durch überwachtes maschinelles Lernen gelernt ist, vorteilhaft verwendet werden, um einen Roboterarbeitsprozess zu bewerten, insbesondere zu überwachen, und/oder zu steuern, und hierdurch zu verbessern.
  • So kann in einer Ausführung steuernd in den Roboterarbeitsprozess eingegriffen, beispielsweise eine Korrektur- oder Aussortieraktion oder dergleichen veranlasst werden, wenn das Prozessmodell auf Basis der erfassten Messdaten einen fehlerhaften Prozess, insbesondere Prozessschritt, erkennt, oder ein Arbeitsprodukt des Roboterarbeitsprozesses in eine von mehreren (Güte)Klassen sortiert werden oder dergleichen.
  • Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet.
  • Nach einer Ausführung der vorliegenden Erfindung weist ein bzw. das System auf:
    • - Mittel zum Erfassen von Schwingungsdaten und Messdaten während der Durchführung des Arbeitsprozesses; und
    • - Mittel zum überwachten maschinellen Lernen eines Prozessmodells des Arbeitsprozesses auf Basis der Messdaten, welche auf Basis der erfassten Schwingungsdaten gelabelt sind,
    • - in einer Ausführung Mittel zum Labeln der Messdaten auf Basis der erfassten Schwingungsdaten, insbesondere zum Ausgeben der erfassten, gegebenenfalls, insbesondere zu akustischen Signalen, verarbeiteten Schwingungsdaten an einen oder mehrere Menschen und manuellen Labeln der Messdaten durch den bzw. die Menschen, insbesondere Erhalten bzw. Eingeben entsprechender Label von bzw. durch den bzw. die Menschen.
  • In einer Ausführung weist das System bzw. sein(e) Mittel auf:
    • - Mittel zum Laben der Messdaten auf Basis der erfassten Schwingungsdaten manuell und/oder außer Sichtweite des Arbeitsprozesses und/oder auf Basis von akustischen Signalen, die wenigstens teilweise mit den Schwingungsdaten übereinstimmen oder von den Schwingungsdaten abhängig sind;
    • - Mittel zum Verarbeiten der erfassten Schwingungsdaten, insbesondere zu akustischen Signalen und/oder zum Transformieren in einen anderen, insbesondere hörbaren, Frequenzbereich und/oder zum Filtern, insbesondere durch wenigstens einen Bandpassfilter und/oder Ausschneiden eines vorgegebenen Frequenzbereichs; und/oder
    • - Mittel zum Erfassen von Übungsschwingungsdaten vorab und Zur-Verfügung-Stellen der, insbesondere verarbeiteten, Übungsschwingungsdaten zusammen mit einer Klassifikation dieser Übungsschwingungsdaten der Instanz zum Labeln der Messdaten zum Üben des Labelns.
  • Nach einer Ausführung der vorliegenden Erfindung weist ein bzw. das System auf:
    • - Mittel zum Bewerten, insbesondere Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters auf Basis eines Prozessmodells, das mithilfe überwachten maschinellen Lernens nach einem hier beschrieben Verfahren bzw. mithilfe eines hier beschriebenen Systems maschinell gelernt ist.
  • In einer Ausführung umfasst das System bzw. sein(e) Mittel:
    • - Mittel zum überwachten maschinellen Lernen eines Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters nach einem hier beschriebenen Verfahren bzw. mithilfe eines hier beschriebenen Systems; und
    • - Mittel zum Bewerten, insbesondere Überwachen, und/oder zum Steuern eines, vorzugsweise gleichartigen, Arbeitsprozesses wenigstens eines, vorzugsweise dieses, Roboters auf Basis dieses gelernten Prozessmodells.
  • In einer Ausführung umfasst das System bzw. sein(e) Mittel:
    • - Mittel zum Erfassen von Messdaten während der Durchführung des Arbeitsprozesses;
    wobei das gelernte Prozessmodell zum Verarbeiten der Messdaten zu einer ein- oder mehrdimensionalen Ausgabe und das Mittel zum Bewerten und/oder Steuern des Arbeitsprozesses zum Bewerten und/oder Steuern des Arbeitsprozesses auf Basis dieser Ausgabe eingerichtet sind.
  • Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere einen Roboterarbeitsprozess bewerten und/oder steuern bzw., insbesondere hierzu, ein Prozessmodell eines Roboterarbeitsprozess überwacht maschinell lernen kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
  • In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
  • In einer Ausführung weist das System den wenigstens einen Roboter auf.
  • Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
    • 1: ein System nach einer Ausführung der vorliegenden Erfindung; und
    • 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
  • 1 zeigt ein System und 2 ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
  • In einem Schritt S10 (vgl. 2) werden während eines mehrfach wiederholten Durchführens eines Arbeitsprozesses mithilfe eines Beschleunigungssensors 1 an einem Endflansch 6 eines Roboters 2 Übungsschwingungsdaten erfasst.
  • Diese Übungsschwingungsdaten werden gegebenenfalls noch verarbeitet, beispielsweise gefiltert und/oder in einen anderen Frequenzbereich transformiert, und als hörbare akustische Signale einem oder mehreren Lablern 4 zusammen mit einer Klassifikation dieser Übungsschwingungsdaten in „Arbeitsprozess in Ordnung“/„Arbeitsprozess nicht in Ordnung“ oder dergleichen zur Verfügung gestellt. Die Klassifikation kann beispielsweise auf Basis einer visuellen Inspektion, einer Bilderkennung oder dergleichen erfolgen.
  • Damit üben der bzw. die Labler 4 das Labeln auf Basis, gegebenenfalls verarbeiteter, Übungsschwingungsdaten. D.h., sie üben beispielsweise, bestimmte Geräusche als „Arbeitsprozess in Ordnung“/„Arbeitsprozess nicht in Ordnung“ oder auch „Fügen voll erreicht“/„Fügen teilweise erreicht“/„Fügen fehlgeschlagen“ oder dergleichen zu labeln.
  • Nachdem der bzw. die Labler 4 das Labeln solcherart (ein)geübt haben, werden in einem Schritt S20 während eines mehrfach wiederholten Durchführens eines Arbeitsprozesses mithilfe des Beschleunigungssensors 1 wiederum Schwingungsdaten und zusätzlich Messdaten erfasst, beispielsweise Zeitreihen mit Positions- und/oder Lastdaten von Antrieben 3 des Roboters.
  • Diese erfassten Schwingungsdaten werden gegebenenfalls, vorzugsweise in gleicher Weise wie zuvor die Übungsschwingungsdaten, verarbeitet (2: Schritt S30). Beispielsweise werden die erfassten Schwingungsdaten in einen anderen Frequenzbereich transformiert und/oder durch wenigstens einen Bandpassfilter und/oder Ausschneiden eines vorgegebenen Frequenzbereichs, gefiltert, und so zu akustischen Signalen verarbeitet.
  • Diese akustischen Signale werden nun dem bzw. den Lablern 4 vorgespielt, die daraufhin die jeweils zugehörigen Messdaten laben (2: Schritt S40). D.h. sie hören entsprechende Geräusche und geben ein „Arbeitsprozess in Ordnung“ oder „Arbeitsprozess nicht in Ordnung“ oder auch „Fügen voll erreicht“, „Fügen teilweise erreicht“ oder „Fügen fehlgeschlagen“ oder dergleichen ein bzw. aus, und die zugehörigen Zeitreihen mit Positions- und/oder Lastdaten von Antrieben 3 des Roboters, die während der Durchführung des Arbeitsprozesses erfasst wurden, in der auch die Schwingungsdaten erfasst wurden, die zu den Geräusche verarbeitet wurden, werden entsprechenden gelabelt. Beispielsweise wird eine Mess- bzw. Zeitreihe mit Messdaten in Form von Positions- und/oder Lastdaten des Roboters, die während einer Durchführung eines Arbeitsprozesses erfasst wurde, als „Arbeitsprozess in Ordnung“ gelabelt, wenn die bei dieser Durchführung erfassten Schwingungsdaten ein entsprechendes Klick- bzw. Einschnappgeräusch ergeben.
  • Mit den solcherart gelabelten Messdaten wird in einem Schritt S50 ein Prozessmodell beispielsweise in Form eines künstlichen neuronalen Netzes 5 durch supervised (machine) learning bzw. überwachtes maschinelles Lernen trainiert bzw. (überwacht) maschinell gelernt.
  • Danach können gleichartige Arbeitsprozesse des Roboters 2 auf Basis dieses auf Basis der gelabelten Messdaten maschinell gelernten Prozessmodells 5 bewertet werden (2. Schritt S60), insbesondere kann der Arbeitsprozess überwacht werden. Zusätzlich oder alternativ kann der Arbeitsprozess in Schritt S60 gesteuert, beispielsweise bei einem fehlgeschlagenen Fügen eine Korrektur- oder Aussortieraktion durchgeführt werden.
  • Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
  • So kann in einem einfachen Beispiel der Beschleunigungssensor Schallsignale in einem hörbaren Frequenzbereich zwischen 20 Hz und 20 kHz erfassen, die einem Menschen 4 vorgespielt werden, der dann die zugehörigen Messdaten, beispielsweise Positions- und/oder Lastdaten der Antriebe 3, als „Fügen in Ordnung“ labelt, wenn er ein entsprechendes Klick- bzw. Einschnappgeräusch hört, bzw. als „Fügen nicht in Ordnung“ labelt, wenn er kein (korrektes bzw. beim Üben eingeübtes) Klick- bzw. Einschnappgeräusch hört.
  • Man erkennt an diesen Beispielen, dass insbesondere auch für Prozesse, bei denen ein manuelles Labeln auf Basis visueller Informationen problematisch ist, zum Beispiel, weil der Prozess schlecht zu beobachten ist oder Kamerabilder ungewollt auch geheimhaltungsbedürftige Informationen übertragen würden, ein Prozessmodell gut durch supervised (machine) learning maschinell (überwacht) gelernt und anschließend zum Bewerten und/oder Steuern verwendet werden kann.
  • Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
  • Bezugszeichenliste
  • 1
    Beschleunigungssensor
    2
    Roboter
    3
    Antrieb
    4
    Labler
    5
    Künstliches neuronales Netz (Prozessmodell)
    6
    Endflansch

Claims (9)

  1. Verfahren zum überwachten maschinellen Lernen eines Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters (2), mit den Schritten: - Erfassen (S20) von Schwingungsdaten und Messdaten während der Durchführung des Arbeitsprozesses; und - überwachtes maschinelles Lernen (S50) eines Prozessmodells des Arbeitsprozesses auf Basis der Messdaten, welche auf Basis der erfassten Schwingungsdaten gelabelt sind.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schwingungsdaten mithilfe wenigstens eines Sensors (1) erfasst werden, der an dem Roboter, insbesondere einem Endflansch (6), angeordnet und/oder ein Beschleunigungssensor ist.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Messdaten auf Basis der erfassten Schwingungsdaten manuell und/oder außer Sichtweite des Arbeitsprozesses und/oder auf Basis von akustischen Signalen, die wenigstens teilweise mit den Schwingungsdaten übereinstimmen oder von den Schwingungsdaten abhängig sind, gelabelt sind, insbesondere werden (S40).
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erfassten Schwingungsdaten, insbesondere zu akustischen Signalen, verarbeitet, insbesondere in einen anderen, insbesondere hörbaren, Frequenzbereich transformiert und/oder, insbesondere durch wenigstens einen Bandpassfilter und/oder Ausschneiden eines vorgegebenen Frequenzbereichs, gefiltert, werden (S30) und die Messdaten auf Basis der verarbeiteten Schwingungsdaten gelabelt sind, insbesondere werden (S40).
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Labeln der Messdaten vorab Übungsschwingungsdaten erfasst werden und der Instanz zum Labeln der Messdaten die, insbesondere verarbeiteten, Übungsschwingungsdaten zusammen mit einer Klassifikation dieser Übungsschwingungsdaten zum Üben des Labelns zur Verfügung gestellt werden (S10).
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erfassten Messdaten Bewegungs- und/oder Lastdaten, insbesondere Positionen, Kräfte, Drehmomente, Regelabweichungen und/oder zeitliche Ableitungen von Positionen, Kräften, Drehmomenten und/oder Regelabweichungen, des Roboters, insbesondere seiner Antriebe, umfassen.
  7. Verfahren zum Bewerten, insbesondere zum Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters (2), mit dem Schritt: Bewerten (S60), insbesondere Überwachen, und/oder Steuern (S60) eines Arbeitsprozesses wenigstens eines Roboters (2) auf Basis eines Prozessmodells, das mithilfe überwachten maschinellen Lernens nach einem der vorhergehenden Ansprüche maschinell gelernt ist.
  8. System zum überwachten maschinellen Lernen eines Prozessmodells eines Arbeitsprozesses wenigstens eines Roboters (2) und/oder zum Bewerten, insbesondere zum Überwachen, und/oder zum Steuern eines Arbeitsprozesses wenigstens eines Roboters (2), das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist: - Mittel zum Erfassen von Schwingungsdaten und Messdaten während der Durchführung des Arbeitsprozesses; sowie - Mittel zum überwachten maschinellen Lernen eines Prozessmodells des Arbeitsprozesses auf Basis der Messdaten, welche auf Basis der erfassten Schwingungsdaten gelabelt sind; und/oder aufweist: - Mittel zum Bewerten, insbesondere Überwachen, und/oder Steuern eines Arbeitsprozesses wenigstens eines Roboters auf Basis eines Prozessmodells, das mithilfe überwachten maschinellen Lernens nach einem der vorhergehenden Ansprüche maschinell gelernt ist.
  9. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 8 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen.
DE102021209867.3A 2021-09-07 2021-09-07 Bewerten und/oder Steuern eines Roboterarbeitsprozesses Pending DE102021209867A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021209867.3A DE102021209867A1 (de) 2021-09-07 2021-09-07 Bewerten und/oder Steuern eines Roboterarbeitsprozesses
PCT/EP2022/073547 WO2023036610A1 (de) 2021-09-07 2022-08-24 Bewerten und/oder steuern eines roboterarbeitsprozesses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021209867.3A DE102021209867A1 (de) 2021-09-07 2021-09-07 Bewerten und/oder Steuern eines Roboterarbeitsprozesses

Publications (1)

Publication Number Publication Date
DE102021209867A1 true DE102021209867A1 (de) 2023-03-09

Family

ID=83283397

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021209867.3A Pending DE102021209867A1 (de) 2021-09-07 2021-09-07 Bewerten und/oder Steuern eines Roboterarbeitsprozesses

Country Status (2)

Country Link
DE (1) DE102021209867A1 (de)
WO (1) WO2023036610A1 (de)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017000063A1 (de) 2016-01-14 2017-07-20 Fanuc Corporation Robotereinrichtung mit Lernfunktion
DE102018001026A1 (de) 2017-02-15 2018-08-16 Fanuc Corporation Robotersystem mit einer lernenden steuerungsfunktion und lernendes steuerungsverfahren
DE102019001948A1 (de) 2018-03-26 2019-09-26 Fanuc Corporation Steuerung und maschinelle Lernvorrichtung
DE102018113656B4 (de) 2017-06-15 2020-12-10 Fanuc Corporation Lernvorrichtung, steuerung und steuersystem
DE102020115631A1 (de) 2019-06-21 2020-12-24 Fanuc Corporation Maschinenlernvorrichtung, Robotersystem und Maschinenlernverfahren zum Lernen eines Zustands eines Werkzeugs
US20210387356A1 (en) 2020-06-16 2021-12-16 Denso Wave Incorporated Gripping apparatus for plate-shaped workpiece and gripping method for plate-shaped workpiece

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6514171B2 (ja) * 2016-09-27 2019-05-15 ファナック株式会社 最適な物品把持経路を学習する機械学習装置、及び機械学習方法
KR20200031463A (ko) * 2018-09-14 2020-03-24 한국산업기술대학교산학협력단 로봇 고장원인 진단 시스템 및 방법
JP7048539B2 (ja) * 2019-04-26 2022-04-05 ファナック株式会社 振動表示装置、動作プログラム作成装置、およびシステム
IT201900007332A1 (it) * 2019-05-27 2020-11-27 Linari Eng S R L Metodo e sistema per rilevare malfunzionamenti di un’apparecchiatura

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017000063A1 (de) 2016-01-14 2017-07-20 Fanuc Corporation Robotereinrichtung mit Lernfunktion
DE102018001026A1 (de) 2017-02-15 2018-08-16 Fanuc Corporation Robotersystem mit einer lernenden steuerungsfunktion und lernendes steuerungsverfahren
DE102018113656B4 (de) 2017-06-15 2020-12-10 Fanuc Corporation Lernvorrichtung, steuerung und steuersystem
DE102019001948A1 (de) 2018-03-26 2019-09-26 Fanuc Corporation Steuerung und maschinelle Lernvorrichtung
DE102020115631A1 (de) 2019-06-21 2020-12-24 Fanuc Corporation Maschinenlernvorrichtung, Robotersystem und Maschinenlernverfahren zum Lernen eines Zustands eines Werkzeugs
US20210387356A1 (en) 2020-06-16 2021-12-16 Denso Wave Incorporated Gripping apparatus for plate-shaped workpiece and gripping method for plate-shaped workpiece

Also Published As

Publication number Publication date
WO2023036610A1 (de) 2023-03-16

Similar Documents

Publication Publication Date Title
WO2020127512A1 (de) Überprüfungssystem und verfahren zum überprüfen von arbeitsabläufen
WO2009062775A1 (de) Überwachungssystem mit zustandserfassungsmodul, verfahren zur selbstüberwachung eines beobachters sowie computerprogramm
DE102017105174B4 (de) Verfahren zum Erzeugen von Trainingsdaten für die Überwachung einer Gefahrenquelle
DE10215885A1 (de) Automatische Prozesskontrolle
DE102019007721A1 (de) Vorrichtung zur Erfassung einer Anomalie bei der Anfügung eines Werkzeugs
DE102019209616A1 (de) Durchführen einer vorgegebenen Aufgabe mithilfe wenigstens eines Roboters
DE102021209867A1 (de) Bewerten und/oder Steuern eines Roboterarbeitsprozesses
DE102018125712A1 (de) Fahrunterstützungsverfahrens für ein Fahrzeug
DE102018207220A1 (de) Verfahren, Vorrichtung und Computerprogramm zum Detektieren eines Berechnungsfehlers oder einer Fehlfunktion
DE102021132755A1 (de) Verfahren und system zum überwachen von herstellungsvorgängen unter verwendung von maschinellem sehen für von menschen durchgeführte aufgaben
EP3710207B1 (de) Qualitätssicherung eines prozesses
WO2021204544A1 (de) Roboterprozess
EP2808843B1 (de) Verfahren zur Parametrierung eines Bildverarbeitungssystems für die Überwachung einer Werkzeugmaschine
EP3901838A1 (de) System zum bereitstellen von trainierten ki-modellen für verschiedene anwendungen
EP3828363A2 (de) Unterstützung von arbeiten an schalungen und gerüsten
DE102020209163A1 (de) Verfahren und Vorrichtung zum Detektieren von Anomalien in Sensoraufzeichnungen eines technischen Systems
DE102023200017B3 (de) Verfahren zur Fehlererkennung in Montage- und Instandhaltungsprozessen
WO2016029893A1 (de) Vorrichtung und verfahren zur tierschutzeinhaltungsbewertung an einem schlachttier
DE102019209228A1 (de) Verfahren und Vorrichtung zum Überprüfen der Robustheit eines künstlichen neuronalen Netzes
WO2019081243A1 (de) Verfahren und vorrichtung zum verbessern der robustheit eines maschinellen lernsystems
DE102015108355B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Serie von Abbildungen eines Objekts
EP4200107A1 (de) Überwachung bei einem robotergestützten prozess
EP3429805A1 (de) Steuern einer automatisierungsanordnung
DE102018126582A1 (de) Testvorrichtung für ein Computerprogramm sowie Verfahren zum Testen eines Computerprogramms
DE102022103875A1 (de) Verfahren und System zur Bestimmung eines Betriebszustandes einer Maschine

Legal Events

Date Code Title Description
R012 Request for examination validly filed