-
Die vorliegende Erfindung betrifft ein Verfahren zum Steuern und/oder Überwachen eines Versuchs eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose und/oder zum Ermitteln eines prognostizierten Ergebnisses des Transferversuchs sowie ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens.
-
Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es, einen Transfer eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose und/oder eine Prognose eines Ergebnisses eines solchen Transferversuchs zu verbessern.
-
Diese Aufgabe wird insbesondere durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw. 4 gelöst. Ansprüche 12, 13 stellen ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen.
-
Nach einer Ausführung der vorliegenden Erfindung wird versucht, ein durch einen Roboter gehaltenes Objekt mithilfe (einer entsprechenden Bewegung) des Roboters von einer Aufnahmepose zu einer Zielpose zu bewegen, was vorliegend als Transfer(versuch) bezeichnet wird.
-
Der Roboter weist in einer Ausführung wenigstens drei, vorzugsweise wenigstens sechs, in einer Weiterbildung wenigstens sieben, Gelenke bzw. (Bewegungs)Achsen, in einer Ausführung einen Roboterarm mit wenigstens drei, vorzugsweise wenigstens sechs, in einer Weiterbildung wenigstens sieben, Gelenken bzw. (Bewegungs)Achsen, auf, wobei der Roboter(arm) vorzugsweise, bevorzugt elektr(omotor)ische, Antriebe zum Verstellen der Gelenke bzw. (Bewegungs)Achsen und/oder einen Endeffektor zum temporären bzw. zerstörungsfrei lösbaren Halten von Objekten, der vorliegenden ohne Beschränkung der Allgemeinheit wie fachüblich als Greifer bezeichnet wird, in einer Ausführung einen mechanisch (wirkend)en, magnetisch (wirkend)en, vorzugsweise elektromagnetisch (wirkend)en, und/oder pneumatisch (wirkend)en bzw. Sauggreifer, aufweist, mit dem er das (jeweils dann) durch den Roboter gehaltene Objekt, in einer Ausführung mechanisch, vorzugsweise reib- und/oder formschlüssig, magnetisch, vorzugsweise elektromagnetisch, und/oder pneumatisch bzw. mittels Unterdruck, greift bzw. der hierzu eingerichtet ist bzw. verwendet wird. Entsprechend ist in einer Ausführung ein durch einen Roboter gehaltenes Objekt ein solcherart durch den Roboter(arm/-greifer) gegriffenes Objekt und/oder ein Greifen des Objekts durch den Roboter umfasst ein, in einer Ausführung mechanisches, vorzugsweise reib- und/oder formschlüssiges, magnetisches, vorzugsweise elektromagnetisches, und/oder pneumatisches bzw. mittels Unterdruck bewirktes, Greifen, kann insbesondere ein solches Greifen sein. Ein Aktivieren des Greifers umfasst in einer Ausführung eine Schließbewegung des Greifers und/oder ein Bewirken einer (elektro)magnetischen und/oder auf Unterdruck basierenden Haltekraft, kann insbesondere hieraus bestehen.
-
Für solche robotergestützten Greifvorgänge mit anschließendem Transfer ist die vorliegende Erfindung aufgrund der dabei vorliegenden Randbedingungen, insbesondere oftmals schwer und/oder unzuverlässig (robotisch) zu greifenden Objekten, raschen Transferbewegungen des Roboters oder dergleichen, besonders vorteilhaft.
-
Eine Pose im Sinne der vorliegenden Erfindung umfasst in einer Ausführung eine ein-, zwei- oder dreidimensionale Position und/oder ein-, zwei- oder dreidimensionale Orientierung. Eine Pose eines Objekts, insbesondere eines bzw. des durch den Roboter gehaltenen Objekts, ist in einer Ausführung eine Pose des Objekts relativ zu dem Roboter, in einer Weiterbildung (in) seinem Greifer, oder relativ zu einer Umgebung. Eine Pose eines Roboters ist in einer Ausführung durch die Stellung(en) seiner Gelenke bzw. (Bewegungs)Achsen und/oder die Position und/oder Orientierung seines Greifers bestimmt. In einer Ausführung sind, insbesondere werden, die Aufnahme- und/oder Zielpose vorgegeben, in einer Weiterbildung vor Durchführung des Transferversuchs.
-
Nach einer Ausführung der vorliegenden Erfindung wird ein prognostiziertes bzw. (rechentechnisch) vorhergesagtes Ergebnis des Transferversuchs auf Basis bzw. in Abhängigkeit von Daten, die auf einem Vorgang eines, insbesondere tatsächlich versuchten und, vorzugsweise sensorisch erfassten, Greifens des Objekts (Greifvorgang) in der Aufnahmepose durch den Roboter basieren bzw. von diesem Greifvorgang abhängen und vorliegend entsprechend als Greifdaten bezeichnet werden, ermittelt.
-
Dem liegt die Erkenntnis, dass bei einem (Greif)Vorgang eines Greifens des Objekts verschiedene Parameter, beispielsweise Kräfte, Bilder oder dergleichen, Werte aufweisen, die eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten, und die darauf basierende Idee zugrunde, diese Parameterwerte zu erfassen und zur Prognose bzw. Vorhersage zu nutzen.
-
Ein solches prognostiziertes Ergebnis kann besonders vorteilhaft verwendet werden, insbesondere zum Steuern und/oder Überwachen des Transferversuchs.
-
Entsprechend wird nach einer Ausführung der vorliegenden Erfindung der Transferversuch (für den das Ergebnis prognostiziert bzw. das prognostizierte Ergebnis ermittelt wird) auf Basis des ermittelten prognostizierten Ergebnisses gesteuert und/oder überwacht.
-
Somit umfasst nach einer Ausführung der vorliegenden Erfindung ein erfindungsgemäßes Verfahren den Schritt:
- - Ermitteln eines prognostizierten Ergebnisses eines Versuchs eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose auf Basis von Greifdaten, welche auf einem (Greif)Vorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basieren;
sowie den Schritt:
- - Bereitstellen dieser (auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden) Greifdaten;
und/oder den Schritt: - - Steuern und/oder Überwachen des Transferversuchs auf Basis des ermittelten prognostizierten Ergebnisses.
-
Ein Bereitstellen im Sinne der vorliegenden Erfindung kann insbesondere ein Ermitteln, insbesondere Erfassen, ein Abspeichern, ein Senden und/oder Empfangen, ein Abrufen bzw. Laden (aus einem Speicher) und/oder ein Verarbeiten der Greifdaten umfassen, insbesondere hieraus bestehen.
-
In einer Ausführung umfasst das Steuern und/oder Überwachen des Transferversuchs einen Abbruch dieses Versuchs, in einer Weiterbildung ein Abgeben des (durch den Roboter gehaltenen) Objekts vor Erreichen der Zielpose, insbesondere anstelle eines weiteren Abfahrens einer für den Transfer vorgegebenen Transfertrajektorie des Roboters, in einer Ausführung
- - ein Fallenlassen des Objekts durch den Roboter oder
- - ein Absetzen des Objekts (durch den Roboter) in einer Absetzpose, die, in einer Ausführung auf Basis des ermittelten prognostizierten Ergebnisses, ermittelt ist, in einer Ausführung wird.
-
Durch einen solchen Abbruch des Transfer(versuch)s kann in einer Ausführung unnötige Arbeit des Roboters und dadurch insbesondere Energie und/oder (Prozess- bzw. Takt)Zeit eingespart werden.
-
Durch ein gezieltes Absetzen des Objekts in einer ermittelten Absetzpose kann in einer Ausführung (die Erfolgsaussicht) ein(es) erneuter/-n Transferversuch(s) verbessert werden, insbesondere, indem das Objekt in einer vorteilhaften Weiterbildung in einer Absetzpose abgesetzt wird, in der es anschließend gut bzw. besser durch den Roboter aufgenommen werden kann.
-
Eine Transfertrajektorie des Roboters umfasst in einer Ausführung eine Bahn des Roboters, vorzugsweise seines Greifers, in einer Weiterbildung auch eine Geschwindigkeit beim Abfahren dieser Bahn. Ein Transferversuch im Sinne der vorliegenden Erfindung umfasst in einer Ausführung einen Versuch eines Abfahrens einer bzw. der Transfertrajektorie bzw. -bahn mit dem Roboter.
-
Zusätzlich oder alternativ zu einem Abbruch des Transfer(versuch)s umfasst in einer Ausführung das Steuern und/oder Überwachen des Transferversuchs ein (Einleiten, insbesondere Durchführen, ein)e(r) ein- oder mehrstufigen Gegenmaßnahme, in einer Weiterbildung
- - ein Ändern eines Haltens des Objekts durch den Roboter, vorzugsweise während des Transferversuchs; und/oder
- - ein Ändern einer bzw. der vorgegebenen Transfertrajektorie des Roboters für den Transfer, vorzugsweise während des Transferversuchs;
in einer Weiterbildung - - ein Verändern, vorzugsweise wenigstens temporäres Erhöhen, einer Haltekraft, mit der der Roboter das Objekt hält; und/oder
- - ein Verändern einer Pose des, vorzugsweise weiterhin gehaltenen, Objekts relativ
zu dem Roboter, insbesondere seinem Greifer.
-
Zusätzlich oder alternativ umfasst in einer Ausführung das Steuern und/oder Überwachen des Transferversuchs
- - ein Ändern eines Haltens eines, insbesondere desselben, Objekts durch den Roboter bei einem weiteren, insbesondere erneuten, Transferversuch; und/oder
- - ein Ändern einer bzw. der vorgegebenen Transfertrajektorie des Roboters bei
einem bzw. für einen weiteren, insbesondere erneuten, Transferversuch;
in einer Weiterbildung
- - ein Verändern, vorzugsweise Erhöhen, einer Haltekraft, mit der der Roboter das Objekt bei dem weiteren, insbesondere erneuten, Transferversuch hält; und/oder
- - ein Verändern einer Pose des Objekts relativ zu dem Roboter, insbesondere seinem Greifer, bei dem weiteren, insbesondere erneuten, Transferversuch.
-
Hierdurch kann in einer Ausführung vorteilhaft auf ein prognostiziertes Problem, insbesondere einen prognostizierten Misserfolg, bei dem aktuellen Transversuch, insbesondere einen prognostizierten Fehler bzw. Fehlversuch, reagiert und/oder die Erfolgsaussicht des aktuellen und/oder nachfolgenden Transferversuchs verbessert werden, beispielsweise, indem der Roboter beim aktuellen oder nachfolgenden Transferversuch umgreift und/oder fester zugreift oder dergleichen, und/oder indem der Roboter bei einem prognostizierten Problem eine geplante Bahn langsam(er) abfährt oder umplant oder dergleichen.
-
Zusätzlich oder alternativ umfasst in einer Ausführung das Steuern und/oder Überwachen des Transferversuchs ein Steuern eines von dem, insbesondere durchgeführten, Transfer abhängigen Prozesses, insbesondere einer weiteren Handhabung des Objekts nach dem Transfer. Hierdurch kann in einer Ausführung dieser von dem Transfer abhängige Prozess verbessert werden.
-
In einer Ausführung wird das prognostizierte Ergebnis durch Verarbeiten der bereitgestellten Greifdaten mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, in einer Weiterbildung mittels wenigstens eines maschinell gelernten Modells bzw. Machine Learning Algorithmus, das bzw. der vorzugsweise die Greifdaten und prognostizierte Ergebnisse miteinander verknüpft bzw. Greifdaten auf prognostizierte Ergebnisse abbildet, in einer Ausführung mittels wenigstens einem Künstlichen Neuronalen Netzes, ermittelt. Das Künstliche Neuronale Netz weist in einer Ausführung 2D-convolutional layers auf, was insbesondere zur (Daten)Verarbeitung von Greifdaten vorteilhaft ist, die Bilddaten aufweisen. Zusätzlich oder alternativ weist das Künstliche Neuronale Netz in einer Ausführung 1D-convolutional layers auf, was insbesondere zur (Daten)Verarbeitung von Greifdaten vorteilhaft ist, die Zeitreihen aufweisen.
-
Durch eine (solche) wenigstens teilweise maschinell gelernte bzw. auf maschinellem Lernen basierende Datenverarbeitung können Ergebnisse von robotergestützten Transferversuchen auf Basis von auf einem Greifvorgang eines Greifens eines Objekts durch den Roboter basierenden Greifdaten besonders gut, insbesondere präzise(r), zuverlässig(er) und/oder für verschiedene und/oder komplexe Prozesse, prognostiziert werden.
-
In einer Ausführung umfasst das Verfahren die Schritte:
- - Bereitstellen
- - von Lerndaten, die auf Greifvorgängen vom Greifen von Objekten durch einen, vorzugsweise den oder einen gleichartigen, Roboter basieren, und
- - von Ergebnisdaten, insbesondere Labeln bzw. Bewertungen, die auf Versuchen von Transfers dieser Objekte durch diesen Roboter basieren, insbesondere auf einem, vorzugsweise automatisierten, Labeln bzw. Bewerten dieser Versuche; und
- - Trainieren, insbesondere maschinelles, vorzugsweise überwachtes, Lernen bzw. Trainieren, der Datenverarbeitung auf Basis dieser Lerndaten und Ergebnisdaten. Hierdurch können Ergebnisse von robotergestützten Transferversuchen auf Basis von auf einem Greifvorgang eines Greifens eines Objekts durch den Roboter basierenden Greifdaten besonders gut, insbesondere präzise(r), zuverlässig(er) und/oder für verschiedene und/oder komplexe Prozesse, prognostiziert werden.
-
In einer Ausführung umfasst ein Greifvorgang eines Greifens eines Objekts im Sinne der vorliegenden Erfindung
- - ein Anfahren des Objekts mit dem Roboter und/oder
- - ein Kontaktieren des Objekts mit dem Roboter, insbesondere seinem Greifer, und/oder
- - ein Aktivieren eines bzw. des Greifers des Roboters (zum, insbesondere mechanischen, vorzugsweise reib- und/oder formschlüssigen, magnetischen, vorzugsweise elektromagnetischen, und/oder pneumatischen bzw. mittels Unterdruck bewirkten, Greifen) und/oder
- - eine Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers bzw. bei aktiviertem Greifer, insbesondere mit gehaltenem Objekt, in einer Weiterbildung ein Anfahren einer Startpose einer bzw. der Transfertrajektorie bei aktiviertem Greifer.
-
Insbesondere solche Greifvorgänge können Parameterwerte liefern, die eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
-
In einer Ausführung sind, in einer Weiterbildung werden, die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) mithilfe eines oder mehrerer roboterseitiger bzw. -fester Sensoren ermittelt, in einer Weiterbildung eines oder mehrerer Antriebssensoren und/oder eines oder mehrerer Gelenksensoren und/oder eines oder mehrerer Greifersensoren.
-
Solche Sensoren sind häufig vorteilhaft ohnehin zum Steuern und/oder Überwachen vorhanden. Zusätzlich oder alternativ können mit solchen Sensoren in einer Ausführung auch bei einer Umplatzierung des Roboters und/oder in beengten Umgebungen vorteilhafte Daten ermittelt bzw. zur Verfügung gestellt werden.
-
Zusätzlich oder alternativ sind, in einer Weiterbildung werden, die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten in einer Ausführung (jeweils) mithilfe eines oder mehrerer (roboter)externen, insbesondere umgebungsseitiger, Sensoren ermittelt, vorzugsweise mittels einer oder mehrerer 2D-Kameras und/oder einer oder mehrerer 3D-Kameras.
-
Durch solche Sensoren können häufig besonders aussagefähige Daten ermittelt bzw. zur Verfügung gestellt werden, die bislang bei robotergestützten Greif- und Transfervorgängen nicht genutzt wurden und/oder (noch) präzise(re) und/oder zuverlässige(re) Prognosen bzw. Vorhersagen eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
-
Zusätzlich oder alternativ sind, in einer Weiterbildung werden, die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten in einer Ausführung (jeweils) mithilfe wenigstens eines Datenmodells des Roboters und/oder wenigstens eines Datenmodells des Objekts ermittelt, in einer Weiterbildung eines CAD-Datenmodells oder dergleichen.
-
Solche Datenmodelle können beispielsweise eine Ermittlung einer Pose des Objekts, insbesondere relativ zum Roboter(greifer), ermöglichen bzw. verbessern, insbesondere eine Präzision erhöhen und/oder einen Rechenaufwand reduzieren.
-
Zusätzlich oder alternativ hängen in einer Ausführung die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) von Kräften, in einer Weiterbildung von Antriebskräften und/oder Kontaktkräften, und/oder Haltekräften, ab, können diese insbesondere angeben bzw. beschreiben. Zur kompakteren Darstellung werden vorliegend antiparallele Kräftepaare bzw. Drehmomente verallgemeinernd als Kräfte bezeichnet.
-
Zusätzlich oder alternativ hängen in einer Ausführung die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) von Posen des Roboters und/oder Objekts ab, können diese und/oder zeitliche Ableitungen hiervon, insbesondere also Geschwindigkeiten und/oder Beschleunigungen des Roboters bzw. Objekts, angeben bzw. beschreiben. In einer Weiterbildung weisen die Greifdaten und/oder die Lerndaten und/oder die Ergebnisdaten (jeweils) Bilder bzw. Bilddaten von dem Roboter und/oder dem Objekt auf.
-
Insbesondere solche Kraft-, Posen- bzw. Bilddaten können eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
-
Zusätzlich oder alternativ hängen in einer Ausführung die Greifdaten und/oder die Lerndaten von Werten ab, die während eines bzw. des Greifvorgangs eines Greifens eines bzw. des Objekts durch einen bzw. den Roboter, vorzugsweise mithilfe des bzw. eines oder mehrerer der Sensoren, erfasst worden sind, in einer Ausführung werden, in einer besonders bevorzugten Weiterbildung von Werten, die - vorzugsweise (jeweils) mithilfe des bzw. eines oder mehrerer der Sensoren,
- - während eines bzw. des Anfahrens des Objekts bzw. der Aufnahmepose mit dem Roboter und/oder
- - während eines bzw. des Kontaktierens des Objekts mit dem Roboter, insbesondere seinem Greifer, und/oder
- - während eines bzw. des Aktivierens eines bzw. des Greifers, des Roboters (zum, insbesondere mechanischen, vorzugsweise reib- und/oder formschlüssigen, magnetischen, vorzugsweise elektromagnetischen, und/oder pneumatischen bzw. mittels Unterdruck bewirkten, Greifen) und/oder
- - bei einem bzw. dem (zum Halten des Objekts) aktivierten Greifer und/oder
- - während einer bzw. der Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers bzw. bei aktiviertem Greifer, insbesondere mit (gegebenenfalls) gehaltenem Objekt, in einer Weiterbildung während eines bzw. des Anfahrens einer Startpose einer bzw. der Transfertrajektorie,
erfasst worden sind, in einer Ausführung werden.
-
Entsprechend umfasst in einer Ausführung ein erfindungsgemäßes Verfahren den Schritt: Bereitstellen von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten, die von während des Greifvorgangs, vorzugsweise mithilfe des bzw. eines oder mehrerer der Sensoren, erfassten Werten abhängen, in einer Weiterbildung auch den Schritt: Erfassen, vorzugsweise mithilfe des bzw. eines oder mehrerer der Sensoren, von Werten während des Greifvorgangs und Bereitstellen der Greifdaten basierend auf diesen erfassten Werten, wobei diese Werte besonders bevorzugt
- - während eines bzw. des Anfahrens des Objekts bzw. der Aufnahmepose mit dem Roboter und/oder
- - während eines bzw. des Kontaktierens des Objekts mit dem Roboter, insbesondere seinem Greifer, und/oder
- - während eines bzw. des Aktivierens eines bzw. des Greifers, des Roboters (zum, insbesondere mechanischen, vorzugsweise reib- und/oder formschlüssigen, magnetischen, vorzugsweise elektromagnetischen, und/oder pneumatischen bzw. mittels Unterdruck bewirkten, Greifen) und/oder
- - bei einem bzw. dem (zum Halten des Objekts) aktivierten Greifer und/oder
- - während einer bzw. der Rückzugsbewegung des Roboters nach dem Aktivieren des Greifers bzw. bei aktiviertem Greifer, insbesondere mit (gegebenenfalls) gehaltenem Objekt, in einer Weiterbildung während eines bzw. des Anfahrens einer Startpose einer bzw. der Transfertrajektorie,
erfasst worden sind, in einer Ausführung werden.
-
Wie erläutert liegt dieser Ausführung die Erkenntnis zugrunde, dass bei einem Greifvorgang Parameter, beispielsweise Kräfte, Szenen oder dergleichen, Werte, beispielsweise Kraftwerte, Bilddaten oder dergleichen, aufweisen, die eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten, und die darauf basierende Idee zugrunde, diese Parameterwerte zu erfassen und zur Prognose bzw. Vorhersage zu nutzen. Dies wird besonders deutlich anhand von beim Kontaktieren des Objekts und/oder Aktivieren des Greifers und/oder aktiviertem Greifer erfassten Kräften, insbesondere Antriebs- und/oder Kontaktkräften, die entsprechend besonders vorteilhafte Werte bzw. Greifdaten bilden, ohne dass die Erfindung hierauf beschränkt ist. Gleichermaßen können insbesondere auch Bild- bzw. Posendaten und dergleichen, die insbesondere beim Kontaktieren des Objekts und/oder Aktivieren des Greifers und/oder aktiviertem Greifer auftreten, besonders gute Prognosen ermöglichen.
-
Zusätzlich oder alternativ wird in einer Ausführung das prognostizierte Ergebnis vor oder während des Transversuchs ermittelt.
-
Hierdurch kann in einer Ausführung besonders vorteilhaft auf die Prognose reagiert werden.
-
In einer Ausführung weisen die Greifdaten und/oder Lerndaten (jeweils) Bilddaten und/oder Zeitreihen auf.
-
Insbesondere solche Daten können eine präzise(re) und/oder zuverlässige(re) Prognose bzw. Vorhersage eines Ergebnisses, insbesondere Erfolgs, des Transfers gestatten.
-
In einer Ausführung weisen die Greifdaten und/oder Lerndaten (jeweils) keine Bilddaten und/oder keine Zeitreihen auf.
-
Dadurch kann in einer Ausführung das maschinelle Lernen bzw. Trainieren (der Datenverarbeitung) verbessert, insbesondere beschleunigt und/oder vereinfacht, werden.
-
In einer Ausführung hängen das ermittelte prognostizierte Ergebnis und/oder die Ergebnisdaten von einem Verlust des Objekts während des Transferversuchs ab, insbesondere kann ein Verlust zu einer Prognose bzw. Bewertung als schlechteres bzw. schlechtes Ergebnis führen. Allgemein kann ein ermitteltes prognostiziertes Ergebnis im Sinne der vorliegenden Erfindung insbesondere ein(en) Erfolg des Transferversuchs umfassen, insbesondere sein.
-
Zusätzlich oder alternativ hängen das ermittelte prognostizierte Ergebnis und/oder die Ergebnisdaten in einer Ausführung von einer Pose des Objekts am Ende des Transferversuchs und/oder einem vorgegebenen Wertebereich ab, insbesondere kann ein besseres bzw. gutes Ergebnis prognostiziert bzw. gelabelt werden, wenn eine Abweichung zwischen der prognostizierten bzw. tatsächlichen und einer Soll- bzw. (der) Ziel-Pose innerhalb eines vorgegebenen Toleranzbereichs liegt, oder das ermittelte prognostizierte Ergebnis die Abweichung bzw. den Grad der Abweichung angeben, in einer Ausführung in kontinuierlicher oder in zwei oder mehr Stufen diskretisierter Form.
-
Somit kann in einer vorteilhaften, insbesondere einfachen, Ausführung beim Trainieren der Datenverarbeitung ein T(rainingst)ransferversuch als gescheitert bzw. schlecht bewertet bzw. gelabelt werden, wenn das Objekt nach der T(rainingst)ransferfahrt nicht (mehr) vom Roboter gehalten wird bzw. ist, und als erfolgreich bzw. gut bewertet bzw. gelabelt werden, wenn das Objekt nach der T(rainingst)ransferfahrt (noch) vom Roboter gehalten wird bzw. ist.
-
Allgemein kann in einer Ausführung (binär): „(voraussichtlich) erfolgreich“ bzw. „(voraussichtlich) nicht erfolgreich“ als Ergebnis prognostiziert bzw. als prognostiziertes Ergebnis ermittelt werden.
-
In einer anderen, ebenfalls besonders vorteilhaften Ausführung kann beispielsweise beim Trainieren der Datenverarbeitung ein T(rainingst)ransferversuch danach bewertet bzw. gelabelt werden, wie groß eine Abweichung zwischen einer Soll- bzw. (der) Ziel-Pose und der erreichten Pose des Objekt nach der T(rainingst)ransferfahrt ist, in einer Weiterbildung umso besser, je geringer die Abweichung ist, in einer anderen Weiterbildung als gescheitert bzw. schlecht, sobald die Abweichung außerhalb eines vorgegebenen Toleranzbereichs liegt.
-
Entsprechend kann hier beispielsweise ebenfalls (binär) „(voraussichtlich) erfolgreich“ bzw. „(voraussichtlich) nicht erfolgreich“ oder auch die (voraussichtliche) Abweichung zwischen Soll- bzw. Ziel-Pose und (voraussichtlich) erreichter Pose des Objekts als Ergebnis prognostiziert bzw. als prognostiziertes Ergebnis ermittelt werden, insbesondere als in Stufen diskretisierte Abweichung oder in kontinuierlicher, gegebenenfalls skalierter, Form.
-
Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet und/oder weist eines oder vorzugsweise mehrere der folgenden Mittel auf:
- - Mittel zum Ermitteln eines prognostizierten Ergebnisses eines Versuchs eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose (Transferversuch) auf Basis von auf einem Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten;
- - Mittel zum Steuern und/oder Überwachen des Transferversuchs auf Basis des ermittelten prognostizierten Ergebnisses, insbesondere
- - Mittel zum Abbrechen des Versuchs, in einer Ausführung Abgeben des Objekts vor Erreichen der Zielpose, in einer Weiterbildung Absetzen des Objekts in einer ermittelten Absetzpose;
- - Mittel zum Einleiten, insbesondere Durchführen, einer Gegenmaßnahme, insbesondere zum Ändern eines Haltens des Objekts durch den Roboter und/oder einer vorgegebenen Transfertrajektorie des Roboters für den Transfer; und/oder
- - Mittel zum Ändern eines Haltens eines Objekts durch den Roboter und/oder einer vorgegebenen Transfertrajektorie des Roboters bei einem weiteren Transferversuch; und/oder
- - Mittel zum Steuern eines von dem Transfer abhängigen Prozesses, insbesondere einer weiteren Handhabung des Objekts nach dem Transfer;
- - Mittel zum Bereitstellen der Greifdaten;
- - ein(e) wenigstens teilweise auf maschinellem Lernen basierende(s) Datenverarbeitung(smittel), insbesondere wenigstens ein Künstliches Neuronales Netz, zum Ermitteln des prognostizierten Ergebnisses durch Verarbeiten der bereitgestellten Greifdaten;
- - Mittel zum Bereitstellen von auf Greifvorgängen vom Greifen von Objekten durch einen Roboter basierenden Lerndaten und von auf Versuchen von Transfers dieser Objekte durch den Roboter basierenden Ergebnisdaten;
- - Mittel zum Trainieren der/-s Datenverarbeitung(smittels) auf Basis dieser Lerndaten und Ergebnisdaten;
- - wenigstens einen roboterseitigen Sensor zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten;
- - wenigstens einen externen Sensor zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten;
- - wenigstens ein Datenmodell des Roboters und/oder Objekts zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten;
- - Mittel zum Bereitstellen von während eines Greifvorgangs eines Greifens eines Objekts durch einen Roboter erfassten Werten zum Ermitteln der Greifdaten, Lerndaten und/oder Ergebnisdaten, insbesondere Mittel zum Erfassen dieser Werte.
-
Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit einen Versuch eines Transfers eines durch einen Roboter gehaltenen Objekts von einer Aufnahmepose zu einer Zielpose steuern und/oder überwachen bzw. ein prognostiziertes Ergebnis des Versuchs ermitteln kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.
-
In einer Ausführung sind ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise computerimplementiert bzw. werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.
-
In einer Ausführung weist das System den Roboter auf.
-
Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:
- 1: ein System nach einer Ausführung der vorliegenden Erfindung; und
- 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung.
-
1 zeigt ein System nach einer Ausführung der vorliegenden Erfindung mit einem Roboter 10, einer Datenverarbeitungseinrichtung 20 und Kameras(ensoren) 31, 32.
-
Der Roboter 10 greift mit seinem Greifer 11 nacheinander jeweils eines der in einem Behälter 40 angeordneten Objekte 41, 42, ... und transportiert es zu einer Ablagefläche 400 bzw. versucht dieses.
-
Während einer Trainingsphase werden zunächst jeweils während eines Greifvorgangs eines Greifens eines der Objekte durch den Roboter 10 mithilfe der Kamera 31 und/oder eines oder mehrerer roboterseitiger Sensoren, zu denen als besonders vorteilhaftes Beispiel exemplarisch ein Kontakt- oder Kontaktkraftsensor 12 am Greifer 11 angedeutet ist, Messwerte erfasst und, gegebenenfalls nach Weiterverarbeitung wie beispielsweise Filterung oder dergleichen, als Lerndaten abgespeichert (2: Schritt S10). Zusätzlich oder alternativ können insbesondere auch Antriebskräfte erfasst und, gegebenenfalls nach Weiterverarbeitung wie beispielsweise Filterung oder dergleichen, als Lerndaten abgespeichert werden. Vorzugsweise basieren die Lerndaten auf (Mess)Werten, von denen wenigstens einige während eines Anfahrens und/oder Kontaktierens des Objekts mit dem Greifer, während eines Aktivierens des Greifers und/oder bei aktiviertem Greifer, insbesondere während einer Rückzugbewegung des Roboters von der Aufnahmepose zu einer Startpose einer Transfertrajektorie bzw. -bahn, erfasst worden sind bzw. werden.
-
Nach diesem Greifvorgang wird jeweils ein Transfer(versuch) durchgeführt (2: Schritt S20) und dessen Ergebnis bewertet und dies als Ergebnisdaten gespeichert (2: Schritt S30), beispielsweise mittels der Kamera 32 und einer Bildverarbeitung eine Abweichung der erreichten von einer gewünschten Soll- bzw. Ziel-Pose des jeweiligen Objekts am Ende des Transfers quantifiziert und/oder mittels des Sensors 12 ein eventueller Verlust des Objekts während des Transfer(versuch)s erfasst und der entsprechende Transfer(versuch) dementsprechend als erfolgreich oder -los bzw. als Erfolg oder Misserfolg bewertet.
-
Mit den so gewonnenen Lern- und Ergebnisdaten wird in einem Schritt S40 eine wenigstens teilweise auf maschinellem Lernen basierende Datenverarbeitung, im Ausführungsbeispiel wenigstens ein Künstliches Neuronales Netz 21, trainiert.
-
Anschließend werden in einer operativen Phase analog zu den Lerndaten während eines Greifvorgangs eines Greifens eines der Objekte 41, 42, ... durch den Roboter 10 Greifdaten erfasst (2: Schritt S50).
-
Dann ermittelt die Datenverarbeitungseinrichtung 20 mithilfe des trainierten Künstliches Neuronales Netzes 21 ein prognostiziertes Ergebnis eines sich an diesen Greifvorgang anschließenden Transferversuchs (2: Schritt S60).
-
Auf Basis dieses prognostizierten Ergebnisses steuert und/oder überwacht die Datenverarbeitungseinrichtung 20 den Transferversuch (2: Schritt S70).
-
Beispielsweise kann sie ein in Schritt S50 gegriffenes Objekt in der Mitte des Behälters 40 fallenlassen oder in einer zum Greifen (besonders) geeignet(er)en Pose absetzen und dann erneut eines der Objekte, in einer Ausführung gezielt dieses abgesetzte Objekt, aufnehmen und einen erneuten Transferversuch unternehmen, wenn auf Basis der beim Greifvorgang eines Greifens des Objekts in der Aufnahmepose durch den Roboter basierenden Greifdaten ein Misserfolg prognostiziert wird. Gleichermaßen kann die Datenverarbeitungseinrichtung 20 in Schritt S70 auch eine Haltekraft zum Halten des Objekts während des Transferversuchs erhöhen und/oder einen Griff ändern. Zusätzlich oder alternativ kann in Schritt S70 auch ein von dem Transfer abhängiger Prozess, beispielsweise ein Abtransport des Objekts nach dem Transfer, auf Basis des ermittelten prognostizierten Ergebnisses gesteuert werden.
-
Exemplarisch zeigt 1 Aufnahmeposen der Objekte 41, 42 und 43, eine Zielpose des Objekts 45 sowie eine Transfertrajektorie bzw. -bahn des durch den Roboter 10 bzw. seinen Greifer 11 gehaltenen Objekts 44.
-
Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.
-
So wurde zur kompakteren Darstellung das Trainieren der Datenverarbeitung bzw. des Künstlichen Neuronalen Netzes 21 und das anschließende Steuern bzw. Überwachen anhand desselben Behälters 40 mit Objekten 41, 42, ... erläutert. Bevorzugt kann vorab eine eigene Trainingsphase mit anderen Objekten und/oder einem anderen Roboter durchgeführt werden, die vorzugsweise zu den Objekten deren Transfer anschließend in einer operativen Phase gesteuert bzw. überwacht werden soll, bzw. dem dabei verwendeten Robotergreifer 11 gleichartig sind, wobei die Datenverarbeitung bzw. das Künstliche Neuronale Netz 21 vorteilhaft auch während dieser operativen Phase weiter trainiert werden kann.
-
Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.
-
Bezugszeichenliste
-
- 10
- Roboter
- 11
- Greifer
- 12
- Sensor
- 20
- Datenverarbeitungseinrichtung
- 21
- Künstliches Neuronales Netz (Datenverarbeitungseinrichtung)
- 31, 32
- Kamera(sensor)
- 40
- Behälter
- 41 - 45
- Objekte
- 400
- Ablagefläche
