EP4731393A1 - Verfahren und system zum betreiben eines roboters - Google Patents

Abstract

Ein Verfahren zum Betreiben eines Roboters umfasst die Schritte: Bereitstellen von Roboter-Posen zugeordneten Bilddaten einer Umgebung des Roboters, Prognostizieren bzw. Aktualisieren einer Roboter-Zielpose bzw. Ermitteln neuer Roboter-Zielposen mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, Ermitteln bzw. Aktualisieren einer Roboter-Soll- Bewegung bzw. Ermitteln einer neuen Roboter-Soll-Bewegung auf Basis der Zielpose und Steuern von Antrieben des Roboters zum Ausführen der Roboter-Soll-Bewegung. Die Erfindung betrifft außerdem ein Verfahren zum Trainieren der Datenverarbeitung sowie ein System bzw. Computerprogramm(produkt).

Description

2022P00048WO 1/41 Kuka Deutschland GmbH Beschreibung Verfahren und System zum Betreiben eines Roboters Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Roboters, das ein mehrfaches Prognostizieren einer Roboter-Zielpose mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, insbesondere mittels eines Regressionsverfahrens und/oder wenigstens eines Künstlichen Neuronalen Netzes, auf Basis bereitgestellter Bilddaten umfasst, ein Verfahren zum Trainieren der Datenverarbeitung, sowie ein System und ein Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens. Eine Aufgabe der vorliegenden Erfindung ist es, den Betrieb eines Roboters und/oder eine wenigstens teilweise auf maschinellem Lernen basierende Datenverarbeitung hierfür, in einer Ausführung deren Training, zu verbessern. Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 bzw.6 gelöst. Ansprüche 10, 11 stellen ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen. Nach einer Ausführung der vorliegenden Erfindung weist ein Roboter wenigstens einen Roboterarm auf. In einer Ausführung weist der Roboter, vorzugsweise der bzw. einer oder mehrere der Roboterarm(e jeweils), wenigstens drei, vorzugsweise wenigstens sechs, in einer Ausführung wenigstens sieben, Gelenke bzw. (Bewegungs)Achsen, vorzugsweise Drehgelenke bzw. -achsen, auf, die durch, vorzugsweise motorische, in einer Ausführung elektromotorische, Antriebe des Roboters verstellt werden bzw. hierzu eingerichtet sind. Nach einer Ausführung der vorliegenden Erfindung umfasst ein Verfahren zum Betreiben des Roboters die Schritte: a1) Bereitstellen von Start-Bilddaten einer Umgebung des Roboters, die einer Roboter-Startpose zugeordnet sind, in einer Ausführung in der bzw. für die Roboter-Startpose mithilfe wenigstens einer Kamera und/oder Bildverarbeitung erzeugt werden; 2022P00048WO 2/41 Kuka Deutschland GmbH c1) Prognostizieren einer ersten Roboter-Zielpose mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, in einer Ausführung mittels eines Regressionsverfahrens und/oder wenigstens eines, vorzugsweise tiefen, Künstlichen Neuronalen Netzes („(deep) Artificial Neural Network“), auf Basis der bereitgestellten Start-Bilddaten, insbesondere unter Verwendung der bereitgestellten Start-Bilddaten als Input der Datenverarbeitung; d1) Ermitteln einer Roboter-Soll-Bewegung auf Basis der ersten Zielpose; und e1) Steuern von Antrieben des Roboters zum Ausführen dieser Roboter-Soll- Bewegung. Nach einer Ausführung der vorliegenden Erfindung umfasst das Verfahren die darauf folgenden, mehrfach, in einer Ausführung bis zum Erreichen bzw. Eintreten einer Abbruchbedingung, vorzugsweise einem (ausreichend genauen) Erreichen einer aktuellen Zielpose oder einem Erkennen eines Fehlerfalles, beispielsweise einem Erkennen einer Nicht-Erreichbarkeit oder (unüberwindbaren) Blockade, einem Erreichen einer vorgegebenen maximalen Versuchsanzahl oder dergleichen, wiederholten Schritten: (jeweils) a2) Bereitstellen von neuen Bilddaten einer, vorzugsweise der(selben), Umgebung des Roboters, die einer aktuellen Roboter-Pose zugeordnet sind, in einer Ausführung in der bzw. für die aktuelle(n) Roboter-Startpose mithilfe wenigstens einer, vorzugsweise der wenigstens einen, Kamera und/oder Bildverarbeitung erzeugt werden, wobei dieses Bereitstellen während des Ausführens der (bisherigen bzw. zuletzt ermittelten, gegebenenfalls zuletzt aktualisierten) Roboter-Soll-Bewegung erfolgt; c2) Prognostizieren einer aktualisierten Roboter-Zielpose mittels der Datenverarbeitung auf Basis dieser bereitgestellten neuen Bilddaten; d2) Aktualisieren der Roboter-Soll-Bewegung auf Basis dieser aktualisierten Zielpose; und e2) Steuern von, vorzugsweise den, Antrieben des Roboters zum Ausführen der aktualisierten Roboter-Soll-Bewegung, insbesondere anstelle der bisherigen bzw. zuletzt ermittelten Roboter-Soll-Bewegung. 2022P00048WO 3/41 Kuka Deutschland GmbH Somit wird in einer Ausführung das Anfahren der Zielpose in zwei Sub-Probleme bzw. Sub-Tasks zerlegt und während des Verfahrens des Roboters fortwährend, in einer Ausführung parallel und/oder mit unterschiedlichen Taktraten, - durch eine (entsprechend trainierte) Künstliche Intelligenz bzw. wenigstens teilweise auf maschinellem Lernen basierende Datenverarbeitung, vorzugsweise ein Regressionsverfahren und/oder wenigstens ein, vorzugsweise tiefes, Künstliches Neuronales Netz, aktuelle Bilddaten (und, wie nachfolgend erläutert, gegebenenfalls vorhergehende Bilddaten und/oder weitere Daten, insbesondere Kinematik- und/oder Umweltdaten) als Input genommen, die eine, vorzugsweise wahrscheinlichste, Ziel-Pose als Output ausgibt; und - durch eine weitere Funktion die von dieser Künstlichen Intelligenz bzw. Datenverarbeitung prognostizierte (aktualisierte) Zielpose (und, wie nachfolgend erläutert, gegebenenfalls Kinematikdaten) als Input genommen wird, die ihrerseits eine (aktualisierte) Roboter-Soll-Bewegung, als Output ausgibt. Dadurch kann in einer Ausführung der Roboter, vorzugsweise über weite Teile eines freien Arbeitsraums, beispielsweise einen halben oder ganzen Meter, reaktiv bewegt werden. Zusätzlich oder alternativ kann hierdurch in einigen Ausführungen explizites (Vor)Wissen über variable Umgebungsbedingungen von dem Verfahren, vorzugsweise der Künstlichen Intelligenz bzw. Datenverarbeitung, berücksichtigt und/oder auf (teure) Kraft-Momenten-Sensoren verzichtet und/oder der Roboter auch ohne Expertenwissen verwendet bzw. betrieben werden. Die erste bzw. aktualisierte Roboter-Zielpose kann insbesondere eine finale bzw. Roboter-Endpose sein, die der Roboter am Ende einer vom ihm durchzuführenden Aufgabe bzw. Applikation aufweisen soll, beispielsweise am Ende eines Anfahrvorgangs zum Aufnehmen einer Last, am Ende eines Transfers einer Last, am Ende einer Bearbeitungsbahn oder dergleichen. Nach einer Ausführung der vorliegenden Erfindung, die mit den Schritten a2) – e2) kombiniert oder ohne diese realisiert sein kann, umfasst das Verfahren, vorzugsweise zusätzlich oder besonders bevorzugt anstelle der Schritte a2) – e2), die auf die Schritte a1) – e1) folgenden, mehrfach, in einer Ausführung bis zum Erreichen bzw. Eintreten einer Abbruchbedingung, vorzugsweise einer ausreichend geringen Veränderung der jeweils prognostizierten neuen Zielpose gegenüber einer zuvor 2022P00048WO 4/41 Kuka Deutschland GmbH prognostizierten neuen Zielpose oder einem Erkennen eines Fehlerfalles, beispielsweise einem Erkennen einer Nicht-Erreichbarkeit oder (unüberwindbaren) Blockade, einem Erreichen einer vorgegebenen maximalen Versuchsanzahl oder dergleichen, wiederholten Schritten: (jeweils) a3) Bereitstellen von neuen Bilddaten einer, vorzugsweise der(selben), Umgebung des Roboters, die einer aktuellen Roboter-Pose zugeordnet sind, in einer Ausführung in der bzw. für die aktuelle(n) Roboter-Startpose mithilfe wenigstens einer, vorzugsweise der wenigstens einen, Kamera und/oder Bildverarbeitung erzeugt werden, wobei dieses Bereitstellen in einer Ausführung vor oder nach oder besonders bevorzugt während dem Ausführen der (bisherigen bzw. zuletzt ermittelten, gegebenenfalls zuletzt aktualisierten) Roboter-Soll-Bewegung erfolgt; c3) Prognostizieren einer neuen Roboter-Zielpose mittels der Datenverarbeitung bzw. Künstlichen Intelligenz auf Basis dieser bereitgestellten neuen Bilddaten; d2) Ermitteln einer neuen Roboter-Soll-Bewegung, vorzugsweise eines nächstens Bahnabschnitts, auf Basis dieser neuen Zielpose; und e2) Steuern von, vorzugsweise den, Antrieben des Roboters zum Ausführen der neuen Roboter-Soll-Bewegung. Bei dieser Ausführung der vorliegenden Erfindung kann die erste Roboter-Zielpose bzw. eine oder mehrere der neuen Roboter-Zielposen insbesondere (jeweils) eine Roboter-Zielpose eines nächstens Bahnabschnitts bzw. Zeitschritts, insbesondere Regeltaktes oder dergleichen, sein, wobei der Roboter die erste Roboter-Zielpose und eine oder mehrere der neuen Roboter-Zielposen sukzessive nacheinander anfährt, um eine Aufgabe bzw. Applikation durchzuführen, beispielsweise einen Anfahrvorgang zum Aufnehmen einer Last, einen Transfer einer Last, eine Bearbeitungsbahn oder dergleichen. Somit umfasst die vorliegende Erfindung insbesondere zwei verschiedene Aspekte, die vorliegend gemeinsam beschrieben werden und vorteilhaft in Kombination miteinander oder besonders vorteilhaft auch eigenständig realisiert werden bzw. sein können: A) eine (entsprechend trainierte) Künstliche Intelligenz bzw. wenigstens teilweise auf maschinellem Lernen basierende Datenverarbeitung, vorzugsweise ein 2022P00048WO 5/41 Kuka Deutschland GmbH Regressionsverfahren und/oder wenigstens ein, vorzugsweise tiefes, Künstliches Neuronales Netz, gibt eine, vorzugsweise finale bzw. End- bzw. Target-Pose aus; oder B) eine (entsprechend trainierte) Künstliche Intelligenz bzw. wenigstens teilweise auf maschinellem Lernen basierende Datenverarbeitung, vorzugsweise ein Regressionsverfahren und/oder wenigstens ein, vorzugsweise tiefes, Künstliches Neuronales Netz, gibt, vorzugsweise während einer Bewegung des Roboters, jeweils, eine Ziel-Pose für einen oder mehrere nächste(n) Zeitschritt(e) bzw. Bahnabschnitt(e) aus. Bei Aspekt A) können in einer Ausführung vorteilhaft bei einer Datenaufnahme zum Trainieren der Datenverarbeitung verschiedene, vorzugsweise beliebige, Bewegungen ausgeführt werden, beispielsweise zick-zack-artige, spiralartige oder dergleichen, wodurch vorteilhaft eine diverse(re) Datenbasis erhalten werden kann, da es hier sozusagen nur auf die Endpose ankommt bzw. die Datenverarbeitung bzw. Künstliche Intelligenz auf deren Prognose trainiert wird. Fällt bei Aspekt A) das Bereitstellen von neuen Bilddaten im Betrieb zwischenzeitlich aus, dann kann sich der Roboter auf Basis der letzten Prognose vorteilhafterweise trotzdem weiterbewegen. Die Prognose der Ziel-Pose kann insbesondere verwendet werden, um mit dem Roboter die Ziel-Pose direkt anzufahren. Alternativ kann die Prognose auch verwendet werden, um eine Ziel-Pose bewusst zu umfahren, beispielsweise, wenn es sich bei der Ziel-Pose um ein variables Hindernis oder dergleichen handelt. Bei Aspekt A) lernt die Datenverarbeitung in einer Ausführung nicht, wie sich der Roboter bewegen soll, sondern nur, wo sich die Ziel-Pose befindet. Bei Aspekt B) werden in einer Ausführung bei der Datenaufnahme zum Trainieren der Datenverarbeitung die Bewegungen so ausgeführt, wie sich der Roboter später auch bewegen soll. Fällt bei Aspekt B) das Bereitstellen von neuen Bilddaten im Betrieb zwischenzeitlich aus, dann bleibt der Roboter in einer Ausführung stehen. Vorteilhaft lernt bei Aspekt B) die Datenverarbeitung, wie sich der Roboter bewegen soll. Wie bereits erwähnt, werden beide Aspekte vorliegend gemeinsam erörtert, wobei nach einer Ausführung der vorliegenden Erfindung bzw. Aspekt A) das Verfahren die Schritte a1), gegebenenfalls b1), c1), d1) und e1) sowie die darauf folgenden, mehrfach wiederholten Schritte a2), gegebenenfalls b2), c2), d2) und e2) umfasst und 2022P00048WO 6/41 Kuka Deutschland GmbH nach einer anderen Ausführung der vorliegenden Erfindung bzw. Aspekt B) das Verfahren die Schritte a1), gegebenenfalls b1), c1), d1) und e1) sowie die darauf folgenden, mehrfach wiederholten Schritte a3), gegebenenfalls b2), c3), d3) und e3) umfasst (der nachfolgend erläuterte Schritt des Bereitstellens aktualisierter Kinematikdaten wird zur kompakteren Darstellung bei beiden Aspekten A), B) einheitlich als Schritt b2) bezeichnet). In einer Ausführung wird in Schritt c1) mittels der Datenverarbeitung auf Basis der bereitgestellten Start-Bilddaten eine Sequenz mit der ersten Roboter-Zielpose und einer oder mehreren (jeweils) nachfolgenden Roboter-Zielposen prognostiziert und in Schritt d1) die Roboter-Soll-Bewegung auf Basis dieser Sequenz ermitteln und/oder in Schritt c3) mittels der Datenverarbeitung auf Basis der bereitgestellten neuen Bilddaten eine Sequenz mit der neuen Roboter-Zielpose und einer oder mehreren (jeweils) nachfolgenden Roboter-Zielposen prognostiziert und in Schritt d3) die neue Roboter-Soll-Bewegung auf Basis dieser Sequenz ermitteln. Bezeichnet yi eine Roboter-Zielpose, so wird entsprechend in einer Ausführung auf Basis der Start- bzw. neuen Bilddaten nicht nur die Roboter-Zielpose y_i, sondern auch eine oder mehrere nachfolgende Roboter-Zielposen y_i+1, y_i+2, … prognostiziert und die Roboter-Soll- Bewegung (jeweils) auf Basis dieser Sequenz {yi, yi+1, yi+2, … } ermitteln, vorzugsweise derart, dass der Roboter diese Roboter-Zielposen nacheinander anfährt. y kann hier insbesondere die nachfolgend erläuterte Endeffektorpose x und/oder die nachfolgend erläuterten Gelenkkoordinaten q umfassen, insbesondere sein. Durch eine solche Prognose einer Sequenz von zwei oder mehr aufeinanderfolgenden Roboter-Zielpose mittels einer Datenverarbeitung auf Basis von Bilddaten können in einer Ausführung besonders vorteilhaft trainierte Roboterbewegungen reaktiv umgesetzt werden. In einer Ausführung wird in Schritt c2) die aktualisierte Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch einer, in einer Weiterbildung chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor bereitgestellten Bilddaten prognostiziert. In einer Ausführung wird in Schritt c3) die neue Roboter-Zielpose, in einer Weiterbildung die Sequenz, mittels der Datenverarbeitung auf Basis auch einer, 2022P00048WO 7/41 Kuka Deutschland GmbH in einer Weiterbildung chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor bereitgestellten Bilddaten prognostiziert. Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. Zusätzlich oder alternativ werden in einer Ausführung in Schritt e2) mehrfach neue Bewegungskommandos zum Steuern von Antrieben des Roboters ermittelt (und diese Antriebe auf Basis dieser Bewegungskommandos gesteuert), bevor Schritt c2) erneut durchgeführt wird. Mit anderen Worten werden in einer Ausführung (die) Antriebe des Roboters gegenüber einer Aktualisierung der Roboter-Zielpose auf Basis neuer Bilddaten mit einer höheren Taktrate bzw. höherfrequenter gesteuert, vorzugsweise auch gegenüber einer Bereitstellung neuer Bilddaten mit einer höheren Taktrate bzw. höherfrequenter gesteuert. Ein Steuern im Sinne der vorliegenden Erfindung kann allgemein ein Regeln bzw. ein Steuern auf Basis von Soll- und rückgeführter Ist-Werte umfassen, insbesondere sein. Dadurch kann in einer Ausführung eine vorteilhafte, beispielsweise sanftere, Roboter- Soll-Bewegung ausgeführt und/oder die Ausführung bzw. Steuerung der Roboter-Soll- Bewegung, insbesondere deren Präzision, Geschwindigkeit und/oder Zuverlässigkeit, verbessert werden. Zusätzlich oder alternativ werden in einer Ausführung - in einem Schritt b1) Start-Kinematikdaten, die die Roboter-Startpose und/oder wenigstens eine Zeitableitung hiervon, insbesondere eine Roboter- Startgeschwindigkeit und/oder -beschleunigung, angeben, bereitgestellt; und/oder - in einem Schritt b2) aktualisierte Kinematikdaten, die eine aktuelle Roboter-Pose und/oder wenigstens eine Zeitableitung hiervon, insbesondere eine aktuelle Robotergeschwindigkeit und/oder -beschleunigung, angeben, bereitgestellt. In einer Weiterbildung dieser Ausführung werden - in Schritt c1) die erste Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch der bereitgestellten Start-Kinematikdaten prognostiziert. Zusätzlich oder alternativ werden in einer Weiterbildung 2022P00048WO 8/41 Kuka Deutschland GmbH - in Schritt c2) die aktualisierte Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, in einer Weiterbildung auf Basis auch einer, insbesondere chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor bereitgestellten Kinematikdaten, prognostiziert; bzw. - in Schritt c3) die neue Roboter-Zielpose, in einer Weiterbildung die Sequenz, mittels der Datenverarbeitung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, in einer Weiterbildung auf Basis auch einer, insbesondere chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor bereitgestellten Kinematikdaten, prognostiziert. Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. Zusätzlich oder alternativ werden in einer Weiterbildung der Ausführung, in der Start- bzw. aktualisierte Kinematikdaten bereitgestellt werden, - in Schritt d1) die Roboter-Soll-Bewegung auf Basis auch der bereitgestellten Start-Kinematikdaten ermittelt. Zusätzlich oder alternativ werden in einer Weiterbildung - in Schritt d2) die Roboter-Soll-Bewegung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor bereitgestellten Kinematikdaten, aktualisiert; bzw. - in Schritt d3) die neue Roboter-Soll-Bewegung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor bereitgestellten Kinematikdaten, ermittelt. Dabei werden in einer Ausführung wenigstens einer der vorgenannten Weiterbildungen die Schritte b2), d2) und e2) vor erneutem Ausführen des Schrittes c2), in einer Ausführung der Schritte a2) und c2), mehrfach wiederholt bzw. mehrfach - aktualisierte Kinematikdaten, die die aktuelle Roboter-Pose und/oder wenigstens eine Zeitableitung hiervon angeben, bereitgestellt (Schritt b2)); 2022P00048WO 9/41 Kuka Deutschland GmbH - die Roboter-Soll-Bewegung auf Basis der zuletzt aktualisierten Zielpose und auch dieser bereitgestellten (insbesondere gegenüber dieser zuletzt aktualisierten Zielpose ihrerseits) aktualisierten Kinematikdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe der zuvor bereitgestellten Kinematikdaten, aktualisiert (Schritt d2)); und - (die) Antriebe des Roboters zum Ausführen dieser aktualisierten Roboter-Soll- Bewegung gesteuert (Schritt e2)), bevor erneut - eine (neue) aktualisierte Roboter-Zielpose mittels der Datenverarbeitung auf Basis bereitgestellter neuer Bilddaten prognostiziert wird (Schritt c2)); - und gegebenenfalls hierfür diese einer (nun) aktuellen Roboter-Pose zugeordnete neue Bilddaten einer Umgebung des Roboters während des Ausführens der zuletzt aktualisierten Roboter-Soll-Bewegung bereitgestellt werden (Schritt a2)). Analog werden in einer Ausführung wenigstens einer der vorgenannten Weiterbildungen die Schritte b2), d3) und e3) vor erneutem Ausführen des Schrittes c3), in einer Ausführung der Schritte a3) und c3), mehrfach wiederholt. Mit anderen Worten wird in einer Ausführung die Roboter-Soll-Bewegung auf Basis neuer Kinematikdaten des Roboters gegenüber einer Aktualisierung der Roboter- Zielpose auf Basis neuer Bilddaten, gegebenenfalls auch gegenüber einer Bereitstellung der neuen Bilddaten, mit einer höheren Taktrate bzw. höherfrequenter aktualisiert und zum Steuern von (den) Antrieben des Roboters verwendet bzw. die neue Roboter-Soll-Bewegung auf Basis neuer Kinematikdaten des Roboters gegenüber einer Ermittlung der neuen Roboter-Zielpose auf Basis neuer Bilddaten, gegebenenfalls auch gegenüber einer Bereitstellung der neuen Bilddaten, mit einer höheren Taktrate bzw. höherfrequenter ermittelt und zum Steuern von (den) Antrieben des Roboters verwendet. Natürlich können auch während der höherfrequenten Aktualisierung der Roboter-Soll-Bewegung bzw. Ermittlung der neuen Roboter-Soll- Bewegung bereits neue Bilddaten bereitgestellt werden, jedoch erfolgt vorzugsweise jedenfalls die Aktualisierung der Roboter-Zielpose bzw. Ermittlung der neuen Roboter- Zielpose, in einer Weiterbildung Ermittlung der Sequenz, vorzugsweise gegenüber der Aktualisierung der Roboter-Soll-Bewegung bzw. Ermittlung der neuen Roboter-Soll- Bewegung niedrigerfrequent. 2022P00048WO 10/41 Kuka Deutschland GmbH Dadurch kann in einer Ausführung eine vorteilhafte, beispielsweise sanftere, Roboter- Soll-Bewegung ausgeführt und/oder die Ausführung bzw. Steuerung der Roboter-Soll- Bewegung, insbesondere deren Präzision, Geschwindigkeit und/oder Zuverlässigkeit, verbessert werden. In einer Ausführung wird - in Schritt c1) die erste Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch von, insbesondere vorab, vorgegebenen Umweltdaten prognostiziert; und/oder - in Schritt c2) die aktualisierte Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch von, insbesondere vorab, vorgegebenen Umweltdaten, vorzugsweise den in Schritt c1) verwendeten Umweltdaten, prognostiziert bzw. in Schritt c3) die neue Roboter-Zielpose, in einer Weiterbildung die Sequenz, mittels der Datenverarbeitung auf Basis auch von, insbesondere vorab, vorgegebenen Umweltdaten, vorzugsweise den in Schritt c1) verwendeten Umweltdaten, prognostiziert. Solche vorgegebenen Umweltdaten können insbesondere Geometrien der Umgebung, insbesondere Geometrien und/oder Posen von anzufahrenden oder zu transportierenden Werkstücken, zu umfahrenden bzw. zu vermeidenden Hindernissen oder dergleichen, umfassen. Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. Zusätzlich oder alternativ wird in einer Ausführung - in Schritt c1) die erste Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch von, vorzugsweise in der bzw. für die Start-Pose, sensorisch erfassten Umweltdaten prognostiziert; und/oder - in Schritt c2) die aktualisierte Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch von, vorzugsweise in der bzw. für die aktuelle Roboter-Pose, sensorisch erfassten Umweltdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor sensorisch erfassten Umweltdaten, prognostiziert bzw. in Schritt c3) die neue Roboter-Zielpose, in einer Weiterbildung die Sequenz, mittels der 2022P00048WO 11/41 Kuka Deutschland GmbH Datenverarbeitung auf Basis auch von, vorzugsweise in der bzw. für die aktuelle Roboter-Pose, sensorisch erfassten Umweltdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe bzw. Historie wenigstens einiger der zuvor sensorisch erfassten Umweltdaten, prognostiziert. Solche sensorisch erfassten Umweltdaten können insbesondere Posen von anzufahrenden oder zu transportierenden Werkstücken und/oder von zu umfahrenden bzw. zu vermeidenden Hindernissen und/oder Gelenk- und/oder Antriebslasten des Roboters und/oder Audiodaten oder dergleichen umfassen. Entsprechend können die Sensoren zum (sensorischen) Erfassen der Umweltdaten insbesondere Kraft- und/oder Momenten-Sensoren, Abstandssensoren, Radarsensoren, Mikrophone und dergleichen umfassen, wobei eine Kombination von zwei oder mehr Sensoren bzw. eine Kombination mittels unterschiedlicher Sensoren (sensorisch) erfasster Umweltdaten besonders vorteilhaft sein kann. Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. In einer Ausführung werden eine oder mehrere der Roboter-Soll-Bewegungen (jeweils) unter Berücksichtigung von, in einer Weiterbildung parametrierbaren bzw. parametrierten, Zwangsbedingungen, in einer Ausführung eines oder mehrerer, vorzugsweise parametrierbarer bzw. parametrierter, Sicherheitsbereiche und/oder einer Kollisionsvermeidung, insbesondere Selbst- und/oder Fremd- Kollisionsvermeidung, ermittelt. Dadurch kann in einer Ausführung der Betrieb des Roboters verbessert werden. Zusätzlich oder alternativ werden in einer Ausführung eine oder mehrere der Roboter- Soll-Bewegungen (jeweils) auf Basis eines numerischen Kinematikmodells des Roboters ermittelt. Dadurch können in einer Ausführung vorteilhafte Bahnplanungsalgorithmen verwendet werden. 2022P00048WO 12/41 Kuka Deutschland GmbH Zusätzlich oder alternativ werden in einer Ausführung eine oder mehrere der Roboter- Soll-Bewegungen (jeweils) mittels einer ebenfalls wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, in einer Weiterbildung mittels Gaussian Processes, Gaussian Mixture Modells, Bayesian Learning und/oder wenigstens eines zusätzlichen Künstlichen Neuronalen Netzes, ermittelt. Dadurch können in einer Ausführung vorteilhafte Bewegungen ausgeführt werden. Zusätzlich oder alternativ umfassen in einer Ausführung eine oder mehrere der Roboter-Soll-Bewegungen (jeweils) Bewegungskommandos in einem Achs- bzw. Gelenkkoordinatenraum, insbesondere Achs- bzw. Gelenkwinkelraum, des Roboters, wobei in einer vorteilhaften Weiterbildung Hardware-Limits und/oder (Selbst-)Kollisionen und/oder anderer Beschränkungen wie zum Beispiel Sicherheitsbereiche („Safety-Spaces“) berücksichtigt werden. Dadurch können in einer Ausführung Bewegungen vorteilhaft ermittelt bzw. gesteuert und/oder die Ermittlung und/oder Steuerung verbessert, insbesondere vereinfacht und/oder beschleunigt, werden. Zusätzlich oder alternativ umfassen in einer Ausführung die in Schritt d1) ermittelten und/oder eine oder mehrere der in Schritt d2) aktualisierten Roboter-Soll-Bewegungen (jeweils) eine Verschiebung eines Endeffektors des Roboters um wenigstens 10 cm, vorzugsweise um wenigstens 25 cm, insbesondere um wenigstens 50 cm. Wie auch an anderer Stelle erläutert, kann in einer Ausführung der Roboter über weite Teile eines freien Arbeitsraums, beispielsweise einen halben oder ganzen Meter, reaktiv bzw. unter Aktualisierung der Ziel-Pose bewegt werden. Dies beruht insbesondere auf der Erkenntnis, dass zwar die Bilddaten bei großen Distanzen bzw. Bewegungsabschnitten häufig deutlich stärker variieren als bei kleine(re)n Bewegungen in der Nähe der (finalen) Zielpose, aber die reaktive Steuerung eine Konvergenz der Zielposen-Prognose bzw. Zielposen-prognostizierenden Datenverarbeitung gewährleistet. In einer Ausführung umfassen die bereitgestellten Start-Kinematikdaten und/oder die aktualisierten Kinematikdaten (jeweils) eine, vorzugsweise ein-, zwei- oder 2022P00048WO 13/41 Kuka Deutschland GmbH dreidimensionale, Position und/oder eine, vorzugsweise ein-, zwei- oder dreidimensionale, Orientierung eines Endeffektors des Roboters, insbesondere entsprechende, vorzugsweise ein-, zwei- oder dreidimensionale, Positions- und/oder, vorzugsweise ein-, zwei- oder dreidimensionale, Orientierungsdaten, im Folgenden ohne Beschränkung der Allgemeinheit kurz x_t. Zusätzlich oder alternativ umfassen in einer Ausführung die bereitgestellten Start-Kinematikdaten und/oder die aktualisierten Kinematikdaten (jeweils) Gelenkstellungen des Roboters, insbesondere entsprechende Gelenkstellungsdaten bzw. -koordinaten, deren Dimension vorzugsweise der Anzahl der Freiheitsgrade bzw. Gelenke bzw. (Bewegungs)Achsen des Roboters entspricht, im Folgenden ohne Beschränkung der Allgemeinheit kurz q_t. Zusätzlich oder alternativ umfassen in einer Ausführung die bereitgestellten Start-Kinematikdaten und/oder die aktualisierten Kinematikdaten (jeweils) erste und/oder höhere Zeitableitungen der vorgenannten Größen, insbesondere also translatorische und/oder rotatorische Geschwindigkeiten und/oder Beschleunigungen des Endeffektors und/oder der Gelenke. In einer Ausführung umfassen die erste Roboter-Zielpose und/oder die aktualisierte(n) bzw. neue(n) Roboter-Zielpose(n), in einer Weiterbildung die Roboter-Zielposen der Sequenz, (jeweils) eine, vorzugsweise ein-, zwei- oder dreidimensionale, Position und/oder eine, vorzugsweise ein-, zwei- oder dreidimensionale, Orientierung eines bzw. des Endeffektors des Roboters, insbesondere entsprechende, vorzugsweise ein-, zwei- oder dreidimensionale, Positions- und/oder, vorzugsweise ein-, zwei- oder dreidimensionale, Orientierungsdaten, im Folgenden ohne Beschränkung der Allgemeinheit kurz x* bzw. x_i bzw. x_i+1, …. Zusätzlich oder alternativ umfassen in einer Ausführung die erste Roboter-Zielpose und/oder die aktualisierte(n) bzw. neue(n) Roboter-Zielpose(n), in einer Weiterbildung die Roboter-Zielposen der Sequenz, (jeweils) Gelenkstellungen des Roboters, insbesondere entsprechende Gelenkstellungsdaten bzw. -koordinaten, deren Dimension vorzugsweise der Anzahl der Freiheitsgrade bzw. Gelenke bzw. (Bewegungs)Achsen des Roboters entspricht, im Folgenden ohne Beschränkung der Allgemeinheit kurz q* bzw. qi bzw. qi+1, …. 2022P00048WO 14/41 Kuka Deutschland GmbH Durch die Verwendung von Position(sdat)en und/oder Orientierung(sdat)en des Endeffektors, besonders bevorzug wenigstens als Roboter-Zielpose(n), können Roboter-Soll-Bewegungen besonders vorteilhaft ermittelt, insbesondere vorteilhafte Algorithmen zur Ermittlung entsprechender Roboter-Soll-Bewegungen verwendet werden. Zusätzlich oder alternativ eigenen sich diese besonders gut zum Prognostizieren durch eine Künstliche Intelligenz bzw. wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung. Durch die Verwendung von Gelenkstellung(sdat/skoordinat)en des Roboters, vorzugsweise wenigstens als Kinematikdaten zum Prognostizieren von Roboter- Zielposen durch eine Künstliche Intelligenz bzw. wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung bzw. als (Teil eines) Inputs einer solchen Zielposen-prognostizierenden Künstlichen Intelligenz bzw. Datenverarbeitung, können Roboter-Zielposen besonders vorteilhaft ermittelt werden, sie eigenen sich besonders gut als (Teil eines) Inputs einer solchen Zielposen- prognostizierenden Künstlichen Intelligenz bzw. Datenverarbeitung. Entsprechend stellen dies bzw. ein Prognostizieren einer ersten bzw. aktualisierten bzw. neuen Roboter-Zielpose, welche Position(sdat)en und/oder Orientierung(sdat)en x* des Endeffektors umfassen, mittels der Datenverarbeitung auf Basis auch von Start- bzw. aktualisierten bzw. neuen Kinematikdaten, welche Gelenkstellung(sdat/skoordinat)en qt des Roboters umfassen (x* = KI(Bilddaten, qt))), jeweils besonders bevorzugte Ausführen dar, ohne dass die Erfindung hierauf beschränkt wäre. Entsprechend kann es beispielsweise auch zweckmäßig sein, Position(sdat)en und/oder Orientierung(sdat)en des Endeffektors als Kinematikdaten bzw. (Teil eines) Inputs einer Zielposen-prognostizierenden Künstlichen Intelligenz bzw. Datenverarbeitung zu verwenden und/oder Gelenkstellung(sdat/skoordinat)en des Roboters als Zielpose bzw. Input zum Ermitteln der Roboter-Soll-Bewegungen zu verwenden. In einer Ausführung ist die Roboter-Startpose und/oder die (jeweilige) aktuelle Roboterpose eine Stellung des Roboters, insbesondere seiner Gelenke bzw. (Bewegungs)Achsen. Entsprechend sind in einer Ausführung die Start-Bilddaten einer Start-Stellung des Roboters und/oder die aktuelle Roboterpose (jeweils) einer aktuellen Stellung des Roboters zugeordnet. 2022P00048WO 15/41 Kuka Deutschland GmbH In einer Ausführung ist die Roboter-Startpose und/oder die (jeweilige) aktuelle Roboterpose eine, vorzugsweise ein-, zwei- oder dreidimensionale, Position und/oder, vorzugsweise ein-, zwei- oder dreidimensionale, Orientierung seines Endeffektors. Entsprechend sind in einer Ausführung die Start-Bilddaten einer Start-Position und/oder -Orientierung des Endeffektors und/oder die aktuelle Roboterpose (jeweils) einer aktuellen Position und/oder Orientierung des Endeffektors des Roboters zugeordnet. Wie auch an anderer Stelle erläutert, können in mehreren Schritten b2) jeweils aktualisierte Kinematikdaten, die eine (jeweils) aktuelle Roboter-Pose und/oder wenigstens eine Zeitableitung hiervon angeben, bereitgestellt werden. Dabei wird in einer Ausführung in mehreren Schritten d2) jeweils die Roboter-Soll-Bewegung auf Basis der jeweils zuletzt bzw. im zuletzt durchgeführten Schritt c2) aktualisierten Zielpose und auf Basis auch der jeweils bzw. im zuletzt durchgeführten Schritt b2) aktualisierten Kinematikdaten aktualisiert, bevor in einem neuen Schritt c2) auf Basis von in einem diesem vorhergehenden Schritt b2) bereitgestellten Kinematikdaten, die vorzugsweise auch zum Aktualisieren der Roboter-Soll-Bewegung verwendet werden, die Zielpose erneut und somit niederfrequenter als die Roboter-Soll-Bewegung aktualisiert wird. Analog wird in einer Ausführung in mehreren Schritten d3) jeweils die neue Roboter-Soll-Bewegung auf Basis der jeweils zuletzt bzw. im zuletzt durchgeführten Schritt c3) prognostizierten neuen Zielpose und auf Basis auch der jeweils bzw. im zuletzt durchgeführten Schritt b2) aktualisierten Kinematikdaten aktualisiert, bevor in einem neuen Schritt c3) auf Basis von in einem diesem vorhergehenden Schritt b2) bereitgestellten Kinematikdaten, die vorzugsweise auch zum Ermitteln der neuen Roboter-Soll-Bewegung verwendet werden, die neue Zielpose prognostiziert und somit niederfrequenter als die neue Roboter-Soll- Bewegung ermittelt wird. Dadurch kann in einer Ausführung die zwei Sub-Probleme „Prognose/Aktualisierung der Ziel-Pose“ und „Ermittlung der Soll-Bewegung“ in unterschiedlichen Frequenzen und damit besonders vorteilhaft gelöst werden, vorzugsweise parallelisiert und/oder synchronisiert. In einer Ausführung werden mittels der Datenverarbeitung auf Basis der Bilddaten und gegebenenfalls Kinematik- und/oder Umweltdaten 2022P00048WO 16/41 Kuka Deutschland GmbH - in Schritt c1) zusätzlich wenigstens eine, vorzugsweise erste, Zeitableitung der ersten Roboter-Zielpose prognostiziert und in Schritt d1) die Roboter-Soll- Bewegung auf Basis auch dieser Zeitableitung(en) ermitteln; und/oder - in Schritt c2) zusätzlich wenigstens eine, vorzugsweise erste, (aktualisierte) Zeitableitung der aktualisierten Roboter-Zielpose prognostiziert und in Schritt d2) die Roboter-Soll-Bewegung auf Basis auch dieser (aktualisierten) Zeitableitung(en) aktualisiert bzw. in Schritt c3) zusätzlich wenigstens eine, vorzugsweise erste, (neue) Zeitableitung der neuen Roboter-Zielpose, in einer Weiterbildung jeweils wenigstens eine, vorzugsweise erste, Zeitableitung der Roboter-Zielposen der Sequenz, prognostiziert und in Schritt d3) die Roboter-Soll- Bewegung auf Basis auch dieser (neuen) Zeitableitung(en) ermittelt. Durch die Prognose (auch) von, vorzugsweise ersten, Zeitableitungen der Zielpose(n) kann in einer Ausführung eine besonders vorteilhafte Roboter-Soll-Bewegung realisiert werden. Eine Zeitableitung einer Roboter-Zielpose kann insbesondere eine translatorische und/oder rotatorische Geschwindigkeit des Endeffektors und/oder von Gelenken bzw. Achsen des Roboters umfassen, insbesondere sein. In einer Ausführung ist, in einer Weiterbildung wird, die Datenverarbeitung nach einem hier beschriebenen Verfahren trainiert. Insbesondere kann also das Verfahren zum Betreiben eines Roboters nach einer Ausführung der vorliegenden Erfindung ein hier beschriebenes Verfahren zum Trainieren einer bzw. der wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung zum Prognostizieren von Roboter-Zielposen auf Basis von Bilddaten bzw. dessen Schritte umfassen. Nach einer Ausführung der vorliegenden Erfindung weist bei einem Verfahren zum Trainieren einer bzw. der wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung zum Prognostizieren von Roboter-Zielposen auf Basis von Bilddaten für ein hier beschriebenes Betreiben des Roboters das Trainieren die Schritte auf: - nacheinander Durchführen von Bewegungen des Roboters oder eines Demonstrators, insbesondere eines losen Endeffektors, Endeffektor-Dummies, Zeigegeräts oder dergleichen, jeweils - von einer Startpose zum Erreichen einer, vorzugsweise in eine, Zielpose; oder 2022P00048WO 17/41 Kuka Deutschland GmbH - von einer Zielpose zum Erreichen einer, vorzugsweise in eine, Startpose mit - unterschiedlichen Bewegungstrajektorien; und/oder - bei unterschiedlichen Umgebungsbedingungen; und/oder - wenigstens einmal von einer Startpose zum Erreichen einer Zielpose und wenigstens einmal von einer Zielpose zum Erreichen einer Startpose, vorzugsweise mehrmals von einer Startpose zum Erreichen einer Zielpose, bevorzugt von verschiedenen Startposen zum Erreichen derselben oder unterschiedlicher Zielpose(n), und/oder mehrmals von einer Zielpose zum Erreichen einer Startpose, bevorzugt von derselben oder unterschiedlichen Zielpose(n) zum Erreichen verschiedenen Startposen, wobei für eine oder mehrere dieser Bewegungen jeweils für mehrere bei der (jeweiligen) Bewegung eingenommenen Posen des Roboters bzw. Demonstrators - dieser Pose zugeordnete Bilddaten einer, vorzugsweise der, Umgebung des Roboters; und - die jeweilige Zielpose zum maschinellen Lernen des Prognostizierens gesammelt werden; und - Trainieren der Datenverarbeitung auf Basis dieser gesammelten, einander zugeordneten Bilddaten und Zielposen. In einer Ausführung weist der Demonstrator eine, vorzugsweise integrierte, Sensorik auf, mit der in einer Weiterbildung Posen und in einer Ausführung (zugeordnete) Zeitstempel erfasst werden. Zusätzlich oder alternativ können Pose des Demonstrators und in einer Ausführung (zugeordnete) Zeitstempel mithilfe einer externen Sensorik, insbesondere eines Trackingsystems oder dergleichen, erfasst werden. Eine Ausführung der vorliegenden Erfindung basiert auf der Idee, während (der Durchführung) solcher Bewegungen fortlaufend Bilddaten zu sammeln und zum Trainieren der (Zielposen-)Künstlichen Intelligenz bzw. Zielposen-prognostizierenden Datenverarbeitung zu nutzen. Dabei kann das Trainieren in einer Ausführung wenigstens teilweise bereits während des Durchführens von (weiteren) Bewegungen zum Sammeln (weiterer) Bilddaten und Zielposen erfolgen, was das Trainieren verbessern, insbesondere beschleunigen kann. 2022P00048WO 18/41 Kuka Deutschland GmbH Eine oder mehrere Bewegungen von einer Ziel- zu einer Startpose bzw. entgegen einer im Normalbetrieb durchlaufenden Bahnrichtung, können insbesondere ein Anfahren einer Zielpose im erfindungsgemäßen Betrieb des Roboters bei regulärer Bahnrichtung und/oder ein Steuern der Trainingsbewegungen verbessern, insbesondere diese vereinfachen und/oder eine Präzision erhöhen. In einer Ausführung werden für eine oder mehrere der Bewegungen die Startpose und/oder die Zielpose vorgegeben, vorzugsweise mittels einer Bedienereingabe (separat bzw. zusätzlich zum Einnehmen der Pose) eingegeben. Zusätzlich oder alternativ werden in einer Ausführung für eine oder mehrere dieser Bewegungen für mehrere der bei dieser Bewegung eingenommenen Posen des Roboters bzw. Demonstrators jeweils Kinematikdaten, die diese Roboter-Pose und/oder wenigstens eine Zeitableitung hiervon angeben, gesammelt und den entsprechenden Bilddaten, vorzugsweise zeitlich, in einer Ausführung durch entsprechende Zeitstempfel oder dergleichen, zugeordnet und die Datenverarbeitung auf Basis auch dieser gesammelten, vorzugsweise den entsprechenden Posen bzw. Bilddaten zeitlich zugeordneten, Kinematikdaten trainiert. Zusätzlich oder alternativ werden in einer Ausführung für eine oder mehrere dieser Bewegungen Umweltdaten vorgegeben, in einer Weiterbildung wie an anderer Stelle bereits erwähnt, Geometrien der Umgebung, insbesondere Geometrien und/oder Posen von anzufahrenden oder zu transportierenden Werkstücken, zu umfahrenden bzw. zu vermeidenden Hindernissen oder dergleichen, und die Datenverarbeitung auf Basis auch dieser vorgegeben Umweltdaten trainiert. Zusätzlich oder alternativ werden in einer Ausführung bei einer oder mehreren dieser Bewegungen, vorzugsweise in bzw. für eine oder mehrere bei dieser Bewegung eingenommenen Posen, Umweltdaten sensorisch erfasst, in einer Weiterbildung wie an anderer Stelle bereits erwähnt, Posen von anzufahrenden oder zu transportierenden Werkstücken und/oder Posen von zu umfahrenden bzw. zu vermeidenden Hindernissen und/oder Gelenk- und/oder Antriebslasten des Roboters und/oder Audiodaten oder dergleichen, und die Datenverarbeitung auf Basis auch dieser (sensorisch) erfassten, vorzugsweise den entsprechenden Posen bzw. Bilddaten zeitlich zugeordneten, Umweltdaten trainiert. 2022P00048WO 19/41 Kuka Deutschland GmbH Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. In einer Ausführung sind bei zwei oder mehr der zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen die Startposen identisch. Zusätzlich oder alternativ sind in einer Ausführung bei zwei oder mehr der zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen die Zielposen identisch. Dabei kann in einer Ausführung durch die unterschiedlichen Bewegungstrajektorien und/oder unterschiedlichen Umgebungsbedingungen die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. Zusätzlich oder alternativ sind in einer Ausführung bei zwei oder mehr der zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen die Startposen (voneinander) verschieden. Zusätzlich oder alternativ sind in einer Ausführung bei zwei oder mehr der zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen die Zielposen (voneinander) verschieden. Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. In einer Ausführung sind bei zwei oder mehr der zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen die Startposen identisch und die Zielposen identisch, aber die Bewegungen dazwischen (voneinander) verschieden. Dabei kann in einer Ausführung durch die unterschiedlichen Bewegungstrajektorien und/oder unterschiedlichen Umgebungsbedingungen die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. In einer Ausführung erreicht der Roboter bzw. Demonstrator bei einer oder mehreren der durchgeführten Bewegungen die jeweilige Zielpose. Mit anderen Worten werden in einer Ausführung Positiv-Beispiele zum Trainieren der Datenverarbeitung verwendet. 2022P00048WO 20/41 Kuka Deutschland GmbH Zusätzlich oder alternativ erreicht in einer Ausführung der Roboter bzw. Demonstrator bei einer oder mehreren der durchgeführten Bewegungen die jeweilige vorgegebene Zielpose nicht. Mit anderen Worten werden in einer Ausführung (auch) Negativ- Beispiele zum Trainieren der Datenverarbeitung verwendet. Dadurch kann in einer Ausführung die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. In einer Ausführung wird der Roboter bzw. Demonstrator bei einer oder mehreren der durchgeführten, zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen durch manuell auf ihn ausgeübte Kräfte handgeführt, in einer Weiterbildung der Roboter hierzu entsprechend nachgiebig geregelt. Dabei kann es vorteilhaft sein, das Handführen regelungstechnisch zu beschränken, vorzugsweise auf vorgegebenen Gelenkwinkellimits des Roboters und/oder Orientierungs- und/oder Positionslimits des Endeffektors. Dadurch können in einer Ausführung diese Bewegungen sehr intuitiv, exakt und/oder auch ohne Expertenwissen durchgeführt werden. Zusätzlich oder alternativ wird der Roboter in einer Ausführung bei einer oder mehreren der durchgeführten Bewegungen gestengesteuert oder teleoperiert. Dadurch können in einer Ausführung diese Bewegungen rasch(er) durchgeführt werden. Zusätzlich oder alternativ führt der Roboter eine oder mehrere der zum Trainieren der Datenverarbeitung verwendeten bzw. genutzten Bewegungen automatisiert durch, in einer Weiterbildung - mithilfe einer automatisierten Bahnplanung auf Basis einer Umgebungserkennung; und/oder - mithilfe eines, insbesondere automatisierten, Variierens - einer zuvor von einem Benutzer geführten oder gesteuerten Bewegung; oder - einer automatisiert geplanten Bahn; und/oder 2022P00048WO 21/41 Kuka Deutschland GmbH in einem Arbeitseinsatz, in einer Weiterbildung in einem produktiven bzw. Produktionsbetrieb. Durch die, insbesondere zusätzliche, Verwendung (auch) von automatisierten Bewegungen kann das Trainieren verbessert, insbesondere viele Bewegungen genutzt und dadurch die Genauigkeit und/oder Zuverlässigkeit der Prognose verbessert werden. Wenn in einem Arbeitseinsatz automatisiert durchgeführte Bewegungen zum Trainieren der Datenverarbeitung verwendet werden, wird die Datenverarbeitung vorteilhaft (auch) im Einsatz (weiter) trainiert. In einer Ausführung wird dabei ein Duplikat der Prognose auf Basis der in einem Arbeitseinsatz, in einer Weiterbildung in einem produktiven bzw. Produktionsbetrieb, automatisiert durchgeführte Bewegungen bzw. dabei gesammelten Daten weiter trainiert und geprüft, ob dieses weiter trainierte Duplikat eine besseres Ergebnis erzielt als die in Arbeitseinsatz verwendete Prognose, und, in einer Ausführung durch einen Nutzer, entschieden, ob bei weiteren Arbeitseinsätzen statt der bisher verwendeten Prognose das weiter trainierte Duplikat als neue Prognose verwendet wird. In einer Ausführung sind, in einer Weiterbildung, werden, die Start- und/oder die neuen Bilddaten mithilfe wenigstens einer durch den Roboter geführten Kamera und/oder mithilfe wenigstens einer umgebungsseitigen Kamera und/oder mithilfe einer Bildverarbeitung erzeugt, in einer Ausführung umfasst ein Bereitstellen von Bilddaten in Schritt a1) und/oder in Schritt a2) bzw. a3) ein solches Erzeugen. In einer Ausführung sind ein oder mehrere Roboter (jeweils) mit wenigstens einer Kamera ausgestattet und wenigstens ein weiterer Roboter fährt die entsprechende Pose an. Durch robotergeführte Kameras können insbesondere signifikante(re) Perspektiven genutzt werden, durch umgebungsseitige Kameras vorteilhaft ruhigere und/oder globale(re) Perspektiven, wobei eine umgebungsseitige Kamera ihrerseits in der Umgebung fixiert sein oder durch eine vom Roboter separate Bewegungseinrichtung verschoben und/oder verdreht werden kann. Durch eine Bildverarbeitung können für die Datenverarbeitung besonders vorteilhafte Bilddaten generiert werden. In einer Ausführung umfasst ein Prognostizieren einer Zielpose ein Prognostizieren einer bzw. derjenigen von mehreren Zielposen, die eine höchste Wahrscheinlichkeit aufweist. Mit anderen Worten ermittelt die Datenverarbeitung in einer Ausführung für 2022P00048WO 22/41 Kuka Deutschland GmbH verschiedene Zielposen jeweils eine Wahrscheinlichkeit, dass es sich um eine tatsächlich( gewünscht)e Zielpose handelt, und wählt diejenige mit der höchsten Wahrscheinlichkeit als prognostizierte Zielpose aus. Zusätzlich oder alternativ umfasst in einer Ausführung ein Prognostizieren einer Zielposen ein Ausgeben einer Zielpose auf Basis einer Eingabe bzw. mit einem Input, wobei diese Eingabe bzw. dieser Input Bilddaten, in einer Weiterbildung zusätzlich Kinematikdaten und/oder Umweltdaten, umfasst. Nach einer Ausführung der vorliegenden Erfindung ist ein System, insbesondere hard- und/oder software-, insbesondere programmtechnisch, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet ist. Nach einer Ausführung der vorliegenden Erfindung weist ein bzw. das System auf: - Mittel zum Bereitstellen von einer Roboter-Startpose zugeordneten Start-Bilddaten einer Umgebung des Roboters, insbesondere umfassend wenigstens eine Kamera und/oder Bildverarbeitung; - Mittel zum Prognostizieren einer ersten Roboter-Zielpose mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, insbesondere mittels eines Regressionsverfahrens und/oder wenigstens eines Künstlichen Neuronalen Netzes, auf Basis der bereitgestellten Start-Bilddaten, insbesondere umfassend die Datenverarbeitung; - Mittel zum Ermitteln einer Roboter-Soll-Bewegung auf Basis der ersten Zielpose; und - Mittel zum Steuern von Antrieben des Roboters zum Ausführen der Roboter-Soll- Bewegung; sowie - Mittel zum darauf folgenden, mehrfach wiederholten Bereitstellen von einer jeweiligen aktuellen Roboter-Pose zugeordneten neuen Bilddaten einer Umgebung des Roboters, in einer Weiterbildung während des Ausführen der Roboter-Soll-Bewegung, insbesondere umfassend die wenigstens eine Kamera und/oder Bildverarbeitung; - Mittel zum Prognostizieren einer aktualisierten bzw. neuen Roboter-Zielpose, in einer Weiterbildung der Sequenz, mittels der Datenverarbeitung auf Basis der 2022P00048WO 23/41 Kuka Deutschland GmbH jeweiligen bereitgestellten neuen Bilddaten, insbesondere umfassend die Datenverarbeitung; - Mittel zum Aktualisieren der Roboter-Soll-Bewegung auf Basis der aktualisierten Zielpose bzw. zum Ermitteln der neuen Roboter-Soll-Bewegung auf Basis der neuen Zielpose bzw. Sequenz; und - Mittel zum Steuern von Antrieben des Roboters zum Ausführen der aktualisierten bzw. neuen Roboter-Soll-Bewegung. Nach einer Ausführung der vorliegenden Erfindung weist ein bzw. das System zusätzlich oder alternativ auf: - Mittel zum, bei nacheinander Durchführen von Bewegungen des Roboters oder eines Demonstrators jeweils - von einer Startpose zum Erreichen einer Zielpose; oder - von einer Zielpose zum Erreichen einer Startpose mit unterschiedlichen Bewegungstrajektorien und/oder bei unterschiedlichen Umgebungsbedingungen und/oder wenigstens einmal von einer Startpose zum Erreichen einer Zielpose und wenigstens einmal von einer Zielpose zum Erreichen einer Startpose, für wenigstens eine dieser Bewegungen für mehrere bei dieser Bewegung eingenommenen Posen des Roboters bzw. Demonstrators jeweils Sammeln von: - dieser Pose zugeordneten Bilddaten einer Umgebung; und - der jeweiligen Zielpose, in einer Weiterbildung der Sequenz, zum maschinellen Lernen des Prognostizierens, insbesondere einen entsprechend (gefüllten) Datenspeicher bzw. eine entsprechende Datenmenge; und - Mittel zum Trainieren der Datenverarbeitung auf Basis dieser gesammelten, einander zugeordneten Bilddaten und Zielposen. Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem 2022P00048WO 24/41 Kuka Deutschland GmbH Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere den Roboter betreiben bzw. die Datenverarbeitung trainieren kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm bzw. mit darauf gespeicherten Anweisungen aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu, ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet. In einer Ausführung sind ein oder mehrere, insbesondere alle, Schritte eines hier beschriebenen Verfahrens vollständig oder teilweise computerimplementiert bzw. werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel. In einer Ausführung weist das System den Roboter und/oder die Datenverarbeitung und/oder die wenigstens eine Kamera und/oder Bildverarbeitung auf. In einer Ausführung bewegt sich der Roboter während mehrerer nacheinander durchgeführter Schritte e2) bzw. e3), vorzugsweise ständig. Mit anderen Worten werden in einer Ausführung Antriebe des Roboters fortwährend zum Ausführen der Roboter-Soll-Bewegung gesteuert, während diese fortwährend auf Basis einer fortwährend mittels der künstlichen Intelligenz bzw. Datenverarbeitung aktualisierten Zielpose aktualisiert wird bzw. wird bereits während des Anfahrens einer zuletzt 2022P00048WO 25/41 Kuka Deutschland GmbH ermittelten Zielpose wenigstens eine neue Zielpose prognostiziert und ein Bahnabschnitt zu dieser geplant. Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert: Fig.1: ein System nach einer Ausführung der vorliegenden Erfindung; Fig.2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung; und Fig.3: einen Informationsfluss in dem System bzw. Verfahren nach einer Ausführung der vorliegenden Erfindung. Fig.1 zeigt ein System nach einer Ausführung der vorliegenden Erfindung, das einen Roboter mit einer Steuerung 1 und einem Roboterarm 10 mit einem Endeffektor 11 sowie wenigstens eine durch den Roboter geführten Kamera 20 und/oder wenigstens eine umgebungsseitige Kamera 21 aufweist. In nicht dargestellten Abwandlungen kann die Kamera 20 oder 21 entfallen und/oder zusätzliche durch den Roboter geführten Kameras und/oder umgebungsseitige Kameras vorgesehen sein und/oder der Roboterarm eine andere Konfiguration aufweisen, beispielsweise mehr oder weniger als die dargestellten sechs Gelenke bzw. (Bewegungs)Achsen. Exemplarisch ist in Fig.1 in ausgezogenen Linien eine Roboter-Startpose und gestrichelt eine Roboter-Zielpose, in einer strich-punktierten Linie eine Bewegung des Roboters auf Basis eines „LIN“-Bewegungskommandos, das eine Gerade eines in Fig.1 durch Koordinatensysteme angedeuteten TCPs des Roboter im kartesischen Raum bewirkt, strich-doppelpunktiert eine Bewegung des Roboters auf Basis eines „CIRC“-Bewegungskommandos, das eine Kreisbahn des TCPs im kartesischen Raum bewirkt, und doppelstrich-punktiert eine Bewegung des Roboters auf Basis eines „PTP“-Bewegungskommandos illustriert. Fig.2 zeigt ein Verfahren nach einer Ausführung der vorliegenden Erfindung. Zum Trainieren einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung zum Prognostizieren von Roboter-Zielposen auf Basis von 2022P00048WO 26/41 Kuka Deutschland GmbH Bilddaten werden in einem Schritt S10 Umweltdaten, beispielsweise bekannte Geometrien von von dem Roboter 10 handzuhabenden Werkstücken und/oder zu umfahrenden Hindernissen oder dergleichen vorgegeben. Dann wird in Schritt S20 jeweils eine Bewegung des Roboters 10 oder eines Demonstrators, beispielsweise nur des losen Endeffektors 11, von einer Startpose zum Erreichen einer Zielpose durchgeführt. Zusätzlich oder alternativ können auch Bewegungen von einer Zielpose zum Erreichen einer Startpose durchgeführt werden. Dabei werden die Bewegung mit unterschiedlichen Bewegungstrajektorien (vgl. Fig.1) und/oder bei unterschiedlichen Umgebungsbedingungen durchgeführt. Für diese Bewegungen werden in Schritt S20 jeweils für mehrere bei der jeweiligen Bewegung eingenommene Posen des Roboters bzw. Demonstrators jeweils dieser Pose zugeordnete Bilddaten einer Umgebung 30 und die jeweilige Zielpose zum maschinellen Lernen des Prognostizierens gesammelt. In einer bevorzugten Weiterbildung werden diesen Posen bzw. Bilddaten zeitlich, vorzugsweise über Zeitstempel oder dergleichen, jeweils zugeordnete Kinematikdaten, die die jeweilige Roboter-Pose angeben, und/oder sensorisch erfasste Umweltdaten, beispielsweise Sensordaten von Kraft-Momenten-Sensoren, Gelenk-Drehmomentsensoren, Radarsensoren, Audio-Mikrophonen, Trackingsystemen 22 zum Erfassen von Hindernissen 31 oder dergleichen, gesammelt. Wenn genügen Daten gesammelt sind (S25: „Y“), wird in einem Schritt S30 die Datenverarbeitung auf Basis dieser gesammelten, einander zugeordneten Bilddaten und Zielposen und gegebenenfalls Kinematik- und/oder Umweltdaten trainiert. Gegebenenfalls kann das Trainieren auch wenigstens teilweise zeitlich parallel zu einem Sammeln weiterer Daten auf Basis weiterer durchgeführter Bewegungen erfolgen. Zum Betreiben des Roboters 10 werden in einem Schritt S100 Umweltdaten, beispielsweise bekannte Geometrien von von dem Roboter 10 handzuhabenden Werkstücken oder dergleichen vorgegeben, in einem Schritt S110 Start- 2022P00048WO 27/41 Kuka Deutschland GmbH Kinematikdaten, die die Roboter-Startpose angeben, bereitgestellt, in einem Schritt S120 dieser Roboter-Startpose zugeordnete Start-Bilddaten einer Umgebung 30 des Roboters 10 sowie sensorisch erfasste Umweltdaten, beispielsweise Sensordaten von Kraft-Momenten-Sensoren, Gelenk-Drehmomentsensoren, Radarsensoren, Audio- Mikrophonen, Trackingsystemen 22 zum Erfassen von Hindernissen 31 oder dergleichen (nicht dargestellt), bereitgestellt, in einem Schritt S130 eine erste Roboter-Zielpose mittels der trainierten Datenverarbeitung auf Basis der bereitgestellten Umweltdaten, Start-Bilddaten und Start-Kinematikdaten prognostiziert, in einem Schritt S140 eine Roboter-Soll-Bewegung auf Basis dieser ersten Zielpose ermittelt, und in einem Schritt S150 Antriebe des Roboters 10 zum Ausführen der Roboter-Soll-Bewegung gesteuert, von denen exemplarisch drei Antriebe mit dem Bezugszeichen 12 versehen sind. Während dieses Steuerns in Schritt S150 werden analog zu Schritt S110 mehrfach aktuelle Kinematikdaten bereitgestellt, analog zu Schritt S140 die Roboter-Soll- Bewegung auf Basis der ersten Zielpose und dieser aktuelle Kinematikdaten aktualisiert und dann die Antriebe 12 des Roboters 10 zum Ausführen dieser aktualisierten Roboter-Soll-Bewegung anstelle der bisher ausgeführten Roboter-Soll- Bewegung gesteuert. Noch während die Roboter-Soll-Bewegung weiterhin ausgeführt wird, werden in einem Schritt S210, wie zuvor in Schritt S110, aktualisierte Kinematikdaten, die die aktuelle Roboter-Pose angeben, bereitgestellt, in einem Schritt S220, wie zuvor in Schritt S120, dieser aktuellen Roboter-Pose zugeordnete neue Bilddaten der Umgebung des Roboters 10 sowie sensorisch erfasste Umweltdaten bereitgestellt, in einem Schritt S230, wie zuvor in Schritt S130, eine aktualisierte Roboter-Zielpose mittels der trainierten Datenverarbeitung auf Basis der bereitgestellten Umweltdaten, neuen Bilddaten und aktualisierten Kinematikdaten prognostiziert, in einem Schritt S240 die Roboter-Soll-Bewegung auf Basis dieser aktualisierten Zielpose aktualisiert, und in einem Schritt S250, wie zuvor in Schritt S150, die Antriebe 12 des Roboters 10 nun zum Ausführen dieser aktualisierten Roboter-Soll-Bewegung gesteuert. Auch während dieses Steuerns in Schritt S250 werden analog zu Schritt 150 bzw. S210 mehrfach aktuelle Kinematikdaten bereitgestellt, analog zu Schritt S240 die Roboter-Soll-Bewegung auf Basis der in Schritt S230 aktualisierten Zielpose und 2022P00048WO 28/41 Kuka Deutschland GmbH dieser aktuellen Kinematikdaten aktualisiert und dann die Antriebe 12 des Roboters 10 zum Ausführen dieser aktualisierten Roboter-Soll-Bewegung gesteuert. Solange kein Abbruchbedingung erfüllt ist (S255: „N“), beispielsweise der Roboter 10 ein Werkstück erreicht hat oder dergleichen, kehrt das System bzw. Verfahren zu Schritt 210 zurück, andernfalls (S255: „Y“) wird das Verfahren beendet (Schritt S260). Der in Fig.3 dargestellte Informationsfluss in dem System bzw. Verfahren illustriert, dass mittels der wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung auf Basis der Bilddaten („image“) und Kinematikdaten („qt“) eine Zielpose („x*“) prognostiziert wird und auf Basis dieser prognostizierten Zielpose und aktualisierten Kinematikdaten („x_t = F^(q_t)“) eine Roboter-Soll-Bewegung ermittelt bzw. aktualisiert bzw. entsprechende Bewegungskommandos („q*“) zum Steuern der Antrieben 12 des Roboters 10 ermittelt werden. In einer Abwandlung, die vorzugsweise zusätzlich oder besonders bevorzugt alternativ zu dem vorstehend erläuterten Aspekt eines Prognostizierens einer aktualisierten Roboter-Zielpose, Aktualisierens der Roboter-Soll-Bewegung auf Basis der aktualisierten Zielpose und Steuern von Antrieben des Roboters zum Ausführen der aktualisierten Roboter-Soll-Bewegung realisiert sein kann, wird nicht nur bzw. nicht die finale Ziel- bzw. Endpose prognostiziert, sondern zusätzlich bzw. alternativ (jeweils) eine oder mehrere neue Roboter-Zielpose(n) auf Basis der jeweils einer aktuellen Roboter-Pose zugeordneten neuen Bilddaten. Dabei werden, wie vorstehend bereits beschrieben, in den Schritten S10, S20 Umweltdaten vorgegeben und Bewegung des Roboters 10 oder eines Demonstrators durchgeführt und Bilddaten der Umgebung 30 und die jeweilige Zielpose zum maschinellen Lernen des Prognostizierens gesammelt, wobei hier die Zielpose nicht die finale Ziel- bzw. Endpose sondern die jeweils in einem nächsten Zeitschritt angefahrene Ziel-Pose ist oder eine Sequenz mit mehreren aufeinanderfolgenden solcher Ziel-Posen gesammelt wird. Auch hier können diesen Posen bzw. Bilddaten zeitlich, vorzugsweise über Zeitstempel oder dergleichen, jeweils zugeordnete Kinematikdaten, die die jeweilige Roboter-Pose angeben, und/oder sensorisch erfasste Umweltdaten, beispielsweise Sensordaten von Kraft-Momenten-Sensoren, Gelenk-Drehmomentsensoren, Radarsensoren, Audio-Mikrophonen, 2022P00048WO 29/41 Kuka Deutschland GmbH Trackingsystemen 22 zum Erfassen von Hindernissen 31 oder dergleichen, gesammelt werden. In Schritt S30 wird die bzw. gegebenenfalls eine weitere Datenverarbeitung auf Basis dieser gesammelten, einander zugeordneten Bilddaten und Zielposen und gegebenenfalls Kinematik- und/oder Umweltdaten trainiert, allerdings nicht darauf, die finale Ziel- bzw. Endpose zu prognostizieren, sondern jeweils die in dem bzw. den nächsten Zeitschritt(en) anzufahrende(n) Zielpose(n). Zum Betreiben des Roboters 10 werden in Schritt S100 Umweltdaten, beispielsweise bekannte Geometrien von von dem Roboter 10 handzuhabenden Werkstücken oder dergleichen vorgegeben, in einem Schritt S110 Start-Kinematikdaten, die die Roboter- Startpose angeben, bereitgestellt, in einem Schritt S120 dieser Roboter-Startpose zugeordnete Start-Bilddaten einer Umgebung 30 des Roboters 10 sowie sensorisch erfasste Umweltdaten, beispielsweise Sensordaten von Kraft-Momenten-Sensoren, Gelenk-Drehmomentsensoren, Radarsensoren, Audio-Mikrophonen, Trackingsystemen 22 zum Erfassen von Hindernissen 31 oder dergleichen (nicht dargestellt), bereitgestellt, in einem Schritt S130 eine erste Roboter-Zielpose mittels der trainierten Datenverarbeitung auf Basis der bereitgestellten Umweltdaten, Start-Bilddaten und Start-Kinematikdaten prognostiziert, in einem Schritt S140 eine Roboter-Soll-Bewegung auf Basis dieser ersten Zielpose ermittelt, und in einem Schritt S150 Antriebe des Roboters 10 zum Ausführen der Roboter-Soll-Bewegung gesteuert, von denen exemplarisch drei Antriebe mit dem Bezugszeichen 12 versehen sind. Nach oder vorzugsweise bereits während dieses Steuerns in Schritt S150 werden in einem Schritt S210, wie zuvor in Schritt S110, aktualisierte Kinematikdaten, die die aktuelle Roboter-Pose angeben, bereitgestellt, in einem Schritt S220, wie zuvor in Schritt S120, dieser aktuellen Roboter-Pose zugeordnete neue Bilddaten der Umgebung des Roboters 10 sowie sensorisch erfasste Umweltdaten bereitgestellt, in einem Schritt S230, wie zuvor in Schritt S130, eine neue, im nächsten Zeitschritt anzufahrende Roboter-Zielpose oder mehrere aufeinanderfolgende solcher (in aufeinanderfolgenden Zeitschritten anzufahrende) Roboter-Zielposen mittels der trainierten Datenverarbeitung auf Basis der bereitgestellten Umweltdaten, neuen Bilddaten und aktualisierten Kinematikdaten prognostiziert, in einem Schritt S240, wie 2022P00048WO 30/41 Kuka Deutschland GmbH zuvor in Schritt S140, eine neue Roboter-Soll-Bewegung auf Basis dieser neuen Zielpose(n) ermittelt, und in einem Schritt S250, wie zuvor in Schritt S150, die Antriebe 12 des Roboters 10 zum Ausführen dieser neuen Roboter-Soll-Bewegung gesteuert. Auch während dieses Steuerns in Schritt S250 werden analog zu Schritt 150 bzw. S210 mehrfach aktuelle Kinematikdaten bereitgestellt, analog zu Schritt S240 eine neue Roboter-Soll-Bewegung auf Basis der in Schritt S230 ermittelten neuen Zielpose und dieser aktuellen Kinematikdaten ermittelt und dann die Antriebe 12 des Roboters 10 zum Ausführen dieser neuen Roboter-Soll-Bewegung gesteuert. Solange kein Abbruchbedingung erfüllt ist (S255: „N“), beispielsweise die neue Zielpose nur noch (ausreichend) gering von der zuletzt ermittelten Zielpose abweicht bzw. die finale bzw. Endpose erreicht ist oder dergleichen, kehrt das System bzw. Verfahren zu Schritt 210 zurück, andernfalls (S255: „Y“) wird das Verfahren beendet (Schritt S260). Vorteilhafterweise prognostiziert bei Erreichen der finalen bzw. Endpose die Künstliche Innteligenz bzw. Datenverarbeitung die aktuelle Pose als neue Zielpose, so dass der Roboter von selbst anhält. Der in Fig.3 dargestellte Informationsfluss illustriert analog auch, dass mittels der wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung auf Basis der Bilddaten („image“) und Kinematikdaten („qt“) jeweils eine neue Zielpose („x*“) ermittelt wird und auf Basis dieser prognostizierten Zielpose und aktualisierten Kinematikdaten („xt = F^(qt)“) eine neue Roboter-Soll-Bewegung ermittelt bzw. entsprechende Bewegungskommandos („q*“) zum Steuern der Antrieben 12 des Roboters 10 ermittelt werden. In der vorliegenden Offenbarung impliziert „weist ein X auf“ allgemein keine abschließende Aufzählung, sondern ist eine Kurzform von „weist wenigstens ein X auf“ und umfasst auch „weist zwei oder mehr X auf“ sowie „weist außer X auch Y auf“. Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist. So kann insbesondere in Fig.3 die Funktion x* = f(image, q_t) auch durch eine der folgenden Varianten mit anderen Inputs ersetzt sein: 2022P00048WO 31/41 Kuka Deutschland GmbH x* = f(image, xt); oder x* = f(image, qt, xt); oder x* = f(image); oder q* = f(image, x_t); oder q* = f(image, q_t, x_t); oder q* = f(image). Zusätzlich können auch Zeitableitungen der Ziel-Posen prognostiziert und bei der Ermittlung der neuen Roboter-Soll-Bewegungen berücksichtigt werden, rein exemplarisch in der Form dx*/dt = f‘(image, q_t), dq*/dt = f‘(image, q_t), dx*/dt = f‘(image, x_t), dq*/dt = f‘(image, x_t), dx*/dt = f‘(image, q_t, x_t), dq*/dt = f‘(image, q_t, x_t), dx*/dt = f‘(image), dq*/dt = f‘(image) oder dergleichen. Zusätzlich oder alternativ können die verwendeten Kinematikdaten auch Zeitableitungen aufweisen (dqt/dt, dxt/dt, d²qt/dt², d²xt/dt²,,,,). In einer entsprechenden Abwandlung werden dann auch im Trainingsprozess die jeweiligen Daten mit Zeitstempel gesammelt und verwendet. Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt. 2022P00048WO 32/41 Kuka Deutschland GmbH Bezugszeichenliste 1 Steuerung 10 Roboter 11 Endeffektor 12 Antrieb 20, 21 Kamera 22 Trackingsystem 30 Umgebung 31 Hindernis

Claims

2022P00048WO 33/41 Kuka Deutschland GmbH Patentansprüche 1. Verfahren zum Betreiben eines Roboters (10), mit den Schritten: a1) Bereitstellen von einer Roboter-Startpose zugeordneten Start-Bilddaten einer Umgebung des Roboters; c1) Prognostizieren einer ersten Roboter-Zielpose mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, insbesondere mittels eines Regressionsverfahrens und/oder wenigstens eines Künstlichen Neuronalen Netzes, auf Basis der bereitgestellten Start-Bilddaten; d1) Ermitteln einer Roboter-Soll-Bewegung auf Basis der ersten Zielpose; und e1) Steuern von Antrieben des Roboters zum Ausführen der Roboter-Soll- Bewegung; wobei das Verfahren die darauf folgenden, mehrfach wiederholten Schritte: a2) Bereitstellen von einer aktuellen Roboter-Pose zugeordneten neuen Bilddaten einer Umgebung des Roboters während des Ausführens der Roboter-Soll-Bewegung; c2) Prognostizieren einer aktualisierten Roboter-Zielpose mittels der Datenverarbeitung auf Basis der bereitgestellten neuen Bilddaten; d2) Aktualisieren der Roboter-Soll-Bewegung auf Basis der aktualisierten Zielpose; und e2) Steuern von Antrieben des Roboters zum Ausführen der aktualisierten Roboter-Soll-Bewegung; aufweist und/oder das Verfahren die auf die Schritte a1) – e1) folgenden, mehrfach wiederholten Schritte aufweist: a3) Bereitstellen von einer aktuellen Roboter-Pose zugeordneten neuen Bilddaten einer Umgebung des Roboters, insbesondere während des Ausführens der Roboter-Soll-Bewegung; c3) Prognostizieren einer neuen Roboter-Zielpose mittels der Datenverarbeitung auf Basis der bereitgestellten neuen Bilddaten; d3) Ermitteln einer neuen Roboter-Soll-Bewegung auf Basis der neuen Zielpose; und 2022P00048WO 34/41 Kuka Deutschland GmbH e3) Steuern von Antrieben des Roboters zum Ausführen der neuen Roboter- Soll-Bewegung. 2. Verfahren Anspruch 1, dadurch gekennzeichnet, dass: - in Schritt c1) mittels der Datenverarbeitung eine Sequenz mit der ersten Roboter-Zielpose und wenigstens einer nachfolgenden Roboter-Zielpose prognostiziert und in Schritt d1) die Roboter-Soll-Bewegung auf Basis dieser Sequenz ermitteln wird und/oder in Schritt c3) mittels der Datenverarbeitung eine Sequenz mit der neuen Roboter-Zielpose und wenigstens einer nachfolgenden Roboter-Zielpose prognostiziert und in Schritt d3) die neue Roboter-Soll-Bewegung auf Basis dieser Sequenz ermitteln wird; und/oder dass - in Schritt c2) die aktualisierte Roboter-Zielpose bzw. in Schritt c3) die neue Roboter-Zielpose, insbesondere die Sequenz, mittels der Datenverarbeitung auf Basis auch einer, insbesondere chronologischen, Gruppe der zuvor bereitgestellten Bilddaten prognostiziert wird; und/oder dass - in Schritt e2) mehrfach neue Bewegungskommandos zum Steuern von Antrieben des Roboters ermittelt werden, bevor Schritt c2) erneut durchgeführt wird; und/oder dass - in einem Schritt b1) Start-Kinematikdaten, die die Roboter-Startpose und/oder wenigstens eine Zeitableitung hiervon angeben, und/oder in einem Schritt b2) aktualisierte Kinematikdaten, die eine aktuelle Roboter-Pose und/oder wenigstens eine Zeitableitung hiervon angeben, bereitgestellt werden und - in Schritt c1) die erste Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch der bereitgestellten Start-Kinematikdaten und/oder in Schritt c2) die aktualisierte Roboter-Zielpose bzw. in Schritt c3) die neue Roboter-Zielpose, insbesondere die Sequenz, mittels der Datenverarbeitung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe der zuvor bereitgestellten Kinematikdaten, prognostiziert wird; und/oder 2022P00048WO 35/41 Kuka Deutschland GmbH - in Schritt d1) die Roboter-Soll-Bewegung auf Basis auch der bereitgestellten Start-Kinematikdaten ermittelt und/oder in Schritt d2) die Roboter-Soll-Bewegung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe der zuvor bereitgestellten Kinematikdaten, aktualisiert bzw. in Schritt d3) die neue Roboter-Soll- Bewegung auf Basis auch der bereitgestellten aktualisierten Kinematikdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe der zuvor bereitgestellten Kinematikdaten, ermittelt wird, insbesondere die Schritte b2), d2) und e2) vor erneutem Ausführen des Schrittes c2) mehrfach wiederholt werden. 3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - in Schritt c1) die erste Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch von vorgegebenen Umweltdaten prognostiziert wird; und/oder - in Schritt c2) die aktualisierte Roboter-Zielpose bzw. in Schritt c3) die neue Roboter-Zielpose, insbesondere die Sequenz, mittels der Datenverarbeitung auf Basis auch von vorgegebenen Umweltdaten prognostiziert wird; und/oder - in Schritt c1) die erste Roboter-Zielpose mittels der Datenverarbeitung auf Basis auch von sensorisch erfassten Umweltdaten prognostiziert wird; und/oder - in Schritt c2) die aktualisierte Roboter-Zielpose bzw. in Schritt c3) die neue Roboter-Zielpose, insbesondere die Sequenz, mittels der Datenverarbeitung auf Basis auch von sensorisch erfassten Umweltdaten, insbesondere auf Basis auch einer, insbesondere chronologischen, Gruppe der zuvor sensorisch erfassten Umweltdaten, prognostiziert wird. 4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass - wenigstens eine der Roboter-Soll-Bewegungen unter Berücksichtigung, insbesondere parametrierbarer, Zwangsbedingungen, insbesondere wenigstens eines Sicherheitsbereichs und/oder einer Kollisionsvermeidung, ermittelt wird; und/oder 2022P00048WO 36/41 Kuka Deutschland GmbH - wenigstens eine der Roboter-Soll-Bewegungen auf Basis eines numerischen Kinematikmodells des Roboters ermittelt wird; und/oder - wenigstens eine der Roboter-Soll-Bewegungen mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung ermittelt wird; und/oder - wenigstens eine der Roboter-Soll-Bewegungen Bewegungskommandos in einem Achskoordinatenraum des Roboters umfasst; und/oder - wenigstens eine der Roboter-Soll-Bewegungen eine Verschiebung eines Endeffektors des Roboters um wenigstens 10 cm umfasst; und/oder - die bereitgestellten Start-Kinematikdaten und/oder aktualisierten Kinematikdaten eine Position und/oder Orientierung eines Endeffektors des Roboters und/oder wenigstens eine Zeitableitung hiervon und/oder Gelenkstellungen des Roboters und/oder wenigstens eine Zeitableitung hiervon umfassen; und/oder - die erste Roboter-Zielpose und/oder die aktualisierte Roboter-Zielpose bzw. die neue Roboter-Zielpose, insbesondere die Roboter-Zielposen der Sequenz jeweils, eine Position und/oder Orientierung eines Endeffektors des Roboters und/oder Gelenkstellungen des Roboters umfasst; und/oder - in Schritt c1) mittels der Datenverarbeitung zusätzlich wenigstens eine Zeitableitung der ersten Roboter-Zielpose prognostiziert und in Schritt d1) die Roboter-Soll-Bewegung auf Basis auch dieser Zeitableitung ermitteln wird und/oder in Schritt c2) mittels der Datenverarbeitung zusätzlich wenigstens eine Zeitableitung der aktualisierten Roboter-Zielpose prognostiziert und in Schritt d2) die Roboter-Soll-Bewegung auf Basis auch dieser Zeitableitung aktualisiert bzw. in Schritt c3) mittels der Datenverarbeitung zusätzlich wenigstens eine Zeitableitung der neuen Roboter-Zielpose, insbesondere Zeitableitungen der Roboter-Zielposen der Sequenz, prognostiziert und in Schritt d3) die Roboter-Soll-Bewegung auf Basis auch dieser Zeitableitung bzw. Zeitableitungen ermittelt wird. 5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitung nach einem Verfahren nach einem der nachfolgenden Ansprüche trainiert ist, insbesondere wird. 2022P00048WO 37/41 Kuka Deutschland GmbH 6. Verfahren zum Trainieren einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung zum Prognostizieren von Roboter-Zielposen auf Basis von Bilddaten für ein Betreiben des Roboters nach einem Verfahren nach einem der vorhergehenden Ansprüche, wobei das Trainieren die Schritte aufweist: - nacheinander Durchführen von Bewegungen des Roboters oder eines Demonstrators jeweils - von einer Startpose zum Erreichen einer Zielpose; oder - von einer Zielpose zum Erreichen einer Startpose mit unterschiedlichen Bewegungstrajektorien und/oder bei unterschiedlichen Umgebungsbedingungen und/oder wenigstens einmal von einer Startpose zum Erreichen einer Zielpose und wenigstens einmal von einer Zielpose zum Erreichen einer Startpose, wobei für wenigstens eine dieser Bewegungen für mehrere bei dieser Bewegung eingenommenen Posen des Roboters bzw. Demonstrators jeweils - dieser Pose zugeordnete Bilddaten einer Umgebung; und - die jeweilige Zielpose, insbesondere die Sequenz der jeweiligen Zielposen, zum maschinellen Lernen des Prognostizierens gesammelt werden; und - Trainieren der Datenverarbeitung auf Basis dieser gesammelten, einander zugeordneten Bilddaten und Zielposen. 7. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass - für wenigstens eine dieser Bewegungen - die Startpose; und/oder - die Zielpose; vorgegeben werden; und/oder - für wenigstens eine dieser Bewegungen für mehrere der bei dieser Bewegung eingenommenen Posen des Roboters bzw. Demonstrators jeweils Kinematikdaten, die diese Roboter-Pose und/oder wenigstens eine Zeitableitung hiervon angeben, gesammelt und den entsprechenden Bilddaten oder Posen zugeordnet werden und die Datenverarbeitung auf Basis auch dieser gesammelten Kinematikdaten trainiert wird; und/oder - für wenigstens einer dieser Bewegungen Umweltdaten vorgegeben und/oder bei wenigstens einer dieser Bewegungen Umweltdaten sensorisch erfasst 2022P00048WO 38/41 Kuka Deutschland GmbH werden und die Datenverarbeitung auf Basis auch dieser vorgegeben und/oder erfassten Umweltdaten trainiert wird; und/oder - bei wenigstens zwei dieser Bewegungen die Startposen identisch sind; und/oder - bei wenigstens zwei dieser Bewegungen die Zielposen identisch sind; und/oder - bei wenigstens zwei dieser Bewegungen die Startposen verschieden sind; und/oder - bei wenigstens zwei dieser Bewegungen die Zielposen verschieden sind; und/oder - bei wenigstens zwei dieser Bewegungen die Startposen identisch sind und die Zielposen identisch sind und die Bewegungen dazwischen verschieden sind; und/oder - der Roboter bzw. Demonstrator bei wenigstens einer der durchgeführten Bewegungen die jeweilige Zielpose erreicht; und/oder - der Roboter bzw. Demonstrator bei wenigstens einer der durchgeführten Bewegungen die jeweilige vorgegebene Zielpose nicht erreicht; und/oder - der Roboter bzw. Demonstrator bei wenigstens einer der durchgeführten Bewegungen durch manuell auf ihn ausgeübte Kräfte handgeführt wird; und/oder - der Roboter bei wenigstens einer der durchgeführten Bewegungen gestengesteuert oder teleoperiert wird; und/oder - der Roboter wenigstens eine der durchgeführten Bewegungen automatisiert durchführt, insbesondere mithilfe einer automatisierten Bahnplanung auf Basis einer Umgebungserkennung und/oder mithilfe eines Variierens einer zuvor von einem Benutzer geführten oder gesteuerten Bewegung oder automatisiert geplanten Bahn und/oder in einem Arbeitseinsatz. 8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Bilddaten mithilfe wenigstens einer durch den Roboter geführten Kamera und/oder mithilfe wenigstens einer umgebungsseitigen Kamera und/oder mithilfe einer Bildverarbeitung erzeugt sind, insbesondere ein Bereitstellen von Bilddaten ein solches Erzeugen umfasst. 2022P00048WO 39/41 Kuka Deutschland GmbH 9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Prognostizieren einer Zielpose ein Prognostizieren einer von mehreren Zielposen, die eine höchste Wahrscheinlichkeit aufweist, und/oder ein Ausgeben einer Zielpose auf Basis einer Eingabe umfasst, welche Bilddaten, insbesondere zusätzlich Kinematikdaten und/oder Umweltdaten, umfasst. 10. System zum Betreiben eines Roboters und/oder Trainieren einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, das zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet ist und/oder aufweist: - Mittel zum Bereitstellen von einer Roboter-Startpose zugeordneten Start-Bilddaten einer Umgebung des Roboters, insbesondere umfassend wenigstens eine Kamera und/oder Bildverarbeitung; - Mittel zum Prognostizieren einer ersten Roboter-Zielpose mittels einer wenigstens teilweise auf maschinellem Lernen basierenden Datenverarbeitung, insbesondere mittels eines Regressionsverfahrens und/oder wenigstens eines Künstlichen Neuronalen Netzes, auf Basis der bereitgestellten Start-Bilddaten, insbesondere umfassend die Datenverarbeitung; - Mittel zum Ermitteln einer Roboter-Soll-Bewegung auf Basis der ersten Zielpose; und - Mittel zum Steuern von Antrieben des Roboters zum Ausführen der Roboter- Soll-Bewegung; sowie - Mittel zum darauf folgenden, mehrfach wiederholten Bereitstellen von einer jeweiligen aktuellen Roboter-Pose zugeordneten neuen Bilddaten einer Umgebung des Roboters, insbesondere während des Ausführen der Roboter- Soll-Bewegung, insbesondere umfassend die wenigstens eine Kamera und/oder Bildverarbeitung; - Mittel zum Prognostizieren einer aktualisierten bzw. neuen Roboter-Zielpose mittels der Datenverarbeitung auf Basis der jeweiligen bereitgestellten neuen Bilddaten, insbesondere umfassend die Datenverarbeitung; 2022P00048WO 40/41 Kuka Deutschland GmbH - Mittel zum Aktualisieren der Roboter-Soll-Bewegung auf Basis der aktualisierten Zielpose bzw. zum Ermitteln der neuen Roboter-Soll-Bewegung auf Basis der neuen Zielpose; und - Mittel zum Steuern von Antrieben des Roboters zum Ausführen der aktualisierten bzw. neuen Roboter-Soll-Bewegung; und/oder aufweist: - Mittel zum, bei nacheinander Durchführen von Bewegungen des Roboters oder eines Demonstrators jeweils - von einer Startpose zum Erreichen einer Zielpose; oder - von einer Zielpose zum Erreichen einer Startpose mit unterschiedlichen Bewegungstrajektorien und/oder bei unterschiedlichen Umgebungsbedingungen und/oder wenigstens einmal von einer Startpose zum Erreichen einer Zielpose und wenigstens einmal von einer Zielpose zum Erreichen einer Startpose, für wenigstens eine dieser Bewegungen für mehrere bei dieser Bewegung eingenommenen Posen des Roboters bzw. Demonstrators jeweils Sammeln von: - dieser Pose zugeordneten Bilddaten einer Umgebung; und - der jeweiligen Zielpose, insbesondere der Sequenz, zum maschinellen Lernen des Prognostizierens; und - Mittel zum Trainieren der Datenverarbeitung auf Basis dieser gesammelten, einander zugeordneten Bilddaten und Zielposen. 11. Computerprogramm oder Computerprogrammprodukt, wobei das Computerprogramm oder Computerprogrammprodukt, insbesondere auf einem computerlesbaren und/oder nicht-flüchtigen Speichermedium gespeicherte, Anweisungen enthält, die bei der Ausführung durch einen oder mehrere Computer oder ein System nach Anspruch 10 den oder die Computer oder das System dazu veranlassen, ein Verfahren nach einem der Ansprüche 1 bis 9 durchzuführen.