DE102022129008A1

DE102022129008A1 - Verfahren zur behandlung von kollisionen bei der griffgenerierung

Info

Publication number: DE102022129008A1
Application number: DE102022129008.5A
Authority: DE
Inventors: Yongxiang Fan; Hsien-Chung Lin
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2021-11-30
Filing date: 2022-11-03
Publication date: 2023-06-01
Also published as: CN116197893A; US20230166398A1; US12017356B2; JP2023081311A

Abstract

Robotische Griffgenerierungstechnik für Teileaufnahmeanwendungen. Die Teile- und die Greifergeometrie werden als Eingaben bereitgestellt, üblicherweise aus CAD-Dateien. Die Greiferkinematik ist ebenfalls als Eingabe festgelegt. Eine Menge von Greifkandidaten wird mithilfe eines beliebigen bekannten Tools für die vorläufige Griffgenerierung bereitgestellt. Ein Punktmodell des Teils und ein Modell der Greiferkontaktflächen mit einem Abstandsspielraum werden bei einer Optimierungsberechnung verwendet, die für jeden der Greifkandidaten vorgenommen wird, woraus eine Datenbank angepasster Griffe resultiert. Die angepassten Griffe optimieren die Greifqualität durch die Verwendung einer virtuellen Greiferoberfläche, die die tatsächliche Greiferoberfläche in einem geringen Abstand weg vom Teil positioniert. Dann wird eine Berechnung des vorzeichenbehafteten Distanzfelds für jeden der angepassten Griffe durchgeführt, und diejenigen, bei denen es zu irgendeiner Kollision zwischen dem Greifer und dem Teil kommt, werden verworfen. Die resultierende Griffdatenbank enthält kollisionsfreie Griffe hoher Qualität zur Verwendung bei einem Vorgang zum Aufnehmen und Platzieren eines Teils durch einen Roboter.

Description

STAND DER TECHNIK
Technisches Gebiet
Die vorliegende Offenbarung bezieht sich allgemein auf ein Verfahren zum Erzeugen von Qualitätsgriffdaten für das Greifen von Teilen durch einen Roboter und insbesondere auf ein Verfahren zur Griffgenerierung für Roboter, das von einer Menge von Greifkandidaten für ein bestimmtes Teil und einen bestimmten Greifer ausgeht, jeden Greifkandidaten unter Verwendung einer virtuellen Greiferoberfläche optimiert, wodurch geringfügige Griffanpassungen zugelassen werden, und dann die angepassten Griffe mithilfe einer Berechnung des vorzeichenbehafteten Distanzfelds analysiert, um alle Kollisionen auszufiltern.
Erörterung der verwandten Technik
Die Verwendung von Industrierobotern zur Durchführung eines breiten Spektrums von Herstellungs-, Montage- und Materialbewegungstätigkeiten ist gut bekannt. Eine solche Anwendung ist ein Pick-and-Place-Vorgang, bei dem ein Roboter einzelne Teile aufnimmt und jedes Teil an einem vorgeschriebenen Ort für die weitere Verarbeitung oder die Verpackung absetzt. Beispiele von Pick-and-Place-Vorgängen umfassen das Aufnehmen eines Teils aus einem Behälter und das Absetzen des Teils auf einem Förderer, wo es für einen nächsten Arbeitsvorgang übernommen wird, sowie das Aufnehmen eines Teils aus einem Behälter und das Platzieren des Teils in einem Spannzeug einer Werkzeugmaschine, wo das Teil bearbeitet wird, und dann danach das Entnehmen des Teils aus der Werkzeugmaschine und das Absetzen des bearbeiteten Teils auf einem Förderer.
Bei Anwendungen wie den oben beschriebenen wird normalerweise ein Sichtsystem (eine oder mehrere Kameras) verwendet, um die Position und Orientierung von einzelnen Teilen in dem Behälter zu erkennen. Dann wird ein spezifischer Griff eines Roboters bestimmt, der bei einem ausgewählten Teil verwendet werden soll, wobei der Griff aus einer vorberechneten Datenbank von Griffen ausgewählt werden kann, die für die jeweilige Teilegeometrie und die jeweilige Greifergeometrie generiert wurden.
Bei allen robotischen Greifvorgängen wird eine Datenbank von Qualitätsgriffen benötigt. Es sind Techniken zur Griffgenerierung bekannt, mit denen automatisch zahlreiche Greifkandidaten generiert werden können. Diese existierenden Techniken haben jedoch Nachteile, wie z. B. extrem rechenintensiv und langsam zu sein oder Vereinfachungen vorzunehmen, die zu berechneten Griffen mit geringer Greifqualität führen. Außerdem schließen einige existierende Techniken zur Griffgenerierung Greifkandidaten aus, bei denen eine winzige Kollision zwischen dem Greifer und dem Teil vorhergesagt wird, obwohl viele dieser Griffe in der realen Welt perfekt funktionieren würden, da sich das Teil während des Greifens leicht bewegen würde, was einen qualitativ hochwertigen Griff zur Folge hätte.
In Anbetracht der oben beschriebenen Umstände besteht ein Bedarf an einer Technik zur Griffgenerierung für Roboter, die Greifkandidaten hoher Qualität ohne manuelles Lehren berechnet, recheneffizient ist und nicht unnötigerweise Griffe auf der Grundlage einer vorhergesagten Kollision ausschließt, die von einem realen Greifer und einem realen Teil leicht kompensiert werden würde.
KURZDARSTELLUNG DER ERFINDUNG
Entsprechend der Lehre der vorliegenden Offenbarung wird eine Technik zur Griffgenerierung für Roboter vorgestellt. Die Teile- und die Greifergeometrie werden als Eingaben bereitgestellt, üblicherweise aus CAD-Dateien. Die Greiferkinematik ist ebenfalls als Eingabe festgelegt. Eine Menge von Greifkandidaten wird mithilfe eines beliebigen bekannten Tools für die vorläufige Griffgenerierung bereitgestellt. Ein Punktmodell des Teils und ein Modell der Greiferkontaktflächen mit einem Abstandsspielraum werden bei einer Optimierungsberechnung verwendet, die für jeden der Greifkandidaten vorgenommen wird, woraus eine Datenbank angepasster Griffe resultiert. Die angepassten Griffe optimieren die Greifqualität durch die Verwendung einer virtuellen Greiferoberfläche, die die tatsächliche Greiferoberfläche in einem geringen Abstand weg vom Teil positioniert. Dann wird eine Berechnung des vorzeichenbehafteten Distanzfelds für jeden der angepassten Griffe durchgeführt, und diejenigen, bei denen es zu irgendeiner Kollision zwischen dem Greifer und dem Teil kommt, werden verworfen. Die resultierende Griffdatenbank enthält kollisionsfreie Griffe hoher Qualität zur Verwendung bei einem Vorgang zum Aufnehmen und Platzieren eines Teils durch einen Roboter.
Weitere Merkmale der hier offenbarten Verfahren werden aus der nachstehenden Beschreibung und den beigefügten Patentansprüchen in Verbindung mit den begleitenden Zeichnungen ersichtlich.
Figurenliste

1 ist eine Darstellung eines robotischen Pick-and-Place-Systems, bei dem ein Industrieroboter ein Teil aus einem Behälter nimmt und das Teil entweder auf einem Förderer oder in einer Bearbeitungsstation für die weitere Verarbeitung platziert;
2 ist ein bebildertes Ablaufschaubild von Schritten gemäß einer Ausführungsform der vorliegenden Offenbarung, die in einem Griffgenerierungsprozess enthalten sind, der zum Erstellen einer Datenbank kollisionsfreier Griffe verwendet wird, die in dem robotischen Pick-and-Place-System von 1 verwendet wird;
3 ist eine Darstellung gemäß einer Ausführungsform der vorliegenden Offenbarung der Details einiger der Schritte in dem Griffgenerierungsprozess von 2, der einen Schritt des Optimierens zur Griffanpassung unter Verwendung virtueller Greiferoberflächen beinhaltet, um eine gewünschte Greiferpositionierung relativ zu einem Teil zu erreichen;
4 ist eine Darstellung einer allgemeinen Methode zur Berechnung des vorzeichenbehafteten Distanzfelds, die eine Störung zwischen einem ersten Objekt und einem zweiten Objekt angibt, wie aus dem Stand der Technik bekannt; und
5 ist eine Darstellung gemäß einer Ausführungsform der vorliegenden Offenbarung der Details einer auf einem vorzeichenbehafteten Distanzfeld basierenden Methode zur Kollisionsprüfung, die in dem Griffgenerierungsprozess der 2 und 3 verwendet wird, um Griffe zu eliminieren, bei denen es nach der Griffanpassung zu einer Störung zwischen Teil und Greifer kommt.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Die nachstehende Erörterung der Ausführungsformen der Offenbarung, die Verfahren zur Behandlung von Kollisionen bei der Griffgenerierung für Roboter betrifft, ist nur beispielhafter Natur und soll die offenbarten Techniken oder ihre Anwendungen und Verwendungen in keiner Weise beschränken.
Die Verwendung von Industrierobotern zum Aufnehmen von Teilen von einer Quelle und zum Platzieren dieser Teile an einem Zielort ist gut bekannt. Bei einem typischen Pick-and-Place-Vorgang wird ein Teilevorrat in einem Behälter bereitgestellt, beispielsweise einem Behälter, der einen ungeordneten Haufen von Teilen enthält, die gerade gegossen, geformt oder teilweise zusammengebaut wurden, wobei die Teile aus ihren zufälligen Posen in dem Behälter aufgenommen und mit einer bestimmten Pose an einem Zielort platziert werden müssen.
1 ist eine Darstellung eines robotischen Pick-and-Place-Systems, bei dem ein Industrieroboter 100 ein Teil aus einem Behälter 110 mithilfe eines Greifers 120 aufnimmt und das Teil entweder in einer Bearbeitungsstation 130 oder auf einem Förderer 140 für die weitere Verarbeitung oder die Verpackung platziert. Der Greifer 120 kann mit einer Fingerform gestaltet sein, die auf Grundlage der Form der Teile gewählt wird, die von dem Roboter 100 gehandhabt werden. Die Greiferfingerform wird weiter unten erörtert.
Die Bewegung des Roboters 100 wird von einer Steuerung 150 gesteuert, die üblicherweise über ein Kabel mit dem Roboter 100 kommuniziert. Die Steuerung 150 erteilt dem Roboter 100 Gelenkbewegungsbefehle und empfängt Gelenkpositionsdaten von Gebern in den Gelenken des Roboters 100, wie aus dem Stand der Technik bekannt. Die Steuerung 150 erteilt außerdem Befehle zum Steuern des Betriebs des Greifers 120 (Befehle zum Greifen/Lösen und Weite).
Ein Computer 160 steht in Verbindung mit der Steuerung 150. Der Computer 160 umfasst einen Prozessor und einen Speicher/Datenspeicher und führt einen Algorithmus aus, der so gestaltet ist, dass er auf der Grundlage von Bildern und Daten von mindestens einer Kamera 170 einen Griff hoher Qualität für ein Teil in dem Behälter 110 berechnet. Die Kamera 170 ist üblicherweise eine dreidimensionale (3D) Kamera, die sowohl Farbbilddaten als auch Pixel-Tiefenkartendaten bereitstellt, doch kann es sich auch um eine andere Art von 3D-Sensor handeln, der geeignete Daten zum Bestimmen der Pose (Position und Orientierung) von Teilen in dem Behälter 110 liefert. Die Kamera 170 könnte auch ein System aus mehreren Kameras sein, das zwei oder mehr 2D- oder 3D-Kameras umfasst.
Bei einigen Anwendungen kann der Behälter 110 nur ein Teil enthalten, das eine beliebige Position und Orientierung haben könnte. Dies wäre der Fall, wenn die Teile von der Bearbeitungsstation 130 mit der gleichen Geschwindigkeit verarbeitet werden, mit der sie in dem Behälter 110 ankommen. Alternativ kann der Behälter 110 mehrere Teile (wie in 1 gezeigt) oder einen beträchtlichen Teilehaufen enthalten. In jedem Fall wird ein Kandidat für einen Griff mit der besten Qualität bestimmt, indem die Bilddaten von der Kamera 170 mit einer Datenbank von vorberechneten stabilen Griffen abgeglichen werden.
Der Computer 160 stellt die Ziel-Greifdaten für die Steuerung 150 bereit, die den Roboter 100 und den Greifer 120 steuert, um ein Teil aus dem Behälter 110 zu nehmen. Die Ziel-Greifdaten umfassen den Greifzielpunkt (x/y/z-Koordinaten), den Annäherungswinkel, dem der Greifer 120 folgen muss, sowie den Drehwinkel und die Weite des Greifers. Mithilfe der Greifdaten kann die Steuerung 150 Roboterbewegungsanweisungen berechnen, die bewirken, dass der Greifer 120 ein Teil aufnimmt und das Teil in der Bearbeitungsstation 130 oder auf dem Förderer 140 platziert. Alternativ kann bzw. können die Kamera(s) 170 Bilder für die Steuerung 150 bereitstellen, die den Griff für das Teil direkt berechnen würde. In jedem Fall erfolgt die Griffgenerierung (Bereitstellung einer Datenbank mit vielen verschiedenen stabilen Griffen) im Voraus. Die Generierung der Datenbank ist der Gegenstand der vorliegenden Offenbarung und wird unten im Einzelnen erörtert.
Einem Roboter beizubringen, ein einzelnes Teil in einem mit Teilen gefüllten Behälter in Echtzeit zu erkennen und zu greifen, war schon immer eine Herausforderung. Um die Geschwindigkeit und die Zuverlässigkeit von robotischen Teileaufnahmevorgängen zu verbessern, ist es bekannt, Griffe für einen spezifizierten Greifer, der ein bestimmtes Teil mit unterschiedlichen Posen greift, im Voraus zu berechnen. Dieses Vorberechnen von Griffen ist als Griffgenerierung bekannt, und die vorberechneten (generierten) Griffe werden dann verwendet, um während der robotischen Teileaufnahmevorgänge in Echtzeit Entscheidungen zu treffen, wie oben in Bezug auf 1 erörtert.
In der Vergangenheit umfassten Griffgenerierungsverfahren das manuelle Lehren von Aufnahmepunkten an bekannten 3D-Merkmalen von Objekten. Diese Verfahren erfordern einen erheblichen Zeitaufwand für den Entwurf von Heuristiken zur Bestimmung der besten Greifposen, und diese von Hand entworfenen Heuristiken liefern möglicherweise keine geeignete Anzahl von Griffen hoher Qualität. Aufgrund der Schwierigkeiten des Lehrens von Griffen unter Verwendung von Heuristiken wurden automatisierte Griffgenerierungsverfahren entwickelt.
Doch haben existierende automatisierte Griffgenerierungsverfahren auch Nachteile. Bei einer bekannten lernbasierten Technik wird eine mathematisch strenge Greifqualität verwendet, um nach Greifkandidaten zu suchen, bevor diese Kandidaten einem Convolutional Neural Network- (CNN) -Klassifikator zugeführt werden, doch ist diese Technik rechenintensiv, und die Lösung ist aufgrund von Vereinfachungen, die in den Berechnungen verwendet werden, möglicherweise in der Praxis nicht optimal. Bei einem anderen Griffgenerierungsverfahren wird auf empirische Versuche zurückgegriffen, um Daten zu sammeln, die realistische Griffe hervorbringen, doch kann dieses Verfahren Zehntausende von Roboterstunden mit komplizierten Kraftkontrollen erfordern, und jeder Wechsel des Greifers erfordert eine Wiederholung des gesamten Prozesses. Noch andere computergestützte Griffgenerierungsverfahren schließen viele Griffe wegen einer „Kollision“ aus, bei der es sich in Wirklichkeit nur um den normalen Kontakt zwischen Teil und Greifer an den Kontaktflächen des Greiferfingers handelt. Allgemein stellen existierende automatisierte Griffgenerierungsverfahren noch keine geeignete Anzahl von Griffen hoher Qualität bereit, die unter realen Bedingungen gut funktionieren.
Die vorliegende Offenbarung beschreibt eine Griffgenerierungstechnik, die automatisch auf jede Kombination der Ausgestaltungen von Greifer und Teil angewendet werden kann und in effizienter Weise eine große Zahl von realistischen Griffen hoher Qualität erzeugt. Bei dem offenbarten Griffgenerierungsverfahren wird eine Optimierungsberechnung mit einer virtuellen Greiferoberfläche verwendet, die Greifkandidaten anpasst, um einen geringfügigen Kontakt beim Greifen zu kompensieren, worauf eine Kollisionskontrolle der angepassten Griffe auf der Basis von vorzeichenbehafteten Distanzfeldern folgt. Die resultierende Griffdatenbank enthält Griffe, die von den Techniken des Stands der Technik unnötigerweise eliminiert würden, doch enthält die Griffdatenbank keine Griffe, bei denen tatsächlich Störungs- oder Kollisionsbedingungen vorliegen. Die Voraberzeugung der Datenbank von Qualitätsgriffen versetzt den Computer 160 oder die Steuerung 150 in die Lage, die Echtzeit-Griffberechnungen schnell und effizient während der tatsächlichen robotischen Pick-and-Place-Vorgänge durchzuführen.
2 ist ein bebildertes Ablaufschaubild 200 von Schritten gemäß einer Ausführungsform der vorliegenden Offenbarung, die in einem Griffgenerierungsprozess enthalten sind, der zum Erstellen einer Datenbank kollisionsfreier Griffe verwendet wird, die in dem robotischen Pick-and-Place-System von 1 verwendet wird.
Zunächst werden ein bestimmtes Teil und ein bestimmter Greifer ausgewählt. Das in 2 und den nachfolgenden Figuren gezeigte Greifermodell ist ein 2-Finger-Parallelgreifer, doch können andere Arten von Greifern verwendet werden, darunter auch Greifer, die ihre Finger öffnen, um ein Objekt zu greifen. Die Greiferfinger umfassen Fingerspitzen mit einer konkaven Form, die so gewählt wird, dass sie dem Teil (dem Wasserleitungsventil) entspricht, das vom Roboter gegriffen wird. Das heißt, dass die Fingerspitzen an vielen verschiedenen Teilen des Wasserventils - wie etwa dem Knebel, dem Anschlusskörper, der Ventilkehle usw. - einen stabilen Griff zustande bringen können. Greifer mit unterschiedlichen Ausgestaltungen der Fingerspitzen können auf der Grundlage der Form des Teils, das gegriffen wird, verwendet werden.
Bei Kasten 210 wird unter Verwendung des Tools für die vorläufige Griffgenerierung für eine gegebene Ausgestaltung von Teil (Werkstück) und Greifer eine große Zahl von Greifkandidaten bereitgestellt. Das Tool für die vorläufige Griffgenerierung kann beispielsweise ein auf Abtastung basierendes Tool oder ein lernbasiertes Tool sein. Jeder Griff in der Menge von Greifkandidaten definiert eine Pose des Greifers (T_gripper) im Koordinatenrahmen des Teils/Werkstücks. Bei einer bevorzugten Ausführungsform umfasst jeder Griff i einen Positionsvektor p_i, einen Rotationsvektor R_i und einen Greiferweitenwert w_i.
Die Griffe in der Menge von Greifkandidaten umfassen viele verschiedene Positionen und Orientierungen des Greifers auf dem Teil. Beispielsweise ist der in den Figuren gezeigte und in der vorliegenden Anmeldung erörterte Greifer ein Parallelfingergreifer mit einem Gehäusekörper, der einen Aktuator und zwei Greiferfinger umfasst, die sich direkt einander gegenüber öffnen und schließen, was den Greiferweitenwert w_i ergibt. Das in den Figuren gezeigte und in der vorliegenden Anmeldung erörterte Teil ist ein Wasserventil mit einem Körper, gegenüberliegenden zylindrischen Öffnungen aus dem Körper und einem Knebel, der mit dem Körper über einen Hals und eine Welle verbunden ist. Die Griffe in der Menge von Greifkandidaten schließen vorzugsweise ein, dass die Greiferfinger den Rand des Knebels aus vielen verschiedenen Winkeln greifen, den Körper mit vielen verschiedenen Orientierungen greifen, jedes zylindrische Ende greifen, den Hals des Ventils greifen usw. Die Anzahl der Greifkandidaten ist als N bestimmt.
Die Griffe in der Menge von Greifkandidaten werden normalerweise nicht im Hinblick auf die Greifqualität oder für die Kollisionskontrolle analysiert - die Greifkandidaten sind lediglich theoretische Posen des Greifers relativ zu dem Teil. Würde die Menge von Greifkandidaten direkt von der Robotersteuerung bei den Tätigkeiten des Roboters verwendet, würden einige der Greifversuche aufgrund der schlechten Greifqualität oder wegen einer Störung zwischen Teil und Greifer fehlschlagen. Daher bedarf es zusätzlicher Schritte, um die Griffe zu verbessern und Kollisionen zu vermeiden, wie im übrigen Teil von 2 dargestellt.
Bei Kasten 220 wird eine Griffoptimierungstechnik verwendet, bei der ein „Abstandsspielraum“ oder eine virtuelle Greiferoberfläche verwendet wird, um das Greifen unter realen Bedingungen realistisch zu simulieren und zugleich einen Kontakt zwischen Teil und Greifer zu vermeiden, der als Störung verstanden werden könnte. Die Griffoptimierungstechnik passt jeden Griff mithilfe des Modells der virtuellen Greiferoberfläche an, indem sie bewirkt, dass jeder Griff im Hinblick auf die Greifqualität optimiert wird, während der Abstandsspielraum zwischen Teil und Greifer belassen wird, der beim Greifen unter realen Bedingungen mühelos durch das Schließen des Greifers und möglicherweise eine geringfügige Zentrierbewegung des Teils ausgeglichen würde. Die Griffoptimierungstechnik von Kasten 220 führt zu einer Datenbank 230 angepasster Griffe, die die angepassten Griffe ${p_{i}^{'}, R_{i}^{'}, w_{i}^{'}}_{i = 1, N}$
enthält. Das heißt, dass die Datenbank 230 angepasster Griffe die gleiche Anzahl von Griffen (N) wie die Menge von Greifkandidaten enthält, wobei jeder Griff in der Datenbank 230 wie oben erörtert geringfügig angepasst ist.
Bei Kasten 240 wird eine Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bei jedem Griff in der Datenbank 230 angepasster Griffe durchgeführt. Durch die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern wird schnell jede Kollision bei den angepassten Griffen in der Datenbank 230 erkannt. Wie oben erwähnt, passt die Griffoptimierung bei Kasten 220 die Griffe an, um den Kontakt der Greiferkontaktflächen mit dem Teil zu optimieren, und die bei der Optimierungsberechnung verwendete virtuelle Greiferoberfläche bewirkt, dass der resultierende Griff einen kleinen Zwischenraum zwischen dem Greifer und dem Teil einschließt. Allerdings können einige der angepassten Griffe in der Datenbank 230 nach wie vor Kollisionen oder Störungen fernab von den Greiferkontaktflächen enthalten, die diese Griffe von der Verwendung bei tatsächlichen Vorgängen zum Greifen von Teilen mit einem Roboter ausschließen. Die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern eliminiert diese Griffe mit Störungen, was zu einer Datenbank 250 kollisionsfreier Griffe führt. Die Datenbank 250 kollisionsfreier Griffe enthält die Griffe ${p_{j}^{'}, R_{j}^{'}, w_{j}^{'}}_{i = 1, M} .$
Das heißt, dass die Datenbank 250 kollisionsfreier Griffe eine Teilmenge (M) der Griffe aus der Datenbank 230 angepasster Griffe enthält.
Die Griffoptimierungstechnik von Kasten 220 und die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern von Kasten 240 werden unten in Verbindung mit 3 beziehungsweise 5 im Einzelnen erörtert.
3 ist eine Darstellung gemäß einer Ausführungsform der vorliegenden Offenbarung der Details einiger der Schritte in dem Griffgenerierungsprozess von 2, der einen Schritt des Optimierens zur Griffanpassung unter Verwendung virtueller Greiferoberflächen beinhaltet, um eine gewünschte Greiferpositionierung relativ zu einem Teil zu erreichen. Bei Kasten 300 werden CAD-Modelle eines Greifers 302 und eines Teils (Werkstück) 304 bereitgestellt. Die CAD-Modelle sind üblicherweise Volumenmodelle, doch können sie auch Oberflächenmodelle sein, die die komplette 3D-Oberflächengeometrie enthalten, wie für einen Fachmann ersichtlich ist. Die Mechanisierungskinematik des Greifers 302 wird ebenfalls bei Kasten 300 bereitgestellt; im Fall des Parallelfingergreifer umfasst dies das Definieren der Positionen/Geometrie der Fingerelemente des Greifers 302 im Hinblick auf die Greiferweite w.
Bei Kasten 310 werden Greifkandidaten ${p_{i}, R_{i}, w_{i}}_{i = 1, N}$
bereitgestellt. Dies ist die Menge von Greifkandidaten, die bei Kasten 210 der oben erörterten 2 bereitgestellt wird. Die Menge von Greifkandidaten enthält in der Regel viele Hunderte oder Tausende von Greifkandidaten. Jeder Greifkandidat i (i = 1, N) beinhaltet einen Positionsvektor p_i (drei Positionen; x, y, z) und einen Rotationsvektor R_i (drei Drehungen, wie etwa Gieren, Nicken und Rollen) des Greifers 302 in Bezug auf das Teil 304 mitsamt einer Greiferweite w_i. Im Kasten 310 wird das Teil 304 bei jedem Griff als Punktwolke dargestellt. Die Punktwolken-Darstellung des Teils 304 kann mühelos aus dem CAD-Volumenmodell erstellt werden, wie für einen Fachmann ersichtlich ist.
Bei Kasten 320 wird ein „Abstandsspielraum“ für Kontaktflächen des Greifers 302 geschaffen. Der Zweck des Abstandsspielraums besteht darin, jeden Griff so anzupassen, dass der Greifer ein bisschen weiter geöffnet wird, als für den tatsächlichen Kontakt mit der Teileoberfläche nötig wäre. Dies geschieht, damit der resultierende Griff in einem späteren Schritt nicht als Griff mit einer Störung zwischen Teil und Greifer identifiziert (und folglich verworfen) wird. Der Abstandsspielraum wird realisiert, indem virtuelle Greiferoberflächen definiert werden, die mit einem „Polster“ geringer Dicke, wie etwa 1 bis 2 mm, gegenüber den tatsächlichen Greiferkontaktflächen versehen werden, wie in der nachfolgenden Erörterung beschrieben wird.
Im Kasten 320 werden eine 2D-Querschnittsdarstellung eines Teils 330 und Greiferfinger 340A/340B gezeigt. Das Teil 330 und die Greiferfingerkontaktflächen 340A/340B stellen das Teil und den Greifer im Kasten 300 dar. Zur deutlicheren Darstellung wird im Kasten 320 und danach in dieser 3 eine vereinfachte 2D-Querschnittsgeometrie verwendet. Die Greiferfingerkontaktflächen 340A/340B sind die Kontaktflächen der zwei gegenüberliegenden Finger des Parallelfingergreifers von Kasten 300. Zusätzlich zu den Greiferfingerkontaktflächen 340A/340B (die die tatsächlichen Greiferfingerkontaktflächen sind) sind die virtuellen Greiferkontaktflächen 342A/342B dargestellt. Die virtuellen Greiferkontaktflächen 342A/342B werden unter Verwendung des Abstandsspielraums definiert, der beispielsweise einen Wert von 1 bis 2 mm von den Greiferfingerkontaktflächen 340A/340B haben kann, wie oben erörtert. Der Abstandsspielraum erstreckt sich in die Richtung, in die sich die Greiferfinger bewegen, wenn sie ein Objekt greifen. Die virtuellen Greiferkontaktflächen 342A/342B können auch so definiert werden, dass sie geringfügig länger als die Greiferfingerkontaktflächen 340A/340B sind, um einen Abstandsspielraum in einer seitlichen Richtung quer zum Greiferfinger (nicht nur in der Öffnungs-/Schließrichtung) zu erzeugen.
Bei Kasten 350 wird eine Griffoptimierungsberechnung unter Verwendung der virtuellen Greiferkontaktflächen 342A/342B durchgeführt. Das Ergebnis der Optimierungsberechnung bei jedem Griff ist ein angepasster Griff, der eine optimierte Greifqualität aufweist, während ein kleiner Abstandsspielraum zwischen dem Greifer und dem Teil vorgesehen wird, damit der Griff bei der späteren Berechnung des vorzeichenbehafteten Distanzfelds nicht fälschlicherweise als eine Kollision aufweisend eliminiert wird.
In der wird der Querschnitt des Teils 330 mitsamt der Greiferfingerkontaktfläche 340A und der virtuellen Greiferkontaktfläche 342A gezeigt. In der werden die tatsächliche und die virtuelle Kontaktfläche aus Gründen der Einfachheit nur für einen der Greiferfinger (linke Seite) gezeigt; das gleiche Konzept gilt für den gegenüberliegenden Greiferfinger. Die Greiferfingerkontaktfläche 340A und die virtuelle Greiferkontaktfläche 342A werden in der in ihrer „anfänglichen“ Position oder Anordnung gezeigt. Das heißt, dass sich die Greiferfingerkontaktfläche 340A in der Greifposition bezogen auf das Teil 330 befindet, wie sie von dem Greifkandidat aus Kasten 310 definiert wird, der optimiert werden soll.
Die anfängliche Anordnung könnte eine beliebige der in Kasten 310 gezeigten Beispiele sein, oder eine der vielen Hunderten von anderen Greifkandidaten. Ausgehend von der in der gezeigten anfänglichen Anordnung wird eine Optimierungsberechnung durchgeführt, um den Griff des Greifers am Teil 330 anzupassen. Die Optimierungsberechnung (unten erörtert) resultiert in einem angepassten Griff.
Bei der Optimierungsberechnung werden die virtuellen Greiferkontaktflächen 342A/342B zur Repräsentation des Greifers verwendet, wodurch sowohl die Greifqualität optimiert wird als auch die Greiferfingerkontaktflächen 340A/340B weg von dem Teil 330 „geschoben“ werden. Der Abstandsspielraum der virtuellen Greiferkontaktflächen 342A/342B stellt sicher, dass es weder zu einer Durchdringung noch zu einem Kontakt zwischen den Greiferfingerkontaktflächen 340A/340B und dem Teil 330 kommt, sodass der angepasste Griff in einem späteren Schritt nicht mit einer falsch positiven Störung zwischen Teil und Greifer gekennzeichnet wird.
Im Folgenden wird ein Beispiel der Griffoptimierungsberechnung erörtert, die bei Kasten 350 verwendet werden kann. Es können andere Griffoptimierungsformulierungen, mit denen ein stabiler Griff zwischen Greiferkontaktflächen und einem Teil berechnet werden kann, verwendet werden, wie für einen Fachmann ersichtlich ist. Die Griffoptimierungsberechnung geht von einem der Greifkandidaten aus, der eine Pose des Greifers (T_gripper) im Koordinatenrahmen des Teils/Werkstücks 330 ist, die die Position p und die Orientierung R der Greiferfingerkontaktflächen 340A/340B bezogen auf das Teil 330 mitsamt einer Greiferweite w beinhaltet. Zur Optimierungsberechnung werden die virtuellen Greiferkontaktflächen 342A/342B anstelle der Greiferfingerkontaktflächen 340A/340B verwendet. Wie in der im Kasten 350 gezeigt, werden die virtuellen Greiferkontaktflächen 342A/342B anfangs das Teil 330 durchdringen (stören).
Ein Punktmenge pt_i wird unter Verwendung einer beliebigen geeigneten Abtastdichte auf den Oberflächen der virtuellen Greiferkontaktflächen 342A/342B festgelegt. Einer der Abtastpunkte pt_i auf der virtuellen Greiferkontaktfläche 342A wird bei 366 in der gezeigt. Auch auf der Oberfläche des Teils 330 werden Abtastpunkte festgelegt. Aus Gründen der Klarheit ist 3 eine 2D-Querschnittsdarstellung. Doch bei der tatsächlichen Optimierungsberechnung sind die Oberflächen der virtuellen Greiferkontaktflächen 342A/342B und des Teils 330 allesamt dreidimensional, wie es die Koordinaten der Abtastpunkte pt_i sind.
Für jeden der Punkte pt_i auf den virtuellen Greiferkontaktflächen 342A/342B wird ein nächstgelegener Nachbarpunkt auf der Oberfläche des Teils 330 bestimmt. Der nächstgelegene Nachbarpunkt wird durch Berechnen des kürzesten 3D-Abstands von dem Punkt pt_i zu einem Abtastpunkt auf der Oberfläche des Teils 330 in einer im Stand der Technik bekannten Weise bestimmt. Ausgehend von den Punkten pt_i auf den virtuellen Greiferkontaktflächen 342A/342B und den entsprechenden nächstgelegenen Nachbarpunkten wird eine Optimierungsschleife verwendet, um die Translation, die Rotation und die Öffnungsweite des Greifers zu aktualisieren, sodass die Greifqualität verbessert und die Störung verringert wird. Da die virtuellen Greiferkontaktflächen 342A/342B das Teil 330 anfangs durchdringen (stören) werden, führt die erste Iteration der Optimierungsberechnung zu einer Strafe wegen Verletzung der Nebenbedingungen, durch die die virtuellen Greiferkontaktflächen 342A/342B weg vom Teil 330 „geschoben“ werden, insbesondere durch Erhöhung der Greiferweite w.
Zur Berechnung stabiler Griffe werden bei der Optimierungsmodellierung Oberflächenkontakte (unter Verwendung der Punkte pt_i und ihrer nächstgelegenen Nachbarn) und strenge mathematische Qualität angewandt. Eine Kollision zwischen Greifer und Teil wird bei der Optimierung bestraft, um eine Durchdringung zu verhindern, wie oben erwähnt. In der gesamten Erörterung der Optimierungsberechnung werden die virtuellen Greiferkontaktflächen 342A/342B, wie sie durch die Punkte pt_i definiert werden, als S^f bezeichnet, während die Oberfläche des Teils (oder „Objekts“) (alle Abtastpunkte und insbesondere die nächstgelegenen Nachbarpunkte) als S° bezeichnet wird.
Jede Iteration der Optimierungsberechnung führt zu einer Bewegung der virtuellen Greiferkontaktflächen 342A/342B, die in Form einer Transformation T definiert ist, die eine Translationstransformation Δp, eine Rotationstransformation ΔR und eine Greiferweitentransformation Δw umfasst. Beispielsweise bewirkt die erste Iteration, dass sich die virtuellen Greiferkontaktflächen 342A/342B von der bei 360 gezeigten anfänglichen Anordnung zu einer darauffolgenden intermediären Anordnung (nicht dargestellt) bewegen, in der die nächstgelegenen Nachbarpunkte auf dem Teil 330 erneut bestimmt werden, und es wird eine weitere Optimierungsiteration durchgeführt.
Die Optimierungsformulierung wird unten als die Gleichungen (1a)-(1d) bereitgestellt und in den folgenden Absätzen erörtert. $max_{Δ p, Δ R, Δ w, S^{ƒ}, S^{o}} Q_{g} (S^{ƒ}, S^{o})$
$s o, d a s s S^{ƒ} \subset T (\partial F; Δ p, Δ R, Δ w)$
$d i s t (T (\partial F; Δ p, Δ R, Δ w),0) \geq 0$
$(Δ p, Δ R, Δ w) \in X$
Die Optimierungsformulierung beinhaltet eine Zielfunktion (Gl. 1a), die so definiert ist, dass die Greifqualität Q_g maximiert wird, wobei die Greifqualität Q_g eine Funktion der Kontaktflächen S^f und S° ist. Die Greifqualität Q_g kann in jeder geeigneten Weise definiert werden. Bei einer repräsentativen Ausführungsform ist die Greifqualität Q_g das Negativum des Gesamtabstands zwischen den Punkten pt_i auf den virtuellen Greiferkontaktflächen S^f und den zugeordneten nächstgelegenen Nachbarpunkten NN auf der Objektoberfläche S°. In praktischer Hinsicht ist ein Griff guter Qualität stabil, wenn jede geringfügige Bewegung des Teils 330 im Greifer schnell durch Reibungs- und/oder Normalkräfte gestoppt wird und nicht zu Griffverlust führt.
Die Optimierungsformulierung beinhaltet eine Nebenbedingungsfunktion (Gl. 1b), die die virtuelle Greiferkontaktfläche S^f in Form der Transformationen (Δp, ΔR, Δw) definiert. Eine Nebenbedingungsfunktion (Gl. 1c) schreibt vor, dass die transformierte virtuelle Kontaktfläche (T(∂F;Δp, ΔR, Δw)) das Objekt O nicht durchdringen sollte; das heißt, dass der Abstand größer oder gleich null sein sollte. Diese Nebenbedingung bewirkt das „Verschieben“ der virtuellen Greiferkontaktflächen 342A/342B weg von dem Teil 330, wie oben beschrieben. Die Gleichung (1d) gibt schließlich an, dass die Transformationen T (Δp, ΔR, Δw) Elemente der realisierbaren Menge X von Transformationen sind (bei einer Ausführungsform können Δp und ΔR einen beliebigen Wert innerhalb festgelegter Bereiche haben und wird Δw durch den Greifbereich begrenzt, der im Greifermodell von Kasten 300 definiert ist).
Die Nebenbedingungsfunktionen der oben beschriebenen Gleichungen (1b)-(1c) finden bei Strafmethoden Berücksichtigung, wobei die Verletzungen der Nebenbedingungen bei der Berechnung der Greifqualität als Verlustfunktion behandelt werden. Das heißt, je größer die Verletzungen der Nebenbedingungen sind, desto größer ist die Verlustfunktion und desto geringer ist die Greifqualität. Indem Nebenbedingungen in die Kosten gegen die Greifqualität gesetzt werden, kann die Optimierungsformulierung mit der Methode der kleinsten Quadrate gelöst werden.
Eine einschrittige Berechnung nach der Methode der kleinsten Quadrate mithilfe linearer Algebra wird an der Optimierungsformulierung der Gleichungen (1a)-(1d) durchgeführt, um die Transformationen T(Δp, ΔR, Δw) zu bestimmen, die die Greiferfinger in eine Richtung einer verbesserten Greifqualität bewegen und zugleich die Durchdringung der virtuellen Greiferkontaktflächen 342A/342B mit dem Teil 330 verringern/eliminieren. Dieser Prozess wird wiederholt, bis die Greifposition gegen eine lokale höchste Greifqualität konvergiert, bei der die Durchdringung der virtuellen Greiferkontaktflächen 342A/342B mit dem Teil 330 minimiert oder eliminiert ist.
In der wird der Querschnitt des Teils 330 mitsamt der Greiferfingerkontaktfläche 340A und der virtuellen Greiferkontaktfläche 342A gezeigt, wobei die Greiferfingerkontaktfläche 340A und die virtuelle Greiferkontaktfläche 342A in der in ihrer „angepassten“ Position nach der Optimierungskonvergenz gezeigt werden. Das heißt, dass sich die Greiferfingerkontaktfläche 340A in der Greifposition relativ zu dem Teil 330 nach der Optimierungsberechnung befindet, durch die sowohl die Greifqualität optimiert als auch die Greiferfingerkontaktfläche 340A weg vom Teil 330 „geschoben“ wird. Der Abstandsspielraum der virtuellen Greiferkontaktfläche 342A stellt sicher, dass keine Durchdringung und kein Punkt-zu-Punkt-Kontakt zwischen der Greiferfingerkontaktfläche 340A und dem Teil 330 vorliegt, sodass in einem späteren Schritt bestimmt werden kann, dass der angepasste Griff kollisionsfrei ist (zumindest im Bereich der Greiferkontaktflächen).
Nachdem die Konvergenz gegen einen angepassten Qualitätsgriff bei einem der Greifkandidaten hergestellt wurde, wird der Prozess mit einer neuen anfänglichen Anordnung (d.h. mit einem anderen der Greifkandidaten) wieder von vorn begonnen. Diese Griffoptimierungsberechnung wird für jeden der Greifkandidaten ausgehend von Kasten 310 durchgeführt, was in einer Menge angepasster Griffe bei Kasten 370 resultiert. Die Menge angepasster Griffe in Kasten 370, die zuvor bezugnehmend auf 2 erörtert wurde, wird als ${p_{i}^{'}, R_{i}^{'}, w_{i}^{'}}_{i = 1, N}$
dargestellt - wobei der Hochstrich (') angibt, dass jeder Griff i angepasst wurde, und es wird darauf hingewiesen, dass die Anzahl der angepassten Griffe N gleich der Anzahl der Greifkandidaten ist. Das heißt, dass beim Optimierungsprozess von Kasten 350 kein Griff eliminiert wurde.
Bei Kasten 380 wird eine Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bei jedem der N angepassten Griffe im Kasten 370 durchgeführt. Bei der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern wird bestimmt, ob es nach der Anpassung der Griffe zu einer Kollision zwischen dem Teil und dem Greifer kommt. Bei der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern wird auf Kollisionen zwischen dem ganzen Teil 330 und irgendeinem Teil des Greifers - nicht nur den Greiferfingerkontaktflächen - geprüft. Jeder angepasste Griff wird mithilfe der Berechnung des vorzeichenbehafteten Distanzfelds bewertet; kollisionsfreie Griffe (im Kasten 390 mit ✓ gekennzeichnet) werden beibehalten und Griffe, bei denen es zu irgendeiner Kollision zwischen Teil und Greifer kommt (mit × gekennzeichnet), werden verworfen.
Im Kasten 390 liegt bei dem einen angepassten Griff, der verworfen wird (mit × gekennzeichnet), eine Störung fernab der Greiferfingeroberflächen vor. Im Einzelnen kommt es zu einer Störung zwischen dem Ventilgriff und einem Teil eines Greiferfingers an einer Stelle in der Nähe des Greiferaktuatorkörpers. Diese Störung wird bei der Optimierungsberechnung von Kasten 350 nicht berücksichtigt, weil bei der Optimierung nur die Greiferfingerkontaktflächen berücksichtigt werden. Die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern wird eben aus diesem Grund bei Kasten 380 so angewendet, dass durch die Optimierungsberechnung die Greifqualität optimiert werden kann und zugleich ein kleiner Abstandsspielraum zwischen den Greiferfingerkontaktflächen und dem Teil vorgesehen wird, und durch die Berechnung des vorzeichenbehafteten Distanzfelds kann anschließend jede Störung entdeckt werden, die durch die Greifpose insgesamt verursacht wird.
Eine endgültige Menge kollisionsfreier Griffe wird bei Kasten 390 bereitgestellt. Die Einzelheiten der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern von Kasten 380 werden später mit Bezug auf 5 erörtert. Die endgültige Menge kollisionsfreier Griffe im Kasten 390, die zuvor bezugnehmend auf 2 erörtert wurde, wird als ${p_{j}^{'}, R_{j}^{'}, w_{j}^{'}}_{j = 1, M}$
dargestellt - wobei darauf hingewiesen wird, dass die Anzahl kollisionsfreier Griffe M kleiner als die Anzahl angepasster Griffe N ist, weil einige Griffe verworfen wurden, wie im Kasten 390 von 3 angegeben.
Folgendes sind die Vorteile des in 3 dargestellten Griffgenerierungsverfahrens:

• Bei der Optimierungsberechnung von Kasten 350 werden nur die Greiferfingerkontaktflächen berücksichtigt; so können die angepassten Griffe bei der Optimierungsberechnung viel schneller berechnet werden, als wenn, wie bei Verfahren des Stands der Technik, die Gesamtheit aus Greiferfingern und -körper berücksichtigt wird.
• Bei der Optimierungsberechnung werden die virtuellen Greiferkontaktflächen 342A/342B verwendet, was in angepassten Griffen mit einem kleinen Abstandsspielraum zwischen den tatsächlichen Greiferfingerkontaktflächen 340A/340B und dem Teil 330 resultiert.
• Die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern von Kasten 380 (Einzelheiten werden unten erörtert) ist eine sehr effiziente Berechnung, durch die alle angepassten Griffe erkannt und verworfen werden, bei denen eine Störung zwischen dem Greifer (in seiner Gesamtheit) und dem Teil 330 vorliegt.
• Die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern führt nicht zu falsch positiven Kollisionen im Bereich der Greiferfingerkontaktflächen, weil die angepassten Griffe den kleinen Abstandsspielraum beinhalten.

4 ist eine Darstellung einer allgemeinen Methode zur Berechnung des vorzeichenbehafteten Distanzfelds, die eine Störung zwischen einem ersten Objekt und einem zweiten Objekt angibt, wie aus dem Stand der Technik bekannt. Die Vorzeichenbehaftetes-Distanzfeld-Gitter 410A und 41 0B in der links repräsentieren linke und rechte Greiferfinger im Kontext der vorliegenden Erörterung. Ein Objekt 420 repräsentiert ein Teil, das von den Greiferfingern gegriffen werden soll, wobei das Objekt 420 durch ein Oberflächenpunktnetz definiert ist. Die Vorzeichenbehaftetes-Distanzfeld-Gitter 410A und 410B und das Objekt 420 werden in einer Anordnung gezeigt, bei der die Vorzeichenbehaftetes-Distanzfeld-Gitter 410A und 410B entsprechend einem bestimmten Griff relativ zu dem Objekt 420 angeordnet sind. 4 ist aus Gründen der zeichnerischen Klarheit eine 2D-Darstellung, aber es versteht sich, dass das Oberflächenpunktnetz des Objekts 420 und die Vorzeichenbehaftetes-Distanzfeld-Gitter 410A und 410B bei einer tatsächlichen Berechnung für die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern alle dreidimensional sind.
In der rechts werden die Vorzeichenbehaftetes-Distanzfeld-Gitter 410A und 410B ohne das Objekt 420 gezeigt. Die Vorzeichenbehaftetes-Distanzfeld-Gitter 410A und 410B wurden schraffiert (mit Schraffurlinien), um die Belegung der Gitterzelle durch das Objekt 420 kenntlich zu machen. Das Bezugszeichen 432 bezeichnet eine Gruppe von sechs Gitterzellen (schraffiert), die von dem Objekt 420 belegt werden. In der links ist leicht zu sehen, dass ein Teil (ein oder mehr Punkte des Oberflächenpunktnetzes) des Objekts 420 in die sechs bei 432 angegebenen Gitterzellen fällt. Gleichermaßen bezeichnet das Bezugszeichen 434 eine Gruppe von elf Gitterzellen (schraffiert), die von dem Objekt 420 (dem Nasenabschnitt des Hasen) belegt werden, und das Bezugszeichen 436 bezeichnet eine Gruppe von sieben Gitterzellen (schraffiert), die von dem Objekt 420 (einem der Ohren des Hasen) belegt werden.
Um die Belegung (ja/nein) jeder Gitterzelle zu bestimmen, wird der Abstand von jeder Gitterzelle zum nächstgelegenen Punkt auf dem Objekt 420 berechnet. Gitterzellen mit einem Abstand größer als null sind nicht belegt (in der nicht schraffiert), und Gitterzellen mit einem Abstand kleiner oder gleich null sind belegt (schraffiert). Das einfache bildliche Beispiel von 4 veranschaulicht das Konzept der Zellenbelegung bei einem Vorzeichenbehaftetes-Distanzfeld-Gitter, das bei Kasten 380 von 3 zur Anwendung kommt und unten im Einzelnen beschrieben wird.
5 ist eine Darstellung gemäß einer Ausführungsform der vorliegenden Offenbarung der Details einer auf einem vorzeichenbehafteten Distanzfeld basierenden Methode zur Kollisionsprüfung, die in dem Griffgenerierungsprozess der 2 und 3 verwendet wird, um Griffe zu eliminieren, bei denen es nach der Griffanpassung zu einer Störung zwischen Teil und Greifer kommt. Wie oben erörtert, wird die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bei Kasten 380 bei jedem der angepassten Griffe von Kasten 370 durchgeführt. Dieser Prozess wird für einen bestimmten Griff in der Erörterung von 5 beschrieben.
Bei Kasten 510 wird einer der angepassten Griffe von Kasten 370 bereitgestellt. Ein Greifer 512 ist in der Form eines CAD-Modells dargestellt und ein Objekt oder Teil 514 ist in Form einer Punktwolke dargestellt. Der Griff ist als die Pose des Greifers 512 (T_gripper) im Koordinatenrahmen des Teils 514 definiert. Bei Kasten 520 wird ein Vorzeichenbehaftetes-Distanzfeld-Gitter 522 für den Greifer 512 generiert. Die Generierung des Vorzeichenbehaftetes-Distanzfeld-Gitters 522 erfolgt nur einmal in einem Offline-Prozess für die gesamte zu bewertende Menge angepasster Griffe. Anders gesagt hat die Generierung des Vorzeichenbehaftetes-Distanzfeld-Gitters 522 keinen Einfluss auf die Rechenzeit, die zum Bewerten aller angepassten Griffe von Kasten 370 benötigt wird. Das Vorzeichenbehaftetes-Distanzfeld-Gitter 522 ist ein 3D-Gitter von Volumenelementen wie Hexaeder, die quaderförmig oder kubisch sein können. Die Größen der Gitterelemente können je nach Lage variieren, um Genauigkeitsanforderungen zu erfüllen - wie z.B. eine Größe der Gitterkante von 3 mm im Körper-/Aktuatorabschnitt des Greifers und eine Größe der Gitterkante von 0,3 mm bei den Greiferfingern.
Bei Kasten 530 wird der erste Schritt der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern für das bestimmte Teil durchgeführt. Ein Teil 534 ist in Form eines CAD-Modells dargestellt. Bei Kasten 530 wird das Teil 534 in den Koordinatenrahmen des Greifers transponiert, indem der Kehrwert des Griffs T_gripper verwendet wird. Das heißt, dass das Teil 534 mit $T_{g r i p p e r}^{- 1}$
transponiert wird, was ein Teil 544 (ebenfalls in Form einer Punktwolke dargestellt) im Koordinatenrahmen des Greifers ergibt.
Bei Kasten 550 wird der zweite Schritt der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern für den bestimmten Griff durchgeführt, bei dem das Teil 544 im Koordinatenrahmen des Greifers zusammen mit dem Vorzeichenbehaftetes-Distanzfeld-Gitter 522 für den Greifer 512 verwendet wird. Das Vorzeichenbehaftetes-Distanzfeld-Gitter 522 ist in Form eines 3D-Gitterraums (i,j, k) definiert. Für jeden Punkt 544_n in der Punktwolke des Teils 544 (die mehrere tausend Punkte umfassen kann, insbesondere auf der Oberfläche des Teils) werden die kartesischen Koordinaten des Punkts in den Gitterraum (i,j, k) umgesetzt. Wenn der Punkt 544_n Gitterindizes (i, j, k) hat, die vollständig außerhalb des Vorzeichenbehaftetes-Distanzfeld-Gitters 522 liegen, dann ist der Punkt 544_n weit vom Greifer 512 entfernt, und der Prozess geht zur Kontrolle des nächsten Punkts 544_m in der Punktwolke des Teils 544 über.
Wenn der Punkt 544_n Gitterindizes (i, j, k) hat, die innerhalb der Gesamtgrenzen des Vorzeichenbehaftetes-Distanzfeld-Gitters 522 liegen, dann weiß man, dass der Punkt 544_n entweder in der Nähe des Greifers 512 liegt oder sich mit dem Greifer 512 überlagert. In diesem Fall wird das Vorzeichen des Abstands zum nächstgelegenen Gitter (SDF(i,j, k)) unter Verwendung bekannter 3D-Abstandsberechnungen kontrolliert. Wenn SDF(i,j, k) > 0, dann liegt bei dem Punkt 544_n keine Kollision mit dem Greifer 512 vor, und der Prozess geht zur Kontrolle des nächsten Punkts 544_m über. Wenn SDF(i,j, k) < 0, dann liegt bei dem Punkt 544_n eine Kollision mit dem Greifer 512 vor, was bedeutet, dass das Teil 514 den Greifer 512 überlagert.
Wenn bei einem bestimmten Griff (von den angepassten Griffen von Kasten 370) alle Punkte in der Punktwolke des Teils 544 einen Vorzeichenbehaftetes-Distanzfeld-Wert größer null haben, dann wird bestimmt, dass der Griff kollisionsfrei ist, und der Griff wird in die endgültige Menge kollisionsfreier Griffe im Kasten 390 aufgenommen.
Wenn bei einem bestimmten Griff einer der Punkte in der Punktwolke des Teils 544 einen Vorzeichenbehaftetes-Distanzfeld-Wert kleiner null hat, dann wird bestimmt, das bei dem Griff eine Störung zwischen Teil und Greifer vorliegt, und der Griff wird nicht in die endgültige Menge kollisionsfreier Griffe im Kasten 390 aufgenommen. In diesem Fall wird der kleinste Abstandswert (größte Durchdringung) verzeichnet und der entsprechende Objektpunkt grafisch angezeigt, damit ein Benutzer verstehen kann, warum der bestimmte Griff wegen einer Störung zwischen Teil und Greifer verworfen wurde.
Der in 5 dargestellte und oben beschriebene Prozess wird für jeden Griff der angepassten Griffe von Kasten 370 durchgeführt, und die endgültige Menge von Griffen im Kasten 390 enthält nur die angepassten Griffe, von denen bestimmt wurde, dass sie kollisionsfrei sind. Die endgültige Menge von Griffen im Kasten 390 steht dann zur Verwendung durch einen Roboter für einen Pick-and-Place-Vorgang wie in 1 dargestellt zur Verfügung.
Die in den 2, 3 und 5 veranschaulichte Griffgenerierungstechnik wurde an einer Vielzahl realer Teile demonstriert, um eine Datenbank von Griffen hoher Qualität zu erstellen - einschließlich einer großen Vielfalt von Greifpositionen an dem Teil und von Greifannäherungsrichtungen, während Störungen zwischen Teil und Greifer eliminiert wurden. Es wurde auch nachgewiesen, dass die berechnete Griffdatenbank die schnelle und effektive Bestimmung von Griffen bei einem robotischen Greifsystem des in 1 gezeigten Typs ermöglicht.
Die oben erörterte Griffgenerierungstechnik bietet mehrere Vorteile gegenüber existierenden Verfahren. Die offenbarten Verfahren bieten Full-DoF-Griffe hoher Qualität mit Oberflächenkontakten, die gegenüber Unsicherheiten und Störungen robust sind. Das Griffgenerierungsverfahren umfasst eine Griffoptimierung, die nur mit Greiferkontaktflächen modelliert wird, wodurch eine viel schnellere Berechnung als mit auf der gesamten Geometrie basierenden Optimierungsverfahren aus dem Stand der Technik geboten wird. Bei dem offenbarten Verfahren wird die Griffoptimierung durchgeführt, indem die virtuelle Greiferoberfläche verwendet wird, um einen Abstandsspielraum bereitzustellen, wodurch falsche Kollisionswarnungen bei den anschließenden Berechnungen des vorzeichenbehafteten Distanzfelds vermieden werden. Außerdem sorgt die Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern für die schnelle und effiziente Erkennung von tatsächlichen Bedingungen einer Störung zwischen Teil und Greifer, die an Stellen vorliegen, die von der beabsichtigten Greiferkontaktflächenschnittstelle mit dem Teil entfernt sind.
In der gesamten vorstehenden Erörterung werden verschiedene Computer und Steuerungen beschrieben und vorausgesetzt. Es versteht sich, dass die Softwareanwendungen und -module dieser Computer und Steuerungen auf einer oder mehreren Rechenvorrichtungen ausgeführt werden, die einen Prozessor und ein Speichermodul haben. Hierzu gehört insbesondere ein Prozessor in der Robotersteuerung 150, die den Roboter 100 steuert, der das Greifen des Objekts ausführt, und in dem Computer 160, der die Griffgenerierungsberechnungen durchführt. Wie oben erörtert wurde, kann entweder die Steuerung 150 oder der Computer 160 dazu eingerichtet sein, Objekte zum Greifen bei Echtzeitvorgängen zu identifizieren.
Zwar wurde oben eine Reihe beispielhafter Aspekte und Ausführungsformen der Verfahren zur Behandlung von Kollisionen bei der Griffgenerierung für Roboter erörtert, doch erkennt der Fachmann Modifikationen, Permutationen, Hinzufügungen und Unterkombinationen hiervon. Es ist daher beabsichtigt, dass die folgenden beigefügten Patentansprüche und hiernach eingeführten Patentansprüche so ausgelegt werden, dass sie alle Modifikationen, Permutationen, Hinzufügungen und Unterkombinationen einschließen, die ihrem wahren Geist und Umfang entsprechen.

Claims

Verfahren zum Generieren einer Datenbank kollisionsfreier Griffe zur Verwendung durch ein robotisches Greifsystem, wobei das Verfahren umfasst: Bereitstellen eines Objektmodells, das dreidimensionale (3D) Formdaten für ein zu greifendes Objekt umfasst, und eines Greifermodells, das 3D-Formdaten und Fingerkinematiken für einen Greifer umfasst; Bereitstellen einer Datenbank von Kandidaten für einen Griff des Greifers am Objekt; Definieren einer virtuellen Greiferkontaktfläche, die auf der Grundlage eines vorgegebenen Abstandsspielraums zu einer Greiferfingerkontaktfläche auf jedem Finger des Greifers versetzt ist; Ausführen unter Verwendung eines Computers mit einem Prozessor und einem Speicher einer Griffoptimierung bei jedem Greifkandidaten, um eine Datenbank angepasster Griffe zu erstellen, wobei die Griffoptimierung unter Verwendung der virtuellen Greiferkontaktflächen und einer Punktwolkendarstellung des Objektmodells einen Greifqualitätswert maximiert; Ausführen einer Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bei jedem der angepassten Griffe unter Verwendung der Punktwolkendarstellung des Objektmodells und eines Vorzeichenbehaftetes-Distanzfeld-Gitters des Greifers; und Bereitstellen der Datenbank kollisionsfreier Griffe, die jeden der angepassten Griffe enthält, von dem bei der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bestimmt wird, dass er kollisionsfrei ist.
Verfahren nach Anspruch 1, wobei die virtuelle Greiferkontaktfläche zur Greiferfingerkontaktfläche in einer Richtung versetzt ist, in die sich jeder Greiferfinger beim Greifen eines Objekts bewegt.
Verfahren nach Anspruch 1, ferner umfassend die Verwendung der Datenbank kollisionsfreier Griffe bei realen robotischen Tätigkeiten zum Identifizieren eines aus einem Behälter mit Objekten zu greifenden Zielobjekts, umfassend das Identifizieren des Zielobjekts durch Abbilden von Griffen aus der Datenbank kollisionsfreier Griffe auf anhand von Kamera- oder Sensordaten geschätzte Objektposen und Bereitstellen von Zielobjekt-Greifdaten für eine Robotersteuerung, die einen mit dem Greifer ausgerüsteten Roboter anweist, das Zielobjekt zu greifen und zu bewegen.
Verfahren nach Anspruch 1, wobei jeder Greifkandidat, jeder angepasste Griff und jeder kollisionsfreie Griff eine Pose des Greifers in einem Koordinatenrahmen des Objekts definiert.
Verfahren nach Anspruch 4, wobei die Pose des Greifers im Koordinatenrahmen des Objekts drei Positionen und drei Drehungen sowie eine Greiferweite umfasst.
Verfahren nach Anspruch 1, wobei die Griffoptimierung durch Festlegen von Abtastpunkten auf den virtuellen Greiferkontaktflächen und der Punktwolkendarstellung des Objektmodells formuliert wird, die einen nächstgelegenen Nachbarpunkt auf dem Objekt in Übereinstimmung mit jedem der Abtastpunkte auf den virtuellen Greiferkontaktflächen umfassen.
Verfahren nach Anspruch 1, wobei die Griffoptimierung eine Zielfunktion, die gegen eine lokal optimale Greifqualität konvergiert, die auf der Grundlage eines Gesamtabstands zwischen jedem Abtastpunkt auf den virtuellen Greiferkontaktflächen und seinem entsprechenden nächstgelegenen Nachbarpunkt auf dem Objekt definiert wird, und eine Nebenbedingungsgleichung beinhaltet, die ein Eindringen der virtuellen Greiferkontaktflächen in das Objekt bestraft.
Verfahren nach Anspruch 7, wobei die Griffoptimierung unter Verwendung der virtuellen Greiferkontaktflächen in einem angepassten Griff resultiert, bei dem die Greiferfingerkontaktflächen um den Abstandsspielraum vom Objekt beabstandet sind.
Verfahren nach Anspruch 1, wobei das Ausführen der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern das Transformieren der Punktwolkendarstellung des Objektmodells in einen Koordinatenrahmen des Vorzeichenbehaftetes-Distanzfeld-Gitters des Greifers unter Verwendung eines Kehrwerts einer Pose, die den angepassten Griff definiert, umfasst.
Verfahren nach Anspruch 9, wobei das Ausführen der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern das Bestimmen umfasst, dass der angepasste Griff kollisionsfrei ist, wenn kein Punkt in der Punktwolkendarstellung des Objektmodells in einer Gitterzelle des Vorzeichenbehaftetes-Distanzfeld-Gitters des Greifers liegt.
Verfahren nach Anspruch 1, wobei die Greifkandidatendatenbank eine große Vielzahl von Griffen enthält, die jeweils eine andere Position und Orientierung des Greifers bezogen auf das Objekt definieren und die nicht im Hinblick auf die Greifqualität oder eine Störung zwischen Objekt und Greifer bewertet wurden.
Verfahren zum Generieren einer Datenbank kollisionsfreier Griffe, wobei das Verfahren umfasst: Bereitstellen eines dreidimensionalen (3D) Modells eines zu greifenden Objekts und eines 3D-Modells eines Greifers; Bereitstellen einer Datenbank von Kandidaten für einen Griff des Greifers am Objekt; Ausführen unter Verwendung eines Computers mit einem Prozessor und einem Speicher einer Griffoptimierung bei jedem der Greifkandidaten, um eine Datenbank angepasster Griffe zu erstellen, wobei die Griffoptimierung unter Verwendung einer virtuellen Greiferkontaktfläche, die zu einer Greiferfingerkontaktfläche auf jedem Finger des Greifers versetzt ist, und einer Punktwolkendarstellung des Objektmodells einen Greifqualitätswert maximiert; und Ausführen einer Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bei jedem der angepassten Griffe, um eine Datenbank kollisionsfreier Griffe bereitzustellen, die jeden der angepassten Griffe enthält, von dem bei der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bestimmt wurde, dass er kollisionsfrei ist.
System für die Griffgenerierung für Roboter, umfassend: einen Computer mit einem Prozessor und einem Speicher, wobei der Computer dazu eingerichtet ist, eine Datenbank kollisionsfreier Griffe zu generieren, umfassend: Bereitstellen eines Objektmodells, das dreidimensionale (3D) Formdaten für ein zu greifendes Objekt umfasst, und eines Greifermodells, das 3D-Formdaten und Fingerkinematiken für einen Greifer umfasst; Bereitstellen einer Datenbank von Kandidaten für einen Griff des Greifers am Objekt; Definieren einer virtuellen Greiferkontaktfläche, die auf der Grundlage eines vorgegebenen Abstandsspielraums zu einer Greiferfingerkontaktfläche auf jedem Finger des Greifers versetzt ist; Ausführen einer Griffoptimierung bei jedem Greifkandidaten, um eine Datenbank angepasster Griffe zu erstellen, wobei die Griffoptimierung unter Verwendung der virtuellen Greiferkontaktflächen und einer Punktwolkendarstellung des Objektmodells einen Greifqualitätswert maximiert; Ausführen einer Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bei jedem der angepassten Griffe unter Verwendung der Punktwolkendarstellung des Objektmodells und eines Vorzeichenbehaftetes-Distanzfeld-Gitters des Greifers; und Bereitstellen der Datenbank kollisionsfreier Griffe, die jeden der angepassten Griffe enthält, von dem bei der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern bestimmt wird, dass er kollisionsfrei ist.
System nach Anspruch 13, ferner umfassend: eine 3D-Kamera, die dem Computer während realer robotischer Tätigkeiten Tiefenbilder eines Behälters mit Objekten bereitstellt, wobei der Computer ein aus dem Behälter mit Objekten zu greifendes Zielobjekt identifiziert, indem er Griffe aus der Datenbank kollisionsfreier Griffe auf anhand der Tiefenbilder geschätzte Objektposen abbildet; eine Robotersteuerung, die mit dem Computer verbunden ist und das Zielobjekt betreffende Greifdaten empfängt; und einen Roboter, der mit dem Greifer ausgestattet ist, um das Zielobjekt auf der Grundlage von Befehlen von der Steuerung zu greifen und zu bewegen.
System nach Anspruch 13, wobei die virtuelle Greiferkontaktfläche zur Greiferfingerkontaktfläche in einer Richtung versetzt ist, in die sich jeder Greiferfinger beim Greifen eines Objekt bewegt.
System nach Anspruch 13, wobei jeder Greifkandidat, jeder angepasste Griff und jeder kollisionsfreie Griff eine Pose des Greifers in einem Koordinatenrahmen des Objekts definiert, die drei Positionen und drei Drehungen sowie eine Greiferweite umfasst.
System nach Anspruch 13, wobei die Griffoptimierung durch Festlegen von Abtastpunkten auf den virtuellen Greiferkontaktflächen und der Punktwolkendarstellung des Objektmodells formuliert wird, die einen nächstgelegenen Nachbarpunkt auf dem Objekt in Übereinstimmung mit jedem der Abtastpunkte auf den virtuellen Greiferkontaktflächen umfassen.
System nach Anspruch 13, wobei die Griffoptimierung eine Zielfunktion, die gegen eine lokal optimale Greifqualität konvergiert, die auf der Grundlage eines Gesamtabstands zwischen jedem Abtastpunkt auf den virtuellen Greiferkontaktflächen und seinem entsprechenden nächstgelegenen Nachbarpunkt auf dem Objekt definiert wird, und eine Nebenbedingungsgleichung beinhaltet, die ein Eindringen der virtuellen Greiferkontaktflächen in das Objekt bestraft.
System nach Anspruch 17, wobei die Griffoptimierung unter Verwendung der virtuellen Greiferkontaktflächen in einem angepassten Griff resultiert, bei dem die Greiferfingerkontaktflächen um den Abstandsspielraum vom Objekt beabstandet sind.
System nach Anspruch 13, wobei das Ausführen der Kollisionskontrolle auf der Basis von vorzeichenbehafteten Distanzfeldern das Bestimmen umfasst, dass der angepasste Griff kollisionsfrei ist, wenn kein Punkt in der Punktwolkendarstellung des Objektmodells in einer Gitterzelle des Vorzeichenbehaftetes-Distanzfeld-Gitters des Greifers liegt.