DE112022001356T5

DE112022001356T5 - Sicherheitsmerkmale für eine roboterbaugruppe und verfahren dafür

Info

Publication number: DE112022001356T5
Application number: DE112022001356.7T
Authority: DE
Inventors: Zixu Zhang; Rajeev Verma; Alexander Zak
Original assignee: Magna Powertrain GmbH and Co KG
Current assignee: Magna Powertrain GmbH and Co KG
Priority date: 2021-03-04
Filing date: 2022-03-04
Publication date: 2023-12-28
Also published as: WO2022187629A1

Abstract

Eine Roboterbaugruppe für den sicheren Betrieb in einem Fertigungsumfeld mit Menschen beinhaltet einen Sensor zum Detektieren einer Bewegung der Roboterbaugruppe und eines Standorts des Menschen. Eine Positionseinrichtung beinhaltet mindestens ein Tag, das sich an der Robotereinrichtung befindet, und mindestens einen Detektor zum Detektieren des Tags. Stellungsknoten, die mit einem Menschen assoziiert sind, sind in einem Speicher gespeichert. Ein Verfahren, das Erzeugen eines Aufgabenbewegungsplans basierend auf durch die Sensoren erfasste Bildern, durch den Detektor detektierte Tags und durch den Sensor erfasste Stellungsknoten eines naheliegenden Menschen beinhaltet.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese internationale PCT-Patentanmeldung beansprucht den Vorteil und die Priorität der vorläufigen US-Patentanmeldung mit der Serien-Nr. 63/156,434 , eingereicht am 4. März 2021 und mit dem Titel „Safety Features for a Robot Assembly and Method of Same“, deren gesamte Offenbarung hiermit durch Bezugnahme aufgenommen wird.
HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft Roboter in einer Fertigungsumgebung. Insbesondere betrifft die vorliegende Erfindung Sicherheitsmerkmale für Roboter, die in einer Fertigungsumgebung verwendet werden.
Verwandte Technik
Dieser Abschnitt liefert Hintergrundinformationen bezüglich der vorliegenden Offenbarung, die nicht notwendigerweise zum Stand der Technik gehören.
Da Produktivität und Effizienz die Zielsetzungen in einer jeglichen Fertigungsumgebung sind, werden Roboter jetzt mehr denn je für eine größere Anzahl von Aufgaben eingesetzt. Herkömmliche Roboter sind dafür bekannt, Werkstücke zu schweißen, zu montieren und zwischen Standorten zu bewegen, wohingegen Menschen typischerweise kompliziertere Aufgaben durchführen, die die Erkennung mehrerer Arten von Objekten erfordern. Obgleich es typischerweise etwas Überlappung zwischen einem Bereich gibt, in dem ein Roboter betrieben wird, und einem Bereich, in dem ein Mensch arbeitet, wurden Roboter traditionell in den Grenzen stark kontrollierter Umgebungen betrieben. In stark kontrollierten Umgebungen können Roboter programmiert sein, wiederholte und vorprogrammierte Aufgaben mit beschränktem Risiko einer Beschädigung naheliegender Umgebungen auszuführen. Mit technologischen Verbesserungen werden jedoch moderne Roboter programmiert, immer anspruchsvollere Aufgaben ähnlich zu jenen eines Menschen durchzuführen. Mit diesen anspruchsvollen Aufgaben werden Roboter nun in enger Nähe zum Menschen und mit höheren Freiheitsgraden als je zuvor platziert. Die Hauptsorge der Einführung von Robotern in eine Fertigungsumgebung, in der Menschen arbeiten, ist Sicherheit. Insbesondere besteht die Sorge darin, dass sich die Bewegung eines Roboters und die Bewegung eines Menschen überschneiden, was zu einer Kollision führen wird, die schlussendlich dem Menschen schadet oder den Roboter beschädigt. Das Hauptziel der Verwendung von Robotern ist die Produktivität, die theoretisch die großen Anschaffungskosten für die Roboter wettmachen wird. Produktivität erfordert, dass diese Roboter Aufgaben schnell durchführen, aber je schneller ein Roboter eine Aufgabe durchführt, desto höher ist das Ausmaß des möglichen Schadens für sowohl den Roboter als auch den Menschen während einer Kollision. Wie es häufig der Fall ist, beeinflusst ein Versuch, ein sicheres Umfeld für Menschen zu schaffen, die Produktivität nachteilig.
Verschiedene Strategien wurden eingesetzt, um sichere Fertigungsumgebungen zu schaffen. Eine Strategie besteht darin, eine physische Barriere um einen Bereich zu erzeugen, in dem der Roboter betrieben wird, sodass ein Mensch einen Sicherheitsabstand einhalten muss. Dieses Verfahren, obwohl einfach, erfordert zusätzlichen Raum in der Fertigungsumgebung und ist allgemein zu restriktiv, insbesondere für Roboter, die sich zwischen Standorten bewegen.
Alle dieser Strategien verlangsamen die Produktivität und garantieren keine Vermeidung einer Kollision mit einem Menschen, insbesondere einem Menschen, der sich bewegt. Darüber hinaus wird sich, selbst wenn ein Mensch an einem Ort steht, sein Oberkörper oder ein getragenes Objekt bewegen, wie für diese gegebene Aufgabe erforderlich, wodurch ein Risikobereich jenseits dessen erzeugt wird, was erwartet wird. Dementsprechend besteht ein Bedarf für eine Verbesserung der Technik, sodass weder Sicherheit noch Produktivität leiden müssen.
KURZDARSTELLUNG DER ERFINDUNG
Gemäß einem Aspekt der Erfindung ist ein Verfahren zum Betreiben einer Roboterbaugruppe bereitgestellt, um eine Kollision mit einem Menschen in einem Fertigungsumfeld zu verhindern. Das Verfahren beinhaltet die folgenden Schritte: Versehen einer Roboterbaugruppe mit einer Positionseinrichtung, die mindestens ein Tag aufweist; Durchführen vordefinierter Bewegungen mit der Roboterbaugruppe, die mit einer zugewiesenen Aufgabe assoziiert sind; und Detektieren des mindestens einen Tags an der Positionseinrichtung mit einem Detektor und Erzeugen eines Bewegungsmodells der Roboterbaugruppe.
In einem Aspekt beinhaltet das Verfahren Ersetzen der Positionseinrichtung mit einer Roboterhand, die dazu ausgelegt ist, mit dem Bewegungsmodell assoziierte Aufgaben durchzuführen.
In einem Aspekt beinhaltet die Positionseinrichtung eine Vielzahl von Seiten, wobei jede Seite mindestens ein Tag beinhaltet.
In einem Aspekt beinhaltet jede der Seiten mindestens zwei unterschiedliche Tags.
In einem Aspekt beinhaltet das Verfahren Erfassen einer Vielzahl von Bildern der Roboterbaugruppe während der zugewiesenen Aufgabe.
In einem Aspekt beinhaltet das Verfahren Extrapolieren von 3D-Informationen aus der Vielzahl von Bildern.
In einem Aspekt beinhaltet das Verfahren Erzeugen von Stellungsknoten, die mit einem Menschen assoziiert sind.
In einem Aspekt beinhaltet das Verfahren Bestimmen eines Bewegungsbereichs des Menschen.
In einem Aspekt beinhaltet das Verfahren Detektieren eines Menschen, der sich der Roboterbaugruppe während der Durchführung der vorbestimmten Aufgabe nähert.
In einem Aspekt beinhaltet das Verfahren Anhalten oder Ändern der Durchführung der vordefinierten Aufgabe als Reaktion auf das Detektieren des sich nähernden Menschen.
In einem anderen Aspekt ist ein Visionsverarbeitungsverfahren bereitgestellt, das die folgenden Schritte beinhaltet: Erfassen einer Vielzahl von Bildern einer Roboterbaugruppe, die eine Vielzahl von Tags aufweist, die mit der Roboterbaugruppe gekoppelt sind; Verarbeiten der Vielzahl von Bildern und Bestimmen einer Gefahr, die in einer Arbeitsumgebung vorhanden ist; Extrapolieren von 3D-Informationen aus der Vielzahl von Bildern; und kontinuierliches Erfassen zusätzlicher Bilder, und als Reaktion darauf Modifizieren einer vorbestimmten Bewegung der Roboterbaugruppe.
In einem Aspekt beinhaltet das Verfahren Modellieren einer menschlichen Stellung und Erzeugen einer Vielzahl von Stellungsknoten.
In einem Aspekt beinhaltet das Verfahren Erfassen von Bildern eines Menschen, der in unmittelbarer Nähe zu der Roboterbaugruppe arbeitet.
In einem Aspekt beinhaltet das Verfahren Extrapolieren von 3D-Informationen aus den Bildern des arbeitenden Menschen und Bestimmen, dass die Gefahr vorhanden ist.
In einem anderen Aspekt ist ein Verfahren zum Kalibrieren einer Roboterbaugruppe bereitgestellt, wobei das Verfahren beinhaltet: Erzeugen von Betriebsanweisungen für eine Roboterbaugruppe entsprechend einer vorbestimmten Aufgabe und einem Wegpunkt; Bewegen des Roboters gemäß den Betriebsanweisungen und der vorbestimmten Aufgabe und dem Wegpunkt; Detektieren einer Vielzahl von Orten einer Positionseinrichtung der Roboterbaugruppe; Extrapolieren von Orten der Positionseinrichtung nach dem Detektieren der Vielzahl von Orten; nach dem Extrapolieren der Orte, Detektieren präziser Orte der Positionseinrichtung; Vergleichen der präzisen Orte mit den extrapolierten Orten und Erzeugen von Stellungsknoten; Akkumulieren von Stellungsknoten für eine Vielzahl von Positionen der Roboterbaugruppe und Erzeugen eines Bewegungsmodells der Roboterbaugruppe.
In einem Aspekt beinhaltet das Verfahren Erzeugen von Umgehungsinformationen, die sich von dem Bewegungsmodell unterscheiden, um ein Objekt zu vermeiden, das den Wegpunkt betritt.
In einem Aspekt beinhaltet das Verfahren Abweichen vom Bewegungsmodell gemäß den Umgehungsinformationen als Reaktion auf das Detektieren einer Gefahr.
In einem Aspekt beinhaltet das Verfahren Identifizieren einer Varianz zwischen den extrapolierten Orten und den präzisen Orten und Reduzieren der Varianz durch Modifizieren des extrapolierten Ortes mit den präzisen Orten.
In einem Aspekt beinhaltet das Verfahren Vorhersagen eines Objekts, das sich mit der Roboterbaugruppe während der Durchführung der vorbestimmten Aufgabe überlappt, und Initiieren von Sicherheitsprotokollen als Reaktion darauf.
In einem anderen Aspekt ist ein System zum Betreiben einer Roboterbaugruppe bereitgestellt, wobei das System mindestens eine Rechenvorrichtung mit mindestens einem Prozessor und mindestens einem Speicher mit darauf gespeicherten Anweisungen beinhaltet, die, wenn sie durch den mindestens einen Prozessor ausgeführt werden, den mindestens einen Prozessor veranlassen, die oben und hierin beschriebenen Verfahren durchzuführen.
Weitere Anwendungsbereiche werden aus der hierin bereitgestellten Beschreibung ersichtlich werden. Die Beschreibung und die spezifischen Beispiele in dieser Kurzdarstellung sind nur für Veranschaulichungszwecke vorgesehen und sollen den Schutzumfang der vorliegenden Offenbarung nicht einschränken.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Die hierin beschriebenen Zeichnungen sind nur für ausgewählte Ausführungsformen veranschaulichend und sollen den Schutzumfang der vorliegenden Offenbarung nicht einschränken. Die mit der vorliegenden Offenbarung assoziierten erfindungsgemäßen Konzepte werden leicht durch Bezugnahme auf die folgende Beschreibung in Verbindung mit den begleitenden Zeichnungen verstanden, wobei gilt:

1 ist eine schematische Ansicht eines Schutzsystems, wobei eine Roboterbaugruppe eine kontinuierliche Rückmeldung während des Betriebs empfängt;
2 ist eine schematische Ansicht eines Rechensystems einer Roboterbaugruppe;
3 ist eine schematische Ansicht eines Visionsverarbeitungsverfahrens der Roboterbaugruppe;
4 ist eine Perspektivansicht eines Kalibrationssystems einer Roboterbaugruppe einschließlich einer Positionswürfeleinrichtung;
5 ist eine schematische Ansicht eines Kalibrationsverfahrens;
6 ist eine schematische Ansicht einer einfachen menschlichen Figur zum Vorhersagen einer potenziellen menschlichen Positionierung über eine vorbestimmte Menge an Zeit gemäß dem Kalibrationssystem und dem Visionssystem;
7 ist eine schematische Ansicht eines Systems zur Erzeugung einer menschlichen Stellung;
8A ist ein erster Teil einer schematischen Ansicht eines Verfahrens zum Betreiben einer Roboterbaugruppe in einer gefährlichen Umgebung;
8B ist ein zweiter Teil der schematischen Ansicht des Verfahrens von 8A;
9 veranschaulicht ein System zum Durchführen des Verfahrens der 8A-8B;
10 veranschaulicht einen Stellungsgraphenerzeugungsschritt; und
11 veranschaulicht zusätzliche Schritte des Stellungsgraphenerzeugungsschritts.

BESCHREIBUNG DER BEFÄHIGENDEN AUSFÜHRUNGSFORM
Nun werden beispielhafte Ausführungsformen vollständiger unter Bezug auf die begleitenden Zeichnungen beschrieben. Im Allgemeinen sind die gegenständlichen Ausführungsformen auf eine Roboterbaugruppe und ein Betriebsverfahren ausgerichtet. Die beispielhaften Ausführungsformen sind jedoch nur bereitgestellt, damit diese Offenbarung vollständig ist und Fachleuten auf dem Gebiet der Schutzumfang vollständig übermittelt wird. Zahlreiche spezifische Einzelheiten sind dargelegt, wie etwa Beispiele für spezifische Komponenten, Vorrichtungen und Verfahren, um ein durchgehendes Verständnis von Ausführungsformen der vorliegenden Offenbarung bereitzustellen. Fachleuten auf dem Gebiet wird ersichtlich werden, dass diese spezifischen Einzelheiten nicht eingesetzt werden müssen, dass beispielhafte Ausführungsformen in vielen unterschiedlichen Formen umgesetzt werden können und dass keine als den Schutzumfang der Offenbarung beschränkend ausgelegt werden sollte. In einigen beispielhaften Ausführungsformen sind wohlbekannte Prozesse, wohlbekannte Vorrichtungsstrukturen und wohlbekannte Technologien nicht im Detail beschrieben.
Mit Bezug auf die Figuren, in denen gleiche Ziffern in allen Ansichten und Diagrammen entsprechende Teile angeben, sollen die Roboterbaugruppe und das Betriebsverfahren eine Kollision zwischen Robotern und Umgebungen, wie etwa menschlichen Arbeitern, verhindern, während Robotereffizienz und -produktivität in einer Fertigungsumgebung beibehalten werden.
Zunächst mit Bezug auf 1 ist eine schematische Ansicht eines Schutzsystems 10 bereitgestellt, wobei eine Roboterbaugruppe 12 eine kontinuierliche Rückmeldung während des Betriebs empfängt. Das Schutzsystem 10 beinhaltet eine Reihe von Sensoren 14, die eine oder mehrere Umgebungsgefahren in einer Arbeitsumgebung 16 detektieren. Beispielsweise können die Gefahren in einer Arbeitsumgebung 16 bewegte und unbewegte Gefahren einschließen, wie etwa Menschen, andere Roboter, Umgebungsinfrastrukturen und andere Gefahren. Ein Bewegungsplaner 18 beinhaltet eine vorbestimmte oder vorprogrammierte Fortbewegungspfadanweisung, die lokal in der Roboterbaugruppe oder entfernt gespeichert werden kann. Ein Schutzmodul 20 kann die Fortbewegungspfadanweisungen und/oder die Anweisungen des Bewegungsplaners 18 im Fall der Detektion der einen oder der mehreren Gefahren in einer Arbeitsumgebung 16 umgehen. Die Roboterbaugruppe 12 kann eine Steuerung 22 zum Empfangen von Informationen von den Sensoren 14, dem Bewegungsplaner 18 und dem Schutzmodul 20 zur Verhinderung der Bewegung der Roboterbaugruppe 12 bei einer erfassten oder detektierten Gefahr in einer Arbeitsumgebung 16 beinhalten. Beispielsweise kann sich die Roboterbaugruppe 12 gemäß Fortbewegungspfadanweisungen bewegen, die durch den Bewegungsplaner 18 bereitgestellt werden. Während der Bewegung können die Sensoren 14 eine oder mehrere Gefahren in einer Arbeitsumgebung 16 erfassen oder detektieren, die ein Risiko einer Kollision darstellen, falls die Roboterbaugruppe 12 entlang des Fortbewegungspfades weiterbewegt. Bei einer Kollisionsgefahr schränkt das Schutzmodul 20 die fortgesetzte Bewegung entlang des Fortbewegungspfades ein. Die Einschränkung der Bewegung kann das Erzeugen und Auswählen eines Umgehungsfortbewegungspfades beinhalten. Das Schutzmodul 20 kann in Verbindung mit der Steuerung 22 arbeiten.
2 ist eine schematische Ansicht eines Rechensystems 24 der Roboterbaugruppe 12. Das Rechensystem 24 beinhaltet eine Vielzahl von Sensoren, wie etwa Kameras 26, die synchronisiert wurden und Daten synchron zu einer Rechenvorrichtung 28 übertragen. Die Kameras können Blackfly-S-Kameras beinhalten, die Daten über ein Netzwerk 30 übertragen, wie etwa ein Lokalnetzwerk, das aus einem oder mehreren Ethernet-Kabeln besteht. Das Netzwerk 30 kann eine Power-over-Ethernet(PoE)-Konfiguration einschließlich eines Master-PoE-Switch 32 beinhalten. Daten von den Kameras 26 können dann zu der Rechenvorrichtung 28 übertragen werden. Die Kameras 26 können über einen Master-Takt 34 synchronisiert werden, der den PoE-Switch 32 und die Kameras 26 verbindet. Beispielsweise kann der Master-Takt 34 eine Raspberη-Pi-Vorrichtung beinhalten, die über ein GPIO (General Purpose Input/Output - Allzweck-Eingabe/Ausgabe) zwischen den Kameras 26 und der Raspberη-Pi-Vorrichtung ausgelöst wird. Die Rechenvorrichtung 28 kann eine Steuerung 36 beinhalten, die einen Prozessor 38 und eine Kamera 40 beinhaltet. Der Speicher 40 kann Anweisungen beinhalten, die bei Ausführung durch den Prozessor 38 den Prozessor 38 veranlassen, verschiedene Funktionalitäten durchzuführen, zum Beispiel die Bewegung der Roboterbaugruppe 12. Es sollte auch gewürdigt werden, dass die Steuerung 22 auch einen Prozessor 42 und einen Speicher 44 beinhalten kann. Der Speicher 44 kann Anweisungen beinhalten, die bei Ausführung durch den Prozessor 42 den Prozessor 24 veranlassen, verschiedene Funktionalitäten durchzuführen, zum Beispiel die Bewegung der Roboterbaugruppe 12. Die Rechenvorrichtung 28 und die Steuerung 36 davon können dazu ausgelegt sein, Anweisungen an mehr als eine Roboterbaugruppe 12 bereitzustellen. In einigen Ausführungsformen können der Speicher 40 und 44 in RAM, ROM, Solid State oder einem anderen Typ von Speicherung vorliegen. In einigen Ausführungsformen können der Speicher 40 und 44 GigE Vision und andere Protokolle zum Übertragen eines oder mehrerer Bilder von den Kameras 26 beinhalten. In einigen Ausführungsformen beinhaltet jede Kamera 26 einen ROS-Treiber. In einigen Ausführungsformen kann die Verbindung zwischen den Kameras 26, dem Master-Takt 34, dem Roboter 12, dem Master-Switch 32 und der Rechenvorrichtung 28 drahtlos über bekannte Technologien wie etwa Bluetooth stattfinden.
3 ist eine schematische Ansicht eines Visionsverarbeitungsverfahrens 46 der Roboterbaugruppe 12. Bei 48 beinhaltet das Visionsverarbeitungsverfahren 46 das Erfassen mindestens eines Bildes. Beispielsweise können die Kameras 26 eine Reihe von BayerB8-Bildern erfassen. Bei 50 werden die Bilder von den Kameras 26 zu der Rechenvorrichtung 28 übertragen, bei der sie über ausgeführte Anweisungen umgewandelt werden, die im Speicher 40 gespeichert sind und durch den Prozessor 38 ausgeführt werden. Beispielsweise können die Bilder in ein RGB-Format umgewandelt und mit zusätzlichen Kamerainformationen veröffentlicht werden, wie etwa Zeitstempel, Ursprungskamera usw. Das Bild kann dann bei 52 nach Bedarf entzerrt werden. Das entzerrte Bild kann dann bei 54 verarbeitet werden. Beispielsweise kann die Rechenvorrichtung 24 die Bilder verarbeiten und das Vorhandensein jeglicher Gefahren in einer Arbeitsumgebung 16 bestimmen. In einigen Ausführungsformen kann jede Kamera oder können ausgewählte Kameras 26 RGB-Kameras beinhalten. Die Schritte 50, 52, 54 können ferner das Extrapolieren von 3D-Informationen aus einer Reihe von 2D-Bildern für eine oder mehrere der Kameras 26 beinhalten. Beispielsweise kann der Speicher 40 und 44 einen Multi-View-Stereo(MVS)- oder Structure-Through-Motion-Algorithmus beinhalten, der durch einen oder mehrere der Prozessoren 38 und 42 ausgeführt wird.
4 ist eine Perspektivansicht der Roboterbaugruppe 12, wobei die Roboterbaugruppe 12 eine Basis 56 und mindestens einen Arm 58 beinhaltet, der sich von der Basis 56 zu einem Anbringungsort 60 für eine Roboterhand 62 erstreckt. Die Hand 62 führt bestimmte Arbeitsvorgänge mittels Anweisungen von einem oder mehreren der Prozessoren 38 und 42 durch. Mindestens ein Gelenk 64 ist entlang des Arms 58 zur Gelenkbewegung der Hand 62 entlang dreidimensionaler Routen angeordnet. Die Basis 56 beinhaltet bewegbare Elemente 65, wie etwa Räder oder Laufketten, die es der Roboterbaugruppe 12 ermöglichen, sich entlang Fortbewegungspfade zwischen Standorten zu bewegen.
Mit fortgesetzter Bezugnahme auf 4 beinhaltet die Roboterbaugruppe 12 ein Kalibrationssystem 66, das eine Positionseinrichtung 68 zur Verbindung mit dem Anbringungsort 60 während eines Kalibrationsprozesses beinhaltet. Die Positionseinrichtung 68 beinhaltet eine Vielzahl von Seiten 70, wobei jede Seite 70 mindestens ein Tag 72 mit Unterscheidungsmerkmalen beinhaltet. In einigen Ausführungsformen ist die Positionseinrichtung 68 würfelförmig, und mindestens fünf der Seiten 70A-70E beinhalten mehr als ein Tag 72. Beispielsweise kann jede der Seiten 70A-70E vier Tags beinhalten, die sich in jedem Quadranten von jeder der Seiten befinden. Die Positionseinrichtung 68 und/oder ein Zwischenraum zwischen den Tags 72 kann der Größe der Hand 62 in ihrer am weitesten ausgestreckten Betriebsposition entsprechen, z. B. wenn Finger/Klemmen ausgestreckt wurden. In einigen Ausführungsformen können die Tags 72 als April-Tags konfiguriert sein. Ein oder mehrere Tag-Lesegeräte 63 können dazu ausgelegt sein, einen Ort von jedem der Tags 72 zu detektieren. Die Ortsdetektion der Tags 72 kann hauptsächlich oder vollständig zur Kalibration vor der Nutzung der Roboterbaugruppe 12 in einer Fertigungsumgebung dienen.
Ein Kalibrationsverfahren 100 ist in 5 gemäß den in 4 bereitgestellten Einzelheiten bereitgestellt. Das Kalibrationsverfahren 100 beinhaltet das Erzeugen von Betriebsanweisungen 102 für eine Roboterbaugruppe 12. Beispielsweise können die Betriebsanweisungen 102 einen oder mehrere Standorte (z. B. Wegpunkte) beinhalten, bei denen bestimmte Aufgaben abgeschlossen werden, wie etwa Organisieren, Sortieren usw. Die Roboterbaugruppe 12 wird dann angewiesen 104, sich gemäß der Betriebsanweisung fortzubewegen. Beispielsweise wird die Roboterbaugruppe 12 angewiesen, sich zwischen einem oder mehreren Standorten fortzubewegen, um verschiedene Aufgaben durchzuführen. Sobald sich die Roboterbaugruppe 12 an einem Standort zum Durchführen der zugewiesenen Aufgabe befindet, bewegt sich die Roboterbaugruppe 12 gemäß der zugewiesenen Aufgabe, wobei die Positionseinrichtung 68 detektiert wird 106. In einigen Ausführungsformen beinhaltet das Kalibrationsverfahren 100 genug Kameras 26 an Orten, die ermöglichen, dass jedes der Tags 72 durch mehr als eine Kamera 26, wie etwa mindestens drei Kameras 26, erfasst wird. Bei 106 werden die durch die Kameras 26 erhaltenen Bilder in 3D-Informationen gemäß dem Visionsverarbeitungsverfahren 46 von 3 extrapoliert. Basierend auf den extrapolierten Informationen kann ein extrapolierter Ort der Positionseinrichtung 68 erzeugt werden. Der extrapolierte Ort der Positionseinrichtung 68 kann extrapolierte Orte eines oder mehrerer Tags 72 beinhalten. Nach der Erzeugung des 3D-Modells können das eine oder die mehreren Tags 72 über das eine oder die mehreren Tag-Lesegeräte 63 für einen präzisen Ort der Positionseinrichtung 68 und eines oder mehrerer Tags 72 detektiert werden. Die präzisen Ortsinformationen können dann mit den extrapolierten Ortsinformationen verglichen werden, um Stellungsknoten entsprechend der Position der Roboterbaugruppe 12 zu erzeugen. Diese Knoten können für verschiedene Positionen der Roboterbaugruppe akkumuliert werden, um bei 108 ein Modell zu erzeugen. Bei 108 kann das Verfahren 100 das Tagging von Knoten und deren Speicherung im Speicher 40 oder 44 beinhalten. Die Varianzen zwischen extrapolierten Ortsinformationen können dann über eine Modifikation der extrapolierten Ortsinformationen basierend auf den präzisen Ortsinformationen reduziert werden. Mit fortgesetztem Bezug auf Schritt 108 kann ein Aktivitätsprofil einer Roboterbaugruppe von Positionsdetails gegenüber Zeit entwickelt werden. Das Aktivitätsprofil der Roboterbaugruppe kann einer Aktivität an einem gegebenen Standort und bei einer gegebenen Aufgabe der Roboterbaugruppe entsprechen, um prädiktive Standortinformationen für die Roboterbaugruppe herzustellen. Demnach können Objekte, die einen Standort betreten, für den eine Überlappung mit der Bewegung der Roboterbaugruppe vorhergesagt wird, Protokolle des Schutzmoduls 20 initiieren, um Umgehungsinformationen an die Roboterbaugruppe 12 bereitzustellen.
In einigen Ausführungsformen nutzt das Verfahren 100 eine Positionseinrichtung 68 und vier Kameras. Während des Verfahrens 100 wird eine Schätzung von TEnde/Tag als X und TWelt/Kam i als Y bereitgestellt. Somit können Schätzungen für Robotervorwärtskinematik $X T_{E n d e}^{W e l t} = T_{T a g}^{W e l t}$
und Kamerabeobachtung $T_{K a m_{i}}^{W e l t} Y_{i} = T_{T a g}^{W e l t}$
erzeugt werden. Diese Schätzungen können über SE(3)-Transformationsparametrisierungen und reibungslose Mannigfaltigkeitsoptimierungen mit dem Levenberg-Marquardt-Algorithmus optimiert werden.
6 und 7 stellen ein System 200 zur Erzeugung menschlicher Stellung bereit. Das System 200 beinhaltet das Modellieren des menschlichen Körpers mit einer Vielzahl von Stellungsknoten 202. Die Stellungsknoten 202 können Knoten beinhalten, die den Gelenken und der Verlängerung verschiedener menschlicher Gliedmaßen entsprechen. In einigen Ausführungsformen können diese Stellungsknoten 202 im Visionsverarbeitungsverfahren 46 verwendet werden. Beispielsweise kann der Speicher 40 und 44 Anweisungen zum Erzeugen der menschlichen Stellung mit einer Vielzahl menschlicher Stellungsknoten beinhalten. Beispielsweise können die Kameras 26 Bilder eines Menschen erfassen, der in unmittelbarer Nähe zu einer Roboterbaugruppe 12 oder einem Standort mit einem Aktivitätsprofil einer Roboterbaugruppe arbeitet. Das Verfahren kann das Extrapolieren von 3D-Informationen aus einer Reihe von 2D-Bildern des Menschen (oder Stellungsknoten 202) unter Verwendung von Multi-View-Stereo(MVS)- oder Structure-Through-Motion-Algorithmen beinhalten, die durch einen oder mehrere der Prozessoren 38 und 42 ausgeführt werden.
Die Stellungsknoten 202 können ferner zum Identifizieren eines Menschen in einem entspannten Zustand verwendet werden, zum Beispiel aufrecht stehend, mit den Armen gegen seinen Körper gelehnt. Basierend auf der designierten Arbeitsaufgabe des Menschen müssen seine Arme oder Beine jedoch vom Körper nach außen weggestreckt werden, oder in einigen Fällen muss der Mensch möglicherweise ein assoziiertes Arbeitsobjekt bewegen. Diese aufgabenorientierten Bewegungen werden bewirken, dass sich die Stellungsknoten 202 nach außen erstrecken. Ein Abstand von jedem identifizierbaren Stellungsknoten 202 eines Menschen kann verwendet werden, um einen Bewegungsbereich zu bestimmen, sodass eine identifizierbare Überlappungsgefahr frühzeitig vorhergesagt werden kann, und das hierin beschriebene System eine Umgehungsroute erzeugen kann.
Jetzt mit Bezug auf die 8A-8B ist ein Verfahren 300 zum Betreiben einer Roboterbaugruppe in einer gefährlichen Umgebung bereitgestellt. Bei 302 beinhaltet das Verfahren 300 das Versehen einer Roboterbaugruppe mit einer Positionseinrichtung. Bei 304 beinhaltet das Verfahren 300 das Durchführen vorbestimmter Bewegungen mit der Roboterbaugruppe, die mit einer zugewiesenen Aufgabe assoziiert sind. Bei 306 beinhaltet das Verfahren 300 das Erfassen einer Vielzahl von Bildern der Roboterbaugruppe, während die Roboterbaugruppe die zugewiesene Aufgabe ausführt. Bei 308 beinhaltet das Verfahren 300 das Extrapolieren von 3D-Informationen aus der Vielzahl von Bildern. Beispielsweise das Bestimmen eines Ortes eines oder mehrerer Tags an der Positionseinrichtung. Bei 310 beinhaltet das Verfahren 300 das Detektieren eines oder mehrerer Tags an der Positionseinrichtung mit mindestens einem Detektor. Bei 312 beinhaltet das Verfahren 300 das Bestimmen von Varianzen zwischen den 3D-Informationen und den detektierten Tag-Informationen. Bei 314 beinhaltet das Verfahren 300 das Speichern der 3D-Informationen, der detektierten Tag-Informationen und der Varianz einer Reihe von Bewegungen, die mit der zugewiesenen Aufgabe assoziiert sind, um ein Aufgabenprofil zu erzeugen, das mit der Roboterbaugruppe assoziiert ist. Bei 316 beinhaltet das Verfahren 300 das Erzeugen von Stellungsknoten, die mit einem Menschen assoziiert sind. Bei 318 beinhaltet das Verfahren 300 das Ersetzen der Positionseinrichtung mit einer Roboterhand. Bei 320 beinhaltet das Verfahren 300 das Durchführen der zugewiesenen Aufgabe mit der Roboterbaugruppe. Bei 322 beinhaltet das Verfahren 300 das kontinuierliche Erfassen einer Vielzahl von Bildern der Roboterbaugruppe, während sie die zugewiesene Aufgabe ausführt. Bei 324 beinhaltet das Verfahren 300 das Extrapolieren von 3D-Informationen aus der Vielzahl von Bildern. Bei 326, als Reaktion auf eine Erkennung eines Menschen, der sich der Roboterbaugruppe nähert, und die vorbestimmten Bewegungsstandorte, Anhalten oder Ändern der vorbestimmten Bewegungen der Roboterbaugruppe basierend auf vorhergesagten Erweiterungen des Menschen unter Verwendung von Stellungsknoten. Bei 328, als Reaktion auf eine Erkennung eines Menschen, der einen vorbestimmten Bewegungsstandort kreuzt, Anhalten oder Ändern der vorbestimmten Bewegungen der Roboterbaugruppe.
Die 9 bis 11 liefern zusätzliche Einzelheiten des Roboterkalibrationsverfahrens 300. Zunächst mit Bezug auf 9 kann das Verfahren 300 das Verwenden mehrerer Kameras und das einzelne Auflösen nach AX=YB beinhalten, um einen extrapolierten 3D-Standort der Roboterbaugruppe 12, wie etwa der Hand 62, der Basis 56 oder des Arms 58, zu erzeugen. 10 stellt einen Stellungsgraphenerzeugungsschritt bereit, einschließlich zwei Zuständen xi und xj der Roboterbaugruppe 12 mit einer relativen Faktormessung zij. Ein vorbestimmter Pfad und/oder Umgehungspfad können basierend auf optimalen Zuständen von xi und yi über einen bereitgestellten A-posteriori-AIgorithmus erzeugt werden. 11 stellt zusätzliche Schritte des Stellungsgraphenerzeugungsschritts bereit, einschließlich Erzeugen eines Modells, wobei G=(X,Z). Der Faktor X ist ein Satz von Stellungen bei jedem Zustand, die Vertices von G sind. Der Faktor Z ist ein Satz aller Faktoren, die Kanten von G sind. Die Stellungsgraphenerzeugung kann somit zum Schätzen einer Reihe von Zuständen (z. B. Standort) der Roboterbaugruppe verwendet werden.
Das System, die Module, die Baugruppen, die Verfahren und/oder die Prozesse, die oben beschrieben sind, und deren Schritte, können in Hardware, Software oder einer beliebigen Kombination von Hardware und Software realisiert werden, die für eine bestimmte Anwendung geeignet ist. Die Hardware kann einen Allzweckcomputer und/oder eine dedizierte Rechenvorrichtung oder spezifische Rechenvorrichtung oder einen bestimmten Aspekt oder eine bestimmte Komponente einer spezifischen Rechenvorrichtung beinhalten. Die Prozesse können in einem oder mehreren Mikroprozessoren, Mikrocontrollern, eingebetteten Mikrocontrollern, programmierbaren Digitalsignalprozessoren oder einer anderen programmierbaren Vorrichtung, zusammen mit internem und/oder externem Speicher realisiert werden. Die Prozesse und Module können außerdem, oder alternativ, in einer anwendungsspezifischen integrierten Schaltung, einem programmierbaren Gate-Array, programmierbarer Array-Logik oder einer beliebigen anderen Vorrichtung oder Kombination von Vorrichtungen umgesetzt werden, die dazu ausgelegt sein können, elektronische Signale zu verarbeiten. Es versteht sich ferner, dass ein oder mehrere der Prozesse als ein computerausführbarer Code realisiert werden können, der auf einem maschinenlesbaren Medium ausgeführt werden kann.
Der computerausführbare Code kann unter Verwendung einer strukturierten Programmiersprache wie etwa C, einer objektorientierten Programmiersprache wie etwa C++ oder einer beliebigen anderen Programmiersprache hoher Ebene oder niedriger Ebene erzeugt werden (einschließlich Assembly-Sprachen, Hardwarebeschreibungssprachen und Datenbankprogrammiersprachen und -technologien), die gespeichert, kompiliert oder interpretiert werden können, um auf einer der obigen Vorrichtungen, sowie heterogenen Kombinationen von Prozessoren, Prozessorarchitekturen oder Kombinationen unterschiedlicher Hardware und Software, oder einer beliebigen anderen Maschine, die zum Ausführen von Programmanweisungen fähig ist, zu laufen.
Somit können in einem Aspekt jedes oben beschriebene Verfahren und Kombinationen davon in computerausführbarem Code umgesetzt sein, der bei Ausführung auf einer oder mehreren Rechenvorrichtungen die Schritte davon durchführt. In einem anderen Aspekt können die Verfahren in Systemen umgesetzt sein, die die Schritte davon durchführen, und können über Vorrichtungen auf eine Anzahl von Weisen verteilt sein, oder die gesamte Funktionalität kann in eine dedizierte, eigenständige Vorrichtung oder andere Hardware integriert sein. In einem anderen Aspekt können die Mittel zum Durchführen der mit den oben beschriebenen Prozessen assoziierten Schritte eine beliebige der oben beschriebenen Hardware und/oder Software beinhalten. Alle derartigen Permutationen und Kombinationen sollen in den Schutzumfang der vorliegenden Offenbarung fallen.
Es versteht sich, dass die vorstehende Beschreibung der Ausführungsformen für Veranschaulichungszwecke bereitgestellt wurde. Mit anderen Worten soll die gegenständliche Offenbarung nicht erschöpfend sein oder die Offenbarung beschränken. Einzelne Elemente oder Merkmale einer bestimmten Ausführungsform sind allgemein nicht auf diese bestimmte Ausführungsform beschränkt, sondern sind, wo zutreffend, austauschbar und können in einer ausgewählten Ausführungsform verwendet werden, selbst wenn nicht spezifisch gezeigt oder beschrieben. Dasselbe kann auch auf verschiedene Weisen variiert werden. Solche Variationen sollen nicht als eine Abweichung von der Offenbarung angesehen werden, und alle derartigen Modifikationen sollen in den Schutzumfang der Offenbarung eingeschlossen werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 63/156434 [0001]

Claims

Verfahren zum Betreiben einer Roboterbaugruppe, um eine Kollision mit einem Menschen in einem Fertigungsumfeld zu verhindern, wobei das Verfahren die folgenden Schritte umfasst: - Versehen einer Roboterbaugruppe mit einer Positionseinrichtung, die mindestens ein Tag aufweist; - Durchführen vordefinierter Bewegungen mit der Roboterbaugruppe, die mit einer zugewiesenen Aufgabe assoziiert sind; und - Detektieren des mindestens einen Tags an der Positionseinrichtung mit einem Detektor und Erzeugen eines Bewegungsmodells der Roboterbaugruppe.
Verfahren nach Anspruch 1, einschließlich Ersetzen der Positionseinrichtung mit einer Roboterhand, die dazu ausgelegt ist, mit dem Bewegungsmodell assoziierte Aufgaben durchzuführen.
Verfahren nach Anspruch 1, wobei die Positionseinrichtung eine Vielzahl von Seiten beinhaltet, wobei jede Seite mindestens ein Tag beinhaltet.
Verfahren nach Anspruch 3, wobei jede der Seiten mindestens zwei unterschiedliche Tags beinhaltet.
Verfahren nach Anspruch 1, ferner umfassend Erfassen einer Vielzahl von Bildern der Roboterbaugruppe während der zugewiesenen Aufgabe.
Verfahren nach Anspruch 5, ferner umfassend Extrapolieren von 3D-Informationen aus der Vielzahl von Bildern.
Verfahren nach Anspruch 1, ferner umfassend Erzeugen von Stellungsknoten, die mit einem Menschen assoziiert sind.
Verfahren nach Anspruch 7, ferner umfassend Bestimmen eines Bewegungsbereichs des Menschen.
Verfahren nach Anspruch 1, ferner umfassend Detektieren eines Menschen, der sich der Roboterbaugruppe während der Durchführung der vorbestimmten Aufgabe nähert.
Verfahren nach Anspruch 9, ferner umfassend Anhalten oder Ändern der Durchführung der vordefinierten Aufgabe als Reaktion auf das Detektieren des sich nähernden Menschen.
Visionsverarbeitungsverfahren, wobei das Verfahren umfasst: - Erfassen einer Vielzahl von Bildern einer Roboterbaugruppe, die eine Vielzahl von Tags aufweist, die mit der Roboterbaugruppe gekoppelt sind; - Verarbeiten der Vielzahl von Bildern und Bestimmen einer Gefahr, die in einer Arbeitsumgebung vorhanden ist; - Extrapolieren von 3D-Informationen aus der Vielzahl von Bildern; und kontinuierliches Erfassen zusätzlicher Bilder und, als Reaktion darauf, Modifizieren einer vorbestimmten Bewegung der Roboterbaugruppe.
Verfahren nach Anspruch 11, ferner umfassend Modellieren einer menschlichen Stellung und Erzeugen einer Vielzahl von Stellungsknoten.
Verfahren nach Anspruch 12, ferner umfassend Erfassen von Bildern eines Menschen, der in unmittelbarer Nähe zu der Roboterbaugruppe arbeitet.
Verfahren nach Anspruch 13, ferner umfassend Extrapolieren von 3D-Informationen aus den Bildern des arbeitenden Menschen und Bestimmen, dass die Gefahr vorhanden ist.
Verfahren zum Kalibrieren einer Roboterbaugruppe, wobei das Verfahren umfasst: - Erzeugen von Betriebsanweisungen für eine Roboterbaugruppe entsprechend einer vorbestimmten Aufgabe und einem Wegpunkt; - Bewegen des Roboters gemäß den Betriebsanweisungen und der vorbestimmten Aufgabe und dem Wegpunkt; - Detektieren einer Vielzahl von Orten einer Positionseinrichtung der Roboterbaugruppe; - Extrapolieren von Orten der Positionseinrichtung nach dem Detektieren der Vielzahl von Orten; - nach dem Extrapolieren der Orte, Detektieren präziser Orte der Positionseinrichtung; - Vergleichen der präzisen Orte mit den extrapolierten Orten und Erzeugen von Stellungsknoten; - Akkumulieren von Stellungsknoten für eine Vielzahl von Positionen der Roboterbaugruppe und Erzeugen eines Bewegungsmodells der Roboterbaugruppe.
Verfahren nach Anspruch 15, ferner umfassend Erzeugen von Umgehungsinformationen, die sich von dem Bewegungsmodell unterscheiden, um ein Objekt zu vermeiden, das den Wegpunkt betritt.
Verfahren nach Anspruch 16, ferner umfassend Abweichen vom Bewegungsmodell gemäß den Umgehungsinformationen als Reaktion auf das Detektieren einer Gefahr.
Verfahren nach Anspruch 15, ferner umfassend Identifizieren einer Varianz zwischen den extrapolierten Orten und den präzisen Orten und Reduzieren der Varianz durch Modifizieren des extrapolierten Ortes mit den präzisen Orten.
Verfahren nach Anspruch 15, ferner umfassend Vorhersagen eines Objekts, das sich mit der Roboterbaugruppe während der Durchführung der vorbestimmten Aufgabe überlappt, und Initiieren von Sicherheitsprotokollen als Reaktion darauf.
System zum Betreiben einer Roboterbaugruppe, wobei das System umfasst: mindestens eine Rechenvorrichtung mit mindestens einem Prozessor und mindestens einem Speicher mit darauf gespeicherten Anweisungen, die, wenn sie durch den mindestens einen Prozessor ausgeführt werden, den mindestens einen Prozessor veranlassen, das Verfahren nach einem der vorstehenden Ansprüche durchzuführen.