DE102021114268A1 - Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren - Google Patents

Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren Download PDF

Info

Publication number
DE102021114268A1
DE102021114268A1 DE102021114268.7A DE102021114268A DE102021114268A1 DE 102021114268 A1 DE102021114268 A1 DE 102021114268A1 DE 102021114268 A DE102021114268 A DE 102021114268A DE 102021114268 A1 DE102021114268 A1 DE 102021114268A1
Authority
DE
Germany
Prior art keywords
predetermined
infrastructure object
reference marking
robot device
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021114268.7A
Other languages
English (en)
Inventor
Christian Poss
Thomas Irrenhauser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102021114268.7A priority Critical patent/DE102021114268A1/de
Publication of DE102021114268A1 publication Critical patent/DE102021114268A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40604Two camera, global vision camera, end effector neighbourhood vision camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45063Pick and place manipulator

Abstract

Die Erfindung betrifft eine Robotervorrichtung (1), eingerichtet zur Ermittlung einer Infrastrukturobjektlage (5a, 5b) eines vorbestimmten Infrastrukturobjekts (4a, 4b) in Bezug auf die Robotervorrichtung (1), wobei die Robotervorrichtung (1) eine optische Erfassungseinrichtung (6) und eine Steuereinrichtung (3) aufweist, in der eine vorbestimmte Referenzmarkierung (8a, 8b) und eine vorbestimmte Referenzlage (9a, 9b) der Referenzmarkierung (8a, 8b) gespeichert sind, aufweist. Die Steuereinrichtung (3) ist dazu eingerichtet, die vorbestimmte Referenzmarkierung (8a, 8b) zu erfassen, und aus einer Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b) eine Raumlage (10) der Referenzmarkierung (8a, 8b) zu ermitteln. Die Steuereinrichtung (3) ist dazu eingerichtet, aus der Raumlage (10) und der Referenzlage (9a, 9b) der Referenzmarkierung (8a, 8b) die Infrastrukturobjektlage (5a, 5b) des Infrastrukturobjekts (4a, 4b) zu ermitteln, und die Robotervorrichtung (1) zu regeln und/oder zu steuern, um ein vorbestimmtes Zielobjekt (11) an einer vorbestimmten Annahmeposition des Infrastrukturobjekts (4a, 4b) abzulegen und/oder von einer vorbestimmten Ablageposition des Infrastrukturobjekts (4a, 4b) aufzunehmen.

Description

  • Die Erfindung betrifft eine Robotervorrichtung, die zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts in Bezug auf eine Robotervorrichtung eingerichtet ist und ein Verfahren zum Betreiben einer Robotervorrichtung zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts in Bezug auf eine Robotervorrichtung.
  • In der Logistik ist es verbreitet, automatisierte Robotervorrichtungen zu verwenden, um Objekte in Regalen oder auf Paletten abzulegen oder aufzunehmen. Damit die Robotervorrichtungen dazu befähigt sind, ist es erforderlich, diesen die einzelnen Prozesse in Rahmen eines Anlernprozesses beizubringen. In diesen manuell durchzuführenden Anlernprozessen der Robotervorrichtungen werden die Robotervorrichtungen dazu befähigt, bestimmte erforderliche Handlungen, wie beispielsweise ein Öffnen eines Regals oder ein Ablegen eines Objekts auf einer Palette durchzuführen. Für die Durchführung der Vorgänge ist es erforderlich, dass die Robotervorrichtungen, eine genaue Lage eines zu bewegenden Objekts oder eines Infrastrukturobjekts, erkennen können. Nach derzeitigem Stand der Technik kommen in der Regel Verfahren maschinellen Lernens zum Einsatz, wobei die Robotervorrichtungen angelernt werden, um bestimmte Objektarten detektieren zu können. Die verwendeten Verfahren sind jedoch aufwendig und erfordern einen hohen Rechenaufwand. Besondere Probleme ergeben sich, falls die Robotervorrichtung in Bezug auf die Infrastrukturobjekte eine neue Lage einnimmt. In diesem Fall ist es notwendig, die Robotervorrichtung erneut einzulernen. Dies ist insbesondere erforderlich, weil die Roboter nach dem derzeitigen Stand der Technik nicht in der Lage sind, die jeweiligen Infrastrukturobjekte selbstständig zuverlässig zu erfassen und daraufhin die durchzuführenden Prozesse anzupassen.
  • In der US 2021/0035057 A1 ist eine automatisierte Lagerhalle beschrieben. Es ist vorgesehen, an verschiedenen Orten der Lagerhalle Referenzmarken anzubringen, deren Lagen durch automatisierte Fahrzeuge erfasst werden können. Mittels der erfassten Lagen wird den automatisierten Fahrzeugen eine Navigation in dem Lagerhaus ermöglicht. Die Referenzmarken können 1D- oder 2D-Codes sein und auch an Regalen und Stellplätzen für Paletten angeordnet sein.
  • Die US 2020/0316786 A1 offenbart autonome mobile Robotersysteme und Verfahren zur autonomen Entnahme oder Einlagerung von Gegenständen, Behältern oder Kisten innerhalb einer Logistikeinrichtung. In der Logistikeinrichtung werden Markierungen angebracht, welche den autonomen, mobilen Robotersystemen eine Navigation durch die Logistikeinrichtung ermöglichen.
  • Es ist somit eine Aufgabe der Erfindung, eine Lösung bereitzustellen, welche eine einfache Erfassung von Infrastrukturobjekten und deren Lage für Robotervorrichtungen ermöglicht.
  • Diese Aufgabe wird erfindungsgemäß durch eine Robotervorrichtung mit den Merkmalen gemäß dem unabhängigen Patentanspruch 1 und einem Verfahren mit den Merkmalen gemäß dem unabhängigen Patentanspruch 10 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung, sowie der Figuren.
  • Ein erster Aspekt der Erfindung betrifft eine Robotervorrichtung, die zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts in Bezug auf die Robotervorrichtung eingerichtet ist. Mit anderen Worten betrifft die Erfindung eine Robotervorrichtung. Dabei kann es sich insbesondere um eine Robotervorrichtung in der Logistik handeln, welche dazu eingerichtet ist, vorbestimmte Objekte zu greifen, zu bewegen und wieder abzulegen. Bei den zu bewegenden Objekten kann es sich insbesondere um Kisten, Fässer oder Automobilbauteile handeln. Bei den Infrastrukturobjekten kann es sich insbesondere um Regale, Kisten oder Container handeln, in die Objekte einzustellen, beziehungsweise aus denen Objekte zu entnehmen sind. Die Robotervorrichtung ist somit imstande, das vorbestimmte Infrastrukturobjekt zu erfassen und die genaue Infrastrukturobjektlage, welche beispielsweise eine Translation und eine Rotation des Infrastrukturobjekts in Bezug auf die Robotervorrichtung umfassen kann, zu erfassen. Die Robotervorrichtung ist dazu eingerichtet, mittels einer optischen Erfassungseinrichtung ein Umgebungsbild einer Umgebung der Robotervorrichtung zu erfassen. Die optische Erfassungseinrichtung kann beispielsweise Kameras aufweisen, die dazu eingerichtet sein können, das Umgebungsbild im sichtbaren Lichtspektrum zu fotografieren, oder auch Aufnahmen im Infrarot- oder Ultraviolettbereich aufzunehmen.
  • Es ist vorgesehen, dass die Robotervorrichtung eine Steuereinrichtung aufweist. Bei der Steuereinrichtung kann es sich beispielsweise um eine elektronische Komponente handeln, welche einen Mikroprozessor und/oder einen Mikrocontroller aufweisen kann. In der Steuereinrichtung sind eine vorbestimmte Referenzmarkierung und eine vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf das vorbestimmte Infrastrukturobjekt gespeichert. Mit anderen Worten ist in dieser Steuereinrichtung die vorbestimmte Referenzmarkierung gespeichert, wobei es sich um einen optischen Marker handeln kann, der auf dem Infrastrukturobjekt aufgebracht sein kann. Die vorbestimmte Referenzlage, an der die Referenzmarkierung auf dem Infrastrukturobjekt angebracht ist, ist ebenfalls in der Steuereinrichtung gespeichert. Die Steuereinrichtung ist dazu eingerichtet, einen die Referenzmarkierung wiedergebenden Bildausschnitt des Infrastrukturobjekts in dem Umgebungsbild der Umgebung der Robotervorrichtung zu erfassen. Mit anderen Worten kann die Robotervorrichtung aus dem aufgenommenen Umgebungsbild einen Bildausschnitt ermitteln, in welchem sich die Referenzmarkierung befindet. Dies kann beispielsweise über eine einfache Erfassung des Infrastrukturobjekts erfolgen, wobei in einem zweiten Schritt der Bildausschnitt erstellt wird, welcher einen Bereich des Infrastrukturobjekts abbildet, in welchem die vorbestimmte Referenzmarkierung angeordnet ist. Die Steuereinrichtung ist dazu eingerichtet, die vorbestimmte Referenzmarkierung im Bildausschnitt zu erfassen und eine Verzerrung der vorbestimmten Referenzmarkierung in dem Bildausschnitt zu ermitteln. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, die Referenzmarkierung in dem Bildausschnitt zu erkennen und zu ermitteln, welche Verzerrung die erkannte Referenzmarkierung in dem Bildausschnitt aufweist. Die Steuereinrichtung ist dazu eingerichtet, aus der Verzerrung der Referenzmarkierung eine Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung zu ermitteln. Mit anderen Worten wird die erfasste Verzerrung der Referenzmarkierung verwendet, um zu bestimmen, an welchem Ort sich die Referenzmarkierung in Bezug auf die Robotervorrichtung befindet.
  • Die Raumlage kann beispielsweise ein Abstand oder eine Ausrichtung der Referenzmarkierung in Bezug auf die Robotervorrichtung umfassen. Die Steuereinrichtung ist dazu angelegt, aus der Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung und der Referenzlage der Referenzmarkierung in Bezug auf das Infrastrukturobjekt die Infrastrukturobjektlage des Infrastrukturobjekts in Bezug auf die Robotervorrichtung zu ermitteln. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, aus der erfassten Raumlage der Referenzmarkierung und der gespeicherten Referenzlage, welche angibt, an welchem Ort sich die Referenzmarkierung auf dem vorbestimmten Infrastrukturobjekt befindet, zu ermitteln, an welchem Ort sich das Infrastrukturobjekt in Bezug auf die Robotervorrichtung befindet. Die Steuereinrichtung ist dazu eingerichtet, die Robotervorrichtung zu regeln und/oder zu steuern, um ein vorbestimmtes Zielobjekt an einer vorbestimmten Annahmeposition des Infrastrukturobjekts abzulegen und/oder von einer vorbestimmten Ablageposition des Infrastrukturobjekts aufzunehmen. Mit anderen Worten ist es vorgesehen, dass die Steuereinrichtung die abgeleitete Infrastrukturobjektlage verwendet, um die Robotervorrichtung so anzusteuern, dass durch die Robotervorrichtung das vorbestimmte Zielobjekt an der vorbestimmten Annahmeposition des Infrastrukturobjekts abgelegt wird oder von der vorbestimmten Ablageposition des Infrastrukturobjekts aufgenommen wird. Das vorbestimmte Zielobjekt kann beispielsweise ein Bauteil eines Kraftfahrzeugs sein, welches an der vorbestimmten Annahmeposition durch die Robotervorrichtung abgelegt werden soll.
  • Durch die Erfindung ergibt sich der Vorteil, dass ein erneutes Anlernen der Robotervorrichtung nicht mehr erforderlich ist, wenn sich die Lage des Infrastrukturobjekts in Bezug auf die Robotervorrichtung geändert hat. Die durchzuführenden Prozesse müssen einmalig beigebracht werden. Die Lage des Infrastrukturobjekts kann durch die indirekte Erfassung der Lage des Infrastrukturobjekts über die Referenzmarkierung einfacher und fehlerfreier bestimmt werden.
  • Die Erfindung umfasst auch optionale Weiterbildungen, durch die sich weitere Vorteile ergeben.
  • Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, den Bildausschnitt und/oder die Verzerrung der vorbestimmten Referenzmarkierung durch Methoden maschinellen Lernens zu erfassen. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, den Bildausschnitt, in welchem sich die Referenzmarkierung auf dem Infrastrukturobjekt befindet und/oder die Verzerrung der Referenzmarkierung mittels einer Anwendung von Methoden maschinellen Lernens zu erfassen. Bei den Methoden maschinellen Lernens kann es sich insbesondere um automatische Bilderkennung über maschinelles Sehen handeln. Mit anderen Worten wird mittels einer Ausprägung künstlicher Intelligenz, dem maschinellen Lernen, der den Bildausschnitt, in welchem sich die Referenzmarkierung befindet, identifiziert und darüber hinaus in diesem Bereich anschließend die Referenzmarkierung und deren Verzerrung ermittelt. Das maschinelle Lernen kann beispielsweise durch einen, insbesondere lernfähigen, Algorithmus ausgebildet sein. Durch das Verwenden des maschinellen Lernens kann das Verfahren beispielsweise besonders vorteilhaft durchgeführt werden und darüber hinaus auf einfache Weise an neue Referenzmarkierungen und Infrastrukturobjekte angepasst werden.
  • Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, die Methoden maschinellen Lernens unter Einbeziehung eines neuronalen Netzes anzuwenden. Bei dem maschinellen Lernen können im Wesentlichen zwei Ansätze verfolgt werden: Erstens symbolische Ansätze, wie aussagenlogische Systeme, in denen das Wissen - sowohl die Beispiele als auch die induzierten Regeln - explizit repräsentiert ist, welche beispielsweise durch den Algorithmus ausgedrückt werden können. Zweitens subsymbolische Systeme wie, insbesondere künstliche, neuronale Netze, die nach dem Vorbild des menschlichen Gehirns funktionieren und in denen das Wissen implizit repräsentiert ist. Dabei sind auch Kombinationen des wenigstens einen Algorithmus und des wenigstens einen neuronalen Netz denkbar. Dabei kann der Algorithmus lernfähig, insbesondere selbstlernfähig, sein und beispielsweise durch das neuronale Netz ausgeführt werden bzw. erhält das neuronale Netz entsprechend des lernenden Algorithmus Anweisungen für seine Vorhersage und/oder für das Identifizieren und/oder Auswerten, welches beispielsweise mittels einer Mustererkennung, welche durch das neuronale Netz oder den Algorithmus erlernbar ist, realisiert werden kann. Dadurch ergibt sich der Vorteil, dass das maschinelle Lernen beispielsweise nicht durch einen Algorithmus auf eine konventionelle Prozessorarchitektur durchgeführt werden muss, sondern sich aufgrund der Verwendung des neuronalen Netzes bestimmte Vorteile bei der Erkennung ergeben können.
  • Eine Weiterbildung der Erfindung sieht vor, dass die Referenzmarkierung einen Strichcode und/oder einen Flächencode umfasst. Mit anderen Worten weist die Referenzmarkierung einen als Strichcode ausgebildeten Bereich auf oder einen Flächencode, wobei es sich um einen zweidimensionalen Code handeln kann. Bei dem zweidimensionalen Code kann es sich insbesondere um einen AprilTag-, ARtag-, ArUco- oder QR-Code handeln. Durch die Weiterbildung ergibt sich der Vorteil, dass die Referenzmarkierung für die Steuereinrichtung einfach zu erkennende Bereiche aufweist, deren Verzerrung durch die Steuereinheit einfach und genau ermittelt werden kann. Durch die Verwendung eines Strichcodes und/oder eines Flächencodes können auch Stellplätze der Infrastrukturobjekte individuell gekennzeichnet sein.
  • Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung als Gabelstapler eingerichtet ist. Mit anderen Worten handelt es sich bei der Robotervorrichtung um einen Gabelstapler. Dieser kann dazu eingerichtet sein, das vorbestimmte Zielobjekt mittels einer Gabel zu heben, zu transportieren oder abzusenken. Die Robotervorrichtung kann insbesondere dazu eingerichtet sein, mittels der erfassten Zielobjektlage einen Punkt zum Halten oder Heben des Zielobjekts zu ermitteln.
  • Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung als Greifroboter oder Kran eingerichtet ist. Mit anderen Worten weist die Robotervorrichtung einen Greifarm auf oder ist als Kran eingerichtet. Die Robotervorrichtung kann dazu eingerichtet sein, das Zielobjekt zu greifen, um es zu heben oder zu bewegen.
  • Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung eine optische Erfassungseinrichtung aufweist, die zumindest zwei Kameras aufweist. Die Kameras sind jeweils dazu eingerichtet, das Umgebungsbild der Umgebung der Robotervorrichtung aus zumindest zwei Teilbildern der jeweiligen Kameras zu generieren, wobei die zumindest zwei Kameras dazu eingerichtet sind, die Teilbilder aus jeweiligen unterschiedlichen Perspektiven aufzunehmen. Dadurch ergibt sich der Vorteil, dass ein größeres Umgebungsbild ermöglicht wird, als es mit einer optischen Erfassungseinrichtung mit nur einer Kamera möglich wäre.
  • Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts in Bezug auf eine Robotervorrichtung. In dem Verfahren wird durch eine optische Erfassungseinrichtung der Robotervorrichtung ein Umgebungsbild einer Umgebung der Robotervorrichtung erfasst. Es ist vorgesehen, dass durch eine Steuereinrichtung der Robotervorrichtung eine vorbestimmte Referenzmarkierung und eine vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf das vorbestimmte Infrastrukturobjekt gespeichert werden. In einem nächsten Schritt wird ein die Referenzmarkierung wiedergebender Bildausschnitt des Infrastrukturobjekts in dem Umgebungsbild der Umgebung der Robotervorrichtung durch die Steuereinrichtung erfasst. Durch die Steuereinrichtung wird die vorbestimmte Referenzmarkierung in dem Bildausschnitt erfasst und eine Verzerrung der vorbestimmten Referenzmarkierung in dem Bildausschnitt ermittelt. Durch die Steuereinrichtung wird aus der Verzerrung der Referenzmarkierung eine Augenlage der Referenzmarkierung in Bezug auf die Robotervorrichtung ermittelt und aus der Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung und der Referenzlage der Referenzmarkierung in Bezug auf das Infrastrukturobjekt die Infrastrukturobjektlage des Infrastrukturobjekts in Bezug auf die Robotervorrichtung ermittelt. Abschließend wird durch die Steuereinrichtung die Robotervorrichtung geregelt und/oder angesteuert, wodurch ein vorbestimmtes Zielobjekt durch die Robotervorrichtung an einer vorbestimmten Annahmeposition des Infrastrukturobjekts abgelegt wird. Zusätzlich oder alternativ dazu kann die Robotervorrichtung so geregelt und/oder gesteuert werden, dass das vorbestimmte Zielobjekt von einer vorbestimmten Ablageposition des Infrastrukturobjekts aufgenommen wird.
  • Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.
  • Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:
    • 1 eine schematische Darstellung einer Robotervorrichtung;
    • 2 ein mögliches Verfahren zur Ermittlung einer Infrastrukturobjektlage.
  • In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.
  • 1 zeigt eine schematische Darstellung einer Robotervorrichtung 1. Bei der schematisch dargestellten Robotervorrichtung 1 kann es sich um einen Greifroboter handeln, der einen Greifarm 2 aufweisen kann, um Objekte zu heben, zu bewegen und abzulegen. Die Robotervorrichtung 1 kann eine Steuereinrichtung 3 aufweisen, wobei es sich um eine elektronische Einrichtung handeln kann, die einen Mikroprozessor und/oder einen Mikrocontroller aufweisen kann. Die Steuereinrichtung 3 kann dazu eingerichtet sein, die Robotervorrichtung 1 zu steuern. Die Robotervorrichtung 1 kann ortsfest oder mobil sein und dazu eingerichtet sein. Die Robotervorrichtung 1 kann insbesondere in einer Lagerhalle oder an einer Werkbank angeordnet sein. Die Robotervorrichtung 1 kann dazu vorgesehen sein, Objekte zwischen unterschiedlichen Infrastrukturobjekten 4a, 4b, die an jeweiligen Infrastrukturobjektlagen 5a, 5b angeordnet sein können, zu bewegen. Bei den Infrastrukturobjekten 4a, 4b kann es sich beispielsweise um Regale, Kisten, Behälter oder Halterungen handeln, welche dazu vorgesehen sind, die durch die Robotervorrichtung 1 zu bewegenden Objekte aufzunehmen oder zu halten. Um die Umgebung und somit auch die Infrastrukturobjekte 4a, 4b und deren Lage 5a, 5b erfassen zu können, kann die Robotervorrichtung 1 eine optische Erfassungseinrichtung 6 aufweisen, welche eine oder mehrere Kameras 7 aufweisen kann. Die Kameras 7 können dazu eingerichtet sein, sichtbares Licht, Infrarot- oder ultraviolette Strahlung zu erfassen. Da ein direktes Erfassen der genauen Infrastrukturobjektlage 5a, 5b der Infrastrukturobjekte 4a, 4b rechenaufwendig und fehleranfällig sein kann, kann es vorgesehen sein, die Lagen 5a, 5b der Infrastrukturobjekte 4a, 4b auf einem indirekten Weg zu erfassen. Um die indirekte Erfassung der Infrastrukturobjektlagen 5a, 5b der Infrastrukturobjekte 4a, 4b zu ermöglichen, kann es vorgesehen sein, dass jedes der Infrastrukturobjekte 4a, 4b durch eine jeweilige Referenzmarkierung 8a, 8b gekennzeichnet ist. Die Referenzmarkierungen 8a, 8b können in der Steuereinrichtung 3 der Robotervorrichtung 1 gespeichert sein. Es kann vorgesehen sein, dass die Referenzmarkierungen 8a, 8b an einer jeweiligen Referenzlage 9a, 9b in Bezug auf das jeweilige Infrastrukturobjekt 4a, 4b angeordnet sind. Mit anderen Worten kann es vorgesehen sein, dass die Referenzmarkierungen 8a, 8b an einer vorbestimmten Lage des Infrastrukturobjekts 4a, 4b angeordnet sind. Die jeweiligen Referenzlagen 9a, 9b können ebenfalls in der Steuereinrichtung 3 gespeichert sein. Dadurch, dass die Referenzlagen 9a, 9b bekannt seien können, kann im Fall einer Erfassung und/oder Bestimmung der Lage der jeweiligen Referenzmarkierungen 8a, 8b die Infrastrukturobjektlage 5a, 5b des jeweiligen Infrastrukturobjekts 4a, 4b abgeleitet werden. Zu diesem Zweck kann es vorgesehen sein, dass durch die Steuereinrichtung 3 ein vorbestimmter Bildausschnitt aus dem Umgebungsbild 13 ausgewählt wird, in welchem die jeweilige Referenzmarkierung 8a, 8b zu sehen ist. Die Steuereinrichtung 3 kann die jeweilige Referenzmarkierung 8a, 8b identifizieren und eine Verzerrung, die sich aus der Raumlage 10a, 10b der Referenzmarkierung 8a, 8b in Bezug auf die optische Erfassungseinrichtung 6 ergibt, ermitteln. Aus der erfassten Verzerrung kann die Steuereinrichtung 3 die Raumlage 10a, 10b der jeweiligen Referenzmarkierung 8a, 8b in Bezug auf die Robotervorrichtung 1 ermitteln. Aus der bekannten Raumlage 10a, 10b der Referenzmarkierung 8a, 8b und der Referenzlage 9a, 9b kann die Steuereinrichtung 3 ermitteln, an welcher Infrastrukturobjektlage 5a, 5b sich das Infrastrukturobjekt 4a, 4b in Bezug auf die Robotervorrichtung 1 befindet.
  • Die Steuereinrichtung 3 kann dazu eingerichtet sein, ein in einem der Infrastrukturobjekte 4a abgelegtes Zielobjekt 11 zu erfassen, wobei eine Zielobjektlage 12a, in der sich das Zielobjekt 11 in dem Infrastrukturobjekt 4a befinden kann, in der Steuereinrichtung 3 gespeichert sein kann. Dadurch ist die Steuereinrichtung 3 in der Lage, die Robotervorrichtung 1 so anzusteuern, dass diese das Zielobjekt 11 an der Zielobjektlage 12a aufnehmen und bewegen kann. In dem gezeigten Beispiel kann es beispielsweise vorgesehen sein, dass eines der Infrastrukturobjekte 4a als Kiste oder Container in einer Infrastrukturobjektlage 5a vorliegt. Eine Rollpalette kann als ein weiteres Infrastrukturobjekt 4b an einer Infrastrukturobjektlage 5b sein. Durch die Kenntnis der jeweiligen Infrastrukturobjektlagen 5a, 5b kann es der Steuereinrichtung 3 ermöglicht sein, das Zielobjekt 11, welches an der Zielobjektlage 12a des als Kiste oder Container ausgeführten Infrastrukturobjekts 4a angeordnet sein kann, zu entnehmen und in der vorbestimmten Zielobjektlage 12b auf der Infrastruktureinrichtung 4b abzulegen.
  • 2 zeigt ein Verfahren zur Ermittlung einer Infrastrukturobjektlage 5a, 5b eines vorbestimmten Infrastrukturobjekts 4a, 4b in Bezug auf eine Robotervorrichtung 1. In einem ersten Schritt werden eine vorbestimmte Referenzmarkierung 8a, 8b und eine vorbestimmte Referenzlage 9a, 9b der Referenzmarkierung 8a, 8b in Bezug auf das vorbestimmte Infrastrukturobjekt 4a, 4b in der Steuereinrichtung 3 gespeichert (S1). Durch eine optische Erfassungseinrichtung 6 der Robotervorrichtung 1 wird ein Umgebungsbild 13 einer Umgebung der Robotervorrichtung 1 erfasst (S2). Durch die Steuereinrichtung 3 wird der die Referenzmarkierung 8a, 8b wiedergebende Bildausschnitt des Infrastrukturobjekts 4a, 4b in dem Umgebungsbild 13 der Umgebung der Robotervorrichtung 1 erfasst (S3). Durch die Steuereinrichtung 3 wird die vorbestimmte Referenzmarkierung 8a, 8b in dem Bildausschnitt erfasst, und eine Verzerrung der vorbestimmten Referenzmarkierung 8a, 8b in dem Bildausschnitt ermittelt (S4). Durch die Steuereinrichtung 3 wird aus der Verzerrung der Referenzmarkierung 8a, 8b eine Raumlage 10a, 10b der Referenzmarkierung 8a, 8b in Bezug auf die Robotervorrichtung 1 ermittelt (S5), und aus der Raumlage 10a, 10b der Referenzmarkierung 8a, 8b in Bezug auf die Robotervorrichtung 1 und der Referenzlage 9a, 9b der Referenzmarkierung 8a, 8b in Bezug auf das Infrastrukturobjekt 4a, 4b die Infrastrukturobjektlage 5a, 5b des Infrastrukturobjekts 4a, 4b in Bezug auf die Robotervorrichtung 1 ermittelt (S6). Durch die Steuereinrichtung 3 kann die Robotervorrichtung 1 geregelt und/oder angesteuert, um ein vorbestimmtes Zielobjekt 11 durch die Robotervorrichtung 3 an einer vorbestimmten Zielobjektlage 12a des Infrastrukturobjekts 4a aufzunehmen. Zusätzlich oder alternativ dazu kann die Robotervorrichtung 1 durch die Steuereinrichtung 3 so geregelt und/oder gesteuert werden, dass das vorbestimmte Zielobjekt 11 durch die Robotervorrichtung 1 an einer vorbestimmten Ablageposition 12b des Infrastrukturobjekts 4b abgelegt wird.
  • Bezugszeichenliste
  • 1
    Robotervorrichtung
    2
    Greifarm
    3
    Steuereinrichtung
    4a
    Infrastrukturobjekt
    4b
    Infrastrukturobjekt
    5a
    I nfrastrukturobjektlage
    5b
    I nfrastrukturobjektlage
    6
    Erfassungseinrichtung
    7
    Kameras
    8a
    Referenzmarkierung
    8b
    Referenzmarkierung
    9a
    Referenzlage
    9b
    Referenzlage
    10a
    Raumlage
    10b
    Raumlage
    11
    Zielobjekt
    12a
    Zielobjektlage
    12b
    Zielobjektlage
    13
    Umgebungsbild
    S1-S6
    Verfahrensschritte
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2021/0035057 A1 [0003]
    • US 2020/0316786 A1 [0004]

Claims (8)

  1. Robotervorrichtung (1) eingerichtet zur Ermittlung einer Infrastrukturobjektlage (5a, 5b) eines vorbestimmten Infrastrukturobjekts (4a, 4b) in Bezug auf die Robotervorrichtung (1), wobei die Robotervorrichtung (1) eine optische Erfassungseinrichtung (6) aufweist, die dazu eingerichtet ist, ein Umgebungsbild (13) einer Umgebung der Robotervorrichtung (1) zu erfassen, dadurch gekennzeichnet, dass die Robotervorrichtung (1) eine Steuereinrichtung (3) aufweist, in der eine vorbestimmte Referenzmarkierung (8a, 8b) und eine vorbestimmte Referenzlage (9a, 9b) der Referenzmarkierung (8a, 8b) in Bezug auf das vorbestimmte Infrastrukturobjekt (4a, 4b) gespeichert sind, wobei die Steuereinrichtung (3) dazu eingerichtet ist, - einen die Referenzmarkierung (8a, 8b) wiedergebenden Bildausschnitt des Infrastrukturobjekts (4a, 4b) in dem Umgebungsbild (13) der Umgebung der Robotervorrichtung (1) zu erfassen, - die vorbestimmte Referenzmarkierung (8a, 8b) in dem Bildausschnitt zu erfassen, und eine Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b) in dem Bildausschnitt zu ermitteln, - aus der Verzerrung der Referenzmarkierung (8a, 8b) eine Raumlage (10) der Referenzmarkierung (8a, 8b) in Bezug auf die Robotervorrichtung (1) zu ermitteln, und - aus der Raumlage (10a, 10b) der Referenzmarkierung (8a, 8b) in Bezug auf die Robotervorrichtung (1) und der Referenzlage (9a, 9b) der Referenzmarkierung (8a, 8b) in Bezug auf das Infrastrukturobjekt (4a, 4b) die Infrastrukturobjektlage (5a, 5b) des Infrastrukturobjekts (4a, 4b) in Bezug auf die Robotervorrichtung (1) zu ermitteln, und - die Robotervorrichtung (1) zu regeln und/oder zu steuern, um ein vorbestimmtes Zielobjekt (11) an einer vorbestimmten Annahmeposition des Infrastrukturobjekts (4a, 4b) abzulegen und/oder von einer vorbestimmten Ablageposition des Infrastrukturobjekts (4a, 4b) aufzunehmen.
  2. Robotervorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung (3) dazu eingerichtet ist, den Bildausschnitt und/oder die Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b) durch Methoden maschinellen Lernens zu erfassen.
  3. Robotervorrichtung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Steuereinrichtung (3) dazu eingerichtet ist, die Methoden maschinellen Lernens unter Einbeziehung eines neuronalen Netzes anzuwenden.
  4. Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Referenzmarkierung (8a, 8b) einen Strichcode und/oder einen Flächencode umfasst.
  5. Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Robotervorrichtung (1) als Gabelstapler eingerichtet ist.
  6. Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Robotervorrichtung (1) als Greifroboter oder Kran eingerichtet ist.
  7. Robotervorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optische Erfassungseinrichtung (6) zumindest zwei Kameras (7) aufweist, die dazu eingerichtet sind, das Umgebungsbild (13) der Umgebung der Robotervorrichtung (1) aus zumindest zwei Teilbildern der jeweiligen Kameras (7) zu generieren, wobei die zumindest zwei Kameras (7) dazu eingerichtet sind, die Teilbilder aus jeweiligen, unterschiedlichen Perspektiven aufzunehmen.
  8. Verfahren zur Ermittlung einer Infrastrukturobjektlage (5a, 5b) eines vorbestimmten Infrastrukturobjekts (4a, 4b) in Bezug auf eine Robotervorrichtung (1), wobei durch eine optische Erfassungseinrichtung (6) der Robotervorrichtung (1), ein Umgebungsbild (13) einer Umgebung der Robotervorrichtung (1) erfasst wird, dadurch gekennzeichnet, dass durch eine Steuereinrichtung (3) der Robotervorrichtung (1) - eine vorbestimmte Referenzmarkierung (8a, 8b) und eine vorbestimmte Referenzlage (10) (9a, 9b) der Referenzmarkierung (8a, 8b) in Bezug auf das vorbestimmte Infrastrukturobjekt (4a, 4b) gespeichert werden, - ein die Referenzmarkierung (8a, 8b) wiedergebender Bildausschnitt des Infrastrukturobjekts (4a, 4b) in dem Umgebungsbild (13) der Umgebung der Robotervorrichtung (1) erfasst wird, - die vorbestimmte Referenzmarkierung (8a, 8b) in dem Bildausschnitt erfasst wird, und eine Verzerrung der vorbestimmten Referenzmarkierung (8a, 8b) in dem Bildausschnitt ermittelt wird, - aus der Verzerrung der Referenzmarkierung (8a, 8b) eine Raumlage (10) der Referenzmarkierung (8a, 8b) in Bezug auf die Robotervorrichtung (1) ermittelt wird, und - aus der Raumlage (10) der Referenzmarkierung (8a, 8b) in Bezug auf die Robotervorrichtung (1) und der Referenzlage (9a, 9b) der Referenzmarkierung (8a, 8b) in Bezug auf das Infrastrukturobjekt (4a, 4b) die Infrastrukturobjektlage (5a, 5b) des Infrastrukturobjekts (4a, 4b) in Bezug auf die Robotervorrichtung (1) ermittelt wird, und - die Robotervorrichtung (1) geregelt und/oder gesteuert wird, wodurch ein vorbestimmtes Zielobjekt (11) durch die Robotervorrichtung (1) an einer vorbestimmten Annahmeposition des Infrastrukturobjekts (4a, 4b) abgelegt und/oder von einer vorbestimmten Ablageposition des Infrastrukturobjekts (4a, 4b) aufgenommen wird.
DE102021114268.7A 2021-06-02 2021-06-02 Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren Pending DE102021114268A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021114268.7A DE102021114268A1 (de) 2021-06-02 2021-06-02 Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021114268.7A DE102021114268A1 (de) 2021-06-02 2021-06-02 Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren

Publications (1)

Publication Number Publication Date
DE102021114268A1 true DE102021114268A1 (de) 2022-12-08

Family

ID=84101987

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021114268.7A Pending DE102021114268A1 (de) 2021-06-02 2021-06-02 Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren

Country Status (1)

Country Link
DE (1) DE102021114268A1 (de)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004013107T2 (de) 2003-11-18 2009-07-02 Fanuc Ltd. Vorrichtung zur Korrektur einer gelernten Position
DE102014011852A1 (de) 2014-08-08 2015-03-12 Daimler Ag Verfahren zum Verfolgen wenigstens einer an einem Bauteil vorgesehenen Arbeitsposition für zumindest einen Roboter
DE102015015094A1 (de) 2014-11-28 2016-06-02 Fanuc Corporation Kooperationssystem mit Werkzeugmaschine und Roboter
US20170109856A1 (en) 2015-10-16 2017-04-20 Seiko Epson Corporation Image Processing Device, Robot, Robot System, and Marker
DE102017009223A1 (de) 2016-10-11 2018-04-12 Fanuc Corporation Steuervorrichtung zum Steuern eines Roboters durch Lernen einer Aktion einer Person, Robotersystem und Produktionssystem
DE102018000733A1 (de) 2018-01-29 2019-08-01 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Überwachungs- und Bediensystem für einen Fertigungsarbeitsplatz und Verfahren zur Unterstützung und Überwachung eines Werkers beim Prozess zum Montieren oder Fertigen eines Produkts oder Teilprodukts
DE102017123877B4 (de) 2016-10-14 2019-09-19 Engel Austria Gmbh Robotersystem
EP3597374A1 (de) 2018-05-18 2020-01-22 Toyota Jidosha Kabushiki Kaisha Haltevorrichtung, mit etikett versehener behälter, objekthalteprogramm und objekthalteverfahren
US20200316786A1 (en) 2019-04-05 2020-10-08 IAM Robotics, LLC Autonomous mobile robotic systems and methods for picking and put-away
EP3744484A1 (de) 2018-01-23 2020-12-02 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem
US20210035057A1 (en) 2016-09-26 2021-02-04 Cybernet Systems Corp. Automated warehousing using robotic forklifts or other material handling vehicles
WO2021050646A1 (en) 2019-09-11 2021-03-18 Dmg Mori Co., Ltd. Robot-mounted moving device, system, and machine tool

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602004013107T2 (de) 2003-11-18 2009-07-02 Fanuc Ltd. Vorrichtung zur Korrektur einer gelernten Position
DE102014011852A1 (de) 2014-08-08 2015-03-12 Daimler Ag Verfahren zum Verfolgen wenigstens einer an einem Bauteil vorgesehenen Arbeitsposition für zumindest einen Roboter
DE102015015094A1 (de) 2014-11-28 2016-06-02 Fanuc Corporation Kooperationssystem mit Werkzeugmaschine und Roboter
US20170109856A1 (en) 2015-10-16 2017-04-20 Seiko Epson Corporation Image Processing Device, Robot, Robot System, and Marker
US20210035057A1 (en) 2016-09-26 2021-02-04 Cybernet Systems Corp. Automated warehousing using robotic forklifts or other material handling vehicles
DE102017009223A1 (de) 2016-10-11 2018-04-12 Fanuc Corporation Steuervorrichtung zum Steuern eines Roboters durch Lernen einer Aktion einer Person, Robotersystem und Produktionssystem
DE102017123877B4 (de) 2016-10-14 2019-09-19 Engel Austria Gmbh Robotersystem
EP3744484A1 (de) 2018-01-23 2020-12-02 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungssystem
DE102018000733A1 (de) 2018-01-29 2019-08-01 IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH Überwachungs- und Bediensystem für einen Fertigungsarbeitsplatz und Verfahren zur Unterstützung und Überwachung eines Werkers beim Prozess zum Montieren oder Fertigen eines Produkts oder Teilprodukts
EP3597374A1 (de) 2018-05-18 2020-01-22 Toyota Jidosha Kabushiki Kaisha Haltevorrichtung, mit etikett versehener behälter, objekthalteprogramm und objekthalteverfahren
US20200316786A1 (en) 2019-04-05 2020-10-08 IAM Robotics, LLC Autonomous mobile robotic systems and methods for picking and put-away
WO2021050646A1 (en) 2019-09-11 2021-03-18 Dmg Mori Co., Ltd. Robot-mounted moving device, system, and machine tool

Similar Documents

Publication Publication Date Title
EP3323770B1 (de) Verfahren zur bereitstellung der positionen von lagerplätzen in einem lager und flurförderzeug
DE112011103794B4 (de) Aufnehmervorrichtung für Werkstücke
EP3316181B1 (de) Verfahren zum erkennen von objekten in einem lager und flurförderzeug mit einer einrichtung zum erkennen von objekten in einem lager
EP3587044B1 (de) Verfahren zum greifen von objekten in einem suchbereich und positioniersystem
DE102014016032A1 (de) Vorrichtung und Verfahren zum Aufnehmen von wahllos gehäuften Gegenständen mit einem Roboter
EP3160219B1 (de) Verfahren und vorrichtung zur platzierung elektronischer bauteile
DE102018007932A1 (de) Produktionsanlage sowie Verfahren zur Herstellung von Kraftfahrzeugen
DE112018007727B4 (de) Robotersystem
EP3333116A1 (de) Verfahren zur automatischen ausrichtung eines flurförderzeugs in einem warenlager sowie system aus einem flurförderzeug und einem warenlager
EP3977225B1 (de) Verfahren zur erstellung einer umgebungskarte für die verwendung bei der autonomen navigation eines mobilen roboters
DE102021114265A1 (de) Robotervorrichtung eingerichtet zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts und Verfahren
DE102021114268A1 (de) Robotervorrichtung eingerichtet zur Ermittlung einer Infrastrukturobjektlage eines vorbestimmten Infrastrukturobjekts und Verfahren
EP3507666A1 (de) System zur lageerfassung und verfahren zur lageerfassung
DE102016000588A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
EP4088885A1 (de) Verfahren und system zum kommissionieren von stückgütern
WO2014026843A2 (de) Containeranlage und deren betrieb
DE102021114264A1 (de) Robotervorrichtung eingerichtet zur Ermittlung einer Interaktionsmaschinenlage zumindest eines Elements einer vorbestimmten Interaktionsmaschine und Verfahren
DE102021114701A1 (de) Mobiler Kommissionierroboter und Verfahren zur Kommissionierung
DE102019128253A1 (de) Verfahren zum Navigieren eines Flurförderzeugs
EP2497065B1 (de) Verfahren zur bestimmung der ausrichtung eines oberen teils eines stückgutstapels
AT525778B1 (de) Verfahren und Vorrichtung zum Entnehmen eines Ladeguts von einem Stapel
DE102022106765B3 (de) Verfahren zum Bestimmen einer Lage eines Objekts relativ zu einer Erfassungseinrichtung, Computerprogramm und Datenträger
DE102021126494A1 (de) Kraftfahrzeugbauteil sowie Verfahren zum Greifen eines Kraftfahrzeugbauteils
DE102021128090A1 (de) Behälter für wenigstens ein Kraftfahrzeugbauteil sowie Verfahren zum Herstellen eines Behälters für wenigstens ein Kraftfahrzeugbauteil
DE112022000335T5 (de) Robotersystem und Steuervorrichtung

Legal Events

Date Code Title Description
R163 Identified publications notified