DE102021114265A1

DE102021114265A1 - Robotic device set up to determine a target object position of a predetermined target object and method

Info

Publication number: DE102021114265A1
Application number: DE102021114265.2A
Authority: DE
Inventors: Christian Poss; Thomas Irrenhauser
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-06-02
Filing date: 2021-06-02
Publication date: 2022-12-08

Abstract

Die Erfindung betrifft eine Vorrichtung Robotervorrichtung (1), eingerichtet zur Ermittlung einer Zielobjektlage (5) eines vorbestimmten Zielobjekts (4) in Bezug auf die Robotervorrichtung (1), wobei die Robotervorrichtung (1) eine optische Erfassungseinrichtung (6) und eine Steuereinrichtung (3), in der eine vorbestimmte Referenzmarkierung (8) und eine vorbestimmte Referenzlage (9) der Referenzmarkierung (8) in Bezug auf das vorbestimmte Zielobjekt gespeichert sind, aufweist. Die Steuereinrichtung (3) ist dazu eingerichtet, die vorbestimmte Referenzmarkierung (8) zu erfassen, und eine Verzerrung der vorbestimmten Referenzmarkierung (8) zu ermitteln, aus der Verzerrung der Referenzmarkierung (8) eine Raumlage der Referenzmarkierung (8) in Bezug auf die Robotervorrichtung (1) zu ermitteln, und aus der Raumlage der Referenzmarkierung (8) in Bezug auf die Robotervorrichtung (1) und der Referenzlage (9) der Referenzmarkierung (8) in Bezug auf das Zielobjekt (4) die Zielobjektlage (5) des Zielobjekts (4) in Bezug auf die Robotervorrichtung (1) zu ermitteln.The invention relates to a robotic device (1) set up to determine a target object position (5) of a predetermined target object (4) in relation to the robotic device (1), the robotic device (1) having an optical detection device (6) and a control device (3 ) in which a predetermined reference marking (8) and a predetermined reference position (9) of the reference marking (8) are stored in relation to the predetermined target object. The control device (3) is set up to detect the predetermined reference marking (8) and to determine a distortion of the predetermined reference marking (8), from the distortion of the reference marking (8) a spatial position of the reference marking (8) in relation to the robot device (1) to determine, and from the spatial position of the reference marking (8) in relation to the robot device (1) and the reference position (9) of the reference marking (8) in relation to the target object (4), the target object position (5) of the target object ( 4) to be determined in relation to the robot device (1).

Description

Die Erfindung betrifft eine Robotervorrichtung, die zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts in Bezug auf die Robotervorrichtung eingerichtet ist und ein Verfahren zum Betreiben einer Robotervorrichtung zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts in Bezug auf eine Robotervorrichtung.The invention relates to a robot device that is set up to determine a target object position of a predetermined target object in relation to the robot device and a method for operating a robot device to determine a target object position of a predetermined target object in relation to a robot device.

In der Logistik ist es bereits üblich, automatisierte Verfahren zur Einsortierung von Objekten zu verwenden. Hierfür werden Robotervorrichtungen eingesetzt, welche beispielsweise Greifroboter oder Gabelstapler sein können. Diese Robotervorrichtungen können die einzusortierenden Objekte visuell erfassen und automatisiert einsortieren. Um ein Aufnehmen des jeweiligen Objektes zu ermöglichen, ist es erforderlich, dass eine genaue Raumlage des Objekts in Bezug auf die Robotervorrichtungen bestimmt wird. Die Raumlage weist sechs Freiheitsgrade auf, diese umfassen Translationen entlang der drei Raumrichtungen und Rotationen um die drei Raumrichtungen. Die Erfassung dieser Objekte und ihrer sechs Freiheitsgrade erfolgt nachdem gegenwärtigen Stand der Technik durch maschinelles Sehen. Dabei werden komplexe Bildauswertungsalgorithmen und/oder Methoden unter Anwendung künstlicher Intelligenz verwendet. Während der Auswertung können beispielsweise Kanten des Objekts erfasst werden und aus den ermittelten Kanten die Raumlage des Objekts abgeleitet werden. Bei den hierbei angewandten Verfahren können jedoch Schwierigkeiten und Ungenauigkeiten bei der Ermittlung der Raumlage des Objekts auftreten. Das kann dazu führen, dass durch einfachere Algorithmen keine ausreichend zuverlässigen Lagedaten des Objekts ermittelt werden. Aus diesem Grund werden komplexere Algorithmen verwendet, welche zuverlässigere Lagedaten ermitteln, jedoch einen höheren Rechenaufwand erfordern. Manche dieser Algorithmen erfordern ein manuelles Anlernen der Robotervorrichtung, um eine Erkennung des Objektes und ein Bewegen des Objektes durch die Robotervorrichtung zu ermöglichen.In logistics, it is already common to use automated methods to sort objects. For this purpose, robotic devices are used, which can be gripping robots or forklifts, for example. These robot devices can visually detect the objects to be sorted and automatically sort them. In order to enable the respective object to be recorded, it is necessary for an exact spatial position of the object to be determined in relation to the robot devices. The spatial position has six degrees of freedom, these include translations along the three spatial directions and rotations around the three spatial directions. According to the current state of the art, these objects and their six degrees of freedom are captured by machine vision. In this case, complex image evaluation algorithms and/or methods using artificial intelligence are used. For example, edges of the object can be detected during the evaluation and the spatial position of the object can be derived from the determined edges. With the methods used here, however, difficulties and inaccuracies can occur when determining the position of the object in space. This can result in simpler algorithms not being able to determine sufficiently reliable position data of the object. For this reason, more complex algorithms are used, which determine more reliable position data, but require more computing effort. Some of these algorithms require manual training of the robotic device to enable the robotic device to recognize and move the object.

In der Veröffentlichung Wang, John, and Edwin Olson. „AprilTag 2: Efficient and robust fiducial detection.“ 2016 IEEEIRSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2016; ist ein Verfahren zur effizienten und robusten Erfassung von zweidimensionalen visuellen Bezugsmarken offenbart. In der Veröffentlichung wird ein Anbringen der zweidimensionalen Bezugsmarken auf Objekten beschrieben. Für eine Erfassung einer Lage der Markierungsmarken wird ein Algorithmus bereitgestellt. Dadurch ist es möglich, die Lage der Objekte, an denen die Bezugsmarken angeordnet sind zu ermitteln. Die zweidimensionalen Bezugsmarken des Typs AprilTags sind dabei zur Ermöglichung einer automatisierten Erfassung ausgelegt.In the publication Wang, John, and Edwin Olson. "AprilDay 2: Efficient and robust fiducial detection." 2016 IEEEIRSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2016; a method for efficient and robust detection of two-dimensional visual fiducials is disclosed. The publication describes the attachment of the two-dimensional reference marks to objects. An algorithm is provided for detecting a position of the markers. This makes it possible to determine the position of the objects on which the reference marks are arranged. The two-dimensional reference marks of the AprilTags type are designed to enable automated recording.

Die DE 10 2019 125 169 A1 offenbart eine Vorrichtung, die dazu eingerichtet ist, eine Objektposition mittels Bezugsmarker zu bestimmen. Die Objektbestimmungsvorrichtung ist dazu eingerichtet, eine in einem Bild erkannte Bezugsmarke, die an einem Objekt bereitgestellt sein kann, zu identifizieren. Auf der Grundlage eines Bestimmens einer Position der Bezugsmarke in der physischen Welt können eine Position und eine Orientierung des physischen Objekts bestimmt werden.the DE 10 2019 125 169 A1 discloses a device that is set up to determine an object position using reference markers. The object determination device is set up to identify a reference mark recognized in an image, which can be provided on an object. Based on determining a position of the fiducial in the physical world, a position and an orientation of the physical object can be determined.

Es ist eine Aufgabe der Erfindung, eine zuverlässige Methode zur Bereitstellung von Lagedaten für eine Robotervorrichtung zu ermöglichen.It is an object of the invention to enable a reliable method for providing positional data for a robotic device.

Diese Aufgabe wird erfindungsgemäß durch eine Robotervorrichtung mit den Merkmalen gemäß dem unabhängigen Patentanspruch 1 und einem Verfahren mit den Merkmalen gemäß dem unabhängigen Patentanspruch 10 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung, sowie der Figuren.According to the invention, this object is achieved by a robot device having the features according to independent patent claim 1 and a method having the features according to independent patent claim 10 . Advantageous embodiments of the invention are the subject matter of the dependent patent claims and the description, as well as the figures.

Ein erster Aspekt der Erfindung betrifft eine Robotervorrichtung, eingerichtet zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts in Bezug auf die Robotervorrichtung. Die Robotervorrichtung kann für einen Einsatz in der Logistik vorgesehen sein, um das Zielobjekt zu bewegen. Ein mögliches Anwendungsgebiet kann beispielsweise eine Lagerhalle oder eine Werkshalle sein, in der die Robotervorrichtung das Zielobjekt automatisiert aufnehmen und an einer vorbestimmten Stelle Abliefern soll. Die Robotervorrichtung ist dazu eingerichtet zu ermitteln, wie das Zielobjekt in Bezug auf die Robotervorrichtung räumlich angeordnet ist. Die Zielobjektlage kann die translatorische und die rotatorische Lage des Zielobjekts in Bezug auf die Robotervorrichtung umfassen. Mit anderen Worten kann durch die Zielobjektlage beschrieben sein, welche translatorische Lage und welche rotatorische Lage das Zielobjekt in Bezug auf die Robotervorrichtung aufweist. Die Zielobjektlage kann beispielsweise durch sechs Dimensionen, welche den sechs Freiheitgraden entsprechen, beschrieben sein. Drei der sechs Dimensionen können translatorische Komponenten sein und drei der sechs Dimensionen können rotatorische Komponenten sein. Die Robotervorrichtung weist eine optische Erfassungseinrichtung auf, die dazu eingerichtet ist, ein Umgebungsbild einer Umgebung der Robotervorrichtung zu erfassen. Mit anderen Worten ist die Robotervorrichtung dazu eingerichtet, durch die optische Erfassungseinrichtung ein Umgebungsbild von der Umgebung, in der sich die Robotervorrichtung befindet, aufzunehmen. Die optische Erfassungseinrichtung kann beispielsweise eine Kamera aufweisen und dazu eingerichtet sein, elektromagnetische Strahlen in sichtbaren, als auch in unsichtbaren Spektren, beispielsweise im Infrarot- oder ultravioletten Spektrum, aufzunehmen.A first aspect of the invention relates to a robot device set up to determine a target object position of a predetermined target object in relation to the robot device. The robotic device can be intended for use in logistics in order to move the target object. A possible area of application can be, for example, a warehouse or a factory building in which the robot device is supposed to automatically pick up the target object and deliver it to a predetermined location. The robotic device is configured to determine how the target object is spatially arranged in relation to the robotic device. The target pose may include the translational and rotational pose of the target with respect to the robotic device. In other words, the position of the target object can describe which translational position and which rotational position the target object has in relation to the robot device. The position of the target object can, for example, be described by six dimensions, which correspond to the six degrees of freedom. Three of the six dimensions can be translational components and three of the six dimensions can be rotational components. The robotic device has an optical detection device that is set up to capture an environmental image of an area surrounding the robotic device. In other words, the robotic device is set up to use the optical detection device to capture an image of the surroundings of the environment in which the robotic device is located. The optical detection device can, for example have a camera and be set up to record electromagnetic radiation in visible and invisible spectra, for example in the infrared or ultraviolet spectrum.

Es ist vorgesehen, dass die Robotervorrichtung eine Steuereinrichtung aufweist. Bei der Steuereinrichtung kann es sich beispielsweise um eine elektronische Komponente handeln, welche einen Mikroprozessor und/oder einen Mikrocontroller aufweisen kann. In der Steuereinrichtung sind eine vorbestimmte Referenzmarkierung und eine vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf das vorbestimmte Zielobjekt gespeichert. Die Referenzmarkierung kann eine visuell erfassbare Markierung sein, deren Gestaltung auf eine genaue und effiziente Identifikation durch Bilderfassung ausgelegt sein kann. Die Referenzmarkierung kann auch als Passermarke bezeichnet sein. Die Referenzmarkierung kann Informationen darstellen, welche eine eindeutige Information des Zielobjekts oder der Art des Zielobjekts ermöglichen können. Mit anderen Worten ist in der Steuereinrichtung die Referenzmarkierung gespeichert, welche dem vorbestimmten Zielobjekt zugeordnet ist. In der Steuereinrichtung ist gespeichert, an welchem Ort des Zielobjekts die vorbestimmte Referenzmarkierung angeordnet ist. Der Ort ist durch die vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf das vorbestimmte Zielobjekt definiert. Durch die Referenzlage kann beispielsweise eine Rotation, Ausrichtung oder Verschiebung der Referenzmarkierung auf dem Zielobjekt festgelegt sein. Es kann beispielsweise vorgesehen sein, dass in der Steuereinrichtung das vorbestimmte Zielobjekt als dreidimensionales Modell gespeichert ist, wobei hinterlegt ist, an welcher Referenzlage die Referenzmarkierung an dem Zielobjekt angeordnet ist.Provision is made for the robotic device to have a control device. The control device can be an electronic component, for example, which can have a microprocessor and/or a microcontroller. A predetermined reference marking and a predetermined reference position of the reference marking in relation to the predetermined target object are stored in the control device. The fiducial mark may be a visually detectable mark that may be designed for accurate and efficient identification through image capture. The reference marking can also be referred to as a fiducial mark. The reference marking can represent information that can enable unambiguous information about the target object or the type of target object. In other words, the reference marking that is assigned to the predetermined target object is stored in the control device. The location of the target object at which the predetermined reference marking is arranged is stored in the control device. The location is defined by the predetermined reference position of the reference marking in relation to the predetermined target object. For example, a rotation, orientation or displacement of the reference marking on the target object can be defined by the reference position. Provision can be made, for example, for the predetermined target object to be stored in the control device as a three-dimensional model, with the reference position at which the reference marking is arranged on the target object being stored.

Die Steuereinrichtung ist dazu eingerichtet, einen die Referenzmarkierung wiedergebenden Bildausschnitt des Zielobjekts in dem Umgebungsbild der Umgebung der Robotervorrichtung zu erfassen. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, den Bildausschnitt des Zielobjekts in dem Umgebungsbild zu ermitteln, in welchem die Referenzmarkierung zu erkennen ist. Es kann beispielsweise vorgesehen sein, dass in einem ersten Schritt über ein primitives Objekterkennungsverfahren das Zielobjekt und seine ungefähre Position in dem Umgebungsbild durch die Steuereinrichtung ermittelt werden. Durch die Kenntnis der vorbestimmten Referenzlage der Referenzmarkierung an dem vorbestimmten Zielobjekt kann nach der Erfassung des Zielobjekts in dem Umgebungsbild der Bildausschnitt ermittelt werden, in welchem sich die Referenzmarkierung befindet. Die Steuereinrichtung ist dazu eingerichtet, die vorbestimmte Referenzmarkierung in dem Bildausschnitt zu erfassen und eine Verzerrung der vorbestimmten Referenzmarkierung in dem Bildausschnitt zu ermitteln. Mit anderen Worten ist die Steuereinrichtung dazu vorgesehen, innerhalb des Bildausschnitts nach der vorbestimmten Referenzmarkierung zu suchen. Die Steuereinrichtung identifiziert die vorbestimmte Referenzmarkierung und bestimmt die Verzerrung der Referenzmarkierung in dem Bildausschnitt durch einen Abgleich der in dem Speicher der Steuereinrichtung gespeicherten Bild der Referenzmarkierung mit der in dem Bildausschnitt erfassten Referenzmarkierung. Die Verzerrung der Referenzmarkierung in dem Bildausschnitt ergibt sich aus der räumlichen Perspektive, aus der die Referenzmarkierung durch die optische Erfassungseinrichtung der Robotervorrichtung erkannt wird. Die Steuereinrichtung ist dazu eingerichtet, aus der Verzerrung der Referenzmarkierung eine Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung zu ermitteln. Mit anderen Worten kann die Steuereinrichtung die Verzerrung der Referenzmarkierung im Bildausschnitt untersuchen und ermitteln, in welcher Position sich die Referenzmarkierung in Bezug auf die Robotervorrichtung befindet. Die Steuereinrichtung kann somit ermitteln, wie die Referenzmarkierung in Bezug auf die Robotervorrichtung verschoben und/oder rotiert ist.The control device is set up to capture an image section of the target object, which reproduces the reference marking, in the environmental image of the area surrounding the robot device. In other words, the control device is set up to determine the image section of the target object in the environmental image in which the reference marking can be seen. Provision can be made, for example, for the target object and its approximate position in the image of the surroundings to be determined by the control device in a first step using a primitive object recognition method. By knowing the predetermined reference position of the reference marking on the predetermined target object, after the target object has been detected in the environmental image, the image section in which the reference marking is located can be determined. The control device is set up to detect the predetermined reference marking in the image section and to determine a distortion of the predetermined reference marking in the image section. In other words, the control device is provided to search within the image section for the predetermined reference marking. The control device identifies the predetermined reference marking and determines the distortion of the reference marking in the image section by comparing the image of the reference marking stored in the memory of the control device with the reference marking detected in the image section. The distortion of the reference mark in the image section results from the spatial perspective from which the reference mark is recognized by the optical detection device of the robotic device. The control device is set up to determine a spatial position of the reference marking in relation to the robot device from the distortion of the reference marking. In other words, the control device can examine the distortion of the reference marking in the image section and determine the position of the reference marking in relation to the robot device. The controller can thus determine how the reference mark is shifted and/or rotated in relation to the robotic device.

Die Steuereinrichtung ist dazu eingerichtet, aus der Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung und der Referenzlage der Referenzmarkierung in Bezug auf das Zielobjekt die Zielobjektlage des Zielobjekts in Bezug auf die Robotervorrichtung zu ermitteln. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, aus der ermittelten Raumlage der Referenzmarkierung und der in der Steuereinrichtung gespeicherten Referenzlage, welche angibt, wo sich die Referenzmarkierung auf dem Zielobjekt befindet, zu bestimmen, welche Zielobjektlage das Zielobjekt aufweist. Durch die Erfindung ergibt sich der Vorteil, dass die genaue Zielobjektlage, welche beispielsweise für ein Greifen des Zielobjekts erforderlich ist, nicht durch rechenintensive und anfällige Algorithmen bestimmt wird, sondern auf einem indirekten Wege über die einfache Ermittlung der Lage der Referenzmarkierung.The control device is set up to determine the target object position of the target object in relation to the robot device from the spatial position of the reference marking in relation to the robot device and the reference position of the reference marking in relation to the target object. In other words, the control device is set up to determine which target object position the target object has from the determined spatial position of the reference marking and the reference position stored in the control device, which indicates where the reference marking is located on the target object. The advantage of the invention is that the exact position of the target object, which is required for gripping the target object, for example, is not determined by computationally intensive and susceptible algorithms, but rather indirectly by simply determining the position of the reference marking.

Die Erfindung umfasst auch optionale Weiterbildungen, durch die sich weitere Vorteile ergeben.The invention also includes optional developments that result in further advantages.

Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, den Bildausschnitt und/oder die Verzerrung der vorbestimmten Referenzmarkierung durch Methoden maschinellen Lernens zu erfassen. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, den Bildausschnitt, in welchem sich die Referenzmarkierung auf dem Zielobjekt befindet und/oder die Verzerrung der Referenzmarkierung mittels einer Anwendung von Methoden maschinellen Lernens zu erfassen. Bei den Methoden maschinellen Lernens kann es sich insbesondere um automatische Bilderkennung über maschinelles Sehen handeln. Mit anderen Worten wird mittels einer Ausprägung künstlicher Intelligenz, dem maschinellen Lernen, der den Bildausschnitt, in welchem sich die Referenzmarkierung befindet, identifiziert und darüber hinaus in diesem Bereich anschließend die Referenzmarkierung und deren Verzerrung ermittelt. Das maschinelle Lernen kann beispielsweise durch einen, insbesondere lernfähigen, Algorithmus ausgebildet sein. Durch das Verwenden des maschinellen Lernens kann das Verfahren beispielsweise besonders vorteilhaft durchgeführt werden und darüber hinaus auf einfache Weise an neue Referenzmarkierungen und Zielobjekte angepasst werden.A development of the invention provides that the control device is set up to detect the image section and/or the distortion of the predetermined reference marking using machine learning methods. In other words, the control device is set up to detect the image section in which the reference marking is located on the target object and/or the distortion of the reference marking using machine learning methods. With the methods of machine learning it can in particular be automatic image recognition via machine vision. In other words, a form of artificial intelligence, machine learning, is used to identify the image section in which the reference marking is located and, moreover, to subsequently determine the reference marking and its distortion in this area. The machine learning can be formed, for example, by an algorithm, in particular one that is capable of learning. By using machine learning, the method can be carried out particularly advantageously, for example, and can also be easily adapted to new reference markings and target objects.

Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, die Methoden maschinellen Lernens unter Einbeziehung eines neuronalen Netzes anzuwenden. Bei dem maschinellen Lernen können im Wesentlichen zwei Ansätze verfolgt werden: Erstens symbolische Ansätze, wie aussagenlogische Systeme, in denen das Wissen - sowohl die Beispiele als auch die induzierten Regeln - explizit repräsentiert ist, welche beispielsweise durch den Algorithmus ausgedrückt werden können. Zweitens subsymbolische Systeme wie, insbesondere künstliche, neuronale Netze, die nach dem Vorbild des menschlichen Gehirns funktionieren und in denen das Wissen implizit repräsentiert ist. Dabei sind auch Kombinationen des wenigstens einen Algorithmus und des wenigstens einen neuronalen Netz denkbar. Dabei kann der Algorithmus lernfähig, insbesondere selbstlernfähig, sein und beispielsweise durch das neuronale Netz ausgeführt werden bzw. erhält das neuronale Netz entsprechend des lernenden Algorithmus Anweisungen für seine Vorhersage und/oder für das Identifizieren und/oder Auswerten, welches beispielsweise mittels einer Mustererkennung, welche durch das neuronale Netz oder den Algorithmus erlernbar ist, realisiert werden kann. Dadurch ergibt sich der Vorteil, dass das maschinelle Lernen beispielsweise nicht durch einen Algorithmus auf eine konventionelle Prozessorarchitektur durchgeführt werden muss, sondern sich aufgrund der Verwendung des neuronalen Netzes bestimmte Vorteile bei der Erkennung ergeben können.A development of the invention provides that the control device is set up to apply the methods of machine learning including a neural network. Two main approaches can be followed in machine learning: First, symbolic approaches, such as propositional systems, in which the knowledge - both the examples and the induced rules - is explicitly represented, which can be expressed by the algorithm, for example. Second, sub-symbolic systems such as, in particular, artificial neural networks that function on the model of the human brain and in which knowledge is implicitly represented. In this case, combinations of the at least one algorithm and the at least one neural network are also conceivable. The algorithm can be capable of learning, in particular self-learning, and can be executed by the neural network, for example, or the neural network receives instructions for its prediction and/or for identification and/or evaluation according to the learning algorithm, which, for example, by means of pattern recognition, which can be learned by the neural network or the algorithm can be realized. This results in the advantage that the machine learning does not have to be carried out by an algorithm on a conventional processor architecture, for example, but that certain advantages can result in the recognition due to the use of the neural network.

Eine Weiterbildung der Erfindung sieht vor, dass die Referenzmarkierung einen Strichcode und/oder einen Flächencode umfasst. Mit anderen Worten weist die Referenzmarkierung einen als Strichcode ausgebildeten Bereich auf oder einen Flächencode, wobei es sich um einen zweidimensionalen Code handeln kann. Bei dem zweidimensionalen Code kann es sich insbesondere um einen AprilTag-, ARtag-, ArUco- oder QR-Code handeln. Durch die Weiterbildung ergibt sich der Vorteil, dass die Referenzmarkierung für die Steuereinrichtung einfach zu erkennende Bereiche aufweist, deren Verzerrung durch die Steuereinheit einfach und genau ermittelt werden kann. Durch die Verwendung eines Strichcodes und/oder eines Flächencodes können auch Informationen über eine Art oder eine Ablagestelle, an der das Zielobjekt durch die Robotervorrichtung abgelegt werden soll, bereitgestellt werden.A development of the invention provides that the reference marking includes a bar code and/or an area code. In other words, the reference marking has an area designed as a bar code or an area code, which can be a two-dimensional code. The two-dimensional code can in particular be an AprilTag, ARtag, ArUco or QR code. The development results in the advantage that the reference marking has areas that are easy for the control device to recognize, the distortion of which can be determined easily and precisely by the control unit. Through the use of a bar code and/or an area code, information about a type or location where the target object is to be deposited by the robotic device may also be provided.

Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinrichtung dazu eingerichtet ist, die Robotervorrichtung anzusteuern, um das Zielobjekt in der Lage des Zielobjekts in Bezug auf die Robotervorrichtung aufzunehmen und/oder zu bewegen und/oder abzulegen. Mit anderen Worten ist die Steuereinrichtung dazu eingerichtet, die Robotervorrichtung zu regeln und/oder anzusteuern, damit diese das Zielobjekt aufnimmt, bewegt oder ablegt. Es kann beispielsweise vorgesehen sein, dass das Zielobjekt eine durch die Robotervorrichtung zu hebende Kiste ist. Über die Erfassung der Referenzmarkierung durch die Robotervorrichtung kann die Zielobjektlage des Zielobjekts ermittelt, und ein vorbestimmter Greifpunkt zum Greifen des Zielobjekts bestimmt werden. In einem weiteren Schritt kann die Robotervorrichtung das Zielobjekt greifen und zum Transport an eine Zielposition aufnehmen oder bewegen. Es kann auch vorgesehen sein, dass die Steuereinrichtung eine genaue Lage des Zielobjekts an einem Greifer der Robotervorrichtung durch eine Erfassung der Referenzmarkierung bestimmen kann und somit das Ablegen des Zielobjekts an einer vorbestimmten Stelle verfolgen kann.A development of the invention provides that the control device is set up to control the robotic device in order to pick up and/or move and/or put down the target object in the position of the target object in relation to the robotic device. In other words, the control device is set up to regulate and/or control the robot device so that it picks up, moves or places the target object. Provision can be made, for example, for the target object to be a box to be lifted by the robotic device. The position of the target object can be determined by the robot device detecting the reference marking, and a predetermined gripping point for gripping the target object can be determined. In a further step, the robot device can grip the target object and pick it up or move it for transport to a target position. Provision can also be made for the control device to be able to determine an exact position of the target object on a gripper of the robotic device by detecting the reference marking and thus to be able to track the placement of the target object at a predetermined location.

Eine Weiterbildung der Erfindung sieht vor, dass in der Steuereinrichtung eine vorbestimmte Inhaltslage eines Inhaltsobjekts in Bezug auf die Zielobjektlage gespeichert ist. Mit anderen Worten ist in der Steuereinrichtung gespeichert, welche örtliche Inhaltslage das Inhaltsobjekt in Bezug auf die Zielobjektlage des Zielobjekts aufweist. Es kann beispielsweise definiert sein, wo sich innerhalb eines als Kiste eingerichteten Zielobjekts ein bestimmter Gegenstand als Inhaltsobjekt befindet. Die Steuereinrichtung kann somit aus der ermittelten Zielobjektlage bestimmen, wo sich das Inhaltsobjekt befindet. Die Steuereinrichtung ist dazu eingerichtet, die Robotervorrichtung anzusteuern und das Inhaltsobjekt an der vorbestimmten Inhaltslage des Zielobjekts aufzunehmen und/oder zu bewegen und/oder abzulegen. Mit anderen Worten kann die Steuereinrichtung dazu vorgesehen sein, die Steuereinrichtung derart anzusteuern, dass das an der vorbestimmten Inhaltslage befindliche Inhaltsobjekt durch die Robotervorrichtung aufgenommen, bewegt oder abgelegt wird.A development of the invention provides that a predetermined content location of a content object in relation to the target object location is stored in the control device. In other words, what local content location the content object has in relation to the target object location of the target object is stored in the control device. For example, it can be defined where a specific item is located as a content object within a target object set up as a box. The control device can thus determine from the determined target object position where the content object is located. The control device is set up to control the robotic device and pick up and/or move and/or deposit the content object at the predetermined content location of the target object. In other words, the control device can be provided to control the control device in such a way that the content object located at the predetermined content layer is picked up, moved or put down by the robot device.

Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung als Gabelstapler eingerichtet ist. Mit anderen Worten handelt es sich bei der Robotervorrichtung um einen Gabelstapler. Dieser kann dazu eingerichtet sein, das vorbestimmte Zielobjekt mittels einer Gabel zu heben, zu transportieren oder abzusenken. Die Robotervorrichtung kann insbesondere dazu eingerichtet sein, mittels der erfassten Zielobjektlage einen Punkt zum Halten oder Heben des Zielobjekts zu ermitteln.A development of the invention provides that the robot device is set up as a forklift. In other words, the robotic device is a forklift. This can be set up to the predetermined goal lifting, transporting or lowering an object using a fork. In particular, the robot device can be set up to determine a point for holding or lifting the target object using the detected target object position.

Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung als Greifroboter oder Kran eingerichtet ist. Mit anderen Worten weist die Robotervorrichtung einen Greifarm auf oder ist als Kran eingerichtet. Die Robotervorrichtung kann dazu eingerichtet sein, das Zielobjekt zu greifen, um es zu heben oder zu bewegen. Eine Weiterbildung der Erfindung sieht vor, dass die Robotervorrichtung eine optische Erfassungseinrichtung aufweist, die zumindest zwei Kameras aufweist. Die Kameras sind jeweils dazu eingerichtet, das Umgebungsbild der Umgebung der Robotervorrichtung aus zumindest zwei Teilbildern der jeweiligen Kameras zu generieren, wobei die zumindest zwei Kameras dazu eingerichtet sind, die Teilbilder aus jeweiligen unterschiedlichen Perspektiven aufzunehmen. Dadurch ergibt sich der Vorteil, dass ein größeres Umgebungsbild ermöglicht wird, als es mit einer optischen Erfassungseinrichtung mit nur einer Kamera möglich wäre.A development of the invention provides that the robot device is set up as a gripping robot or crane. In other words, the robot device has a gripping arm or is set up as a crane. The robotic device may be configured to grip the target object in order to lift or move it. A further development of the invention provides that the robot device has an optical detection device which has at least two cameras. The cameras are each set up to generate the environmental image of the area surrounding the robot device from at least two partial images of the respective cameras, with the at least two cameras being set up to record the partial images from different perspectives. This results in the advantage that a larger image of the surroundings is made possible than would be possible with an optical detection device with only one camera.

Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Ermittlung einer Zielobjektlage eines vorbestimmten Zielobjekts in Bezug auf eine Robotervorrichtung. Mit anderen Worten handelt es sich um ein Verfahren, das eine Ermittlung einer örtlichen Lage des vorbestimmten Zielobjekts in Bezug auf die Robotervorrichtung ermöglicht. In dem Verfahren ist es vorgesehen, durch eine optische Erfassungseinrichtung der Robotervorrichtung ein Umgebungsbild einer Umgebung der Robotervorrichtung zu erfassen. Es ist vorgesehen, dass durch eine Steuereinrichtung der Robotervorrichtung eine vorbestimmte Referenzmarkierung und eine vorbestimmte Referenzlage der Referenzmarkierung in Bezug auf das vorbestimmte Zielobjekt gespeichert werden. Mit anderen Worten ist es vorgesehen, dass in der Steuereinrichtung die Referenzmarkierung gespeichert wird und eine vorbestimmte Referenzlage, welche angibt, an welchem Ort sich die Referenzmarkierung in Bezug auf das Zielobjekt befindet. Durch die Steuereinrichtung wird ein die Referenzmarkierung wiedergebender Bildausschnitt des Zielobjekts in dem Umgebungsbild der Umgebung der Robotervorrichtung erfasst. Mit anderen Worten wird durch die Steuereinrichtung ein Bildausschnitt ermittelt, in dem sich die Referenzmarkierung befindet. Durch die Steuereinrichtung wird die vorbestimmte Referenzmarkierung in dem Bildausschnitt erfasst und eine Verzerrung der vorbestimmten Referenzmarkierung im Bildausschnitt ermittelt. Aus der Verzerrung der Referenzmarkierung wird durch die Steuereinrichtung eine Raumlage der Referenzmarkierung in Bezug auf die Robotervorrichtung ermittelt. Aus der Raumlage der Referenzmarkierung wird durch die Steuereinrichtung unter Einbeziehung der Referenzlage der Referenzmarkierung in Bezug auf das Zielobjekt die Zielobjektlage des Zielobjekts in Bezug auf die Robotervorrichtung ermittelt. Mit anderen Worten wird durch die Steuereinrichtung ermittelt, welche Lage das Zielobjekt in Bezug auf die Robotervorrichtung aufweist.A second aspect of the invention relates to a method for determining a target object position of a predetermined target object in relation to a robot device. In other words, it is a method that enables a local position of the predetermined target object to be determined in relation to the robot device. The method provides for an image of the surroundings of the robotic device to be captured by an optical detection device of the robotic device. It is provided that a predetermined reference marking and a predetermined reference position of the reference marking in relation to the predetermined target object are stored by a control device of the robotic device. In other words, it is provided that the reference marking is stored in the control device and a predetermined reference position, which indicates the location at which the reference marking is located in relation to the target object. An image section of the target object, which reproduces the reference marking, is recorded by the control device in the environmental image of the area surrounding the robot device. In other words, the control device determines an image section in which the reference marking is located. The predetermined reference marking in the image section is detected by the control device and a distortion of the predetermined reference marking in the image section is determined. A spatial position of the reference marking in relation to the robot device is determined by the control device from the distortion of the reference marking. From the spatial position of the reference marking, the target object position of the target object in relation to the robot device is determined by the control device, including the reference position of the reference marking in relation to the target object. In other words, the control device determines which position the target object has in relation to the robot device.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures can be used not only in the combination specified in each case, but also in other combinations or on their own.

Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung einer Robotervorrichtung;
2 ein mögliches Zielobjekt; und
3 ein Verfahren zur Ermittlung einer Zielobjektlage;
4 ein Verfahren zur Ermittlung einer Zielobjektlage; und
5 ein mögliches Verfahren zur Ermittlung einer Zielobjektlage.

The invention will now be explained in more detail using a preferred exemplary embodiment and with reference to the drawings. Show it:

1 a schematic representation of a robot device;
2 a possible target object; and
3 a method for determining a target object location;
4 a method for determining a target object location; and
5 a possible method for determining a target object position.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.Elements with the same function are each provided with the same reference symbols in the figures.

1 zeigt eine schematische Darstellung einer Robotervorrichtung 1. Bei der schematisch dargestellten Robotervorrichtung 1 kann es sich um einen Greifroboter handeln, der einen Greifarm 2 aufweisen kann, um Objekte zu heben, zu bewegen und abzulegen. Die Robotervorrichtung 1 kann eine Steuereinrichtung 3 aufweisen, wobei es sich um eine elektronische Einrichtung handeln kann, die einen Mikroprozessor und/oder einen Mikrocontroller aufweisen kann. Die Steuereinrichtung 3 kann dazu eingerichtet sein, die Robotervorrichtung 1 zu steuern. Die Robotervorrichtung 1 kann ortsfest oder mobil sein und dazu eingerichtet sein. Die Robotervorrichtung 1 kann insbesondere in einer Lagerhalle oder an einer Werkbank angeordnet sein. Bei den Zielobjekten 4 kann es sich beispielsweise um Ladungsträger, Kisten, Flaschen oder Bauteile handeln. Damit das Zielobjekt 4 durch die Robotervorrichtung 1 angehoben und bewegt werden kann, kann es erforderlich sein, dass der Robotervorrichtung 1 eine genaue Zielobjektlage 5 des Zielobjekts 4 in Bezug auf die Robotervorrichtung 1 bekannt ist. Um eine Erfassung der Zielobjektlage 5 des Zielobjekts 4 ermöglichen zu können, kann die Robotervorrichtung 1 eine optische Erfassungseinrichtung 6 aufweisen, welche beispielsweise eine, zwei oder mehrere Kameras 7 aufweisen kann. Die zumindest eine Kamera 7 kann dazu eingerichtet sein, elektromagnetische Wellen im sichtbaren Spektrum zu erfassen. Es kann auch möglich sein, dass elektromagnetische Wellen im ultravioletten und/oder Infrarotbereich erfasst werden können. Die Bestimmung der Zielobjektlage 5 des Zielobjekts 4 in Bezug auf die Robotervorrichtung 1 kann durch die Steuereinrichtung 3 erfolgen. Um dies zu ermöglichen, können die Kameras 7 der optischen Erfassungseinrichtung 6 ein Umgebungsbild der Umgebung der Robotervorrichtung 1 erfassen. Die optische Erfassungseinrichtung 6 kann das erfasste Umgebungsbild an die Steuereinrichtung 3 zur weiteren Auswertung übermitteln. Die Steuereinrichtung 3 kann dazu eingerichtet sein, in dem Umgebungsbild einen Bildausschnitt zu ermitteln, in welchem sich eine Referenzmarkierung 8 befindet. Die Referenzmarkierung 8 kann beispielsweise einen Strichcode oder einen 2D-Code aufweisen. Die Ermittlung des Bildausschnitts kann beispielsweise über Methoden maschinellen Lernens erfolgen. Die Referenzmarkierung 8 des Zielobjekts 4 kann in der Steuereinrichtung 3 gespeichert sein. In der Steuereinrichtung 3 kann auch für die Referenzmarkierung 8 eine vorbestimmte Referenzlage 9 gespeichert sein, welche angibt, welche Referenzlage 9 die Referenzmarkierung 8 in Bezug auf das Zielobjekt 4 aufweist. Durch die Referenzlage 9 wird somit bestimmt, wo die Referenzmarkierung 8 auf dem Zielobjekt 4 angebracht ist. Die Steuereinrichtung 3 kann eine Verzerrung der Referenzmarkierung 8 ermitteln. Aus dieser Verzerrung der Referenzmarkierung 8 kann die Steuereinrichtung 3 bestimmen, welche Raumlage 10 die Referenzmarkierung 8 in Bezug auf die Robotervorrichtung 1 aufweisen kann. Dadurch kann der Steuereinrichtung 3 die genaue Lage 10 des Referenzmusters in Bezug auf die Robotervorrichtung 1 bekannt sein. Dadurch, dass die Raumlage 10 der Referenzmarkierung 8 in Bezug auf das Zielobjekt 4 in der Steuereinrichtung 3 gespeichert ist, kann aus der Referenzlage 9 und der Raumlage 10 die Zielobjektlage 5des Zielobjekts 4 in Bezug auf die Robotervorrichtung 1 ermittelt werden. Dadurch ist es auf indirektem Wege möglich, die genaue Zielobjektlage 5 des Zielobjekts 4 zu ermitteln, um ein Greifen des Zielobjekts 4 zu ermöglichen. Es kann vorgesehen sein, dass ein Inhaltsobjekt 11 aus dem Zielobjekt 4 durch die Robotervorrichtung 1 entnommen werden soll. Es kann vorgesehen sein, dass das Inhaltsobjekt 11 an einer vorbestimmten Inhaltslage 12 in Bezug auf die Referenzmarkierung 8 positioniert ist. Die Inhaltslage 12 des Inhaltsobjekts 11 in Bezug auf die Referenzmarkierung 8 des Zielobjekts 4 kann ebenfalls in der Steuereinrichtung 3 gespeichert sein. Durch eine Kenntnis der Raumlage 10 der Referenzmarkierung 8 ist es somit möglich, die Lage des Inhaltsobjekts 11 zu bestimmen. Dadurch kann es möglich sein, dass die Steuereinrichtung 3 die Robotervorrichtung 1 derart ansteuert, dass sie das Inhaltsobjekt 11, wobei es sich beispielsweise um ein Bauteil handeln kann, welches an einer vorbestimmten Stelle in dem Zielobjekt 4 angeordnet ist, entnommen werden kann. 1 shows a schematic representation of a robot device 1. The schematically represented robot device 1 can be a gripping robot, which can have a gripping arm 2 in order to lift, move and put down objects. The robotic device 1 can have a control device 3, which can be an electronic device that can have a microprocessor and/or a microcontroller. The control device 3 can be set up to control the robotic device 1 . The robotic device 1 can be stationary or mobile and can be configured to do so. The robotic device 1 can be arranged in particular in a warehouse or on a workbench. The target objects 4 can be, for example, load carriers, crates, bottles or components. So that the target object 4 can be lifted and moved by the robotic device 1, it may be necessary for the robot to direction 1 an exact target object position 5 of the target object 4 in relation to the robot device 1 is known. In order to be able to detect the target object position 5 of the target object 4, the robot device 1 can have an optical detection device 6, which can have one, two or more cameras 7, for example. The at least one camera 7 can be set up to capture electromagnetic waves in the visible spectrum. It may also be possible that electromagnetic waves in the ultraviolet and/or infrared range can be detected. The target object position 5 of the target object 4 in relation to the robot device 1 can be determined by the control device 3 . In order to make this possible, the cameras 7 of the optical detection device 6 can capture an image of the surroundings of the robot device 1 . The optical detection device 6 can transmit the captured image of the surroundings to the control device 3 for further evaluation. The control device 3 can be set up to determine an image detail in the environmental image in which a reference marking 8 is located. The reference marking 8 can have a bar code or a 2D code, for example. The image section can be determined, for example, using machine learning methods. The reference marking 8 of the target object 4 can be stored in the control device 3 . A predetermined reference position 9 can also be stored in the control device 3 for the reference marking 8 , which indicates which reference position 9 the reference marking 8 has in relation to the target object 4 . The reference position 9 thus determines where the reference marking 8 is attached to the target object 4 . The control device 3 can determine a distortion of the reference marking 8 . The control device 3 can use this distortion of the reference marking 8 to determine which spatial position 10 the reference marking 8 can have in relation to the robot device 1 . As a result, the exact position 10 of the reference pattern in relation to the robot device 1 can be known to the control device 3 . Because the spatial position 10 of the reference marking 8 in relation to the target object 4 is stored in the control device 3, the target object position 5 of the target object 4 in relation to the robot device 1 can be determined from the reference position 9 and the spatial position 10. This makes it possible indirectly to determine the precise target object position 5 of the target object 4 in order to enable the target object 4 to be gripped. Provision can be made for a content object 11 to be removed from the target object 4 by the robotic device 1 . Provision can be made for the content object 11 to be positioned at a predetermined content location 12 in relation to the reference marking 8 . The content location 12 of the content object 11 in relation to the reference marking 8 of the target object 4 can also be stored in the control device 3 . By knowing the spatial position 10 of the reference marking 8 it is thus possible to determine the position of the content object 11 . As a result, it may be possible for the control device 3 to control the robotic device 1 in such a way that it can remove the content object 11 , which can, for example, be a component that is arranged at a predetermined point in the target object 4 .

2 zeigt ein mögliches Zielobjekt 4, welches eine Referenzmarkierung 8 aufweisen kann. Das Zielobjekt 4 kann beispielsweise eine Kiste zur Aufnahme von Bauteilen sein. Die Referenzmarkierung 8 kann an einer vorbestimmten Stelle des Zielobjekts 4 angeordnet sein. Die Referenzmarkierung 8 kann derart beschaffen sein, dass sie für jedes gleichartige Zielobjekt 4 identisch ist. Für die jeweilige Beschaffenheit der Referenzmarkierung 8 kann jeweils in der Steuereinrichtung 3 gespeichert sein, an welchem Ort die Referenzmarkierung 8 in dem Zielobjekt 4 angeordnet ist. Eine umständliche Erfassung der Zielobjektlage 5 des Zielobjekts 4, um ein Greifen des Zielobjektes 4 zu ermöglichen, kann dadurch vermieden werden. Eine Erfassung der Referenzmarkierung 8 ist im Vergleich dazu einfacher und zuverlässiger. Handelt es sich bei dem Zielobjekt 4 beispielsweise um eine Palette oder eine Kiste mit Unterteilungen, kann es vorgesehen sein, dass ein nicht markiertes Inhaltsobjekt 11 an einer vorbestimmten Inhaltslage 12 hinterlegt sein kann. Dadurch ist es möglich, das Inhaltsobjekt 11 an der Z Inhaltslage 12 des Inhaltsobjekts 11 zu greifen, ohne das Inhaltsobjekt 11 selbst erfassen zu müssen. 2 shows a possible target object 4, which may have a reference mark 8. The target object 4 can be a box for receiving components, for example. The reference marking 8 can be arranged at a predetermined point on the target object 4 . The reference marking 8 can be designed in such a way that it is identical for each target object 4 of the same type. The location at which the reference marking 8 is arranged in the target object 4 can be stored in the control device 3 for the respective nature of the reference marking 8 . A laborious detection of the target object position 5 of the target object 4 in order to enable the target object 4 to be gripped can be avoided as a result. By comparison, detecting the reference mark 8 is simpler and more reliable. If the target object 4 is, for example, a pallet or a box with subdivisions, it can be provided that an unmarked content object 11 can be stored in a predetermined content layer 12 . This makes it possible to grab the content object 11 at the Z content layer 12 of the content object 11 without having to grasp the content object 11 itself.

3 und 4 zeigen ein mögliches Verfahren zur Ermittlung einer Zielobjektlage 5 eines Zielobjekts 4 in Bezug auf eine Robotervorrichtung 1 nach dem Stand der Technik. Es kann vorgesehen sein, dass in dem Stand der Technik ein Umgebungsbild 13 aufgenommen wird, in welchem das Zielobjekt 4 abgebildet sein kann. In einem weiteren Schritt kann eine Steuereinrichtung 3 mittels Methoden maschinellen Sehens beispielsweise Kanten 14 in dem Umgebungsbild 13 erfassen. Über die ermittelten Kanten 14 kann die Steuereinrichtung 3 die Zielobjektlage 5 des Zielobjekts 4 ermitteln. Die Ermittlung der Zielobjektlage 5 nach diesem Verfahren ist jedoch sehr aufwendig oder ungenau. In der Erfindung kann das beschriebene Verfahren in einfacher Form in einem ersten Schritt angewandt werden, um den Bildausschnitt zu ermitteln, in welchem sich die Referenzmarkierung 8 befinden kann. 3 and 4 show a possible method for determining a target object position 5 of a target object 4 in relation to a robot device 1 according to the prior art. Provision can be made for an environment image 13 to be recorded in the prior art, in which the target object 4 can be depicted. In a further step, a control device 3 can detect edges 14 in the environmental image 13 by means of machine vision methods, for example. The control device 3 can determine the target object position 5 of the target object 4 via the determined edges 14 . However, determining the position of the target object 5 using this method is very complicated or imprecise. In the invention, the method described can be used in a simple form in a first step in order to determine the image section in which the reference marking 8 can be located.

5 zeigt ein Verfahren zur Ermittlung einer Zielobjektlage 5 eines vorbestimmten Zielobjekts 4 in Bezug auf eine Robotervorrichtung 1. In einem ersten Schritt werden eine vorbestimmte Referenzmarkierung 8 und eine vorbestimmte Referenzlage 9 der Referenzmarkierung 8 in Bezug auf das vorbestimmte Zielobjekt 4 in der Steuereinrichtung 3 gespeichert (S1). Durch eine optische Erfassungseinrichtung 6 der Robotervorrichtung 1 wird ein Umgebungsbild einer Umgebung der Robotervorrichtung 1 erfasst (S2). Durch die Steuereinrichtung 3 wird der die Referenzmarkierung 8 wiedergebende Bildausschnitt des Zielobjekts 4 in dem Umgebungsbild der Umgebung der Robotervorrichtung 1 erfasst (S3). Durch die Steuereinrichtung 3 wird die vorbestimmte Referenzmarkierung 8 in dem Bildausschnitt erfasst, und eine Verzerrung der vorbestimmten Referenzmarkierung 8 in dem Bildausschnitt ermittelt (S4). Durch die Steuereinrichtung 3 wird aus der Verzerrung der Referenzmarkierung 8 eine Raumlage 10 der Referenzmarkierung 8 in Bezug auf die Robotervorrichtung 1 ermittelt (S5), und aus der Raumlage 10 der Referenzmarkierung 8 in Bezug auf die Robotervorrichtung 1 und der Referenzlage 9 der Referenzmarkierung 8 in Bezug auf das Zielobjekt 4 die Zielobjektlage 5 des Zielobjekts 4 in Bezug auf die Robotervorrichtung 1 ermittelt (S6). 5 shows a method for determining a target object position 5 of a predetermined target object 4 in relation to a robot device 1. In a first step, a predetermined reference mark Marking 8 and a predetermined reference position 9 of the reference marking 8 in relation to the predetermined target object 4 are stored in the control device 3 (S1). An environmental image of an area surrounding the robot device 1 is captured by an optical detection device 6 of the robot device 1 (S2). The control device 3 captures the image section of the target object 4 that reproduces the reference marking 8 in the environmental image of the area surrounding the robot device 1 (S3). The predetermined reference marking 8 in the image section is detected by the control device 3 and a distortion of the predetermined reference marking 8 in the image section is determined (S4). The control device 3 determines a spatial position 10 of the reference marking 8 in relation to the robot device 1 from the distortion of the reference marking 8 (S5), and from the spatial position 10 of the reference marking 8 in relation to the robot device 1 and the reference position 9 of the reference marking 8 in In relation to the target object 4, the target object position 5 of the target object 4 in relation to the robot device 1 is determined (S6).

BezugszeichenlisteReference List

11: Robotervorrichtungrobotic device
22: Greifarmgripper arm
33: Steuereinrichtungcontrol device
44: Zielobjekttarget object
55: Zielobjektlagetarget location
66: Erfassungseinrichtungdetection device
77: Kamerascameras
88th: Referenzmarkierungreference mark
99: Referenzlagereference position
1010: Raumlageposition
1111: Inhaltsobjektcontent object
1212: Inhaltsobjektlagecontent object location
1313: Umgebungsbildenvironment picture
1414: Kantenedge
S1 - S6S1 - S6: Verfahrensschritteprocess steps

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102019125169 A1 [0004]

Claims

Robotic device (1) set up to determine a target object position (5) of a predetermined target object (4) in relation to the robotic device (1), the robotic device (1) having an optical detection device (6) which is set up to capture an image of an environment of the robot device (1), characterized in that the robot device (1) has a control device (3) in which a predetermined reference marking (8) and a predetermined reference position (9) of the reference marking (8) in relation to the predetermined target object are stored, wherein the control device (3) is set up to - capture an image section of the target object that reproduces the reference marking (8) in the environmental image of the area surrounding the robot device (1), - capture the predetermined reference marking (8) in the image section, and to determine a distortion of the predetermined reference marking (8) in the image detail, - from the Verz detecting the reference marking (8) to determine a spatial position of the reference marking (8) in relation to the robot device (1), and - from the spatial position of the reference marking (8) in relation to the robot device (1) and the reference position (9) of the reference marking (8) in relation to the target object (4) to determine the target object position (5) of the target object (4) in relation to the robot device (1).

Robot device (1) after claim 1 , characterized in that the control device (3) is set up to detect the image section and/or the distortion of the predetermined reference marking (8) using machine learning methods.

Robot device (1) after claim 2 , characterized in that the control device (3) is set up to apply the methods of machine learning including a neural network.

Robot device (1) according to one of the preceding claims, characterized in that the reference marking (8) comprises a bar code and/or an area code.

Robot device (1) according to one of the preceding claims, characterized in that the control device (3) is set up to control the robot device (1) in order to pick up the target object in the target object position (5) in relation to the robot device (1) and/ or to move and/or put down.

Robot device (1) after claim 5 , characterized in that a predetermined content location (11) of a content object (12) in relation to the target object location (5) is stored in the control device (3), and the control device (3) is set up to control the robot device (1), to pick up and/or move and/or deposit the content object (11) at the predetermined content location (12).

Robot device (1) after claim 5 or 6 , characterized in that the robot device (1) is set up as a forklift.

Robot device (1) after claim 5 or 6 , characterized in that the robot device (1) is set up as a gripping robot or crane.

Robot device (1) according to one of the preceding claims, characterized in that the optical detection device (6) has at least two cameras (7) which are set up to produce the environmental image of the area surrounding the robot device (1) from at least two partial images of the respective cameras ( 7), wherein the at least two cameras (7) are set up to record the partial images from respective, different perspectives.

Method for determining a target object position (5) of a predetermined target object (4) in relation to a robot device (1), an image of the surroundings of an area surrounding the robot device (1) being recorded by an optical detection device (6) of the robot device (1), characterized characterized in that a control device (3) of the robotic device (1) stores - a predetermined reference marking (8) and a predetermined reference position (9) of the reference marking (8) in relation to the predetermined target object, - a reference marking (8) reproducing Image detail of the target object (4) is captured in the environmental image of the area surrounding the robotic device (1), - the predetermined reference marking (8) is captured in the image detail, and a distortion of the predetermined reference marking (8) in the image detail is determined, - from the Distortion of the reference mark (8) a spatial position of the reference mark (8) in relation to the robotic device (1) is determined, and - the target object position (5 ) of the target object (4) with respect to the robot device (1) is determined.