DE102021126517A1

DE102021126517A1 - Robot device, method for operating a robot device and control unit for a robot device

Info

Publication number: DE102021126517A1
Application number: DE102021126517.7A
Authority: DE
Inventors: Christian Poss; Thomas Irrenhauser
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-10-13
Filing date: 2021-10-13
Publication date: 2023-04-13

Abstract

Die Erfindung betrifft eine Robotervorrichtung (1) mit einer Aktuatoreinrichtung (2), welche einen Linearaktuator (3) aufweist, und einer Roboterkomponente (4), die eine Kameraeinrichtung (7) aufweist. Es ist vorgesehen, dass die Aktuatoreinrichtung (2) eine Rotationseinheit (9) aufweist, die an der Roboterkomponente (4) angeordnet ist und dazu eingerichtet ist, die Kameraeinrichtung (7) rotatorisch zu bewegen. Die Robotervorrichtung (1) weist eine Steuereinheit (8) auf, die dazu eingerichtet ist, die Aktuatoreinrichtung (2) zum sequentiellen Bewegen der Kameraeinrichtung (7) in die jeweiligen Kalibrierungsposen (10) anzusteuern und die Kameraeinrichtung (7) in jeder der Kalibrierungsposen (10) zur Aufnahme eines Kalibrierungsbildes (12) eines in einer Umgebung der Robotervorrichtung (1) angeordneten Kalibrierungsmusters (11) anzusteuern. Die Steuereinheit (8) ist dazu eingerichtet, Bildkoordinaten (14) vorbestimmter Referenzpunkte (13) des Kalibrierungsmusters (11) in den jeweiligen Kalibrierungsbildern (12) zu erfassen, und aus den Bildkoordinaten (14), nach einem vorbestimmten Kalibrierungsverfahren zumindest eine Komponente einer Kalibrierungsmatrix (15) der Kameraeinrichtung (7) zu ermitteln.The invention relates to a robot device (1) with an actuator device (2) which has a linear actuator (3) and a robot component (4) which has a camera device (7). It is provided that the actuator device (2) has a rotation unit (9) which is arranged on the robot component (4) and is set up to move the camera device (7) in rotation. The robotic device (1) has a control unit (8) which is set up to control the actuator device (2) for sequentially moving the camera device (7) into the respective calibration poses (10) and to control the camera device (7) in each of the calibration poses ( 10) for recording a calibration image (12) of a calibration pattern (11) arranged in an environment of the robot device (1). The control unit (8) is set up to detect image coordinates (14) of predetermined reference points (13) of the calibration pattern (11) in the respective calibration images (12), and from the image coordinates (14), according to a predetermined calibration method, at least one component of a calibration matrix (15) to determine the camera device (7).

Description

Die Erfindung betrifft eine Robotervorrichtung mit einer Aktuatoreinrichtung, ein Verfahren zum Betreiben einer Robotervorrichtung sowie eine Steuereinheit für eine RobotervorrichtungThe invention relates to a robot device with an actuator device, a method for operating a robot device and a control unit for a robot device

Robotervorrichtungen werden zur automatischen Bewegung oder Bearbeitung von Objekten eingesetzt. Hierfür ist es erforderlich, dass der Robotervorrichtung eine Objektlage des zu bewegenden oder des zu bearbeitenden Objekts bekannt sind. Ein verbreitetes Verfahren zur Ermittlung der Objektlage in Bezug auf die Robotervorrichtung basiert auf Objekterkennungsalgorithmen, welche das Objekt in zumindest einem Bild, welches von einer Kameraeinrichtung der Robotervorrichtung aufgenommen ist, erkennen und die Objektlage daraus ermitteln. Um eine zuverlässige Ermittlung der Objektlage des Objekts zu ermöglichen, ist es erforderlich, die hierfür verwendete Kameraeinrichtung zu kalibrieren. Eine Kalibrierung umfasst eine Generierung einer Kameramatrix, in welcher extrinsische und intrinsische Parameter der Kameraeinrichtung beschrieben sein können.Robotic devices are used to automatically move or manipulate objects. For this it is necessary that the robot device is aware of an object position of the object to be moved or of the object to be processed. A common method for determining the position of the object in relation to the robotic device is based on object recognition algorithms, which recognize the object in at least one image recorded by a camera device of the robotic device and determine the object's position therefrom. In order to enable the position of the object to be reliably determined, it is necessary to calibrate the camera device used for this purpose. Calibration includes generating a camera matrix in which extrinsic and intrinsic parameters of the camera device can be described.

Um eine Kameramatrix zu ermitteln, ist es verbreitet, sogenannte Kalibrierungsmuster zu verwenden, welche in einer Umgebung der Robotervorrichtung angeordnet werden. Von diesen Kalibrierungsmustern werden durch die Kameraeinrichtung Kalibrierungsbilder aus verschiedenen Kameraposen der Kameraeinrichtung aufgenommen. Bei den Kalibrierungsmustern handelt es sich gewöhnlicherweise um zweidimensionale Schwarz-Weiß-Muster, welche durch Bilderkennungsalgorithmen zuverlässig und genau in den jeweiligen Kalibrierungsbildern erfasst werden können.In order to determine a camera matrix, it is common to use so-called calibration patterns, which are arranged in an environment of the robotic device. Calibration images from different camera poses of the camera device are recorded by the camera device from these calibration patterns. The calibration patterns are usually two-dimensional black and white patterns that can be reliably and accurately detected in the respective calibration images by image recognition algorithms.

Für eine Ermittlung der Kameramatrix ist es erforderlich, dass die Kalibrierungsbilder des Kalibrierungsmusters aus unterschiedlichen Kameraposen der Kameraeinrichtung bezüglich des Kalibrierungsmusters aufgenommen werden, wobei sich die Posen in ihren translatorischen und rotatorischen Komponenten voneinander unterscheiden. Mit anderen Worten ist es erforderlich, sowohl die Position der Kameraeinrichtung, als auch die Ausrichtung der Kameraeinrichtung in Bezug auf das Kalibrierungsmuster zu variieren. In order to determine the camera matrix, it is necessary for the calibration images of the calibration pattern to be recorded from different camera poses of the camera device with respect to the calibration pattern, with the poses differing from one another in their translational and rotational components. In other words, it is necessary to vary both the position of the camera device and the orientation of the camera device with respect to the calibration pattern.

Dies kann beispielsweise dadurch erfolgen, dass die Kameraeinrichtung verfahren wird, um die verschiedenen Posen bezüglich des Kalibrierungsmusters zu erreichen oder die Lage des Kalibrierungsmuster in Bezug auf die Kameraeinrichtung zwischen einer Aufnahme von Kalibrierungsbilder verfahren wird. Aus dem Stand der Technik ist es beispielsweise bekannt, das Kalibrierungsmuster durch einen Greifarm einer als Greifarmroboter ausgebildeten Robotervorrichtung in unterschiedliche Posen zu verfahren. Dabei wird in jeder Pose ein jeweiliges Kalibrierungsbild des Kalibrierungsmusters durch die Kameraeinrichtung aufgenommen. Wenn die Kameraeinrichtung an einem translatorisch und rotatorisch verfahrbaren Element angeordnet ist, Kann die Kalibrierung durch eine Bewegung der Kameraeinrichtung erfolgen.This can be done, for example, by moving the camera device in order to reach the different poses in relation to the calibration pattern or by moving the position of the calibration pattern in relation to the camera device between recording calibration images. It is known from the prior art, for example, to move the calibration pattern into different poses by a gripper arm of a robot device designed as a gripper arm robot. A respective calibration image of the calibration pattern is recorded by the camera device in each pose. If the camera device is arranged on an element that can be moved in translation and rotation, the calibration can be carried out by moving the camera device.

Ein Verfahren ist beispielsweise in der DE 11 2011 101 730 B4 offenbart. Die Druckschrift offenbart ein System und ein Verfahren zur robusten Kalibrierung zwischen einem Bildverarbeitungssystem und einem Roboter. In dem Verfahren ist es vorgesehen, den Roboter in eine Mehrzahl von Posen zu bewegen. In einer Anfangslage und in einer nachfolgenden Lage des Roboters werden Bilder eines Kalibrierobjekts aufgenommen. Bei dem Kalibrierobjekt kann es sich beispielsweise um eine Kalibrierplatte handeln, die an einem Endeffektor des Roboters befestigt werden kann. Es können erste sowie zweite Bildmerkmale mit genau bekannten Abständen in dem Kalibrierobjekt enthalten sein. Alternativ wird das Kalibrierobjekt im Raum befestigt, und die Kamera wird am Roboter befestigt, der anschließend in eine Mehrzahl von Posen bewegt wird, bei denen in einer Anfangslage und in einer nachfolgenden Lage des Roboters Bilder des Kalibrierobjekts aufgenommen werden. Mittels des Bildverarbeitungssystems werden die aufgenommenen Bilder analysiert, indem die Positionen der Bildmerkmale im Bild gemessen werden. Mittels der festgelegten Roboterposen und der gemessenen Bildmerkmalspositionen wird eine Transformation zwischen dem Koordinatensystem des Bildverarbeitungssystems und dem Koordinatensystem des Roboters sowie eine Transformation zwischen dem Koordinatensystem des Kalibrierobjekts und dem Koordinatensystem des Endeffektors bestimmt.A method is for example in the DE 11 2011 101 730 B4 disclosed. The reference discloses a system and method for robust calibration between a vision system and a robot. The method provides for the robot to be moved into a plurality of poses. Images of a calibration object are recorded in an initial position and in a subsequent position of the robot. The calibration object can be a calibration plate, for example, which can be attached to an end effector of the robot. First and second image features with precisely known distances can be contained in the calibration object. Alternatively, the calibration object is fixed in space and the camera is attached to the robot, which is then moved to a plurality of poses in which images of the calibration object are captured in an initial position and in a subsequent position of the robot. The recorded images are analyzed by the image processing system by measuring the positions of the image features in the image. Using the defined robot poses and the measured image feature positions, a transformation between the coordinate system of the image processing system and the coordinate system of the robot as well as a transformation between the coordinate system of the calibration object and the coordinate system of the end effector is determined.

In der EP 1 468 792 A2 sind Verfahren zum Kalibrieren eines Roboters offenbart. Dabei ist es vorgesehen, an einem Werkzeughalter einen Kalibrierkörper starr anzuordnen, auf oder in dem Kalibrierkörper mindestens einen bestimmten Referenzpunkt auszuwählen und eine Lage des Referenzpunktes in Bezug auf den Werkzeughalter zu bestimmen und als Zwischenergebnis zu speichern. Der Roboter wird so gesteuert, dass der Referenzpunkt nacheinander mindestens drei beliebige, verschiedene nicht kollineare Aufpunkte anfährt, wobei nach Erreichen jedes Aufpunktes jeweils die Lage und Orientierung des Werkzeughalters im Roboter-Koordinatensystem bekannt sind oder abgefragt werden. Hieraus und aus dem Zwischenergebnis werden die Lage des Referenzpunktes und damit diejenige des betreffenden Aufpunktes im Roboter-Koordinatensystem ermittelt, und der Kalibrierkörper jeweils durch die Kamera erfasst und abgebildet wird.In the EP 1 468 792 A2 methods for calibrating a robot are disclosed. Provision is made to rigidly arrange a calibration body on a tool holder, to select at least one specific reference point on or in the calibration body and to determine a position of the reference point in relation to the tool holder and store it as an intermediate result. The robot is controlled in such a way that the reference point moves to at least three different, non-collinear reference points one after the other, with the position and orientation of the tool holder in the robot coordinate system being known or queried after each reference point has been reached. From this and from the intermediate result, the position of the reference point and thus that of the relevant reference point in the robot coordinate system are determined, and the calibration body is recorded and imaged by the camera in each case.

Die besagten Kameraeinrichtungen können auch bei linearachsbasierten Robotervorrichtungen eingesetzt werden. Dabei handelt es sich um Roboter, welche nur in der Lage sind, translatorische Bewegungen von Roboterkomponenten durchzuführen. Hierbei kann es sich beispielsweise um Stapelroboter handeln, wie sie insbesondere in der Logistik eingesetzt werden. Dadurch ergibt sich der Nachteil, dass im Gegensatz zu Greifrobotern rotatorische Bewegungen nicht möglich sind, welche jedoch erforderlich sind, um die erforderlichen Aufnahmen eines Kalibrierungsmusters aus Kameraposen mit unterschiedlichen Ausrichtungen der Kameraeinrichtung zu dem Kalibrierungsmuster aufzunehmen.Said camera devices can also be used in robot devices based on linear axes. These are robots that are only capable of performing translational movements of robot components. This can be, for example, stacking robots, such as are used in particular in logistics. This results in the disadvantage that, in contrast to gripping robots, rotational movements are not possible, but these are necessary in order to take the necessary recordings of a calibration pattern from camera poses with different orientations of the camera device to the calibration pattern.

Es ist eine Aufgabe der Erfindung, eine Kalibrierung einer Kameraeinrichtung eines Linearachsroboters zu ermöglichen.It is an object of the invention to enable calibration of a camera device of a linear axis robot.

Diese Aufgabe wird erfindungsgemäß durch eine Robotervorrichtung mit den Merkmalen gemäß dem unabhängigen Patentanspruch 1, einem Verfahren mit den Merkmalen gemäß dem unabhängigen Patentanspruch 8 und einer Steuereinheit mit den Merkmalen gemäß dem unabhängigen Patentanspruch 9 gelöst. Vorteilhafte Ausführungen der Erfindung sind Gegenstand der abhängigen Patentansprüche und der Beschreibung, sowie der Figuren.According to the invention, this object is achieved by a robot device having the features according to independent patent claim 1 , a method having the features according to independent patent claim 8 and a control unit having the features according to independent patent claim 9 . Advantageous embodiments of the invention are the subject matter of the dependent patent claims and the description, as well as the figures.

Ein erster Aspekt der Erfindung betrifft eine Robotervorrichtung mit einer Aktuatoreinrichtung, welche einen Linearaktuator aufweist, der dazu eingerichtet ist, eine Roboterkomponente der Robotervorrichtung nur translatorisch zu bewegen. Mit anderen Worten weist die Robotervorrichtung die Aktuatoreinrichtung auf, die dazu eingerichtet ist, eine Lage der Roboterkomponente der Robotervorrichtung in translatorischer Richtung zu verändern. Der Linearaktuator kann somit nur eine Verschiebung der Roboterkomponente ermöglichen, jedoch keine Rotation der Roboterkomponente. Die Roboterkomponente weist eine Kameraeinrichtung auf. Die Kameraeinrichtung kann beispielsweise einen CCD-Sensor umfassen und dazu eingerichtet sein, Bilder einer Umgebung der Robotervorrichtung aufzunehmen, um eine Erfassung und/oder Lagenermittlung eines Objekts in der Umgebung der Robotervorrichtung durch Bilderkennungsverfahren zu ermöglichen. Die Kameraeinrichtung ist an der Roboterkomponente befestigt. Somit ist es der Robotervorrichtung mit dem Linearaktuator nur möglich, die Kameraeinrichtung translatorisch zu bewegen.A first aspect of the invention relates to a robot device with an actuator device which has a linear actuator which is set up to only move a robot component of the robot device in a translatory manner. In other words, the robotic device has the actuator device that is set up to change a position of the robotic component of the robotic device in the translatory direction. The linear actuator can thus only allow a displacement of the robot component, but not a rotation of the robot component. The robot component has a camera device. The camera device can include a CCD sensor, for example, and be set up to record images of an area surrounding the robot device in order to enable detection and/or position determination of an object in the area surrounding the robot device using image recognition methods. The camera device is attached to the robot component. It is thus only possible for the robotic device with the linear actuator to move the camera device in a translatory manner.

Es ist vorgesehen, dass die Aktuatoreinrichtung eine Rotationseinheit aufweist, die an der Roboterkomponente angeordnet ist und die dazu eingerichtet ist, die Kameraeinrichtung rotatorisch zu bewegen. Mit anderen Worten weist die Robotervorrichtung die Rotationseinheit, die dazu eingerichtet ist, die Ausrichtung der Kameraeinrichtung zu verändern. Es kann beispielsweise vorgesehen sein, dass die Rotationseinheit dazu eingerichtet ist, die Kameraeinrichtung um eine, zwei oder drei Raumachsen zu drehen. Dadurch ist es ermöglicht, eine Änderung der Ausrichtung der durchzuführen, auch wenn die Robotervorrichtung nur zur translatorischen Bewegung der Roboterkomponente eingerichtet ist.Provision is made for the actuator device to have a rotation unit which is arranged on the robot component and which is set up to move the camera device in a rotary manner. In other words, the robotic device has the rotation unit, which is set up to change the orientation of the camera device. Provision can be made, for example, for the rotation unit to be set up to rotate the camera device about one, two or three spatial axes. This makes it possible to change the alignment of the robotic device even if the robotic device is only set up for the translational movement of the robotic component.

Die Robotervorrichtung weist eine Steuereinheit auf, die dazu eingerichtet ist, in einem vorbestimmten Kalibrierungsverfahren zur Kalibrierung der Kameraeinrichtung, mehrere durch die Aktuatoreinrichtung einzustellende Kalibrierungsposen der Kameraeinrichtung, umfassend eine jeweilige Position und eine jeweilige Orientierung der Kameraeinrichtung zu ermitteln. Mit anderen Worten umfasst die Robotervorrichtung die Steuereinheit, welche beispielsweise einen Mikroprozessor oder einen Mikrocontroller aufweisen kann. Die Steuereinheit ist dazu eingerichtet, das vorbestimmte Kalibrierungsverfahren durchzuführen, um die Kameraeinrichtung zu kalibrieren.The robotic device has a control unit which is set up to determine, in a predetermined calibration method for calibrating the camera device, a plurality of calibration poses of the camera device to be set by the actuator device, comprising a respective position and a respective orientation of the camera device. In other words, the robot device includes the control unit, which can have a microprocessor or a microcontroller, for example. The control unit is set up to carry out the predetermined calibration method in order to calibrate the camera device.

Um die Kalibrierung der Kameraeinrichtung durchzuführen, ist es erforderlich, dass mehrere Kalibrierungsbilder aus unterschiedlichen Kalibrierungsposen durch die Kameraeinrichtung aufgezeichnet werden, die ein Kalibrierungsmuster abbilden. Hierfür werden durch die Steuereinheit die einzustellenden Kalibrierungsposen der Kameraeinrichtung ermittelt, welche jeweilige Positionen und jeweilige Orientierungen der Kameraeinrichtung umfassen. Um die Kameraeinrichtung in die jeweiligen Kalibrierungsposen verfahren zu können, kann die Position der jeweiligen Kalibrierungspose durch den Linearaktuator und die jeweilige Orientierung der jeweiligen Kalibrierungspose durch die Rotationseinheit eingestellt werden. Die Steuereinheit ist dazu eingerichtet, die Aktuatoreinrichtung zum sequentiellen Bewegen der Kameraeinrichtung in die jeweiligen Kalibrierungsposen anzusteuern. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, die Aktuatoreinrichtung zu steuern, um die Kameraeinrichtung nacheinander in die jeweiligen Kalibrierungsposen zu verfahren. Die Steuereinheit ist dazu eingerichtet, die Kameraeinrichtung in jeder der Kalibrierungsposen zur Aufnahme eines Kalibrierungsbildes des in einer Umgebung der Robotervorrichtung angeordneten Kalibrierungsmusters anzusteuern. Mit anderen Worten ist es vorgesehen, dass die Steuereinheit die Kameraeinrichtung ansteuert, damit diese aus jeder Kalibrierungspose der Kameraeinrichtung das jeweilige Bild des Kalibrierungsmusters aufnimmt. Bei dem Kalibrierungsmuster kann es sich beispielsweise um ein Schachbrettmuster, einen QR-Code, ein Fiducial Tag oder allgemein um ein Muster handeln, dass dazu ausgelegt ist, genau durch Bilderkennungsalgorithmen erfasst zu werden. Die Steuereinheit ist dazu eingerichtet, Bildkoordinaten vorbestimmter Referenzpunkte des Kalibrierungsmusters in den jeweiligen Kalibrierungsbildern zu erfassen. Mit anderen Worten ist es vorgesehen, dass die Steuereinheit zum Auswerten der jeweiligen Kalibrierungsbilder eingerichtet ist. Dabei ist es vorgesehen, dass die Steuereinheit die Bildkoordinaten der vorbestimmten Referenzpunkte des Kalibrierungsmusters ermittelt. Die vorbestimmten Referenzpunkte können beispielsweise Ecken, Kanten oder Punkte des Kalibrierungsmusters umfassen. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, in jedem der Kalibrierungsbilder zu erfassen, an welchen Bildkoordinaten des jeweiligen Kalibrierungsbildes sich die vorbestimmten Referenzpunkte des Kalibrierungsmusters befinden. Die Steuereinheit ist dazu eingerichtet, aus den Bildkoordinaten der vorbestimmten Referenzpunkte des Kalibrierungsmusters in den jeweiligen Kalibrierungsbildern, nach dem vorbestimmten Kalibrierungsverfahren zumindest eine Komponente einer Kalibrierungsmatrix der Kameraeinrichtung zu ermitteln. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, die in den jeweiligen Kalibrierungsbildern ermittelten Bildkoordinaten der vorbestimmten Referenzpunkte des Kalibrierungsmusters zu verarbeiten, um die zumindest eine Komponente der Kalibrierungsmatrix der Kameraeinrichtung zu ermitteln.In order to carry out the calibration of the camera device, it is necessary for the camera device to record a plurality of calibration images from different calibration poses which depict a calibration pattern. For this purpose, the calibration poses of the camera device to be set, which include respective positions and respective orientations of the camera device, are determined by the control unit. In order to be able to move the camera device into the respective calibration poses, the position of the respective calibration pose can be set by the linear actuator and the respective orientation of the respective calibration pose can be set by the rotation unit. The control unit is set up to control the actuator device for sequentially moving the camera device into the respective calibration poses. In other words, the control unit is set up to control the actuator device in order to successively move the camera device into the respective calibration poses. The control unit is set up to control the camera device in each of the calibration poses in order to record a calibration image of the calibration pattern arranged in an area surrounding the robotic device. In other words, it is provided that the control unit controls the camera device so that it records the respective image of the calibration pattern from each calibration pose of the camera device. The calibration pattern can be, for example, a checkerboard pattern, a QR code, a fiducial tag, or in general a pattern designed to be accurately captured by image recognition algorithms. The control unit is used for this directs to capture image coordinates of predetermined reference points of the calibration pattern in the respective calibration images. In other words, it is provided that the control unit is set up to evaluate the respective calibration images. It is provided that the control unit determines the image coordinates of the predetermined reference points of the calibration pattern. The predetermined reference points can include, for example, corners, edges or points of the calibration pattern. In other words, the control unit is set up to detect in each of the calibration images at which image coordinates of the respective calibration image the predetermined reference points of the calibration pattern are located. The control unit is set up to determine at least one component of a calibration matrix of the camera device from the image coordinates of the predetermined reference points of the calibration pattern in the respective calibration images according to the predetermined calibration method. In other words, the control unit is set up to process the image coordinates of the predetermined reference points of the calibration pattern determined in the respective calibration images in order to determine the at least one component of the calibration matrix of the camera device.

Durch die Erfindung ergibt sich der Vorteil, dass die Bereitstellung der Rotationseinheit eine Kalibrierung der Kameraeinrichtung der Robotervorrichtung ermöglicht, obwohl die Robotervorrichtung nur die Durchführung einer translatorischen Bewegung der Roboterkomponente, auf welcher die Kameraeinrichtung angeordnet ist, ermöglicht. Dadurch wird die Kalibrierung von Linearachsrobotervorrichtungen ermöglicht.The advantage of the invention is that the provision of the rotation unit enables the camera device of the robot device to be calibrated, although the robot device only allows the robot component on which the camera device is arranged to carry out a translational movement. This enables the calibration of linear axis robotic devices.

Die Erfindung umfasst auch Weiterbildungen, durch die sich weitere Vorteile ergeben. The invention also includes developments that result in further advantages.

Eine Weiterbildung der Erfindung sieht vor, dass das Kalibrierungsverfahren als Lochkamerakalibrierungsverfahren ausgebildet ist. Mit anderen Worten ist es vorgesehen, dass zur Ermittlung der Kalibrierungsmatrix der Kameraeinrichtung durch die Steuereinheit optische Parameter und Verfahren verwendet werden, welche die Kameraeinrichtung als Lochkamera behandeln. Dadurch ergibt sich der Vorteil, dass ein Verfahren zur Kalibrierung angewandt wird, welches einen im Vergleich zu anderen Verfahren geringen Rechenaufwand erfordert.A development of the invention provides that the calibration method is designed as a pinhole camera calibration method. In other words, optical parameters and methods that treat the camera device as a pinhole camera are used to determine the calibration matrix of the camera device by the control unit. This results in the advantage that a method is used for the calibration that requires little computing effort compared to other methods.

Eine Weiterbildung der Erfindung sieht vor, dass das Kalibrierungsverfahren als Fisheyekamerakalibrierungsverfahren ausgebildet ist. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, die Kalibrierungsmatrix unter Annahme, dass es sich bei der Kameraeinrichtung um eine Fisheyekamera handelt, zu generieren. Dadurch ergibt sich der Vorteil, dass ein Verfahren angewandt wird, welches zur Korrektur von Bildkrümmungen besonders geeignet ist.A development of the invention provides that the calibration method is in the form of a fisheye camera calibration method. In other words, the control unit is set up to generate the calibration matrix on the assumption that the camera device is a fisheye camera. This results in the advantage that a method is used which is particularly suitable for correcting image curvatures.

Eine Weiterbildung der Erfindung sieht vor, dass die Rotationseinheit als Gimbal ausgerichtet ist. Mit anderen Worten ist die Kameraeinrichtung in der Rotationseinheit angeordnet, wobei es sich bei der Rotationseinheit um ein Gimbal handelt, welches dazu eingerichtet ist, die Kameraeinrichtung um alle drei Raumachsen zu drehen. Die Rotationseinheit kann beispielsweise eine kardanische Aufhängung oder kardanische Lagerung sein.A development of the invention provides that the rotation unit is aligned as a gimbal. In other words, the camera device is arranged in the rotation unit, the rotation unit being a gimbal which is set up to rotate the camera device about all three spatial axes. The rotation unit can be, for example, a cardanic suspension or cardanic mounting.

Eine Weiterbildung der Erfindung sieht vor, dass die zumindest eine Komponente der Kalibrierungsmatrix intrinsische Parameter der Kameraeinrichtung umfasst. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, zumindest intrinsische Parameter der Kameraeinrichtung, wie beispielsweise eine Brennweite oder eine Linsenwölbung zu ermitteln.A development of the invention provides that the at least one component of the calibration matrix includes intrinsic parameters of the camera device. In other words, the control unit is set up to determine at least intrinsic parameters of the camera device, such as a focal length or a lens curvature.

Eine Weiterbildung der Erfindung sieht vor, dass die zumindest eine Komponente der Kalibrierungsmatrix extrinsische Parameter der Kameraeinrichtung umfasst. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, Komponenten der Kalibrierungsmatrix zu ermitteln, welche eine Pose der Kameraeinheit in Bezug auf das Kalibrierungsmuster beschreiben.A development of the invention provides that the at least one component of the calibration matrix includes extrinsic parameters of the camera device. In other words, the control unit is set up to determine components of the calibration matrix that describe a pose of the camera unit in relation to the calibration pattern.

Eine Weiterbildung der Erfindung sieht vor, dass die Steuereinheit dazu eingerichtet ist, aus den Kalibrierungsposen und den Bildkoordinaten der vorbestimmten Referenzpunkte des Kalibrierungsmusters in den jeweiligen Kalibrierungsbildern nach einem vorbestimmten Musterlagenermittlungsverfahren eine Pose des Kalibrierungsmusters bezüglich der Robotervorrichtung zu ermitteln. Mit anderen Worten ist die Steuereinheit dazu eingerichtet, aus den Kalibrierungsposen und den aus den jeweiligen Kalibrierungsposen erfassten Bildkoordinaten der vorbestimmten Referenzpunkte des Kalibrierungsmusters die Pose des Kalibrierungsmusters bezüglich der Robotervorrichtung zu ermitteln. Aus der Kalibrierungspose, welche bezüglich der Robotervorrichtung beschrieben sein kann, ist die geometrische Relation zwischen der Kameraeinrichtung und der Robotervorrichtung bekannt. Aus den erfassten Bildkoordinaten der jeweiligen Kalibrierungsbilder ist bekannt, welche Pose die Kameraeinheit bezüglich des Kalibrierungsmusters aufweist. Aus der geometrischen Relation zwischen dem Kalibrierungsmuster und der Kameraeinheit und der geometrischen Relation zwischen der Kameraeinheit und der Robotervorrichtung ist es möglich, die geometrische Relation zwischen dem Kalibrierungsmuster und der Robotervorrichtung zu bestimmen.A development of the invention provides that the control unit is set up to determine a pose of the calibration pattern with respect to the robot device from the calibration poses and the image coordinates of the predetermined reference points of the calibration pattern in the respective calibration images according to a predetermined pattern position determination method. In other words, the control unit is set up to determine the pose of the calibration pattern with respect to the robot device from the calibration poses and the image coordinates of the predetermined reference points of the calibration pattern detected from the respective calibration poses. The geometric relation between the camera device and the robotic device is known from the calibration pose, which can be described in relation to the robotic device. It is known from the captured image coordinates of the respective calibration images which pose the camera unit has with respect to the calibration pattern. From the geometric relation between the calibration pattern and the camera unit and the geometric relation between the camera unit and the robot device, it is possible to determine the geometric relation between the calibration pattern and the robot device.

Ein zweiter Aspekt der Erfindung betrifft ein Kalibrierungsverfahren zur Kalibrierung der Kameraeinrichtung der Robotervorrichtung durch die Steuereinheit. Das Kalibrierungsverfahren umfasst zumindest die folgenden Schritte: Ermitteln der mehreren durch die Aktuatoreinrichtung einzustellenden Kalibrierungsposen der Kameraeinrichtung, umfassend die jeweilige Position und die jeweilige Orientierung der Kameraeinrichtung. Ansteuern der Aktuatoreinrichtung zum sequentiellen Bewegen der Kameraeinrichtung in die jeweiligen Kalibrierungsposen, Ansteuern der Kameraeinrichtung in jeder der Kalibrierungsposen zur Aufnahme des Kalibrierungsbildes des in der Umgebung der Robotervorrichtung angeordneten Kalibrierungsmusters, Erfassen der Bildkoordinaten der vorbestimmten Referenzpunkte des Kalibrierungsmusters in den jeweiligen Kalibrierungsbildern, Ermitteln der zumindest einen Komponente der KalibrierungsmatrixA second aspect of the invention relates to a calibration method for calibrating the camera device of the robot device by the control unit. The calibration method comprises at least the following steps: determining the number of calibration poses of the camera device to be set by the actuator device, including the respective position and the respective orientation of the camera device. Controlling the actuator device for sequentially moving the camera device into the respective calibration poses, controlling the camera device in each of the calibration poses for recording the calibration image of the calibration pattern arranged in the vicinity of the robotic device, detecting the image coordinates of the predetermined reference points of the calibration pattern in the respective calibration images, determining the at least one Calibration matrix component

Ein dritter Aspekt der Erfindung betrifft eine Steuereinheit für eine Robotervorrichtung, die zur Durchführung des Kalibrierungsverfahrens zur Kalibrierung der Kameraeinrichtung der Robotervorrichtung vorgesehen ist.A third aspect of the invention relates to a control unit for a robotic device, which is provided for carrying out the calibration method for calibrating the camera device of the robotic device.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar.Further features of the invention result from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description and the features and combinations of features mentioned below in the description of the figures and/or shown alone in the figures can be used not only in the combination specified in each case, but also in other combinations or on their own.

Die Erfindung wird nun anhand eines bevorzugten Ausführungsbeispiels sowie unter Bezugnahme auf die Zeichnungen näher erläutert. Es zeigt:

Fig. eine schematische Darstellung einer Robotervorrichtung.

The invention will now be explained in more detail using a preferred exemplary embodiment and with reference to the drawings. It shows:

Fig. shows a schematic representation of a robotic device.

Die einzige Figur Fig. zeigt eine schematische Darstellung einer Robotervorrichtung. Bei der Robotervorrichtung 1 kann es sich beispielsweise um einen Linearachsroboter zur Verwendung in der Logistik handeln, welcher dazu eingerichtet sein kann, Objekte, insbesondere Paletten 6 zu stapeln. Die Robotervorrichtung 1 kann eine Aktuatoreinrichtung 2 aufweisen, welche einen Linearaktuator 3 umfassen kann, der dazu eingerichtet sein kann, eine Roboterkomponente 4 der Robotervorrichtung 1, wobei es sich beispielsweise um einen Greifer oder eine Gabel handeln kann, translatorisch entlang zumindest einer von drei Raumrichtungen x, y und z zu bewegen. Die Robotervorrichtung 1 kann dazu eingerichtet sein, die Palette 5 aufzunehmen und an eine vorbestimmte Position zu bewegen. Die Palette 5 kann beispielsweise auf einem Förderband 6 angeordnet sein. Um eine Lage der Palette 5 ermitteln zu können, kann die Robotervorrichtung 1 eine Kameraeinrichtung 7 aufweisen, welche dazu vorgesehen sein kann, die zu bewegend Palette 5 optisch zu erfassen und mittels Bilderkennungsalgorithmen eine Lage der Palette 5 in Bezug auf die Robotervorrichtung 1 zu ermitteln.The only FIGURE shows a schematic representation of a robot device. The robot device 1 can be, for example, a linear axis robot for use in logistics, which can be set up to stack objects, in particular pallets 6 . The robotic device 1 can have an actuator device 2, which can include a linear actuator 3, which can be set up to move a robotic component 4 of the robotic device 1, which can be a gripper or a fork, for example, translationally along at least one of three spatial directions x , y and z to move. The robotic device 1 can be set up to pick up the pallet 5 and to move it to a predetermined position. The pallet 5 can be arranged on a conveyor belt 6, for example. In order to be able to determine a position of the pallet 5, the robot device 1 can have a camera device 7, which can be provided to optically detect the pallet 5 to be moved and to determine a position of the pallet 5 in relation to the robot device 1 using image recognition algorithms.

Die Robotervorrichtung 1 kann eine Steuereinheit 8 aufweisen, welche dazu eingerichtet sein kann, die Robotervorrichtung 1 zu steuern. Damit die beschriebene Erfassung der Palette 5 und die Ermittlung der Lage der Palette 5 in Bezug auf die Robotervorrichtung 1 erfolgen kann, kann es erforderlich sein, die Kameraeinrichtung 7 zu kalibrieren. Da die Kameraeinrichtung 7 nur in translatorischer Richtung bewegt werden kann, ist es nicht möglich, die Kameraeinrichtung 7 rotatorisch durch den Linearaktuator 3 auszurichten. Um eine Änderung der Ausrichtung der Kameraeinrichtung 7 ermöglichen zu können, kann die Robotervorrichtung 1 die Rotationseinheit 9 aufweisen, wobei es sich beispielsweise um ein Gimbal handeln kann, welches dazu eingerichtet sein kann, die Kameraeinrichtung 7 um drei Raumachsen Rx, Ry und Rz zu drehen. Um die Kameraeinrichtung 7 zu kalibrieren, kann die Steuereinheit 8 dazu eingerichtet sein, ein vorbestimmtes Kalibrierungsverfahren durchzuführen. In dem Kalibrierungsverfahren ist es vorgesehen, dass die Steuereinheit 8 mehrere Kalibrierungsposen 10 ermittelt, welche durch die Kameraeinrichtung 7 anzufahren sind. Die Kalibrierungsposen 10 können sich in ihrer translatorischen und rotatorischen Lage voneinander unterscheiden. Die Kalibrierungsposen 10 können so gewählt sein, dass die Kameraeinrichtung 7 aus unterschiedlichen Winkeln und von unterschiedlichen Positionen aus auf ein in der Roboterumgebung angeordnetes Kalibrierungsmuster 11 ausgerichtet ist. Das Kalibrierungsmuster 11 kann beispielsweise auf der Palette 5 angeordnet sein. Bei dem Kalibrierungsmuster 11 kann es sich beispielsweise um ein Schachbrettmuster oder ein anderes zweidimensionales Muster handeln, welches einfach zu erfassen ist.The robotic device 1 can have a control unit 8 which can be set up to control the robotic device 1 . So that the described detection of the pallet 5 and the determination of the position of the pallet 5 in relation to the robot device 1 can take place, it may be necessary to calibrate the camera device 7 . Since the camera device 7 can only be moved in a translational direction, it is not possible to align the camera device 7 in a rotational manner using the linear actuator 3 . In order to be able to change the alignment of the camera device 7, the robotic device 1 can have the rotation unit 9, which can be a gimbal, for example, which can be set up to rotate the camera device 7 about three spatial axes Rx, Ry and Rz . In order to calibrate the camera device 7, the control unit 8 can be set up to carry out a predetermined calibration method. The calibration method provides for the control unit 8 to determine a plurality of calibration poses 10 which the camera device 7 is to move to. The calibration poses 10 can differ from one another in terms of their translational and rotational position. The calibration poses 10 can be selected in such a way that the camera device 7 is aligned from different angles and from different positions on a calibration pattern 11 arranged in the robot environment. The calibration pattern 11 can be arranged on the pallet 5, for example. The calibration pattern 11 can be, for example, a checkerboard pattern or another two-dimensional pattern that is easy to detect.

Um die Kalibrierung zu ermöglichen, werden die einzelnen Kalibrierungsposen 10 durch die Kameraeinrichtung 7 angefahren. Zu diesem Zweck werden der Linearaktuator 3 und die Rotationseinheit 9 durch die Steuereinheit 8 angesteuert. Die translatorische Komponente der jeweiligen Kalibrierungspose 10 kann dabei durch den Linearaktuator 3 eingestellt werden und die rotatorische Komponente der jeweiligen Kalibrierungspose 10 durch die Rotationseinheit 9. Die Steuereinheit 8 kann die Kameraeinrichtung 7, sobald diese eine jeweilige Kalibrierungspose 10 eingenommen hat, ansteuern, um ein jeweiliges Kalibrierungsbild 12 des Kalibrierungsmusters 11 aufzunehmen. In dem jeweiligen Kalibrierungsbild 12 ist die Darstellung des Kalibrierungsmusters 11 aufgrund der geometrischen Anordnung des Kalibrierungsmusters 11 zu der Kameraeinrichtung 7 und der Linseneigenschaft der Kameraeinrichtung 7 verzerrt dargestellt. Zur Kalibrierung werden durch die Steuereinheit 8 in den jeweiligen Kalibrierungsbildern 12 Referenzpunkte 13 des Kalibrierungsmusters 11 detektiert und die jeweiligen Bildkoordinaten 14 ermittelt, welche die Referenzpunkte 13 in den jeweiligen Kalibrierungsbildern 12 aufweisen. Durch die Ermittlung der Bildkoordinaten 14 der Referenzpunkte 13 des Kalibrierungsmusters 12 aus den verschiedenen Kalibrierungsposen 10 kann über lineare Gleichungsverfahren eine Kalibrierungsmatrix 15 ermittelt werden. Die Kalibrierungsmatrix 15 kann beispielsweise intrinsische, extrinsische oder weitere Eigenschaften der Kameraeinrichtung 7 beschreiben. Durch die Kalibrierung der Kameraeinrichtung 7 ist sichergestellt, dass eine Lage eines zu erfassenden Objekts 5 durch die Robotervorrichtung 1 ermittelt werden kann.In order to enable the calibration, the individual calibration poses 10 are approached by the camera device 7 . For this purpose, the linear actuator 3 and the rotation unit 9 are controlled by the control unit 8 . The translational component of the respective calibration pose 10 can be set by the linear actuator 3 and the rotational component of the respective calibration pose 10 by the rotation unit 9. The control unit 8 can control the camera device 7 as soon as it has assumed a respective calibration pose 10, in order to set a respective Record calibration image 12 of calibration pattern 11 . In the respective calibration image 12 is the representation of the calibration Pattern 11 shown distorted due to the geometric arrangement of the calibration pattern 11 to the camera device 7 and the lens property of the camera device 7. For calibration, the control unit 8 detects reference points 13 of the calibration pattern 11 in the respective calibration images 12 and determines the respective image coordinates 14 which the reference points 13 have in the respective calibration images 12 . By determining the image coordinates 14 of the reference points 13 of the calibration pattern 12 from the various calibration poses 10, a calibration matrix 15 can be determined using linear equation methods. The calibration matrix 15 can describe intrinsic, extrinsic or other properties of the camera device 7, for example. The calibration of the camera device 7 ensures that a position of an object 5 to be detected can be determined by the robot device 1 .

Roboter werden vermehrt für den Einsatz in dynamischen industriellen Anwendungen eingesetzt. Zur erfolgreichen Prozessausführung ist hierzu eine intelligente Wahrnehmung der Prozessobjekte sowie des Umfelds notwendig. Dieses wird über 3D Kameras erfasst und über intelligente Algorithmen analysiert und verarbeitet. Um basierend auf Pixeldaten der Bilder Rückschlüsse auf die reale Objektposition in Welt-Koordination ziehen zu können, muss die Kamera kalibriert werden. Durch derartige Kalibrierungen können Fertigungstoleranzen bei der Kamerahalterung sowie bei der Kamera selbst eliminiert werden Zur Kalibrierung von Kameras gibt es zahlreiche Open-Source Algorithmen. Dabei wird ein Schachbrett vor die Kamera gelegt. Anschließend bewegt sich der Roboter relativ zu dem Schachbrett. Die perspektivischen Deformationen der Rechtecke auf dem Schachbrett können anschließend mathematisch zur Berechnung der „Korrektur-Matrizen“ herangezogen werden. Um diese Gleichungssysteme lösen zu können, muss eine Bewegung relativ zu dem Schachbrett in x, y, z, roll, pitch & yaw erfolgen. Dies ist bei Linearachs-Basierten Robotern ein Problem, da dort nur eine Bewegung in x, y, z erfolgen kann (im Gegensatz zu Armrobotern).Robots are increasingly used in dynamic industrial applications. For successful process execution, an intelligent perception of the process objects and the environment is necessary. This is captured by 3D cameras and analyzed and processed by intelligent algorithms. In order to be able to draw conclusions about the real object position in world coordination based on the pixel data of the images, the camera has to be calibrated. Such calibrations can eliminate manufacturing tolerances in the camera mount and in the camera itself. There are numerous open-source algorithms for calibrating cameras. A chessboard is placed in front of the camera. Then the robot moves relative to the chessboard. The perspective deformations of the rectangles on the chessboard can then be used mathematically to calculate the "correction matrices". In order to be able to solve these equation systems, a movement relative to the chessboard in x, y, z, roll, pitch & yaw must take place. This is a problem with linear axis-based robots, since there only one movement in x, y, z can take place (in contrast to arm robots).

Damit die Kameraeinrichtungen 7 in Linearachsrobotern dennoch kalibriert werden können, werden diese anstatt auf starren Kamerahaltern auf handelsüblichen Gymbals befestigt. Über die in den Gymbals verbaute Aktuatorik kann die Kameraeinrichtung 7 zusammen mit den Linearachsen in allen erforderlichen Freiheitsgraden bewegt werden.So that the camera devices 7 can still be calibrated in linear-axis robots, they are fastened to commercially available gymbals instead of to rigid camera holders. The camera device 7 can be moved together with the linear axes in all required degrees of freedom via the actuators built into the gymbals.

Insgesamt ermöglicht es die Erfindung, die für die Kalibrierung der Kameraeinrichtung erforderliche Rotation der Kameraeinrichtung durchzuführen.Overall, the invention makes it possible to rotate the camera device as required for calibrating the camera device.

Bezugszeichenlistereference list

11: Robotervorrichtungrobotic device
22: Aktuatoreinrichtungactuator device
33: Linearaktuatorlinear actuator
44: Roboterkomponenterobot component
55: Palettepalette
66: Förderbandconveyor belt
77: Kameraeinrichtungcamera setup
88th: Steuereinheitcontrol unit
99: Rotationseinheitrotation unit
1010: Kalibrierungsposecalibration pose
1111: Kalibrierungsmustercalibration pattern
1212: Kalibrierungsbildcalibration image
1313: Referenzpunktreference point
1414: Bildkoordinatenimage coordinates
1515: Kalibrierungsmatrixcalibration matrix

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 112011101730 B4 [0006]
EP 1468792 A2 [0007]

Claims

Robotic device (1) with an actuator device (2) which has a linear actuator (3) which is set up to only move a robotic component (4) of the robotic device (1) in a translatory manner, wherein - the robotic component (4) has a camera device (7 ), characterized in that - the actuator device (2) has a rotation unit (9) which is arranged on the robot component (4) and is set up to move the camera device (7) in rotation, and - the robot device (1) has a control unit (8) which is set up to - in a predetermined calibration method for calibrating the camera device (7), a plurality of calibration poses (10) of the camera device (7) to be set by the actuator device (2), comprising a respective position and a respective to determine the orientation of the camera device (7), - to control the actuator device (2) for sequentially moving the camera device (7) into the respective calibration poses (10), - the camera device (7) in each of the calibration poses (10) for recording a calibration image ( 12) to control a calibration pattern (11) arranged in an environment of the robot device (1), - to detect image coordinates (14) of predetermined reference points (13) of the calibration pattern (11) in the respective calibration images, and - from the image coordinates (14) of the predetermined Reference points (13) of the calibration pattern (11) in the respective calibration images to determine at least one component of a calibration matrix (15) of the camera device (7) according to a predetermined calibration method.

Robot device (1) after claim 1 , characterized in that the calibration method is designed as a pinhole camera calibration method.

Robot device (1) after claim 1 , characterized in that the calibration method is designed as a fisheye camera calibration method.

Robot device (1) according to one of the preceding claims, characterized in that the rotation unit (9) is designed as a gimbal

Robot device (1) according to one of the preceding claims, characterized in that the at least one component of the calibration matrix (15) comprises intrinsic parameters of the camera device (7).

Robot device (1) according to one of the preceding claims, characterized in that the at least one component of the calibration matrix (15) comprises extrinsic parameters of the camera device (7).

Robot device (1) according to one of the preceding claims, characterized in that the control unit (8) is set up to, from the calibration poses (10) and the image coordinates (14) of the predetermined reference points (13) of the calibration pattern (11) in the respective calibration images to determine a pose of the calibration pattern (11) with respect to the robot device (1) according to a predetermined pattern position determination method.

Calibration method for calibrating the camera device (7) of the robot device (1) by the control unit (8), comprising at least the steps: - Determining the plurality of calibration poses (10) of the camera device (7) to be set by the actuator device (2), comprising the respective position and the respective orientation of the camera device (7), controlling the actuator device (2) for sequentially moving the camera device (7) in the respective calibration poses (10), - controlling the camera device (7) in each of the calibration poses (10) to record the calibration image (12) of the calibration pattern (11) arranged in the vicinity of the robot device (1), - detecting the image coordinates (14) of the predetermined reference points (13) of the calibration pattern (11) in the respective calibration images, - Determining the at least one component of the calibration matrix (15) of the camera device (7) from the image coordinates (14) of the predetermined reference points (13) of the calibration pattern (11) in the respective calibration images, according to the predetermined calibration method.

Control unit (8) for a robotic device (1) according to any one of Claims 1 until 8th , set up to carry out a method claim 9 .