DE102018108445B3

DE102018108445B3 - Method of programming a manufacturing step for an industrial robot

Info

Publication number: DE102018108445B3
Application number: DE102018108445.5A
Authority: DE
Inventors: Auf Nichtnennung Antrag
Original assignee: IFM Electronic GmbH
Current assignee: IFM Electronic GmbH
Priority date: 2018-04-10
Filing date: 2018-04-10
Publication date: 2019-08-01
Anticipated expiration: 2038-04-11

Abstract

Bei einem Verfahren zum Programmieren eines Fertigungsschritts für einen Industrieroboter, wird der Bewegungsablauf einer Hand eines Werkers mit einer 3D-Kamera erfasst und unmittelbar in eine Bewegung des Industrieroboters umgesetzt.In a method of programming a manufacturing step for an industrial robot, the movement of a worker's hand with a 3D camera is detected and immediately converted into a movement of the industrial robot.

Description

Die Erfindung betrifft ein Verfahren zum Programmieren eines Fertigungsschritts für einen Industrieroboter gemäß dem Oberbegriff des Anspruchs 1.The invention relates to a method for programming a manufacturing step for an industrial robot according to the preamble of claim 1.

In der industriellen Fertigung wird der Zusammenbau von Bauteilen und/oder Baugruppen zu Erzeugnissen bzw. zu Baugruppen einer höheren Erzeugnisebene als Montage bezeichnet. In der Elektronikfertigung werden viele Bauteile mittels Bestückautomaten auf Leiterplatten platziert und anschließend in einem Lötprozess verlötet. Trotz des hohen Automatisierungsgrades ist bei bestimmten Montagevorgängen immer noch Handarbeit notwendig.In industrial production, the assembly of components and / or assemblies to produce or to assemblies of a higher level of production is referred to as assembly. In electronics production, many components are placed on printed circuit boards by means of placement machines and then soldered in a soldering process. Despite the high degree of automation, manual work is still required for certain assembly processes.

In vielen Fertigungsbereichen findet heute schon eine Unterstützung durch Handhabungssysteme, Manipulatoren bzw. Industrieroboter statt.In many areas of production there is already support today by handling systems, manipulators or industrial robots.

Die Programmierung des jeweiligen Bewegungsablaufs des Industrieroboters ist aber sehr aufwendig. Aus der DE102014202145 A1 ist ein Verfahren zum Programmieren eines Industrieroboters bekannt, bei dem der Arm des Roboters von Hand geführt werden muss.The programming of the respective sequence of movements of the industrial robot is very expensive. From the DE102014202145 A1 For example, a method for programming an industrial robot is known in which the arm of the robot has to be guided by hand.

Befindet sich am Ende des Roboterarms eine Greifhand, muss die Bewegung der Hand jedoch separat programmiert werden.If a gripping hand is located at the end of the robot arm, however, the movement of the hand must be programmed separately.

Weitere Verfahren zur Steuerung eines Roboters mit den Händen sind aus den Druckschriften DE 10 2017 202 717 A1 , DE10 2014 101 545 A1 , DE10 2012 110 190 B4 , DE10 2009 046 107 A1 , DE 10 2006 006 370 A1 , US2015 / 0314 442 A1 bekannt.Other methods for controlling a robot with the hands are from the publications DE 10 2017 202 717 A1 . DE10 2014 101 545 A1 . DE10 2012 110 190 B4 . DE10 2009 046 107 A1 . DE 10 2006 006 370 A1 . US2015 / 0314 442 A1 known.

Ein alternatives Verfahren besteht darin, die Position der Hand und einzelner Finger durch spezielle Datenhandschuhe mit Sensoren während einer Greifbewegung zu erfassen und durch ein Verfahren, das unter der Bezeichnung „programming by demonstration“ bekannt ist, in Steuerungsdaten für eine Robotersteuerung zu übertragen.An alternative method is to detect the position of the hand and individual fingers by means of special data gloves with sensors during a gripping motion and to transfer them into control data for a robot control by a method known as "programming by demonstration".

Alle bekannten Verfahren zum Programmieren eines Fertigungsschritts für einen Industrieroboter sind sehr aufwendig und erfordern einen erheblichen Programmieraufwand.All known methods for programming a manufacturing step for an industrial robot are very expensive and require considerable programming effort.

Aufgabe der Erfindung ist es ein Verfahren zum Programmieren Fertigungsschritts für einen Industrieroboter anzugeben, das einfach, schnell und kostengünstig realisierbar ist.The object of the invention is to specify a method for programming a production step for an industrial robot, which can be implemented simply, quickly and inexpensively.

Gelöst wird diese Aufgabe durch die im Anspruch 1 angegebenen Merkmale.This object is achieved by the features specified in claim 1.

Die wesentliche Idee der Erfindung besteht drin, den von dem Industrieroboter auszuführenden Fertigungsschritt zuerst von einem Menschen ausführen zu lassen und diese Ausführung mit einer 3D-Kamera aufzuzeichnen und die Raumkurven der menschlichen Hand einschließlich der Finger zu erfassen. Aus diesen Raumkurven können die Steueranweisungen für die Steuerung des Industrieroboters direkt ermittelt werden.The essential idea of the invention is to have the manufacturing step to be performed by the industrial robot first performed by a human and to record this design with a 3D camera and to capture the space curves of the human hand including the fingers. From these space curves, the control instructions for the control of the industrial robot can be determined directly.

Nachfolgend ist die Erfindung anhand eines Ausführungsbeispiels näher erläutert.The invention is explained in more detail with reference to an embodiment.

Der Fertigungsschritt der von einem Werker ausgeführt wird, wird mit einer 3D-Kamera aufgezeichnet. Die aufgezeichnete Bildsequenz wird in einer Auswerteeinheit ausgewertet.The manufacturing step performed by a worker is recorded with a 3D camera. The recorded image sequence is evaluated in an evaluation unit.

Dabei wird insbesondere die Hand des Werkers und der einzelnen Fingerspitzen „getrackt“.In particular, the hand of the worker and the individual fingertips is "tracked".

In jedem Bild der Bildsequenz werden die 3D-Koordinaten der Hand (x,y,z, Hand) des Werkers und die 3D-Koordinaten der einzelnen Fingerspitzen (x,y,z; F1), ..., (x,y,z; Fn) des Werkers ermittelt. Wenn es sich um einen komplizierten Greifprozess mit einem komplexen Werkstück handelt, können alle zehn Finger des Werkers für den Greifvorgang erforderlich sein.In each image of the image sequence the 3D coordinates of the hand (x, y, z, hand) of the worker and the 3D coordinates of the individual fingertips (x, y, z; F1), ..., (x, y, z; Fn) of the worker. If it is a complicated gripping process with a complex workpiece, all ten fingers of the operator may be required for the gripping process.

Anschließend werden aus diesen 3D-Koordinaten die entsprechenden Raumkurven R-3D-H der Hand und der einzelnen Fingerspitzen R-3D-F1-R-3D-Fn des Werkers ermittelt.Subsequently, the corresponding space curves R-3D-H of the hand and the individual fingertips R-3D-F1-R-3D-Fn of the worker are determined from these 3D coordinates.

Über die Methode der inversen Kinematik können über ein Robotermodell, aus den 3D-Koordinaten die Gelenkwinkel der einzelnen Gelenke des Industrieroboters bestimmt und die Steueranweisungen für den Industrieroboter ermittelt werden. Nach der Programmierung führt der Industrieroboter bei dem Fertigungsschritt genau die gleiche Hand- und Fingerbewegung wie der Mensch aus. Damit können auch komplexe Fertigungsschritte mit komplexen Werkstücken einfach programmiert werden. Die komplexen Werkstücke können auch bei dem Fertigungsschritt aus mehreren Teilen zusammengefügt werden.Using the inverse kinematics method, the joint angles of the individual joints of the industrial robot can be determined from a robot model, and the control instructions for the industrial robot can be determined from the 3D coordinates. After programming, the industrial robot performs exactly the same hand and finger movement as the human being during the production step. This means that even complex production steps with complex workpieces can be easily programmed. The complex workpieces can also be joined together in the production step of several parts.

Als 3D-Kamera ist eine pmd-Kamera, wie sie von der Anmelderin bzw. der Fa. pmdtechnologies gmbh vertrieben wird, vorteilhaft. Derartige Kameras sind für eine Gestenerkennung insbesondere im Nahbereich bis 4m sehr gut geeignet.As a 3D camera is a pmd camera, as sold by the applicant or the company pmdtechnologies GmbH, advantageous. Such cameras are very well suited for gesture recognition, especially in the near range up to 4m.

Um Details des Montagevorgangs genauer erfassen zu können, wird während einzelner Phasen des Fertigungsschritts, bei der die Hand des Werkers sich nur wenig bewegt aber die Finger sich stärker bewegen, die Kamera näher an die Hand heranrückt und damit einen vergrößerten Bildausschnitt erfasst, der es erlaubt die 3D-Koordinaten mit einer höheren Genauigkeit zu erfassen.In order to capture details of the assembly process more accurately, during individual stages of the production step, in which the worker's hand moves only slightly but the fingers move more strongly, the camera moves closer to the hand and thus captures a magnified image that allows it to capture the 3D coordinates with a higher accuracy.

3D-Kameras arbeiten u.a. mit moduliertem Licht im nahen Infrarotbereich. In einer Weiterentwicklung der Erfindung wird mit gleichen 3D-Kamera mit der der Fertigungsschritt aufgezeichnet wird, zusätzlich während des Fertigungsschritts ein 2D-Wärmebild aufgenommen. Aus dem 2D-Wärmebild kann z.B. die Position der Fingerspitzen, die Auflagefläche der Fingerspitzen sowie der Fingeranpressdruck auf das Werkstück ermittelt werden. Auch kann mit einer Wärmebildkamera ein Wärmebildabdruck auf dem Werkstück erfasst werden. Es genügt in der Regel, wenn die Finger für wenige Sekunden das Werkstück berühren um dort einen Wärmefingerabdruck zu hinterlassen. So kann präzise ermittelt werden, an welchen Stellen die Finger das Werkstück berührt und fixiert haben.3D cameras work, i.a. with modulated light in the near infrared range. In a further development of the invention, with the same 3D camera with which the production step is recorded, a 2D thermal image is additionally recorded during the production step. From the 2D thermal image, e.g. the position of the fingertips, the contact surface of the fingertips and the finger pressure on the workpiece are determined. Also, a thermal imaging camera can capture a thermal imprint on the workpiece. It is usually sufficient if the fingers touch the workpiece for a few seconds to leave a thermal fingerprint there. This makes it possible to precisely determine at which points the fingers have touched and fixed the workpiece.

In einer Weiterentwicklung der Erfindung wird der Fertigungsvorgang mit der gleichen 3D-Kamera überwacht, die zur Programmierung des Fertigungsschritts verwendet wurde. Da die Bewegungskurven, d.h. die Koordinaten der Hand und der Finger des Industrieroboters im Raum bekannt sind, kann die Generierung des 3D-Bildes mit einer höheren Modulationsfrequenz erfolgen, was eine höhere Detailgenauigkeit ermöglicht und damit eine genauere Überwachung bzw. Optimierung des Fertigungsschritts erlaubt. Dies ist insbesondere dann der Fall, wenn der Fertigungsprozess flexibel Montageelemente (z. B. flexible Leiterplatten oder Kabel) umfasst, der Lage und Form nicht immer genau vorhersehbar ist.In a further development of the invention, the manufacturing process is monitored with the same 3D camera used to program the manufacturing step. Since the motion curves, i. the coordinates of the hand and the fingers of the industrial robot are known in space, the generation of the 3D image can be done with a higher modulation frequency, which allows a higher level of detail and thus allows a more precise monitoring or optimization of the manufacturing step. This is particularly the case when the manufacturing process comprises flexible mounting elements (eg flexible printed circuit boards or cables), the position and shape of which can not always be accurately predicted.

Gemäß Anspruch 3 führt der Industrieroboter die Bewegung des Werkers synchron aus.According to claim 3, the industrial robot performs the movement of the worker synchronously.

Damit erhält der Werker sofort eine Rückmeldung wie seine Handbewegung vom Industrieroboter ausgeführt wird. Hierfür ist es denkbar, dass der Werker und der Industrieroboter an zwei parallelen Arbeitstischen „synchron arbeiten“.This gives the worker immediately feedback as to how his hand movement is performed by the industrial robot. For this it is conceivable that the worker and the industrial robot "work synchronously" on two parallel work tables.

Claims

Method for programming a manufacturing step for an industrial robot with the following method steps A) Recording of a manufacturing step to be performed by a worker with a 3D camera as a picture sequence B) Determining the 3D coordinates of the hand (x, y, z, hand) of the worker in each image of the image sequence C) Determining the 3D coordinates of the individual fingertips (x, y, z; F1),, (x, y, z, Fn) of the worker in each image of the image sequence D) Determination of the space curves R-3D-H of the hand and the individual fingertips R-3D-F1-R-3D-Fn of the worker from the 3D coordinates E) Determination of control instruction for the industrial robot on the basis of the determined space curves according to the inverse kinematics method

Method according to Claim 1 wherein the 3D camera during individual stages of the manufacturing step in which the worker's hand moves only slightly, but the fingers move more, the 3D camera moves closer to the hand and thus an enlarged image is captured.

Method according to one of the preceding claims, characterized in that the movement of the hand of the worker is converted directly into control instructions of the industrial robot and the industrial robot moves synchronously to the worker.