Die Erfindung betrifft ein Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, ein Verfahren zum Bearbeiten eines Objekts sowie ein Lageerfassungssystem.The invention relates to a method for detecting the position of an object by means of a position detection system, a method for processing an object and a position detection system.
Aus der DE 10 2018 112 910 A1 ist bereits ein Herstellungsverfahren für eine Antriebseinrichtung bekannt. Bei dem Herstellungsverfahren wird die Antriebseinrichtung in einem Montageablauf montiert und ein Montagezustand in dem Montageablauf geprüft. Bei dem Prüfen wird ein dreidimensionales virtuelles Referenzmodell der Antriebseinrichtung für eine Auswerteeinheit bereitgestellt, wobei das dreidimensionale virtuelle Referenzmodell aus einem Datensystem bereitgestellt wird, das für die Antriebseinrichtung produktspezifische, insbesondere Lebenszyklusphasen übergreifende Daten vorhält. Weiterhin wird bei dem Prüfen eine dreidimensionale Aufnahme der Antriebseinrichtung als reales Abbild für die Auswerteeinheit bereitgestellt, welche mit einem an einem Portal angebrachten Aufnahmesystem erstellt wird, wobei das Portal und die Antriebseinrichtung relativ zueinander beweglich sind. Zum Prüfen des Montagezustands werden das dreidimensionale virtuelle Referenzmodell und die dreidimensionale Aufnahme abgeglichen und im Falle einer Abweichung einer Anzahl von Referenzmerkmalen bestimmt. Zum Montieren wird ein Korrekturhinweis auf ein Differenzmerkmal interaktiv in einem Interaktionsgerät angezeigt.From the DE 10 2018 112 910 A1 a manufacturing method for a drive device is already known. In the manufacturing method, the drive device is assembled in an assembly sequence and an assembly state is checked in the assembly sequence. During the testing, a three-dimensional virtual reference model of the drive device is provided for an evaluation unit, the three-dimensional virtual reference model being provided from a data system that holds product-specific data, in particular cross-life cycle phases, for the drive device. Furthermore, during the testing, a three-dimensional recording of the drive device is provided as a real image for the evaluation unit, which is created with a recording system attached to a portal, the portal and the drive device being movable relative to one another. To check the state of assembly, the three-dimensional virtual reference model and the three-dimensional recording are compared and, in the event of a discrepancy between a number of reference features, are determined. For assembly, a correction note on a differential feature is displayed interactively in an interaction device.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, ein Verfahren zum Bearbeiten eines Objekts sowie ein Lageerfassungssystem zu schaffen, welche eine besonders präzise Erkennung der Lage des Objekts im Raum und infolgedessen ein besonders präzises Heranführen einer Robotereinrichtung an das Objekt automatisiert ermöglichen.The object of the present invention is to create a method for detecting the position of an object by means of a position detection system, a method for processing an object and a position detection system which allow particularly precise detection of the position of the object in space and consequently a particularly precise approach of a robot device Enable object automatically.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems mit den Merkmalen des Patentanspruchs 1, durch ein Verfahren zum Bearbeiten eines Objekts mit den Merkmalen von Patentanspruch 4 sowie durch ein Lageerfassungssystem mit den Merkmalen von Patentanspruch 8 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den jeweils abhängigen Ansprüchen sowie in der folgenden Beschreibung angegeben.This object is achieved according to the invention by a method for detecting the position of an object by means of a position detection system with the features of claim 1, by a method for processing an object with the features of claim 4 and by a position detection system with the features of claim 8. Advantageous embodiments with expedient developments of the invention are specified in the respective dependent claims and in the following description.
Die Erfindung betrifft ein Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, wobei das Lageerfassungssystem wenigstens eine Kameraeinrichtung sowie wenigstens eine elektronische Recheneinrichtung umfassen kann. Bei dem Objekt handelt es sich insbesondere um ein Kraftfahrzeugbauteil, insbesondere um eine Kraftfahrzeugkarosserie. Bei dem Verfahren ist es vorgesehen, dass mittels einer Kameraeinrichtung des Lageerfassungssystems ein zweidimensionales Bild des Objekts aufgezeichnet wird. Um das Bild auszuwerten kann mittels der Kameraeinrichtung eine zweidimensionale, reale Perspektivansicht des Objekts aus dem Bild ermittelt und die reale Perspektivansicht für eine elektronische Recheneinrichtung des Lageerfassungssystems bereitgestellt werden. Diese reale Perspektivansicht kann mittels einer Bildbearbeitungseinrichtung aus dem zweidimensionalen Bild ermittelt werden. Bei der realen Perspektivansicht handelt es sich um eine Zentralprojektion des Kraftfahrzeugs mit der Kameraeinrichtung als Projektionszentrum beziehungsweise Augpunkt.The invention relates to a method for position detection of an object by means of a position detection system, wherein the position detection system can comprise at least one camera device and at least one electronic computing device. The object is in particular a motor vehicle component, in particular a motor vehicle body. In the method it is provided that a two-dimensional image of the object is recorded by means of a camera device of the position detection system. In order to evaluate the image, a two-dimensional, real perspective view of the object can be determined from the image by means of the camera device and the real perspective view can be provided for an electronic computing device of the position detection system. This real perspective view can be determined from the two-dimensional image by means of an image processing device. The real perspective view is a central projection of the motor vehicle with the camera device as the projection center or eye point.
Es ist bei dem Verfahren des Weiteren vorgesehen, dass mittels der elektronischen Recheneinrichtung in Abhängigkeit von dem zweidimensionalen Bild des Objekts das Objekt klassifiziert wird. Das bedeutet, dass eine das Objekt beschreibende Klasse ermittelt wird. Weiterhin ist es vorgesehen, dass mittels der elektronischen Recheneinrichtung in Abhängigkeit von der Klassifizierung ein dem Objekt zugeordnetes dreidimensionales Modell aus mehreren dreidimensionalen Modellen ausgewählt wird. Hierbei kann mittels der elektronischen Recheneinrichtung das dreidimensionale Modell über eine Zuordnungsvorschrift, in welcher einer jeweiligen Klassifizierung von Objekten ein jeweiliges dreidimensionales Modell zugeordnet ist, in Abhängigkeit von der erfolgten Klassifizierung des Objekts ausgewählt werden. Es ist weiterhin vorgesehen, dass mittels der elektronischen Recheneinrichtung das zweidimensionale Bild des Objekts mit dem ausgewählten dreidimensionalen Modell verglichen wird. Für einen Vergleich zwischen dem zweidimensionalen Bild und dem ausgewählten dreidimensionalen Modell kann beispielsweisemittels der elektronischen Recheneinrichtung aus dem ausgewählten dreidimensionalen Modell für das Objekt wenigstens eine virtuelle Perspektivansicht des Objekts ermittelt werden. Bei der virtuellen Perspektivansicht handelt es sich um eine Zentralprojektion des Modells für das Objekt mit einer virtuellen Position der Kameraeinrichtung relativ zu dem Modell als Projektionszentrum beziehungsweise Augpunkt. Diese virtuelle Perspektivansicht kann mittels der elektronischen Recheneinrichtung mit der realen Perspektivansicht verglichen werden. Im Rahmen des Vergleichs können jeweilige Abweichungen zwischen der virtuellen Perspektivansicht und der realen Perspektivansicht ermittelt werden.In the method it is further provided that the object is classified by means of the electronic computing device as a function of the two-dimensional image of the object. This means that a class describing the object is determined. Furthermore, it is provided that a three-dimensional model assigned to the object is selected from a plurality of three-dimensional models by means of the electronic computing device as a function of the classification. In this case, the three-dimensional model can be selected by means of the electronic computing device via an assignment rule in which a respective three-dimensional model is assigned to a respective classification of objects, depending on the classification of the object. It is further provided that the two-dimensional image of the object is compared with the selected three-dimensional model by means of the electronic computing device. For a comparison between the two-dimensional image and the selected three-dimensional model, at least one virtual perspective view of the object can be determined from the selected three-dimensional model for the object, for example by means of the electronic computing device. The virtual perspective view is a central projection of the model for the object with a virtual position of the camera device relative to the model as the projection center or eye point. This virtual perspective view can be compared with the real perspective view by means of the electronic computing device. In the context of the comparison, respective deviations between the virtual perspective view and the real perspective view can be determined.
In Abhängigkeit von dem Vergleich, insbesondere in Abhängigkeit von den ermittelten Abweichungen zwischen der virtuellen Perspektivansicht und der realen Perspektivansicht, wird mittels der elektronischen Recheneinrichtung bei dem Verfahren ein Übereinstimmungswert für das zweidimensionale Bild und das ausgewählte dreidimensionale Modell ermittelt. Es ist weiterhin vorgesehen, dass mittels der elektronischen Recheneinrichtung ermittelt wird, ob der Übereinstimmungswert einen vorgegebenen Schwellenwert für den Übereinstimmungswert überschreitet. Wird mittels der elektronischen Recheneinrichtung ermittelt, dass der Übereinstimmungswert den vorgegebenen Schwellenwert überschreitet, dann wird in Abhängigkeit von dem Vergleich über das dreidimensionale Modell die Lage des Objekts relativ zu der Kameraeinrichtung ermittelt. Liegt der Übereinstimmungswert oberhalb oder auf dem vorgegebenen Schwellenwert , dann wird somit beispielsweise festgestellt, dass die ermittelte virtuelle Perspektivansicht ausreichend mit der realen Perspektivansicht des Objekts, welche aus dem Bild gewonnen worden ist, übereinstimmt, um wenigstens mit einer vorgegebenen Mindestpräzision über das der virtuellen Perspektivansicht zugeordnete Modell die Lage des Objekts relativ zu der Kameraeinrichtung ermitteln zu können. Wird mittels der elektronischen Recheneinrichtung ermittelt, dass der Übereinstimmungswert den vorgegebenen Schwellenwert unterschreitet, dann wird ein weiteres dreidimensionales Modell aus den mehreren dreidimensionalen Modellen ausgewählt, mit dem zweidimensionalen Bild des Objekts verglichen und in Abhängigkeit von dem Vergleich ein weiterer Übereinstimmungswert, in Abhängigkeit von welchem die Lage des Objekts relativ zu der Kameraeinrichtung ermittelt wird, ermittelt. Das bedeutet, dass sofern durch Vergleich des Übereinstimmungswerts mit dem vorgegebenen Schwellenwert festgestellt wird, dass Abweichungen beispielsweise zwischen der virtuellen Perspektivansicht und der realen Perspektivansicht zu groß sind, was durch das Unterschreiten des vorgegebenen Schwellenwerts durch den Übereinstimmungswert charakterisiert ist, dann wird das weitere dreidimensionale Modell aus den mehreren Modellen ermittelt und mit der realen Perspektivansicht verglichen. Es kann somit eine Neuklassifizierung des Objekts erfolgen um ein für das Objekt besonders gut passendes dreidimensionales Modell aus den mehreren Modellen auszuwählen. Wird in diesem weiteren Vergleich festgestellt, dass der in diesem Vergleich ermittelte Übereinstimmungswert oberhalb oder auf dem vorgegebenen Schwellenwert liegt, dann kann beispielsweise in Abhängigkeit von einer weiteren virtuellen Perspektivansicht des weiteren Modells die Lage des Objekts relativ zu der Kameraeinrichtung ermittelt werden. Wird in Abhängigkeit von dem im Vergleich zwischen der weiteren virtuellen Perspektivansicht und der realen Perspektivansicht ermittelten Übereinstimmungswert festgestellt, dass auch für die weitere virtuelle Perspektivansicht der Übereinstimmungswert den vorgegebenen Schwellenwert unterschreitet, dann wird ein anderes weiteres Modell aus den mehreren dreidimensionalen Modellen ausgewählt und mit dem zweidimensionalen Bild des Objekts verglichen. Insbesondere werden nacheinander mehrere unterschiedliche dreidimensionale Modelle mit der jeweiligen realen Perspektivansicht verglichen, bis ein Modell gefunden worden ist, dessen im Vergleich mit der realen Perspektivansicht ermittelter Übereinstimmungswert oberhalb oder auf dem vorgegebenen Schwellenwert liegt. Alternativ zu dem beschriebenen Auswählen des weiteren Modells kann ein Verfolgen des Kraftfahrzeugs, was als sogenanntes Tracking-Verfahren bezeichnet wird, unterbunden werden, falls der ermittelte Übereinstimmungswert den vorgegebenen Schwellenwert unterschreitet.Depending on the comparison, in particular depending on the determined deviations between the virtual perspective view and the real perspective view, the electronic computing device in the Method determines a match value for the two-dimensional image and the selected three-dimensional model. It is further provided that the electronic computing device is used to determine whether the correspondence value exceeds a predetermined threshold value for the correspondence value. If it is determined by means of the electronic computing device that the correspondence value exceeds the predetermined threshold value, then the position of the object relative to the camera device is determined as a function of the comparison using the three-dimensional model. If the correspondence value is above or on the specified threshold value, it is thus established, for example, that the determined virtual perspective view sufficiently corresponds to the real perspective view of the object obtained from the image to be at least a predetermined minimum precision above that of the virtual perspective view assigned model to determine the position of the object relative to the camera device. If it is determined by means of the electronic computing device that the correspondence value falls below the specified threshold value, then a further three-dimensional model is selected from the multiple three-dimensional models, compared with the two-dimensional image of the object and, depending on the comparison, a further correspondence value, depending on which the Position of the object is determined relative to the camera device is determined. This means that if it is determined by comparing the agreement value with the specified threshold value that deviations, for example between the virtual perspective view and the real perspective view, are too large, which is characterized by the agreement value falling below the specified threshold value, then the further three-dimensional model is used determined from the several models and compared with the real perspective view. The object can thus be reclassified in order to select a three-dimensional model that is particularly suitable for the object from the multiple models. If it is determined in this further comparison that the correspondence value determined in this comparison is above or on the predetermined threshold value, then the position of the object relative to the camera device can be determined, for example, depending on a further virtual perspective view of the further model. If, depending on the correspondence value determined in the comparison between the further virtual perspective view and the real perspective view, it is determined that the correspondence value also falls below the specified threshold value for the further virtual perspective view, then another further model is selected from the several three-dimensional models and with the two-dimensional model Image of the object compared. In particular, several different three-dimensional models are successively compared with the respective real perspective view until a model has been found whose correspondence value determined in comparison with the real perspective view is above or on the predetermined threshold value. As an alternative to the described selection of the further model, tracking of the motor vehicle, which is referred to as a so-called tracking method, can be prevented if the determined correspondence value falls below the predefined threshold value.
Das beschriebene Verfahren ermöglicht, dass mittels eines von einer Monokamera aufgezeichneten zweidimensionalen Bilds über den Vergleich mit einem dreidimensionalen Modell des Objekts die Lage des Objekts relativ zur Kameraeinrichtung ermittelt werden kann. Somit kann die Kameraeinrichtung, insbesondere die Monokamera, mittels welcher zweidimensionale Bilder erzeugbar sind, zum Ermitteln der Lage des Objekts relativ zu der Kameraeinrichtung herangezogen werden. Insbesondere ist die Monokamera besonders günstig im Vergleich zu handelsüblichen Stereokameras. Weiterhin ermöglicht die Klassifizierung des Objekts, dass für das jeweilige mittels des Lageerfassungssystems in seiner Lage zu ermittelnde Objekt ein spezielles, für das jeweilige Objekt besonders gut angepasstes Modell ausgewählt werden kann, wodurch eine besonders präzise Lageerkennung für das jeweilige Objekt relativ zu der Kameraeinrichtung möglich ist.The method described enables the position of the object relative to the camera device to be determined by means of a two-dimensional image recorded by a mono camera via comparison with a three-dimensional model of the object. The camera device, in particular the mono camera, by means of which two-dimensional images can be generated, can thus be used to determine the position of the object relative to the camera device. In particular, the mono camera is particularly cheap compared to commercially available stereo cameras. Furthermore, the classification of the object enables a special model that is particularly well adapted for the respective object to be selected for the respective object to be determined in its position by means of the position detection system, whereby a particularly precise position detection for the respective object relative to the camera device is possible .
Die Erfindung betrifft des Weiteren ein Verfahren zum Bearbeiten eines Objekts, bei welchem eine Lage des Objekts relativ zu einer Kameraeinrichtung mittels eines Lageerfassungssystems über ein Verfahren zur Lageerkennung eines Objekts ermittelt wird, wie es bereits im Zusammenhang mit dem erfindungsgemäßen Verfahren zur Lageerkennung des Objekts mittels des Lageerfassungssystems beschrieben worden ist. Bei dem Verfahren zum Bearbeiten des Objekts ist es weiterhin vorgesehen, dass über eine erste Relativposition der Kameraeinrichtung zu einer Robotereinrichtung eine zweite Relativposition des Objekts zur Robotereinrichtung ermittelt wird und in Abhängigkeit von der zweiten Relativposition die Robotereinrichtung relativ zu dem Objekt bewegt wird, wodurch mittels der Robotereinrichtung das Objekt bearbeitbar ist. Insbesondere wird die Robotereinrichtung in Abhängigkeit von der ermittelten zweiten Relativposition zwischen der Robotereinrichtung und dem zum bearbeitenden Objekt auf das Objekt zu bewegt und insbesondere zumindest bereichsweise an das Objekt angelegt, um das Objekt bearbeiten zu können. Insbesondere ist die Robotereinrichtung dazu eingerichtet, zweidimensional im Raum verfahren zu werden, wodurch die Robotereinrichtung auf das Objekt zu bewegt werden kann, insbesondere autonom. Weiterhin kann beispielsweise ein Roboterarm der Robotereinrichtung in Abhängigkeit von der ermittelten zweiten Relativposition, insbesondere autonom, an das Objekt heranbewegt, insbesondere an das Objekt zumindest bereichsweise angelegt werden. Das Ermitteln der Lage des Objekts mittels des Verfahrens zur Lageerkennung des Objekts ermöglicht ein besonders einfaches und präzises Ermitteln der Lage des Objekts relativ zu der Kameraeinrichtung, wobei über die erste Relativposition die ermittelte Lage des Objekts relativ zu der Kameraeinrichtung in die zweite Relativposition des Objekts relativ zu der Robotereinrichtung umgerechnet werden kann. Insbesondere sind die Kameraeinrichtung und die Robotereinrichtung relativ zueinander fixiert. Hierbei kann insbesondere ein Roboterfuß der Robotereinrichtung relativ zu der Kameraeinrichtung fixiert sein, wobei ein Roboterarm der Robotereinrichtung relativ zu der Kameraeinrichtung bewegbar ist. Das beschriebene Verfahren zum Bearbeiten des Objekts ermöglicht ein autonomes, besonders präzises Bearbeiten des Objekts mittels der Robotereinrichtung.The invention also relates to a method for processing an object, in which a position of the object relative to a camera device is determined by means of a position detection system using a method for position detection of an object, as already described in connection with the method according to the invention for position detection of the object by means of the Position detection system has been described. In the method for processing the object, it is also provided that a second relative position of the object to the robot device is determined via a first relative position of the camera device to a robot device and the robot device is moved relative to the object as a function of the second relative position, whereby by means of the Robot device the object is editable. In particular, the robot device is moved towards the object as a function of the determined second relative position between the robot device and the object to be processed and, in particular, is applied to the object at least in some areas in order to be able to process the object. In particular, the robot device is set up to be moved two-dimensionally in space, whereby the robot device can be moved towards the object, especially autonomous. Furthermore, for example, a robot arm of the robot device can be moved towards the object, in particular autonomously, as a function of the determined second relative position, in particular placed on the object at least in certain areas. The determination of the position of the object by means of the method for position recognition of the object enables a particularly simple and precise determination of the position of the object relative to the camera device, with the determined position of the object relative to the camera device in the second relative position of the object relative to the first relative position can be converted to the robot device. In particular, the camera device and the robot device are fixed relative to one another. In particular, a robot foot of the robot device can be fixed relative to the camera device, with a robot arm of the robot device being movable relative to the camera device. The described method for processing the object enables autonomous, particularly precise processing of the object by means of the robot device.
Die Erfindung betrifft weiterhin ein Lageerfassungssystem, welches dazu eingerichtet ist, ein Verfahren durchzuführen, wie es bereits im Zusammenhang mit dem erfindungsgemäßen Verfahren zur Lageerkennung des Objekts beziehungsweise und/oder dem erfindungsgemäßen Verfahren zum Bearbeiten des Objekts beschrieben worden ist. Das Lageerfassungssystem umfasst insbesondere die Kameraeinrichtung sowie die elektronische Recheneinrichtung. Weiterhin kann das Lageerfassungssystem die Robotereinrichtung umfassen. Somit kann das Lageerfassungssystem sowohl dazu eingerichtet sein, das erfindungsgemäße zur Lageerkennung des Objekts durchzuführen als auch dazu eingerichtet sein, das Verfahren zum Bearbeiten des Objekts durchzuführen.The invention further relates to a position detection system which is set up to carry out a method as has already been described in connection with the method according to the invention for detecting the position of the object and / or the method according to the invention for processing the object. The position detection system comprises in particular the camera device and the electronic computing device. Furthermore, the position detection system can include the robot device. The position detection system can thus be set up both to carry out the inventive method for detecting the position of the object and to carry out the method for processing the object.
Vorteile und vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens zur Lageerkennung des Objekts sowie Vorteile und vorteilhafte Weiterbildungen des Verfahrens zum Bearbeiten des Objekts sind als Vorteile und vorteilhafte Weiterbildungen des erfindungsgemäßen Lageerfassungssystems anzusehen und umgekehrt.Advantages and advantageous developments of the method according to the invention for detecting the position of the object as well as advantages and advantageous developments of the method for processing the object are to be regarded as advantages and advantageous developments of the position detection system according to the invention and vice versa.
Das Lageerfassungssystem ermöglicht eine Lageerkennung im Raum mit einem Monokamerasystem, bei welchem es sich um die Kameraeinrichtung handelt, sowie hinterlegten CAD-Daten, welche das Modell charakterisieren, sowie ein Übermitteln der ermittelten Lage an eine Applikation. Die Lage des Objekts charakterisiert eine Position sowie eine Orientierung des Objekts im Raum. Bei dem Verfahren zur Lageerkennung des Objekts ist es vorgesehen, dass das Monokamerasystem das Objekt, insbesondere ein Fahrzeug als Objekt, erfasst und die reale Perspektivansicht aus den hinterlegten CAD-Daten errechnet. Im Rahmen des Verfahrens zur Lageerkennung wird mittels des Lageerfassungssystems die Lage des Objekts ermittelt und kann mit einer in Form von CAD-Daten hinterlegten Initial-Position verglichen werden. Im Rahmen dieses Vergleichs kann eine Abweichung der ermittelten Lage des Objekts zu der hinterlegten Initial-Position hinsichtlich von sechs Freiheitsgraden ermittelt werden. Hierbei beschreiben die sechs Freiheitsgrade die drei translatorischen sowie drei rotatorischen Freiheitsgrade im dreidimensionalen Raum. Das Lageerfassungssystem sowie das Verfahren zur Lageerkennung des Objekts ermöglichen eine besonders kurze Einrichtzeit und besonders geringe Kosten des Lageerfassungssystems, da lediglich eine Kamera benötigt wird. Weiterhin kann jedes Fahrzeug, zu welchem CAD-Daten als Modell vorliegen, für das Lageerfassungssystem als Objekt eingelernt werden, ohne dass eine Position der Kameraeinrichtung zu verändern ist. Mittels des Lageerfassungssystems beziehungsweise des Verfahrens zur Lageerkennung des Objekts sind Störkonturen erkennbar. Des Weiteren ermöglicht das Lageerfassungssystem ein Überwachen einer Montage des Kraftfahrzeugs als Objekt, insbesondere bei einer sequentiellen Montage des Kraftfahrzeugs.The position detection system enables position detection in space with a mono camera system, which is the camera device, as well as stored CAD data that characterize the model, as well as transmission of the determined position to an application. The position of the object characterizes a position and an orientation of the object in space. In the method for detecting the position of the object, it is provided that the mono camera system detects the object, in particular a vehicle as an object, and calculates the real perspective view from the stored CAD data. As part of the method for position detection, the position of the object is determined by means of the position detection system and can be compared with an initial position stored in the form of CAD data. In the context of this comparison, a deviation of the determined position of the object from the stored initial position can be determined with regard to six degrees of freedom. The six degrees of freedom describe the three translational and three rotational degrees of freedom in three-dimensional space. The position detection system and the method for position detection of the object enable a particularly short set-up time and particularly low costs for the position detection system, since only one camera is required. Furthermore, every vehicle for which CAD data is available as a model can be taught-in as an object for the position detection system without changing a position of the camera device. Interfering contours can be recognized by means of the position detection system or the method for position detection of the object. Furthermore, the position detection system enables a monitoring of the assembly of the motor vehicle as an object, in particular in the case of a sequential assembly of the motor vehicle.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele sowie anhand der Zeichnung(en). Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further advantages, features and details of the invention emerge from the following description of preferred exemplary embodiments and on the basis of the drawing (s). The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures can be used not only in the respectively specified combination, but also in other combinations or on their own, without the scope of the Invention to leave.
Dabei zeigt:
- 1 ein Verfahrensschema für ein Verfahren zur Lageerkennung eines Objekts mittels eines Lageerfassungssystems, wobei bei dem Verfahren die Lage des Objekts auf Basis der sechs Freiheitsgrade im dreidimensionalen Raum relativ zu einer Kameraeinrichtung des Lageerfassungssystems ermittelt wird;
- 2 eine schematische Draufsicht des Lageerfassungssystems mit der Kameraeinrichtung und einer elektronischen Recheneinrichtung sowie mit einer Robotereinrichtung, welche in Abhängigkeit von der mittels der elektronischen Recheneinrichtung ermittelten Lage des Objekts, vorliegend eines Kraftfahrzeugs, relativ zu dem Kraftfahrzeug bewegbar ist insbesondere in Abhängigkeit von einem Vergleich zwischen einer Ist-Lage des Kraftfahrzeugs und einer in einem dreidimensionalen Modell, vorliegend in einem CAD-Modell, für das Kraftfahrzeug vorgegebenen Soll-Lage des Kraftfahrzeugs; und
- 3 ein Verfahrensschema für ein Verfahren zum Bearbeiten des Kraftfahrzeugs, wobei bei dem Verfahren die Lage des Kraftfahrzeugs relativ zu der Kameraeinrichtung des Lageerfassungssystems mittels des Verfahrens zur Lageerkennung ermittelt wird, in Abhängigkeit von der relativen ermittelten Lage des Kraftfahrzeugs zu der Kameraeinrichtung eine relative Lage des Kraftfahrzeugs zu der Robotereinrichtung ermittelt wird und in Abhängigkeit von der ermittelten relativen Lage des Kraftfahrzeugs zu der Robotereinrichtung die Robotereinrichtung relativ zu dem Kraftfahrzeug bewegt wird, wodurch das Kraftfahrzeug mittels der Robotereinrichtung bearbeitbar ist.
It shows: - 1 a method scheme for a method for detecting the position of an object by means of a position detection system, wherein in the method the position of the object is determined on the basis of the six degrees of freedom in three-dimensional space relative to a camera device of the position detection system;
- 2 a schematic top view of the position detection system with the camera device and an electronic computing device as well as with a robot device, which is movable relative to the motor vehicle depending on the position of the object determined by the electronic computing device, in this case a motor vehicle, in particular depending on a comparison between an actual -Location of the motor vehicle and one in a three-dimensional model, present in a CAD model, predetermined target position of the motor vehicle for the motor vehicle; and
- 3 a process scheme for a method for processing the motor vehicle, wherein in the method the position of the motor vehicle relative to the camera device of the position detection system is determined by means of the method for position detection, depending on the position of the motor vehicle determined relative to the camera device, a relative position of the motor vehicle the robot device is determined and depending on the determined relative position of the motor vehicle to the robot device, the robot device is moved relative to the motor vehicle, whereby the motor vehicle can be processed by means of the robot device.
In 2 ist einer Draufsicht ein Kraftfahrzeug 10 als Objekt gezeigt, welches mittels einer Robotereinrichtung 12 zu bearbeiten ist. Um das Kraftfahrzeug 10 mittels der Robotereinrichtung 12 bearbeiten zu können, sollte eine relative Position des Kraftfahrzeugs 10 zu der Robotereinrichtung 12 bekannt sein. Um die Lage des Kraftfahrzeugs 10 relativ zu der Robotereinrichtung 12 ermitteln zu können, ist ein Lageerfassungssystem 14 vorgesehen, welches eine Kameraeinrichtung 16 sowie eine elektronische Recheneinrichtung 18 umfasst. Die elektronische Recheneinrichtung 18 ist vorliegend schematisch mit einem Kästchen gekennzeichnet. Bei der Kameraeinrichtung 16 handelt es sich um eine Monokamera, mittels welcher ein zweidimensionales Bild aufzeichenbar ist. Vorliegend umfasst das Lageerfassungssystem 14 zusätzlich zu der Kameraeinrichtung 16 und der elektronischen Recheneinrichtung 18 die Robotereinrichtung 12. Somit ist das Lageerfassungssystem 14 vorliegend dazu eingerichtet, eine relative Lage des Kraftfahrzeugs 10 zu der Kameraeinrichtung 16 beziehungsweise zu der Robotereinrichtung 12 zu ermitteln und über die Robotereinrichtung 12 das Kraftfahrzeug 10 zu bearbeiten. Insbesondere ist die Robotereinrichtung 12 mittels einer Verfahreinrichtung autonom an das Kraftfahrzeug 10 heranbewegbar, wodurch ein autonomes Bearbeiten des Kraftfahrzeugs 10 mittels der Robotereinrichtung 12 ermöglicht wird.In 2 Fig. 3 is a plan view of an automobile 10 shown as an object, which by means of a robotic device 12 is to be edited. To the motor vehicle 10 by means of the robot device 12 To be able to edit, a relative position of the motor vehicle should be 10 to the robotic device 12 be known. To the location of the motor vehicle 10 relative to the robotic device 12 to be able to determine is a position detection system 14th provided which a camera device 16 and an electronic computing device 18th includes. The electronic computing device 18th is shown schematically with a box. When setting up the camera 16 it is a mono camera, by means of which a two-dimensional image can be recorded. In the present case, the position detection system includes 14th in addition to the camera device 16 and the electronic computing device 18th the robotic facility 12 . Thus the position detection system 14th here set up for this purpose, a relative position of the motor vehicle 10 to the camera device 16 or to the robot device 12 to be determined and via the robot device 12 the car 10 to edit. In particular, the robotic device 12 autonomously to the motor vehicle by means of a moving device 10 can be moved up, thereby autonomous processing of the motor vehicle 10 by means of the robot device 12 is made possible.
Ein Verfahrensschema für ein Ermitteln des Lageerfassungssystems 14 durchführbares Verfahren zur Lageerkennung des Kraftfahrzeugs 10 als Objekt ist in 1 gezeigt. Bei dem Verfahren ist es vorgesehen, dass in einem ersten Verfahrensschritt VA1 mittels der Kameraeinrichtung 16 des Lageerfassungssystems 14 ein zweidimensionales Bild des Kraftfahrzeugs 10 aufgezeichnet und für die elektronische Recheneinrichtung 18 bereitgestellt wird. Hierfür kann das aufgezeichnete Bild des Kraftfahrzeugs 10 in den Verfahrensschritten VA2 und VA3 aufbereitet werden. Bei dem Aufbereiten ist es vorgesehen, dass in einem zweiten Verfahrensschritt VA2 aus dem zweidimensionalen Bild des Kraftfahrzeugs 10 mittels einer Bildauswerteeinrichtung der Kameraeinrichtung 16 eine reale Perspektivansicht des Kraftfahrzeugs 10 ermittelt wird. Bei der realen Perspektivansicht handelt es sich um eine Zentralprojektion des Kraftfahrzeugs 10 mit der Kameraeinrichtung 16 als Projektionszentrum beziehungsweise Augpunkt. In einem dritten Verfahrensschritt VA3 wird die reale Perspektivansicht von der Kameraeinrichtung 16 für die elektronische Recheneinrichtung 18 bereitgestellt.A procedural scheme for determining the position detection system 14th feasible method for detecting the position of the motor vehicle 10 as an object is in 1 shown. The method provides that in a first method step VA1 by means of the camera device 16 of the position detection system 14th a two-dimensional image of the motor vehicle 10 recorded and for the electronic computing device 18th provided. The recorded image of the motor vehicle 10 processed in steps VA2 and VA3. In the preparation, it is provided that in a second method step VA2 from the two-dimensional image of the motor vehicle 10 by means of an image evaluation device of the camera device 16 a real perspective view of the motor vehicle 10 is determined. The real perspective view is a central projection of the motor vehicle 10 with the camera setup 16 as a projection center or eye point. In a third method step VA3, the real perspective view is obtained from the camera device 16 for the electronic computing device 18th provided.
In einem vierten Verfahrensschritt VA4 wird dann mittels der elektronischen Recheneinrichtung 18 in Abhängigkeit von dem empfangenen zweidimensionalen Bild des Kraftfahrzeugs 10 das Kraftfahrzeug 10 klassifiziert. Hierbei kann das Kraftfahrzeug 10 insbesondere hinsichtlich einer Modellreihe, welcher das Kraftfahrzeug 10 zugehört, klassifiziert werden. Somit kann das Kraftfahrzeug 10 beispielsweise als A-Klasse oder als S-Klasse klassifiziert werden. Alternativ zu der Klassifizierung kann eine Information, welche charakterisiert, welches Kraftfahrzeug 10 bearbeitet werden soll, von einem Produktionssystem zur Verfügung gestellt werden. In Abhängigkeit von dieser Information kann das jeweilige für den Vergleich heranzuziehende hinterlegte Modell aus den mehreren Modellen ausgewählt werden. In einem fünften Verfahrensschritt VA5 wird mittels der elektronischen Recheneinrichtung 18 in Abhängigkeit von der Klassifizierung des Kraftfahrzeugs 10 ein der Klassifizierung des Kraftfahrzeugs 10 zugeordnetes dreidimensionales Modell, welches insbesondere auf CAD-Daten basiert, aus mehreren dreidimensionalen Modellen ausgewählt. Hierfür können in einer Speichereinheit der elektronischen Recheneinrichtung 18 mehrere dreidimensionale Modelle hinterlegt sein, welche über eine Zuordnungsvorschrift mit jeweiligen möglichen Klassifizierungen für das Kraftfahrzeug 10 verknüpft sind. Über die Zuordnungsvorschrift kann dann mittels der elektronischen Recheneinrichtung 18 in Abhängigkeit von der Klassifizierung des Kraftfahrzeugs 10 das der Klassifizierung zugeordnete dreidimensionale Modell ausgewählt und für das weitere Verfahren zugrunde gelegt werden.In a fourth method step VA4, the electronic computing device 18th depending on the received two-dimensional image of the motor vehicle 10 the car 10 classified. Here, the motor vehicle 10 in particular with regard to a model series which the motor vehicle 10 be listened to, classified. Thus, the motor vehicle 10 for example, be classified as A-Class or S-Class. As an alternative to the classification, information that characterizes which motor vehicle can be used 10 is to be processed, made available by a production system. Depending on this information, the respective stored model to be used for the comparison can be selected from the several models. In a fifth method step VA5, the electronic computing device 18th depending on the classification of the motor vehicle 10 one of the classification of the motor vehicle 10 associated three-dimensional model, which is based in particular on CAD data, selected from several three-dimensional models. For this purpose, in a memory unit of the electronic computing device 18th several three-dimensional models can be stored, which have an assignment rule with respective possible classifications for the motor vehicle 10 are linked. The electronic computing device can then use the assignment rule 18th depending on the classification of the motor vehicle 10 the three-dimensional model assigned to the classification is selected and used as a basis for the further procedure.
Das ausgewählte Modell wird mit dem zweidimensionalen Bild verglichen. Hierbei wird ein Kantenvergleich zwischen dem zweidimensionalen Bild und dem dreidimensionalen Modell durchgeführt. Dieser Vergleich kann wie im Zusammenhang mit den Verfahrensschritten VA6 und VA7 beschrieben wird erfolgen. In dem sechsten Verfahrensschritt VA6 wird mittels der elektronischen Recheneinrichtung 18 aus dem ausgewählten dreidimensionalen Modell für das Kraftfahrzeug 10 wenigstens eine virtuelle Perspektivansicht des Kraftfahrzeugs 10 ermittelt. Mittels der elektronischen Recheneinrichtung 18 wird in dem sechsten Verfahrensschritt VA6 die virtuelle Perspektivansicht des Kraftfahrzeugs 10 mit der Kameraeinrichtung 16 als Projektionszentrum ermittelt. In dem siebten Verfahrensschritt VA7 werden die virtuelle Perspektivansicht und die reale Perspektivansicht mittels der elektronischen Recheneinrichtung 18 miteinander verglichen. Im Rahmen des Vergleichs werden Übereinstimmungen und Abweichungen zwischen der realen Perspektivansicht und der virtuelln Perspektivansicht ermittelt.The selected model is compared with the two-dimensional image. Here, an edge comparison is carried out between the two-dimensional image and the three-dimensional model. This comparison can be made as will be described in connection with method steps VA6 and VA7. In the sixth method step VA6, the electronic computing device 18th from the selected three-dimensional model for the motor vehicle 10 at least one virtual perspective view of the motor vehicle 10 determined. Using the electronic computing device 18th becomes the virtual perspective view of the motor vehicle in the sixth method step VA6 10 with the camera setup 16 determined as the projection center. In the seventh method step VA7, the virtual perspective view and the real perspective view are generated by means of the electronic computing device 18th compared to each other. As part of the comparison, matches and deviations between the real perspective view and the virtual perspective view are determined.
In Abhängigkeit von bei dem Vergleich ermittelten Übereinstimmungen und Abweichungen wird in einem achten Verfahrensschritt VA8 mittels der elektronischen Recheneinrichtung 18 ein Übereinstimmungswert für das zweidimensionale Bild mit dem dreidimensionalen Modell, insbesondere für die Perspektivansichten, ermittelt. Wird im achten Verfahrensschritt VA8 ermittelt, dass der ermittelte Übereinstimmungswert oberhalb oder auf einem vorgegebenen Schwellenwert liegt, dann wird in einem neunten Verfahrensschritt VA9 in Abhängigkeit von dem Vergleich, insbesondere in Abhängigkeit von der virtuellen Perspektivansicht, welche den oberhalb oder auf dem vorgegebenen Schwellenwert liegenden Übereinstimmungswert im Rahmen des Vergleichs mit der realen Perspektivansicht im achten Verfahrensschritt VA8 erzielt hat, über das der virtuellen Perspektivansicht zugeordnete dreidimensionale Modell die Lage des Kraftfahrzeugs 10 relativ zu der Kameraeinrichtung 16 ermittelt. Hierbei kann mittels des dreidimensionalen Modells mit der Kameraeinrichtung 16 als Projektionspunkt für die virtuelle Perspektivansicht die Lage des Kraftfahrzeugs 10 relativ zu der Kameraeinrichtung 16 ermittelt werden. Der vorgegebene Schwellenwert kann insbesondere bei 50 Prozent liegen.Depending on the correspondences and deviations determined during the comparison, in an eighth method step VA8 is carried out by means of the electronic computing device 18th an agreement value for the two-dimensional image with the three-dimensional model, in particular for the perspective views, is determined. If it is determined in the eighth method step VA8 that the determined correspondence value is above or on a predetermined threshold value, then in a ninth method step VA9, depending on the comparison, in particular depending on the virtual perspective view, the correspondence value lying above or on the predetermined threshold value in the context of the comparison with the real perspective view in the eighth method step VA8, via the three-dimensional model assigned to the virtual perspective view, the position of the motor vehicle 10 relative to the camera device 16 determined. Here, by means of the three-dimensional model with the camera device 16 the position of the motor vehicle as a projection point for the virtual perspective view 10 relative to the camera device 16 be determined. The specified threshold value can in particular be 50 percent.
Wird in dem achten Verfahrensschritt VA8 ermittelt, dass der Übereinstimmungswert den vorgegebenen Schwellenwert unterschreitet, dann wird in einem weiteren fünften Verfahrensschritt VA5 ein weiteres dreidimensionales Modell für das Kraftfahrzeug 10 aus den mehreren Modellen ermittelt. Dieses weitere dreidimensionale Modell wird mittels der elektronischen Recheneinrichtung 18 mit dem zweidimensionalen Bild, insbesondere der realen Perspektivansicht verglichen. Es kann somit eine Neu-Klassifizierung des Kraftfahrzeugs 10 in Abhängigkeit von einem Gütewert eines Kantenvergleichs zwischen dem zweidimensionalen Bild und dem dreidimensionalen Modell, insbesondere dem Übereinstimmungswert erfolgen. Liegt der Übereinstimmungswert unterhalb dem vorgegebenen Schwellenwert und liegen somit zu große Abweichungen zwischen dem zweidimensionalen Bild und dem ausgewählten dreidimensionalen Modell vor, dann wird festgestellt, dass ein falsches Modell ausgewählt worden ist und infolgedessen wird das weitere dreidimensionale Modell ausgewählt.If it is determined in the eighth method step VA8 that the correspondence value falls below the specified threshold value, then in a further fifth method step VA5 a further three-dimensional model for the motor vehicle is created 10 determined from the several models. This further three-dimensional model is created using the electronic computing device 18th compared with the two-dimensional image, in particular the real perspective view. It can thus reclassify the motor vehicle 10 take place as a function of a quality value of an edge comparison between the two-dimensional image and the three-dimensional model, in particular the correspondence value. If the correspondence value is below the predefined threshold value and there are therefore excessive deviations between the two-dimensional image and the selected three-dimensional model, it is determined that an incorrect model has been selected and, as a result, the further three-dimensional model is selected.
In einem weiteren achten Verfahrensschritt VA8 wird ein Übereinstimmungswert des Vergleichs zwischen der realen Perspektivansicht und einer weiteren virtuellen Perspektivansicht des weiteren dreidimensionalen Modells ermittelt und dieser weitere Übereinstimmungswert hinsichtlich dessen Lage zu dem vorgegebenen Schwellenwert ausgewertet. In dem neunten Verfahrensschritt VA9 wird die Lage des Kraftfahrzeugs 10 insbesondere hinsichtlich drei translatorischer Freiheitsgrade und drei rotatorischer Freiheitsgrade dreidimensional im Raum relativ zu der Kameraeinrichtung 16 ermittelt. In dem achten Verfahrensschritt VA8 kann in Abhängigkeit von dem Übereinstimmungswert mittels der elektronischen Recheneinrichtung 18 eine Lage eines beweglichen Objektteils, vorliegend eines beweglichen Kraftfahrzeugbauteils des Kraftfahrzeugs 10, relativ zu dem Kraftfahrzeug 10 und/oder relativ zu der Kameraeinrichtung 16 ermittelt werden. Hierbei kann insbesondere ermittelt werden, ob und welche Fahrzeugtür des Kraftfahrzeugs 10 in einer geöffneten Stellung angeordnet ist beziehungsweise wie weit die jeweilige Fahrzeugtür geöffnet ist.In a further eighth method step VA8, a correspondence value of the comparison between the real perspective view and a further virtual perspective view of the further three-dimensional model is determined and this further correspondence value is evaluated with regard to its position relative to the predefined threshold value. In the ninth method step VA9, the position of the motor vehicle 10 in particular with regard to three translational degrees of freedom and three rotational degrees of freedom three-dimensionally in space relative to the camera device 16 determined. In the eighth method step VA8, depending on the correspondence value, the electronic computing device can be used 18th a position of a movable object part, in the present case a movable motor vehicle component of the motor vehicle 10 , relative to the motor vehicle 10 and / or relative to the camera device 16 be determined. In particular, it can be determined whether and which vehicle door of the motor vehicle 10 is arranged in an open position or how far the respective vehicle door is open.
Folglich wird somit das zweidimensionale Bild des Kraftfahrzeugs 10 aufgezeichnet, das Kraftfahrzeug 10 klassifiziert, in Abhängigkeit von der Klassifikation des Kraftfahrzeugs 10 das dreidimensionale Modell ausgewählt und für die Lageerkennung des Kraftfahrzeugs das zweidimensionale Bild mit dem ausgewählten dreidimensionalen Modell in einem sogenannten Matching-Verfahren verglichen, wodurch ein Verfolgen des Kraftfahrzeugs, was als sogenanntes Tracking-Verfahren bezeichnet wird, möglich ist.Hence, it becomes the two-dimensional image of the automobile 10 recorded the motor vehicle 10 classified, depending on the classification of the motor vehicle 10 the three-dimensional model is selected and, for position recognition of the motor vehicle, the two-dimensional image is compared with the selected three-dimensional model in a so-called matching method, which makes it possible to track the motor vehicle, which is referred to as a so-called tracking method.
Um das Kraftfahrzeug 10 mittels der Robotereinrichtung 12 bearbeiten zu können, ist das in 3 durch ein Verfahrensschema abgebildete Verfahren zum Bearbeiten des Kraftfahrzeugs 10 vorgesehen. In einem ersten Verfahrensschritt VB1 des Verfahrens wird die Lage des Kraftfahrzeugs 10 relativ zu der Kameraeinrichtung 16 ermittelt, vorliegend im Rahmen des im Zusammenhang mit 1 beschriebenen Verfahrens zur Lageerkennung des Kraftfahrzeugs 10. In einem zweiten Verfahrensschritt VB2 des Verfahren zum Bearbeiten des Kraftfahrzeugs 10 wird über eine erste Relativposition der Kameraeinrichtung 16 zu der Robotereinrichtung 12 eine zweite Relativposition des Kraftfahrzeugs 10 zu der Robotereinrichtung 12 ermittelt. In dem dritten Verfahrensschritt VB3 wird in Abhängigkeit von der im zweiten Verfahrensschritt VB2 ermittelten zweiten Relativposition der Robotereinrichtung 12 zu dem Kraftfahrzeug 10 die Robotereinrichtung 12 relativ zu dem Kraftfahrzeug 10 bewegt, wodurch mittels der Robotereinrichtung 12 das Kraftfahrzeug 10 bearbeitbar ist. Im Rahmen des Bearbeitens des Kraftfahrzeugs 10 mittels der Robotereinrichtung 12 können mittels der Robotereinrichtung 12 sequentiell Objektteile, insbesondere Kraftfahrzeugbauteile, an dem Kraftfahrzeug 10 angebracht und befestigt werden. Um eine Kollision der Robotereinrichtung 12 mit einem beweglichen Kraftfahrzeugbauteil des Kraftfahrzeugs 10 zu vermeiden, kann die Robotereinrichtung 12 in Abhängigkeit von der ermittelten zweiten Relativposition und in Abhängigkeit von der ermittelten Lage des beweglichen Kraftfahrzeugbauteils des Kraftfahrzeugs 10 relativ zu dem Kraftfahrzeug 10 bewegt werden. Hierbei kann die Lage des Kraftfahrzeugbauteils an dem Kraftfahrzeug 10 relativ zu einem Ursprung des Kraftfahrzeugs 10 und/oder relativ zu der Kameraeinrichtung 16 und über die erste Relativposition der Kameraeinrichtung 16 relativ zu der Robotereinrichtung 12 ermittelt werden. Infolgedessen kann die Robotereinrichtung 12 unter Vermeidung einer Kollision mit dem beweglichen Kraftfahrzeugbauteil des Kraftfahrzeugs 10 an das Kraftfahrzeug 10 heranbewegt und insbesondere mit dem Kraftfahrzeug 10 kontaktiert werden. Hierdurch kann eine Beschädigungsgefahr für das Kraftfahrzeug 10 sowie für die Robotereinrichtung 12 bei einem Bearbeiten des Kraftfahrzeugbauteils besonders gering gehalten werden.To the motor vehicle 10 by means of the robot device 12 editing is in 3 Process for processing the motor vehicle, depicted by a process scheme 10 intended. In a first method step VB1 of the method, the position of the motor vehicle 10 relative to the camera device 16 determined, present in the context of in connection with 1 described method for detecting the position of the motor vehicle 10 . In a second method step VB2 of the method for processing the motor vehicle 10 is about a first relative position of the camera device 16 to the robotic device 12 a second relative position of the motor vehicle 10 to the robotic device 12 determined. In the third method step VB3, depending on the second relative position of the robot device determined in the second method step VB2 12 to the motor vehicle 10 the robotic facility 12 relative to the motor vehicle 10 moved, whereby by means of the robotic device 12 the car 10 is editable. As part of editing the Motor vehicle 10 by means of the robot device 12 can by means of the robot device 12 sequentially object parts, in particular motor vehicle components, on the motor vehicle 10 attached and fastened. To a collision of the robotic device 12 with a movable motor vehicle component of the motor vehicle 10 can avoid the robotic device 12 depending on the determined second relative position and depending on the determined position of the movable motor vehicle component of the motor vehicle 10 relative to the motor vehicle 10 be moved. Here, the position of the motor vehicle component on the motor vehicle 10 relative to an origin of the motor vehicle 10 and / or relative to the camera device 16 and about the first relative position of the camera device 16 relative to the robotic device 12 be determined. As a result, the robot device can 12 while avoiding a collision with the movable motor vehicle component of the motor vehicle 10 to the motor vehicle 10 and especially with the motor vehicle 10 be contacted. This can result in a risk of damage to the motor vehicle 10 as well as for the robot equipment 12 are kept particularly low when machining the motor vehicle component.
In einer Steuereinrichtung der Robotereinrichtung 12 kann eine Abfolge hinterlegt sein, wie das Kraftfahrzeug 10 zu bearbeiten ist. Für ein sicheres Bearbeiten des Kraftfahrzeugs 10 mittels der Abfolge kann die Abfolge hinsichtlich eines Referenzkraftfahrzeugs in der Steuereinrichtung hinterlegt sein. Eine Lage des Referenzkraftfahrzeugs relativ zu der Robotereinrichtung 12 kann mittels des Verfahrens zur Lageerkennung und über die zweite Relativposition ermittelt werden. Weiterhin kann die Lage des Kraftfahrzeugs 10 wie beschrieben ermittelt werden. Die ermittelte Lage des Referenzkraftfahrzeugs kann mit der ermittelten Lage des Kraftfahrzeugs 10 verglichen werden und in Abhängigkeit von einer Abweichung zwischen der ermittelten Lage des Kraftfahrzeugs 10 und der ermittelten Lage des Referenzkraftfahrzeugs kann die Abfolge angepasst werden. Somit kann ein sicheres und präzises Bearbeiten des Kraftfahrzeugs 10 mittels der Robotereinrichtung 12 gewährleistet werden.In a control device of the robot device 12 a sequence can be stored, such as the motor vehicle 10 is to be edited. For safe machining of the motor vehicle 10 by means of the sequence, the sequence can be stored in the control device with regard to a reference motor vehicle. A position of the reference motor vehicle relative to the robot device 12 can be determined by means of the method for position detection and via the second relative position. Furthermore, the position of the motor vehicle 10 can be determined as described. The determined position of the reference motor vehicle can be compared with the determined position of the motor vehicle 10 be compared and depending on a deviation between the determined position of the motor vehicle 10 and the sequence can be adapted to the determined position of the reference motor vehicle. Safe and precise machining of the motor vehicle can thus be achieved 10 by means of the robot device 12 guaranteed.
Insgesamt wird durch das Lageerfassungssystem 14 ein Referenzierungskonzept zur Bestimmung von sechs Freiheitsgraden, drei translatorischen und drei rotatorischen, des Kraftfahrzeugs 10 im Raum anhand eines Monokamerasystem, vorliegend der Kameraeinrichtung 16, bereitgestellt, wobei die Kameraeinrichtung 16 auf der Robotereinrichtung 12 montiert sein kann. Die Robotereinrichtung 12 kann ein führerloses Transportsystem sowie ein Roboterarm umfassen, wobei der Roboterarm relativ zu dem führerlosen Transportsystem bewegbar ist.Overall, the position detection system 14th a referencing concept for determining six degrees of freedom, three translational and three rotary, of the motor vehicle 10 in the room using a mono camera system, in this case the camera device 16 , provided, wherein the camera device 16 on the robot device 12 can be mounted. The robotic facility 12 may comprise a driverless transport system and a robot arm, the robot arm being movable relative to the driverless transport system.
Dem beschriebenen Verfahren zum Bearbeiten des Kraftfahrzeugs 10 liegt die Erkenntnis zugrunde, dass für das Anfahren des Kraftfahrzeugs 10 im Raum mit einem mobilen Roboter, vorliegend der Robotereinrichtung 12, die sechsdimensionale Lage des Kraftfahrzeugs 10 in Bezug zur Robotereinrichtung 12 bekannt sein sollte. Auf dem führerlosen Transportsystem der Robotereinrichtung 12 kann die Kameraeinrichtung 16 angeordnet sein, welche beispielsweise als Bildverarbeitungskamera ausgebildet ist. Mittels eines modellbasierten Trackingsystems, bei welchem es sich um das Lageerfassungssystem 14 handelt, kann die Lage, insbesondere eine 6 DOF-Lage, welche durch die drei translatorischen und die drei rotatorischen Freiheitsgrade definiert ist, des Kraftfahrzeugs 10 in Bezug zur Kameraeinrichtung 16 ermittelt werden. Hierbei steht 6 DOF für die sechs Freiheitsgrade (Degrees of Freedom). Zur Bestimmung der 6 DOF-Lage des Kraftfahrzeugs 10 zur Bildverarbeitungskamera wird das Kraftfahrzeug 10 in einem definierten vorgegebenen Bereich platziert. Dieser Bereich wird im Folgenden als Initialposition des Kraftfahrzeugs 10 bezeichnet. Die Initialposition ist dabei nicht fixiert, sondern kann in gewissen Grenzen variieren. Diese Variation kann dadurch hervorgerufen werden, dass das Kraftfahrzeug 10 durch einen Fahrer in den definierten Bereich gefahren wird. Mittels eines modellbasierten Trackingverfahrens, vorliegend des Verfahrens zur Lageerkennung des Kraftfahrzeugs 10, wird die 6D-Lage des Kraftfahrzeugs 10 in Bezug zur Kameraeinrichtung 16 berechnet. Hierzu wird das dreidimensionale Modell, insbesondere ein CAD-Modell des zu referenzierenden Kraftfahrzeugs 10 benötigt. Im Trackingsystem, vorliegend in der Recheneinrichtung 18, wird für dieses CAD-Modell eine virtuelle Initialposition, vorliegend die virtuelle Perspektivansicht, vorgegeben. Diese virtuelle Perspektivansicht des virtuellen Kraftfahrzeugs 10 in dem CAD-Modell sollte zur realen Perspektivansicht des realen Kraftfahrzeugs 10 im Bild der Bildverarbeitungskamera korrespondieren beziehungsweise nahezu identisch sein. Die virtuelle Perspektivanischt des Kraftfahrzeugs 10 im CAD-Modell und die reale Perspektivansicht aus dem Bild der Bildverarbeitungskamera können zueinander leicht variieren, wobei von einem sogenannten Fangbereich gesprochen wird. Bei diesem modellbasierten Trackingverfahren werden aus der aus dem CAD-Modell berechneten virtuellen Perspektivansicht und aus der realen Perspektivansicht aus dem Bild der Bildverarbeitungskamera Kanteninformationen extrahiert, welche in einem gemeinsamen Suchraum mathematisch aufeinander abgebildet werden. Dies wird in der Fachliteratur als sogenanntes Matching beziehungsweise Fitting bezeichnet. Durch diesen Matching-Schritt beziehungsweise Fitting-Schritt kann eine virtuelle Kameraeinrichtung im virtuellen Raum des dreidimensionalen Modells bewegt werden, um die virtuelle Perspektivansicht, welche aus dem CAD-Modell berechnet worden ist, und die reale Perspektivansicht in Überdeckung zu bringen. Die virtuelle Kamera im virtuellen Raum wird jeweils durch das Projektionszentrum der virtuellen Perspektivansicht definiert. Ist ein initiales Fitting bestimmt worden, wird kontinuierlich die 6 DOF-Lage des Kraftfahrzeugs 10 zur Kameraeinrichtung 16 mit drei Freiheitsgraden für die Translation und drei Freiheitsgraden für die Rotation bestimmt. Weiterhin kann das CAD-Modell deckungsgleich zu mittels der Kameraeinrichtung 16 aufgezeichneten Bildern des Kraftfahrzeugs 10 dargestellt werden. Dies wird als Tracking des Kraftfahrzeugs 10 bei einer beweglichen Kameraeinrichtung 16 bezeichnet. Alternativ kann sich das Kraftfahrzeug 10 frei bewegen, und die Kameraeinrichtung 16 bleibt in einer statischen Position. Solange das Kraftfahrzeug 10 in jeweiligen Bildern der Kameraeinrichtung 16 sichtbar ist, kann die 6 DOF-Lage des Kraftfahrzeugs 10 im Raum relativ zur Kameraeinrichtung 16 berechnet wird. Ein Ursprung der Kameraeinrichtung 16 kann für das Ermitteln der 6 DOF-Lage des Kraftfahrzeugs 10 als Bezugssystem dienen, wobei dieses Bezugssystem der Kameraeinrichtung 16 in ein weiteres Bezugssystem umgerechnet werden kann, sofern die Transformation zwischen dem Bezugssystem der Kameraeinrichtung 16 und dem weiteren Bezugssystem bekannt ist. Insbesondere kann das Bezugssystem der Kameraeinrichtung 16 in ein Bezugssystem der Robotereinrichtung 12 umgerechnet werden, vorliegend über die bekannte erste Relativposition der Kameraeinrichtung 16 zu der Robotereinrichtung 12.The described method for processing the motor vehicle 10 is based on the knowledge that for starting the motor vehicle 10 in the room with a mobile robot, in this case the robot device 12 , the six-dimensional position of the motor vehicle 10 in relation to robot equipment 12 should be known. On the driverless transport system of the robot device 12 can the camera setup 16 be arranged, which is designed for example as an image processing camera. Using a model-based tracking system, which is the position detection system 14th is, the position, in particular a 6 DOF position, which is defined by the three translational and the three rotational degrees of freedom, of the motor vehicle 10 in relation to the camera setup 16 be determined. Here, 6 DOF stands for the six degrees of freedom. To determine the 6 DOF position of the motor vehicle 10 the motor vehicle becomes an image processing camera 10 placed in a defined predetermined area. This area is referred to below as the initial position of the motor vehicle 10 designated. The initial position is not fixed, but can vary within certain limits. This variation can be caused by the fact that the motor vehicle 10 is driven into the defined area by a driver. By means of a model-based tracking method, in this case the method for detecting the position of the motor vehicle 10 , becomes the 6D location of the motor vehicle 10 in relation to the camera setup 16 calculated. For this purpose, the three-dimensional model, in particular a CAD model of the motor vehicle to be referenced 10 needed. In the tracking system, in this case in the computing device 18th , a virtual initial position, in this case the virtual perspective view, is specified for this CAD model. This virtual perspective view of the virtual motor vehicle 10 in the CAD model should be for the real perspective view of the real motor vehicle 10 correspond or be almost identical in the image of the image processing camera. The virtual perspective view of the motor vehicle 10 in the CAD model and the real perspective view from the image of the image processing camera can vary slightly from one another, this being referred to as a so-called capture area. In this model-based tracking method, edge information is extracted from the virtual perspective view calculated from the CAD model and from the real perspective view from the image of the image processing camera, which information is mathematically mapped onto one another in a common search space. This is referred to in the specialist literature as what is known as matching or fitting. By means of this matching step or fitting step, a virtual camera device can be moved in the virtual space of the three-dimensional model in order to display the virtual perspective view that is calculated from the CAD model has been, and to bring the real perspective view into overlap. The virtual camera in the virtual space is defined by the projection center of the virtual perspective view. If an initial fitting has been determined, the 6 DOF position of the motor vehicle is continuous 10 for camera setup 16 with three degrees of freedom for translation and three degrees of freedom for rotation. Furthermore, the CAD model can be congruent with by means of the camera device 16 recorded images of the motor vehicle 10 being represented. This is called tracking the motor vehicle 10 with a movable camera device 16 designated. Alternatively, the motor vehicle 10 move freely, and the camera setup 16 remains in a static position. As long as the motor vehicle 10 in respective images of the camera device 16 is visible, the 6 DOF location of the motor vehicle 10 in space relative to the camera equipment 16 is calculated. An origin of the camera device 16 can be used to determine the 6 DOF position of the motor vehicle 10 serve as a reference system, this reference system of the camera device 16 can be converted into a further reference system, provided that the transformation between the reference system of the camera device 16 and the further reference system is known. In particular, the reference system of the camera device 16 into a reference system of the robot device 12 are converted, in the present case using the known first relative position of the camera device 16 to the robotic device 12 .
Für eine Objektidentifikation des Kraftfahrzeugs 10 erzeugt das Trackingsystem bei einem Aufzeichnen des Kraftfahrzeugs 10 mittels der Kameraeinrichtung 16 mittels mehrerer zeitlich aufeinanderfolgender Bilder für jedes Bild, insbesondere einer Videosequenz, am Datenausgang einen Qualitätswert, vorliegend den Übereinstimmungswert, welcher eine Qualität einer aktuellen 6 DOF-Lageerkennung wiedergibt. Dieser Qualitätswert kann zur Identifikation des Kraftfahrzeugs 10 verwendet werden. Bei einem vorgegebenen Satz von CAD-Modellen wird dasjenige CAD-Modell einen höchsten Qualitätswert erzielen, welches am besten mit dem Kraftfahrzeug 10 in dem aufgezeichneten Bild übereinstimmt. Auf diese Weise kann ein bestimmter Fahrzeugtyp aus verschiedenen Fahrzeugmodellen identifiziert werden, insbesondere ob es sich bei dem Kraftfahrzeug 10 um eine A-Klasse oder um eine S-Klasse handelt.For object identification of the motor vehicle 10 the tracking system generates when recording the motor vehicle 10 by means of the camera device 16 by means of several temporally successive images for each image, in particular a video sequence, at the data output a quality value, in this case the correspondence value, which reflects the quality of a current 6 DOF position detection. This quality value can be used to identify the motor vehicle 10 be used. With a given set of CAD models, that CAD model will achieve the highest quality value which is best with the motor vehicle 10 matches in the recorded image. In this way, a specific vehicle type can be identified from different vehicle models, in particular whether it is the motor vehicle 10 is an A-Class or an S-Class.
Im Folgenden wird ein Verfahren zur Referenzierung der Kameraeinrichtung 16 zu der Robotereinrichtung 12 erläutert. Für eine initiale Einrichtung des Lageerfassungssystems 14 ist eine Referenzierung der Kameraeinrichtung 16 zu der Robotereinrichtung 12 vorgesehen. Hierzu kann an einem Roboterflansch der Robotereinrichtung 12 ein Prüfkörperobjekt montiert werden. Insbesondere wird das Prüfkörperobjekt an einem Roboterendkopf der Robotereinrichtung 12 befestigt. Dieses Prüfkörperobjekt weist insbesondere besonders viele Kanten auf. Von diesem Prüfkörperobjekt ist ein CAD-Modell in der elektronischen Recheneinrichtung 18 hinterlegt, so dass das Prüfkörperobjekt basierend auf dem beschriebenen modellbasierten Trackingverfahren in seiner 6 DOF-Lage in Bezug zur Kameraeinrichtung 16 verfolgt werden kann. Hierbei kann eine Initialposition für das Prüfkörperobjekt im realen Raum und im durch das CAD-Modell vorgegebenen Raum festgelegt werden, insbesondere jeweilige zu vergleichende Perspektivansichten, so dass ein Fitting-Schritt mit anschließender Verfolgung des Prüfkörperobjekts erfolgen kann. Das Prüfkörperobjekt wird bei diesem Vorgehen in einem Sichtbereich der Kameraeinrichtung 16, insbesondere in einer Bildmitte des Sichtbereichs platziert. Für die Referenzierung der Kameraeinrichtung 16 zu der Robotereinrichtung 12 wird das CAD-Modell des Prüfkörperobjekts erstellt. Hierfür wird das CAD-Modell des Prüfkörperobjekts in einem Bezugssystem beziehungsweise in einem Koordinatensystem modelliert. Für das Referenzierungsverfahren ist darauf zu achten, dass ein Koordinatenursprung des CAD-Modells des Prüfkörperobjekts mit einer genauen Position eines Flanschursprungs des Roboterflansches der Robotereinrichtung 12 übereinstimmt. Weiterhin ist die Transformation der Kameraeinrichtung 16 und der Robotereinrichtung 12 zu bestimmen. Bei der Referenzierung der Kameraeinrichtung 16 zu der Robotereinrichtung 12 wird der Robotereinrichtung 12 von der Kameraeinrichtung 16 die 6 DOF-Lage eines Prüfkörperkoordinatensystems in einem Kamerakoordinatensystem der Kameraeinrichtung 16 übermittelt. Das Kamerakoordinatensystem ist deckungsgleich mit einem Flanschkoordinatensystem der Robotereinrichtung 12, wodurch die Robotereinrichtung 12 aus einer von der Kameraeinrichtung 16 gelieferten Transformation der Kameraeinrichtung 16 zu dem Prüfkörperobjekt über eine inverse Kinematik die Transformation der Kameraeinrichtung 16 zu einem Robotersockel der Robotereinrichtung 12 berechnen und so die 6 DOF-Lage der Kameraeinrichtung 16 im Koordinatensystem der Robotereinrichtung 12 bestimmen kann. Diese Transformation wird in einem Roboterprogramm der Robotereinrichtung 12 als Frame für spätere Berechnungen abgelegt. Auf diese Weise ist die 6 DOF-Lage der Kameraeinrichtung 16 zur Robotereinrichtung 12 bekannt, und die beiden Systeme sind zueinander kalibriert. Dieser Ablauf kann als Wartungsprogramm in der Robotereinrichtung 12 gespeichert werden und kann für eine Überprüfung durchgeführt werden.A method for referencing the camera device is described below 16 to the robotic device 12 explained. For an initial setup of the position detection system 14th is a referencing of the camera device 16 to the robotic device 12 intended. This can be done on a robot flange of the robot device 12 a test object can be mounted. In particular, the test body object is attached to a robot end head of the robot device 12 attached. This test body object in particular has a particularly large number of edges. A CAD model of this test object is in the electronic computing device 18th stored so that the test body object based on the model-based tracking method described in its 6 DOF position in relation to the camera device 16 can be tracked. Here, an initial position for the test object in real space and in the space specified by the CAD model can be defined, in particular respective perspective views to be compared, so that a fitting step with subsequent tracking of the test object can take place. With this procedure, the test body object is in a field of view of the camera device 16 , especially placed in the center of the image. For referencing the camera device 16 to the robotic device 12 the CAD model of the test object is created. For this purpose, the CAD model of the test object is modeled in a reference system or in a coordinate system. For the referencing process, it must be ensured that a coordinate origin of the CAD model of the test body object with an exact position of a flange origin of the robot flange of the robot device 12 matches. Furthermore, the transformation of the camera device 16 and the robotic device 12 to determine. When referencing the camera device 16 to the robotic device 12 becomes the robotic device 12 from the camera device 16 the 6 DOF position of a test body coordinate system in a camera coordinate system of the camera device 16 transmitted. The camera coordinate system is congruent with a flange coordinate system of the robot device 12 , making the robotic device 12 from one of the camera equipment 16 supplied transformation of the camera device 16 the transformation of the camera device to the test body object via inverse kinematics 16 to a robot base of the robot device 12 calculate and so the 6 DOF position of the camera device 16 in the coordinate system of the robot device 12 can determine. This transformation is carried out in a robot program of the robot device 12 stored as a frame for later calculations. This is the 6th DOF position of the camera device 16 to robot setup 12 known, and the two systems are calibrated to each other. This process can be used as a maintenance program in the robot device 12 can be saved and performed for review.
Weiterhin wird ein Verfahren zur Kollisionsvermeidung beschrieben. Das Kraftfahrzeug 10 kann aus vielen verschiedenen Kraftfahrzeugbauteilen zusammengesetzt werden. Hierbei können als Kraftfahrzeugbauteile bewegliche Teile wie ein Heckdeckel, eine Motorhaube, Türen, Tankdeckel et cetera vorgesehen sein. Analog zum beschriebenen Verfahren der Objektidentifikation kann ein Qualitätswert der 6 DOF-Lageerkennung verwendet werden, um zu erkennen, ob ein bewegliches Kraftfahrzeugbauteil an einer vorgegebenen Position liegt oder nicht. Hierbei kann ermittelt werden, ob eine Tür des Kraftfahrzeugs 10 geschlossen vorliegt oder offen vorliegt. Während eines Bewegens des führerlosen Transportsystems kann hierdurch erkannt werden, ob eine Kollision mit einem beweglichen Kraftfahrzeugbauteil auftreten kann oder nicht. Alternativ oder zusätzlich kann das bewegliche Kraftfahrzeugbauteil direkt durch das beschriebene modellbasierte Trackingverfahren in seiner 6 DOF-Lage verfolgt und die Abweichung zu einer SollPosition, beispielsweise die Position einer geschlossenen Tür, berechnet werden.A method for avoiding collisions is also described. The car 10 can be assembled from many different automotive components. Moving parts such as a trunk lid, an engine hood, doors, tank lids, etc. can be used as motor vehicle components cetera be provided. Analogously to the described method of object identification, a quality value of the 6 DOF position recognition can be used to recognize whether a movable motor vehicle component is located at a predetermined position or not. It can be determined here whether a door of the motor vehicle 10 closed or open. While the driverless transport system is moving, it can thereby be recognized whether or not a collision with a movable motor vehicle component can occur. Alternatively or in addition, the movable motor vehicle component can be tracked directly in its 6 DOF position using the model-based tracking method described and the deviation from a target position, for example the position of a closed door, can be calculated.
In Produktionsanlagen mit Robotereinrichtungen 12 werden diese in einem definierten Zustand aller Komponenten eingerichtet. Hierzu kann die mobile Robotereinrichtung 12 an eine definierte Einricht- oder Startposition gefahren werden. Die 6 DOF-Lage des mit der Robotereinrichtung 12 im späteren Verlauf anzufahrenden Kraftfahrzeugs 10 im Raum wird mit dem beschriebenen modellbasierten Trackingverfahren im Verhältnis zur Kameraeinrichtung 16 auf einer mobilen Verfahreinheit des führerlosen Transportsystems der Robotereinrichtung 12 bestimmt. Diese 6 DOF-Lage zwischen der Kameraeinrichtung 16 und dem Kraftfahrzeug 10 kann anhand der beschriebenen Lageerkennung in das Roboterkoordinatensystem zurückgerechnet werden und beschreibt die 6 DOF-Lage TRO zwischen Robotereinrichtung 12 und Kraftfahrzeug 10. Die Robotereinrichtung 12 wird nun an das Kraftfahrzeug 10, insbesondere an eine Fahrzeugkarosserie des Kraftfahrzeugs 10, gefahren und dort eingerichtet. Die Einrichtung der Robotereinrichtung 12 umfasst ein Einlernen von anzufahrenden Punkten an dem Kraftfahrzeug 10 durch die Robotereinrichtung 12. Hierbei können Spalte an dem Kraftfahrzeug 10 mit einem entsprechenden Werkzeug auf einem Roboterkopf der Robotereinrichtung 12 vermessen werden. Dazu ist die Robotereinrichtung 12 für jeden Messpunkt in eine korrekte Position für die jeweilige Messung zu bringen. Diese Positionen können dann in einer Speichereinrichtung der elektronischen Recheneinrichtung 18 gespeichert werden. Diese Positionen sind insbesondere Teil der in der Steuereinrichtung der Robotereinrichtung 12 hinterlegten Abfolge. Steht die mobile Robotereinrichtung 12 nun wieder an der Einrichtposition, so kann in Kombination mit der 6 DOF-Lage zwischen dem Kraftfahrzeug 10 und der Robotereinrichtung 12 die Position jedes Messpunkts im Roboterkoordinatensystem beschrieben werden. Damit kann die mobile Robotereinrichtung 12 ausgehend von der Startposition zu dem Kraftfahrzeug 10 hingefahren werden und jeden eingerichteten Messpunkt an dem Kraftfahrzeug 10 vermessen. Es sei angemerkt, dass die 6 DOF-Lage TRO während eines Bewegens der mobilen Robotereinrichtung 12 für jedes Bild der Kameraeinrichtung 16 berechnet werden kann, solange das Kraftfahrzeug 10 sich in einem Sichtbereich der Kameraeinrichtung 16 befindet. Somit kann TRO auch kontinuierlich aktualisiert werden. TRO kann insbesondere die 6 DOF-Lage eines Referenzkraftfahrzeugs beschreiben.In production plants with robotic devices 12 these are set up in a defined state of all components. The mobile robot device 12 be driven to a defined setup or start position. The 6 DOF location of the robot device 12 motor vehicle to be started later 10 in the room with the described model-based tracking method in relation to the camera device 16 on a mobile moving unit of the driverless transport system of the robot device 12 certainly. This 6 DOF location between the camera device 16 and the motor vehicle 10 can be calculated back into the robot coordinate system on the basis of the described position detection and describes the 6 DOF position T RO between the robot device 12 and motor vehicle 10 . The robotic facility 12 is now on the motor vehicle 10 , in particular to a vehicle body of the motor vehicle 10 , driven and set up there. The establishment of the robotic facility 12 includes teaching-in of points to be approached on the motor vehicle 10 by the robot device 12 . Here, gaps on the motor vehicle 10 with a corresponding tool on a robot head of the robot device 12 be measured. This is the robotic device 12 for each measuring point in a correct position for the respective measurement. These positions can then be stored in a memory device of the electronic computing device 18th get saved. These positions are in particular part of the control device of the robot device 12 stored sequence. Is the mobile robotic device 12 now back at the setup position, in combination with the 6 DOF position between the motor vehicle 10 and the robotic device 12 the position of each measuring point can be described in the robot coordinate system. This enables the mobile robot device 12 proceeding from the starting position to the motor vehicle 10 be driven there and each set up measuring point on the motor vehicle 10 measured. It should be noted that the 6 DOF position T RO is during the movement of the mobile robot device 12 for each image of the camera device 16 can be calculated as long as the motor vehicle 10 in a field of view of the camera device 16 is located. This means that T RO can also be updated continuously. T RO can in particular describe the 6 DOF position of a reference motor vehicle.
Wird nun ein weiteres Kraftfahrzeug 10 in die Produktionsanlage gefahren, und die mobile Robotereinrichtung 12 wartet an ihrer Startposition, so kann wieder die 6 DOF-Lage des weiteren Kraftfahrzeugs 10 zum Roboter TRO_AKT mit dem beschriebenen Verfahren zur Lageerkennung berechnet werden. Diese 6 DOF-Lage TRO_AKT kann sich zu TRO um ein gewisses Delta unterscheiden, insbesondere wenn das Kraftfahrzeug 10 beziehungsweise das weitere Kraftfahrzeug durch eine Person in die Produktionsanlage gefahren wird und die Lage des weiteren Kraftfahrzeugs nicht mit der Lage des Kraftfahrzeugs 10, anhand welcher das Lageerfassungssystem 14 eingerichtet worden ist, identisch ist. Dieses Delta beziehungsweise die 6D-Transformation TΔ zwischen TRO und TRO_AKT kann berechnet werden. TΔ kann dann auf ein Basiskoordinatensystem der Robotereinrichtung 12 addiert beziehungsweise auf die eingerichteten Messpunkte verrechnet werden. Somit verschieben sich die eingerichteten Messpunkte des Roboterprogramms entsprechend der ermittelten Verschiebung TΔ des anzufahrenden Kraftfahrzeugs 10 im Raum. Somit kann die mobile Robotereinrichtung 12 die Messpunkte für das aktuell zu bearbeitende Kraftfahrzeug 10 korrekt anfahren.Now becomes another motor vehicle 10 driven into the production facility, and the mobile robotic device 12 waits at its starting position, then the 6 DOF position of the other motor vehicle can again 10 to the robot T RO_AKT can be calculated with the described method for position detection. This 6 DOF position T RO_AKT can differ from T RO by a certain delta, in particular if the motor vehicle 10 or the further motor vehicle is driven into the production plant by a person and the position of the further motor vehicle does not match the position of the motor vehicle 10 , on the basis of which the position detection system 14th has been set up is identical. This delta or the 6D transformation T Δ between T RO and T RO_AKT can be calculated. T Δ can then be based on a basic coordinate system of the robot device 12 can be added or offset against the measuring points set up. The set-up measuring points of the robot program are thus shifted according to the determined shift T Δ of the motor vehicle to be started 10 in the room. Thus, the mobile robot device 12 the measuring points for the motor vehicle currently to be processed 10 start correctly.
Die Kameraeinrichtung 16 ist insbesondere frei beweglich auf einem verfahrbaren Aufbau, insbesondere einer mobilen Roboterplattform der Robotereinrichtung 12 angeordnet. Insbesondere kann eine komplette 6 DOF-Lage des Kraftfahrzeugs 10 an die mobile Robotereinrichtung 12 gegeben werden, damit die mobile Robotereinrichtung 12 das Kraftfahrzeug 10 anfahren kann. Hierbei kann zuerst die mobile Roboterplattform der Robotereinrichtung 12 an das Kraftfahrzeug 10 bewegt werden und danach ein Roboterarm der Robotereinrichtung 12 auf der Roboterplattform an das Kraftfahrzeug 10 heran bewegt werden. Bei dem Verfahren kann insbesondere eine definierte Zahl an Messungen durchgeführt werden, und es kann eine Beschreibung einer kontinuierlichen 6 DOF-Lageerkennung, insbesondere einer kontinuierlichen Messung, erfolgen, welche eine permanente Nachregelung eines Anfahrvorgangs ermöglicht, solange das Kraftfahrzeug 10 im Sichtbereich der Kameraeinrichtung 16 angeordnet ist.The camera setup 16 is in particular freely movable on a movable structure, in particular a mobile robot platform of the robot device 12 arranged. In particular, a complete 6 DOF position of the motor vehicle 10 to the mobile robot device 12 be given to enable the mobile robotic device 12 the car 10 can approach. The mobile robot platform of the robot device can be used first 12 to the motor vehicle 10 are moved and then a robot arm of the robot device 12 on the robot platform to the motor vehicle 10 be moved closer. With the method, in particular, a defined number of measurements can be carried out, and a description of a continuous 6 DOF position detection, in particular a continuous measurement, which enables a permanent readjustment of a start-up process as long as the motor vehicle is present, can be carried out 10 in the field of vision of the camera device 16 is arranged.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
-
DE 102018112910 A1 [0002]DE 102018112910 A1 [0002]
