„Verfahren und Vorrichtung zur berührungslosen optischen SD- Lagebestimmung eines Objekts" "Method and device for contactless optical SD position determination of an object"
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur berührungslosen optischen 3D-I_agebestimmung eines Objekts, wobei die SD-Lagebestimmung die Bestimmung der 3D-Position und der 3D-Orientierung des Objekts umfasst und wobei geometrische Merkmale auf dem Objekt bekannt sind.The present invention relates to a method and a device for non-contact optical 3D image determination of an object, the SD position determination comprising the determination of the 3D position and the 3D orientation of the object, and wherein geometric features on the object are known.
Die Automatisierung von Produktionsabläufen spielt in der industriellen Fertigung eine immer bedeutendere Rolle. Für Produktionslinien, die keine exakte Positionierung der zu bearbeitenden Bauteile erlauben, ist es dabei besonders wichtig, die komplette 3D-Lage des Bauteils, d. h. die 3D-Position und die 3D-Orientierung im Raum, zu kennen, um das Bauteil zum Beispiel durch einen Roboter greifen und bearbeiten zu können.The automation of production processes plays an increasingly important role in industrial production. For production lines that do not allow exact positioning of the components to be machined, it is particularly important to determine the complete 3D position of the component, i.e. H. to know the 3D position and the 3D orientation in space in order to be able to grasp and process the component, for example by a robot.
Darüber hinaus kann die 3D-Lagebestimmung zur Kalibrierung eines Roboters verwendet werden. Dabei sind die geometrischen Merkmale in bekannter Weise auf dem Roboterarm angeordnet, oder es ist ein Kalibriertarget auf dem Roboterarm montiert. Der Roboterarm wird in das Sichtfeld einer fest montierten Kamera bewegt, und sodann wird die 3D-Lagebestimmung des Roboterarms durchgeführt, um seine Position und Orientierung zu überprüfen bzw. neu zu kalibrieren.In addition, the 3D position determination can be used to calibrate a robot. The geometric features are arranged on the robot arm in a known manner, or a calibration target is mounted on the robot arm. The robot arm is moved into the field of view of a fixed camera, and then the 3D position determination of the robot arm is carried out in order to check or re-calibrate its position and orientation.
Eine weitere Anwendung ist die 3D-Lagebestimmung von Bauteilen im eingebauten Zustand. Durch die Lagebestimmung eines Referenzteils kann zum Beispiel überprüft werden, ob die Lage von eingebauten Teilen mit der Lage des Referenzteils übereinstimmt, um so schlecht montierte Bauteile zu ermitteln.Another application is the 3D position determination of components in the installed state. By determining the position of a reference part, it can be checked, for example, whether the position of built-in parts matches the position of the reference part, in order to identify components that are badly assembled.
Bei den bekannten Vorrichtungen zur 3D-Lagebestimmung handelt es sich heutzutage ausschließlich um Mehrkamerasysteme, die aufgrund des Einsatzes von zwei oder mehr Kameras erhebliche Kosten verursachen. Im Zusammenhang mit der Verwendung von nur einer einzigen Kamera sind bislang lediglich angepasste 2D- Verfahren zum Greifen von Bauteilen bekannt, d. h. es werden Position und Orientierung in einer Ebene (3 Freiheitsgrade) und zusätzlich eine Höheninformation
über die Größe des Bauteils (1 weiterer Freiheitsgrad) bestimmt. Mit diesem bekannten Verfahren erhält man allerdings maximal eine 21/2D-lnformation über die Lage des Bauteils, so dass beispielsweise ein korrektes Greifen bei Schieflage des Bauteils nicht möglich ist.The known devices for 3D position determination are nowadays exclusively multi-camera systems which cause considerable costs due to the use of two or more cameras. In connection with the use of only a single camera, only adapted 2D methods for gripping components are known to date, ie position and orientation in one plane (3 degrees of freedom) and additionally height information determined by the size of the component (1 additional degree of freedom). With this known method, however, a maximum of 2 1 / 2D information about the position of the component is obtained, so that, for example, correct gripping is not possible if the component is skewed.
Die Kalibrierung eines Roboters wird nach jetzigem Stand der Technik meist manuell durchgeführt, da entsprechende Hilfsmittel zur Einrichtung aller 6 Freiheitsgrade fehlen. Die Kalibrierung ist dementsprechend äußerst zeitaufwendig, was lange Wartungsintervalle zur Folge hat. Darüber hinaus sind die manuellen Kalibrierverfahren im Allgemeinen relativ ungenau.According to the current state of the art, the calibration of a robot is usually carried out manually, since corresponding aids for setting up all 6 degrees of freedom are missing. The calibration is therefore extremely time-consuming, which results in long maintenance intervals. In addition, manual calibration procedures are generally relatively inaccurate.
Die Lagebestimmung eines Bauteils nach dessen Einbau kann heutzutage ebenfalls nur mit Mehrkamerasystemen durchgeführt werden. Alternativ sind sensorische Lösungen für Einzelmessgrößen bekannt, welche über eine Multisensorauswertung die eigentliche Gesamtaufgabe lösen. Derartige sensorische Mehrfachmessungen sind ebenfalls zeitaufwendig und zur Gesamtbeurteilung der 3D-Lage oftmals wenig hilfreich.The determination of the position of a component after its installation can also only be carried out today with multi-camera systems. Alternatively, sensory solutions for individual measurement variables are known which solve the actual overall task via a multi-sensor evaluation. Such multiple sensory measurements are also time-consuming and often not very helpful for an overall assessment of the 3D position.
Der vorliegenden Erfindung liegt nunmehr die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts derart auszugestalten und weiterzubilden, dass mit einfachen Mitteln und bei hoher Messgeschwindigkeit und Messgenauigkeit die Ermittlung einer vollständigen SD- Information über das zu untersuchende Objekt möglicht ist.The present invention is based on the object of designing and developing a method and a device for the contactless optical 3D position determination of an object in such a way that complete SD information about the object to be examined can be determined with simple means and with high measuring speed and measuring accuracy is.
Das erfindungsgemäße Verfahren zur berührungslosen optischen SD-Lagebestimmung löst die voranstehende Aufgabe durch die Merkmale des Patentanspruchs 1. Danach ist ein solches Verfahren dadurch gekennzeichnet, dass mittels einer Kamera ein Bild des Objekts erstellt wird und aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3D-Lage des Objekts berechnet wird.The method according to the invention for contactless optical SD position determination achieves the above object by the features of patent claim 1. According to this, such a method is characterized in that an image of the object is created by means of a camera and from the camera image on the basis of the image information about the detected geometric features the 3D position of the object is calculated.
In erfindungsgemäßer Weise ist zunächst erkannt worden, dass der Einsatz mehrerer Kameras zur 3D-Lagebestimmung sowohl im Hinblick auf die Kosten als auch in Bezug auf Montage und Justierung der Kameras äußerst aufwendig ist. In
Abkehr zu den bekannten Verfahren wird erfindungsgemäß ein Bild des Objekts mittels einer Kamera erstellt und anhand der Bildinformation in Bezug auf die geometrischen Merkmale aus dem Kamerabild die 3D-Lage des Objektes berechnet. Aufgrund der Einfachheit und Kompaktheit ist der Einfluss des erfindungsgemäßen Verfahrens auf Bewegungsabläufe in der Produktion wesentlich reduziert. Bei der Kalibrierung eines Roboters kann mit Hilfe des erfindungsgemäßen Verfahrens auf eine im Allgemeinen ungenaue manuelle Einrichtung verzichtet werden und somit ein höheres Maß an Zuverlässigkeit garantiert werden. Darüber hinaus ist ein schnelleres Einrichten des Roboters und damit eine Verkürzung der Wartungsintervalle ermöglicht.In the manner according to the invention, it was first recognized that the use of a plurality of cameras for determining the 3D position is extremely complex both in terms of the costs and in terms of assembly and adjustment of the cameras. In In contrast to the known methods, an image of the object is created according to the invention by means of a camera and the 3D position of the object is calculated from the camera image on the basis of the image information in relation to the geometric features. Because of the simplicity and compactness, the influence of the method according to the invention on motion sequences in production is significantly reduced. When calibrating a robot, the method according to the invention makes it possible to dispense with a generally inaccurate manual device and thus to guarantee a higher degree of reliability. In addition, a faster setup of the robot and thus a shortening of the maintenance intervals is made possible.
Im Hinblick auf eine besonders hohe Effizienz des Verfahrens wird die vollständige 3D-Lagebestimmung in besonders vorteilhafter Weise mittels einer einzigen Bildaufnahme der Kamera durchgeführt.In view of a particularly high efficiency of the method, the complete 3D position determination is carried out in a particularly advantageous manner by means of a single image recording by the camera.
Als Grundlage für die Berechnung der 3D-Lage kann der reale Abbildungsprozess der Kamera durch ein mathematisches Modell modelliert werden. Im Rahmen des Abbildungsprozesses können insbesondere Position und Orientierung zwischen dem zu untersuchenden Objekt und der Kamera, Eigenschaften der verwendeten Optik (Brennweite, Verzeichnungen, etc.), perspektivische Transformationen sowie Digitalisierung und Diskretisierung der Lichtintensität bei der Bildaufnahme in der Kamera und/oder in einem Rechner berücksichtigt werden.As a basis for calculating the 3D position, the real imaging process of the camera can be modeled using a mathematical model. In the course of the imaging process, in particular position and orientation between the object to be examined and the camera, properties of the optics used (focal length, distortions, etc.), perspective transformations and digitization and discretization of the light intensity when recording images in the camera and / or in one Calculator are taken into account.
Auf der Basis des Modells kann eine Zuordnung der bekannten 3D-Lage der geometrischen Merkmale und der entsprechenden zweidimensionalen Bildinformationen durchgeführt werden. Mit anderen Worten kann ein (in der Regel nichtlineares) Gleichungssystem erstellt werden, in das die Parameter des Abbildungsprozesses als unbekannte Größen eingehen.The known 3D position of the geometric features and the corresponding two-dimensional image information can be assigned on the basis of the model. In other words, a (usually non-linear) system of equations can be created, in which the parameters of the mapping process are included as unknown quantities.
Aus der Zuordnung eines 3D-Punktes auf dem Objekt zu seiner 2D-Bildposition erhält man beispielsweise zwei Gleichungen. Durch Verwendung mehrerer Merkmale ist es somit möglich, ein Gleichungssystem für alle freien Parameter des Abbildungsprozesses aufzustellen und durch mathematische Methoden die unbekannten Größen zu bestimmen. In vorteilhafter Weise werden mehr Gleichungen verwendet
als freie Parameter im System modelliert sind. Zur Lösung eines derart überbestimmten Gleichungssystems können dann nichtlineare Optimierungsverfahren eingesetzt werden, um eine optimale Lösung zu ermitteln.For example, two equations are obtained from assigning a 3D point on the object to its 2D image position. By using several features, it is possible to set up an equation system for all free parameters of the mapping process and to determine the unknown quantities using mathematical methods. More equations are advantageously used are modeled as free parameters in the system. To solve such an overdetermined system of equations, non-linear optimization methods can then be used to determine an optimal solution.
Im Hinblick auf ein hohes Maß an Einfachheit kann vorgesehen sein, dass die Kamera ortsfest gehalten wird. Zusätzlich kann auch die Ausrichtung der Kamera fest vorgegeben werden.In view of a high degree of simplicity, it can be provided that the camera is held stationary. In addition, the orientation of the camera can also be predefined.
Als geometrische Merkmale, die an bekannten Stellen auf dem Objekt vorgesehen sind, können je nach konkreter Anwendung Punkte, Geraden, Winkel, Kreise, elliptische Konturen und/oder Kegelschnitte verwendet werden. Wichtig ist in diesem Zusammenhang lediglich, dass es sich um allgemein mathematisch beschreibbare Konturen und Formen handelt, die bauteilseitig bekannt sind und im Kamerabild gut beobachtet und ausgewertet werden können.Depending on the specific application, points, straight lines, angles, circles, elliptical contours and / or conic sections can be used as geometric features that are provided at known locations on the object. It is only important in this context that the contours and shapes are generally mathematically describable and are known on the component side and can be observed and evaluated well in the camera image.
Die geometrischen Objekte können sowohl zur Kalibrierung als auch zur Lagebestimmung verwendet werden. Im Rahmen der Kalibrierung können die geometrischen Objekte beispielsweise verwendet werden, um die internen Kameraparameter zu bestimmen. Durch die Kalibrierung können optische Verzeichnungen korrigiert und insbesondere die 3D-Lagebeziehung zwischen Kamerakoordinatensystem und Objektkoordinatensystem bestimmt werden. Anstelle der geometrischen Merkmale auf dem Objekt kann zur Kalibrierung auch ein separates Kalibriertarget verwendet werden.The geometric objects can be used both for calibration and for determining the position. As part of the calibration, the geometric objects can be used, for example, to determine the internal camera parameters. The calibration can correct optical distortions and, in particular, the 3D positional relationship between the camera coordinate system and the object coordinate system can be determined. Instead of the geometric features on the object, a separate calibration target can also be used for calibration.
Durch die Anwendung der Kamerakalibrierung und die Auswertung der dabei ermittelten sogenannten externen Kameraparameter (3 Parameter für Position, 3 Parameter für Rotation) kann die 3D-Lage des Objekts bezüglich des Kamerakoordinatensystems ermittelt werden. Alternativ kann die 3D-Lage des Objekts bezüglich eines beliebig festlegbaren anderen festen Koordinatensystems, beispielsweise gegenüber einem Weltkoordinatensystem, das durch einen zusätzlichen Einrichtschritt ermittelt werden kann, bestimmt werden. Im Rahmen von Bewegungsmessungen oder Vergleichsmessungen zu Referenzmasterteilen, kann die 3D-Lage des Objekts sogar bezüglich eines dynamischen Koordinatensystems bestimmt werden.
ln einer konkreten Ausführungsform sind eine oder mehrere zusätzliche Kameras vorgesehen, mit denen das Objekt - vorzugsweise aus unterschiedlichen Aufnahmewinkeln - aufgenommen wird. Für die zusätzlichen Aufnahmen können mehrere feststehende Einzelkameras oder eine oder mehrere bewegliche Kameras eingesetzt werden. Mit den zusätzlichen Aufnahmen können die berechneten SD- Lagen über ein zusätzliches Gütekriterium bewertet und gegebenenfalls Korrekturen durchgeführt werden. Im Ergebnis erhält man eine weiter verbesserte Genauigkeit der 3D-Lagebestimmung.By using the camera calibration and evaluating the so-called external camera parameters (3 parameters for position, 3 parameters for rotation), the 3D position of the object with respect to the camera coordinate system can be determined. Alternatively, the 3D position of the object can be determined with respect to any other fixed coordinate system that can be defined as desired, for example with respect to a world coordinate system that can be determined by an additional setup step. The 3D position of the object can even be determined with respect to a dynamic coordinate system as part of motion measurements or comparison measurements with reference master parts. In a specific embodiment, one or more additional cameras are provided with which the object is recorded, preferably from different recording angles. Several fixed single cameras or one or more moving cameras can be used for the additional recordings. With the additional recordings, the calculated SD positions can be evaluated using an additional quality criterion and corrections made if necessary. The result is a further improved accuracy of the 3D position determination.
Des Weiteren könnten zusätzliche unterstützende Sensoren vorgesehen sein, mit deren Hilfe Fehler in der 3D-Lagebestimmung kompensiert und/oder korrigiert werden können. Im Konkreten handelt es sich dabei zum Beispiel um Temperatursensoren zur Kompensation von Schwankungen der Umgebungstemperatur, so dass bei der Berechnung der 3D-Lage die temperaturabhängige Ausdehnung des zu untersuchenden Objektes berücksichtigt werden kann.Furthermore, additional supporting sensors could be provided, with the aid of which errors in the 3D position determination can be compensated and / or corrected. Specifically, these are, for example, temperature sensors for compensating for fluctuations in the ambient temperature, so that the temperature-dependent expansion of the object to be examined can be taken into account when calculating the 3D position.
In besonders vorteilhafter Weise kann an Kraftfahrzeugen eine Spur- und/oder Sturzvermessung anhand von geometrischen Merkmalen auf der Felge durchgeführt werden. Dabei kann vorgesehen sein, dass markante Stellen auf der Felge automatisch als geometrische Merkmale angeboten werden. Bei den markanten Stellen kann es sich beispielsweise um das Ventil oder um die Nabenabdeckung handeln. In einer bevorzugten Ausgestaltung können die angebotenen markanten Stellen vom Benutzer interaktiv akzeptiert oder aber abgelehnt werden. Durch die Kenntnis der geometrischen Form auf der Felge ergibt sich die Möglichkeit, den Radstand in all seinen Freiheitsgraden zu kontrollieren. Damit entfällt zum einen die Notwendigkeit eines aufprojizierten Musters auf der Felge und zum anderen ergibt sich die Möglichkeit, einen positiven oder negativen Achsensturz bei entspanntem Federbein festzustellen.In a particularly advantageous manner, a trace and / or camber measurement can be carried out on motor vehicles based on geometric features on the rim. It can be provided that striking locations on the rim are automatically offered as geometric features. The striking points can be, for example, the valve or the hub cover. In a preferred embodiment, the prominent positions offered can be accepted interactively by the user or rejected. Knowing the geometric shape on the rim enables you to control the wheelbase in all its degrees of freedom. On the one hand, this eliminates the need for a projected pattern on the rim and, on the other hand, there is the possibility of determining a positive or negative camber with the shock absorber relaxed.
In vorrichtungsmäßiger Hinsicht wird die eingangs genannte Aufgabe durch die Merkmale des Patentanspruchs 21 gelöst. Hiernach ist eine Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung gekennzeichnet durch eine Kamera zum Erstellen eines Bildes des Objekts, wobei aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3D-Lage des
Objekts berechenbar ist. Vorzugsweise dient die erfindungsgemäße Vorrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 20, so dass zur Vermeidung von Wiederholungen auf den vorigen Teil der Beschreibung verwiesen wird.In terms of the device, the object mentioned at the outset is achieved by the features of patent claim 21. According to this, a device for non-contact optical 3D position determination is characterized by a camera for creating an image of the object, the 3D position of the Object is predictable. The device according to the invention is preferably used to carry out a method according to one of claims 1 to 20, so that reference is made to the previous part of the description in order to avoid repetitions.
Im Hinblick auf eine schnelle Auswertung der Kamerabilder und eine unmittelbare Berechnung der 3D-Lage umfasst die Vorrichtung in vorteilhafter Weise einen Industrie-PC, der mit einer geeigneten Bildverarbeitungssoftware ausgestattet ist.With regard to a quick evaluation of the camera images and a direct calculation of the 3D position, the device advantageously comprises an industrial PC which is equipped with suitable image processing software.
Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die den Patentansprüchen 1 und 21 nachgeordneten Patentansprüchen und andererseits auf die nachfolgende Erläuterung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung des bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigt die einzigeThere are now various possibilities for advantageously designing and developing the teaching of the present invention. For this purpose, reference should be made on the one hand to the claims subordinate to claims 1 and 21 and on the other hand to the following explanation of a preferred embodiment of the invention with reference to the drawing. In connection with the explanation of the preferred exemplary embodiment of the invention with reference to the drawing, generally preferred refinements and developments of the teaching are also explained. In the drawing shows the only one
Fig. eine schematische Darstellung eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts.Fig. A schematic representation of an embodiment of an inventive device for non-contact optical 3D position determination of an object.
Die Fig. zeigt schematisch eine Vorrichtung zur berührungslosen optischen SD- Lagebestimmung eines Objekts 1 , wobei die 3D-Lage des Objekts 1 bezüglich eines raumfesten Koordinatensystems mit den Achsen x, y und z bestimmt wird. Dazu wird von einer oberhalb des Objekts 1 positionierten Kamera 2 eine Aufnahme des Objekts 1 erstellt. Position und Ausrichtung der Kamera 2 sind in Bezug auf das raumfeste Koordinatensystem xyz fest vorgegeben. Während der Aufnahme sorgen rings um die Kamera 2 herum angeordnete Lichtquellen 3 für eine ausreichende Beleuchtung des Objekts 1.The figure shows schematically a device for contactless optical SD position determination of an object 1, the 3D position of the object 1 being determined with respect to a spatially fixed coordinate system with the axes x, y and z. For this purpose, a picture of the object 1 is taken by a camera 2 positioned above the object 1. The position and orientation of the camera 2 are predefined in relation to the fixed coordinate system xyz. During the recording, light sources 3 arranged around the camera 2 ensure sufficient illumination of the object 1.
Die Kameradaten werden an einen Industrie-PC 4 mit Monitor 5 übertragen. Dort erfolgt die Zuordnung der 2D-Bildinformation zu der bekannten 3D-Lage der auf dem Objekt 1 vorhandenen geometrischen Merkmale (nicht gezeigt). Für alle freien
Parameter des Abbildungsprozesses wird ein überbestimmtes Gleichungssystem erstellt, zu dessen Lösung nichtlineare Optimierungsverfahren eingesetzt werden. Nach Lösung des Gleichungssystems kann die exakte 3D-Lage des Objekts 1 bestimmt werden und die Koordinaten an einen Roboter 6 übertragen werden. In Kenntnis der Position und Orientierung des Objekts 1 kann der Roboter 6 - nach entsprechender Kalibrierung - das Objekt 1 greifen bzw. bearbeiten.The camera data are transmitted to an industrial PC 4 with a monitor 5. There the 2D image information is assigned to the known 3D position of the geometric features present on the object 1 (not shown). For all free An over-determined system of equations is created for the parameters of the mapping process, and non-linear optimization methods are used to solve them. After solving the system of equations, the exact 3D position of the object 1 can be determined and the coordinates can be transmitted to a robot 6. Knowing the position and orientation of the object 1, the robot 6 can - after appropriate calibration - grasp or process the object 1.
Abschließend sei ganz besonders darauf hingewiesen, dass das voranstehend erörterte Ausführungsbeispiel lediglich zur Beschreibung der beanspruchten Lehre dienst, diese jedoch nicht auf das Ausführungsbeispiel einschränkt.
Finally, it should be particularly pointed out that the exemplary embodiment discussed above only serves to describe the claimed teaching, but does not restrict it to the exemplary embodiment.