DE102004046584A1

DE102004046584A1 - Verfahren und Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts

Info

Publication number: DE102004046584A1
Application number: DE102004046584A
Authority: DE
Inventors: Robert Wagner; Rainer Hesse
Original assignee: Micro Epsilon Messtechnik GmbH and Co KG
Current assignee: Micro Epsilon Messtechnik GmbH and Co KG
Priority date: 2003-09-26
Filing date: 2004-09-23
Publication date: 2005-05-19
Also published as: US20070009149A1; US8064686B2; JP2007533963A; CN1856804A; EP1665162A1; WO2005031647A1

Abstract

Ein Verfahren und eine Vorrichtung zur berührungslosen optischen 3-D-Lagebestimmung eines Objekts, wobei die 3-D-Lagebestimmung die Bestimmung der 3-D-Position und der 3-D-Orientierung des Objekts umfasst und wobei geometrische Merkmale auf dem Objekt bekannt sind, ist im Hinblick auf die Ermittlung einer vollständigen 3-D-Information über das zu untersuchende Objekt mit einfachen Mitteln und bei hoher Messgeschwindigkeit und Messgenauigkeit dadurch gekennzeichnet, dass mittels einer Kamera ein Bild des Objekts erstellt wird und aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3-D-Lage des Objekts berechnet wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts, wobei die 3D-Lagebestimmung die Bestimmung der 3D-Position und der 3D-Orientierung des Objekts umfasst und wobei geometrische Merkmale auf dem Objekt bekannt sind.
Die Automatisierung von Produktionsabläufen spielt in der industriellen Fertigung eine immer bedeutendere Rolle. Für Produktionslinien, die keine exakte Positionierung der zu bearbeitenden Bauteile erlauben, ist es dabei besonders wichtig, die komplette 3D-Lage des Bauteils, d. h. die 3D-Position und die 3D-Orientierung im Raum, zu kennen, um das Bauteil zum Beispiel durch einen Roboter greifen und bearbeiten zu können.
Darüber hinaus kann die 3D-Lagebestimmung zur Kalibrierung eines Roboters verwendet werden. Dabei sind die geometrischen Merkmale in bekannter Weise auf dem Roboterarm angeordnet, oder es ist ein Kalibriertarget auf dem Roboterarm montiert. Der Roboterarm wird in das Sichtfeld einer fest montierten Kamera bewegt, und sodann wird die 3D-Lagebestimmung des Roboterarms durchgeführt, um seine Position und Orientierung zu überprüfen bzw. neu zu kalibrieren.
Eine weitere Anwendung ist die 3D-Lagebestimmung von Bauteilen im eingebauten Zustand. Durch die Lagebestimmung eines Referenzteils kann zum Beispiel überprüft werden, ob die Lage von eingebauten Teilen mit der Lage des Referenzteils übereinstimmt, um so schlecht montierte Bauteile zu ermitteln.

Bei den bekannten Vorrichtungen zur 3D-Lagebestimmung handelt es sich heutzutage ausschließlich um Mehrkamerasysteme, die aufgrund des Einsatzes von zwei oder mehr Kameras erhebliche Kosten verursachen. Im Zusammenhang mit der Verwendung von nur einer einzigen Kamera sind bislang lediglich angepasste 2D-Verfahren zum Greifen von Bauteilen bekannt, d. h. es werden Position und Orientierung in einer Ebene (3 Freiheitsgrade) und zusätzlich eine Höheninformation über die Größe des Bauteils (1 weiterer Freiheitsgrad) bestimmt. Mit diesem bekannten Verfahren erhält man allerdings maximal eine 2½D-Information über die Lage des Bauteils, so dass beispielsweise ein korrektes Greifen bei Schieflage des Bauteils nicht möglich ist.

Die Kalibrierung eines Roboters wird nach jetzigem Stand der Technik meist manuell durchgeführt, da entsprechende Hilfsmittel zur Einrichtung aller 6 Freiheits grade fehlen. Die Kalibrierung ist dementsprechend äußerst zeitaufwendig, was lange Wartungsintervalle zur Folge hat. Darüber hinaus sind die manuellen Kalibrierverfahren im Allgemeinen relativ ungenau.

Die Lagebestimmung eines Bauteils nach dessen Einbau kann heutzutage ebenfalls nur mit Mehrkamerasystemen durchgeführt werden. Alternativ sind sensorische Lösungen für Einzelmessgrößen bekannt, welche über eine Multisensorauswertung die eigentliche Gesamtaufgabe lösen. Derartige sensorische Mehrfachmessungen sind ebenfalls zeitaufwendig und zur Gesamtbeurteilung der 3D-Lage oftmals wenig hilfreich.

Der vorliegenden Erfindung liegt nunmehr die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts derart auszugestalten und weiterzubilden, dass mit einfachen Mitteln und bei hoher Messgeschwindigkeit und Messgenauigkeit die Ermittlung einer vollständigen 3D-Information über das zu untersuchende Objekt möglicht ist.

Das erfindungsgemäße Verfahren zur berührungslosen optischen 3D-Lagebestimmung löst die voranstehende Aufgabe durch die Merkmale des Patentanspruchs 1. Danach ist ein solches Verfahren dadurch gekennzeichnet, dass mittels einer Kamera ein Bild des Objekts erstellt wird und aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3D-Lage des Objekts berechnet wird.

In erfindungsgemäßer Weise ist zunächst erkannt worden, dass der Einsatz mehrerer Kameras zur 3D-Lagebestimmung sowohl im Hinblick auf die Kosten als auch in Bezug auf Montage und Justierung der Kameras äußerst aufwendig ist. In Abkehr zu den bekannten Verfahren wird erfindungsgemäß ein Bild des Objekts mittels einer Kamera erstellt und anhand der Bildinformation in Bezug auf die geometrischen Merkmale aus dem Kamerabild die 3D-Lage des Objektes berechnet. Aufgrund der Einfachheit und Kompaktheit ist der Einfluss des erfindungsgemäßen Verfahrens auf Bewegungsabläufe in der Produktion wesentlich reduziert. Bei der Kalibrierung eines Roboters kann mit Hilfe des erfindungsgemäßen Verfahrens auf eine im Allgemeinen ungenaue manuelle Einrichtung verzichtet werden und somit ein höheres Maß an Zuverlässigkeit garantiert werden. Darüber hinaus ist ein schnelleres Einrichten des Roboters und damit eine Verkürzung der Wartungsintervalle ermöglicht.

Im Hinblick auf eine besonders hohe Effizienz des Verfahrens wird die vollständige 3D-Lagebestimmung in besonders vorteilhafter Weise mittels einer einzigen Bildaufnahme der Kamera durchgeführt.

Als Grundlage für die Berechnung der 3D-Lage kann der reale Abbildungsprozess der Kamera durch ein mathematisches Modell modelliert werden. Im Rahmen des Abbildungsprozesses können insbesondere Position und Orientierung zwischen dem zu untersuchenden Objekt und der Kamera, Eigenschaften der verwendeten Optik (Brennweite, Verzeichnungen, etc.), perspektivische Transformationen sowie Digitalisierung und Diskretisierung der Lichtintensität bei der Bildaufnahme in der Kamera und/oder in einem Rechner berücksichtigt werden.

Auf der Basis des Modells kann eine Zuordnung der bekannten 3D-Lage der geometrischen Merkmale und der entsprechenden zweidimensionalen Bildinformationen durchgeführt werden. Mit anderen Worten kann ein (in der Regel nichtlineares) Gleichungssystem erstellt werden, in das die Parameter des Abbildungsprozesses als unbekannte Größen eingehen.

Aus der Zuordnung eines 3D-Punktes auf dem Objekt zu seiner 2D-Bildposition erhält man beispielsweise zwei Gleichungen. Durch Verwendung mehrerer Merkmale ist es somit möglich, ein Gleichungssystem für alle freien Parameter des Abbildungsprozesses aufzustellen und durch mathematische Methoden die unbekannten Größen zu bestimmen. In vorteilhafter Weise werden mehr Gleichungen verwendet als freie Parameter im System modelliert sind. Zur Lösung eines derart überbestimmten Gleichungssystems können dann nichtlineare Optimierungsverfahren eingesetzt werden, um eine optimale Lösung zu ermitteln.

Im Hinblick auf ein hohes Maß an Einfachheit kann vorgesehen sein, dass die Kamera ortsfest gehalten wird. Zusätzlich kann auch die Ausrichtung der Kamera fest vorgegeben werden.

Als geometrische Merkmale, die an bekannten Stellen auf dem Objekt vorgesehen sind, können je nach konkreter Anwendung Punkte, Geraden, Winkel, Kreise, elliptische Konturen und/oder Kegelschnitte verwendet werden. Wichtig ist in diesem Zusammenhang lediglich, dass es sich um allgemein mathematisch beschreibbare Konturen und Formen handelt, die bauteilseitig bekannt sind und im Kamerabild gut beobachtet und ausgewertet werden können.

Die geometrischen Objekte können sowohl zur Kalibrierung als auch zur Lagebestimmung verwendet werden. Im Rahmen der Kalibrierung können die geometrischen Objekte beispielsweise verwendet werden, um die internen Kameraparameter zu bestimmen. Durch die Kalibrierung können optische Verzeichnungen korrigiert und insbesondere die 3D-Lagebeziehung zwischen Kamerakoordinatensystem und Objektkoordinatensystem bestimmt werden. Anstelle der geometrischen Merkmale auf dem Objekt kann zur Kalibrierung auch ein separates Kalibriertarget verwendet werden.

Durch die Anwendung der Kamerakalibrierung und die Auswertung der dabei ermittelten sogenannten externen Kameraparameter (3 Parameter für Position, 3 Parameter für Rotation) kann die 3D-Lage des Objekts bezüglich des Kamerakoordinatensystems ermittelt werden. Alternativ kann die 3D-Lage des Objekts bezüglich eines beliebig festlegbaren anderen festen Koordinatensystems, beispielsweise gegenüber einem Weltkoordinatensystem, das durch einen zusätzlichen Einrichtschritt ermittelt werden kann, bestimmt werden. Im Rahmen von Bewegungsmessungen oder Vergleichsmessungen zu Referenzmasterteilen, kann die 3D-Lage des Objekts sogar bezüglich eines dynamischen Koordinatensystems bestimmt werden.

In einer konkreten Ausführungsform sind eine oder mehrere zusätzliche Kameras vorgesehen, mit denen das Objekt – vorzugsweise aus unterschiedlichen Aufnahmewinkeln – aufgenommen wird. Für die zusätzlichen Aufnahmen können mehrere feststehende Einzelkameras oder eine oder mehrere bewegliche Kameras eingesetzt werden. Mit den zusätzlichen Aufnahmen können die berechneten 3D-Lagen über ein zusätzliches Gütekriterium bewertet und gegebenenfalls Korrekturen durchgeführt werden. Im Ergebnis erhält man eine weiter verbesserte Genauigkeit der 3D-Lagebestimmung.

Des Weiteren könnten zusätzliche unterstützende Sensoren vorgesehen sein, mit deren Hilfe Fehler in der 3D-Lagebestimmung kompensiert und/oder korrigiert werden können. Im Konkreten handelt es sich dabei zum Beispiel um Temperatursensoren zur Kompensation von Schwankungen der Umgebungstemperatur, so dass bei der Berechnung der 3D-Lage die temperaturabhängige Ausdehnung des zu untersuchenden Objektes berücksichtigt werden kann.

In besonders vorteilhafter Weise kann an Kraftfahrzeugen eine Spur- und/oder Sturzvermessung anhand von geometrischen Merkmalen auf der Felge durchgeführt werden. Dabei kann vorgesehen sein, dass markante Stellen auf der Felge automatisch als geometrische Merkmale angeboten werden. Bei den markanten Stellen kann es sich beispielsweise um das Ventil oder um die Nabenabdeckung handeln. In einer bevorzugten Ausgestaltung können die angebotenen markanten Stellen vom Benutzer interaktiv akzeptiert oder aber abgelehnt werden. Durch die Kenntnis der geometrischen Form auf der Felge ergibt sich die Möglichkeit, den Radstand in all seinen Freiheitsgraden zu kontrollieren. Damit entfällt zum einen die Notwendigkeit eines aufprojizierten Musters auf der Felge und zum anderen ergibt sich die Möglichkeit, einen positiven oder negativen Achsensturz bei entspanntem Federbein festzustellen.

In vorrichtungsmäßiger Hinsicht wird die eingangs genannte Aufgabe durch die Merkmale des Patentanspruchs 21 gelöst. Hiernach ist eine Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung gekennzeichnet durch eine Kamera zum Erstellen eines Bildes des Objekts, wobei aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3D-Lage des Objekts berechenbar ist. Vorzugsweise dient die erfindungsgemäße Vorrichtung zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 20, so dass zur Vermeidung von Wiederholungen auf den vorigen Teil der Beschreibung verwiesen wird.

Im Hinblick auf eine schnelle Auswertung der Kamerabilder und eine unmittelbare Berechnung der 3D-Lage umfasst die Vorrichtung in vorteilhafter Weise einen Industrie-PC, der mit einer geeigneten Bildverarbeitungssoftware ausgestattet ist.

Es gibt nun verschiedene Möglichkeiten, die Lehre der vorliegenden Erfindung in vorteilhafter Weise auszugestalten und weiterzubilden. Dazu ist einerseits auf die den Patentansprüchen 1 und 21 nachgeordneten Patentansprüchen und andererseits auf die nachfolgende Erläuterung eines bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung zu verweisen. In Verbindung mit der Erläuterung des bevorzugten Ausführungsbeispiels der Erfindung anhand der Zeichnung werden auch im Allgemeinen bevorzugte Ausgestaltungen und Weiterbildungen der Lehre erläutert. In der Zeichnung zeigt die einzige
Fig. eine schematische Darstellung eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts.
Die Fig. zeigt schematisch eine Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts 1, wobei die 3D-Lage des Objekts 1 bezüglich eines raumfesten Koordinatensystems mit den Achsen x, y und z bestimmt wird. Dazu wird von einer oberhalb des Objekts 1 positionierten Kamera 2 eine Aufnahme des Objekts 1 erstellt. Position und Ausrichtung der Kamera 2 sind in Bezug auf das raumfeste Koordinatensystem xyz fest vorgegeben. Während der Aufnahme sorgen rings um die Kamera 2 herum angeordnete Lichtquellen 3 für eine ausreichende Beleuchtung des Objekts 1.
Die Kameradaten werden an einen Industrie-PC 4 mit Monitor 5 übertragen. Dort erfolgt die Zuordnung der 2D-Bildinformation zu der bekannten 3D-Lage der auf dem Objekt 1 vorhandenen geometrischen Merkmale (nicht gezeigt). Für alle freien Parameter des Abbildungsprozesses wird ein überbestimmtes Gleichungssystem erstellt, zu dessen Lösung nichtlineare Optimierungsverfahren eingesetzt werden. Nach Lösung des Gleichungssystems kann die exakte 3D-Lage des Objekts 1 bestimmt werden und die Koordinaten an einen Roboter 6 übertragen werden. In Kenntnis der Position und Orientierung des Objekts 1 kann der Roboter 6 – nach entsprechender Kalibrierung – das Objekt 1 greifen bzw. bearbeiten.
Abschließend sei ganz besonders darauf hingewiesen, dass das voranstehend erörterte Ausführungsbeispiel lediglich zur Beschreibung der beanspruchten Lehre dienst, diese jedoch nicht auf das Ausführungsbeispiel einschränkt.

Claims

Verfahren zur berührungslosen optischen 3D-Lagebestimmung eines Objekts, wobei die 3D-Lagebestimmung die Bestimmung der 3D-Position und der 3D-Orientierung des Objekts umfasst und wobei geometrische Merkmale auf dem Objekt bekannt sind, dadurch gekennzeichnet, dass mittels einer Kamera ein Bild des Objekts erstellt wird und aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3D-Lage des Objekts berechnet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die vollständige 3D-Lagebestimmung mittels einer einzigen Bildaufnahme der Kamera durchgeführt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die bekannte 3D-Lage der geometrischen Merkmale jeweils der entsprechenden zweidimensionalen Bildinformation zugeordnet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass ein Gleichungssystem für alle freien Parameter des Abbildungsprozesses erstellt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass zur Lösung eines überbestimmten Gleichungssystems nichtlineare Optimierungsverfahren eingesetzt werden.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Kamera ortsfest gehalten wird.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Ausrichtung der Kamera fest vorgegeben wird.
Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass als geometrische Merkmale allgemeine mathematisch beschreibbare Konturen und Formen verwendet werden.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass als geometrische Merkmale Punkte, Geraden, Winkel, Kreise, elliptische Konturen und/oder Kegelschnitte verwendet werden.
Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Kamera mit Hilfe der geometrischen Merkmale kalibriert wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass im Rahmen der Kalibrierung die internen Kameraparameter bestimmt werden.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die 3D-Lage des Objekts bezüglich eines festen Koordinatensystems bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die 3D-Lage des Objekts bezüglich des Kamerakoordinatensystems, des Objektkoordinatensystems oder bezüglich eines Weltkoordinatensystems bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die 3D-Lage des Objekts bezüglich eines dynamischen Koordinatensystems bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass das Objekt mit einer oder mehreren zusätzlichen Kameras, vorzugsweise aus unterschiedlichen Aufnahmewinkeln, aufgenommen wird.
Verfahren nach Anspruch 15, dadurch gekennzeichnet, dass mittels der zusätzlichen Aufnahmen die Güte der berechneten 3D-Lage des Objekts bestimmt wird und ggf. Korrekturen durchgeführt werden.
Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass Fehler in der 3D-Lagebestimmung mittels einer Sensorik kompensiert und/oder korrigiert werden.
Verfahren nach einem der Ansprüche 1 bis 17, dadurch gekennzeichnet, dass eine Spur- und/oder Sturzvermessung an Kraftfahrzeugen anhand von geometrischen Merkmalen auf der Felge durchgeführt wird.
Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass als geometrische Merkmale automatisch markante Stellen auf der Felge angeboten werden.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass die angebotenen markanten Stellen vom Benutzer interaktiv akzeptiert oder abgelehnt werden.
Vorrichtung zur berührungslosen optischen 3D-Lagebestimmung eines Objekts, wobei die 3D-Lagebestimmung die Bestimmung der 3D-Position und der 3D-Orientierung des Objekts umfasst und wobei geometrische Merkmale auf dem Objekt bekannt sind, vorzugsweise zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 20, gekennzeichnet durch eine Kamera zum Erstellen eines Bildes des Objekts, wobei aus dem Kamerabild anhand der Bildinformation über die detektierten geometrischen Merkmale die 3D-Lage des Objekts berechenbar ist.
Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, dass die Kamera ortsfest ist.
Vorrichtung nach Anspruch 21 oder 22, gekennzeichnet durch mindestens einen Industrie-PC zur Auswertung der Kamerabilder und zur Berechnung der 3D-Lage.
Vorrichtung nach Anspruch 23, dadurch gekennzeichnet, dass der Industrie-PC eine Bildverarbeitungssoftware umfasst.