DE19960873C2

DE19960873C2 - Verfahren zur geometrischen Selbstkalibrierung eines Bildverarbeitungssystems

Info

Publication number: DE19960873C2
Application number: DE1999160873
Authority: DE
Inventors: Roman Louban
Original assignee: HEMA ELEKTRONIK FERTIGUNGS und
Current assignee: LOUBAN, ROMAN, DR.-ING., DE; ROMAN LOUBAN, DE
Priority date: 1999-12-17
Filing date: 1999-12-17
Publication date: 2002-06-20
Anticipated expiration: 2019-12-18
Also published as: DE19960873A1

Abstract

Die Erfindung betrifft ein Verfahren für die geometrische Selbstkalibrierung eines Bildverarbeitungssystems für die 2-D-Vermessung von Objekten 6, die sich auf beliebigen Messebenen 9 innerhalb des Schärfentiefebereichs 7 eines einfachen Standardobjektivs 3 des Kamerasystems 1 befinden, das mit einem Bildaufnehmer mit Pixeln (Kamerasensor) 2 ausgerüstet ist. Das Verfahren nutzt die Größe des Pixels des Kamerasensors 2 und der Brennweite des Objektivs 3, die als Referenzgegenstände des Bildverarbeitungssystems dienen, sowie den Kalibrierungsfaktor K¶0¶ für die Kalibrierungsebene 8 und den Abstand h der Messebene 9 von der Kalibrierungsebene 8, um die automatische Berechnung des Kalibrierungsfaktors K¶h¶ durchzuführen und damit eine präzise 2-D-Vermessung des Objektes 6, das auf dieser Messebene 9 positioniert ist, zu ermöglichen. DOLLAR A Für ein Kamerasystem 1 mit quadratischen Pixeln wird der Kalibrierungsfaktor K¶h¶ für eine beliebige Messebene 9 folgendermaßen berechnet: DOLLAR F1 wobei: DOLLAR A K¶0¶ - Kalibrierungsfaktor für die Kalibrierungsebene (mm/Pixel); DOLLAR A h - Abstand einer Messebene von der Kalibrierungsebene (mm); DOLLAR A l¶p¶ - Größe des quadratischen Bildpunktes (mm); DOLLAR A f - Brennweite des Objektivs (mm).

Description

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruchs 1.

Insbesondere bezieht sich die Erfindung auf die geometrische Selbstkalibrierung eines Bildverarbeitungssystems für die präzise 2D-Vermessung von Objekten, die sich innerhalb des Schärfentiefebereichs des Objektives des Kamerasystems befinden, das mit einem Bildaufnehmer mit Pixeln (z. B. CCD- oder CMOS-Kamerasensor) ausgerüstet ist.

Es ist bekannt, daß jedes optische Meßsystem eine geometrische Kalibrierung benötigt, die in der Bestimmung des Kalibrierungsfaktors, d. h. in mm je Bildpunkt, besteht. Dafür soll ein bekanntes Kalibrierungsmaß aufgenommen und ausgewertet werden.

Als Kalibrierungsmaß kann bekanntermaßen ein festgelegter Gegenstand (Kalibrierungsendmaß) (DE 197 41 082 A1) sogar ein Meßlineal (DE 198 22 567 A1) sowie verschiedene periodische Muster z. B. ein Strichmuster (DE 42 18 971 A1) verwendet werden.

Nachteilig an dem Verfahren ist, daß sich das Kalibrierungsmaß exakt auf der Meßebene befinden muß, sonst werden die aufgenommenen Maße des Prüflings wegen der perspektivischen Verzerrung des Objektivs verfälscht.

Wenn sich die Entfernung des zu prüfenden Objektes von der Kamera ändert, muß das Bildverarbeitungssystem neu kalibriert werden. Ein noch größeres Problem bildet die gleichzeitige 2D-Vermessung mehrerer zu prüfenden Objekte, die sich auf verschiedenen Meßebenen befinden. In dem Fall muß das Kalibrierungsverfahren für jede Meßebene einzeln durchgeführt werden. Dabei muß das Kalibrierungsmaß auf die entsprechende Meßebene exakt positioniert werden. Das bedeutet eine mühsame und zeitaufwendige geometrische Kalibrierung des Bildverarbeitungssystems, die für jede Meßebene wiederholt werden muß.

Eine stufenlose Auswertung des Kalibrierungsfaktors für jede Meßebene innerhalb von einem bestimmten Meßbereich mit einem einzelnen Verfahren wäre die Lösung des obengenannten Problems. Das bekannte Verfahren zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten relativ zu einem Referenzkoordinatensystem (DE 195 36 297 A1) erfüllt diese Anforderungen. Dieses Verfahren basiert auf dem Prinzip der Triangulation, das die x,y,z-Koordinaten des Objektes im Objektraum berechnet anhand der Speicherung und Auswertung von Folgen der zeitlich nacheinander aufgenommenen Lichtstrukturen eines fixierten Beleuchtungsprojektors. Nachteilig an dem Verfahren ist, daß die Brennweite des Objektivs der Kamera und des Projektors aufeinander abgestimmt werden müssen. Des weiteren muß auch die Abbildung vom Projektor kalibriert werden, so daß das Verfahren insgesamt immer noch zeitaufwendig ist.

Ein weiteres Verfahren verwendet zur geometrischen Kalibrierung von CCD-Kameras (DE 197 27 281 C1) eine kohärente Lichtquelle und ein synthetisches Hologramm zur Erzeugung einer wohldefinierten Teststruktur f(x, y, z) als Kalibrierungsmaß des 3D-Meßsystems.

Diese Verfahren erfordern einen erheblichen Zeitaufwand, Verwendung spezieller Ausrüstung und Beteiligung einer qualifizierten Fachkraft in diesem Prozeß und bedeutet auch einen wirtschaftlichen Verlust. Außerdem verwenden diese Verfahren für die geometrische Kalibrierung des Meßsystems Gegenstände, die sich außerhalb der Kamera befinden und selber gewisse Kalibrierung und/oder Korrektur benötigen. Bei 2D-Vermessung der Objekte, die sich flach auf einer bestimmten Meßebene befinden, sind Verfahren zur Kalibrierung eines 3D- Meßsystems überflüssig.

Als Stand der Technik wird für die präzise 2D-Vermessung der Objekte, die sich auf unterschiedlichem Abstand von der Kamera befinden, zumeist ein telezentrisches Objektiv verwendet. Das optische Prinzip des telezentrischen Strahlengangs bewirkt, daß ein Objekt unabhängig von seiner Lage zur optischen Achse so abgebildet wird, daß es nicht zu den üblichen, perspektivischen Verzerrungen in Fläche und Tiefe kommt. Deshalb werden solche Objektive für meßtechnische Aufgaben eingesetzt, bei denen eine höhenunabhängige Vermessung mit hoher Genauigkeit durchgeführt werden soll. Diese kann innerhalb eines bestimmten Bereiches, genannt Telezentriebereich, stattfinden.

Aufgrund des parallelen Abbildungsstrahlenganges muß der Objektivdurchmesser allerdings mindestens ebenso groß sein, wie das aufzunehmende Objektfeld. Das bedeutet vor allem einen sehr großen Platzbedarf für solche Objektive. Die Kosten für ein telezentrisches Objektiv sind vom Objektfeld und dem Telezentriebereich abhängig. Je nach Ausführung sind die Preise für telezentrische Objektive um 10- bis 50-mal höher als für ein entsprechendes einfaches Standardobjektiv.

Der Erfindung liegt die Aufgabe zugrunde, die geometrische Selbstkalibrierung eines Bildverarbeitungssystem zu vereinfachen, zu beschleunigen, zu automatisieren und dabei ein kostengünstiges und platzsparendes Verfahren zu ermöglichen.

Die Lösung des technischen Problems ergibt sich durch die Merkmale der Patentansprüche 1 bis 2.

Erfindungsgemäß soll zuerst bekanntermaßen die einmalige Kalibrierung des Bildverarbeitungssystems mit einem einfachen Standardobjektiv durch ein photogrammetrisches Verfahren durchgeführt werden. Dafür nutzt man ein bekanntes Kalibrierungsmaß (Kalibrierungsendmaß bzw. periodischen Muster), das sich auf einer bestimmten Ebene, genannt Kalibrierungsebene, innerhalb des Schärfentiefebereichs des Objektivs befindet. Als Ergebnis wird ein Kalibrierungsfaktor K₀ für die Kalibrierungsebene gewonnen. Danach läßt sich der Kalibrierungsfaktor K_h für eine beliebige Meßebene, die zur Kalibrierungsebene parallel ist, von ihr um einen bekannten Abstand h entfernt ist und sich ebenso innerhalb des Schärfentiefebereichs des Objektives befindet, automatisch berechnen. Für diese Berechnung werden bestimmte Gegenstände genutzt, deren konstante Größe bekannt ist und die als Referenzwerte verwendet werden können, sowie der gewonnene Kalibrierungsfaktor K₀ und der Abstand h.

Der Abstand h kann beispielsweise für die Maßhaltigkeitskontrolle von Objekten, die sich auf unterschiedlichen und dabei bekannten Ebenen des zu prüfenden Teiles befinden, bereits angegeben werden. Er kann ebenso unabhängig vom hier genannten Kalibrierungsverfahren mit herkömmlichem Meßverfahren und hoher Genauigkeit sogar innerhalb der Bildauswertung ermittelt werden (DE 42 38 891 A1).

Gemäß Anspruch 1 werden die Größe des Pixels des Kamerasensors und die Brennweite des Objektivs als Referenzgegenstände des Bildverabeitungssystems für die geometrische Selbstkalibrierung benutzt. Die Pixelgröße und die Brennweite des Objektivs sind konstant und durch die Herstellerspezifikation genau bekannt. Diese gehören zum Kamerasystem und bedürfen deswegen keiner Korrektur bzw. Kalibrierung.

Da obengenannte Meßebenen sich innerhalb des Schärfentiefebereichs des Objektivs befinden, gilt nach den Abbildungsgleichungen der Strahlengeometrie (bei beiderseits gleichen Medien), daß eine (kleine!) Objektverschiebung in Achsenrichtung um h zu einer um den Faktor β'² (Abbildungsmaßstab) größeren Bildverschiebung ϕ führt (Technische Optik: Grundlagen und Anwendungen/Gottfried Schröder. - 7. Aufl. - Würzburg: Vogel, 1990, Kamprath-Reihe). Diese läßt den Kalibrierungsfaktor K_h für jede entsprechende Meßebene anhand der Referenzgegenstände sowie bekannter Werten von dem Kalibrierungsfaktor K₀ und dem Abstand h mathematisch korrekt berechnen.

Bekanntermaßen ist die Kalibrierung eines Kamerasystems von der Form des Pixels stark abhängig. Nicht alle existierende Typen des Kamerasensors erlauben eine einfache und von großen systematischen Fehlern freie Berechnung des Kalibrierungsfaktors.

Die quadratischen Pixel, die im Vergleich zu z. B. rechteckigen bzw. sechseckigen (wabenförmigen) Pixeln für meßtechnische Zwecke bevorzugt verwendet werden, liefern eine einfache Möglichkeit den obengenannten Kalibrierungsfaktor K_h präzis zu ermitteln.

Gemäß Anspruch 2 läßt sich für eine Kamera mit quadratischen Pixeln der obengenannten Kalibrierungsfaktor K_h folgendermaßen berechnen:

wobei:
K₀ - Kalibrierungsfaktor für die Kalibrierungsebene (mm/Pixel);
h - Abstand einer Meßebene von der Kalibrierungsebene (mm);
l_p - Größe des quadratischen Pixels (mm);
f - Brennweite des Objektivs (mm).

Auf diese Weise findet eine geometrische Selbstkalibrierung des Bildverarbeitungssystems statt.

Somit kann sowohl auf teure telezentrische Meßobjektive, die auch einen sehr großen Platzbedarf erfordern, als auch auf ein kompliziertes und aufwendiges Kalibrierungsverfahren für die 3D-Vermessung durch das hier genannte Verfahren zur geometrischen Selbstkalibrierung eines Bildverarbeitungssystems verzichtet werden.

Die Einzelheiten der Erfindung werden im nachfolgenden Ausführungsbeispiel anhand der Fig. 1 erläutert. Die Fig. 1 zeigt eine schematische Darstellung der Meßeinrichtung.

Für ein Kamerasystem 1, das quadratische Bildpunkte besitzt, kann der Kalibrierungsfaktor K₀ für eine bestimmte Kalibrierungsebene 8, auf der sich ein bekanntes Kalibrierungsmaß 5 befindet, folgendermaßen definiert werden:

K₀ = L/n₀, [1]

wobei:
L - Länge des Kalibrierungsmaßes 5 (mm);
n₀ - Abbildungslänge des Kalibrierungsmaßes (Pixel).

Nach der Strahlengeometrie des Kamerasystems gilt für den Kalibrierungsfaktor K₀:

wobei:
a₀ - Abstand zwischen dem Kalibrierungsebene 8 und der Hauptebene des Objektivs 4;
l_p - Größe eines Pixels (mm);
f - Brennweite des Objektivs 3.

Wenn sich ein zu prüfendes Objekt 6 innerhalb des Schärfentiefebereichs 7 des Kamerasystems 1 auf einer beliebigen Meßebene 9 befindet, die um den kleinen Abstand h von der Kalibrierungsebene 8 entfernt ist, gilt für ihn:

wobei:
K_h - Kalibrierungsfaktor für die Meßebene 9;
a_h - Abstand zwischen der Meßebene 9 und der Hauptebene des Objektivs 4;
f_h - Brennweite des Objektivs 3, die einer virtuellen Bildebene entspricht, auf der das Bild geometrisch scharf abgebildet wäre. Damit bildet sich auf der reellen Bildebene einen Unschärfekreis-Durchmesser u'.

Eine Objektverschiebung in Achsenrichtung h verursacht eine entsprechende Bildverschiebung ϕ. Dabei finden diese Verschiebungen in Gegenrichtungen statt:

a_h = a₀ + h [4]

f_h = f - ϕ [5]

Weil ϕ/h den Tiefenabbildungsmaßstab und f/a₀ den Abbildungsmaßstab β' eines Gegenstandes darstellen, gilt für diese Parameter nach den Abbildungsgleichungen der Strahlengeometrie (Formel (1.20) - Technische Optik: Grundlagen und Anwendungen/ Gottfried Schröder. - 7. Aufl. - Würzburg: Vogel, 1990, Kamprath-Reihe) folgende Gleichung:

ϕ/h = (f/a₀)² [6]

Dadurch:

ϕ = h.(f/a₀)² [7]

Einsetzen von [4] und [7] in [3] läßt sich einen Kalibrierungsfaktor K_h für die Meßebene 9 ermitteln:

Da die Umwandlung von [8] zu

K_h = (a₀ - h).l_p.(f - h.(f/a₀)²) [9]

und die Eliminierung der entstehenden unbedeutenden kleinen Terme zur vernachlässigbar geringen Einschränkung der Genauigkeit führt, bekommt man mit der Berücksichtigung von [2]:

Dabei ist h < 0, wenn der Abstand von der Kamera zur Meßebene kleiner ist, als zur Kalibrierungsebene. Im anderen Fall ist h < 0 (Fig. 1).

Mit [10] läßt sich der Kalibrierungsfaktor K_h vom Bildverarbeitungssystem automatisch berechnen. Damit erzielt man die geometrische Selbstkalibrierung eines Bildverarbeitungssystems für präzise 2D-Vermessung der Objekte, die sich innerhalb des Schärfentiefebereichs des Kamerasystems befinden, das mit einem Bildaufnehmer mit quadratischen Pixeln ausgerüstet ist.

Bezugszeichenliste

1

Kamerasystem

2

Kamerasensor

3

Objektiv

4

Hauptebene des Objektivs

5

Kalibrierungsmaß

6

Prüflinge

7

Schärfentiefebereich des Kamerasystems

8

Kalibrierungsebene

9

Meßebene

Claims

1. Verfahren zur geometrischen Selbstkalibrierung eines Bildverarbeitungssystems für die 2D-Vermessung von Objekten 6, die sich auf beliebigen Meßebenen 9 innerhalb des Schärfentiefebereichs 7 eines einfachen Standardobjektivs 3 des Kamerasystems 1 befinden, das mit einem Bildaufnehmer mit Pixeln (Kamerasensor) 2 ausgerüstet ist, dadurch gekennzeichnet, daß der Kalibrierungsfaktor K_h für eine beliebige Meßebene 9 mit Hilfe der Größe des Pixels des Kamerasensors 2 und der Brennweite des Objektivs 3, die als Referenzgegenstände des Bildverarbeitungssystems dienen, sowie des Kalibrierungsfaktors K₀ für eine fest definierte Kalibrierungsebene 8 und des bekannten Abstandes h der Meßebene 9 von der Kalibrierungsebene 8 automatisch berechnet wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß für ein Kamerasystem 1 mit quadratischen Pixeln der Kalibrierungsfaktor K_h für eine beliebige Meßebene 9 folgendermaßen berechnet wird:
wobei:
K₀ - Kalibrierungsfaktor für die Kalibrierungsebene (mm/Pixel);
h - Abstand einer Messebene von der Kalibrierungsebene (mm);
l_p - Größe des quadratischen Pixels (mm);
f - Brennweite des Objektivs (mm).