DE102018008539B4

DE102018008539B4 - Kalibriervorrichtung und Verfahren zur Kamerakalibrierung für die Photogrammetrie

Info

Publication number: DE102018008539B4
Application number: DE102018008539.3A
Authority: DE
Inventors: Sebastian Siegel
Original assignee: Baumer Optronic GmbH
Current assignee: Baumer Optronic GmbH
Priority date: 2018-11-01
Filing date: 2018-11-01
Publication date: 2023-01-26
Anticipated expiration: 2038-11-02
Also published as: DE102018008539B9; DE102018008539A1

Abstract

Kalibriervorrichtung (1), insbesondere Kalibrierplatte (3) für die Photogrammetrie, mit einem Kalibriermuster (5) aus voneinander unterscheidbaren Kalibrierstrukturen (7, 9), wobei eine Mehrzahl von Gruppen (19) aus nebeneinander angeordneten Kalibrierstrukturen (7, 9) vorhanden ist, wobei in jeder Gruppe (19) zumindest eine Teilmenge der Kalibrierstrukturen (7, 9) mit Markierungen (15, 17) versehen ist, und wobei die Markierungen (15, 17) wenigstens einer Gruppe (19) eine maschinenlesbare Kodierung bilden, welche die Abmessungen der

Description

Die Erfindung betrifft eine Kalibriervorrichtung, insbesondere eine Kalibrierplatte für die Photogrammetrie. Darüber hinaus betrifft die Erfindung auch ein Verfahren zur Kamerakalibrierung und ein Computerprogrammprodukt.
Für die Photogrammetrie ist es notwendig, eine Kamera zu kalibrieren. Dadurch können Fehler wie beispielsweise Linsenfehler, die zu Verzerrungen und anderen ungewollten Einflüssen führen, erkannt und im Rahmen der Kalibrierung aus einem Bild herausgerechnet werden. Durch die Kalibrierung können Kalibriervorschriften erzeugt werden, die auf nachträglich aufgenommene Bilder angewendet werden können, um auch bei diesen die Fehler der Kamera zu korrigieren. Für photogrammetrische Anwendungen ist es zudem notwendig, einen Bezug zwischen Koordinaten im Bild, beispielsweise den Pixeln, und den Raumkoordinaten, auch Weltkoordinaten genannt, in dem Raum, in dem sich die Kalibriervorrichtung befindet, herzustellen. Ist eine Kamera einmal kalibriert und der Bezug zwischen den Bildkoordinaten und den Raumkoordinaten bekannt, können aus der Aufnahme eines Objekts dessen Abmessungen bestimmt werden.
In der Druckschrift DE 10 2006 055 758 A1 wird ein Verfahren zur geometrischen Kalibrierung von Kameras gezeigt. Hierbei wird mindestens einer von mehreren Kreuzungspunkten in einem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert, die eine Kodierung der Orientierung und der Lage der Kreuzungspunkte innerhalb des Schachbrettmusters umfasst. Diese Kodierung ermöglicht eine Zuordnung der Kreuzungspunkte der Abbilder des Schachbrettmusters zu den damit definierten Raumpunkten unabhängig davon, ob die äußeren Begrenzungen des Schachbrettmusters, d. h. das jeweils vollständige Schachbrettmuster in seinen Abbildern zu sehen ist oder nicht.
Bekannte Kalibriervorrichtungen und Verfahren zum Kalibrieren sind häufig aufwendig und erfordern eine Reihe von Schritten, um die Kalibrierung durchzuführen. Es ist daher die Aufgabe der Erfindung, die Kalibrierung einer Kamera zu erleichtern.
Gelöst wird die erfindungsgemäße Aufgabe durch eine Kalibriervorrichtung mit einem Kalibriermuster aus voneinander unterscheidbaren Kalibrierstrukturen, wobei eine Mehrzahl von Gruppen aus nebeneinander angeordneten, insbesondere zusammenhängenden, Kalibrierstrukturen vorhanden ist, wobei in jeder Gruppe zumindest eine Teilmenge der Kalibrierstrukturen mit Markierungen versehen ist, und wobei die Markierungen wenigstens einer Gruppe eine maschinenlesbare Kodierung bilden.
Für das erfindungsgemäße Verfahren zur Kamerakalibrierung ist die erfindungsgemäße Aufgabe dadurch gelöst, dass ein Kalibriermuster aus voneinander unterscheidbaren Kalibrierstrukturen von wenigstens einer Kamera aufgenommen und durch wenigstens eine Auswerteeinrichtung verarbeitet wird, wobei Markierungen in den Kalibrierstrukturen erkannt, eine aus aufeinanderfolgenden Markierungen gebildete Kodierung ausgelesen und die in der Kodierung enthaltene Information extrahiert wird, und wobei die extrahierte Information zur Kalibrierung der Kamera verwendet wird. Für das eingangs genannte Computerprogrammprodukt ist die Aufgabe dadurch gelöst, dass das Computerprogrammprodukt mit einem Computerprogramm versehen ist, das dazu ausgestaltet ist, eine, insbesondere mit einer Kamera verbundene oder in diese integrierte, Datenverarbeitungseinrichtung zur Durchführung des erfindungsgemäßen Verfahrens zu veranlassen.
Durch die erfindungsgemäße Lösung kann die Kalibrierung einer Kamera, insbesondere für die Photogrammetrie, deutlich vereinfacht werden. Die Kodierung enthält Informationen, die zur Kalibrierung genutzt werden können. Die kodierte Information enthält die Abmessungen der Kalibrierstrukturen, den Maßstab, und/oder die Position der Gruppe von Kalibrierstrukturen innerhalb des Kalibriermusters. Durch die Mehrzahl von Gruppen kann eine Redundanz der kodierten Informationen erreicht werden und/oder verschiedene Informationen codiert werden. Die Kalibriervorrichtung kann insbesondere eine Kalibrierplatte sein. Alternativ dazu kann die Kalibriervorrichtung auch ein Bildschirm oder eine andere Anzeigevorrichtung sein, auf der das Kalibriermuster angezeigt wird. Die Kalibrierstrukturen sind bevorzugt aufeinanderfolgend mit alternierenden Merkmalen gebildet. Bevorzugt sind die Kalibrierstrukturen quadratisch geformt und es wechseln sich schwarze und weiße Quadrate bzw. quadratische Flächen ab. Besonders bevorzugt ist das Kalibriermuster aus schachbrettartig angeordneten Kalibrierstrukturen zusammengesetzt. Die nebeneinander angeordneten Kalibrierstrukturen, die eine Gruppe bilden, sind bevorzugt nicht nur in einer horizontalen Richtung, sondern auch in einer vertikalen Richtung nebeneinander angeordnet. Insbesondere im Fall eines Schachbrettmusters sind die Kalibrierstrukturen einer Gruppe zusammenhängend. Die Gruppe kann also ein Ausschnitt aus einem Schachbrettmuster sein. Die Kamera kann jede Vorrichtung sein, die zur Aufnahme eines Bildes und bevorzugt auch zur Digitalisierung des Bildes geeignet ist.
Die Kalibriermuster selbst können zum Korrigieren von Fehlern, beispielsweise zum Entzerren des Kamerabildes, verwendet werden. Hierbei können bekannte Verfahren genutzt werden. Die in den Markierungen enthaltene Kodierung kann zusätzliche Informationen liefern.
Die erfindungsgemäße Lösung kann durch verschiedene, jeweils für sich vorteilhafte und beliebig miteinander kombinierbare Ausgestaltungen weiter verbessert werden. Auf diese Ausgestaltungsformen und die mit ihnen verbundenen Vorteile wird im Folgenden eingegangen. Die dabei beschriebenen Ausgestaltungsformen lassen sich dabei sowohl für die erfindungsgemäße Kalibriervorrichtung als auch für das erfindungsgemäße Verfahren anwenden.
Bevorzugt ist höchstens eine Markierung pro Kalibrierstruktur vorhanden. Um das Erkennen der Kanten der Kalibrierstrukturen für Fehlerkorrekturverfahren nicht durch die Markierungen der Kodierung zu stören, sind Markierungen bevorzugt mittig in den Kalibrierstrukturen angeordnet. Dazu sind sie bevorzugt von den Rändern bzw. Kanten der Kalibrierstrukturen beabstandet.
Um das Erkennen der Markierungen zu erleichtern, unterscheiden sich die Markierungen bevorzugt in Farbe und/oder Form von den Kalibrierstrukturen. Eine schwarze Kalibrierstruktur ist bevorzugt mit einer weißen Markierung versehen und umgekehrt. Sind die Kalibrierstrukturen eckig, können die Markierungen beispielsweise rund sein.
Bevorzugt sind wenigstens zwei Gruppen mit voneinander abweichenden Markierungen versehen. Folglich können die wenigstens zwei Gruppen unterschiedliche Informationen in sich tragen. Besonders bevorzugt beinhalten die kodierten Informationen der Gruppen jeweils die Koordinaten der Gruppe innerhalb des Kalibriermusters. Dies schließt natürlich nicht aus, dass weitere codierte Informationen in jeder Gruppe enthalten sind.
Die Kalibrierstrukturen können ein Schachbrettmuster bilden, wobei die Gruppen als Blöcke von benachbarten Kalibrierstrukturen gebildet sind. insbesondere können die Gruppen als Blöcke von horizontal und vertikal benachbarten Kalibrierstrukturen gebildet sein. Lediglich beispielsweise sei eine Blockgröße von fünf mal sieben Flächen, bzw. Kästchen, des Schachbrettmusters genannt. Eine solche Gruppen- bzw. Blockgröße kann bereits ausreichen, um relevante Informationen innerhalb der Gruppe zu kodieren.
Bevorzugt bilden aufeinanderfolgende Markierungen in einer Reihe und/oder einer Spalte von Kalibrierstrukturen eine Binärcodierung. Eine solche ist leicht maschinenlesbar und auswertbar.
Wie bereits oben genannt, können die kodierten Informationen dazu benutzt werden, einen Bezug zwischen dem Kalibriermuster und den Raumkoordinaten des Raumes, in dem das Kalibriermuster angeordnet ist, herzustellen. Nachdem die Informationen aus der Kodierung extrahiert sind, können sie für die Photogrammetrie und/oder für die Kalibrierung genutzt werden. Bevorzugt lassen sich diesen Informationen die Koordinaten der Gruppen innerhalb des Kalibriermusters entnehmen. Ebenfalls bevorzugt enthalten die Informationen eine Angabe zur Größe der Kalibrierstrukturen. Im Falle eines Schachbrettmusters aus quadratischen Flächen können die Informationen folglich die Kantenlänge der Quadrate beinhalten.
Zur Auswertung des Kalibriermusters wird wenigstens ein Ausschnitt des Kalibriermusters verwendet, wobei der Ausschnitt eine feste Größe aufweist. Mit anderen Worten wird, bildlich gesprochen, durch ein Fenster auf das Kalibriermuster geblickt. Hierbei ist in der Regel kein tatsächliches Fenster der Kamera, sondern die zur gegenwärtigen Auswertung ausgewählten Kalibrierstrukturen gemeint. Der Ausschnitt kann beispielsweise die Größe einer Gruppe bzw. eines Blocks aufweisen. Um eine sinnvolle Auswertung zu erreichen, weist der Ausschnitt bevorzugt wenigstens die Größe einer Gruppe bzw. eines Blocks auf. Bei der Aufnahme des Kalibriermusters und/oder bei der Auswertung des Kalibriermusters deckt sich der Ausschnitt idealerweise mit wenigstens einer Gruppe. Dies ist jedoch in Abhängigkeit der verwendeten Kodierung nicht zwingend. Darauf wird ist weiter unten eingegangen.
Gemäß einer vorteilhaften Ausgestaltung wird zur Auswertung der kodierten Informationen wenigstens ein Satz von Regeln verwendet, durch die die Reihen und/oder Spalten der Kalibrierstrukturen innerhalb einer Gruppe untereinander und/oder verschiedener Gruppen zueinander in Beziehung gesetzt sind. Dadurch kann eine Redundanz bei der Auswertung erhalten werden. Wenn sich ein Ausschnitt bei der Aufnahme oder Auswertung nicht mit einer Gruppe deckt, aber stattdessen Kalibrierstrukturen mit Markierungen von zwei benachbarten Gruppen enthält, können durch die insgesamt in dem Ausschnitt erfassten Markierungen in Zusammenhang mit den Regeln die fehlenden Informationen wenigstens einer Gruppe ergänzt werden.
Durch die Regeln kann auch vorgegeben sein, wie Markierungen innerhalb einer Gruppe angeordnet sind. Beispielsweise können die Markierungen innerhalb einer Gruppe nach einem Schema angeordnet sein, das eine bestimmte Ausrichtung bzw. Anordnung der Markierungen in der Gruppe festgelegt. Hierdurch kann eine Rotationskorrektur ermöglicht sein, wenn bekannt ist, dass bestimmte Reihen und/oder Spalten innerhalb einer Gruppe mit festgelegten Markierungen versehen werden, anhand derer sich die Ausrichtung der Gruppe und damit des Kalibriermusters erkennen lässt. Beispielsweise kann die linke Spalte und die oberste Zeile einer Gruppe stets frei von Markierungen sein. Dadurch ist eine Gruppe beziehungsweise ein Block schnell auffindbar. Durch eine rechteckige Form eines Blocks kann auch schnell erkannt werden, ob Kamera und Kalibriermuster im Hinblick auf die Rotation korrekt zueinander ausgerichtet sind.
Erfindungsgemäß kann auch eine Kalibrieranordnung vorgesehen sein, welche eine vorgenannte Kalibriervorrichtung und eine mit dieser zusammen verwendbaren Kamera umfasst. Die Kamera kann zur Aufnahme der Kalibriervorrichtung bzw. des Kalibriermusters der Kalibriervorrichtung dienen. Die Auswertung des Kalibriermusters und die Extraktion der kodierten Information können direkt innerhalb der Kamera erfolgen, sofern die Datenverarbeitungseinrichtung der Kamera dazu ausgestaltet ist. Alternativ dazu kann die Verarbeitung auch mit einer mit der Kamera verbindbaren Datenverarbeitungseinrichtung, beispielsweise einem Personal Computer (PC), erfolgen. Die anhand der Auswertung des Kalibriermusters gewonnenen Vorschriften zur Bildkalibrierung können anschließend an die Kamera übertragen und in dieser gespeichert werden. Anschließend mit der Kamera aufgenommene Bilder können dann anhand dieser Kalibriervorschriften kalibriert und die Kamera zur Photogrammetrie verwendet werden.
Anstelle der oben beschriebenen Binärcodierung können auch andere Formen der Codierung verwendet werden. Lediglich beispielhaft sei hier eine Farbcodierung genannt. Dadurch kann die Bittiefe und folglich die Informationsdichte bei gleichbleibender Gruppengröße vergrößert sein. Auch die Form der Markierungen könnte variieren, um die Informationsdichte zu erhöhen. Die Kalibrierstrukturen selbst sind ebenfalls nicht auf ein Schachbrettmuster beschränkt. Es können stattdessen auch andere gängige Muster, beispielsweise Kreisflächen, verwendet werden.
Im Folgenden ist die Erfindung beispielhaft anhand einer vorteilhaften Ausführungsform mit Bezug auf die Zeichnungen näher erläutert. Die bei der Ausführungsform beispielhaft dargestellte Merkmalskombination kann nach Maßgabe der obigen Ausführungen entsprechend für einen bestimmten Anwendungsfall durch weitere Merkmale ergänzt werden. Auch können, ebenfalls nach Maßgabe der obigen Ausführungen, einzelne Merkmale bei der beschriebenen Ausführungsform weggelassen werden, wenn es auf die Wirkung dieses Merkmals in einem konkreten Anwendungsfall nicht ankommt.
In den Zeichnungen werden für Elemente gleicher Funktion und/oder gleichen Aufbaus stets dieselben Bezugszeichen verwendet.
Es zeigen:

1 eine schematische Darstellung einer Kalibriervorrichtung des Stands der Technik ohne Markierungen;
2 ein Beispiel für eine erfindungsgemäße Kalibriervorrichtung;
3 ein Beispiel für eine erfindungsgemäße Gruppe von Kalibrierstrukturen;
4 die Kalibriervorrichtung aus 2, wobei drei Gruppen hervorgehoben sind;
5 eine Nahansicht einer Gruppe aus 4; und
6 einen Ausschnitt bzw. Fensterblick auf eine Gruppe.

1 zeigt eine Kalibriervorrichtung 1 der bekannten Art. Diese ist lediglich beispielhaft als Kalibrierplatte 3 beschrieben. Stattdessen kann die Kalibriervorrichtung 1 jedoch auch ein Bildschirm oder eine andere Anzeigeeinrichtung sein. Die Kalibriervorrichtung 1 ist mit einem Kalibriermuster 5 versehen. Das Kalibriermuster 5 ist aus schachbrettartig angeordneten Kalibrierstrukturen 7 und 9 zusammengesetzt. Dabei sind die Kalibrierstrukturen 7 schwarze quadratische Flächen und die Kalibrierstrukturen 9 weiße quadratische Flächen.
Wenn ein solches Kalibriermuster 5 zur Kamerakalibrierung eingesetzt wird, werden signifikante Punkte im Bild ermittelt. Dazu werden in der Regel kantenbasierte Verfahren mit Subpixel-Interpolation verwendet. So können beispielsweise die signifikanten Punkte des Schachbrettmusters als Kreuzungspunkte von Kanten im Bild berechnet werden. Solche Verfahren sind gängig und dem Fachmann bekannt. Der Nachteil bei diesen bekannten Verfahren ist, dass durch die Aufnahme des Kalibriermusters 5 noch kein Bezug zwischen den Abmessungen im Bild, also dem Kalibriermuster 5, und den Raumkoordinaten des Raumes, in dem sich die Kalibriervorrichtung 1 befindet, auch Weltkoordinaten genannt, hergestellt werden kann. Diese Informationen müssen in einem zusätzlichen Schritt der Kamera bzw. einer Auswerteeinrichtung eingegeben werden. Eine Kamera ist in 1 lediglich angedeutet und mit dem Bezugszeichen 11 versehen. Die gestrichelten Linien im Bild sollen das Erfassen des Kalibriermusters 5 andeuten. Eine mit der Kamera 11 verbundene Auswerteeinrichtung ist mit dem Bezugszeichen 13 versehen. Die Auswerteeinrichtung 13 kann zur Kamera dazugehören, in der Kamera 11 integriert sein, und/oder eine externe Auswerteeinrichtung sein, insbesondere ein Personal Computer, ein FPGA, ein Tablet oder Smartphone.
In 2 ist ein erfindungsgemäßes Kalibriermuster 5 dargestellt. Im Folgenden wird nur auf die Unterschiede zu dem mit Bezug auf die 1 beschriebenen Kalibriermuster eingegangen. Das Kalibriermuster 5 kann Teil einer erfindungsgemäßen Kalibriervorrichtung 1, insbesondere einer Kalibrierplatte 3 sein, welche durch die gestrichelten Linien in 2 angedeutet ist. Lediglich beispielhaft ist ein Koordinatensystem mit Millimeterangaben in 2 eingezeichnet. Dieses dient lediglich der Veranschaulichung des erfindungsgemäßen Kalibriermusters 5 und dessen Verwendung.
Bei dem erfindungsgemäßen Kalibriermuster 5 sind einige der Kalibrierstrukturen 7 und 9 mit Markierungen 15 bzw. 17 versehen. Die Markierungen 15 bzw. 17 sind als kreisförmige Flächen gebildet, welche sich jeweils im Zentrum der dazugehörigen Kalibrierstruktur befinden und von deren Rändern beabstandet sind. Die Markierungen 15 und 17 bilden bevorzugt einen starken Kontrast zu den dazugehörigen Kalibrierstrukturen 7 und 9, um leichter erkannt zu werden. Dazu ist die Markierung 15 in der schwarzen Kalibrierstruktur 7 weiß und die Markierung 17 in der weißen Kalibrierstruktur 9 schwarz gefärbt. Auch die runde Formgebung dient zur Erzeugung eines starken Kontrasts zu den quadratischen Kalibrierstrukturen.
Durch die Markierungen 7 und 9 können in dem Kalibriermuster 5 zusätzliche Informationen, sogenannte „sekundäre Informationen“, platziert werden, die über den Informationsgehalt des bloßen Schachbrettmusters aus 1 hinausgehen.
Bei entsprechend großer Bildauflösung wird das Zentrum einer Kalibrierstruktur 7 bzw. 9 bei der Kantenermittlung nicht beachtet. Daher ist dieser Bildbereich geeignet, um die zusätzlichen (sekundären) Informationen zu platzieren. Diese Kodierung kann alle Informationen enthalten, die notwendig sind, um den Bildkoordinaten eindeutige Weltkoordinaten zuzuordnen. Dabei kann es ausreichend sein, lediglich in einem Ausschnitt des Kalibriermusters 5 die Markierungen 7 und 9 zu erkennen.
Im Folgenden ist eine vorteilhafte Möglichkeit einer Codierung beschrieben. Prinzipiell sind auch andere Codierungen möglich.
Das Kalibriermuster 5 weist Gruppen 19 auf, die aus vertikal und horizontal benachbarten bzw. nebeneinander angeordneten und zusammenhängenden Kalibrierstrukturen 7 und 9 zusammengesetzt sind.
Von diesen Kalibrierstrukturen 7 und 9 ist zumindest eine Teilmenge mit Markierungen 15 und 17 versehen. Bei einem Schachbrettmuster ist die Gruppe 19 bevorzugt ein Block 21. im Folgenden ist ein solcher Block auch als „Code-Block“ 21 bezeichnet.
Die Markierungen 15 und 17 aufeinanderfolgender Kalibrierstrukturen 7 und 9 können dabei einen Binärcode bilden. In dem im Folgenden beschriebenen Beispiel ist die Gruppe 19 als Code-Block 21 gebildet, welcher aus 5 Zeilen und 7 Spalten (5x7-Block) von Kalibrierstrukturen 7 und 9 des Kalibriermusters 5 zusammengesetzt ist.
3 zeigt einen solchen 5x7-Block 21 schematisch. Dabei sind die Kalibrierstrukturen 7 und 9 nicht eingefärbt und auch die möglichen Markierungen 15 und 17 nur angedeutet. Der vereinfachten Beschreibung halber sind die Zeilen bzw. Spalten innerhalb des Blocks 21 mit Ziffern (1 bis 5) bzw. Buchstaben (A bis G) nummeriert. Da auf die farbliche Markierung der Kalibrierstrukturen 7 und 9 verzichtet ist, sind diese im Folgenden als „Felder“ bezeichnet.
Jedes Feld des Blocks 21 ist durch eine Spaltenreferenz und Zeilenreferenz adressierbar. Das Feld 31 entspricht so z. B. Feld „G1“. Teilweise sind innerhalb der Felder mögliche Markierungen 15 bzw. 17 als Kreisflächen 32 angedeutet.
Folgende Bereiche im Block 21 werden unterschieden:

Felder A1, B1, ..., G1: Oberste Code-Zeile ohne Code, also ohne Markierungen
Felder A1, A2, ..., A5: Linke Code-Spalte ohne Code, also ohne Markierungen
Felder B2, C2, ..., G2: Y1-Code 33
Felder B3, B4, B5: X1-Code 37
Felder C3, C4, C5: X2-Code 38
Felder D3, E3, F3, G3: T1-Code 34
Felder D4, E4, F4, G4: T2-Code 35
Felder D5, E5, F5, G5: E-Code 36

Jeder Code besteht aus Bits, wobei jedes Feld entweder keine Kreisfläche darstellt (Bit = 0) oder eine Kreisfläche 32 darstellt (Bit = 1).
Es sollen folgende Bezeichnung gelten:

- G2: Y1(0), F2: Y1(1), ..., B2: Y1(5)
- B5: X1(0), B4: X1(1), B3: X1(2)
- C5: X2(0), C4: X2(1), C3: X2(2)
- G3: T1 (0), F3: T1 (1), E3: T1 (2), D3: T1(3)
- G4: T2(0), F4: T2(1), E4: T2(2), D4: T2(3)
- G5: E(0), F5: E(1), E5: E(2), D5: E(3)

Die eindeutige Erkennung eines 5 x 7 Code-Blocks 21 erfolgt mithilfe folgender Merkmale:

- FelderA1, B1, ..., G1 zeigen keine Kreisflächen 32
- Felder A1, A2, ..., A5 zeigen keine Kreisflächen 32
- Es gilt (R1): E(0) = E(1) = E(2) = E(3) = 1 => die vier Felder in D5 bis G5 zeigen immer jeweils eine Kreisfläche 32
- Es gilt (R2a): Y1 (2) = 0 oder Y1 (3) = 0 oder Y1 (4) = 0 oder Y1 (5) = 0 => die vier Felder B2 bis E2 zeigen nie alle gleichzeitig eine Kreisfläche 32
- Es gilt (R2b): Y1 (0) = 1 oder Y1(1) = 1 oder Y1 (2) = 1 oder Y1 (2) = 1 oder Y1 (4) = 1 oder Y1(5) = 1 => die sechs Felder B2 bis G2 zeigen mindestens eine Kreisfläche 32
- Es gilt (R3): X1 (0) = 1 oder X1(1) = 1 oder X1 (2) = 1 => die drei Felder B3 bis B5 zeigen mindestens eine Kreisfläche 32
- Es gilt (R4): X2(0) = 1 oder X2(1) = 1 oder X2(2) = 1 => die drei Felder C3 bis C5 zeigen mindestens eine Kreisfläche 32
- Es gilt (R5): T1 (0) = 1 oder T1(1) = 1 oder T1 (2) = 1 oder T1(3) = 1 => die vier Felder D3 bis G3 zeigen mindestens eine Kreisfläche 32
- Es gilt (R6): T2(0) = 1 oder T2(1) = 1 oder T2(2) = 1 oder T2(3) = 1 => die vier Felder D4 bis G4 zeigen mindestens eine Kreisfläche 32

Die Regeln R1 und R2a stellen sicher, dass das Ende-Feld 36 nicht mit den Feldern B2 bis E2 verwechselt werden kann, falls der Code z. B. 180° verdreht im Bild erscheint.
Die Felder B2 bis G5 bezeichnen den aktiven Code-Bereich 23, der aus 4 x 6 Feldern mit potenziell sichtbaren Kreisflächen 32 besteht.
Die Regeln R1, R3 und R4 stellen sicher, dass im aktiven Code-Bereich 23 in jeder der 6 Spalten jeweils mindestens eine Kreisfläche 32 sichtbar ist.
Die Regeln R1, R2b, R5 und R6 stellen sicher, dass im aktiven Code-Bereich 23 in jeder der 4 Zeilen jeweils mindestens eine Kreisfläche 32 sichtbar ist.
Mithilfe der vorgenannten Regeln R1 bis R6 ist eindeutig gewährleistet, dass Zeilen oder Spalten ohne Kreisflächen 32 ausschließlich einer oberen Code-Zeile oder einer linken Code-Spalte ohne Code entsprechen.
Die Detektion eines Code-Blocks ist damit in folgender Weise möglich:

- Suche nach Zeilen/Spalten ohne Kreisflächen 32
- Erkennung der Rotationslage des Code-Blocks 21 durch Suche des Feldes 36 relativ zu einem Feld A1 (Kreuzungsfeld code-freier Zeilen/Spalten).

Im Folgenden wird eine mögliche Codierung der Bits X1, X2, Y1, T1, T2 beschrieben. Dabei wird die bekannte Binärcodierung verwendet (bei z. B. 6 gültigen Bits): 0 = „000000“, 1 = „000001“, 2 = „000010“, 3 = „000011“, 4 = „000100“ usw. Das jeweils niederwertigste Bit (LSB) erhält den Index 0.
Die Regel R2a lässt sich in die Forderung Y1 < 60 überführen. Die Regel R2b lässt sich in die Forderung Y1 > 0 überführen. Somit können mit den sechs Bits für Y1 die Werte 1 = „000001“ bis 59 = „111011“ codiert werden.
Die Regeln R3 und R4 lassen sich in die Forderungen X1 > 0 und X2 > 0 überführen. Somit können mit den drei Bits von je X1 und X2 die Werte 1 = „001“ bis 7 = „111“ codiert werden.
Die Regeln R5 und R6 lassen sich in die Forderungen T1 > 0 und T2 > 0 überführen. Somit können mit den vier Bits von je T1 und T2 die Werte 1 = „0001“ bis 15 = „1111“ codiert werden.
Die Anordnung der Code-Blöcke 21 erfolgt lückenlos unter Fortsetzung der Leerzeilen bzw. Leerspalten.
4 zeigt beispielhaft drei Code-Blöcke 21, die mit den Bezugszeichen 40, 41 und 42 nummeriert sind. Die Code-Blöcke 40 und 41 sind direkt benachbart. Ebenso sind die Code-Blöcke 40 und 42 direkt benachbart.
Hinsichtlich der Raumkoordinaten, bzw. der Weltkoordinaten, wird folgende Festlegung getroffen. Die Weltkoordinaten werden mit (X_w, Y_w) bezeichnet. Die Eckpunkte des Gittermusters werden mit (X_G, Y_G) bezeichnet. Die Granularität des Kalibriermusters 5 bestimmt den Abbildungsmaßstab zwischen den Punkten (X_W, Y_W) und (X_G, Y_G). Zum Beispiel zeigt 5 vier Punkte mit einem Abbildungsmaßstab von 5 mm pro Gitterelement:

- (44): X_G = 0, Y_G = 0 bzw. X_W = 0 mm, Y_W = 0 mm
- (45): X_G = 1, Y_G = 0 bzw. X_W = 5 mm, Y_W = 0 mm
- (46): X_G = 0, Y_G = -1 bzw. X_W = 0 mm, Y_W = -5 mm
- (47): X_G = 1, Y_G = -1 bzw. X_W = 5 mm, Y_W = -5 mm

Die Code-Blöcke 21 erhalten die Koordinaten (X, Y). Der Code-Block 40, dessen obere linke Ecke die Position X_G = 0, Y_G = 0 berührt, erhält die Koordinaten X = 0, Y = 0. Entsprechend erhält der Code-Block 41 die Koordinaten X = 1, Y = 0 und der Code-Block 42 die Koordinaten X = 0, Y = 1.
Die Position eines Gitterpunktes (X_G, Y_G) lässt sich aus den Koordinaten (X, Y) des dazugehörigen Code-Blocks 21 und der relativen Position des Gitterpunktes innerhalb des Code-Blocks 21 ableiten.
Um positive und negative Koordinaten (X, Y) eines Code-Blocks 21 gleichermaßen codieren zu können, werden folgende Vorschriften verwendet:

- X1 = floor((X + 24) /7) + 1
- X2 = mod((X + 24), 7) + 1 bzw.
- X = 7 * (X1 -1) + (X2 -1) - 24
- Y1 =Y-30

Damit ergeben sich die folgenden codierbaren Bereiche für

- X: -24 ... +24
- Y:-29...+29

Die Codewörter T1 und T2 codieren eine Zahl T in folgender Weise:

- T1 = floor(T /15) + 1
- T2 = mod(T, 15) + 1 bzw.
- T = 15 * (T1 - 1) + (T2 - 1)

Damit kann T den Bereich 0 ... 224 annehmen. T ist eine feste Größe, die in jedem Code-Block 21 des codierten Kalibriermusters 5 gleich ist. T dient dazu, eine zusätzliche Information über das codierte Kalibriermuster 5 bekannt zu geben. So kann mithilfe von T z. B. die Größe der Rasterung in mm codiert werden. Alternativ kann jedem der 225 möglichen Code-Wörter ein diskreter Wert zugeordnet werden, z. B. T = 0: 1 mm, T = 1: 2 mm, T = 2: 5 mm, T = 3: 10 mm usw.
Der Code-Block 40 hat beispielsweise folgende Werte:

- X1 =„100“ =4, X2=„100“=4=>X=7*3 + 3-24 =0
- Y1 = „011110“ = 30 => Y = 30 -30 = 0
- T1 = „0001“ = 1, T2 = „0011“ = 3 => T = 15 * 0 + 2 = 2 (=> Abbildungsmaßstab: 5 mm / Gitterelement)

Damit sind aus diesem Code-Block 40 erwartungsgemäß die Position in Weltkoordinaten sowie der Abbildungsmaßstab ablesbar.
Das obige Verfahren hat den Vorteil, dass eine vollständige Dekodierung möglich ist, wenn im aufgenommenen Bild mindestens 5 x 7 Felder in Ausrichtung des Codes vollständig sichtbar sind.
Hierzu ein Beispiel:
In 6 sind vier Code-Blöcke 21 prinzipiell dargestellt. In allen vier Blöcken 21 sind die Größen T1, T2 und E definitionsgemäß gleich. Die Bezugszeichen 19 und 21 weisen dabei auf das jeweils linke obere Feld eines Blocks.
Nebeneinanderliegende Blöcke 21 unterscheiden sich hinsichtlich der Größe X: links: X1, X2 und rechts: X1', X2'. Dabei gilt: X' = X + 1. Die Werte für X1 und X2 folgen aus X und die Werte für X1' und X2' folgen aus X'.
Übereinanderliegende Blöcke 21 unterscheiden sich in Y: Y1'= Y1 - 1.
Wenn ein Code-Wort angeschnitten ist, so können die fehlenden Bits aus den Bits gegenüber der Leerzeile/Leerspalte ergänzt werden. im Beispiel in 6 wird ein Ausschnitt beziehungsweise ein Fenster 50 des Kalibriermusters 5 betrachtet. In diesem Beispiel wird Y1' ermittelt aus den Feldern C7 bis G7 sowie dem separat liegenden Feld I7. In gleicher Weise wird X1' gebildet aus I4, I5 und I8 bzw. X2 aus C4, C5 und C8. Bei angeschnittenem T1, T2 oder E kann nach dem gleichen Prinzip eine Ergänzung stattfinden.
Durch die Zusammenhänge zwischen X1, X2 und X, zwischen X1', X2' und X' sowie die Beziehung X' = X + 1 kann auch dann eine eindeutige Decodierung erfolgen, wenn die Codes vom Typ X1 und X2 nicht aus demselben Block 21 stammen, wie im obigen Beispiel mit den gelesenen Codes X2 und X1'.
Durch die Verwendung des codierten Kalibriermusters 5 können den signifikanten Punkten des aufgenommenen Bildes eindeutig Weltkoordinaten zugeordnet werden. Da der Codebereich nicht vollständig im Bild sein muss, kann das zugrundeliegende Kalibriermuster 5 vollflächig im Bild sichtbar sein, was den Vorteil hat, dass auch in den Bildecken Informationen gewonnen werden können, was insbesondere bei Tonnen- oder Kissenverzeichnung von großer Bedeutung ist. Außerdem wirkt sich die Gleichverteilung der Messpunkte des Kalibriermusters 5 vorteilhaft auf das Ergebnis der Kamerakalibrierung aus.
Eine bevorzugte Methode besteht darin, eine Bildauswerteeinrichtung wie eine Kamera 11 wie folgt zu kalibrieren:

1. Bilderzeugung, wobei das codierte Kalibriermuster 5 sinnvoll im Sichtbereich der Kamera 11 platziert wurde (die Weltkoordinaten des Kalibriermusters 5 können direkt für die Anlagensteuerung verwendet werden bzw. durch eine einfache Vorschrift (z. B. Rotation und/oder Verschiebung) in das Koordinatensystem der Anlage überführt werden).
2. Kamerakalibrierung mithilfe des Kalibriermusters 5 bzw. dessen Kalibrierstrukturen 7 und 9 und Decodierung der durch die Markierungen 15 und 17 kodierten Informationen, so dass im Ergebnis eine Vorschrift zur Überführung von Bild- in Weltkoordinaten entsteht.

Optional kann nach der Kamerakalibrierung eine Vorschrift zur Berechnung eines entzerrten Bildes erzeugt werden. Jedem Bildpunkt (X_B, Y_B) des entzerrten Bildes kann dann eindeutig ein Punkt (Xw, Yw) aus dem Weltkoordinatensystem der Kalibriervorrichtung 1, bzw. der Kalibrierplatte 3, zugeordnet werden. Dazu genügt eine Transformationsvorschrift der Form $[\begin{matrix} X_{W} \\ Y_{W} \end{matrix}] = [\begin{matrix} r_{11} & r_{12} \\ r_{21} & r_{22} \end{matrix}] [\begin{matrix} X_{B} \\ Y_{B} \end{matrix}] + [\begin{matrix} t_{X} \\ t_{Y} \end{matrix}] .$
Die Vorschrift zur Berechnung eines entzerrten Bildes ist im Allgemeinen parametrierbar. So kann das entzerrte Bild z. B. skaliert, verschoben und/oder rotiert werden.
Besteht die Aufgabe einer Bildauswerteeinrichtung wie einer Kamera 11 z. B. darin, einen bestimmten Bildbereich mit einem vorher gelernten Motiv zu vergleichen, so kann diese Aufgabe von einem Gerät A auf ein anderes Gerät B übertragen und direkt ausgeführt werden, wenn das entzerrte Bild im Gerät B an die Einstellungen des Gerätes A im Zuge der Kamerakalibrierung angepasst wurde (die entzerrten Bilder beider Geräte zeigen exakt den gleichen Ausschnitt der realen Welt). Eine solche Anpassung ist durch die Kenntnis der Weltkoordinaten im Zuge der Kamerakalibrierung automatisch möglich.
Weiterhin könnte z. B. im statischen Informationsbereich eines Code-Blocks 21 (z. B. Code-Wort T im oben beschriebenen Beispiel) eine Information hinterlegt sein, dass eine Kalibrierung erfolgen soll. Ist die Bildauswerteeinrichtung z. B. dahingehend eingerichtet, im Bild nach einem codierten Kalibriermuster zu suchen und wird diese Information erkannt, so könnte automatisch eine Kalibrierung erfolgen.
In einigen Anwendungsfällen ist es erforderlich, dass auch der Abstand (z. B. die Z-Richtung) der Kalibriervorrichtung 1 zur Kamera 11 bekannt ist. So kann es zum Beispiel erforderlich sein, den Abbildungsmaßstab bei verschiedenen Arbeitsabständen zu kalibrieren. Hier kann ein Teil des Code-Worts T eine Information zur Z-Position der Kalibriervorrichtung 1 enthalten. Indem dann mit mehreren Kalibriervorrichtungen 1 Aufnahmen in verschiedenen Z-Positionen ausgeführt werden, können die Ergebnisse einer Plausibilitätsprüfung unterzogen werden (so sollten die gemessenen Abbildungsmaßstäbe ein lineares Verhalten aufweisen), wodurch Fehler bei der Kalibrierung - z. B. durch Verwendung einer falschen Kalibriervorrichtung 1 bei einer bestimmten Z-Position - erkannt werden können.
Die oben detailliert beschriebene Vorschrift zur Code-Erzeugung weist einige Vorteile auf. So muss ein Code-Block 21 nicht vollständig sichtbar sein. Stattdessen genügen 5 x 7 Felder, also Kalibrierstrukturen 7 und 9 des Kalibriermusters 5. Es kann eine Rotationserkennung der Kalibriervorrichtung 1 erfolgen. Es kann eine Redundanz über mehrere Code-Blöcke 21 erzeugt werden, wodurch eine Fehlererkennung möglich ist. Die Genauigkeit der Kamerakalibrierung mithilfe der signifikanten Punkte (z. B. Ecken und/oder Kanten des Schachbrettmotivs) wird durch die Kodierung dagegen nicht beeinträchtigt.

Claims

Kalibriervorrichtung (1), insbesondere Kalibrierplatte (3) für die Photogrammetrie, mit einem Kalibriermuster (5) aus voneinander unterscheidbaren Kalibrierstrukturen (7, 9), wobei eine Mehrzahl von Gruppen (19) aus nebeneinander angeordneten Kalibrierstrukturen (7, 9) vorhanden ist, wobei in jeder Gruppe (19) zumindest eine Teilmenge der Kalibrierstrukturen (7, 9) mit Markierungen (15, 17) versehen ist, und wobei die Markierungen (15, 17) wenigstens einer Gruppe (19) eine maschinenlesbare Kodierung bilden, welche die Abmessungen der
Kalibriervorrichtung (1) nach Anspruch 1, wobei wenigstens zwei Gruppen (19) mit voneinander abweichenden Markierungen (15, 17) versehen sind.
Kalibriervorrichtung (1) nach Anspruch 1 oder 2, wobei wenigstens eine Abfolge aus Markierungen (15, 17) aufeinanderfolgender Kalibrierstrukturen (7, 9) einen Binärcode bilden.
Kalibriervorrichtung (1) nach einem der Ansprüche 1 bis 3, wobei die Kalibrierstrukturen (7, 9) ein Schachbrettmuster bilden und die Gruppen (19) als Blöcke (21, 40-42) von benachbarten Kalibrierstrukturen (7, 9) gebildet sind.
Verfahren zur Kamerakalibrierung, insbesondere für die Photogrammetrie, - wobei ein Kalibriermuster (5) aus voneinander unterscheidbaren Kalibrierstrukturen (7, 9) von wenigstens einer Kamera (11) aufgenommen und durch wenigstens eine Auswerteeinrichtung (13) verarbeitet wird, - wobei Markierungen (15, 17) in den Kalibrierstrukturen (7, 9) erkannt werden, - wobei die Markierungen (15, 17) eine maschinenlesbare Kodierung bilden, welche die Abmessungen der Kalibrierstrukturen (7, 9) und die Position der Kalibrierstrukturen (7, 9) oder den Maßstab und die Position der Kalibrierstrukturen innerhalb des Kalibriermusters (5) enthalten, - wobei eine aus aufeinanderfolgenden Markierungen (15, 17) gebildete Kodierung ausgelesen und die in der Kodierung enthaltene Information extrahiert wird, - wobei die extrahierte Information zur Kalibrierung der Kamera (11) verwendet wird und - wobei zur Auswertung des Kalibriermusters (5) wenigstens ein Ausschnitt (50) des Kalibriermusters (5) fester Größe verwendet wird.
Verfahren nach Anspruch 5, wobei die extrahierte Information dazu genutzt wird, einen Bezug zwischen dem Kalibriermuster (5) und den Raumkoordinaten des Raumes, in dem das Kalibriermuster (5) angeordnet ist, herzustellen.
Verfahren nach Anspruch 5 oder 6, wobei Gruppen (19) aus nebeneinander angeordneten Kalibrierstrukturen (7, 9) ausgewertet werden, wobei die kodierte Information jeweils einer Gruppe (19) zumindest die Position dieser Gruppe (19) innerhalb des Kalibriermusters (5) enthält.
Verfahren nach einem der Ansprüche 5 bis 7, dadurch gekennzeichnet, dass zur Auswertung ein Satz von Regeln (R1-R6) verwendet wird, die Reihen und/oder Spalten innerhalb einer Gruppe (19) untereinander und/oder verschiedener Gruppen (19) zueinander in Beziehung setzen.
Computerprogramm, das dazu ausgestaltet ist, eine mit einer Kamera verbundene oder in diese integrierte Datenverarbeitungseinrichtung (13) zur Durchführung des Verfahrens nach einem der Ansprüche 5 bis 8 zu veranlassen.