DE102006055758B4 - Method for calibrating cameras and projectors - Google Patents
Method for calibrating cameras and projectors Download PDFInfo
- Publication number
- DE102006055758B4 DE102006055758B4 DE102006055758A DE102006055758A DE102006055758B4 DE 102006055758 B4 DE102006055758 B4 DE 102006055758B4 DE 102006055758 A DE102006055758 A DE 102006055758A DE 102006055758 A DE102006055758 A DE 102006055758A DE 102006055758 B4 DE102006055758 B4 DE 102006055758B4
- Authority
- DE
- Germany
- Prior art keywords
- checkerboard pattern
- points
- images
- crossing
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Verfahren zur Kalibrierung einer Kamera, wobei ein bekanntes ebenes Schachbrettmuster mit der Kamera in mehreren Relativstellungen zu der Kamera abgebildet wird und wobei in den Abbildern des Schachbrettmusters Lagen von Kreuzungspunkten von Kanten anhand von Lagen von Sattelpunkten der Helligkeitsintensitätsverteilung in den Abbildern des Schachbrettmusters verfolgt werden, wobei zunächst Groblagen der Kreuzungspunkte der Kanten ermittelt werden, die als Aufpunkte für eine subpixelgenaue Bestimmung der Lage der zugehörigen Sattelpunkte der Helligkeitsintensitätsverteilung verwendet werden, dadurch gekennzeichnet, dass mindestens einer der Kreuzungspunkte in dem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert ist, die eine Kodierung der Orientierung und der Lage des Kreuzungspunkts innerhalb des Schachbrettmusters umfasst und dass für die Ermittlung der Groblagen der Kreuzungspunkte der Kanten, die Abbilder des Schachbrettmusters mit einem Kantenoperator bearbeitet werden und anschließend in der Mitte des jeweiligen Abbilds eine Hough-Transformation durchgeführt wird.A method of calibrating a camera wherein a known planar checkerboard pattern is imaged with the camera in a plurality of relative positions to the camera, and wherein in the images of the checkerboard pattern, locations of crossing points of edges are tracked by locations of saddle points of the intensity distribution in the images of the checkerboard pattern first determining coarse positions of the crossing points of the edges, which are used as points of view for a subpixel-accurate determination of the position of the associated saddle points of the brightness intensity distribution, characterized in that at least one of the crossing points in the checkerboard pattern is marked with a positional indication readable by image processing of the images of the checkerboard pattern, comprising a coding of the orientation and the position of the crossing point within the checkerboard pattern and that for the determination of the coarse layers of the crossing points of the edges, the images of the checkerboard pattern are processed with an edge operator and then in the middle of the respective image, a Hough transformation is performed.
Description
TECHNISCHES GEBIET DER ERFINDUNGTECHNICAL FIELD OF THE INVENTION
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Kamera mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 1 und ein Verfahren zur Kalibrierung eines Projektors mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 10.The The invention relates to a method for calibrating a camera the features of the preamble of independent claim 1 and a method for calibrating a projector with the features of Generic term of the independent Patent claim 10.
Messdaten von optischen Messsystemen wie z. B. Bilder können nur sinnvoll interpretiert werden, wenn die Konfiguration des jeweiligen Messsystems bekannt ist. Die Konfiguration eines optischen Messsystems wird durch Lage, Orientierung sowie weitere intrinsische Parameter von optischen Komponenten wie digitalen Kameras und Projektoren definiert. Die Aufgabe der Kalibrierung ist es, die zur Auswertung der Messdaten benötigten Parameter der Konfiguration zu bestimmen.measurement data of optical measuring systems such. B. Images can only be interpreted meaningfully be known if the configuration of the respective measuring system is. The configuration of an optical measuring system is characterized by Orientation as well as other intrinsic parameters of optical Defined components such as digital cameras and projectors. The The task of the calibration is to evaluate the measured data required Determine parameters of the configuration.
Unterschieden wird zwischen der geometrischen Kalibrierung und der radiometrischen Kalibrierung. Die geometrische Kalibrierung liefert als Ergebnis Parameter eines Abbildungsmodells, mit dessen Hilfe es möglich wird, dreidimensionale Punkte im Raum zweidimensionalen Koordinaten in der Bildebene zuzuordnen und umgekehrt. Das Ergebnis einer radiometrischen Kalibrierung ist die so genannte Transferfunktion. Diese gibt an, wie verschiedene Lichtintensitäten von einfallendem Licht auf Pixelwerte abgebildet werden und umgekehrt.differences is between the geometric calibration and the radiometric Calibration. The geometric calibration returns as a result Parameters of an imaging model that makes it possible to three-dimensional points in space two-dimensional coordinates in to assign the image plane and vice versa. The result of a radiometric Calibration is the so-called transfer function. This indicates like different light intensities be reflected by incident light on pixel values and vice versa.
Eine gute geometrische Kalibrierung ist für viele verschiedene Messverfahren erforderlich. Anhand der durch einer geometrischen Kalibrierung ermittelten Zuordnung zwischen dreidimensionalen Raumkoordinaten und zweidimensionalen Bildkoordinaten ist es möglich, Abstand, Form und Bewegung von Objekten und Punkten zu ermitteln, die durch mindestens zwei Kameras beobachtet wurden.A Good geometric calibration is for many different measurement methods required. On the basis of a geometric calibration determined assignment between three-dimensional space coordinates and two-dimensional image coordinates, it is possible to distance, shape and movement of objects and points to be determined by at least two Cameras were observed.
In der Luft- und Raumfahrt werden viele solcher Methoden eingesetzt, z. B. um die Bewegung von Partikeln in einer Strömung oder eine Verformung eines Testobjekts unter verschiedenen Einflüssen messen zu können. Je nach Anwendung gibt es unterschiedliche Anforderungen an die Qualität der Kalibrierung.In Aerospace uses many such methods, z. B. the movement of particles in a flow or deformation of a Test object under different influences to be able to measure. ever After application there are different requirements for the quality of the calibration.
Die vorliegende Erfindung betrifft allein die geometrische Kalibrierung von Kameras, insbesondere von Digitalkameras, und von Projektoren, die zur Auswertung von Messergebnissen diverser Verfahren erforderlich ist. Dabei wird in der folgenden Beschreibung teilweise nur auf die geometrische Kalibrierung von Kameras Bezug genommen. Soweit hierbei nichts anderes angegeben ist, gilt das Entsprechende aber auch für die geometrische Kalibrierung von Projektoren mit Hilfe mindestens einer zuvor ihrerseits geometrisch kalibrierten Kamera.The The present invention relates solely to geometric calibration of cameras, especially digital cameras, and projectors, which is required for the evaluation of measurement results of various methods. Here, in the following description, in part, only on the geometric Calibration of cameras referenced. As far as nothing else here is given, the corresponding applies but also for the geometric Calibration of projectors with the help of at least one previously in turn geometrically calibrated camera.
STAND DER TECHNIKSTATE OF THE ART
Photogrammetrische Verfahren zur Bestimmung von Abbildungsmodellparametern einer Kamera, zu denen auch die vorliegende Erfindung zählt, arbeiten sämtlich nach einem übereinstimmenden Grundprinzip. Ein Kalibrierungsobjekt mit bekannter Geometrie wird in den Bildbereich der Kamera gehalten und aufgenommen. Mehrere Teilprobleme sind dabei für die Bestimmung der Abbildungsmodellparameter zu lösen. Zuerst müssen Punkte des Kalibrierobjekts in den von der zu kalibrierenden Kamera aufgenommenen Abbildern erkannt werden. Die Punkte des Kalibrierobjekts müssen dabei eindeutig identifiziert werden. Als Nächstes müssen die Pixelkoordinaten dieser Punkte gemessen werden, um pro Kamera und Abbild eine Punktkorrespondenzliste zu erzeugen. Die Punktkorrespondenzlisten stellen eine Verbindung zwischen den bekannten Raumkoordinaten der Punkte des Kalibrierungsobjekts und deren gemessene Pixelkoordinaten her. Im letzten Schritt werden diese Punktkorrespondenzlisten dazu verwendet, die eigentlichen Abbildungsparameter der Kamera zu berechnen.Photogrammetric Method for determining imaging model parameters of a camera, which also includes the present invention, all work after a matching one Basic principle. A calibration object with known geometry becomes held in the image area of the camera and recorded. Several Partial problems are there for to solve the determination of the imaging model parameters. First, there are points of the calibration object in the camera to be calibrated Images are recognized. The points of the calibration object must be be clearly identified. Next, the pixel coordinates of this Points are measured to per camera and image a Punktkorrespondenzliste to create. The point correspondence lists connect between the known spatial coordinates of the points of the calibration object and their measured pixel coordinates. In the last step will be These point correspondence lists used to do the actual Calculate imaging parameters of the camera.
Ein Verfahren zur Kalibrierung einer Kamera mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 1 ist aus D. Chen, G. Zhang: A New Sub-Pixel Detector for X- Corners in Camera Calibration Targets, in: WSCG Short papers proceedings, WSCG 2005 bekannt. Bei dem bekannten Verfahren wird zunächst eine Groblage der Kreuzungspunkte der Kanten in Pixelkoordinaten mit Pixelgenauigkeit bestimmt, bevor durch die Ermittlung der Lage der Sattelpunkte der Helligkeitsintensitätsverteilung in den Abbildern des Schachbrettmusters die Lagen der Kreuzungspunkte der Kanten des Schachbrettmusters mit Subpixelgenauigkeit bestimmt werden. Das Bestimmen zunächst nur von Groblagen der Kreuzungspunkte mit Pixelgenauigkeit hat den Zweck, die aufwändige subpixelgenaue Bestimmung auf die Bereiche der Sattelpunkte zu fokussieren und damit Rechenaufwand einzusparen. Die Bestimmung der Groblagen mit Pixelgenauigkeit erfolgt durch Anwendung eines Operators basierend auf einer Hessian-Matrix. Alternativ wird die Anwendung eines Harris-Detektors für die Bestimmung der Groblagen mit Pixelgenauigkeit angesprochen. In den Abbildern des Schachbrettmusters, in denen die Lage der Kreuzungspunkte der Kanten anhand der Lagen der Sattelpunkte der Helligkeitsintensitätsverteilung bestimmt werden, ist das Schachbrettmuster jeweils einschließlich seiner äußeren Begrenzung zu sehen, wodurch es möglich ist, jeden Sattelpunkt einem bestimmten Kreuzungspunkt von Kanten innerhalb des Schachbrettmusters zuzuordnen. Dies ist für die Zuordnung der Lagen der Kreuzungspunkte in den Abbildern des Schachbrettmusters zu Raumkoordinaten, d. h. der Erstellung der so genannten Punktkorrespondenzlisten erforderlich. Diesbezüglich Details werden von D. Chen und G. Zhang jedoch nicht offenbart.A method of calibrating a camera having the features of the preamble of independent claim 1 is known from D. Chen, G. Zhang: A New Subpixel Detector for X-Corners in Camera Calibration Targets, in: WSCG Short Papers, WSCG 2005 , In the known method, first a coarse position of the crossing points of the edges is determined in pixel coordinates with pixel accuracy, before the positions of the crossing points of the edges of the checkerboard pattern with subpixel accuracy are determined by determining the position of the saddle points of the brightness intensity distribution in the images of the checkerboard pattern. The determination of at first only coarse layers of the crossing points with pixel accuracy has the purpose of focusing the time-consuming subpixel-accurate determination on the regions of the saddle points and thus saving on computational effort. The determination of the coarse layers with pixel accuracy takes place by applying an operator based on a Hessian matrix. Alternatively, the application of a Harris detector for determining the coarse layers with pixel accuracy is addressed. In the images of the checkerboard pattern, in which the position of the crossing points of the edges are determined by the positions of the saddle points of the brightness intensity distribution, the checkerboard pattern is to be seen in each case including its outer boundary, whereby it is possible for each saddle point to a certain intersection of edges within the checkerboard pattern assigned. This is necessary for the assignment of the positions of the crossing points in the images of the checkerboard pattern to spatial coordinates, ie the creation of the so-called point correspondence lists. However, details of this are not disclosed by D. Chen and G. Zhang.
Ein Verfahren zur geometrischen Kalibrierung einer Kamera ist aus J. Heikkila, O. Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, in: Proceedings IEEE Computer Society Conference Computer Vision and Pattern Recognition (1997) bekannt. Dieses Verfahren ist mehrschrittig und basiert auf einem DLT (direct linear transform)-Ansatz. Das Kalibrierungsobjekt ist ein aus mehreren Ebenen mit Punktegittern zusammengesetztes dreidimensionales Objekt, wobei jede Ebene durch eine Orientierung eines ebene Kreispunkte aufweisenden Punktegitters gegenüber der Kamera repräsentiert wird. Nach der Bestimmung der Mittelpunkte der Kreispunkte in den Abbildern des Punktegitters wird die DLT für eine anfängliche Abschätzung der Parameter durchgeführt. Danach wird eine nicht-lineare Optimierung der Parameter einschließlich von Parametern für radiale und tangentiale Linsenverzerrungen vorgenommen. Heikkila und Silven waren sich bewusst, dass die Ellipsenmittelpunkte aufgrund von perspektivischer Verzerrung nicht den Bildern der Mittelpunkte der Kreispunkte entsprechen. Daher werden in der dritten Stufe die gemessenen Pixelkoordinaten anhand der bisher bekannten Parameter korrigiert. Anschließend wird die nicht-lineare Optimierung noch mal an den korrigierten Pixelkoordinaten vorgenommen.One Method for geometric calibration of a camera is from J. Heikkila, O. Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, in: Proceedings IEEE Computer Society Conference Computer Vision and Pattern Recognition (1997). This method is multi-step and based on a DLT (direct linear transform) approach. The calibration object is one of several Layers with point grids composed three-dimensional object, Each level is defined by an orientation of a plane circle points facing points grid represented by the camera becomes. After determining the centers of the circle points in the Images of the dot grid will be used by the DLT for an initial estimation of the Parameters performed. Thereafter, a non-linear optimization of the parameters including Parameters for made radial and tangential lens distortions. Heikkila and Silven were aware that the ellipse centers due of perspective distortion not the images of the centers correspond to the circle points. Therefore, in the third stage, the measured pixel coordinates based on the previously known parameters corrected. Subsequently the non-linear optimization will be corrected again Pixel coordinates made.
Ein zur Detektion von Geraden in einem Bild häufig eingesetztes Werkzeug ist die Hough-Transformation. Die Hough-Transformation wurde nach ihrem Erfinder Paul V. C. Hough benannt, der dieses Verfahren in den sechziger Jahren für die Erkennung von komplexen Strukturen entwickelte. Die Erkennung von Geraden ist der einfachste Spezialfall der Hough-Transformation. Geraden lassen sich durch zwei Größen parametrisieren, den Abstand zum Ursprung – im Zusammenhang der Kalibrierung von Kameras oder von Projektoren mit Hilfe von Kameras praktischerweise die Bildmitte – und einem Winkel, der die Orientierung der Geraden angibt. Für diesen Parameterraum wird ein diskretes Akkumulatorfeld angelegt. Für jeden Pixel des ursprünglichen Bildes werden alle möglichen Parameter einer Geraden berechnet, die durch diesen Pixel verlaufen. Zu den Zellen des Akkumulatorfeldes der entsprechenden Geraden wird die Helligkeit des Pixels addiert. Dadurch entstehen im Akkumulatorfeld an den Stellen Helligkeitsspitzen, die im Bild befindenden Geraden entsprechen. Der Prozess der Hough-Transformation ist offensichtlich zeitaufwändig. Eine einfache Maßnahme zu seiner Beschleunigung besteht darin, nur Pixel im Ursprungsbild zu betrachten, deren Helligkeitswert einen Schwellwert überschreitet.One Tool used for detecting straight lines in an image is the Hough transformation. The Hough Transformation was named after its inventor Paul V. C. Hough named this process in the sixties for detection developed from complex structures. The detection of straight lines is the simplest special case of the Hough transformation. Straight lines can be parameterize by two sizes, the distance to the origin - in Correlation of calibration of cameras or projectors with Help from cameras conveniently the center of the picture - and one Angle indicating the orientation of the line. For this Parameter space a discrete accumulator field is created. For each Pixel of the original Picture will be all possible Calculates parameters of a line passing through this pixel. To the cells of the accumulator field of the corresponding straight line is the brightness of the pixel is added. This results in the accumulator field Bright spots in the places, the lines in the picture correspond. The process of Hough transformation is obvious time-consuming. A simple measure to its acceleration is just pixels in the source image to consider whose brightness value exceeds a threshold.
Aus
der
Aus
der
Aus L. Krüger, C. Wähler, A. Würz-Wessel, F. Stein: In-factory calibration of multiocular camera systems in: SPIE Photonics Europe (Optical metrology in Production Engineering), Straßbourg, 2004, Seiten 126, 137, ist ein Verfahren zur Kalibrierung eines Kamerasystems mit mehreren Kameras bekannt, bei dem ein bekanntes ebenes Schachbrettmuster mit den Kameras abgebildet wird. Um die Orientierung des Schachbrettmusters in den Abbildungen erkennen zu können, sind in den einzelnen Schachbrettfeldern gegenüber der Mitte der Schachbrettfelder versetzte Markierungen angeordnet. Dabei sind diese Markierungen bei allen Schachbrettfeldern in derselben Richtung gegenüber der Mitte versetzt.Out L. Kruger, C. voters, A. Würz-Wessel, F. Stein: In-factory calibration of multiocular camera systems in: SPIE Photonics Europe (Optical Metrology in Production Engineering), Strasbourg, 2004, pages 126, 137, is a method of calibrating a Camera system with multiple cameras known in which a well-known plane checkerboard pattern is imaged with the cameras. To the Recognizing orientation of the checkerboard pattern in the pictures to be able to are in the individual checkerboard fields opposite the center of the checkerboard fields staggered markers arranged. These are these marks at all checkerboard fields in the same direction opposite the Center offset.
Die bislang bekannten Verfahren zur geometrischen Kalibrierung einer Kamera leiden darunter, dass sie praktisch nicht automatisierbar sind. Häufig führen bereits Beleuchtungsunterschiede bei dem im Rahmen der Kalibrierung mit der Kamera abgebildeten Muster zu Ungenauigkeiten der Kalibrierung. Wenn nicht das gesamte Muster in seinen Abbildern zu sehen ist, ist eine Zuordnung von Punkten in den Abbildern zu Raumkoordinaten entweder gar nicht mehr oder nur noch mit manuellem Eingriff möglich.The previously known methods for the geometric calibration of a camera suffer from that they are virtually impossible to automate. Frequently, illumination differences in the pattern imaged with the camera during the calibration lead to inaccuracies of the calibration. If not the entire pattern can be seen in its images, an assignment of points in the images to spatial coordinates is either no longer possible or only possible with manual intervention.
AUFGABE DER ERFINDUNGOBJECT OF THE INVENTION
Der Erfindung liegt die Aufgabe zugrunde, Verfahren mit den Merkmalen der Oberbegriffe der Patentansprüche 1 und 10 aufzuzeigen, die eine möglichst sichere und damit automatisierbare Kalibrierung von optischen Messsysteme zur Erstellung einer eindeutigen und genauen Zuordnung von Raumkoordinaten zu Pixelkoordinaten für jede Kamera bzw. jeden Projektor erlauben.Of the Invention is based on the object, methods with the features the preambles of the claims 1 and 10 show the one possible safe and thus automatable calibration of optical measuring systems for creating a clear and precise assignment of spatial coordinates to pixel coordinates for allow any camera or projector.
LÖSUNGSOLUTION
Die Aufgabe der Erfindung wird durch ein Verfahren zur Kalibrierung einer Kamera mit den Merkmalen des unabhängigen Patentanspruchs 1 und durch ein Verfahren zur Kalibrierung eines Projektors mit den Merkmalen des unabhängigen Patentanspruchs 10 gelöst. Die abhängigen Patentansprüche 2 bis 9 betreffen bevorzugte Ausführungsformen des neuen Verfahrens zur Kalibrierung einer Kamera, während die neuen Patentansprüche 11 bis 20 bevorzugte Ausführungsformen des neuen Verfahrens zur Kalibrierung eines Projektors beschreiben.The The object of the invention is achieved by a method for calibration a camera with the features of independent claim 1 and by a method of calibrating a projector with the features of the independent Patent claim 10 solved. The dependent ones claims Figures 2 to 9 relate to preferred embodiments of the new method to calibrate a camera while the new claims 11 to 20 preferred embodiments describe the new procedure for calibrating a projector.
BESCHREIBUNG DER ERFINDUNGDESCRIPTION OF THE INVENTION
Bei den neuen Verfahren sowohl zur Kalibrierung einer Kamera als auch eines Projektors, wobei im Weiteren das Verfahren zur Kalibrierung einer Kamera auch als repräsentativ für das Verfahren zur Kalibrierung eines Projektors näher beschrieben wird, ist mindestens einer der Kreuzungspunkte in dem Schachbrettmuster mit einer durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbaren Positionsangabe markiert, die eine Kodierung der Orientierung und der Lage der Kreuzungspunkts innerhalb des Schachbrettmusters umfasst. Diese Kodierung ermöglicht eine Zuordnung der Kreuzungspunkte der Abbilder des Schachbrettmusters zu den damit definierten Raumpunkten unabhängig davon, ob die äußeren Begrenzungen des Schachbrettmusters, d. h. das jeweils vollständige Schachbrettmuster in seinen Abbildern zu sehen ist oder nicht. Dadurch, dass die Positionsangabe sowohl die Orientierung als auch die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters angibt, können immer auch die Lagen der benachbarten und damit letztlich aller Kreuzungspunkte innerhalb des Schachbrettmusters bestimmt werden; und die Kreuzungspunkte können in allen Bereichen der Abbilder des Schachbrettmusters vorgesehen und ausgewertet werden, so dass der Gesamte Abbildungsbereich der jeweiligen Kamera Berücksichtigung findet. Indem die Positionsangabe durch Bildverarbeitung der Abbilder des Schachbrettmusters lesbar ist, ist damit ein Weg gegeben, jeden Kreuzungspunkt in einem Abbild des Schachbrettmusters automatisch einem Kreuzungspunkt des Schachbrettmusters selbst und damit einer Raumlage zuzuordnen.at the new method both for calibrating a camera and of a projector, the procedure for calibration a camera as representative for the Procedure for calibrating a projector is described in detail at least one of the crossing points in the checkerboard pattern with a through Image processing of the images of the checkerboard pattern readable position indication marked, which is a coding of the orientation and the position of the crossing point within the checkerboard pattern. This coding allows a Assignment of the crossing points of the images of the checkerboard pattern to the spatial points defined with it, regardless of whether the outer boundaries the checkerboard pattern, d. H. each complete checkerboard pattern in his images or not. Because the position information both the orientation and the location of the crossing point within of the checkerboard pattern indicates always the positions of the neighboring ones and therefore of all Crossing points are determined within the checkerboard pattern; and the crossing points can be in provided in all areas of the images of the checkerboard pattern and be evaluated so that the total imaging range of the respective Camera consideration place. By the position indication by image processing of the images of the checkerboard pattern is a way given to everyone Intersection point in an image of the checkerboard pattern automatically a crossing point of the checkerboard pattern itself and thus one Allocate spatial position.
Die Positionsangabe kann konkret zweiteilig aufgebaut sein, wobei ein Teil den jeweiligen Kreuzungspunkt und seine Orientierung innerhalb des Schachbrettmusters bezeichnet und ein anderer Teil die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters z. B. in Form von Flächenkoordinaten bezeichnet. In jedem Fall weist die Positionsangabe den zweiten Teil auf. Die Funktion des ersten Teils kann bezüglich der Bezeichnung, d. h. Festlegung des jeweiligen Kreuzungspunkts, auf den sich die Positionsangabe bezieht, auch durch den zweiten Teil erfüllt werden und bezüglich der Orientierung innerhalb des Schachbrettmusters durch benachbarte Positionsangaben. Durch den Abgleich von Positionsangaben zu mehreren Kreuzungspunkten, die die Lagen der markierten Kreuzungspunkte innerhalb des Schachbrettmusters bezeichnet, lässt sich auch dann die Orientierung der Kreuzungspunkte innerhalb des Schachbrettmusters bestimmen, wenn diese nicht in jeder Positionsangabe enthalten ist. Bei der vorliegenden Erfindung ist es aber bevorzugt, wenn jede einzelne Positionsangabe eine eigene Kodierung der Orientierung des jeweiligen Kreuzungspunkts aufweist, die unabhängig von den Positionsangaben zu anderen Kreuzungspunkten auswertbar ist.The Position indication can be concretely constructed in two parts, with a Part the respective crossing point and its orientation within of the checkerboard pattern and another part the location the crossing point within the checkerboard pattern z. B. in shape of area coordinates designated. In any case, the position indication has the second Part up. The function of the first part may be with respect to the name, i. H. Definition of the respective intersection point to which the position information is based also be fulfilled by the second part and with respect to the Orientation within the checkerboard pattern through adjacent ones Position specifications. By comparing position information to several Crossing points that indicate the locations of marked crossing points within of the checkerboard pattern, can also be the orientation determine the crossing points within the checkerboard pattern, if this is not included in every position statement. In the However, it is preferred if present invention Position indication a separate coding of the orientation of the respective Point of intersection, which is independent of the position information can be evaluated to other intersection points.
Ganz konkret kann die Positionsangabe durch helle Punkte in dunklen Schachbrettfeldern und/oder durch dunkle Punkte in hellen Schachbrettfeldern binär kodiert sein. Dabei ist vorgesehen, je Schachbrettfeld jeweils nur einen oder keinen hellen bzw. dunklen Punkt für die Kodierung zu verwenden. Helle Punkte in dunklen Schachbrettfeldern bzw. dunkle Punkte in hellen Schachbrettfeldern stellen einen maximalen Kontrast für ein Lesen der Positionsangabe durch Bildverarbeitung bereit.All concretely, the position can be indicated by bright points in dark checkerboard fields and / or binary-coded by dark dots in bright checkerboard fields be. It is provided, each chessboard box only one or not to use a bright or dark dot for coding. Bright dots in dark checkerboard fields or dark spots in bright checkerboard fields provide maximum contrast for reading the position information by image processing ready.
Die binäre Kodierung der Positionsangabe erlaubt es, die Lage des Kreuzungspunkts innerhalb des Schachbrettmusters in binären Zahlen zu kodieren. Dabei kann auch eine Flächenkoordinate durch eine einzige binäre Zahl kodiert sein. Die Bezeichnung des jeweiligen Kreuzungspunkts selbst und seine Orientierung in dem Schachbrettmuster können durch jedes binäre Muster erfolgen, das seinerseits eine eindeutige Orientierung aufweist. Dies bedeutet, dass es dem Muster an jeder Rotationssymmetrie fehlen muss. Vorzugsweise ist es auch nicht punktsymmetrisch, weil dann auch eine Spiegelung des abgebildeten Schachbrettmusters erkannt werden kann.The binary coding of the position information allows the position of the crossing point within the Checkerboard pattern in binary numbers to encode. An area coordinate can also be encoded by a single binary number. The designation of the respective crossing point itself and its orientation in the checkerboard pattern can be carried out by any binary pattern, which in turn has a unique orientation. This means that the pattern must be missing from any rotational symmetry. Preferably, it is also not point-symmetrical, because then a reflection of the illustrated checkerboard pattern can be detected.
Wie bereits im Zusammenhang damit angedeutet wurde, dass die Orientierung eines Kreuzungspunkts auch aus Positionsangaben zu anderen Kreuzungspunkten ableitbar ist, können bei der Erfindung auch mehrere Kreuzungspunkte mit Positionsangaben versehen sein. Es ist sogar bevorzugt, wenn über die gesamte Fläche des Schachbrettmusters verteilt Kreuzungspunkte mit Positionsangaben versehen sind. Besonders bevorzugt ist es, wenn ein zweidimensionales Raster von Kreuzungspunkten in dem Schachbrettmuster mit den Positionsangaben versehen ist.As already indicated that orientation a crossing point also from position information to other crossing points can be deduced in the invention also several crossing points with position information be provided. It is even preferable if over the entire surface of the Checkerboard pattern distributes crossing points with position information are provided. It is particularly preferable if a two-dimensional Grid of crossing points in the checkerboard pattern with the position information is provided.
Das Schachbrettmuster selbst ist bei den neuen Verfahren ein regelmäßiges Schachbrettmuster mit einheitlicher Größe der hellen und dunklen Felder und damit bekanntem Abstand seiner Kanten in beiden Richtungen, das ohne Sichtbarkeit seiner äußeren Begrenzungen und ohne die erfindungsgemäßen Positionsangaben keinerlei absolute Orientierung innerhalb eines Ausschnitts des Schachbrettmusters erlaubt.The The checkerboard pattern itself is a regular checkerboard pattern in the new methods with uniform size of light and dark fields and thus known distance of its edges in both directions, without visibility of its outer limits and without the position information according to the invention no absolute orientation within a section of the Checkered pattern allowed.
Bei dem neuen Verfahren zur Kalibrierung einer Kamera werden zunächst Groblagen der Kreuzungspunkte der Kanten ermittelt, die dann als Aufpunkte für eine subpixelgenaue Bestimmung der Lage der zugehörigen Sattelpunkte der Helligkeitsintensitätsverteilung verwendet werden.at The new method for calibrating a camera will initially be rough layers determines the crossing points of the edges, which then as Aufpunkte for one Subpixelgenaue determination of the position of the associated saddle points of the brightness intensity distribution be used.
Für die Ermittlung der Groblagen der Kreuzungspunkte der Kanten werden bei dem neuen Verfahren zur Kalibrierung einer Kamera die einzelnen Abbilder des Schachbrettmusters mit einem Kantenoperator bearbeitet und wird anschließend in der Mitte des jeweiligen Abbilds eine Hough-Transformation durchgeführt. Diese zweischrittige Vorgehensweise mit einer Beschränkung der Hough-Transformation auf den Mittelpunkt des jeweiligen Abbilds führt mit vergleichsweise geringem Aufwand zu sicheren Vorgabewerten für die anschließende subpixelgenaue Bestimmung der Sattelpunkte der Helligkeitsintensitätsverteilung. Durch die Beschränkung der Hough-Transformation auf den Bereich der Mitte des jeweiligen Abbilds machen sich Störeffekte aus den Randbereichen des jeweiligen Abbilds im Ergebnis der Hough-Transformation nicht bemerkbar. Die Bestimmung der Groblagen der Kreuzungspunkte in der Mitte des jeweiligen Abbilds ist aber ausreichend, um hieraus direkt oder nach subpixelgenauer Bestimmung der Lagen der Sattelpunkte der Helligkeitsintensitätsverteilung auch auf die Groblagen benachbarter Kreuzungspunkte zu extrapolieren.For the investigation the coarse layers of the crossing points of the edges are at the new Method for calibrating a camera the individual images of the Checkerboard pattern is edited with an edge operator and will subsequently in the middle of the respective image, a Hough transformation performed. These two-step procedure with a limitation of the Hough transformation to the center of the respective image leads with comparatively low Effort to secure default values for the subsequent subpixel accurate Determination of the saddle points of the brightness intensity distribution. By the restriction the Hough transformation to the area of the middle of each The image is disturbed from the border areas of the respective image as a result of the Hough transformation not noticeable. The determination of the coarse layers of the crossing points but in the middle of the respective image is sufficient to get out of it directly or after subpixel accurate determination of the positions of the saddle points the brightness intensity distribution also extrapolate to the coarse layers of adjacent crossing points.
Auch bei dem neuen Verfahrens zur Kalibrierung eines Projektors können zunächst Groblagen der Kreuzungspunkte der Kanten ermittelt werde, wie voranstehend erläutert ist.Also In the new method for calibrating a projector can first Groblagen the crossing points of the edges are determined, as above explained is.
Die Erstellung von Punktkorrespondenzlisten, in dem den Lagen der Kreuzungspunkte in den Abbildern des Schachbrettmusters Raumkoordinaten zugeordnet werden, kann bei der vorliegenden Erfindung mit hoher Zuverlässigkeit vollautomatisch erfolgen. Hieran schließt sich dann die Auswertung der Punktkorrespondenzlisten an, um die Abbildungsparameter und die Position der Kamera oder die Projektionsparameter und die Position des Projektors zu bestimmten. Als günstige und gut automatisierbare Vorgehensweise hat sich dabei die Anwendung des Verfahrens von Heikkila und Silven, aber ohne Berücksichtigung der tangentialen Verzerrung herausgestellt. Der Aufpunkt und die Richtung der Raumkoordinaten können bei dem neuen Verfahren in ansich bekannter Weise durch einen Punkt im Messraum und eine diesen Punkt einschließende Ebene vorgegeben werden.The Creation of point correspondence lists, in which the positions of the crossing points assigned in the images of the checkerboard pattern space coordinates can be in the present invention with high reliability fully automatic. This is followed by the evaluation the point correspondence lists to the mapping parameters and the position of the camera or the projection parameters and the position of the projector. As cheap and easy to automate Approach has thereby the application of the method of Heikkila and Silven, but without consideration exposed to the tangential distortion. The Aufpunkt and the Direction of the spatial coordinates can in the new method in a known manner by a point in the measuring room and a level including this point.
Bei einem besonders bevorzugten erfindungsgemäßen Verfahren zur Kamerakalibrierung werden mindestens zwei fest zueinander ausgerichtete Kameras gleichzeitig kalibriert, wobei die Orientierungsänderung des Schachbrettmusters, die aus seinen Abbildern ermittelt werden, gegeneinander abgeglichen werden. Bei räumlichen optischen Messsystemen sind sowieso mehrere Kameras zu kalibrieren, wobei es letztlich auch auf die Orientierung der Kameras relativ zueinander ankommt. Diese Kalibrierung kann im Rahmen des erfindungsgemäßen Verfahrens dadurch stark beschleunigt werden, dass berücksichtigt wird, dass sämtliche Orientierungsänderungen des Schachbrettmusters sich zwar nicht identisch auf seine Abbildungen mit den einzelnen Kameras auswirken, diese Auswirkungen aber korreliert sind. Konkret reicht es bei einem Abgleich zwischen den Kameras beispielsweise für die Kalibrierung von zwei stereoskopisch angeordneten Kameras aus, ein Schachbrettmuster in nur zwei unterschiedlichen Orientierungen gegenüber den beiden Kameras aufzunehmen.at a particularly preferred method according to the invention for camera calibration be at least two cameras aligned with each other at the same time calibrated, the orientation change of the checkerboard pattern, which are determined from his images, compared against each other become. In spatial optical measuring systems are anyway to calibrate multiple cameras, In the end it is also relative to the orientation of the cameras arrives to each other. This calibration can in the context of the method according to the invention be greatly accelerated by taking into account that all the orientation changes of the checkerboard pattern is not identical to his pictures with the individual cameras, but these effects are correlated are. Specifically, it is sufficient for a comparison between the cameras for example the calibration of two stereoscopically arranged cameras, a checkerboard pattern in only two different orientations across from to record the two cameras.
Umgekehrt kann auch die Kalibrierung eines Projektors beschleunigt werden, wenn das auf den Schirm projizierte Schachbrettmuster mit mindestens zwei fest zueinander ausgerichteten Kameras abgebildet wird, wobei die Orientierungsänderung des Schirms, die aus den Abbildern des Schachbrettmusters ermittelt werden, gegeneinander abgeglichen werden.Vice versa can also speed up the calibration of a projector, if the checkerboard pattern projected onto the screen has at least two fixedly aligned cameras is shown, wherein the orientation change of the screen, which are detected from the images of the checkerboard pattern, be compared against each other.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen. Die in der Beschreibungseinleitung genannten Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen. Weitere Merkmale sind den Zeichnungen – insbesondere den dargestellten Geometrien und den relativen Abmessungen mehrerer Bauteile zueinander sowie deren relativer Anordnung und Wirkverbindung – zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Zeichnungen dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen.advantageous Further developments of the invention will become apparent from the claims, the Description and the drawings. The in the introduction to the description advantages of features and combinations of several Features are merely exemplary and may be alternative or cumulative come into effect, without the benefits of mandatory embodiments of the invention must be achieved. Other features are the drawings - in particular the illustrated Geometries and the relative dimensions of several components to each other as well as their relative arrangement and operative connection - can be seen. The combination of features of different embodiments the invention or features of different claims also different from the selected ones Relationships of the claims possible and is hereby stimulated. This also applies to such features are shown in separate drawings or in their description to be named. These features can be combined with features of different claims. As well can in the claims listed features for further embodiments the invention omitted.
KURZBESCHREIBUNG DER FIGURENBRIEF DESCRIPTION OF THE FIGURES
Die Erfindung wird im Folgenden anhand eines konkreten Ausführungsbeispiels näher erläutert und beschrieben.The Invention will be described below with reference to a specific embodiment explained and described in detail.
FIGURENBESCHREIBUNGDESCRIPTION OF THE FIGURES
Der bei der im Folgenden beschriebenen Ausführungsform eines Verfahrens zur Kalibrierung einer Kamera verwendete Subpixel-Detektor für die Kreuzungspunkte der Kanten des Schachbrettmusters ist in D. Chen, G. Zhang: A New Sub-Pixel Detektor for X-Corners in Camera Calibration targets, in: WSCG Short papers proceedings, WSCG 2005, offenbart. Das zur Auswertung der Punktkorrespondenzlisten verwendete Verfahren wird von Z. Zhang: Flexible Camera Calibration By Viewing a Plane From Unknown Orientations, in: International Conference an Computer Vision (ICCV'99), Seiten 666–673, September (1999) beschrieben. Das dabei hier verwendete Kameramodell von Heikkila und Silven ist in J. Heikkila, O. Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, in: Proceedings IEEE Computer Society Conference Computer Vision and Pattern Recognition (1997) zu finden.Of the in the embodiment of a method described below subpixel detector used to calibrate a camera for crossing points the edges of the checkerboard pattern is in D. Chen, G. Zhang: A New Sub-pixel detector for X-Corners in Camera Calibration targets, in: WSCG Short papers proceedings, WSCG 2005. That to Evaluation of the point correspondence lists used method by Z. Zhang: Flexible Camera Calibration By Viewing A Plane From Unknown Orientations, in: International Conference on Computer Vision (ICCV'99), pages 666-673, September (1999). The camera model used here by Heikkila and Silven is in J. Heikkila, O. Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, in: Proceedings IEEE Computer Society Conference Computer Vision and Pattern Recognition (1997).
Als
Kalibrierungsobjekt wird bei den erfindungsgemäßen Verfahren ein Schachbrettmuster
gemäß
Die
Detektierung markanter Punkte eines Kalibrierungsobjekts sollte
nach Möglichkeit
ohne große
Benutzerinteraktion funktionieren. Wenn beispielsweise ein Mehrkamerasystem
mit 9 oder mehr Kameras kalibriert werden soll und pro Kamera fünf Kalibrierungsbilder
anfallen, wäre
es bereits sehr zeitaufwändig,
in jedem Bild manuell per Mausklick einen Referenzpunkt und die
Orientierung der X- und Y-Achse anzugeben. Diese Informationen sind
aber erforderlich, da gemessene Pixelkoordinaten allein nicht für die Bestimmung
extrinsischer Kameraparameter ausreichen. Für jeden erkannten Merkmalspunkt
brauchen die photogrammetrischen Kalibrierungsverfahren auch dessen
3D-Koordinate im Weltkoordinatensystem. Um die Notwendigkeit einer Benutzerinteraktion
bei der Erkennung des bei den erfindungsgemäßen Verfahren als Kalibrierungsobjekt
verwendeten Schachbrettmusters und der Zuordnung von Raumkoordinaten
zu Pixelkoordinaten zu beseitigen, müssen die Orientierung des Schachbrettmusters
sowie ein Referenzpunkt automatisch bestimmbar sein. Außerdem ist
es wünschenswert,
das Kalibrierungsobjekt zu Gunsten einer hohen Genauigkeit bildfüllend aufzunehmen,
so dass auch Punktmerkmale im Außenbereich zur Berechnung der
Abbildungsparameter herangezogen werden können. Dies schließt aber
eine Markierung des Musters am Rand für eine eindeutige Zuordnung
der Merkmale aus, da diese möglicherweise
nicht sichtbar ist. Zur eindeutigen Markierung bestimmter Punkte
wird durch die vorliegende Erfindung ein binäres Kodierungsmuster bereitgestellt,
das bereits in
Eine
Kante trennt helle von dunklen Bildbereichen. Durch einen Kantenoperator
wird jedem Pixel eines Bilds ein neuer Helligkeitswert durch den
Betrag des Gradienten der ursprünglichen
Helligkeitsintensitätsverteilung
zugeordnet. Dadurch werden Pixel, die sich in der Nähe von Kanten
befinden, auf einen hohen Helligkeitswert gesetzt und andere auf
niedrige Helligkeitswerte. Bedient man sich eines solchen Kantenoperators wird
aus dem mit einer Kamera abgebildeten Schachbrettmuster ein Kantenbild
mit einem Liniengitter gewonnen (siehe
Mit
Hilfe einer Hough-Transformation ist es möglich, Lagen und Orientierungen
von Geraden in einem Bild zu erkennen, indem Intensitätsspitzen
des ”Hough-Bildes” gesucht
werden. Eine Anwendung der Hough-Transformation auf ein vollständiges Bild
gemäß
- – Linien, die eine große Entfernung zum Bildmittelpunkt aufweisen, werden durch die radiale Linsenverzerrung gekrümmt. Die Erkennung solcher Linien über eine Hough-Transformation zur Erkennung von Geraden ist schwierig, da durch die Krümmung keine klare Intensitätsspitze im Hough-Bild mehr entsteht.
- – Wenn der Bereich, in dem das Kalibrierungsmuster zu sehen ist, nicht kreisrund ist, sind die Linien unterschiedlicher Orientierung unterschiedlich lang. Dies beeinflusst die Spitzenhöhen im Hough-Bild unterschiedlich, so dass es schwieriger wird, einen geeigneten Spitzenschwellwert zu bestimmen.
- – Die Anwendung einer Hough-Transformation auf volle hochauflösende Bilder ist zeitintensiv.
- Lines which are far away from the center of the image are curved by the radial lens distortion. Detecting such lines via a Hough transform to detect straight lines is difficult because the curvature no longer produces a clear intensity peak in the Hough image.
- - If the area in which the calibration pattern is visible is not circular, the lines of different orientation are different in length. This affects the peak heights in the Hough image differently, making it harder to determine an appropriate peak threshold.
- - Applying a Hough transform to full high-resolution images is time consuming.
Aus
diesen Gründen
wird die Hough-Transformation hier nur auf einen kreisförmigen mittleren
Ausschnitt des Kantenbilds angewandt (siehe den hellen Bereich in
Nachdem
die Hough-Transformation durchgeführt wurde, werden die Pixelwerte
des Hough-Bilds
(siehe
Für jede Pixelkoordinate,
die diese Bedingungen erfüllt,
werden der Wert und eine subpixelgenaue Position des lokalen Maximums
bestimmt, indem die Koeffizienten a, b, c, d eines elliptischen
Paraboloiden ermittelt werden, der den Bildausschnitt der 5 umliegenden
Pixel (hu,v, hu-1,v,
hu+1,v, hu,v-1,
hu,v+1) durch
In der nächsten Stufe der Bilderkennung, der Bestimmung der Koordinaten der Kreuzungspunkte, werden anhand der Koordinaten der vier Kreuzungspunkte, die die 2 × 2-Felder des Schachbretts umschließen, die restlichen Kreuzungspunkte ermittelt. Zunächst werden aus den vier Punktkoordinaten die Koordinaten der restlichen 5 Kreuzungspunkte berechnet, die zusammen mit den eingegebenen vier Kreuzungspunkten alle Kreuzungspunktkoordinaten der 2 × 2-Felder beschreiben. Anschließend wird für diese neun Kreuzungspunkte eine Subpixeloptimierung durchgeführt.In the next Level of image recognition, the determination of the coordinates of the crossing points, are determined by the coordinates of the four crossing points that the 2 × 2 fields of the chessboard enclose the remaining intersection points determined. First, the four point coordinates the coordinates of the remaining 5 intersection points are calculated, the together with the entered four crossing points all crossing point coordinates the 2 × 2 fields describe. Subsequently is for these nine crossing points performed a subpixel optimization.
Für die Subpixeloptimierung,
d. h. die Lagebestimmung mit besserer Genauigkeit als dem Pixelabstand
der jeweiligen Kamera, wird ausgenutzt, dass die Kreuzungspunkte
Sattelpunkte der Bildfunktion sind, die mit einem so genannten ”X-Corner-Operator” zu finden
sind, welcher durch
Hierbei ist r der Wert der Bildfunktion an der Stelle (x0, y0), rx und ry sind die partiellen Ableitungen erster Ordnung und rxx, rxy, ryy partiellen Ableitungen zweiter Ordnung an derselben Stelle. Gesucht ist nun eine Korrektur (s, t) der bisher bekannten Koordinaten des Kreuzungspunkts, die zu einer hohen Subpixelgenauigkeit führen soll. Eine notwendige Bedingung für einen Sattelpunkt ist, dass die Ableitung in alle Richtungen 0 ergeben muss. Dies führt zu folgendem Gleichungssystem: Here r is the value of the image function at the position (x 0 , y 0 ), r x and r y are the first-order partial derivatives and r xx , r xy , r yy second-order partial derivatives at the same position. We are now looking for a correction (s, t) of the previously known coordinates of the crossing point, which should lead to a high subpixel accuracy. A necessary condition for a saddle point is that the derivative must be 0 in all directions. This leads to the following equation system:
Nach Lösen dieses Gleichungssystems ist die subpixelgenaue Position der Kreuzungspunkte des Schachbrettmusters durch (x0 + s, y0 + t) gegeben.After solving this system of equations, the subpixel-exact position of the crossing points of the checkerboard pattern is given by (x 0 + s, y 0 + t).
Die Punktkoordinaten der Kreuzungspunkte werden in einer Datenstruktur abgelegt, die einem zweidimensionalen Array ähnlich ist. Dabei entspricht die Adressierung dieser Punkte im Allgemeinen noch nicht dem wirklichen durch das Muster aus weißen und schwarzen Punkten bestimmten Koordinatensystem. Für die Ermittlung der restlichen Pixelkoordinaten von Kreuzungspunkten spielt dies allerdings keine Rolle.The Point coordinates of the crossing points are in a data structure filed, which is similar to a two-dimensional array. It corresponds the addressing of these points in general not yet the real one through the pattern of white and black points specific coordinate system. For the investigation the remaining pixel coordinates of intersection points play this but not important.
Aufgrund etwaiger möglichen Linsenverzeichnungen werden die Koordinaten neuer möglicher Kreuzungspunkte anhand lokaler Nachbarn extrapoliert, so dass der zu berechnende Punkt und die Nachbarn alle auf einer Geraden liegen, beziehungsweise ohne Beachtung von Linsenverzeichnung liegen müssten. Es wird angenommen, dass in der lokalen Umgebung eine perspektivische Abbildung ohne Linsenverzeichnung stattfindet. Nun wird auch deutlich, warum anfangs ein 3×3-Punktegitter aus neun Kreuzungspunkten ermittelt wurde. Ausgehend von drei dieser Kreuzungspunkte in einer Zeile oder Spalte können die Koordinaten möglicher umliegender Kreuzungspunkte bestimmt werden. Iterativ werden dadurch und durch eine anschließende Subpixeloptimierung (wie vorstehend) die benachbarten Punkte bestimmt und in die Datenstruktur aufgenommen. Aber nicht an jeder Stelle, wo ein Kreuzungspunkt vermutet wird, liegt tatsächlich einer. Ein Grund dafür kann sein, dass das Kalibrierungsmuster nicht das komplette Blickfeld füllt und der Rand des Musters im Bild sichtbar ist.by virtue of possibly possible Lens distortions will make the coordinates of newer possible Extrapolated crossing points based on local neighbors, so that the point to be calculated and the neighbors all lie on a straight line, or without consideration of lens distortion would have to lie. It It is assumed that in the local environment a perspective Image without lens distortion takes place. Now it becomes clear why at first a 3 × 3-point grid was determined from nine crossing points. Starting from three of these Crossing points in a row or column may have the coordinates of more surrounding ones Crossing points are determined. Iterative become through and through a subsequent one Subpixel optimization (as above) determines the neighboring points and included in the data structure. But not everywhere where a crossing point is suspected, is actually one. One reason may be that the calibration pattern does not fill the entire field of view and the edge of the pattern is visible in the image.
Zur
Vermeidung der Bestimmung von nur vermeintlichen Kreuzungspunkten
werden nach der Bestimmung der subpixelgenauen Position eines X-Corners
zwei weitere Parameter für
jeden Kreuzungspunktkandidaten berechnet, die sein lokale Umgebung
beschreiben. Aus bereits bekannten und positiv überprüften Kreuzungspunkten sind
die Orientierungen der erwarteten Kanten bekannt, die sich im neuen
Kreuzungspunkt schneiden müssten.
Zu jeder der zwei erwarteten Kanten wird nun ein Normalvektor berechnet
(Vektor mit Länge
1, der senkrecht zur Richtung der Kante verläuft). Mit bekannter Orientierung
der Kanten und Position des vermeintlichen Kreuzungspunkts sollte
sich die lokale Umgebung der Intensitätsfunktion approximativ als
Linearkombinationen folgender zwei Basisfunktionen
Der
Vektor p steht für
die Koordinate des Pixels, dessen Intensität berechnet werden soll und
c für die Position
des Kreuzungspunktes. n1 und n2 sind
die Normalvektoren der erwarteten Kanten. Es werden nun die Gewichte
der beiden Basisfunktionen o (Versatz, mittlere Helligkeit) und
a (Amplitude) ermittelt, so dass die gewichtete Summe der Fehlerquadrate minimiert ist. W gibt hier
eine Gewichtsfunktion an, die jedem Pixel in der lokalen Umgebung
von c ein positives Gewicht zuordnet. I(p) gibt die tatsächliche
Intensität
des Pixels an der Stelle p an. Ob es sich bei dem vermeintlichen
neuen Kreuzungspunkt c um einen echten Nachbarn eines schon bekannten
Kreuzungspunkts t handelt, lässt
sich nun über
einen Vergleich der Parameter o und a beider Kreuzungspunkte überprüfen. Zu erwarten
ist, dass
Jetzt
schließt
sich das Auslesen und Dekodieren des Punktemusters an. In
Bei
dem durch
Der mittlere Kreuzungspunkt besitzt also die Koordinate (0, 0) und ist damit Ursprung des Koordinatensystems. Üblicherweise wird diesem Kreuzungspunkt eine feste Raumkoordinate im Weltkoordinatensystem zugeordnet, indem er beispielsweise an einen bestimmten Punkt eines Messaufbaus gehalten wird. Ebenso kann eine feste Orientierung im Weltkoordinatensystem vorgegeben werden, indem das Schachbrettmuster einmal definiert gegenüber einer bestimmten Ebene eines solchen Messaufbaus ausgerichtet wird.Of the middle crossing point thus has the coordinate (0, 0) and is thus origin of the coordinate system. Usually, this crossroads a fixed spatial coordinate in the world coordinate system assigned by he held for example at a certain point of a measurement setup becomes. Likewise, a fixed orientation in the world coordinate system be specified by the checkerboard pattern once defined across from a certain level of such a measurement setup is aligned.
Wurde ein Gitter aus Kreuzungspunkten ermittelt, lassen sich auch die Pixelkoordinaten von Zentren der Felder bestimmen. Anhand des Vorzeichens des im vorherigen Abschnitt beschriebenen und bisher ermittelten Gewichts ”a” jedes Kreuzungspunktes ist auch bekannt, welche anliegenden Felder schwarz und welche weiß sein müssen. Ein weißer Punkt in einem schwarzen Feld kann ebenso wie ein schwarzer Punkt in einem weißen Feld erkannt werden, wenn die Graustufe des Feldmittelpunktes ermittelt wird und mit einem Schwellwert verglichen wird. In der aktuellen Implementierung ist dieser Schwellwert das Mittel aus den Gewichten ”o” der umliegenden Kreuzungspunkten, die den mittleren Grauwert des Musters an der Stelle angeben.Has been a lattice of crossing points is determined, the Determine pixel coordinates of centers of fields. Based on the sign of the one described in the previous section and previously determined Weight "a" each Crossing point is also known which adjacent fields black and who knows have to. A white one Point in a black box can be just like a black dot in a white Field detected when the gray level of the field center determined is compared with a threshold. In the current Implementation, this threshold is the mean of the weights "o" of the surrounding Intersection points representing the mean gray value of the pattern at the Specify location.
Es folgt eine Suche nach schwarzen Punkten auf weißen Feldern bei der Mustererkennung. Sind drei schwarze Punkte gefunden worden, die zu einer Kodierung gehören, ist die tatsächliche Orientierung der Kalibrierungsebene bekannt, da anhand der schwarzen Punkte beliebige Rotationen und sogar eine Spiegelung erkannt werden kann. Eine Spiegelung entsteht entweder, wenn die Kamera das Muster über einen Spiegel beobachtet oder das Muster nur von hinten gesehen wird. Damit steht auch die Nummerierung der schwarzen Felder mit möglichen weißen Punkten eindeutig fest, so dass die binär kodierte Zahl rekonstruiert werden kann. Aus der Information über die Orientierung des Musters und der durch die Zahl beschriebenen absoluten Koordinate ist schließlich die Beziehung zwischen der bisher benutzten Adressierung der Kreuzungspunkte in der Datenstruktur und den tatsächlichen Koordinaten bekannt. Eine Punktkorrespondenzliste (Liste von Punktpaaren Weltkoordinate und normalisierte Bildkoordinate) wie sie photogrammetrischen Kalibrierungsverfahren benötigen, kann nun berechnet werden. Normalisierte Bildkoordinaten (–1/–1 für die linke obere Ecke und +1/+1 für die rechte untere Ecke des Bildes) sind unabhängig von der Auflösung des digitalen Bildes und werden für alle Bildkoordinaten verwendet, die während der Kalibrierung anfallen.The following is a search for black dots on white boxes in pattern recognition. If three black dots have been found that belong to a coding, the actual orientation of the calibration level is known, since the black dots indicate any rotations and even a reflection can be recognized. Reflection occurs either when the camera observes the pattern through a mirror, or when the pattern is only seen from behind. Thus, the numbering of the black fields with possible white dots is clearly fixed, so that the binary coded number can be reconstructed. From the information about the orientation of the pattern and the absolute coordinate described by the number, finally, the relationship between the previously used addressing of the crossing points in the data structure and the actual coordinates is known. A point correspondence list (list of world coordinate pairs and normalized image coordinate) as required by photogrammetric calibration techniques can now be computed. Normalized image coordinates (-1 / -1 for the upper left corner and + 1 / + 1 for the lower right corner of the image) are independent of the resolution of the digital image and are used for all image coordinates that occur during calibration.
Auf die direkte Verwendung von Pixelkoordinaten in den Punktkorrespondenzen wird hier verzichtet. Stattdessen werden normalisierte Bildkoordinaten benutzt, wobei die Koordinate (–1; –1) der linken oberen Ecke des Bildes und (1; 1) der rechten unteren Ecke des Bildes entspricht. Dies führt dazu, dass die Abbildungsmodellparameter unabhängig von der Bildauflösung werden. Je nach verwendetem Verfahren zur Auswertung der Punktkorrespondenzlisten kann die Benutzung von normalisierten Bildkoordinaten außerdem zu einer Verbesserung der numerischen Kondition zu lösender Gleichungssysteme führen.On the direct use of pixel coordinates in the point correspondences is omitted here. Instead, normalized image coordinates used, where the coordinate (-1, -1) of the left upper corner of the image and (1; 1) the lower right corner corresponds to the picture. this leads to to make the imaging model parameters independent of the image resolution. Depending on the method used to evaluate the point correspondence lists In addition, the use of normalized image coordinates can become one Improvement of the numerical condition lead to solved equation systems.
Ist die Information, welche Bildkoordinaten zu bekannten Raumkoordinaten gehören, gegeben, kann diese dazu benutzt werden, die Abbildungsparameter der jeweiligen Kamera anhand eines Modells der Kamera zu bestimmen.is the information, which image coordinates to known spatial coordinates belong, given, this can be used to the imaging parameters of each camera based on a model of the camera.
Das hier verwendete Kameramodell ist eine Vereinfachung des Modells, wie es von Heikkila und Silven beschrieben wird. Auf die Modellierung einer tangentialen Linsenverzeichnung wurde jedoch aus zwei Gründen verzichtet. Ein kompliziertes Linsenmodell erschwert die Invertierung der Abbildungsvorschrift (Backprojection) und stellt mit hoher Wahrscheinlichkeit keinen Genauigkeitsgewinn bei der Bestimmung der Parameter dar. Vielmehr ist es weit überwiegend wahrscheinlich, dass ein Großteil der Verzerrung durch einen radialen Teil dominiert wird. Die Modellierung von anderen Verzerrungseffekten würde weiterhin zu numerischen Instabilitäten führen und wäre im Vergleich zu anderen Fehlerquellen wie fehlerhaft gemessenen Pixelkoordinaten sowie Imperfektionen des Kalibrierungsmusters unbedeutend.The camera model used here is a simplification of the model, as described by Heikkila and Silven. On the modeling However, a tangential lens distortion was omitted for two reasons. A complicated lens model makes it difficult to invert the mapping rule (Backprojection) and is highly likely no Accuracy gain in the determination of the parameters dar. Rather it is far predominant probably that much the distortion is dominated by a radial part. The modeling from other distortion effects would continue to lead to numerical instabilities and would be in Comparison to other sources of error such as erroneously measured pixel coordinates and imperfections of the calibration pattern insignificant.
Im folgenden werden die einzelnen Schritte erklärt, wie das verwendete Kameramodell anhand seiner Parameter einen Punkt (xw, yw, zw)T (Weltkoordinaten) in Pixelkoordinaten (u, v)T transformiert. Zunächst werden die Weltkoordinaten anhand einer 3 × 3-Rotationsmatrix R und eines Translationsvektors t in Kamerakoordinaten umgerechnet: In the following, the individual steps are explained how the camera model used transforms a point (x w , y w , z w ) T (world coordinates) into pixel coordinates (u, v) T on the basis of its parameters. First, the world coordinates are converted to camera coordinates using a 3 × 3 rotation matrix R and a translation vector t:
Die
projektive Abbildung auf eine zweidimensionale Ebene parallel zur
X/Y-Ebene mit ”Brennweite” 1 liefert:
Die konstante Brennweite ist in keinerlei Hinsicht eine Einschränkung. Eine variable Brennweite skaliert nur die Koordinaten (s, w). Die Skalierung kann und sollte zusammen mit einer möglichen Scherung und Verschiebung nach der Berechnung der Radialverzerrung erledigt werden, weil all diese Schritte die Lage und Orientierung des Pixel-Abtastgitters modellieren. Als nächstes wird der Effekt der radialen Linsenverzerrung berechnet. An dieser Stelle lohnt es sich, in Betracht zu ziehen, was nach einer Kalibrierung mit den ermittelten Parametern passieren soll. Möchte man eher bekannte Punkte im Weltkoordinatensystem auf die Bildebene abbilden oder eher zu Punkten der Bildebene die Sichtgerade berechnen?The constant focal length is in no way a limitation. A variable focal length only scales the coordinates (s, w). The scaling can and should be combined with a possible shear and displacement be done after the calculation of the radial distortion, because all these steps are the location and orientation of the pixel sample grid model. Next the effect of radial lens distortion is calculated. At this It pays to consider what happens after a calibration should happen with the parameters determined. If you want more familiar points in the world coordinate system to the image plane or rather to Points of the image plane calculate the visual line?
Ersteres wird erleichtert, wenn die Linsenverzerrung auf folgende Art und Weise modelliert wird: The former is facilitated if the lens distortion is modeled in the following way:
Die zweite Zeile erlaubt durch einfaches Einsetzten von s und w (denunverzerrten Koordinaten) das Berechnen von sd und wd anhand der Parameter κ1 und κ2. Leider lässt sich diese Operation nicht einfach invertieren, weil der Skalierungsfaktor vom Quadrat der Länge des unbekannten Vektors abhängt. Als Näherung lässt sich jedoch folgendes berechnen: The second line allows sd and wd to be calculated using the parameters κ 1 and κ 2 by simply inserting s and w (denoted coordinates). Unfortunately, this operation can not be easily inverted because the scaling factor depends on the square of the length of the unknown vector. As an approximation, however, the following can be calculated:
Diese Näherung kann nun iterativ mit dem Newton-Verfahren verbessert werden. Schon nach wenigen Iterationen sollte sich ein Punkt (s, w)T ergeben, der eingesetzt in obiger Gleichung bis auf die Maschinengenauigkeit wieder den ursprünglichen Punkt (sd, wd)T liefert.This approximation can now be iteratively improved with the Newton method. After only a few iterations, a point (s, w) T should result which, used in the above equation, returns to the original point (s d , w d ) T except for the machine accuracy.
Die aktuelle Implementierung des Kameramodells benutzt mit den Standardeinstellungen die obige Variante (”fast forward mapping”), da bei der nicht-linearen Optimierung zu bekannten Punkten im Raum immer die Pixelkoordinate berechnet werden muss. Dies kann jedoch umgeschaltet werden (”fast backward mapping”), wobei die Beziehung von (s, w)T und (sd, wd)T einfach umgekehrt wird. Zu beachten ist, dass diese Änderung das Modell der Linsenverzerrung betrifft. Die Parameter der Linsenverzerrung sind zwischen den 2 Modellvarianten nicht kompatibel.The current implementation of the camera model uses the above variant ("fast forward mapping") with the default settings, since in the case of non-linear optimization to known points in space, the pixel coordinate always has to be calculated. However, this may be switched ( "fast backward mapping"), the relationship of (s, f) and T (s d, w d) T is simply reversed. Note that this change affects the lens distortion model. The lens distortion parameters are not compatible between the 2 model variants.
Es fehlt nun noch die Beziehung von (sd, wd)T zu den verwendeten Koordinaten im System des Bilds (u, v)T. Diese sieht wie folgt aus: Now the relation of (s d , w d ) T to the used coordinates in the system of the image (u, v) T is missing. This looks like this:
Mit α, β und γ kann die Skalierung sowie lineare Verzerrung (Scherung, ungleichmäßige Skalierung) modelliert werden. Der Hauptpunkt (u0, v0)T (Principal Point) ist der Punkt in der Bildebene, der dem Projektionszentrum am nächsten ist. Das ganze Modell wird also durch folgende Größen parametrisiert: die extrinsischen Parameter, die Rotationsmatrix R und den Translationsvektor t, sowie die sieben intrinsischen Parameter κ1, κ2, α, β, γ, u0 und v0.With α, β and γ the scaling and linear distortion (shear, uneven scaling) can be modeled. The principal point (u 0 , v 0 ) T (Principal Point) is the point in the image plane closest to the projection center. The entire model is thus parameterized by the following variables: the extrinsic parameters, the rotation matrix R and the translation vector t, as well as the seven intrinsic parameters κ 1 , κ 2 , α, β, γ, u 0 and v 0 .
Das verwendete Koordinatensystem ist rechtsorientiert und lehnt sich an die in der Computergrafik übliche Adressierung von Pixelkoordinaten eines digitalen Bildes an. Der positive Teil der X-Achse der Bildebene zeigt nach rechts und der positive Teil der Y-Achse nach unten. Folglich zeigt der positive Teil der Z-Achse des Kamerakoordinatensystems in die Blickrichtung der Kamera.The used coordinate system is right-oriented and leans to the usual in computer graphics Addressing pixel coordinates of a digital image. Of the positive part of the X-axis of the image plane points to the right and the positive part of the Y-axis down. Consequently, the positive shows Part of the Z axis of the camera coordinate system in the direction of view the camera.
Statt
Pixelkoordinaten werden bei der Kalibrierung normalisierte Koordinaten
genutzt, die unabhängig von
der tatsächlichen
Bildauflösung
sind. Für
die linke obere Ecke des Bildes wird die Koordinate (–1, –1) verwendet
und für
die rechte untere Ecke die Koordinate (1,1). Daraus folgt, dass
sich die tatsächliche
Brennweite über berechnen lässt. Vernachlässigt man
den Einfluss von Scherung und Linsenverzerrung auf das Sichtfeld,
lassen sich die Sichtfeldwinkel mit Hilfe der ermittelten Koeffizienten α und β unabhängig von
der Bildauflösung bestimmen:
Zhang betrachtet nur einzelne Kameras. Eine Kalibrierungsebene wird mehrfach in den Bildbereich der jeweiligen Kamera gehalten. Dabei wird die Orientierung der Ebene zwischen den Aufnahmen verändert, um genügend unabhängige Bedingungen für die intrinsischen Parameter zu erhalten. Der Lösungsansatz von Zhang bedeutet für den Anwender einen relativ geringen Aufwand, da nur eine ebene Kalibrierungsplatte angefertigt werden muss und die Ebene nahezu beliebig bewegt werden darf. Es ist keine bekannte Kippung oder Translation erforderlich. Dennoch wurde Zhangs Kameramodell durch das vorher beschriebene Modell ersetzt. Der Unterschied zu Zhangs Modell liegt darin, dass Zhang die radiale Linsenverzerrung als allerletzten Schritt nach einer möglichen Scherung oder ungleichmäßigen Skalierung betrachtet. Da eine Scherung oder ungleichmäßige Skalierung aber das Gitter der Pixelabtastpunkte beschreibt und die radiale Verzerrung das Objektiv betrifft, sollte zunächst eine Abbildung unter Berücksichtigung der radialen Verzerrung auf die Bildebene und erst später die affinlineare Abbildung stattfinden, die das Gitter der Pixelabtastpunkte beschreibt. Die initiale Schätzung der Abbildungsparameter, die Zhang durchführt, lässt sich aber problemlos auf das vorher beschriebene Kameramodell übertragen, da die Linsenverzeichnung bei diesem Schritt sowieso vernachlässigt wird.Zhang only looks at individual cameras. A calibration plane is held several times in the image area of the respective camera. The orientation of the plane between the recordings is changed, to get enough independent conditions for the intrinsic parameters. Zhang's solution approach is relatively easy for the user since only a flat calibration plate needs to be made and the plane allowed to move almost anywhere. There is no known tilt or translation required. Nevertheless, Zhang's camera model was replaced by the previously described model. The difference with Zhang's model is that Zhang regards radial lens distortion as the last step after possible shearing or uneven scaling. However, since shear or nonuniform scaling describes the grid of pixel sampling points and the radial distortion affects the objective, first an image taking into account the radial distortion on the image plane and only later the affine linear mapping describing the grid of the pixel sampling points should take place. However, the initial estimate of the imaging parameters performed by Zhang can be easily applied to the previously described camera model because the lens distortion is neglected at this step anyway.
Für die nicht-lineare Optimierung muss eine geeignete Parametrisierung der Rotationsmatrix eingesetzt werden. Statt der Parametrisierung der Rotationsmatrix durch einen ”Rodrigues-Vektor”, der die Rotationsachse durch seine Richtung und den Rotationswinkel durch seine Länge beschreibt, wurde der Einfachheit halber die Rotationsmatrix durch das Produkt der in der Initialisierung ermittelten Rotationsmatrix R0 und einer zweiten ”korrigierenden” Rotationsmatrix Rk ausgedrückt. Die Matrix Rk wird durch drei Winkel parametrisiert, die vor Beginn der nicht-linearen Optimierung jeweils auf null gesetzt werden. Da zu erwarten ist, dass sich die im ersten Schritt ermittelte Rotationsmatrix nicht stark von der optimalen Matrix unterscheidet, werden die drei Korrekturwinkel nahe bei null sein. Obwohl dieser Ansatz die Parametrisierung einer Rotationsmatrix durch ihre Euler-Winkel nutzt und diese für ihre Singularitäten bekannt ist, wurde durch die Produktdarstellung aus Annäherung und Korrektur dafür gesorgt, dass sich die optimalen Winkel nicht in der Nähe einer Singularität aufhalten.For nonlinear optimization, a suitable parameterization of the rotation matrix must be used. Instead of parameterizing the rotation matrix by a "Rodrigues vector" describing the axis of rotation by its direction and the angle of rotation by its length, for simplicity, the rotation matrix was replaced by the product of the rotation matrix R 0 determined in the initialization and a second "correcting" Rotation matrix R k expressed. The matrix R k is parameterized by three angles, which are set to zero before the beginning of the non-linear optimization. Since it is to be expected that the rotation matrix determined in the first step does not differ greatly from the optimal matrix, the three correction angles will be close to zero. Although this approach uses the parameterization of a rotation matrix through its Euler angles, and this is known for its singularities, the product representation of approximation and correction has ensured that the optimal angles are not in the vicinity of a singularity.
Außerdem entfällt bei diesem Ansatz eine komplizierte Bestimmung der Startparameter für die nicht-lineare Optimierung.In addition, at This approach involves a complicated determination of the starting parameters for the non-linear Optimization.
Der Levenberg-Marquardt-Algorithmus wurde für die nicht-lineare Optimierung genutzt. Die für den Algorithmus erforderliche Berechnung der Jacobi-Matrix der Fehlerfunktion wird der Einfachheit wegen durch eine Vorwärtsdifferenz numerisch approximiert.Of the Levenberg-Marquardt's algorithm was used for non-linear optimization used. The for the algorithm required calculation of the Jacobi matrix of the error function is numerically approximated by a forward difference for simplicity.
Besondere Vorteile bietet das neue Verfahren bei der Kalibrierung mehrerer Kameras. Die Veränderung der Lage und Orientierung der Kalibrierungsebene ist zunächst unbekannt. Anhand der Kalibrierungsergebnisse für die extrinsischen Parameter jedes Bildes lässt sich diese ”Bewegung” der Kalibrierungsebene aber berechnen (relative Drehung und Translation der Ebene). Sie ist also auch Ergebnis der Kalibrierung. Wenn mehrere Kameras zu kalibrieren sind, die sich zueinander nicht bewegen und gleichzeitig Bilder der Kalibrierungsebene aufnehmen, beobachten sie die gleiche Bewegung der Ebene nur aus einer anderen Perspektive. Damit ergeben sich weitere Bedingungen, die die extrinsischen Parameter der Kameras in Verbindung bringen. Die Kameraposition und Orientierung der Kamera X muss, im Koordinatensystem der Kamera Y ausgedrückt, über alle Zeitpunkte konstant sein, da sich die Kameras nicht zueinander bewegt haben.Special Benefits of the new method in the calibration of several Cameras. The change the position and orientation of the calibration level is initially unknown. Based on the calibration results for the extrinsic parameters every picture leaves However, this "movement" of the calibration level calculate (relative rotation and translation of the plane). she is So also result of the calibration. If several cameras to calibrate are, who do not move to each other and at the same time pictures record the calibration plane, they observe the same motion the level only from a different perspective. This results other conditions affecting the extrinsic parameters of the cameras get in touch. The camera position and orientation of the camera X has to be expressed in the coordinate system of camera Y over all Times are constant because the cameras do not move to each other to have.
Ein Projektor besitzt genauso wie eine Kamera ein Linsensystem (Projektionszentrum) und eine Bildebene und lässt sich ebenso durch ein Modell mit Parametern beschreiben, wie es bei Kameras der Fall ist. Allerdings nehmen Projektoren keine Bilder auf, vielmehr projizieren sie das Bild der Bildebene auf die Umgebung. Um einen Projektor mit dem hier vorgestellten Ansatz kalibrieren zu können, werden wieder Punktkorrespondenzlisten benötigt, die Pixelkoordinaten mit Weltkoordinaten in Verbindung bringen. Projiziert der Projektor das Schachbrettmuster auf eine Ebene, so müssen die Raumkoordinaten der Punktmerkmale auf der Ebene in Erfahrung gebracht werden. Es gibt mehrere Möglichkeiten, wie dieses Problem im Rahmen der vorliegenden Erfindung gelöst werden kann. Hat man bereits zwei kalibrierte Kameras können diese die Ebene mit dem projizierten Muster beobachten. Anhand der Pixelkoordinaten der Punktmerkmale in den von den Kameras aufgenommenen Bildern können die 3D-Koordinaten der Punkte rekonstruiert werden (”Stereo Vision”).One Projector has a lens system (projection center) just like a camera and an image plane and lets also describe themselves through a model with parameters like it with cameras is the case. However, projectors take no pictures Instead, they project the image plane onto the environment. To calibrate a projector using the approach presented here to be able to Again point correspondence lists are needed, the pixel coordinates connect with world coordinates. Projects the projector the checkerboard pattern on a plane, so the space coordinates of the Point features on the level are learned. There is more options, how this problem is solved in the context of the present invention can. If you already have two calibrated cameras, they can be used with the plane observe projected patterns. Based on the pixel coordinates of Point features in the pictures taken by the cameras may be the 3D coordinates of the points are reconstructed ("Stereo Vision").
Für diese Vorgehensweise sind jedoch zwei Kameras notwendig. Bei vielen Messverfahren, die eine Kalibrierung des Projektors voraussetzen, gibt es allerdings nur eine Kamera. Es ist also wünschenswert, einen Projektor mit nur einer Kamera kalibrieren zu können. Wird die Projektion des Musters mit nur einer Kamera beobachtet, können die Raumkoordinaten der Kreuzungspunkte nur berechnet werden, wenn bekannt ist, wie die Ebene im Raum liegt, auf der das Muster projiziert wird. Dies kann durch folgende Maßnahmen erreicht werden:
- 1. Große helle Ebene im Bereich des Interesses fixieren
- 2. Das Schachbrettmuster mit dem Projektor auf die Ebene projizieren und mit der Kamera aufnehmen
- 3. Schachbrettobjekt auf die helle Ebene legen beziehungsweise hängen, so dass das Muster parallel zur Ebene liegt und die ”Parallelverschiebung” bekannt ist
- 4. Bild des Schachbrettmusters aufnehmen
- 1. Fix big bright plane in the area of interest
- 2. Project the checkerboard pattern onto the plane with the projector and shoot with the camera
- 3. Lay or hang the chessboard object on the light level so that the pattern is parallel to the plane and the "parallel shift" is known
- 4. Take a picture of the checkerboard pattern
Wenn dies mehrfach mit unterschiedlichen Orientierungen der Ebenen durchgeführt wird, lässt sich die Kamera anhand der Bilder der Kalibrierungsebene kalibrieren. Für die anderen Bilder lassen sich zumindest Punktkorrespondenzlisten ermitteln, die Projektor-Pixelkoordinaten mit Kamera-Pixelkoordinaten in Verbindung bringen. Anhand der Parameter der kalibrierten Kamera, der bekannten Z-Verschiebung und dieser Zuordnungen können die Raumkoordinaten der projizierten Merkmale ermittelt werden, so dass die Kalibrierung des Projektors durchgeführbar ist.If this is done several times with different orientations of the planes, let yourself Calibrate the camera based on the images of the calibration plane. For the other pictures can at least be used to identify point correspondence lists the projector pixel coordinates communicate with camera pixel coordinates bring. Based on the parameters of the calibrated camera, the known Z-displacement and these assignments can be the space coordinates of the projected features are determined so that the calibration of the Projector feasible is.
Claims (20)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006055758A DE102006055758B4 (en) | 2006-11-25 | 2006-11-25 | Method for calibrating cameras and projectors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102006055758A DE102006055758B4 (en) | 2006-11-25 | 2006-11-25 | Method for calibrating cameras and projectors |
Publications (2)
Publication Number | Publication Date |
---|---|
DE102006055758A1 DE102006055758A1 (en) | 2008-05-29 |
DE102006055758B4 true DE102006055758B4 (en) | 2010-02-18 |
Family
ID=39326340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102006055758A Expired - Fee Related DE102006055758B4 (en) | 2006-11-25 | 2006-11-25 | Method for calibrating cameras and projectors |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102006055758B4 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015012344A1 (en) | 2015-09-22 | 2016-03-31 | Daimler Ag | Method for calibrating a camera |
CN106296657A (en) * | 2016-07-28 | 2017-01-04 | 三峡大学 | A kind of method video camera being carried out Fast Calibration based on geometrical principle |
RU2806669C1 (en) * | 2023-05-02 | 2023-11-02 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Test object for assessing radial and tangential distortion coefficients |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202008016206U1 (en) | 2008-12-09 | 2009-03-12 | Csb-System Ag | Calibration standard for an image processing system |
JP2011188083A (en) * | 2010-03-05 | 2011-09-22 | Sony Corp | Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope |
DE102011100628B4 (en) * | 2011-05-05 | 2013-04-25 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Method and device for determining at least one camera parameter |
CN103234454B (en) * | 2013-04-23 | 2016-03-30 | 合肥米克光电技术有限公司 | A kind of self-calibrating method of image measurer |
DE102013211210B4 (en) * | 2013-06-14 | 2021-07-15 | Beissbarth Gmbh | Machine-readable measuring board for wheel alignment |
DE102015205174A1 (en) * | 2015-03-23 | 2016-09-29 | Conti Temic Microelectronic Gmbh | Apparatus and method for simultaneously calibrating a plurality of cameras |
DE102016222319A1 (en) | 2016-11-14 | 2018-05-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | 3D REFERENCING |
CN108074267B (en) * | 2016-11-18 | 2023-08-11 | 松下知识产权经营株式会社 | Intersection point detection device and method, camera correction system and method, and recording medium |
DE102017116495B4 (en) * | 2017-07-21 | 2019-10-10 | Carl Zeiss Smt Gmbh | Method for distortion correction of a first imaging optical system of a first measuring system |
DE102018008539B9 (en) * | 2018-11-01 | 2023-03-16 | Baumer Optronic Gmbh | Calibration device and method for camera calibration for photogrammetry |
CN112184825B (en) * | 2019-07-05 | 2024-02-02 | 杭州海康机器人股份有限公司 | Calibration plate and calibration method |
CN111062989B (en) * | 2019-12-12 | 2023-06-06 | 深圳慧智星晨科技有限公司 | Method and system for calibrating high-precision two-dimensional camera and robot hand and eye |
CN112465916A (en) * | 2020-11-27 | 2021-03-09 | 浙江光珀智能科技有限公司 | RGBD binocular calibration method and system based on full-view-field plane calibration plate |
CN113129388B (en) * | 2020-12-23 | 2022-09-06 | 合肥工业大学 | Coding stereo target for quickly calibrating internal and external parameters of camera and coding method thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6527395B1 (en) * | 2001-12-10 | 2003-03-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for calibrating a projector with a camera |
WO2004019799A2 (en) * | 2002-08-29 | 2004-03-11 | Computerized Medical Systems, Inc. | Methods and systems for localizing of a medical imaging probe and of a biopsy needle |
-
2006
- 2006-11-25 DE DE102006055758A patent/DE102006055758B4/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6527395B1 (en) * | 2001-12-10 | 2003-03-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for calibrating a projector with a camera |
WO2004019799A2 (en) * | 2002-08-29 | 2004-03-11 | Computerized Medical Systems, Inc. | Methods and systems for localizing of a medical imaging probe and of a biopsy needle |
Non-Patent Citations (5)
Title |
---|
D. Chen, G. Zhang: A New Sub-Pixel Detector for X-Corners in Camera Calibration Targets. In: WSCG SHORT papers proceedings. ISBN 80-903100-9-5, WSCG'2005, 31. Jan.-4. Feb. 2005 * |
D. Chen, G. Zhang: A New Sub-Pixel Detector for X-Corners in Camera Calibration Targets. In: WSCG SHORT papers proceedings. ISBN 80-903100-9-5, WSCG'2005, 31. Jan.-4. Feb. 2005 L. Krüger, C. Wöhler, A. Würz-Wessel, F. Stein: In-factory calibration of multiocular camera systems. In: SPIE Photonics Europe (Optical Metrology in Production Engineering), Strasbourg, 2004, S. 126-137 J.Heikkila, O.Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, in: Proceedings IEEE Computer Society Conf. Comp. Vision and Pattern Recognition, 1997, S. 1106-1112 Z.Zhang: Flexible Camera Calibration By Viewing a Plane From Unknown Orientations, in: Internat. Conf. on Computer Vision (ICCV'99), 1999, S. 666-673 |
J.Heikkila, O.Silven: A Four-step Camera Calibration Procedure with Implicit Image Correction, in: Proceedings IEEE Computer Society Conf. Comp. Vision and Pattern Recognition, 1997, S. 1106-1112 * |
L. Krüger, C. Wöhler, A. Würz-Wessel, F. Stein: In-factory calibration of multiocular camera systems. In: SPIE Photonics Europe (Optical Metrology in Production Engineering), Strasbourg, 2004, S. 126-137 * |
Z.Zhang: Flexible Camera Calibration By Viewing a Plane From Unknown Orientations, in: Internat. Conf. on Computer Vision (ICCV'99), 1999, S. 666-673 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015012344A1 (en) | 2015-09-22 | 2016-03-31 | Daimler Ag | Method for calibrating a camera |
CN106296657A (en) * | 2016-07-28 | 2017-01-04 | 三峡大学 | A kind of method video camera being carried out Fast Calibration based on geometrical principle |
RU2806669C1 (en) * | 2023-05-02 | 2023-11-02 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Test object for assessing radial and tangential distortion coefficients |
Also Published As
Publication number | Publication date |
---|---|
DE102006055758A1 (en) | 2008-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006055758B4 (en) | Method for calibrating cameras and projectors | |
DE102015011914B4 (en) | Contour line measuring device and robotic system | |
DE102012108567B4 (en) | Method of obtaining depth information using a light pattern | |
DE69826753T2 (en) | Optical profile sensor | |
EP3034995B1 (en) | Method for determining a position and orientation offset of a geodetic surveying device and corresponding measuring device | |
DE112010004767T5 (en) | Point cloud data processing device, point cloud data processing method and point cloud data processing program | |
DE102009046295A1 (en) | Focus-height measurement i.e. isotropic focus-height measurement, correcting method, involves determining focus-height error correction value, and correcting focus-height measurement using value to provide corrected measurement | |
WO2011023657A1 (en) | Method and device for joining a plurality of individual digital images into a total image | |
DE102008041523A1 (en) | Method for three-dimensional measurement and device for three-dimensional measurement | |
EP3775767B1 (en) | Method and system for measuring an object by means of stereoscopy | |
DE102016205382A1 (en) | Edge detection deviation correction value calculation method, edge detection deviation correction method, and edge detection deviation correction program | |
EP1022541A2 (en) | Procedure and device to determine the geometrical form of sheetlike articles or piles thereof | |
EP3931798A1 (en) | Estimating the movement of an image position | |
DE102017113615A1 (en) | System, method and marker for determining the position of a moving object in space | |
EP3628995A1 (en) | Calibration template and calibration method for geometric calibration of a plurality of cameras of a camera array | |
DE102017010683B4 (en) | Method for automatic restoration of a measured state of a projection system | |
EP1098268A2 (en) | Method for the threedimensional optical measurement of object surfaces | |
DE102011082280A1 (en) | Image measuring device and image measuring method | |
DE102012102580A1 (en) | Method for measuring an object and intraoral scanner | |
DE102019110729A1 (en) | Method for aligning at least one calibration body and device for three-dimensional optical measurement of objects | |
WO2009018894A1 (en) | Method and device for determining geometric data of a measured object | |
DE102021111417A1 (en) | Method and system for determining the position of a marker in a 2D image and marker designed therefor | |
DE102019220364A1 (en) | Calibration device and method for calibrating a device | |
DE102016105405B4 (en) | Method and device arrangement for high-precision, (semi-) automatic in-situ calibration and registration of a projector-camera system to a component | |
DE102015120965B3 (en) | Method and device for determining calibration parameters for metric calibration of a plenoptic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: VITRO LASER ASSETS UG ( HAFTUNGSBESCHRAENKT ),, DE Owner name: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V, DE |
|
R081 | Change of applicant/patentee |
Owner name: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V, DE Free format text: FORMER OWNER: DEUTSCHES ZENTRUM FUER LUFT- UND, VITRO LASER GMBH, , DE Effective date: 20110411 Owner name: VITRO LASER ASSETS UG ( HAFTUNGSBESCHRAENKT ), DE Free format text: FORMER OWNER: DEUTSCHES ZENTRUM FUER LUFT- UND, VITRO LASER GMBH, , DE Effective date: 20110411 Owner name: VITRO LASER ASSETS UG ( HAFTUNGSBESCHRAENKT ), DE Free format text: FORMER OWNERS: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V., 51147 KOELN, DE; VITRO LASER GMBH, 32423 MINDEN, DE Effective date: 20110411 Owner name: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V, DE Free format text: FORMER OWNERS: DEUTSCHES ZENTRUM FUER LUFT- UND RAUMFAHRT E.V., 51147 KOELN, DE; VITRO LASER GMBH, 32423 MINDEN, DE Effective date: 20110411 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |