DE102015120965B3

DE102015120965B3 - Method and device for determining calibration parameters for metric calibration of a plenoptic camera

Info

Publication number: DE102015120965B3
Application number: DE102015120965.9A
Authority: DE
Inventors: Klaus Herbert Strobl
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2015-12-02
Filing date: 2015-12-02
Publication date: 2017-04-06
Anticipated expiration: 2035-12-03

Abstract

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer plenoptischen Kamera. Das Verfahren zeichnet sich dadurch aus, dass mit der plenoptischen Kamera zumindest ein Kalibriermuster mit bekannter Geometrie aus N verschiedenen Perspektiven zur Erzeugung von Bilddatensätzen BDi,TB und BDi,2D mit i = 1, 2, ..., N und N ≥ 1 aufgenommen wird, wobei BDi,TB Tiefenbilder sind, die jeweils Tiefeninformationen v(Sx, Sy) an Projektionspunkten Sx, Sy in der Kamera wiedergeben, und BDi,2D Totalfokusbilder sind, die jeweils Helligkeitsinformationen an den Projektionspunkten Sx, Sy in der Kamera wiedergeben; ausschließlich basierend auf den Bilddatensätzen BDi,2D, der Detektorelementgröße p und der bekannten Geometrie des Kalibriermusters mit den Merkmalen M ein Ermitteln folgender Kalibrierungsparameter KP1 erfolgt: Brennweite f der Hauptlinse L, und einer optimal fokussierten Tiefe Czf(M) von Projektionen der geometrischen Merkmale M des Kalibriermusters innerhalb der Kamera, und ausschließlich basierend auf den Bilddatensätzen BDi,TB und den Kalibrierungsparametern KP1 ein Ermitteln folgender Kalibrierungsparameter KP2 erfolgt: eines Abstandes h zwischen einer Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene der Hauptlinse L, und ein Ermitteln eines Abstandes b zwischen der Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene des Detektors DET erfolgt.The invention relates to a method and a device for determining calibration parameters for the metric calibration of a plenoptic camera. The method is characterized in that the plenoptic camera records at least one calibration pattern with known geometry from N different perspectives for generating image data sets BDi, TB and BDi, 2D with i = 1, 2,..., N and N ≥ 1 where BDi, TB are depth images respectively representing depth information v (Sx, Sy) at projection points Sx, Sy in the camera, and BDi, 2D are total focus images respectively representing brightness information at the projection points Sx, Sy in the camera; exclusively based on the image data sets BDi, 2D, the detector element size p and the known geometry of the calibration pattern having the features M, the following calibration parameters KP1 are determined: focal length f of the main lens L, and an optimally focused depth Czf (M) of projections of the geometric features M. of the calibration pattern within the camera, and based solely on the image data sets BDi, TB and the calibration parameters KP1, determining the following calibration parameters KP2: a distance h between a reference plane of the multi-lens array MLA and a reference plane of the main lens L, and determining a distance b between the reference plane of the multi-lens array MLA and a reference plane of the detector DET.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer plenoptischen Kamera.The invention relates to a method and a device for determining calibration parameters for the metric calibration of a plenoptic camera.

Eine monokulare plenoptische Kamera, auch Lichtfeldkamera genannt, erfasst bekanntermaßen ein 4D-Lichtfeld eines Motivs. Bei dem 4D-Lichtfeld ist nicht nur die Position und Intensität eines Lichtstrahls auf dem Bilddetektor bekannt, sondern auch die Richtung, aus der dieser Lichtstrahl in die Kamera eingefallen ist. Möglich wird die Lichtfeldmessung durch ein Gitter aus mehreren Mikrolinsen in Lichteinfallsrichtung vor dem Bilddetektor der Kamera. Die Mikrolinsen erzeugen Bilder, die die Richtung des einfallenden Lichtes an den Positionen der jeweiligen Mikrolinsen sammeln. Die besonderen Fähigkeiten einer plenoptischen Kamera ergeben sich dadurch, dass die maximale Schärfentiefe sehr hoch ist, kein Fokusvorgang abgewartet werden muss und die Fokusebene eines aufgenommenen Bildes nachträglich angepasst werden kann. Aus den Bilddaten lassen sich insbesondere auch Tiefeninformationen ermitteln, sodass eine plenoptische Kamera auch als 3-D Kamera geeignet ist. Die Tiefeninformationen der Bilddaten heute verfügbarer plenoptischer Kameras liefern Entfernungsinformationen in nicht metrischen Einheiten, was insbesondere ein Hindernis zur Verwendung solcher Kameras im Bereich der Robotik darstellt. Die metrische Kalibrierung einer plenoptischen Kamera stellt nun eine Beziehung zwischen den aus Bilddaten der Kamera ermittelten Tiefeninformationen und metrischen Entfernungen zu erfassten Objekten für den Raum außerhalb der Kamera her.A monocular plenoptic camera, also known as a light field camera, is known to detect a 4D light field of a subject. In the 4D light field, not only the position and intensity of a light beam on the image detector is known, but also the direction from which this light beam has entered the camera. The light field measurement is made possible by a grid of several microlenses in the light incident direction in front of the image detector of the camera. The microlenses generate images that collect the direction of the incident light at the positions of the respective microlenses. The special capabilities of a plenoptic camera result from the fact that the maximum depth of field is very high, no focus operation has to be awaited and the focal plane of a recorded image can be subsequently adjusted. In particular, depth information can also be determined from the image data, so that a plenoptic camera is also suitable as a 3-D camera. The depth information of the image data available today plenoptic cameras provide distance information in non-metric units, which is a particular obstacle to the use of such cameras in the field of robotics. The metric calibration of a plenoptic camera now establishes a relationship between the depth information obtained from image data of the camera and metric distances to captured objects for the space outside the camera.

Im Stand der Technik sind Schätzverfahren zur Ermittlung einer metrischen Entfernungsschätzung basierend auf nicht metrischen Tiefeninformationen bekannt. Diese bekannten Ansätze zur metrischen Kalibrierung einer plenoptischen Kamera basieren dabei auf synthetisch erzeugten Bilddaten (d. h. Totalfokus-Bildern („total focus images”) und Tiefenbildern („depth images”)), die insbesondere durch die sogenannte „RxLive Software” der Firma Raytrix^TM GmbH basierend auf den Rohdaten der Kamera erzeugbar sind.In the prior art, estimation methods for determining a metric distance estimate based on non-metric depth information are known. These known approaches for the metric calibration of a plenoptic camera are based on synthetically generated image data (ie total focus images and depth images), which are produced in particular by the so-called "RxLive software" from Raytrix ^™ GmbH based on the raw data of the camera can be generated.

Zum Stand der Technik wird beispielsweise auf folgende Veröffentlichungen verwiesen:

– C. Perwass, L. Wietzke, ”Single Lens 3D-Camera with Extended Depth of-Field”, in: Proc. SPIE, Digital Photography VIII, Vol. 8291, 2012, p. 829108.
– E. H. Adelson, J. R. Bergen, ”The Plenoptic Function and the Elements of Early Vision”, Computational models of visual processing 91 (1) (1991) 3–20.
– Lytro^TM Camera, Lytro, Inc. URL https://www.lytro.com/
– Raytrix^TM R5 Camera, Raytrix^TM GmbH. URL http://www.raytrix.de/
– PiCam^TM, Pelican Imaging Co. URL http://www.pelicanirnaging.com/
– A. Lumsdaine, T. G. Georgiev, ”The Focused Plenoptic Camera”, in: Proceedings International Conference on Computational Photography (ICCP), 2009.
– D. G. Dansereau, O. Pizarro, S. B. Williams, „Decoding, Calibration and Rectification for Lenselet-Based Plenoptic Cameras” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Los Alamitos, CA, USA, 2013, Seiten 1027–1034,
– O. Johannsen, C. Heinze, B. Goldluecke, C. Perwass, „On the Calibration of Focused Plenoptic Cameras”, in GCPR Workshop on Imaging New Modalities, 2013
– T. Luhmann, C. Jepping, B. Herd, „Untersuchung zum meßtechnischen Genauigkeitspotenzial einer Lichtfeldkamera” in: Publikationen der DGPF, Bd. 23, Hamburg, Deutschland, 2014
– N. Zeller, F. Quint, U. Stilla, „Calibration and Accuracy Analysis of a Focused Plenoptic Camera”, ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences II-3 (2014) 205–212,
– C. Heinze, ”Design and Test of a Calibration Method for the Calculation of Metrical Range Values for 3D Light Field Cameras”, Master Arbeit, Fachgebiet Mikroprozessortechnik und Elektronik, Fakultät für Ingenieurwissenschaften, Fachhochschule Westküste, und Fakultät für Ingenieur- und Computerwissenschaften, Hamburg Universität für angewandte Wissenschaften (2014).
– K. H. Strobl, G. Hirzinger, ”More Accurate Camera and Hand-Eye Calibrations with Unknown Grid Pattern Dimensions”, in: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Pasadena, CA, USA, 2008, pp. 1398–1405.
– K. H. Strobl, G. Hirzinger, ”More Accurate Pinhole Camera Calibration with Imperfect Planar Target”, in: Proceedings of the IEEE International Conference on Computer Vision (ICCV), 1st IEEE Workshop on Challenges and Opportunities in Robot Perception, Barcelona, Spain, 2011, pp. 1068–1075.
– Z. Zhang, ”A Flexible new Technique for Camera Calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (11) (2000) 1330–1334.
– P. F. Sturm, S. J. Maybank, ”On Plane-Based Camera Calibration”: A General Algorithm, Singularities, Applications, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Fort Collins, CO, USA, 1999, pp. 432–437.
– R. Y. Tsai, ”A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses”, IEEE Journal of Robotics and Automation 3 (4) (1987) 323–344.
– J. Mallon, P. F. Whelan, ”Which Pattern? Biasing Aspects of Planar Calibration Patterns and Detection Methods”, Pattern Recognition Letters 28 (8) (2007) 921–930.
– J. Heikkilä, O. Silven, ”A Four-step Camera Calibration Procedure with Implicit Image Correction”, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Juan, Puerto Rico, 1997, pp. 1106–1112.
– K. H. Strobl, W. Sepp, S. Fuchs, C. Paredes, M. Smisek, K. Arbter, DLR CalDe and DLR CalLab (2005). URL http://www.robotic.dlr.de/callab/
– K. H. Strobl, W. Sepp, G. Hirzinger, ”On the Issue of Camera Calibration with Narrow Angular Field of View”, in: Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), St. Louis, MO, USA, 2009, pp. 309–315.
– F. Devernay, O. D. Faugeras, ”Straight Lines Have to be Straight: Automatic Calibration and Removal of Distortion from Scenes of Structured Environments”, Machine Vision and Applications 13 (1) (2001) 14–24.
– J. A. Sanchez, E. A. Destefanis, L. R. Canali, ”Plane-based Camera Calibration without Direct Optimization Algorithms”, in: IV Jornadas Argentinas de Robotica, Cordoba, Argentina, 2006.
– J. Weng, P. Cohen, M. Herniou, ”Camera Calibration with Distortion Models and Accuracy Evaluation”, IEEE Transactions on Pattern Analysis and Machine Intelligence 14 (10) (1992) 965–980.
– K. H. Strobl, ”A Flexible Approach to Close-Range 3-D Modeling”, Dissertation, Institute for Data Processing, Fakultät für Elektrotechnik und Informationstechnik, Technische Universität München, Munich, Germany (Juli 2014).
– G. P. Stein, ”Internal Camera Calibration Using Rotation and Geometric Shapes”, in: AITR-1426, Master's Thesis, Massachussets Institute of Technology, Artificial Intelligence Laboratory, 1993.
– A. Lumsdaine, T. G. Georgiev, G. Chunev, ”Spatial Analysis of Discrete Plenoptic Sampling”, in: Proc. SPIE, Digital Photography VIII, Vol. 8299, 2012, p. 829909.
– US 2011 0169 994 A1
– US 2014 0146 184 A1

For example, the following publications are referred to the state of the art:

- C. Perwass, L. Wietzke, "Single Lens 3D Camera with Extended Depth of Field", in: Proc. SPIE, Digital Photography VIII, Vol. 8291, 2012, p. 829,108th
EH Adelson, JR Bergen, The Plenoptic Function and Elements of Early Vision, Computational Models of Visual Processing 91 (1) (1991) 3-20.
- Lytro ^TM Camera, Lytro, Inc. URL https://www.lytro.com/
- Raytrix ^TM R5 Camera, Raytrix ^TM GmbH. URL http://www.raytrix.de/
- PiCam ^™ , Pelican Imaging Co. URL http://www.pelicanirnaging.com/
- A. Lumsdaine, TG Georgiev, "The Focused Plenoptic Camera", in: Proceedings International Conference on Computational Photography (ICCP), 2009.
- DG Dansereau, O. Pizarro, SB Williams, "Decoding, Calibration and Rectification for Lenselet-Based Plenoptic Cameras" in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Los Alamitos, CA, USA, 2013, pages 1027-1034,
O. Johannsen, C. Heinze, B. Goldluecke, C. Perwass, "On the Calibration of Focused Plenoptic Cameras", GCPR Workshop on Imaging New Modalities, 2013
- T. Luhmann, C. Jepping, B. Herd, "Examination of the accuracy of a measuring field of a light field camera" in: Publications of the DGPF, Bd. 23, Hamburg, Germany, 2014
N. Zeller, F. Quint, U. Stilla, Calibration and Accuracy Analysis of a Focused Plenoptic Camera, ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences II-3 (2014) 205-212,
C. Heinze, "Design and Test of a Calibration Method for the Calculation of Metrical Range Values for 3D Light Field Cameras", Master's Degree, Department of Microprocessor Engineering and Electronics, Faculty of Engineering, University of West Coast, and Faculty of Engineering and Computer Science, Hamburg University of Applied Sciences (2014).
- KH Strobl, G. Hirzinger, "More Accurate Camera and Hand-Eye Calibrations with Unknown Grid Pattern Dimensions", in: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), Pasadena, CA, USA, 2008, pp. 1398-1405.
- KH Strobl, G. Hirzinger, "More Accurate Pinhole Camera Calibration with Imperfect Planar Target", in: IEEE International Conference on Computer Vision (ICCV), 1st IEEE Workshop on Challenges and Opportunities in Robot Perception, Barcelona, Spain, 2011, pp. 1068-1075.
Z. Zhang, "A Flexible New Technique for Camera Calibration," IEEE Transactions on Pattern Analysis and Machine Intelligence 22 (11) (2000) 1330-1334.
- PF Sturm, SJ Maybank, "On Plane-Based Camera Calibration": A General Algorithm, Singularities, Applications, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Fort Collins, CO, USA, 1999, pp. 432-437.
RY Tsai, "A Versatile Camera Calibration Technique for High Accuracy 3D Machine Vision Metrology Using Off-the-shelf TV Cameras and Lenses", IEEE Journal of Robotics and Automation 3 (4) (1987) 323-344.
- J. Mallon, PF Whelan, "Which Pattern? Biasing Aspects of Planar Calibration Patterns and Detection Methods ", Pattern Recognition Letters 28 (8) (2007) 921-930.
- J. Heikkilä, O. Silven, "A Four-step Camera Calibration Procedure with Implicit Image Correction", in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Juan, Puerto Rico, 1997, pp. 1106-1112.
- KH Strobl, W. Sepp, S. Fuchs, C. Paredes, M. Smisek, K. Arbter, DLR CalDe and DLR CalLab (2005). URL http://www.robotic.dlr.de/callab/
- KH Strobl, W. Sepp, G. Hirzinger, "On the Issue of Camera Calibration with Narrow Angular Fields of View", in: Proceedings of the IEEE / RSJ International Conference on Intelligent Robots and Systems (IROS), St. Louis, MO, USA, 2009, pp. 309-315.
F. Devernay, OD Faugeras, "Straight Lines Have to Be Straight: Automatic Calibration and Removal of Distortion from Structures of Structured Environments", Machine Vision and Applications 13 (1) (2001) 14-24.
- JA Sanchez, EA Destefanis, LR Canali, "Plane-based Camera Calibration without Direct Optimization Algorithms," in: IV Jornadas Argentinas de Robotica, Cordoba, Argentina, 2006.
- J. Weng, P. Cohen, M. Herniou, "Camera Calibration with Distortion Models and Accuracy Evaluation", IEEE Transactions on Pattern Analysis and Machine Intelligence 14 (10) (1992) 965-980.
- KH Strobl, "A Flexible Approach to Close-Range 3-D Modeling", Dissertation, Institute for Data Processing, Faculty of Electrical Engineering and Information Technology, Munich Technical University, Munich, Germany (July 2014).
- GP Stein, "Internal Camera Calibration Using Rotation and Geometric Shapes", in: AITR-1426, Master's Thesis, Massachusetts Institute of Technology, Artificial Intelligence Laboratory, 1993.
- A. Lumsdaine, TG Georgiev, G. Chunev, "Spatial Analysis of Discrete Plenoptic Sampling", in: Proc. SPIE, Digital Photography VIII, Vol. 8299, 2012, p. 829,909th
- US 2011 0169 994 A1
- US 2014 0146 184 A1

Nachteilig an den bekannten Verfahren zur metrischen Kalibrierung einer plenoptischen Kamera ist, dass sie vorab die Erfassung extrinsischer Parameter, wie beispielsweise die Erfassung einer Position oder Orientierung eines Kalibrierungsobjektes, sowie die zumindest annähernde Kenntnis kamerainterner, so genannter intrinsischer Parameter erfordern. Weiterhin nachteilig ist, dass die bekannten Verfahren nur eine ungenügende Genauigkeit und Robustheit aufweisen, sodass Anwendungen einer plenoptischen Kamera als 3-D Sensor, beispielsweise in der Robotik, mangels ausreichender Genauigkeit der Entfernungsbestimmung vielfach nicht möglich ist.A disadvantage of the known method for the metric calibration of a plenoptic camera is that it requires in advance the detection of extrinsic parameters, such as the detection of a position or orientation of a calibration object, as well as the at least approximate knowledge of camera-internal, so-called intrinsic parameters. A further disadvantage is that the known methods have only an insufficient accuracy and robustness, so that applications of a plenoptic camera as a 3-D sensor, for example in robotics, for lack of sufficient accuracy of the distance determination is often not possible.

Es wird vorliegend unterstellt, dass der Leser mit dem grundsätzlichen Aufbau einer plenoptischen Kamera, mit Verfahren zur Ermittlung von (virtuellen) Tiefenbildern und (virtuellen) Totalfokusbildern aus Bildrohdaten der plenoptischen Kamera, sowie mit dem Stand der Technik zu Verfahren zur Kalibrierung der Kamera vertraut ist. Hierzu wird insbesondere auf den vorstehend genannten Stand der Technik verwiesen.It is assumed in the present case that the reader is familiar with the basic structure of a plenoptic camera, with methods for determining (virtual) depth images and (virtual) total focus images from raw image data of the plenoptic camera, as well as with the state of the art for methods of calibrating the camera , Reference is made in particular to the aforementioned prior art.

Die Aufgabe der Erfindung ist es, ein Verfahren und eine Vorrichtung zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer plenoptischen Kamera anzugeben, die die vorstehend angegebenen Nachteile zumindest verringern oder überwinden.The object of the invention is to provide a method and a device for determining calibration parameters for the metric calibration of a plenoptic camera, which at least reduce or overcome the above-mentioned disadvantages.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche. Weitere Merkmale, Anwendungsmöglichkeiten und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung, sowie der Erläuterung von Ausführungsbeispielen der Erfindung, die in den Figuren dargestellt sind.The invention results from the features of the independent claims. Advantageous developments and refinements are the subject of the dependent claims. Other features, applications and advantages of the invention will become apparent from the following description, as well as the explanation of embodiments of the invention, which are illustrated in the figures.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer plenoptischen Kamera, die einen optischen Detektor DET mit einem Array von Detektorelementen mit bekannter Detektorelementgröße p, ein Multi-Linsenarray MLA, und eine Hauptlinse L aufweist. Der Begriff „Detektorgeometrie DG” umfasst vorliegend die Größe p der Detektorelemente (Pixelgröße) sowie die Geometrie deren Anordnung. Das vorgeschlagene Verfahren umfasst folgende Schritte.A first aspect of the invention relates to a method for determining calibration parameters for the metric calibration of a plenoptic camera which has an optical detector DET with an array of detector elements with known detector element size p, a multi-lens array MLA, and a main lens L. The term "detector geometry DG" herein includes the size p of the detector elements (pixel size) and the geometry of their arrangement. The proposed method comprises the following steps.

In einem Schritt wird mit der plenoptischen Kamera zumindest ein Kalibriermuster mit Merkmalen M bekannter Geometrie aus N verschiedenen Perspektiven zur Erzeugung von Bilddatensätzen BD_i,TB und BD_i,2D mit i = 1, 2, ..., N und N ≥ 1 aufgenommen, wobei BD_i,TB (virtuelle) Tiefenbilder sind, die jeweils Tiefeninformationen ν(_Sx, _Sy) an Projektionspunkten _Sx, _Sy in der Kamera wiedergeben, und BD_i,2D (virtuelle) Totalfokusbilder sind, die jeweils Helligkeitsinformationen an den Projektionspunkten _Sx, _Sy in der Kamera wiedergeben.In one step, the plenoptic camera acquires at least one calibration pattern with features M of known geometry from N different perspectives for generating image data sets BD _{i, TB} and BD _{i, 2D} with i = 1, 2,..., N and N ≥ 1 , where BD _{i, TB are} (virtual) depth images, respectively Represent depth information ν ( _S x, _S y) at projection points _S x, _S y in the camera, and BD _{i, 2D are} (virtual) total focus images respectively representing brightness information at the projection points _S x, _S y in the camera.

Aus einer Bildaufnahme des Kalibrierungsmusters durch die plenoptische Kamera werden bekanntermaßen durch den Detektor DET Bildrohdaten B_i erzeugt. Aus den Bildrohdaten B_i der einen Bildaufnahme werden anschließend die Bilddatensätze BD_i,TB und BD_i,2D ermittelt. Das Verfahren hierzu ist im Stand der Technik bekannt.From an image acquisition of the calibration pattern by the plenoptic camera, image raw data B _{i is known to be} generated by the detector DET. The image data sets BD _{i, TB} and BD _{i, 2D} are then determined from the image raw data B _{i of} the image acquisition. The process for this is known in the art.

In einem weiteren Schritt erfolgt ausschließlich basierend auf den Bilddatensätzen BD_i,2D und der Detektorgeometrie (insbesondere der Pixelgröße p) ein Ermitteln folgender Kalibrierungsparameter KP1: der Brennweite f der Hauptlinse L, und einer optimal fokussierten Tiefe _Cz_f(M) von Projektionen der geometrischen Merkmale M des Kalibriermusters innerhalb der Kamera.In a further step, exclusively based on the image datasets BD _{i, 2D} and the detector geometry (in particular the pixel size p), the following calibration parameters KP1 are determined: the focal length f of the main lens L, and an optimally focused depth _C z _f (M) of projections of the geometric features M of the calibration pattern within the camera.

In einem weiteren Schritt erfolgt ausschließlich basierend auf den Bilddatensätzen BD_i,TB und den Kalibrierungsparametern KP1 ein Ermitteln folgender Kalibrierungsparameter KP2: eines Abstandes h zwischen einer Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene der Hauptlinse L am optischen Zentrum, und Ermitteln eines Abstandes b zwischen der Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene des Detektors DET.In a further step, based solely on the image data records BD _{i, TB} and the calibration parameters KP1, the following calibration parameters KP2 are determined: a distance h between a reference plane of the multi-lens array MLA and a reference plane of the main lens L at the optical center, and determination of a distance b between the reference plane of the multi-lens array MLA and a reference plane of the detector DET.

Das vorgeschlagene Verfahren basiert auf dem bekannten Loch-Kamera Modell mit einer dünnen-Linse-Approximation, bei dem einfallende Strahlen gemäß dem allgemein bekannten Loch-Kamera Modell projiziert werden. Das vorgeschlagene Verfahren lässt sich leicht auf die dicke-Linse-Approximation in Abhängigkeit von der verwendeten Linse erweitern. Die Projektionen werden an Positionen innerhalb der Kamera fokussiert, die einen Abstand d von einer Bezugsebene der dünnen Linse (= Hauptlinse L) aufweisen, die von der Brennweite f der Linse L und von der Objektentfernung r eines aufgenommenen Objekts in Richtung der Hauptachse der Linse L gemäß 1 / f = 1 / d + 1 / r (1) abhängen. Die Zusammenhänge sind auch der 1 zu entnehmen. Die vorstehend verwendeten in Indizes: _C,S bezeichnen verschiedene Bezugssysteme, die sich unter anderem aus 1 und der nachfolgenden Beschreibung ergeben.The proposed method is based on the known hole-camera model with a thin-lens approximation, in which incident beams are projected according to the well-known hole-camera model. The proposed method can be easily extended to the thick-lens approximation depending on the lens used. The projections are focused at positions within the camera having a distance d from a reference plane of the thin lens (= main lens L), the focal length f of the lens L, and the object distance r of a captured object in the direction of the major axis of the lens L according to 1 / f = 1 / d + 1 / r (1) depend. The connections are also the 1 refer to. The indices used in indices: _{C, S} denote different reference systems, which are inter alia 1 and the description below.

Das dünne Linsen-Modell berücksichtigt somit Entfernungen zu einer aufgenommenen Umgebung und dient daher als Startpunkt für ein Kameramodell einer plenoptischen Kamera.The thin lens model thus takes into account distances to a recorded environment and therefore serves as a starting point for a camera model of a plenoptic camera.

Das dünne Linsen-Modell erlaubt eine Formulierung der Projektion gemäß folgender Gleichung:

wobei mit dem Index _C ein dreidimensionales Bezugssystem S_C mit Ursprung am optischen Zentrum der Linse L bezeichnet wird. Metrische Koordinaten {_Cx_f, _Cy_f, _Cz_f} des Bezugssystems S_C geben reale Fokuspunkte _Cp_f = (_Cx_f, _Cy_f, _Cz_f) innerhalb der Kamera an und können in ein virtuelles Bezugssystem S_S eines virtuellen Sensorelementes S transformiert werden. Der Index _f steht für „Focus” oder „fokussiert”. Der virtuelle Sensor korrespondiert vorliegend mit einem virtuellen Sensor, der synthetische Bilddaten liefert, wie sie beispielsweise durch die RxLive Software der Firma Raytrix^TM GmbH erzeugt werden. Der Abstand d von Projektionen _Cz_f ist von zentraler Bedeutung für das Modell. Der Abstand d hängt von der Objektentfernung r zu einer Szene _Cz und der Brennweite f der Linse L ab.The thin lens model allows formulation of the projection according to the following equation:

wherein the index _{C is} a three-dimensional reference system S _C originating at the optical center of the lens L is designated. Metric coordinates { _C x _f , _C y _f , _C z _f } of the reference frame S _C indicate real focus points _C p _f = ( _C x _f , _C y _f , _C z _f ) within the camera and can be put into a virtual frame of reference S _S a virtual sensor element S are transformed. The index _f stands for "focus" or "focused". In the present case, the virtual sensor corresponds to a virtual sensor which delivers synthetic image data, such as those generated, for example, by the RxLive software from Raytrix ^™ GmbH. The distance d of projections _C z _f is of central importance for the model. The distance d depends on the object distance r to a scene _C z and the focal length f of the lens L.

Im dreidimensionalen Bezugssystem S_C sind ebenfalls die Koordinaten einer Umgebung angegeben: _CP = (_Cx, _Cy, _Cz). Ein ebenfalls benutzter Index _O kennzeichnet ein dreidimensionales Bezugssystem des Kalibrierobjektes O: _Op = (_Ox, _Oy, _Oz).In the three-dimensional reference system S _C , the coordinates of an environment are also given: _C P = ( _C x, _C y, _C z). A likewise used index _O denotes a three-dimensional reference system of the calibration object O: _O p = ( _O x, _O y, _O z).

Weiterhin gilt folgender Zusammenhang für die virtuelle Tiefe ν und die fokussierte Tiefe _Cz_f: _Cz_f = ν·b + h (3) Furthermore, the following relationship applies to the virtual depth ν and the focused depth _C z _f : _C z _f = v · b + h (3)

Die virtuelle Tiefe ν ist für Endanwenderanwendungen nur begrenzt verwendbar, da sie keine metrische Angabe ist und nicht linear mit der realen Tiefe _Cz im Bezugssystem S_C zusammenhängt. Es ist erforderlich, die Größen b und h mit hoher Genauigkeit zu ermitteln, um virtuelle Tiefen ν(_Sx, _Sy) in reale metrische Tiefen _Cz zu transformieren.The virtual depth ν is of limited use for end-user applications because it is not a metric and is not linearly related to the real depth _C z in the frame of reference S _C. It is necessary to determine the quantities b and h with high accuracy in order to transform virtual depths ν ( _S x, _S y) into real metric depths _C z.

Durch das vorgeschlagene Verfahren wird zum einen verhindert, dass sich der im Vergleich zu den Totalfokusbildern BD_i,2D höhere Rauschanteil in den Tiefenbildern BD_i,TB auf die Ermittlung der Kalibrierungsparameter KP1 auswirkt. Die Kalibrierungsparameter KP1 werden demzufolge ausschließlich basierend auf den Totalfokusbildern BD_i,2D ermittelt. Eine Ermittlung und Optimierung der Kalibrierungsparameter KP2 erfolgt anschließend ausschließlich auf Basis der Tiefenbilder BD_i,TB und der zuvor ermittelten Kalibrierungsparameter KP1. Dadurch werden die metrische Kalibrierungsgenauigkeit und die Robustheit des Kalibrierungsverfahrens erhöht.On the one hand, the proposed method prevents the higher noise component in the depth images BD _{i, TB} from having an effect on the determination of the calibration parameters KP1 compared to the total focus images BD _{i, 2D} . The calibration parameters KP1 are therefore determined exclusively on the basis of the total focus images BD _{i, 2D} . A determination and optimization of the calibration parameters KP2 then takes place exclusively on the basis of the depth images BD _{i, TB} and the previously determined calibration parameter KP1. This increases the metric calibration accuracy and the robustness of the calibration procedure.

Das vorgeschlagene Verfahren benötigt zum anderen zur Initialisierung des Verfahrens lediglich Informationen zur Detektorgeometrie inklusive der Pixelgröße p der einzelnen Detektorelemente. Somit entfällt gegenüber dem Stand der Technik zudem die Erfassung der vorgenannten extrinsischen und intrinsischen Parameter.On the other hand, the proposed method requires only information about the detector geometry, including the pixel size p of the individual detector elements, for initializing the method. Thus, in comparison with the prior art, the detection of the aforementioned extrinsic and intrinsic parameters is also eliminated.

Vorteilhaft umfassen die ermittelten Kalibrierparameter KP1 zumindest einen absoluten extrinsischen Parameter der Kamera, der beispielsweise eine Position und/oder eine Orientierung der Kamera und/oder Geschwindigkeit einer Kamerabewegung angibt. Vorteilhaft umfassen die ermittelten Kalibrierparameter KP1 radiale Verzeichnungsparameter der Hauptlinse L. Vorteilhaft umfassen die ermittelten Kalibrierparameter KP2 zumindest einen Tiefenverzeichnungsparameter der Hauptlinse L, der eine Verzeichnung der optimal fokussierten Tiefe _Cz_f durch die Hauptlinse L angibt.Advantageously, the determined calibration parameters KP1 comprise at least one absolute extrinsic parameter of the camera, which indicates, for example, a position and / or an orientation of the camera and / or speed of a camera movement. Advantageously, the determined calibration parameters KP1 include radial distortion parameters of the main lens L. Advantageously, the determined calibration parameters KP2 comprise at least one depth distortion parameter of the main lens L, which indicates a distortion of the optimally focused depth _C z _f by the main lens L.

Vorteilhaft weist das Kalibrierungsobjekt ein Kalibriermuster auf, das planar ist und/oder ein Schachbrettmuster aufweist. Das vorgeschlagene Verfahren wird vorteilhaft automatisiert ausgeführt.Advantageously, the calibration object has a calibration pattern which is planar and / or has a checkerboard pattern. The proposed method is advantageously carried out automatically.

Vorteilhaft werden zumindest zwei der Bilddatensätze BD_i,TB und BD_i,2D mit unterschiedlichen Positionen und/oder Orientierungen des Kalibriermusters relativ zur Kamera aufgenommen.Advantageously, at least two of the image data sets BD _{i, TB} and BD _{i, 2D are recorded} with different positions and / or orientations of the calibration pattern relative to the camera.

Vorteilhaft liegen zur Ermittlung der Kalibrierungsparameter KP1 ein dünnes Linsen-Modell mit folgender Projektion von 3D-Koordinaten eines Bezugssystems des Kalibriermusters zu 2D-Koordinaten eines Bezugssystems des Detektors DET:

und folgende Homographie H_(3×3) zugrunde:

To determine the calibration parameters KP1, it is advantageous to use a thin lens model with the following projection of 3D coordinates of a reference system of the calibration pattern to 2D coordinates of a reference system of the detector DET:

and following homography H _{(3 × 3)} :

Die Erfindung betrifft weiterhin ein Computersystem mit einer Datenverarbeitungsvorrichtung, wobei die Datenverarbeitungsvorrichtung derart ausgestaltet ist, dass ein Verfahren, wie vorstehend ausgeführt, auf der Datenverarbeitungsvorrichtung ausgeführt wird.The invention further relates to a computer system having a data processing device, wherein the data processing device is configured such that a method, as stated above, is performed on the data processing device.

Die Erfindung betrifft weiterhin ein digitales Speichermedium mit elektronisch auslesbaren Steuersignalen, wobei die Steuersignale so mit einem programmierbaren Computersystem zusammenwirken können, dass ein Verfahren, wie vorstehend ausgeführt, ausgeführt wird.The invention further relates to a digital storage medium with electronically readable control signals, wherein the control signals can cooperate with a programmable computer system so that a method, as stated above, is performed.

Die Erfindung betrifft weiterhin ein Computer-Programm-Produkt mit auf einem maschinenlesbaren Träger gespeichertem Programmcode zur Durchführung des Verfahrens, wie vorstehend ausgeführt, wenn der Programmcode auf einer Datenverarbeitungsvorrichtung ausgeführt wird.The invention further relates to a computer program product with program code stored on a machine-readable carrier for carrying out the method, as stated above, when the program code is executed on a data processing device.

Die Erfindung betrifft weiterhin ein Computer-Programm mit Programmcodes zur Durchführung des Verfahrens, wie vorstehend ausgeführt, wenn das Programm auf einer Datenverarbeitungsvorrichtung abläuft. Dazu kann die Datenverarbeitungsvorrichtung als ein beliebiges aus dem Stand der Technik bekanntes Computersystem ausgestaltet sein.The invention further relates to a computer program with program codes for carrying out the method, as stated above, when the program runs on a data processing device. For this, the data processing device can be configured as any known from the prior art computer system.

Die Erfindung betrifft schließlich eine Vorrichtung zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer monokularen plenoptischen Kamera, die einen optischen Detektor DET mit einem Array von Detektorelementen mit bekannter Detektorelementgröße p, ein Multi-Linsenarray MLA, und eine Hauptlinse L aufweist, umfassend ein Kalibriermuster mit Merkmalen M bekannter Geometrie, das mittels einer antreibbaren Mechanik relativ zur Kamera anordenbar ist, eine Steuereinheit zur Steuerung der Kamera und der antreibbaren Mechanik, und einer Auswerteeinheit zur Auswertung von von der Kamera aufgenommenen Bilddaten, wobei die Steuereinheit zur Steuerung der Kamera und der Mechanik derart eingerichtet und ausgeführt ist, dass mit der Kamera das Kalibriermuster aus N verschiedenen Perspektiven zur Erzeugung von Bildrohdatensätzen B_i aufgenommen wird, wobei aus den Bildrohdatensätzen B_i Bilddatensätze BD_i,TB und BD_i,2D mit i = 1, 2, ..., N und N ≥ 1 ermittelt werden, wobei BD_i,TB Tiefenbilder sind, die jeweils Tiefeninformationen ν(_Sx, _Sy) an Projektionspunkten _Sx, _Sy in der Kamera wiedergeben, und BD_i,2D Totalfokusbilder sind, die jeweils Helligkeitsinformationen an den Projektionspunkten _Sx, _Sy wiedergeben; wobei die Auswerteeinheit derart eingerichtet ist, dass ausschließlich basierend auf den Bilddatensätzen BD_i,2D, der Pixelgröße P und Geometrie des Kalibriermusters mit den Merkmalen M folgende Kalibrierungsparameter KP1 ermittelt werden: Brennweite f der Hauptlinse L, und optimal fokussierten Tiefe _Cz_f(M) von Projektionen der geometrischen Merkmale M des Kalibriermusters innerhalb der Kamera, und ausschließlich basierend auf den Bilddatensätzen BD_i,TB und den Kalibrierungsparametern KP1 folgende Kalibrierungsparameter KP2 ermittelt werden: ein Abstand h zwischen einer Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene der Hauptlinse L, und ein Abstand b zwischen der Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene des Detektors DET.Finally, the invention relates to a device for determining calibration parameters for the metric calibration of a monocular plenoptic camera which has an optical detector DET with an array of detector elements with known detector element size p, a multi-lens array MLA, and a main lens L, comprising a calibration pattern with features M known geometry, which can be arranged relative to the camera by means of a drivable mechanism, a control unit for controlling the camera and the drivable mechanism, and an evaluation unit for evaluating recorded by the camera image data, wherein the control unit for controlling the camera and the mechanism so arranged and it is disclosed that is received the calibration of N different perspectives for generating raw image data sets B _i with the camera, from the raw image data sets B _i image data sets BD _{i, TB} and BD _{i, 2D} with i = 1, 2, ..., N and N ≥ 1 are determined, w ei BD _{i, TB} are depth images that respectively represent depth information ν ( _S x, _S y) at projection points _S x, _S y in the camera, and BD _{i, 2D are} total focus images, respectively brightness information at the projection points _S x, _S y play; wherein the evaluation unit is set up in such a way that the following calibration parameters KP1 are determined exclusively based on the image data sets BD _{i, 2D} , the pixel size P and the geometry of the calibration pattern with the features M: focal length f of the main lens L, and optimally focused depth _C z _f (M ) of projections of the geometric features M of the calibration pattern within the camera, and based solely on the image data sets BD _{i, TB} and the calibration parameters KP1, the following calibration parameters KP2 are determined: a distance h between a reference plane of the multi-lens array MLA and a reference plane of the main lens L , and a distance b between the reference plane of the multi-lens array MLA and a reference plane of the detector DET.

Vorteilhaft weist das Kalibrierungsobjekt ein Kalibriermuster auf, das planar ist und/oder ein Schachbrettmuster aufweist. Das vorgeschlagene Verfahren wird vorteilhaft automatisiert ausgeführt. Advantageously, the calibration object has a calibration pattern which is planar and / or has a checkerboard pattern. The proposed method is advantageously carried out automatically.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der – gegebenenfalls unter Bezug auf die Zeichnung – zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details will become apparent from the following description in which - where appropriate, with reference to the drawings - at least one embodiment is described in detail. The same, similar and / or functionally identical parts are provided with the same reference numerals.

Es zeigen:Show it:

1 eine Veranschaulichung des dünnen-Linse-Kameramodells sowie der plenoptischen Kamera, und 1 an illustration of the thin-lens camera model as well as the plenoptic camera, and

2 einen schematisierten Ablauf des vorgeschlagenen Verfahrens. 2 a schematic flow of the proposed method.

1 zeigt eine Veranschaulichung des zugrunde liegenden dünnen-Linse-Kameramodells sowie der plenoptischen Kamera. In der rechten Bildhälfte der 1 ist die dünne Hauptlinse L mit ihrer optischen Achse und auf der optischen Achse mit dem Abstand h von einer Bezugsebene der dünnen Hauptlinse L beabstandet das Multilinsenarray MLA sowie mit dem Abstand h + b beabstandet der Detektor DET angeordnet. Von einem, in einem Bezugssystem S_C beschriebenen Objektpunkt _CP = (_Cx, _Cy, _Cz) ausgehende Strahlen werden in der Kamera in einem Focuspunkt _Ip, der in einem Bezugssystem S_I angegeben ist, fokussiert. Der 1 sind die Brennweite f als Abstand des auf der optischen Achse liegenden Fokuspunktes zur Bezugsebene der dünnen Hauptlinse, die Entfernung r des Objektpunktes entlang der optischen Achse zur Bezugsebene der dünnen Hauptlinse, der Abstand h einer Bezugsebene des Multilinsenarrays MLA von der Bezugsebene der dünnen Hauptlinse, und der Abstand des Focuspunktes _Cp_f von der Bezugsebene der dünnen Hauptlinse zu entnehmen. Der linke Teil der 1 zeigt den Strahlengang im Bereich des Multilinsenarrays MLA und des Detektors vergrößert. Das Multilinsenarray MLA weist einen Abstand b von einer Bezugsebene des Detektors DET auf. 1 shows an illustration of the underlying thin-lens camera model as well as the plenoptic camera. In the right half of the picture 1 is the thin main lens L with its optical axis and on the optical axis with the distance h from a reference plane of the thin main lens L spaced apart the multi-lens array MLA as well as the distance h + b spaced detector DET arranged. From a, in a reference system S _C described object point _C P = ( _C x, _C y, _C z) outgoing beams are focused in the camera in a focus point _I p, which is indicated in a reference system S _I. Of the 1 are the focal length f as the distance of the focal point lying on the optical axis to the reference plane of the thin main lens, the distance r of the object point along the optical axis to the reference plane of the main thin lens, the distance h of a reference plane of the multiline array MLA from the reference plane of the thin main lens, and the distance of the focus point _C p _{f to be taken} from the reference plane of the thin main lens. The left part of the 1 shows the beam path in the area of the multi-lens array MLA and the detector enlarged. The multi-lens array MLA has a distance b from a reference plane of the detector DET.

2 zeigt einen schematisierten Ablauf des vorgeschlagenen Verfahrens zur Ermittlung von Kalibrierparametern zur metrischen Kalibrierung einer plenoptischen Kamera, die einen optischen Detektor DET mit einem Array von Detektorelementen mit bekannter Detektorelementgröße p (= Pixelgröße), ein Multi-Linsenarray MLA, und eine Hauptlinse L aufweist. 2 12 shows a schematic sequence of the proposed method for determining calibration parameters for the metric calibration of a plenoptic camera which has an optical detector DET with an array of detector elements with known detector element size p (= pixel size), a multi-lens array MLA, and a main lens L.

In einem ersten Schritt wird mit der plenoptischen Kamera zumindest ein Kalibriermuster mit Mermalen M bekannter Geometrie aus N verschiedenen Perspektiven zur Erzeugung von Bildrohdaten B_i aufgenommen. Aus den Bildrohdaten B_i werden beispielsweise mittels der RxLive Software Bilddatensätze BD_i,TB und BD_i,2D mit i = 1, 2, ..., N und N ≥ 1 erzeugt, wobei BD_i,TB Tiefenbilder sind, die jeweils Tiefeninformationen ν(_Sx, _Sy) an Projektionspunkten _Sx, _Sy in der Kamera wiedergeben, und BD_i,2D Totalfokusbilder sind, die jeweils Helligkeitsinformationen an den Projektionspunkten _Sx, _Sy in der Kamera wiedergeben. Vorteilhaft ist das Kalibriermuster ein Schachbrettmuster, bei dem die Geometrie der Musterecken (= Merkmale M) jeweils bekannt ist.In a first step, the plenoptic camera captures at least one calibration pattern with terms M of known geometry from N different perspectives for generating raw image data B _i . For example, image data sets BD _{i, TB} and BD _{i, 2D} with i = 1, 2,..., N and N ≥ 1 are generated from the image raw data B _i by means of the RxLive software, where BD _{i, TB} are depth images, each of which contains depth information ν ( _S x, _S y) at projection points _S x, _S y in the camera reproduce, and BD _{i, 2D are} total focus images, each representing brightness information at the projection points _S x, _S y in the camera. Advantageously, the calibration pattern is a checkerboard pattern in which the geometry of the pattern corners (= features M) is known in each case.

In einem zweiten Schritt erfolgt ausschließlich basierend auf den Bilddatensätzen BD_i,2D, der Detektorelementgröße P und der bekannten Geometrie des Kalibriermusters mit den Merkmalen M ein Ermitteln folgender Kalibrierungsparameter KP1: Brennweite f der Hauptlinse L, radiale Verzeichnungsparametern der Hauptlinse L, und einer optimal fokussierten Tiefe _Cz_f(M) von Projektionen der geometrischen Merkmale M des Kalibriermusters innerhalb der Kamera.In a second step, exclusively based on the image data sets BD _{i, 2D} , the detector element size P and the known geometry of the calibration pattern with the features M, the following calibration parameters KP1 are determined: focal length f of the main lens L, radial distortion parameters of the main lens L, and an optimally focused Depth _C z _f (M) of projections of the geometric features M of the calibration pattern within the camera.

Hierzu erfolgt zunächst eine Kanten- und Eck-Erkennung (d. h. eine Erkennung der Merkmale M) in den Bilddatensätzen BD_i,2D, eine Schätzung von Homographien H, und, basierend auf der Pixelgröße p, eine lineare Least Square Initialisierung der Parameter KP1, gefolgt von einer nicht linearen Least Square Optimierung der Parameter KP1.For this purpose, an edge and corner recognition (ie a recognition of the features M) in the image data sets BD _{i, 2D} , an estimate of homographies H, and, based on the pixel size p, a linear least square initialization of the parameters KP1, followed from a non-linear least-square optimization of KP1 parameters.

In einem dritten Schritt erfolgt ausschließlich basierend auf den Bilddatensätzen BD_i,TB und den zuvor ermittelten optimierten Kalibrierungsparametern KP1 ein Ermitteln folgender Kalibrierungsparameter KP2: eines Abstandes h zwischen einer Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene der Hauptlinse L, und ein Ermitteln eines Abstandes b zwischen der Bezugsebene des Multi-Linsenarrays MLA und einer Bezugsebene des Detektors DET. In diesem Schritt erfolgt wiederum basierend auf den Eingangsgrößen eine lineare Least Square Initialisierung der Parameter KP2, gefolgt von einer nicht linearen Least Square Optimierung der Parameter KP2.In a third step, exclusively based on the image datasets BD _{i, TB} and the previously determined optimized calibration parameters KP1, the following calibration parameters KP2 are determined: a distance h between a reference plane of the multi-lens array MLA and a reference plane of the main lens L, and a determination of a distance b between the reference plane of the multi-lens array MLA and a reference plane of the detector DET. This step is again based on the Inputs are a linear least square initialization of KP2 parameters, followed by a non-linear least square optimization of KP2 parameters.

Die nachfolgenden Ausführungen erläutern eine konkrete Umsetzung des vorgeschlagenen Verfahrens.The following explanations explain a concrete implementation of the proposed method.

A) Ermitteln der Kalibrierungsparameter KP1 auf Basis der Bilddatensätze BD_i,2D, der Detektorelementgröße p und eines bekannten Kalibriermusters mit den Merkmalen M.A) Determining the calibration parameters KP1 on the basis of the image data sets BD _{i, 2D} , the detector element size p and a known calibration pattern with the features M.

Streicht man aus Gleichung (3) jeweils die dritte, die Tiefeninformation enthaltende Reihe, so erhält man:

was eine Kalibrierung von Projektionen aus 3-D Koordinaten im Bezugssystem S_C oder dem Bezugssystem des Kalibrierobjekts S_O in 2-D Projektionen des Bezugssystems S_S ermöglicht. Diese Formulierung entspricht vollständig dem dünne Linsen-Kameramodell. Vorteilhaft ist das Kalibrierungsobjekt bzw. das Kalibriermuster planar, d. h. es gilt: _Oz = 0.If the third row containing the depth information is subtracted from equation (3), one obtains:

which enables a calibration of projections from 3-D coordinates in the reference frame S _C or the reference frame of the calibration object S _O in 2-D projections of the reference frame S _S. This formulation fully complies with the thin lens camera model. Advantageously, the calibration object or the calibration pattern is planar, that is to say: _O z = 0.

Diese Formulierung erlaubt eine schnelle Initialisierung der Brennweite f und eine Formulierung der Transformation eines starren Körpers: {_CR^O = [r₁, r₂, r₃], _Ct^O[_Cx^O, _Cy^O, _Cz^O]^T} unter Nutzung planarer Homographien H ähnlich des traditionellen Loch-Kameraansatzes. Homographien H können für jeden Bilddatensatz als kleinste Fehlerquadrat-Lösung einer homogenen Formulierung zweier Gleichungen für jedes erfasste bzw. gemessene Merkmal _Sp ~ des Kalibrierungsobjekts angesehen werden.This formulation allows a fast initialization of the focal length f and a formulation of the transformation of a rigid body: { _C R ^O = [r ₁ , r ₂ , r ₃ ], _C t ^O [ _C x ^O , _C y ^O , _C z ^O ] ^T } using planar homographies H similar to the traditional hole camera approach. Homographies H can be considered for each set of image data as the least square error solution of a homogeneous formulation of two equations for each detected or measured characteristic _S p ~ of the calibration object.

Vorteilhaft wird bei der Durchführung des vorgeschlagenen Verfahrens folgende Näherung verwendet:

Advantageously, the following approach is used in carrying out the proposed method:

Diese Näherung basiert darauf, dass die Brennweite f im Allgemeinen sehr viel kleiner ist als die Entfernung zu einem Merkmal des Kalibrierobjekts _Cz vor der Linse L, sofern beide Angaben in gleichen Einheiten angegeben sind.This approximation is based on the fact that the focal length f is generally much smaller than the distance to a feature of the calibration object _C z in front of the lens L, provided that both figures are given in equal units.

Unter Berücksichtigung der Orthonormalitätsbeschränkungen: r₁·r₂ = 0, r₁·r₂ = 1, und r₂·r₂ = 1, d. h. _CR^O ∊ SO(3), erhält man:

wobei gilt:

wobei p die virtuelle Pixelgröße des virtuellen Sensors der Kamera angibt.Taking into account the orthonormality constraints: r ₁ · r ₂ = 0, r ₁ · r ₂ = 1, and r ₂ · r ₂ = 1, ie _C R ^O ε SO (3), one obtains:

where:

where p is the virtual pixel size of the camera's virtual sensor.

Dies erlaubt die direkte Ermittlung einer geschätzten Brennweite f ^, einmal unter Berücksichtigung der Orthogonalbeschränkungen: f ^₁, zum anderen unter Nutzung der Normalisierungsbeschränkungen: f ^₂:

für jedes einzelne der projizierten Merkmale des Kalibriermusters (beispielsweise: Schachbrettmuster). Dabei gilt: h₁ = [h₁₁, h₂₁, h₃₁]^T, h₂ = [h₁₂, h₂₂, h₃₂]^T und beispielsweise p = 2×5.5 μm (was beispielsweise der doppelten Seitenlänge eines virtuellen Kamerapixels einer Raytrix R5 entspricht).This allows the direct determination of an estimated focal length f ^, once taking into account the orthogonal constraints: f ^ ₁ , and using the normalization constraints: f ^ ₂ :

for each one of the projected features of the calibration pattern (e.g., checkerboard pattern). Where: h ₁ = [h _11, h _21, h _31] ^T, h ₂ = [h _12, h _22, h _32] ^T and, for example p = 2 × 5.5 microns (which, for example, twice the side length of a virtual camera pixel of a Raytrix R5 corresponds).

Die Größe p des virtuellen Sensorpixels und die Geometrie des Kalibriermusters (beispielsweise die N Koordinaten der Ecken _Op_i = [_Ox_i, _Oy_i, _Oz_i]^T, ∀i∊ {1, ..., N} eines Schachbrettmusters) sind somit die einzigen erforderlichen Daten für die metrische Initialisierung der Brennweite f. The size p of the virtual sensor pixel and the geometry of the calibration pattern (for example, the N coordinates of the corners _O p _i = [ _O x _i , _O y _i , _O z _i ] ^T , ∀ iε {1, ..., N} Checkerboard pattern) are thus the only data required for the metric initialisation of the focal length f.

Experimente zeigen, dass die Schätzung von f ^₂ zu leicht besseren Ergebnissen führt, sofern die Kalibrierungsbilddaten perspektivische Verzerrungen aufweisen.Experiments show that the estimate of f ^ ₂ leads to slightly better results if the calibration image data has perspective distortions.

Vorzugsweise wird daher auf Basis der N Bilddatensätze BD_i,2D ein Medianwert f ^ = median(f ^₂), ∀i∊ {1, ..., N} ermittelt, der eine hinreichend genaue Schätzung der Brennweite f ermöglicht.Preferably, therefore, based on the N image datasets BD _{i, 2D,} a median value f ^ = median (f ^ ₂ ), ∀iε {1,..., N} is determined which enables a sufficiently accurate estimation of the focal length f.

Nun können unter Verwendung der N Homographien H_i, der approximierten intrinsischen Matrix A, der virtuellen Pixelgröße p und der geschätzten Brennweite f ^ die absoluten extrinsischen Transformationsparameter {_CR^O,_Ct^O} für jeden der Bilddatensätze BD_i,2D wie folgt ermittelt werden: r ^₁ = 1 / sA^–1h₁, r ^₂ = 1 / sA^–1h₂, r ^₃ = r ^₁ × r ^₂, t ^ = 1 / sA^–1h₃, und s = ||A^–1h₁|| = ||A^–1h₂||. Now, using the N homographies H _i , the approximated intrinsic matrix A, the virtual pixel size p and the estimated focal length f 1, the absolute extrinsic transformation parameters { _C R ^O , _C t ^O } for each of the image data sets BD _{i, 2D} can be determined as follows become: r ^ ₁ = 1 / sA ^-1 h ₁ , r ^ ₂ = 1 / sA ^-1 h ₂ , r ^ ₃ = r ^ ₁ × r ^ ₂ , t ^ = 1 / sA ^-1 h ₃ , and s = || A ^-1 h ₁ || = || A ^-1 h ₂ ||.

Somit können alle Modellparameter mit einer hinreichenden Genauigkeit ermittelt werden. Es ist weiterhin bekannt, dass radiale Verzeichnungsparameter der Linse L für eine nachfolgende nichtlineare Optimierung gleich Null gesetzt werden können. Sofern notwendig, können sie vorab ermittelt werden. Hierzu sei auf den eingangs erwähnten Stand der Technik verwiesen.Thus, all model parameters can be determined with sufficient accuracy. It is further known that radial distortion parameters of the lens L can be set equal to zero for a subsequent non-linear optimization. If necessary, they can be determined in advance. Reference is made to the above-mentioned prior art.

Optimale (*) Parameter Ω ^* umfassend f, die Verzeichnungsparameter: _Ix r / 0, _Iy r / 0, k₁, k₂ sowie die N extrinsischen Transformationen {_CR^O, _Ct^O} können auf Basis des maximalen Wahrscheinlichkeitskriteriums, d. h. bei zweckmäßiger Minimierung der Unterschiede zwischen fehlerbehafteten Messungen p ~ und geschätzten Projektionen _Sp ^_d der Merkmale M des Kalibriermusters _Op, wie folgt ermittelt werden:

Optimal (*) parameter Ω ^ * comprising f, the distortion parameters:

_I xr / 0, _I yr / 0,

k ₁ , k ₂ and the N extrinsic transformations { _C R ^O , _C t ^O } can be determined on the basis of the maximum probability criterion, ie, if the differences between error-prone measurements p ~ and estimated projections _S p ^ _{d of} the characteristics M of the calibration pattern _{O are} minimized appropriately p, be determined as follows:

Die geschätzten Projektionen _Sp ^_d hängen von den zu optimierenden Kalibrierungsparametern Ω, der Pixelgröße p des virtuellen Sensorelements, und der bekannten Geometrie _Op des Kalibrierungsmusters bzw. seiner Merkmale M_Op ab.The estimated projections _S p ^ _d depend on the calibration parameters to be optimized Ω, the pixel size p of the virtual sensor element, and the known geometry _O p of the calibration pattern and its characteristics M _O p from.

B) Ermitteln der Kalibrierungsparameter KP2 ausschließlich basierend auf den Bilddatensätzen BD_i,TB und den Kalibrierungsparametern KP1.B) Determining the calibration parameters KP2 exclusively based on the image data sets BD _{i, TB} and the calibration parameters KP1.

Die metrische Kalibrierung von Entfernungen bzw. Tiefen erfordert das möglichst exakte Wissen der Kamera-intrinsischen Parameter: b und h. Diese Parameter verbinden die virtuelle Tiefe mit realen Entfernungen im Bezugssystem S_C (vgl. Gleichung (3)).The metric calibration of distances or depths requires the most exact knowledge of the camera's intrinsic parameters: b and h. These parameters connect the virtual depth to real distances in the reference system S _C (see equation (3)).

Vorteilhaft werden die Parameter b und h wie folgt ermittelt.Advantageously, the parameters b and h are determined as follows.

Aus der Gleichung (3) ergibt sich für die letzte Reihe:

From the equation (3), for the last row:

Gleichung (10) kann nach erfolgreicher Ermittlung der Parameter von Gleichung (9) ausgeführt werden, sodass sich die optimalen Tiefenwerte _Cz {n,c} / f* für alle Merkmale der Bilddatensätze ergeben. Diese Werte, zusammen mit den virtuellen Tiefen ν ~^{n,c} werden zur Bestimmung der Parameter b und h gemäß Gleichung (3) genutzt.Equation (10) can be executed after successfully determining the parameters of equation (9) so that the optimal depth values _C z {n, c} / f * for all characteristics of the image data sets. These values, along with the virtual depths ν ~ ^{{n, c},} are used to determine the parameters b and h according to equation (3).

Zunächst werden diese Werte basierend auf dem bekannten Least Square Verfahren für alle verfügbaren Daten initialisiert:

Initially, these values are initialized based on the known least squares method for all available data:

Diese Parameter können auf Basis eines einzigen Bilddatensatzes ermittelt werden. Anschließend wird das dünne Linse-Kameramodell genutzt, um die beiden Parameter Φ ^ = {b ^, h ^} wie folgt zu optimieren:

wobei die optimalen Parameter Q ^* von Gleichung (9) einfließen. Diese Optimierung konvergiert in wenigen Schritten.These parameters can be determined based on a single image data set. Then the thin lens camera model is used to optimize the two parameters Φ ^ = {b ^, h ^} as follows:

where the optimal parameters Q ^ * of equation (9) are included. This optimization converges in a few steps.

Tiefeninformationen plenoptischer Kameras sind weiterhin von systematischen Tiefenfehlern(-Verzeichnungen) betroffen. Vorteilhaft wird diese Verzeichnung in ähnlicher Weise behandelt, wie die radialen Verzeichnungen.Depth information from plenoptic cameras continues to be affected by systematic depth errors (markings). Advantageously, this distortion is treated in a similar way as the radial distortions.

Vorteilhaft werden diese Tiefenverzeichnungen mit folgendem Modell beschrieben:

Advantageously, these depth distortions are described with the following model:

Das Modell beschreibt einen schiefsymmetrischen Paraboloiden, wobei die Faktoren α und β eine lineare Abweichung in Bezug auf die laterale Position parametrisieren, und wobei γ_k und δ_k die lineare Abweichung der Tiefenverzeichnung in Bezug auf die virtuelle Tiefe und die absolute laterale Distanz parametrisieren.The model describes a skew-symmetric paraboloid, where the factors α and β parameterize a linear deviation with respect to the lateral position, and where γ _k and δ _k parameterize the linear deviation of the depth distortion with respect to the virtual depth and the absolute lateral distance.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche definiert wird.Although the invention has been further illustrated and explained in detail by way of preferred embodiments, the invention is not limited by the disclosed examples, and other variations can be derived therefrom by those skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exists. It is also to be understood that exemplified embodiments are really only examples that are not to be construed in any way as limiting the scope, applicability, or configuration of the invention. Rather, the foregoing description and description of the figures enable one skilled in the art to practice the exemplary embodiments, and those of skill in the knowledge of the disclosed inventive concept may make various changes, for example as to the function or arrangement of particular elements recited in an exemplary embodiment, without To leave protection area, which is defined by the claims.

Claims

Method for determining calibration parameters for the metric calibration of a plenoptic camera which has an optical detector DET with an array of detector elements with known detector element size p, a multi-lens array MLA, and a main lens L, in which - with the plenoptic camera at least one calibration pattern Features M of known geometry from N different perspectives for generating image data sets BD _{i, TB} and BD _{i, 2D} with i = 1, 2, ..., N and N ≥ 1, where BD _{i, TB are} depth images, respectively Reproduce depth information v ( _S x, _S y) at projection points _S x, _S y in the camera, and BD _{i, 2D are} total focus images respectively representing brightness information at the projection points _S x, _S y in the camera; - Based solely on the image data sets BD _{i, 2D} , the detector element size p and the known geometry of the calibration pattern having the features M determining the following calibration parameters KP1 takes place: - focal length f of the main lens L, and - optimally focused depths _C z _f (M) of Projections of the geometric features M of the calibration pattern within the camera, based exclusively on the image datasets BD _{i, TB} and the calibration parameters KP1, determination of the following calibration parameters KP2 takes place: a distance h between a reference plane of the multi-lens array MLA and a reference plane of the main lens L , and a distance b between the reference plane of the multi-lens array MLA and a reference plane of the detector DET.

Method according to Claim 1, in which the determined calibration parameters KP1 comprise at least one absolute extrinsic parameter of the camera, which indicates, for example, a position and / or an orientation of the camera and / or a speed of a camera movement.

Method according to Claim 1 or 2, in which the determined calibration parameters KP1 comprise radial distortion parameters of the main lens L.

Method according to one of Claims 1 to 3, in which the determined calibration parameters KP2 comprise at least one depth-distortion parameter of the main lens L, which indicates a distortion of the focused depths _C z _f (M) by the main lens L.

Method according to one of claims 1 to 4, wherein the calibration pattern is planar and / or has a checkerboard pattern.

Method according to one of claims 1 to 5, wherein the method is carried out automatically.

Method according to one of claims 1 to 6, wherein at least two of the image data sets BD _{i, TB} and BD _{i, 2D are recorded} with different positions and orientations of the calibration pattern relative to the camera.

Method according to one of Claims 1 to 7, in which, to determine the calibration parameters KP1, a thin lens model with the following projection of 3D coordinates of a reference system of the calibration pattern to 2D coordinates of a reference system of the detector DET:

and the following homography H are based:

Apparatus for determining calibration parameters for the metric calibration of a monocular plenoptic camera, comprising an optical detector DET with an array of detector elements with known detector element size p, a multi-lens array MLA, and a main lens L, and for carrying out a method according to the preceding claims, comprising a calibration pattern with features M of known geometry, which can be arranged relative to the camera by means of a drivable mechanism, a control unit for controlling the camera and the drivable mechanism, and an evaluation unit for evaluating image data recorded by the camera, wherein - the control unit for controlling the Camera and the mechanics is set up and executed so that the calibration pattern is taken from N different perspectives for generating the image raw data sets B _i with the camera, wherein from the image raw data sets B _i image data sets BD _{i, TB} and BD _{i, 2D} with i = 1, 2, .. , N and N ≥ 1, where BD _{i, TB} are depth images respectively representing depth information v ( _S x, _S y) at projection points _S x, _S y in the camera, and BD _{i, 2D are} total focus images respectively display brightness information at the projection points _S x, _S y; The evaluation unit is set up in such a way that the following calibration parameters KP1 are determined exclusively based on the image data records BD _{i, 2D} , the pixel size p and the geometry of the calibration pattern having the features M: focal length f of the main lens L and an optimally focused depth _C z _f ( M) of projections of the geometric features M of the calibration pattern within the camera, and based solely on the image data sets BD _{i, TB} and the calibration parameters KP1 following calibration parameters KP2 are determined: a distance h between a reference plane of the multi-lens array MLA and a reference plane of the main lens L, and a distance b between the reference plane of the multi-lens array MLA and a reference plane of the detector DET.