DE102014214983A1

DE102014214983A1 - Method and device for calibrating a camera module

Info

Publication number: DE102014214983A1
Application number: DE102014214983.5A
Authority: DE
Inventors: Joerg Becker; Philipp Preller; Thomas Seiffert
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-07-30
Filing date: 2014-07-30
Publication date: 2016-02-04

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von extrinsischen und intrinsischen Kalibrierparametern eines Kameramoduls mit einem Objektiv und einem Bildsensor. Erfindungsgemäß ist vorgesehen, dass mit einem Referenz-Kameramodul Referenz-Kalibrierparameter bestimmt werden, dass mit dem Referenz-Kameramodul eine Referenz-Aufnahme eines Kalibriertargets aufgenommen wird, dass ein Kennfeld oder ein Funktionszusammenhang der Abhängigkeit der intrinsischen Kalibrierparameter von Abweichungen der Referenz-Aufnahme von einer Prüflings-Aufnahme des unverändert positionierten Kalibriertargets erstellt wird, dass mit einem Prüflings-Kameramodul die Prüflings-Aufnahme des unverändert positionierten Kalibriertargets erstellt wird und dass intrinsische Prüflings-Kalibrierparameter mittels des Kennfelds oder des funktionalen Zusammenhangs aus den Abweichungen zwischen der Referenz-Aufnahme und der Prüflings-Aufnahme abgeleitet werden.The invention relates to a method for determining extrinsic and intrinsic calibration parameters of a camera module with a lens and an image sensor. According to the invention, it is provided that reference calibration parameters are determined with a reference camera module, that a reference image of a calibration target is recorded with the reference camera module, that a characteristic field or a functional relationship of the dependence of the intrinsic calibration parameters on deviations of the reference image from one DUT's recording of the unchanged positioned calibration target is created, that with a DUT camera module, the DUT recording of the unchanged positioned calibration target is created and that intrinsic DUT calibration parameters by means of the map or the functional relationship from the differences between the reference recording and the DUTs Recording are derived.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Bestimmung von extrinsischen und intrinsischen Kalibrierparametern eines Kameramoduls mit einem Objektiv und einem Bildsensor.The invention relates to a method for determining extrinsic and intrinsic calibration parameters of a camera module with a lens and an image sensor.

Die Erfindung betrifft weiterhin eine Vorrichtung zur Verwirklichung des Verfahrens. Ein Kameramodul, das zur geometrischen Vermessung von Objekten oder zur Bilderkennung eingesetzt werden soll, muss zur Berücksichtigung von Bildfehlern kalibriert werden. Nach bekannten Verfahren von Roger Y. Tsai oder Z. Zang werden hierzu Aufnahmen von Kalibriertargets an unterschiedlichen Positionen im Bildfeld des Kameramoduls erstellt und zur Gewinnung von Kalibrierwerten ausgewertet. Als Kalibriertargets werden Tafeln mit Punkt-Mustern oder Schachbrett-Mustern verwendet, die üblicherweise 50 bis 100 Punkte im Raum („3D-Weltkoordinaten“) definieren. Diese Kalibriertargets werden an 20 bis 100 vorgebbaren Positionen im Raum orientiert und aufgenommen. Jede Aufnahme erzeugt auf einem Bildsensor des Kameramoduls ein zweidimensionales Muster, aus dem durch Kantenerkennung beim Schachbrett-Muster oder Schwerpunkterkennung beim Punkt-Muster der Ort der Abbildung der 3D-Weltkoordinaten auf dem Bildsensor bestimmt wird. Zur Berücksichtigung der Orientierung des Kameramoduls zu den 3D-Weltkoordinaten, zu der Brennweite und Verzerrung der Optik ist es nach Tsai vorgesehen, 6 extrinsische und 5 intrinsische Kalibrierparameter zu bestimmen.The invention further relates to a device for realizing the method. A camera module that is to be used for geometric measurement of objects or for image recognition must be calibrated to take account of image errors. For this purpose, recordings of calibration targets at different positions in the image field of the camera module are created according to known methods by Roger Y. Tsai or Z. Zang and evaluated to obtain calibration values. As calibration targets, panels with dot patterns or checkerboard patterns are used, which typically define 50 to 100 points in space ("3D world coordinates"). These calibration targets are oriented and recorded at 20 to 100 predeterminable positions in space. Each recording generates a two-dimensional pattern on an image sensor of the camera module, from which the location of the mapping of the 3D world coordinates on the image sensor is determined by edge detection in the checkerboard pattern or center of gravity detection in the dot pattern. In order to take into account the orientation of the camera module to the 3D world coordinates, to the focal length and distortion of the optics, according to Tsai it is intended to determine 6 extrinsic and 5 intrinsic calibration parameters.

Die extrinsischen Kalibrierparameter sind dabei die Rotation der Kamera um die X-, Y- und Z-Achse sowie deren Translation in X-, Y- und Z-Richtung. Als intrinsische Kalibrierparameter werden die Brennweite, die X- und Y-Koordinate des Bildhauptpunkts auf den Sensor, ein Skalierungsfaktor und ein radialer Linsenfehlerkoeffizient bestimmt, welcher die optische Verzerrung der Anordnung wiedergibt. The extrinsic calibration parameters are the rotation of the camera about the X, Y and Z axes and their translation in the X, Y and Z directions. As intrinsic calibration parameters, the focal length, the X and Y coordinates of the image principal point on the sensor, a scaling factor and a radial lens error coefficient are determined which reflect the optical distortion of the device.

Nachteilig an dem Verfahren ist, dass bei den bekannten Kalibriertargets eine nur geringe Anzahl von Punkten in den 3D-Welt-Koordinaten definiert ist und daher die Genauigkeit der Kalibrierung durch eine Aufnahme der Kalibriertargets an unterschiedlichen Positionen verbessert werden muss. Die Aufnahme und Auswertung zur Kalibrierung ist wegen der großen Anzahl an Aufnahmen zeitaufwändig und für eine Kalibrierung im Rahmen eines Produktionsprozesses nicht geeignet.A disadvantage of the method is that in the known calibration targets only a small number of points in the 3D world coordinates is defined and therefore the accuracy of the calibration must be improved by recording the calibration targets at different positions. The recording and evaluation for calibration is time-consuming because of the large number of images and for a calibration in a production process is not suitable.

Es ist daher Aufgabe der Erfindung, ein Verfahren für eine vereinfachte Kalibrierung eines Kameramoduls anzugeben.It is therefore an object of the invention to specify a method for a simplified calibration of a camera module.

Es ist weiterhin Aufgabe der Erfindung, eine Vorrichtung zur Durchführung des Verfahrens bereitzustellen.It is a further object of the invention to provide a device for carrying out the method.

Offenbarung der ErfindungDisclosure of the invention

Die das Verfahren betreffende Aufgabe der Erfindung wird dadurch gelöst, dass mit einem Referenz-Kameramodul Referenz-Kalibrierparameter bestimmt werden, dass mit dem Referenz-Kameramodul eine Referenz-Aufnahme eines Kalibriertargets aufgenommen wird, dass ein Kennfeld oder ein Funktionszusammenhang der Abhängigkeit der intrinsischen Kalibrierparameter von Abweichungen der Referenz-Aufnahme von einer Prüflings-Aufnahme des unverändert positionierten Kalibriertargets erstellt wird, dass mit einem Prüflings-Kameramodul die Prüflings-Aufnahme des unverändert positionierten Kalibriertargets erstellt wird und dass intrinsische Prüflings-Kalibrierparameter mittels des Kennfelds oder des funktionalen Zusammenhangs aus den Abweichungen zwischen der Referenz-Aufnahme und der Prüflings-Aufnahme abgeleitet werden.The object of the invention relating to the method is achieved by determining with a reference camera module reference calibration parameters that a reference image of a calibration target is recorded with the reference camera module, that a characteristic field or a functional relationship of the dependence of the intrinsic calibration parameters of Deviations of the reference recording from a Prüflings recording of the unchanged positioned calibration target is created that is created with a DUT camera module DUT recording of the unchanged positioned calibration target and that intrinsic DUT calibration parameters by means of the map or the functional relationship from the differences between derived from the reference recording and the DUT recording.

An dem Referenz-Kameramodul („Golden Sample“) werden Referenz-Kalibrierparameter mittels eines Verfahrens nach dem Stand der Technik, wie beispielhaft nach Tsai oder Zang, mittels vieler Aufnahmen des Kalibriertargets an unterschiedlichen Positionen bestimmt. Als Kalibriertarget kann dabei ein Punktmuster oder ein Schachbrettmuster verwendet werden. Zusätzlich wird mittels des Referenz-Kameramoduls eine Referenz-Aufnahme des Kalibriertargets erstellt, aus deren Vergleich mit einer Prüflings-Aufnahme, die mit einem in einem Produktions-Prozess zu kalibrierenden Prüflings-Kameramodul erstellt wurde, Prüflings-Kalibrierparameter für dieses individuelle Prüflings-Kameramodul ermittelt werden. Im Produktionsprozess erfolgt die Kalibrierung daher nur mit einer oder mit wenigen Prüflings-Aufnahmen und ist damit schnell und kostengünstig. Die Prüflings-Kalibrierparameter werden dabei aus den Referenz-Kalibrierparametern mittels einer Bewertung der Abweichungen zwischen der Referenz-Aufnahme und der Prüflings-Aufnahme anhand eines vorab bestimmten Kennfelds oder Funktionszusammenhangs bestimmt.Reference calibration parameters are determined at the reference camera module ("golden sample") by means of a method according to the prior art, such as for example according to Tsai or Zang, by means of many recordings of the calibration target at different positions. The calibration target can be a dot pattern or a checkerboard pattern. In addition, a reference image of the calibration target is created by means of the reference camera module, from which comparison with a test sample image, which was created with a test object camera module to be calibrated in a production process, determines test specimen calibration parameters for this individual test object camera module become. In the production process, the calibration is therefore carried out with only one or a few Prüflingsaufnahmen and is thus fast and cost-effective. The test specimen calibration parameters are determined from the reference calibration parameters by means of an evaluation of the deviations between the reference recording and the test specimen recording on the basis of a previously determined characteristic diagram or functional relationship.

Die Schritte zur Ermittlung der Prüflings-Kalibrierparameter können bei Bedarf in abweichender Reihenfolge ausgeführt werden. Bei einem Anwendungsfall mit bekanntem Einbau-Ort des Kameramoduls, wie beispielhaft in einem Kraftfahrzeug, können die extrinsischen Kalibrierparameter zur Translation in X-, Y- und Z-Richtung als bekannt und über die Serie konstant angesehen werden. Durch die Kalibrierung des Prüflings-Kameramoduls werden die intrinsischen Kalibrierparameter individuell bestimmt und verbliebene Abweichungen den extrinsischen Kalibrierparametern zur Rotation um die X-, Y- und Z-Achse zugeordnet. If necessary, the steps for determining the sample calibration parameters can be performed in a different order. In an application with a known installation location of the camera module, such as in a motor vehicle, the extrinsic calibration parameters for translation in the X, Y and Z directions can be considered as known and constant over the series. By calibrating the DUT camera module, the intrinsic calibration parameters are determined individually and any remaining divergences are determined to be extrinsic Calibration parameters associated with the rotation about the X, Y and Z axis.

Je nach Erfordernis kann anstatt eines einzigen Vergleichs zwischen der Prüflings-Aufnahme und der Referenz-Aufnahme das Kalibriertarget an zusätzlichen weiteren Positionen von dem Referenz-Kameramodul und dem Prüflings-Kameramodul aufgenommen werden und so die Kalibrierung verbessert werden. Auf jeden Fall lässt sich die Anzahl der Aufnahmen gegenüber dem Stand der Technik wesentlich reduzieren.As needed, instead of a single comparison between the sample holder and the reference holder, the calibration target may be picked up at additional additional positions by the reference camera module and the DUT camera module, thereby improving calibration. In any case, the number of shots compared to the prior art can be significantly reduced.

Zusätzlich zu der beschriebenen Ermittlung der extrinsischen und intrinsischen Kalibrierparameter kann es vorgesehen sein, dass aus der Prüflings-Aufnahme eine Schärfe der Abbildung des Kalibriermusters ermittelt wird und so eine fehlerhafte Fokussierung des Prüflings-Kameramoduls aufgedeckt werden. Weiterhin kann aus einer Auswertung der Prüflings-Aufnahme eine Homogenität der Abbildung von Hintergrund- und Vordergrundbereichen abgeschätzt werden.In addition to the described determination of the extrinsic and intrinsic calibration parameters, it can be provided that a sharpness of the image of the calibration pattern is determined from the test specimen image and thus an erroneous focusing of the specimen camera module is revealed. Furthermore, a homogeneity of the image of background and foreground areas can be estimated from an evaluation of the test object image.

In einer Weiterführung des Verfahrens ist vorgesehen, dass als Kalibriertarget ein grauwertmoduliertes oder farbmoduliertes Streifen-Target verwendet wird und dass bei mehreren Phasenwinkeln der Modulation aus den Unterschieden zwischen der Referenz-Aufnahme und der Prüflings-Aufnahme Prüflings-Kalibrierparameter ermittelt werden. Da für unterschiedliche Phasenwinkel die 3D-Weltkoordinaten auf dem Kalibriertarget unterschiedlich sind, wird so die Abbildung weiterer Orte durch das Kameramodul in den Kalibriervorgang einbezogen und somit die Genauigkeit der Kalibrierung verbessert. Das Steifen-Target kann dabei auch in zwei Richtungen (X- und Y-Richtung) moduliert sein, so dass ein phasenwinkelmoduliertes Schachbrettmuster entsteht. Das farbmodulierte Kalibriertarget kann mit unterschiedlichen Farbcodierungen in X- und Y-Richtung, beispielhaft rot in X-Richtung und grün in Y-Richtung codiert sein.In a continuation of the method, it is provided that a gray-scale modulated or color-modulated strip target is used as the calibration target, and that at several phase angles of the modulation, specimen calibration parameters are determined from the differences between the reference image and the test object image. Since the 3D world coordinates on the calibration target are different for different phase angles, the mapping of further locations by the camera module is thus included in the calibration process, thus improving the accuracy of the calibration. The stiffening target can also be modulated in two directions (X and Y direction), so that a phase angle-modulated checkerboard pattern is produced. The color-modulated calibration target can be coded with different color codings in the X and Y directions, for example red in the X direction and green in the Y direction.

In einer vorteilhaften Weiterbildung des Verfahrens ist vorgesehen, dass als Modulation des Kalibriertargets eine sinusförmige, dreiecksförmige oder sägezahnförmige Modulation verwendet wird. Bei einer solchen Modulation können durch Wahl des Phasenwinkels unterschiedliche Orte auf dem Kalibriertarget ausgewählt und zur Kalibrierung herangezogen werden. Aus je einer einzigen Aufnahme mit dem Referenz-Kameramodul und dem Prüflings-Kameramodul kann so in der Auswertung die Anzahl der zur Kalibrierung verwendeten Ortskoordinaten vervielfacht werden. Dabei ist die Ortsauflösung auf dem Kalibriertarget um ein Mehrfaches höher als bei Verwendung eines Punkt- oder Schachbrett-Targets.In an advantageous development of the method, it is provided that a sinusoidal, triangular or sawtooth-shaped modulation is used as a modulation of the calibration target. In such a modulation, by selecting the phase angle, different locations on the calibration target can be selected and used for the calibration. From a single recording with the reference camera module and the DUT camera module can be multiplied in the evaluation, the number of location coordinates used for calibration. The spatial resolution on the calibration target is several times higher than when using a point or checkerboard target.

Die die Vorrichtung betreffende Aufgabe der Erfindung wird dadurch gelöst, dass ein Progammablauf oder Schaltkreis zur Ableitung von Prüflings-Kalibrierparametern für ein Prüflings-Kameramodul aus Referenz-Kalibrierparametern für ein Referenz-Kameramodul mittels eines Vergleichs einer Referenz-Aufnahme, die mit dem Referenz-Kameramodul von einem Kalibriertarget erstellt wurde und einer Prüflings-Aufnahme, die mit dem Prüflings-Kameramodul von dem unverändert angeordneten Kalibriertarget erstellt wurde, unter Berücksichtigung eines Kennfelds oder eines Funktionszusammenhangs der intrinsischen Kalibrierparameter von Abweichungen zwischen Referenz-Aufnahme und Prüflings-Aufnahme vorgesehen ist. Die aufwändige Kalibrierung nach dem Stand der Technik wird somit nur für das Referenz-Kameramodul durchgeführt. Für die in der Serie hergestellten Prüflings-Kameramodule wird lediglich eine einzige Aufnahme oder einige wenige Aufnahmen des Kalibriertargets mit einer (oder einigen wenigen) aus gleicher Position aufgenommenen Referenz-Aufnahme mit dem Referenz-Kameramodul verglichen und daraus Abweichungen der Prüflings-Kalibrierparameter von den Referenz-Kalibrierparametern bestimmt.The object of the invention relating to the device is achieved in that a program sequence or circuit for deriving sample calibration parameters for a sample camera module from reference calibration parameters for a reference camera module by means of a comparison of a reference recording with the reference camera module was created by a calibration target and a test specimen image that was created with the DUT camera module from the unchanged calibration target, taking into account a map or a functional relationship of the intrinsic calibration parameters of deviations between reference recording and Prüflingsaufnahme is provided. The complex calibration according to the prior art is thus carried out only for the reference camera module. For the DUT camera modules produced in the series, only a single shot or a few shots of the calibration target are compared with one (or a few) reference shot taken from the same position with the reference camera module and therefrom deviations of the DUT calibration parameters from the reference Calibration parameters determined.

Die Erfindung wird im Folgenden anhand eines in den Figuren dargestellten Ausführungsbeispiels näher erläutert. Es zeigen:The invention will be explained in more detail below with reference to an embodiment shown in FIGS. Show it:

1 einen funktionalen Zusammenhang zur Kalibrierung eines Kameramoduls 1 a functional connection for the calibration of a camera module

2 ein grauwertmoduliertes Streifentarget mit einem Intensitätsverlauf. 2 a gray value modulated strip target with an intensity profile.

1 zeigt in einem ersten Diagramm 10 einen Funktionszusammenhang 12 entlang einer Abstands-Achse 11 und einer Brennweiten-Achse 13. Der Funktionszusammenhang 12 dient der Ableitung eines intrinsischen Kalibrierparameters für eine Brennweite eines Objektivs für ein Prüflings-Kameramodul aus einem Vergleich von Aufnahmen mit dem Prüflings-Kameramodul und einem Referenz-Kameramodul. Der Funktionszusammenhang 12 gibt an, wie sich der Abstand zweier Bildpunkte auf einem Bildsensor des Prüflings-Kameramoduls in Abhängigkeit der Brennweite des Objektivs ändert. Der Funktionszusammenhang 12 wurde vorab anhand von Messungen an einem Kameramodul unter Ausnutzung von Objektiven unterschiedlicher Brennweite erstellt um die Auswirkung von in der Serie vorkommenden Streuungen zu bestimmen. In vergleichbarer Art können auch funktionale Zusammenhänge für die anderen intrinsischen Kalibrierparameter angegeben und verwendet werden. Beim Einsatz einer Serie von Kameramodulen in einer bekannten Anordnung, wie beispielhaft in einem Kraftfahrzeug, können die extrinsischen Kalibrierparameter zur Translation in X-, Y- und Z-Richtung als fest vorgegeben angenommen werden und müssen nicht bestimmt werden. Wichtig in einer solchen Anwendung ist lediglich die Bestimmung der von der Serienstreuung abhängigen intrinsischen Kalibrierparameter. 1 shows in a first diagram 10 a functional context 12 along a distance axis 11 and a focal length axis 13 , The functional context 12 is used to derive an intrinsic calibration parameter for a focal length of a lens for a DUT camera module from a comparison of recordings with the DUT camera module and a reference camera module. The functional context 12 indicates how the distance between two pixels on an image sensor of the DUT camera module changes depending on the focal length of the lens. The functional context 12 was prepared in advance by measurements on a camera module using lenses of different focal lengths to determine the effect of variations occurring in the series. In a similar way, functional relationships can be specified and used for the other intrinsic calibration parameters. When using a series of camera modules in a known arrangement, such as in a motor vehicle, the extrinsic calibration parameters for translation in the X, Y and Z directions can be assumed to be fixed and need not be determined. Important in such an application is only the determination of the serial scattering dependent intrinsic calibration parameters.

2 zeigt in einem zweiten Diagramm 20 ein entlang einer X-Achse 24 grauwertmoduliertes Kalibriertarget, wie es zur Bestimmung von extrinsischen und intrinsischen Kalibrierparametern des Prüflings-Kameramoduls verwendet werden kann. Entlang der X-Achse 24 weist das grauwertmodulierte Kalibriertarget einen sinusförmigen Grauwertverlauf 26 auf, der entlang einer Grauwert-Achse 25 abgetragen ist. Hierdurch entstehen entlang der X-Achse 24 Streifen hohen Grauwerts 22 und Streifen niedrigen Grauwerts 23. Entlang einer Y-Achse 21 ist der Grauwert des grauwertmodulierten Kalibriertargets jeweils konstant. Der Grauwertverlauf 26 kann entlang der X-Achse 24 auch als phasenwinkel-abhängiger Grauwertverlauf 26 aufgefasst werden, so dass zwischen dem Streifen hohen Grauwerts 22 und dem Streifen niedrigen Grauwerts 23 ein Phasenunterschied von 180 Grad besteht. Das grauwertmodulierte Kalibriertarget wird zur Bestimmung der Kalibrierparameter von dem Prüflings-Kameramodul und dem Referenz-Kameramodul bei identischer Orientierung im Raum (3D-Weltkoordinaten) aufgenommen. Aus den Aufnahmen können zur Vergrößerung der Anzahl von erfassten 3D-Weltkoordinaten jeweils aus beiden Aufnahmen Bildpunkte auf dem Bildsensor verglichen werden, die zu einem gleichen Phasenwinkel gehören. Durch Änderung der Wahl des Phasenwinkels werden andere 3D-Weltkoordinaten zum Vergleich herangezogen. 2 shows in a second diagram 20 one along an x-axis 24 gray scale modulated calibration target, as may be used to determine extrinsic and intrinsic calibration parameters of the DUT camera module. Along the X axis 24 the gray scale modulated calibration target has a sinusoidal gray value curve 26 on that along a gray value axis 25 is worn away. This results along the X-axis 24 Strip of high gray value 22 and stripes of low gray value 23 , Along a Y axis 21 the gray value of the gray value modulated calibration target is constant in each case. The gray scale gradient 26 can be along the X axis 24 also as a phase angle-dependent gray value curve 26 be understood, so that between the strip high gray value 22 and the strip of low gray value 23 there is a phase difference of 180 degrees. The gray scale-modulated calibration target is recorded by the DUT camera module and the reference camera module with identical orientation in space (3D world coordinates) for determination of the calibration parameters. To increase the number of acquired 3D world coordinates, the images can be compared in each case from both images pixels on the image sensor that belong to the same phase angle. By changing the choice of phase angle, other 3D world coordinates are used for comparison.

Claims

Method for determining extrinsic and intrinsic calibration parameters of a camera module having a lens and an image sensor, characterized in that reference calibration parameters are determined with a reference camera module, that a reference image of a calibration target is recorded with the reference camera module, that a characteristic field or a functional context ( 12 ) of the dependence of the intrinsic calibration parameters of deviations of the reference recording of a Prüflingsaufnahme the unchanged positioned calibration target is created that is created with a DUT camera module DUT recording of the unchanged positioned calibration target and that intrinsic DUT calibration parameters by means of the map or deriving from the differences between the reference recording and the UUT.

A method according to claim 1, characterized in that a gray scale modulated or color modulated strip target is used as the calibration target and that are determined at several phase angles of the modulation from the differences between the reference recording and the Prüflingsaufnahme Prüflings calibration parameters.

A method according to claim 1 or 2, characterized in that a sinusoidal, triangular or sawtooth-shaped modulation is used as a modulation of the calibration target.

Device for determining extrinsic and intrinsic calibration parameters of a camera module with a lens and an image sensor, characterized in that a program sequence or circuit for deriving Prüflings calibration parameters for a DUT camera module from reference calibration parameters for a reference camera module by means of a comparison of a reference Recording, which was created with the reference camera module from a calibration target and a test object image, which was created with the test object camera module from the unchanged calibration target, taking into account a characteristic map or a functional context ( 12 ) the intrinsic calibration parameter of deviations between reference recording and Prüflingsaufnahme is provided.