DE10115043A1

DE10115043A1 - Calibration method for vehicle-mounted camera system uses evaluation of reference body image provided by camera for correcting misaligment of camera axis

Info

Publication number: DE10115043A1
Application number: DE2001115043
Authority: DE
Inventors: Steffi Mehring; Cathy L Boon; Andreas Kuehnle
Original assignee: DaimlerChrysler AG; Iteris Inc
Current assignee: Mercedes Benz Group AG; Iteris Inc
Priority date: 2000-04-25
Filing date: 2001-03-27
Publication date: 2002-04-04

Abstract

The calibration method has a camera (2) of the camera system (1) directed onto a reference body (5), with evaluation of the camera position relative to a reference coordinate system (7). A reference line of the reference body is aligned with a line within the reference coordinate system, with optical detection of the reference line by the camera and evaluation of the angle between the reference line and an associated line within the camera coordinate system (6) for correcting the misalignment of the latter relative to the reference coordinate system. An Independent claim for a device for calibration of a vehicle-mounted camera system is also included.

Description

Die Erfindung bezieht sich auf ein Verfahren und eine Vorrich tung zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems, nach dem Ober begriff des Anspruches 1 bzw. 9.The invention relates to a method and a device device for calibration of a camera system, in particular one camera system arranged on a vehicle, according to the waiter Concept of claim 1 or 9.

In der Offenlegungsschrift DE 195 36 297 Al ist ein Kalibrie rungsverfahren beschrieben worden, bei dem zur geometrischen Kalibrierung von optischen 3D-Sensoren zur dreidimensionalen Vermessung von Objekten relativ zu einem Referenzkoordinaten system ein Kalibrierungsgegenstand von einer Kamera in ver schiedenen Positionen aufgezeichnet und in einer der Kamera zu geordneten Auswerteeinheit ausgewertet wird. Der Kalibrierungs gegenstand ist mit einer schwarzweiß gestreiften Oberfläche versehen, die von einem der Kamera zugeordneten Beleuchtungs projektor mit definierten Lichtstrukturen angestrahlt wird, wo durch ein bestimmtes Reflektionsmuster entsteht. Aus der Re flektion des Musters kann auf die Position der Kamera im Refe renzkoordinatensystem geschlossen werden, wobei Abweichungen des kamerafesten Koordinatensystems vom Referenzkoordinatensys tem entweder durch eine Justierung des Kamerasystems korrigiert oder rechnerisch bei der Auswertung eines aufgenommenen Bildes berücksichtigt werden können.In the published patent application DE 195 36 297 A1 there is a calibration described in the geometric Calibration of optical 3D sensors for three-dimensional Measurement of objects relative to a reference coordinate system a calibration object from a camera in ver different positions and recorded in one of the cameras ordered evaluation unit is evaluated. The calibration object is with a black and white striped surface provided by a lighting assigned to the camera projector is illuminated with defined light structures where is created by a certain reflection pattern. From the Re flexion of the pattern can depend on the position of the camera in the Refe boundary coordinate system are closed, deviations of the camera-fixed coordinate system from the reference coordinate system corrected either by adjusting the camera system or arithmetically when evaluating a captured image can be taken into account.

Dieses auf den Prinzipien der Steifenprojektion und der Trian gulation beruhende Verfahren setzt voraus, dass dem Kamerasys tem ein Beleuchtungsprojektor zugeordnet ist, welcher in der Lage ist, definierte Lichtstrukturen zu erzeugen. Weiterhin müssen vergleichsweise aufwendige Auswertealgorithmen durchlau fen werden, mit denen das vom Kamerasystem aufgenommene Reflek tionsmuster zur Bestimmung der Kameraposition untersucht wird.This on the principles of the stiff projection and the Trian gulation-based process requires that the camera system system is assigned a lighting projector, which in the It is able to generate defined light structures. Farther have to go through comparatively complex evaluation algorithms be with which the reflected by the camera system tion pattern for determining the camera position is examined.

Eine weitere Kalibrierungseinrichtung wird in der Druckschrift DE 198 31 340 C1 beschrieben, aus der es bekannt ist, zur Aus richtung einer Laserbearbeitungsmaschine zum Bearbeiten von Werkstücken eine Kalibrierplatte vor dem Kameraobjektiv anzu ordnen und zu vermessen, wobei der Laserstrahl der Einrichtung zum Schreiben einer Testmarkierung auf eine Testplatte gelenkt wird. Das Bild der Testmarkierung wird gemeinsam mit dem Bild der Kalibrierplatte vom Kamerasystem der Laserbearbeitungsma schine aufgenommen und in einer zugeordneten Steuereinrichtung ausgewertet.Another calibration device is described in the publication DE 198 31 340 C1 from which it is known for Aus direction of a laser processing machine for processing Workpieces a calibration plate in front of the camera lens arrange and measure, the laser beam of the device directed to write a test marker on a test plate becomes. The image of the test marker is shared with the image the calibration plate from the camera system of the laser processing ma machine recorded and in an associated control device evaluated.

Dieses Verfahren setzt den Einsatz einer Lasereinrichtung vor aus und ist aus diesem Grund für die Kalibrierung von aus schließlich optisch funktionierenden Kamerasystemen nicht ge eignet.This method requires the use of a laser device off and is therefore for the calibration of off finally optically functioning camera systems are not ge suitable.

Der Erfindung liegt das Problem zu Grunde, ein Kamerasystem, insbesondere ein Kamerasystem zum Einsatz in einem Fahrzeug, mit einfachen Mitteln zu kalibrieren. Die Kalibrierung soll zweckmäßig auch unter erschwerten Bedingungen möglich sein, welche einer hochgenauen Ausrichtung einzelner Bauteile zuein ander üblicherweise zuwider laufen, beispielsweise in einer Montagehalle.The invention is based on the problem of a camera system, in particular a camera system for use in a vehicle, calibrated with simple means. The calibration should expediently also be possible under difficult conditions, which is a highly precise alignment of individual components usually run counter to one another, for example in one Assembly hall.

Dieses Problem wird erfindungsgemäß mit den Merkmalen des An spruches 1 bzw. 9 gelöst. This problem is solved according to the invention with the features of the Proverbs 1 and 9 solved.

Gemäß dem neuartigen Verfahren wird ein Referenzkörper im Blickfeld des Kamerasystems in der Weise im Referenzkoordina tensystem - üblicherweise ein Inertialsystem bzw. Weltsystem - positioniert, so dass eine Referenzlinie auf oder am Referenz körper mit einer Geraden im Referenzkoordinatensystem zusammen fällt. Diese Referenzlinie wird von der Kamera erfasst und als rechnerische Linie in der Auswerteeinheit weiter verarbeitet, indem der Winkel zwischen der Referenzlinie und einer zugeord neten Geraden im kamerafesten Koordinatensystem ermittelt wird. Dieser Winkel kennzeichnet die Winkelabweichung in der betrach teten Ebene zwischen dem Kamera-Koordinatensystem und dem Refe renzkoordinatensystem, die zur Korrektur des Kamerasystems he rangezogen werden, wobei die Korrektur entweder in der Weise erfolgen kann, dass die Position des Kamerasystem neu justiert wird, bis das Kamera-Koordinatensystem die gewünschte Lage zum Referenzkoordinatensystem erreicht hat, oder ausschließlich auf rechnerischem Wege erfolgt, indem das von der Kamera erzeugte Bild auf die gewünschte Lage gedreht und ausgerichtet wird oder die Winkelabweichung bei der folgenden Auswertung erzeugter Bilder berücksichtigt wird.According to the new method, a reference body in the Field of view of the camera system in the manner in the reference coordinate system - usually an inertial system or world system - positioned so that a reference line is on or at the reference body together with a straight line in the reference coordinate system falls. This reference line is captured by the camera and as further processed in the evaluation unit, by assigning the angle between the reference line and a straight lines in the camera-fixed coordinate system is determined. This angle marks the angular deviation in the view plane between the camera coordinate system and the ref boundary coordinate system, which is used to correct the camera system be taken into account, the correction either in the manner can be done that the position of the camera system readjusted until the camera coordinate system reaches the desired position Reference coordinate system has reached, or exclusively on arithmetic way is done by that generated by the camera Image is rotated to the desired position and aligned or the angular deviation generated in the following evaluation Images is taken into account.

Diese Vorgehensweise bietet den Vorteil, dass der Abstand der Kamera vom Referenzkörper nur grob geschätzt werden muss, je doch nicht exakt bestimmt werden muss, wodurch der Aufwand für die Durchführung des Verfahrens vereinfacht wird und insbeson dere aufwendige Apparaturen zur Positionsfestlegung des Refe renzkörpers entfallen können. Gegebenenfalls kann der Abstand zwischen Kamera und Referenzkörper völlig außer Acht gelassen werden. Außerdem kann mit vergleichsweise großen Toleranzen ge arbeitet werden, weil das in der Kamera aufgenommene Bild rech nerisch in der Auswerteeinheit des Kamerasystems ausgewertet und insofern die äußeren Bedingungen wie Schmutz, Temperatur oder ähnliches praktisch keine Rolle spielen, da auf eine Ver messung des Referenzgegenstandes in Bezug auf die Dimensionie rung oder gegebenenfalls eines Oberflächenmusters verzichtet werden kann.This procedure has the advantage that the distance between the Camera must only be roughly estimated from the reference body, each does not have to be determined exactly, which means the effort for the implementation of the method is simplified and in particular elaborate equipment for determining the position of the Refe border body can be omitted. If necessary, the distance completely neglected between camera and reference body become. In addition, ge with comparatively large tolerances be worked because the image recorded in the camera evaluated in the evaluation unit of the camera system and in this respect the external conditions such as dirt, temperature or the like are practically irrelevant because of a ver measurement of the reference object in relation to the dimension tion or possibly a surface pattern can be.

Die Ausrichtung des Referenzkörpers im Referenzkoordinatensys tem kann mit vergleichsweise geringem Aufwand durchgeführt wer den, weil lediglich eine einzige Referenzlinie des Referenzkör pers mit einer definierten Geraden zusammenfallen muss, bei spielsweise die Längsachse des Referenzkörpers mit der Verti kalachse des Referenzkoordinatensystems. Im Übrigen spielt die Ausrichtung des Referenzkörpers keine oder nur eine untergeord nete Rolle.The orientation of the reference body in the reference coordinate system tem can be carried out with comparatively little effort the, because only a single reference line of the reference body pers must coincide with a defined straight line, at for example the longitudinal axis of the reference body with the verti cal axis of the reference coordinate system. For the rest, it plays Alignment of the reference body none or only one subordinate nete role.

Zweckmäßig wird als Referenzlinie die Seitenkontur des Refe renzkörpers ermittelt, beispielsweise unter Anwendung des Ver fahrens der Kantendetektion und des Linienfits. Die Seitenkon tur wird insbesondere beim Einsatz langgestreckter Grundkörper als Referenzkörper ermittelt, deren Seitenkontur parallel zur Körper-Längsachse verläuft oder zumindest parallel zur Längs achse vermessen bzw. ermittelt wird. In weiterer bevorzugter Ausgestaltung, die insbesondere bei zur Längsachse symmetrisch ausgebildeten Referenzkörpern zum Einsatz kommt, beispielsweise bei zylindrischen, quaderförmigen oder konus- bzw. kegelförmi gen oder pyramidenförmigen Grundkörpern, wird der Verlauf von zwei gegenüberliegenden Seitenkonturen ermittelt und als Refe renzlinie die Mittellinie zwischen den Seitenkonturen herange zogen; in dieser Ausführung werden Ungenauigkeiten in der Sym metrie des Referenzkörpers auf Grund der Mittelung über den Querschnitt zumindest teilweise kompensiert.The side contour of the Refe is useful as a reference line renzkörper determined, for example using the Ver driving the edge detection and the line fit. The side con structure is particularly useful when using elongated bodies determined as a reference body, the side contour parallel to the Body longitudinal axis runs or at least parallel to the longitudinal axis is measured or determined. More preferred Design that is particularly symmetrical about the longitudinal axis trained reference bodies is used, for example for cylindrical, cuboid or conical or conical gene or pyramidal bodies, the course of two opposite side contours determined and as Refe the center line between the side contours pulled; in this version, inaccuracies in the sym metry of the reference body based on the averaging over the Cross-section at least partially compensated.

Alternativ oder zusätzlich zur Aufnahme und Berechnung der Sei tenkontur kann als Referenzlinie auch eine Musterlinie auf der Oberfläche des Referenzkörpers dienen. Die Musterlinie wird von dem Kamerasystem aufgenommen und als Referenzlinie für den Ver gleich mit dem Kamera-Koordinatensystem herangezogen. Alternatively or in addition to the recording and calculation of the screen The contour can also be used as a reference line on a sample line Serve surface of the reference body. The pattern line is from recorded in the camera system and as a reference line for the Ver immediately used with the camera coordinate system.

Vorteilhaft wird zumindest der Rollwinkel des Kamera- Koordinatensystem in Bezug auf das Referenz-Koordinatensystem bestimmt, welcher als Winkel in der Bildebene der Kamera zwi schen der Referenzlinie und der zugeordneten Geraden im Kamera- Koordinatensystem ermittelt wird. Zusätzlich und gegebenenfalls auch alternativ zum Rollwinkel können aus geometrischen Zusam menhängen der Nickwinkel und der Gierwinkel bestimmt werden.At least the roll angle of the camera Coordinate system in relation to the reference coordinate system determines which angle between the image plane of the camera between the reference line and the assigned straight lines in the camera Coordinate system is determined. Additionally and if necessary alternatively to the roll angle can be made of geometric together the pitch angle and the yaw angle can be determined.

Weitere Vorteile und zweckmäßige Ausführungsformen sind den weiteren Ansprüchen, der Figurenbeschreibung und den Zeichnun gen zu entnehmen. Es zeigen:Further advantages and practical embodiments are the further claims, the description of the figures and the drawing conditions. Show it:

Fig. 1 eine Seitenansicht auf ein Kamerasystem mit ei ner Kamera und einer Auswerteeinheit auf einem Fahrzeug, mit einem seitlich zur optischen Achse der Kamera versetzten und aufrecht auf dem Boden stehenden Referenzkörper im Blickfeld der Kame ra, Fig. 1 is a side view of a camera system with egg ner camera and an evaluation unit on a vehicle with an offset lateral to the optical axis of the camera and upright ra standing on the ground reference body in the field of view of Kame,

Fig. 2 eine Draufsicht auf die Kamera nach Fig. 1, Fig. 2 is a plan view of the camera of FIG. 1,

Fig. 3 eine Ansicht aus dem Blickwinkel der Kamera, Fig. 3 is a view from the perspective of the camera,

Fig. 4 bis Fig. 6 den Fig. 1 bis 3 entsprechende Ansichten, jedoch mit einem senkrecht und ohne seitlichen Versatz zur optischen Achse der Kamera stehenden Refe renzkörper, FIGS. 4 to FIG. 6, FIGS. 1 to 3 are corresponding views, but Renz body with a standing vertically and without lateral offset to the optical axis of the camera Refe,

Fig. 7 eine Draufsicht auf ein Kamerasystem, das gegen über einer Fahrzeuglängsachse mit seitlichem Versatz angeordnet ist, wobei der Referenzkörper zusätzlich einen seitlichem Versatz zur opti schen Achse der Kamera aufweist. Fig. 7 is a plan view of a camera system which is arranged opposite to a vehicle longitudinal axis with a lateral offset, the reference body additionally having a lateral offset to the optical axis of the camera.

Bei den in den Fig. 1 bis 7 dargestellten Ausführungsbeispielen sind gleiche Bauteile bzw. gleiche Achsen, Linien und Winkel mit gleichen Bezugszeichen versehen.In the exemplary embodiments shown in FIGS. 1 to 7, the same components or the same axes, lines and angles are provided with the same reference symbols.

Das in Fig. 1 dargestellte Kamerasystem 1 ist auf einem Fahr zeug 4 angeordnet und umfasst eine Kamera 2 sowie eine mit der Kamera 2 kommunizierende Auswerteeinheit 3, in der die von der Kamera 2 aufgenommenen Bilder ausgewertet werden. Über das Kame rasystem 1 soll insbesondere im Fahrbetrieb des Fahrzeugs 4 die Position des Fahrzeugs in Bezug auf die Umgebung, insbesondere relativ zur Fahrspurmarkierung, festgestellt werden, wobei die Information über die genaue Fahrzeugposition beispielsweise in Fahrerassistenzsystemen weiterverarbeitet werden kann.The camera system 1 shown in Fig. 1 is driving on a convincing 4 is arranged and comprises a camera 2, and a communicating with the camera 2 Evaluation 3, in which the images taken by the camera 2 are evaluated. Via the camera system 1 , the position of the vehicle in relation to the environment, in particular relative to the lane marking, is to be determined, in particular when the vehicle 4 is driving, the information about the exact vehicle position being able to be further processed, for example, in driver assistance systems.

Um die Kamera 2 auf dem Fahrzeug 4 relativ zu einem absoluten, der Welt angehörenden Referenzkoordinatensystem 7 zu kalibrie ren, wird nach der Montage des Kamerasystems auf dem Fahrzeug ein Kalibrierverfahren angewandt, mit dem Winkelabweichungen des kamerafesten Koordinatensystems 6 gegenüber dem Referenzko ordinatensystem 7 kompensiert werden können.In order to calibrate the camera 2 on the vehicle 4 relative to an absolute reference coordinate system 7 belonging to the world, a calibration method is used after the camera system has been mounted on the vehicle, with which angular deviations of the camera-fixed coordinate system 6 compared to the reference coordinate system 7 can be compensated ,

Zur Durchführung des Kalibrierverfahrens wird im Blickfeld der Kamera 2 ein Referenzkörper 5 positioniert, welcher in Bezug auf das absolute Referenzkoordinatensystem 7 eine vorgegebene Ausrichtung einnimmt, in dem zweckmäßig die Längsachse 8 des Referenzkörpers 5 mit der Hochachse des Referenzkoordinatensys tems 7 zusammenfällt; der Referenzkörper 5 steht senkrecht auf dem Boden. Die optische Achse 9 der Kamera 2 ist identisch mit der Längsachse des Kamera-Koordinatensystems 6 und kennzeichnet üblicherweise den Bildmittelpunkt des Kamerabildes. Der Durch stoßpunkt der optischen Achse 9 durch die Bildebene 10 des von der Kamera erzeugten Bildes ist, wie Fig. 3 zu entnehmen, mit dem Bezugszeichen 11 bezeichnet. To carry out the calibration method, a reference body 5 is positioned in the field of view of the camera 2 , which has a predetermined orientation with respect to the absolute reference coordinate system 7 , in which the longitudinal axis 8 of the reference body 5 expediently coincides with the vertical axis of the reference coordinate system 7 ; the reference body 5 is perpendicular to the floor. The optical axis 9 of the camera 2 is identical to the longitudinal axis of the camera coordinate system 6 and usually characterizes the center of the image of the camera image. The point of intersection of the optical axis 9 through the image plane 10 of the image generated by the camera, as can be seen in FIG. 3, is designated by the reference numeral 11 .

Der Draufsicht nach Fig. 2 ist zu entnehmen, dass die Kamera 2 mit dem Kamera-Koordinatensystem 6 einen Gierwinkel β gegenüber dem Referenzkoordinatensystem 7 aufweist, wobei der Gierwinkel β bedeutet, dass die optische Achse 9 der Kamera 2 um die Hoch achse des Kamera-Koordinatensystems 6 verdreht ist. Der Refe renzkörper 5 wird zweckmäßig in der Weise in Bezug auf das Fahrzeug angeordnet, dass die Fahrzeuglängsachse die Längsachse 8 des Referenzkörpers 5 schneidet, so dass bei entsprechender Ausrichtung des Referenzkoordinatensystems 7 die Fahrzeuglängs achse mit einer Achse des Referenzkoordinatensystems zusammen fällt. In dieser Ausführung ist der Gierwinkel β identisch mit der Verdrehung der Kamera 2 um die Kamera-Hochachse gegenüber der Fahrzeuglängsachse.The plan view according to FIG. 2 shows that the camera 2 with the camera coordinate system 6 has a yaw angle β with respect to the reference coordinate system 7 , wherein the yaw angle β means that the optical axis 9 of the camera 2 about the vertical axis of the camera Coordinate system 6 is twisted. The reference body 5 is expediently arranged in relation to the vehicle in such a way that the longitudinal axis of the vehicle intersects the longitudinal axis 8 of the reference body 5 , so that with a corresponding alignment of the reference coordinate system 7, the longitudinal axis of the vehicle coincides with an axis of the reference coordinate system. In this embodiment, the yaw angle β is identical to the rotation of the camera 2 about the camera vertical axis with respect to the vehicle longitudinal axis.

Fig. 3 zeigt eine Ansicht des Referenzkörpers 5 aus dem Blick winkel der Kamera. Der Referenzkörper 5 ist vorteilhaft als langgestreckter Grundkörper ausgeführt, beispielsweise als zy lindrische Stange oder als Stange mit viereckigem Querschnitt, wobei aufgrund der vertikalen Ausrichtung des Referenzkörpers 5 zum Boden und der geneigten optischen Achse der Kamera der Re ferenzkörper 5 eine optische Verzerrung in der Bildebene 10 der Kamera erfährt, bei der die seitlichen Konturen 12a und 12b des Referenzkörpers 5 trotz eines über die Länge gleichbleibenden Querschnitts eine konusförmige Gestalt einnehmen. Der Durch stoßpunkt 11 der optischen Achse der Kamera durch die Bildebene 10 liegt in dieser Ausführung außerhalb der Mittellinie bzw. Längsachse 8 des Referenzkörpers 5. Fig. 3 shows a view of the reference body 5 from the angle of the camera. The reference body 5 is advantageously carried out as an elongated body, for example as zy-cylindrical rod or a rod with a square cross-section, due to the vertical orientation of the reference body 5 to the bottom and the inclined optical axis of the camera of Re ference body 5 an optical distortion in the image plane 10 the camera experiences, in which the lateral contours 12 a and 12 b of the reference body 5 assume a conical shape despite a constant cross section over the length. In this embodiment, the point of impact 11 of the optical axis of the camera through the image plane 10 lies outside the center line or longitudinal axis 8 of the reference body 5 .

Bei dem Kalibrierverfahren wird eine Referenzlinie des Refe renzkörpers 5, der von der Kamera 2 aufgenommen wird, in der Auswerteeinheit des Kamerasystems ermittelt und in Bezug zum Kamera-Koordinatensystem gesetzt. Im Ausführungsbeispiel wird als Referenzlinie die Längsachse bzw. Mittellinie 8 des Refe renzkörpers 5 bestimmt, indem zunächst die Seitenkonturen 12a und 12b des Referenzkörpers ermittelt werden und anschließend auf rechnerischem Wege in der Auswerteeinheit die Mittellinie zwischen den Seitenkonturen 12a und 12b bestimmt wird. Diese Mittellinie bzw. Längsachse 8, die aufgrund der vertikalen Po sition des Referenzkörpers 5 auf dem Boden mit der Hochachse des Referenzkoordinatensystems 7 zusammenfällt, wird in Bezug zum Kamera-Koordinatensystem gesetzt und dient der Ermittlung des Rollwinkels γ, der gemäß Fig. 3 als Winkel zwischen dem Ho rizont 13 im Bild der Kamera und einer Linie 14 definiert ist, welche parallel zu einer Querachse des Kamera- Koordinatensystems 6 liegt. Gegebenenfalls werden die Seiten konturen direkt in Bezug zum Kamera-Koordinatensystem gesetzt und als Referenzlinie herangezogen.In the calibration method, a reference line of the reference body 5 , which is recorded by the camera 2 , is determined in the evaluation unit of the camera system and is related to the camera coordinate system. In the exemplary embodiment, the longitudinal axis or center line 8 of the reference body 5 is determined as a reference line by first determining the side contours 12 a and 12 b of the reference body and then determining the center line between the side contours 12 a and 12 b in the evaluation unit by calculation , This center line or longitudinal axis 8 , which coincides with the vertical axis of the reference coordinate system 7 due to the vertical position of the reference body 5 on the floor, is related to the camera coordinate system and is used to determine the roll angle γ, which according to FIG. 3 is an angle is defined between the ho rizont 13 in the image of the camera and a line 14 which is parallel to a transverse axis of the camera coordinate system 6 . If necessary, the side contours are placed directly in relation to the camera coordinate system and used as a reference line.

Bei Kenntnis des Verlaufs der Referenzlinie - im Ausführungs beispiel nach den Fig. 1 bis 3 die Mittellinie 8 - können zusätzlich zum Rollwinkel γ auch der Nickwinkel α und der Gier winkel β berechnet werden.With knowledge of the course of the reference line - in the embodiment example according to FIGS. 1 to 3, the center line 8 - in addition to the roll angle γ and the pitch angle α and the yaw angle β can be calculated.

Im zweiten Ausführungsbeispiel nach den Fig. 4 bis 6 ist der Referenzkörper 5 gegenüber dem Boden sowie dem Referenzkoordi natensystem 7 um den Nickwinkel α geneigt angeordnet, so dass die optische Achse 9 der Kamera 2 senkrecht auf die Oberfläche des Referenzkörpers 5 trifft. Der Nickwinkel α kann in einem einfachen Iterationsverfahren dadurch festgestellt werden, dass der Referenzkörper 5 in verschiedenen Neigungslagen positio niert wird, diese Neigungslagen von der Kamera aufgenommen wer den und in der Auswerteeinheit des Kamerasystems bestimmt wird, ob die Seitenkonturen 12a und 12b des Referenzkörpers 5 einen auf die perspektivische Verzerrung zurück zu führenden Winkel einschließen. Liegt der Winkel zwischen des Seitenkonturen 12a und 12b unterhalb eines vorgegebenen Grenzwertes, kann mit hin reichender Genauigkeit davon ausgegangen werden, dass der Refe renzkörper 5 mit seiner Längsachse 8 gegenüber dem Referenzko ordinatensystem 7 um den Nickwinkel α verschwenkt ist; in die sem Fall liegt keine optische Verzerrung im Bild des Referenz körpers 5 vor. Bei Ausschluss derartiger Verzerrungen können Nickwinkel α, Gierwinkel β und Rollwinkel γ mit größerer Genau igkeit bestimmt werden.In the second exemplary embodiment according to FIGS. 4 to 6, the reference body 5 is inclined by the pitch angle α relative to the floor and the reference coordinate system 7 , so that the optical axis 9 of the camera 2 strikes the surface of the reference body 5 perpendicularly. The pitch angle α can be determined in a simple iteration process in that the reference body 5 is positioned in various inclination positions, these inclination positions are recorded by the camera and is determined in the evaluation unit of the camera system whether the side contours 12 a and 12 b of the reference body 5 include an angle due to the perspective distortion. If the angle between the side contours 12 a and 12 b is below a predetermined limit value, it can be assumed with sufficient accuracy that the reference body 5 is pivoted with its longitudinal axis 8 with respect to the reference coordinate system 7 by the pitch angle α; in this case there is no optical distortion in the image of the reference body 5 . If such distortions are excluded, pitch angle α, yaw angle β and roll angle γ can be determined with greater accuracy.

Die um den Nickwinkel α geneigte Position des Referenzkörpers 5 kann näherungsweise auch dadurch festgestellt werden, dass eine Mehrzahl von Referenzkörpern 5 nebeneinander in unter schiedlichen Neigungslagen angeordnet sind, wobei derjenige Re ferenzkörper, dessen Seitenkonturen die geringste Verzerrung aufweisen, der um den Nickwinkel α geneigten Position am nächsten kommt. Eine derartige Referenzeinrichtung mit einer Mehrzahl von Referenzkörpern, die zueinander um diverse Winkel lagen fest oder einstellbar verschwenkt sind, ist in Fig. 4 mit gestrichelter Linie eingezeichnet.The position of the reference body 5 inclined by the pitch angle α can also be determined approximately in that a plurality of reference bodies 5 are arranged next to one another in different inclination positions, the reference body whose side contours have the least distortion having the position inclined by the pitch angle α comes closest. Such a reference device with a plurality of reference bodies, which are pivoted to one another by various angles in a fixed or adjustable manner, is shown in FIG. 4 with a broken line.

Wie Fig. 5 in Verbindung mit Fig. 6 zu entnehmen, ist in diesem Ausführungsbeispiel, in welchem die Längsachse des Fahrzeuges die Längsachse 8 des Referenzkörpers 5 schneidet, aufgrund ei ner geradlinigen Ausrichtung der Kamera 2, bei der die opti schen Achse 9 mit der Fahrzeuglängsachse zusammenfällt, kein Gierwinkel gegenüber dem Referenzkoordinatensystem 7 vorhanden.As can be seen in FIG. 5 in connection with FIG. 6, in this embodiment, in which the longitudinal axis of the vehicle intersects the longitudinal axis 8 of the reference body 5 , due to a straight alignment of the camera 2 , in which the optical axis 9 is associated with the Longitudinal vehicle axis coincides, no yaw angle relative to the reference coordinate system 7 is present.

Der Draufsicht nach Fig. 7 ist zu entnehmen, dass die optische Achse 9 der Kamera 2 einen Gierwinkel β* mit der Fahrzeuglängs achse 15 einschließt und mit seitlichem Versatz zur Fahrzeug längsachse 15 angeordnet ist. Außerdem schließt in Draufsicht der Referenzkörper 5 einschließlich dem Referenzkoordinatensys tem 7 einen weiteren Gierwinkel β gegenüber dem Kamera- Koordinatensystem 6 ein, so dass die Fahrzeuglängsachse 15 ge genüber der entsprechenden Achse des Referenzkoordinatensystems 7 einen Gierwinkel β* + β aufweist.The top view according to FIG. 7 shows that the optical axis 9 of the camera 2 includes a yaw angle β * with the vehicle longitudinal axis 15 and is arranged with a lateral offset to the vehicle longitudinal axis 15 . In addition, a top view of the reference body 5 including the reference coordinate system 7 includes a further yaw angle β relative to the camera coordinate system 6 , so that the longitudinal axis 15 of the vehicle has a yaw angle β * + β relative to the corresponding axis of the reference coordinate system 7 .

Claims

1. Method for calibrating a camera system, in particular a camera system arranged on a vehicle, in which a camera ( 2 ) of the camera system ( 1 ) is aligned with a reference body ( 5 ), the reference body ( 5 ) is optically detected and in an evaluation unit ( 3 ) the camera system ( 1 ) determines the relative position of the camera ( 2 ) to a reference coordinate system ( 7 ), characterized in that
that the reference body ( 5 ) is aligned with the reference coordinate system ( 7 ) in such a way that a reference line of the reference body ( 5 ) never coincides with a straight line in the reference coordinate system ( 7 ),
that the reference line of the reference body ( 5 ) is optically and mathematically captured by the camera system ( 1 ),
that the angle between the reference line or a line connected with the reference line and an associated straight line in the camera coordinate system ( 6 ) is determined and used to correct the deviation between the camera coordinate system ( 6 ) and the reference coordinate system ( 7 ).

2. The method according to claim 1, characterized in that for determining the reference line, the side contour ( 12 a, 12 b) of the reference body ( 5 ) is determined in the camera system ( 1 ).

3. The method according to claim 2, characterized in that opposite side contours ( 12 a, 12 b) are determined and between the side contours ( 12 a, 12 b) a computational tellline is placed as a reference line.

4. The method according to any one of claims 1 to 3, characterized in that a reference line on the surface of the reference body ( 5 ) is used as the reference line.

5. The method according to any one of claims 1 to 4, characterized in that an elongated base body with a symmetrical cross-sectional geometry is used as the reference body ( 5 ).

6. The method according to claim 5, characterized, that the base body has a constant cross over its length cut has.

7. The method according to any one of claims 1 to 6, characterized in that the reference body ( 5 ) is positioned perpendicular to a reference surface which is just arranged in the reference coordinate system ( 7 ).

8. The method according to any one of claims 1 to 7, characterized in that the roll angle (γ) between the camera coordinate system ( 6 ) and the reference coordinate system ( 7 ) as an angle in the image plane ( 10 ) of the camera ( 2 ) between a reference line and the assigned straight lines in the camera coordinate system ( 6 ) is determined.

9. Apparatus for calibrating a camera system insbeson a particular on a vehicle disposed camera system, in particular for implementing the method according to one of the foregoing claims, having a camera system (1) zugeord Neten camera (2) and an evaluation unit (3) for Evaluation of the camera image, and with a reference body ( 5 ) in the field of view of the camera ( 2 ), characterized in that an image with a reference line of the reference body ( 5 ) can be generated in the camera system ( 1 ) and that the deviation of the reference line relative to one Straight lines in a camera coordinate system ( 6 ) can be determined.