EP2321619A1 - Mehrkamerasystem und verfahren zu dessen kalibrierung - Google Patents

Mehrkamerasystem und verfahren zu dessen kalibrierung

Info

Publication number
EP2321619A1
EP2321619A1 EP09780752A EP09780752A EP2321619A1 EP 2321619 A1 EP2321619 A1 EP 2321619A1 EP 09780752 A EP09780752 A EP 09780752A EP 09780752 A EP09780752 A EP 09780752A EP 2321619 A1 EP2321619 A1 EP 2321619A1
Authority
EP
European Patent Office
Prior art keywords
cameras
calibration
camera system
offset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP09780752A
Other languages
English (en)
French (fr)
Inventor
Tobias Stumber
Ralf Render
Fridtjof Stein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of EP2321619A1 publication Critical patent/EP2321619A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for calibrating a multi-camera system which has at least two cameras spaced apart from one another with electronic image sensors, wherein the cameras are aligned with respect to their optical axes during the calibration and the cameras serve, in particular, to supply three-dimensional image information and furthermore preferably to the multi-camera system a vehicle is arranged.
  • the invention further relates to such a multi-camera system.
  • a calibration of the two cameras is required for the correct extraction of image information.
  • the internal and external calibration whereby the orientation of the at least two cameras is taken into account with external calibration, in particular their position relative to one another.
  • it is customary for this purpose to use the cameras in a defined environment with known objects (targets) and to compare the image information thus obtained with respect to their agreement between the two camera images or with respect to their image information differing due to the desired three-dimensional representation and correspondingly the cameras or at least to adjust one of the cameras in their mechanical position relative to at least one other camera.
  • a defined environment, namely at least one target is required. In particular, this is regularly required, the
  • the object of the invention is to provide a method that simplifies the calibration of multi-camera systems and less expensive, in particular such that can be dispensed with defined environments and / or targets.
  • an online calibration should be made possible at any time.
  • a method for calibrating a multi-camera system having at least two cameras spaced apart from each other with electronic image sensors, wherein the cameras are aligned with respect to their optical axes during calibration and the cameras are used in particular the delivery of three-dimensional image information and further preferably the multi-camera system a vehicle is arranged. It is provided that the position of the cameras to each other, in particular the alignment of their optical axes to each other before, during and after the calibration remains unchanged and that the calibration of the cameras by electronic processing of image information from at least one of the cameras.
  • the position of at least one camera relative to at least one of the other cameras is not changed for calibration of the multi-camera system;
  • the optical axes of the cameras are not changed relative to each other.
  • the image information of at least one of the cameras is modified by electronic processing in such a way that the calibration of the cameras takes place, thus leading to the correct acquisition of image information of the entire multi-camera system.
  • This is done in particular by a calculation rule, which is executed in a computing unit, wherein the arithmetic unit may be part of the multi-camera system or arranged externally, for example in a vehicle computer or vehicle control unit.
  • the image information of at least one of the cameras is provided with at least one offset for the calibration.
  • An offset here is a deviation in the vertical or horizontal direction, based on the position of the image information on the image sensor, this offset causes a shift of the image of the camera in the direction of the offset.
  • the image information of at least one of the cameras is tilted about at least one defined axis for the calibration.
  • Image information obtained image is placed in a relative position, which is in terms of the original position of the image, as it is obtained from the image sensor, changed, in particular tilted. Accordingly, after performing this step, the image has an altered, namely tilted, position relative to the image originally obtained by the sensor of the camera.
  • the image information of at least one of the cameras is tilted by at least one defined axis for the calibration.
  • an image as obtained by the image sensor of the camera is inclined, that is inclined (rotated) by a certain angle, in particular around the optical axis.
  • a partial image of an image supplied by the at least one camera is used for the calibration.
  • the use of a field allows wide use of both X and Y offset as well as tilt and tilt (rotation) without losing edge information.
  • the disparity table represents an odd number of columns relative to a vertical offset (Y offset).
  • Y offset vertical offset
  • the first column for example, the Y offset of an image or partial image is thus removed, namely the camera whose image information is electronically assigned to the image Calibration to be changed.
  • the other columns namely in an odd number of further columns, the correspondence of the images or partial images compared in this way is represented, so that for each offset and each column there results a certain number of image matches.
  • the offset column may look like having an offset of -2, -1, 0, +1, +2, and subsequently five columns in terms of
  • Image information is provided. This results in each column for each offset (as can be seen from the first column) a certain number of image matches.
  • the calibration is particularly preferably carried out by repeatedly passing through the disparity table with a different Y offset and / or different tilt and / or different inclination. Consequently, the disparity table is re-traversed with a different offset, whereby there is a different tilt and / or different inclination of the image or partial image of at least one of the cameras.
  • the Y offset and / or the tilting and / or the inclination of one of the images / partial images is carried out according to a maximum in the disparity table correspondences (image matches). This means that a selection takes place in which column and at which offset a maximum occurs
  • Image matches is present.
  • the method is carried out iteratively, such that, for example, with an offset of 0 in column 3, a maximum of matches is found.
  • a maximum match is found in column 4 and an offset of -2 in column 5.
  • a maximum is found in column 2 and with an offset of +2 in column 1.
  • the image of the camera of the multi-camera system to be calibrated must undergo a tilt relative to its optical axis
  • a "tilt” so an electronic turning of this image, applied Go through offset settings to see if another TiIt is required or if an optimal match has been found.
  • the right two cameras are calibrated. This allows a given, standardized procedure with simple calculation.
  • the calibration of the left camera is possible, it is only relevant that the procedure is always carried out the same; the application to a camera is sufficient.
  • a multi-camera system with at least two spaced-apart cameras with electronic image sensors, in particular for carrying out the method, as described above. It is provided that the multi-camera system for calibrating the cameras with respect to their optical axes to one another has a computing unit.
  • the calibration of the cameras of multi-camera systems by means of the mechanical adjustment of at least one of the cameras is made relative to the other camera.
  • the calibration does not take place via a mechanical adjustment, but via a computer unit.
  • the arithmetic unit processes the image information obtained by the cameras of the multi-camera system.
  • the optical axes and / or the mechanical arrangement of the cameras to each other before, during and after the calibration is unchanged.
  • the multi-camera system is calibrated purely mathematically, without any change of the cameras relative to each other. This means that mechanical adjustment devices, in particular 3D tilters, as required in the prior art for calibration (namely for at least one of the cameras of the multi-camera system), are completely dispensable for the calibration.
  • Figure 1 is a schematic representation of a multi-camera system with two
  • Figure 2 is a disparity table for calibration of the multi-camera system.
  • FIG. 1 shows schematically a multi-camera system 1, namely a
  • the multi-camera system 1 has two cameras 5, which are spaced apart at a distance d, and each having an optical axis 6, in the detection direction of an arranged in the camera 5 electronic Image sensor 7 and perpendicular to this runs.
  • the cameras 5 are connected via suitable electrical connections (not shown here) to a computing unit 8, which evaluates and further processes the image information obtained by the cameras 5, in particular for calibrating the multi-camera system 1.
  • the optical axes 6 of the two cameras 5 of the multi-camera system 1 point in this case to each other, the orientation 9.
  • the electrical image sensor 7 is shown with an image area 10 which corresponds to an image 11 obtained by the image sensor 7.
  • FIG. 1 shows, by way of example, a method sequence for electronic calibration of the multi-camera system 1 described in FIG.
  • This disparity table 15 has four columns 16, of which in the first column 16 point 1, a vertical offset (Y offset) of the sub-image 12 relative to the image 11 (respectively the image area 10th ) of the image sensor 7 is removed, and in the three other columns 16.2, 16.3 and 16.4, the number of correspondences found (image matches) of sub-images 12 of the two cameras 5; Consequently, there is a comparison of partial images 12 of the two cameras 5 for the purpose of calibration, whereby it is checked how large the number of matches of the two partial images 12 of the two cameras is in each case.
  • the partial image 12 of each camera 5 is hereby divided into three vertical sections, the on
  • Image matches are examined; Each of the three vertical sections corresponds to one of the columns 16.2, 16.3 or 16.4 of the disparity table 15.
  • the matches are examined for every seven different offsets for every three vertical sections of the partial image 12 of the two cameras.
  • blocks 17 are formed.
  • offsets of + 29 to + 35 are removed.
  • the numerical values shown in columns 16.2 to 16.4 are examples of the correspondences of both partial images 12 found in the respective vertical section of the partial image 12.
  • the calibration of the multi-camera system 1 is here by purely electronic processing of the image information obtained by the cameras 5, namely the displacement of the sub-image 12 and its rotation about the optical axis 6, completed, without the position of the cameras 5 relative to each other and in particular their optical axes 6 relative to each other (in their orientation 9) would have to be changed.
  • This allows, in particular, a fast online calibration and recalibration of the camera system 1 and makes expensive mechanical structures, which are also susceptible to mechanical effects of any kind, superfluous.
  • the above-described disparity table 15 is created and managed in the described arithmetic unit 8; the arithmetic unit 8 ensures the corresponding processing of the acquired image information 13.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Mehrkamerasystems, das mindestens zwei zueinander beabstandete Kameras mit elektronischen Bildsensoren aufweist, wobei die Kameras bei der Kalibrierung hinsichtlich ihrer optischen Achsen zueinander ausgerichtet werden und die Kameras insbesondere der Lieferung von dreidimensionalen Bildinformationen dienen und ferner das Mehrkamerasystem vorzugsweise an einem Fahrzeug angeordnet ist. Es ist vorgesehen, dass die Positionen der Kameras zueinander, insbesondere die Ausrichtung ihrer optischen Achsen zueinander, vor, während und nach der Kalibrierung unverändert beibehalten bleibt und dass die Kalibrierung der Kameras durch elektronische Bearbeitung von Bildinformationen von mindestens einer der Kameras erfolgt. Weiter betrifft die Erfindung ein Mehrkamerasystem (1).

Description

Beschreibung
Titel Mehrkamerasystem und Verfahren zu dessen Kalibrierung
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Mehrkamerasystems, das mindestens zwei zueinander beabstandete Kameras mit elektronischen Bildsensoren aufweist, wobei die Kameras bei der Kalibrierung hinsichtlich ihrer optischen Achsen zueinander ausgerichtet werden und die Kameras insbesondere der Lieferung von dreidimensionalen Bildinformationen dienen und ferner das Mehrkamerasystem vorzugsweise an einem Fahrzeug angeordnet ist. Die Erfindung betrifft ferner ein solches Mehrkamerasystem.
Stand der Technik
Beim Einsatz von Mehrkamerasystemen, insbesondere Stereokamerasystemen, ist zur zutreffenden Gewinnung von Bildinformationen eine Kalibrierung der beiden Kameras erforderlich. Hierbei wird unterschieden zwischen der internen und externen Kalibrierung, wobei mit externer Kalibrierung die Ausrichtung der mindestens zwei Kameras berücksichtigt wird, insbesondere deren Lage relativ zueinander. Im Stand der Technik ist hierzu gebräuchlich, die Kameras in einer definierten Umgebung mit bekannten Objekten (Targets) einzusetzen und die so gewonnenen Bildinformationen hinsichtlich ihrer Übereinstimmung beider Kamerabilder beziehungsweise in Hinblick auf ihre aufgrund der gewünschten dreidimensionalen Darstellung abweichenden Bildinformation abzugleichen und entsprechend die Kameras oder mindestens eine der Kameras in ihrer mechanischen Lage relativ zu mindestens einer anderen Kamera zu verstellen. Hierbei wird eine definierte Umgebung, nämlich mindestens ein Target, vorausgesetzt. Insbesondere ist es hierzu regelmäßig erforderlich, das
Kamerasystem in eine definierte Umgebung zu verbringen, was mit erheblichem Zeit- und Kostenaufwand verbunden ist. In der Fertigung solcher Mehrkamerasysteme wird eine entsprechende Initialkalibrierung vorgenommen, wobei diese einen erheblichen Zeit- und Kostenaufwand insbesondere bei Zulieferern erfordert und voraussetzt, dass sehr geringe Einbautoleranzen des Mehrkamerasystems eingehalten werden, insbesondere dann, wenn das Mehrkamerasystem in Fahrzeugen eingesetzt wird.
Aufgabe der Erfindung ist es, ein Verfahren bereitzustellen, das die Kalibrierung von Mehrkamerasystemen vereinfacht und preisgünstiger gestaltet, insbesondere dergestalt, dass auf definierte Umgebungen und/oder Targets verzichtet werden kann. Insbesondere soll eine Online-Kalibrierung zu beliebigen Zeitpunkten ermöglicht werden.
Offenbarung der Erfindung
Hierzu wird ein Verfahren vorgeschlagen zur Kalibrierung eines Mehrkamerasystems, das mindestens zwei zueinander beabstandete Kameras mit elektronischen Bildsensoren aufweist, wobei die Kameras bei der Kalibrierung hinsichtlich ihrer optischen Achsen zueinander ausgerichtet werden und die Kameras insbesondere der Lieferung von dreidimensionalen Bildinformationen dienen und ferner das Mehrkamerasystem vorzugsweise an einem Fahrzeug angeordnet ist. Hierbei ist vorgesehen, dass die Position der Kameras zueinander, insbesondere die Ausrichtung ihrer optischen Achsen zueinander, vor, während und nach der Kalibrierung unverändert beibehalten bleibt und dass die Kalibrierung der Kameras durch elektronische Bearbeitung von Bildinformationen von mindestens einer der Kameras erfolgt. Anders als im Stand der Technik wird folglich zur Kalibrierung des Mehrkamerasystems nicht die Position von mindestens einer Kameras relativ zu mindestens einer der anderen Kameras verändert; insbesondere werden nicht die optischen Achsen der Kameras relativ zueinander verändert. Vielmehr wird die Bildinformation mindestens einer der Kameras durch elektronische Bearbeitung dergestalt modifiziert, dass die Kalibrierung der Kameras erfolgt, also eine zur zutreffenden Gewinnung von Bildinformationen des gesamten Mehrkamerasystems führt. Dies erfolgt insbesondere durch eine Rechenvorschrift, die in einer Recheneinheit ausgeführt wird, wobei die Recheneinheit Bestandteil des Mehrkamerasystems sein kann oder auch extern angeordnet, beispielsweise in einem Fahrzeugrechner oder Fahrzeugsteuergerät. In einer Verfahrensausbildung ist vorgesehen, dass für die Kalibrierung die Bildinformationen mindestens einer der Kameras mit mindestens einem Offset versehen werden. Ein Offset ist hierbei eine Abweichung in vertikaler oder horizontaler Richtung, bezogen auf die Lage der Bildinformation auf dem Bildsensor, wobei dieser Offset eine Verschiebung des Bildes der Kamera in Richtung des Offset bewirkt.
In einer weiteren Verfahrensausbildung werden für die Kalibrierung die Bildinformationen von mindestens einer der Kameras um mindestens eine definierte Achse gekippt. Hiermit ist gemeint, dass das durch die
Bildinformationen gewonnene Bild in einer Relativlage versetzt wird, die hinsichtlich der ursprünglichen Lage des Bildes, wie es nämlich vom Bildsensor gewonnen wird, verändert ist, insbesondere nämlich gekippt. Das Bild weist demzufolge nach Durchführung dieses Schrittes eine zum ursprünglich vom Sensor der Kamera gewonnenen Bild veränderte, nämlich gekippte Lage auf.
In einer anderen Verfahrensausbildung wird für die Kalibrierung die Bildinformation von mindestens einer der Kameras um mindestens eine definierte Achse geneigt. Damit ist gemeint, dass, ähnlich dem Kippen, ein Bild, wie es vom Bildsensor der Kamera gewonnen wird, geneigt, also um einen bestimmten Winkel insbesondere um die optische Achse geneigt (gedreht) wird.
Bevorzugt wird für die Kalibrierung ein Teilbild eines von der mindestens einen Kamera gelieferten Bildes verwendet. Die Verwendung eines Teilbildes lässt ein weites Anwenden von sowohl X-als auch Y-Offset als auch ein Kippen und Neigen (Drehen) zu, ohne dass Bildinformationen am Rand verloren gehen.
Bevorzugt wird für die Kalibrierung einer Disparitäts-Tabelle verwendet. Als Disparitäts-Tabelle zeichnet auf einem zweidimensionalen Feld gefundene Korrespondenzen der Kamerabilder auf. Dies bedeutet, dass verzeichnet wird, wie viel Übereinstimmungen von Bildern/Bildinformationen der einzelnen Kameras vorliegen und diese Übereinstimmungen anzahlmäßig in der Disparitäts-Tabelle niedergelegt werden. Besonders bevorzugt stellt die Disparitäts-Tabelle eine ungerade Anzahl von Spalten relativ zu einem Vertikal-Offset (Y-Offset) dar. In der ersten Spalte beispielsweise wird demzufolge der Y-Offset eines Bildes oder Teilbildes abgetragen, nämlich der Kamera, deren Bildinformationen elektronisch zur Kalibrierung verändert werden. In den weiteren Spalten, nämlich in einer ungeraden Anzahl von weiteren Spalten, wird die Übereinstimmung der so verglichenen Bilder bzw. Teilbilder dargestellt, so dass sich für jeden Offset und jede Spalte eine bestimmte Anzahl von Bildübereinstimmungen ergibt. Beispielsweise kann die Offset-Spalte so aussehen, dass ein Offset von -2, -1 , 0, +1 , +2 vorgesehen ist, und nachfolgend fünf Spalten hinsichtlich der
Bildinformation vorgesehen sind. Es ergibt sich dann in jeder Spalte zu jedem Offset (wie aus der ersten Spalte ersichtlich) eine bestimmte Anzahl von Bildübereinstimmungen.
Besonders bevorzugt erfolgt die Kalibrierung durch wiederholtes Durchlaufen der Disparitäts-Tabelle mit jeweils anderem Y-Offset und/oder anderer Kippung und/oder anderer Neigung. Die Disparitäts-Tabelle wird demzufolge mit anderem Offset neu durchlaufen, wobei eine andere Kippung und/oder andere Neigung des Bildes bzw. Teilbildes mindestens einer der Kameras vorliegt.
In einer besonders bevorzugten Verfahrensausbildung erfolgt der Y-Offset und/oder die Kippung und/oder die Neigung eines der Bilder/Teilbilder nach einem Maximum in der Disparitäts-Tabelle dargestellter Korrespondenzen (Bildübereinstimmungen). Dies bedeutet, dass eine Auswahl stattfindet dahingehend, in welcher Spalte und bei welchem Offset ein Maximum an
Bildübereinstimmungen vorliegt. Das Verfahren wird hierbei iterativ ausgeführt, dergestalt, dass beispielsweise bei einem Offset von 0 in Spalte 3 ein Maximum an Übereinstimmungen aufgefunden wird. Bei einem Offset von -1 wird ein Maximum an Übereinstimmung in Spalte 4 und bei einem Offset von -2 in Spalte 5 vorgefunden. Entsprechend wird bei einem Offset von +1 ein Maximum in Spalte 2 vorgefunden und bei einem Offset von +2 in Spalte 1. Daraus ergibt sich, dass das Bild der zu kalibrierenden Kamera des Mehrkamerasystems eine Neigung relativ zu seiner optischen Achse erfahren muss, es wird somit ein „Tilt", also ein elektronisches Drehen dieses Bildes, angewandt. Sodann werden die Offset-Einstellungen neu durchlaufen, um festzustellen, ob ein weiterer TiIt erforderlich ist, oder ob eine optimale Übereinstimmung gefunden wurde. In einer Verfahrensausbildung wird von zwei Kameras jeweils die rechte kalibriert. Dies erlaubt eine gegebene, standardisierte Vorgehensweise mit einfacher Berechnung. Selbstverständlich ist auch die Kalibrierung der linken Kamera möglich, maßgeblich ist allein, dass das Verfahren stets gleich durchgeführt wird; die Anwendung auf eine Kamera reicht aus.
Weiter wird ein Mehrkamerasystem vorgeschlagen, mit mindestens zwei zueinander beabstandeten Kameras mit elektronischen Bildsensoren, insbesondere zur Durchführung des Verfahrens, wie vorstehend beschrieben. Hierbei ist vorgesehen, dass das Mehrkamerasystem zur Kalibrierung der Kameras hinsichtlich ihrer optischen Achsen zueinander eine Recheneinheit aufweist. Im Stand der Technik wird die Kalibrierung der Kameras von Mehrkamerasystemen mittels der mechanischen Justierung mindestens einer der Kameras relativ zu der jeweils anderen Kamera vorgenommen. Beim hier vorgeschlagenen Mehrkamerasystem ist hingegen vorgesehen, dass die Kalibrierung nicht über eine mechanische Justierung, sondern über eine Recheneinheit erfolgt. Die Recheneinheit verarbeitet hierbei die von den Kameras des Mehrkamerasystems gewonnenen Bildinformationen.
Weiter ist bevorzugt vorgesehen, dass die optischen Achsen und/oder die mechanische Anordnung der Kameras zueinander vor, während und nach der Kalibrierung unverändert ist. Das Mehrkamerasystem wird rein rechnerisch, ohne jede Veränderung der Kameras relativ zueinander, kalibriert. Dies bedeutet, dass mechanische Verstelleinrichtungen, insbesondere 3D-Neiger, wie sie im Stand der Technik zur Kalibrierung erforderlich sind (nämlich für mindestens eine der Kameras des Mehrkamerasystems) für die Kalibrierung vollständig entbehrlich werden.
Weitere vorteilhafte Ausführungsformen ergeben sich aus den Unteransprüchen und aus Kombinationen derselben. Kurze Beschreibung der Zeichnungen
Die Erfindung wird nachfolgend anhand eines Ausführungsbeispiels näher beschrieben, ohne aber hierauf beschränkt zu sein.
Es zeigen
Figur 1 eine schematische Darstellung eines Mehrkamerasystems mit zwei
Kameras (Stereo-Kamerasystem) und
Figur 2 eine Disparitäts-Tabelle zur Kalibrierung des Mehrkamerasystems.
Ausführungsform(en) der Erfindung
Figur 1 zeigt schematisch ein Mehrkamerasystem 1 , nämlich ein
Stereokamerasystem 2, an einem Fahrzeug 3, nämlich einem Kraftfahrzeug 4. Das Mehrkamerasystem 1 weist zwei Kameras 5 auf, die mit Abstand d beabstandet zueinander angeordnet sind, und die jeweils eine optische Achse 6 aufweisen, die in Erfassungsrichtung eines in der Kamera 5 angeordneten elektronischen Bildsensors 7 und senkrecht zu diesem verläuft. Die Kameras 5 sind über geeignete elektrische Verbindungen (hier nicht dargestellt) mit einer Recheneinheit 8 verbunden, die von den Kameras 5 gewonnene Bildinformationen auswertet und weiterverarbeitet, insbesondere zur Kalibrierung des Mehrkamerasystems 1. Die optischen Achsen 6 der beiden Kameras 5 des Mehrkamerasystems 1 weisen hierbei zueinander die Ausrichtung 9 auf. In Teilfigur 1.1 ist der elektrische Bildsensor 7 dargestellt mit einer Bildfläche 10, der ein von dem Bildsensor 7 gewonnenes Bild 11 entspricht. Von diesem Bild 11 wird nur ein Teilbild 12 für die Weiterverarbeitung der im Teilbild 12 vorhandenen Bildinformationen 13 durch die in Figur 1 dargestellte Recheneinheit 8 verwendet. Das Teilbild 12 wird im Zuge einer Kalibrierung des Mehrkamerasystems 1 beispielsweise um die optische Achse 6 des Bildsensors 7 gedreht, so dass sich ein gedrehtes Teilbild 14 ergibt. Es kann ferner in X- und Y-Richtung verschoben werden, so dass sich ein Offset relativ zur Ausgangslage des Teilbilds 12 ergibt. Drehen und Verschieben erfolgt elektronisch, etwa durch Auswahl anderer Zeilen und Spalten des Bildsensors 7. Figur 2 (bestehend aus Figur 2.1 und Figur 2.2) zeigt beispielhaft einen Verfahrensablauf der elektronischen Kalibrierung des in Figur 1 beschriebenen Mehrkamerasystems 1 , bei dem die Lage der optischen Achsen 6 relativ zueinander (insbesondere also ihre Ausrichtung 9) sowie die Lage der Kameras 5 zueinander unverändert bleibt, anhand einer Disparitäts-Tabelle 15. Diese Disparitäts-Tabelle 15 weist vier Spalten 16 auf, von denen in der ersten Spalte 16 Punkt 1 ein vertikaler Offset (Y-Offset) des Teilbildes 12 relativ zum Bild 11 (respektive der Bildfläche 10) des Bildsensors 7 abgetragen ist, und in den drei weiteren Spalten 16.2, 16.3 und 16.4 die Anzahl der gefundenen Korrespondenzen (Bildübereinstimmungen) von Teilbildern 12 der beiden Kameras 5; es erfolgt folglich ein Vergleich von Teilbildern 12 der beiden Kameras 5 zum Zwecke der Kalibrierung, wobei geprüft wird, wie groß die Zahl der Übereinstimmungen der beiden Teilbilder 12 der beiden Kameras jeweils ist. Durch diese Übereinstimmungen lassen sich Ausrichtung und Relativlage der beiden Kameras 5 zueinander zum Zwecke des Betriebs des
Mehrkamerasystems 1 beurteilen. Eines der beiden Teilbilder 12, nämlich einer der Kameras 5, beispielsweise der rechten Kamera 5, wird hierzu mit den dargestellten Y-Offsets innerhalb der Bildfläche 10 verschoben, wohingegen das Teilbild 12 der anderen Kamera nicht verändert wird. Das Teilbild 12 jeder Kamera 5 wird hierbei in drei vertikale Abschnitte unterteilt, die auf
Bildübereinstimmungen (Korrespondenzen) untersucht werden; jedem der drei Vertikalabschnitte entspricht eine der Spalten 16.2, 16.3 oder 16.4 der Disparitäts-Tabelle 15. In vorliegendem Beispiel werden die Übereinstimmungen für jeweils sieben verschiedene Offsets für jeweils drei Vertikalabschnitte des Teilbildes 12 der beiden Kameras untersucht. Es werden hierbei Blöcke 17 ausgebildet. Im ersten Block 17.1 sind Offsets von + 29 bis + 35 abgetragen. Die in den Spalten 16.2 bis 16.4 dargestellten Zahlenwerte stehen beispielhaft für die in dem jeweiligen Vertikalabschnitt des Teilbilds 12 aufgefundenen Korrespondenzen beider Teilbilder 12. Es ergibt sich demzufolge in Spalte 16.2 für den ersten Vertikalabschnitt bei einem Offset von + 34 eine Übereinstimmung hinsichtlich 6585 Punkten, in Spalte 16.3 für den zweiten Vertikalabschnitt bei einem Y-Offset von + 33 eine Übereinstimmung hinsichtlich 6780 Punkten und in Spalte 16.4 für den dritten Vertikalabschnitt bei einem Y-Offset von + 31 eine Übereinstimmung von 6905 Punkten. Ausgegangen wird nun von dem mittleren Vertikalabschnitt, der in Spalte 16.3 dargestellt ist. Dort ergibt sich die höchste Übereinstimmung von 6780 Punkte, wie erwähnt, bei einem Y-Offset von + 33. Der neue, zum nächsten Schritt der Kalibrierung heranzuziehende Y-Offset ist demzufolge + 33. Im zweiten Block 17.2 wird der neue Y-Offset von + 33 in die Mitte der Reihe des Offsets gelegt, so dass sich ein Y-Offset von + 30 bis + 36 ergibt, wobei + 33 zentral liegt. Es ergibt sich eine Übereinstimmung in dem ersten Vertikalabschnitt (Spalte 16.2) für einen Y-Offset von + 34 von 6564 Punkten, in der dritten Spalte 16.3 für den zweiten Vertikalabschnitt bei einem Y- Offset von + 33 von 6714 Punkten und in der vierten Spalte 16.4 für den dritten Vertikalabschnitt bei einem Y-Offset von + 31 von 6923 Punkten. Daraus ergibt sich, weil die größte Anzahl der Bildübereinstimmungen nun zentriert liegt, nämlich bei einem Y-Offset von + 33 und in dem zweiten Vertikalabschnitt, mit 6714 Korrespondenzen, dass das Teilbild 12 gegenüber der Bildfläche geneigt werden muss. Demzufolge wird ein TiIt auf das Teilbild 12 angewandt, dieses also um die optische Achse 6 (vergleiche Figur 1.1 ) geringfügig gedreht. Es werden nun die weiteren Blöcke 17.3 bis 17.7 durchlaufen, bis in Block 17.7 festgestellt wird, dass bei einem Y-Offset von + 34 in den Spalten 16.2 bis 16.4 für die drei Vertikalabschnitte des Teilbildes 12 die größte Anzahl aller Bildübereinstimmungen bei besagtem Y-Offset von + 34 liegt, also alle auf einer Y-Lage. Allerdings ist diese Y-Lage mit einem Y-Offset von + 34 nicht in der Mitte des Blocks 17.7 angeordnet; eine solche Zentrierung des Y-Offset + 34 in Vertikalausrichtung mittig erfolgt in Schritt 17.8, so dass die größtmögliche Übereinstimmung sowohl in vertikaler als auch in horizontaler Ausrichtung aufgefunden wird. Die Kalibrierung des Mehrkamerasystems 1 ist hierbei durch rein elektronisches Verarbeiten der von den Kameras 5 gewonnenen Bildinformationen, nämlich das Verschieben des Teilbildes 12 und sein Drehen um die optische Achse 6, abgeschlossen, ohne dass die Lage der Kameras 5 relativ zueinander und insbesondere ihrer optischen Achsen 6 relativ zueinander (in ihrer Ausrichtung 9) hätte geändert werden müssen. Dies erlaubt insbesondere eine schnelle Online-Kalibrierung und Rekalibherung des Kamerasystems 1 und macht aufwendige mechanische Konstruktionen, die zudem anfällig gegen mechanische Einwirkungen jeder Art sind, überflüssig. Die vorbeschriebene Disparitäts-Tabelle 15 wird in der beschriebenen Recheneinheit 8 erstellt und verwaltet; die Recheneinheit 8 sorgt für die entsprechende Verarbeitung der gewonnenen Bildinformationen 13.

Claims

Ansprüche
1. Verfahren zur Kalibrierung eines Mehrkamerasystems, das mindestens zwei zueinander beabstandete Kameras mit elektronischen Bildsensoren aufweist, wobei die Kameras bei der Kalibrierung hinsichtlich ihrer optischen Achsen zueinander ausgerichtet werden und die Kameras insbesondere der Lieferung von dreidimensionalen Bildinformationen dienen und ferner das Mehrkamerasystem vorzugsweise an einem Fahrzeug angeordnet ist, dadurch gekennzeichnet, dass
die Position der Kameras zueinander, insbesondere die Ausrichtung ihrer optischen Achsen zueinander, vor, während und nach der Kalibrierung unverändert beibehalten bleibt und dass die Kalibrierung der Kameras durch elektronische Bearbeitung von Bildinformationen von mindestens einer der Kameras erfolgt.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass für die Kalibrierung die Bildinformationen mindestens einer der Kameras mit mindestens einem Offset versehen werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Kalibrierung die Bildinformationen von mindestens einer der Kameras um mindestens eine definierte Achse gekippt werden.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Kalibrierung die Bildinformationen von mindestens einer der Kameras um mindestens eine definierte Achse geneigt werden.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Kalibrierung ein Teilbild eines von der mindestens einen Kamera gelieferten Bildes verwendet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die Kalibrierung eine Disparitäts-Tabelle verwendet wird.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Disparitäts-Tabelle eine ungerade Anzahl von Spalten relativ zu einem Vertikal-Offset (Y-Offset) und/oder anderer Kippung und/oder Neigung darstellt.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Kalibrierung durch wiederholtes Durchlaufen der Disparitäts-Tabelle mit jeweils anderem Y-Offset erfolgt.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Kalibrierung der Y-Offset und/oder die Kippung und/oder die Neigung eines der Bilder und/oder Teilbilder mindestens einer der Kameras nach einem Maximum von in der Disparitäts-Tabelle dargestellten Korrespondenzen (Bildübereinstimmungen) erfolgt.
10.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass von zwei Kameras die Rechte kalibriert wird.
11. Mehrkamerasystem, mit mindestens zwei zueinander beabstandeten Kameras mit elektronischen Bildsensoren, insbesondere zur Durchführung des Verfahrens nach einem oder mehreren der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Mehrkamerasystem (1 ) zur Kalibrierung der Kameras (5) hinsichtlich ihrer optischen Achsen (6) zueinander eine Recheneinheit (8) aufweist.
12. Mehrkamerasystem nach Anspruch 11 , dadurch gekennzeichnet, dass die optischen Achsen (6) und/oder die mechanische Anordnung der Kameras (5) zueinander vor, während und nach der Kalibrierung unverändert ist.
EP09780752A 2008-08-05 2009-07-17 Mehrkamerasystem und verfahren zu dessen kalibrierung Withdrawn EP2321619A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008040985.5A DE102008040985B4 (de) 2008-08-05 2008-08-05 Verfahren zur Kalibrierung eines Mehrkamerasystems
PCT/EP2009/059204 WO2010015499A1 (de) 2008-08-05 2009-07-17 Mehrkamerasystem und verfahren zu dessen kalibrierung

Publications (1)

Publication Number Publication Date
EP2321619A1 true EP2321619A1 (de) 2011-05-18

Family

ID=41218834

Family Applications (1)

Application Number Title Priority Date Filing Date
EP09780752A Withdrawn EP2321619A1 (de) 2008-08-05 2009-07-17 Mehrkamerasystem und verfahren zu dessen kalibrierung

Country Status (5)

Country Link
US (1) US20110211046A1 (de)
EP (1) EP2321619A1 (de)
CN (1) CN102119317B (de)
DE (1) DE102008040985B4 (de)
WO (1) WO2010015499A1 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5304721B2 (ja) * 2010-04-28 2013-10-02 株式会社Ｊｖｃケンウッド 立体映像撮像装置
DE102010062496B4 (de) * 2010-12-07 2022-01-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
IL216515A (en) 2011-11-22 2015-02-26 Israel Aerospace Ind Ltd A system and method for processing images from a camera set
DE102012001858A1 (de) 2012-02-01 2012-09-27 Daimler Ag Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
US9013558B2 (en) * 2012-07-02 2015-04-21 Sony Corporation System and method for alignment of stereo views
US10085001B2 (en) 2014-03-21 2018-09-25 Omron Corporation Method and apparatus for detecting and mitigating mechanical misalignments in an optical system
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
EP3197156A4 (de) * 2014-07-28 2018-03-21 Olympus Corporation Steuerungsvorrichtung für stereoskopische betrachtungsvorrichtung, stereoskopisches betrachtungssystem und steuerungsverfahren für stereoskopische betrachtungsvorrichtung
FR3026591B1 (fr) * 2014-09-25 2016-10-21 Continental Automotive France Procede de calibration extrinseque de cameras d'un systeme de formation d'images stereos embarque
KR102258196B1 (ko) * 2014-10-30 2021-05-28 현대모비스 주식회사 차량 영상 보정 장치 및 차량 영상 보정 방법
US10922559B2 (en) 2016-03-25 2021-02-16 Bendix Commercial Vehicle Systems Llc Automatic surround view homography matrix adjustment, and system and method for calibration thereof
US10187629B2 (en) * 2016-04-06 2019-01-22 Facebook, Inc. Camera calibration system
US10210660B2 (en) * 2016-04-06 2019-02-19 Facebook, Inc. Removing occlusion in camera views
US10339662B2 (en) 2016-05-23 2019-07-02 Microsoft Technology Licensing, Llc Registering cameras with virtual fiducials
US10326979B2 (en) 2016-05-23 2019-06-18 Microsoft Technology Licensing, Llc Imaging system comprising real-time image registration
US10027954B2 (en) 2016-05-23 2018-07-17 Microsoft Technology Licensing, Llc Registering cameras in a multi-camera imager
EP3382646A1 (de) 2017-03-29 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur bereitstellung von kalibrierungsdaten, kamerasystem und verfahren zum erhalten von kalibrierungsdaten
BR112019020579A2 (pt) * 2017-03-31 2020-05-19 A^3 By Airbus, Llc sistema e método para monitorar ameaças de colisão para um veículo
DE102017219688A1 (de) * 2017-11-06 2019-05-09 Conti Temic Microelectronic Gmbh Verfahren zur Kalibrierung einer Fahrzeugkamera
DE102018205065A1 (de) 2018-04-04 2019-10-10 Volkswagen Aktiengesellschaft Verfahren zur Kalibrierung eines Positionssensors in einem Fahrzeug, Computerprogramm, Speichermittel, Steuergerät und Kalibrierstrecke
CN110490939B (zh) * 2019-08-08 2022-03-22 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6671399B1 (en) * 1999-10-27 2003-12-30 Canon Kabushiki Kaisha Fast epipolar line adjustment of stereo pairs
KR100834637B1 (ko) * 2006-11-27 2008-06-02 삼성전자주식회사 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법
EP2132707A2 (de) * 2006-12-18 2009-12-16 Koninklijke Philips Electronics N.V. Kalibrierung eines kamerasystems
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
DE102007050558A1 (de) * 2007-10-23 2008-05-15 Daimler Ag Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung
DE102008004370A1 (de) * 2008-01-15 2009-07-16 Robert Bosch Gmbh Bildjustageverfahren für ein Videobild

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010015499A1 *

Also Published As

Publication number Publication date
CN102119317A (zh) 2011-07-06
DE102008040985A1 (de) 2010-02-11
US20110211046A1 (en) 2011-09-01
WO2010015499A1 (de) 2010-02-11
DE102008040985B4 (de) 2021-05-27
CN102119317B (zh) 2013-09-18

Similar Documents

Publication Publication Date Title
DE102008040985B4 (de) Verfahren zur Kalibrierung eines Mehrkamerasystems
EP2002203B1 (de) Verfahren und system zur formmessung einer spiegelnden oberfläche
DE69428686T2 (de) Bildaufnahmevorrichtung und verfahren zur bestimmung von fokusinformationen
EP3166312B1 (de) Vorrichtung und verfahren zum justieren und/oder kalibrieren eines multi-kamera moduls sowie verwendung einer solchen vorrichtung
DE10312696B3 (de) Verfahren zur Bestimmung der Abbildungsgleichung für die Selbstkalibrierung in Bezug auf die Durchführung von Stereo-PIV-Verfahren
EP2156239A1 (de) Verfahren zur ausrichtung eines optischen elements auf einem bildschirm
EP2034269A1 (de) Verfahren und Vorrichtung zur dreidimensinalen Digitalisierung von Objekten
DE102015103785A1 (de) Verfahren und Vorrichtung zur Kalibration einer Kamera
EP3739865A1 (de) Mehrkanaloptik-bildaufnahmevorrichtung
DE102006055758B4 (de) Verfahren zur Kalibrierung von Kameras und Projektoren
DE102012001858A1 (de) Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
WO2014108130A1 (de) Verfahren zur bestimmung von tiefenkarten aus stereobildern mit verbesserter tiefenauflösung in einem bereich
DE102007021106B4 (de) Verfahren und Vorrichtung zum Kalibrieren eines Kamerasystems
DE102020212285A1 (de) Verfahren zur räumlichen Bilderfassung mit Hilfe einer zwei Kameras aufweisenden Stereokamera sowie Verfahren zur Erzeugung einer redundanten Abbildung eines Messobjektes und Vorrichtung zur Durchführung der Verfahren
EP1585059A2 (de) Verfahren und Vorrichtung zur Ermittlung von Bewegungsvektoren, die Bildbereichen eines Bildes zugeordnet sind
DE102014114221A1 (de) Verfahren zum Detektieren von einem Objekt in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
EP4220077B1 (de) Kalibriersystem zum kalibrieren eines kamerasystems und zugehöriges kalibriersystem
EP3420533B1 (de) Verfahren zum kalibrieren eines optischen messaufbaus
WO2012143159A1 (de) Verfahren und vorrichtung zur bestimmung von zur entzerrung eines bildes geeigneten werten und zur entzerrung eines bildes
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
DE102015110926A1 (de) System zur Bestimmung einer Objektivposition
DE102010021221A1 (de) Verfahren zur Bestimmung einer Ausrichtung einer an einem Fahrzeug angeordneten Kamera
DE102021113111B4 (de) Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem
DE102022200819A1 (de) Verfahren zum Betreiben eines stereoskopischen medizinischen Mikroskops und medizinisches Mikroskop
DE102015205174A1 (de) Vorrichtung und Verfahren zum gleichzeitigen Kalibrieren einer Mehrzahl von Kameras

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110307

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

AX Request for extension of the european patent

Extension state: AL BA RS

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20120725

RIC1 Information provided on ipc code assigned before grant

Ipc: G01C 25/00 20060101ALI20150723BHEP

Ipc: H04N 13/02 20060101AFI20150723BHEP

Ipc: G01C 11/00 20060101ALI20150723BHEP

Ipc: G06T 7/00 20060101ALI20150723BHEP

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

INTG Intention to grant announced

Effective date: 20150907

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20160119