DE102004001572A1 - Dynamic calibration system for multiple cameras used to monitor moving objects to avoid image disparity - Google Patents

Dynamic calibration system for multiple cameras used to monitor moving objects to avoid image disparity Download PDF

Info

Publication number
DE102004001572A1
DE102004001572A1 DE102004001572A DE102004001572A DE102004001572A1 DE 102004001572 A1 DE102004001572 A1 DE 102004001572A1 DE 102004001572 A DE102004001572 A DE 102004001572A DE 102004001572 A DE102004001572 A DE 102004001572A DE 102004001572 A1 DE102004001572 A1 DE 102004001572A1
Authority
DE
Germany
Prior art keywords
cameras
calibration method
module
camera parameters
runtime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102004001572A
Other languages
German (de)
Other versions
DE102004001572B4 (en
Inventor
Uwe Dr.-Ing. Franke
Stefan Dipl.-Ing. Heinrich
Fridtjof Dr.rer.nat. Stein
Alexander Dr.rer.nat. Würz-Wessel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to DE102004001572A priority Critical patent/DE102004001572B4/en
Publication of DE102004001572A1 publication Critical patent/DE102004001572A1/en
Application granted granted Critical
Publication of DE102004001572B4 publication Critical patent/DE102004001572B4/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

Two or more cameras are used to monitor moving objects and normally there will be a disparity for different positions. A dynamic calibration process is used in which the separate images are used to determine actual camera parameters such as optical flow [F] and stereo depth [D]. This uses a number of processing modules [M].

Description

Die Erfindung betrifft ein Laufzeit-Kalibrierungsverfahren für ein bildgebendes System mit wenigstens zwei Kameras, wobei aktuelle Kameraparameter fortlaufend ermittelt werden.The The invention relates to a transit time calibration method for an imaging System with at least two cameras, where current camera parameters be determined continuously.

Ein derartiges System ist aus der US 5,559,695 bekannt. Dort ist ein selbstkalibrierendes visuelles Sensorsystem für ein mobiles Fahrzeug beschrieben.Such a system is from the US 5,559,695 known. There is described a self-calibrating visual sensor system for a mobile vehicle.

Bildgebende Systeme, bestehend aus zwei oder mehreren Kameras, müssen für ihren Einsatz kalibriert werden. D.h. es werden innere und äußere Kameraparameter bestimmt. Die inneren Kameraparameter sind u.a. die Fokallänge der Kamera, der Hauptpunkt, d.h. der Durchstoßpunkt der optischen Achse durch die Bildebene, die Größe der Sensorelemente und die Koeffizienten der Linsenverzeichnungen. Die äußeren Kameraparameter beschreiben die relative Positionierung der Kameras des Stereosystems zueinander. Dabei ist die relative Positionierung durch eine Verschiebung (die sogenannte Basislinie) und eine Rotation der Kamerakoordinatensysteme vollständig beschrieben.Imaging Systems, consisting of two or more cameras, need for their Use calibrated. That it becomes inner and outer camera parameters certainly. The internal camera parameters are u.a. the focal length of Camera, the main point, i. the puncture point of the optical axis through the image plane, the size of the sensor elements and the lens distortion coefficients. The outer camera parameters describe the relative positioning of the cameras of the stereo system to each other. Here is the relative positioning by a shift (the so-called baseline) and a rotation of the camera coordinate systems Completely described.

In der Regel wird ein Kamerasystem vor dem Einsatz einmalig kalibriert, danach wird angenommen, dass diese Konfiguration statisch ist und die Parameter für das System dauerhaft gültig sind. In einem kontrollierten Umfeld, beispielsweise einem Labor, kann diese Annahme getroffen werden. Wird das Sys tem jedoch unter realen Bedingungen eingesetzt, muss diese Annahme jedoch nicht richtig sein.In As a rule, a camera system is calibrated once before use, then it is assumed that this configuration is static and the parameters for the system is permanently valid are. In a controlled environment, such as a laboratory, this assumption can be made. However, if the system becomes submerged However, this assumption does not have to be correct be.

Insbesondere der Automotive-Bereich stellt hohe Anforderungen, sowohl hinsichtlich der auftretenden Einflüsse als auch der erforderlichen Messgenauigkeiten. Während des Betriebs können sich nämlich insbesondere die äußeren Kameraparameter durch äußere Einflüsse, wie z.B. Erschütterung, Erwärmung, etc., signifikant ändern. Um die Funktionalität des Gesamtsystems zu gewährleisten und die erforderliche Genauigkeit bereitzustellen, müssen die Parameter demzufolge während der Laufzeit immer wieder neu ermittelt werden (sogenannte Laufzeitkalibrierung) bzw. die Korrektheit der eingestellten Parameter muss ständig überwacht werden.Especially The automotive sector has high requirements, both in terms of the occurring influences as well as the required measuring accuracies. In fact, during operation, in particular the outer camera parameters through external influences, such as e.g. Vibration, warming, etc., change significantly. To the functionality of the overall system and to provide the required accuracy, the Parameter accordingly during the runtime are determined again and again (so-called runtime calibration) or the correctness of the set parameters must be constantly monitored become.

Es ist bekannt, zur Bestimmung der relativen Position zweier Kameras, welche sich durch eine statische Umgebung bewegen, Verfahren einzusetzen, die ursprünglich zur Bestimmung der Kamerabewegung aus einer monokularen Bildsequenz entwickelt wurden. Der Nachteil dieses Ansatzes besteht darin, dass das Verfahren zum einen sehr rechen- und damit auch zeitintensiv ist, und dass es auf der Annahme einer statischen Szene beruht und damit für einen Einsatz in einer realen bewegten Umwelt – insbesondere mangels Genauigkeit – weniger geeignet ist. Die Annahme einer statischen Szene ist im Automobilbereich selbstverständlich nicht gegeben.It is known for determining the relative position of two cameras, which move through a static environment to use methods that originally for determining the camera movement from a monocular image sequence were developed. The disadvantage of this approach is that the process on the one hand very computationally and thus time consuming is, and that it is based on the assumption of a static scene and with it for a use in a real moving environment - especially for lack of accuracy - less suitable is. The assumption of a static scene is in the automotive sector Of course not given.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Laufzeit-Kalibrierungsverfahren der eingangs erwähnten Art zu schaffen, welches die Nachteile des Standes der Technik vermeidet und insbesondere eine genaue und aktuelle Kalibrierung gewährleistet.Of the The present invention is therefore based on the object, a transit time calibration method the aforementioned To create kind, which avoids the disadvantages of the state of the art and in particular ensures accurate and up-to-date calibration.

Diese Aufgabe wird erfindungsgemäß durch Anspruch 1 gelöst.These The object is achieved by claim 1 solved.

Das erfindungsgemäße Verfahren verbindet in einfacher und vorteilhafter Weise die Stereotiefeninformationen, die unter Verwendung der kalibrierten Kameraparameter aus einem Mehrfachkamerasystem bestimmt worden sind, mit der Flussinformation, die aus jedem aufgezeichneten Kamerabild extrahiert werden kann. Mit anderen Worten verknüpft die Erfindung Methoden, die bisher nur getrennt angewendet wurden, nämlich die stereoskopische, dreidimensionale Vermessung einer Umgebung und die Auswertung des optischen Flusses im Bild. Durch den Vergleich dieser Daten können die Kameraparameter bestimmt bzw. deren Gültigkeit überprüft werden. Sind des weiteren fahrzeugspezifische Daten, wie beispielsweise Tiefeninformationen anderer Sensoren (Radar, Lidar, etc.) oder Gier-, Wank- oder Nickwinkel bzw. Fahrgeschwindigkeiten und Lenkwinkel des Fahrzeugs vorhanden, können diese zusätzlich zur Bestimmung der Kameraparameter herangezogen werden. Bisher passive Zeiten (System eingeschaltet aber nicht aktiviert) können nun dazu genutzt werden, entweder das System zu kalibrieren oder die Kalibrierung zu überprüfen. Dadurch ist es möglich, den Einsatz von bildgebenden Stereosystemen insbesondere im Automobil-/Automotive-Bereich wesentlich sicherer zu machen, da die Messgenauigkeit der Systeme letztlich auf der Genauigkeit der Kalibrierungsdaten beruht und diese durch das erfindungsgemäße Verfahren wesentlich verbessert wird. Wird das Verfahren dazu eingesetzt, das System zu kalibrieren, entfallen ggf. zusätzliche technisch und zeitlich aufwändige Verfahren.The inventive method combines in a simple and advantageous way the stereo depth information, the one using the calibrated camera parameters Multiple camera system have been determined, with the flow information, the can be extracted from any recorded camera image. With linked to other words the invention methods that were previously used only separately, namely the stereoscopic, three-dimensional measurement of an environment and the evaluation of the optical flow in the picture. By comparison this data can the camera parameters are determined or their validity is checked. Are further vehicle-specific data, such as depth information other sensors (radar, lidar, etc.) or yaw, roll or pitch angle or driving speeds and steering angles of the vehicle, can this in addition be used to determine the camera parameters. So far passive Times (system turned on but not activated) can now be used to either calibrate the system or the Check calibration. Thereby Is it possible, the use of imaging stereo systems, especially in the automotive / automotive sector much safer, because the accuracy of the systems ultimately based on the accuracy of the calibration data and these by the method according to the invention is significantly improved. If the process is used Calibrating the system may eliminate additional technical and time requirements complex Method.

Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnung prinzipmäßig ein Ausführungsbeispiel beschrieben.advantageous Refinements and developments emerge from the dependent claims. following is in principle an embodiment with reference to the drawing described.

Die einzige Figur der Zeichnung zeigt ein schematisches Flussdiagramm des erfindungsgemäßen Laufzeit-Kalibrierungsverfahrens.The single figure of the drawing shows a schematic flow diagram the transit time calibration method according to the invention.

Bei einem bildgebenden System mit zwei nicht dargestellten Kameras ordnet die stereoskopische Vermessung zuerst in den jeweiligen Kamerabildern beobachtete Objekte einander zu.at an imaging system with two cameras, not shown orders the stereoscopic survey first in the respective camera images watched objects approach each other.

Aufgrund der unterschiedlichen Beobachtungspositionen der Kameras relativ zur Szene (Verschiebung der Kameras um die Basislinie) wird das Objekt an unterschiedlichen Stellen in den Kamerabildern abgebildet. Diese Verschiebung im Bildpaar der Kameras wird als Disparität D bezeichnet. Die Disparität D ist dabei durch die Basislinie b des bildgebenden Systems, einer Fokallänge f der Kameras, einer Sensorelementgröße su bzw. sv der Kameras und einer Entfernung z0 eines Objekts von der Kamera bestimmt:

Figure 00040001
Due to the different observation positions of the cameras relative to the scene (displacement of the cameras around the base line), the object is imaged at different locations in the camera images. This shift in the image pair of the cameras is referred to as disparity D. The disparity D is determined by the base line b of the imaging system, a focal length f of the cameras, a sensor element size s u or s v of the cameras and a distance z 0 of an object from the camera:
Figure 00040001

Ein optischer Fluss Fu (in Bildkoordinatenrichtung u, v folgt analog) kommt dadurch zustande, dass sich bei einer Kamerabewegung die beobachteten Objekte im Bild verschieben. Dies gilt für jede einzelne Kamera des bildgebenden Systems. Durch Zuordnung der Objekte in aufeinanderfolgenden Bildern und der Kenntnis der neuen Objektentfernung z1 lässt sich der optische Fluss Fu wie folgt berechnen:

Figure 00040002
x beschreibt in dieser Gleichung die horizontale Koordinate des bildgebenden Systems. Bei einer lateralen Bewegung der Kamera entspricht diese der horizontalen Verschiebung des Objekts relativ zur Kamera. Kombiniert man nun diese beiden Methoden, so lässt sich eine Fluss-Tiefen-Begrenzung (Flow-Depth-Constraint) wie folgt formulieren:
Figure 00040003
An optical flow F u (in image coordinate direction u, v follows analogously) is due to the fact that the observed objects move in the image during a camera movement. This applies to every single camera of the imaging system. By assigning the objects in successive images and knowing the new object distance z 1 , the optical flux F u can be calculated as follows:
Figure 00040002
In this equation, x describes the horizontal coordinate of the imaging system. In a lateral movement of the camera, this corresponds to the horizontal displacement of the object relative to the camera. Combining these two methods, a flow-depth constraint can be formulated as follows:
Figure 00040003

Mit Δs = z1 – z0 (4) ergibt sich für die Bildkoordinatenrichtungen u und v:

Figure 00050001
With Δs = z 1 -z 0 (4) results for the image coordinate directions u and v:
Figure 00050001

Nimmt man eine laterale Kamerabewegung durch eine statische Szene an und berechnet die Fluss-Tiefen-Beziehungen für die beobachteten Objekte, so ergeben unbewegte Objekte in den Fluss-Tiefen-Diagrammen für die Bildkoordinatenrichtungen u und v über dem Bild jeweils eine Ebene. Kennt man die Kalibrierung des Kamerasystems, so lassen sich aufgrund dieser Berechnungen sehr leicht eigenbewegte Objekte im Bild bestimmen. Dies ist die übliche Anwendung des Verfahrens gemäß dem Stand der Technik.takes a lateral camera movement through a static scene and computes the flux-depth relationships for the observed objects, this results in still objects in the flow-depth diagrams for the image coordinate directions u and v over the picture one level at a time. Is the calibration of the camera system known? This makes it very easy to move on the basis of these calculations Determine objects in the picture. This is the usual application of the method according to the state of the technique.

In dem vorliegenden erfindungsgemäßen Verfahren werden jedoch wie aus der Figur ersichtlich der optische Fluss Fu, Fv in einem Modul M1 und die Disparität D in einem Modul M2 auf Basis aktueller Kameraparameter P von Bildern Bild1, Bild2 eines bildgebenden Systems mit zwei Kameras ausgewertet.In the present inventive method, however, as shown in the figure, the optical flow F u , F v in a module M 1 and the disparity D in a module M 2 based on current camera parameters P of images Figure 1 , Figure 2 of an imaging system two cameras evaluated.

Anschließend werden in einem weiteren Modul MK anhand der Ergebnisse Fu, Fv, D der Module M1, M2 die neuen aktuellen Kameraparameter P wiederum als Eingabe für das Modul M2 geliefert. Gleichzeitig erfolgt eine Online-Überwachung der Änderung ΔP der Parameter P im Vergleich zu einem voreingestellten Schwellenwert ε.Subsequently, in a further module M K , the new current camera parameters P are again supplied as input for the module M 2 on the basis of the results F u , F v , D of the modules M 1 , M 2 . At the same time there is an online monitoring of the change .DELTA.P of the parameter P in comparison to a preset threshold value ε.

Wie weiter aus der Figur ersichtlich kann das Modul M1 (durch gestrichelte Pfeile angedeutet) durch ein Modul MF eines Fahrzeugs (nicht dargestellt) zur Verfügung gestellte fahrzeugspezifische Daten wie Geschwindigkeit V, Lenkwinkel, Winkelmessungen wie Gier-, Wank- und Nickwinkel ΦG, ΦW, ΦN in die Berechnung mit einbeziehen. Stehen darüber hinaus Systeme zur Abstandsmessung (z.B. Radar, Lidar) zur Verfügung, so kann eine Tiefe D von abgebildeten Objekten direkt gemessen und in die Berechnung des Moduls Mk einfließen.As further apparent from the figure, the module M 1 (indicated by dashed arrows) provided by a module M F of a vehicle (not shown) provided vehicle-specific data such as speed V, steering angle, angle measurements such as yaw, roll and pitch angle Φ G , Φ W , Φ N in the calculation. If, in addition, systems for distance measurement (eg radar, lidar) are available, then a depth D of imaged objects can be measured directly and incorporated into the calculation of the module M k .

In einem Kraftfahrzeug lassen sich über den sogenannten CAN-Bus die Geschwindigkeit und der Lenkwinkel abgreifen. Über die Raddrehzahlen oder zusätzlich eingebaute Gierratensensoren lässt sich die Eigenrotation bestimmen. Damit ist die Eigenbewegung der Kameras sehr gut bekannt. Die Bilder werden in Video-Echtzeit, d.h. mit 25 Hz (40 ms Bildabstand) aufgezeichnet. In diesem Zeitraum ändert sich die Fahrzeugumgebung nicht wesentlich. Daraus ergibt sich, dass durch eine Optimierungsrechnung für einen längeren Zeitraum die Systemparameter berechnet werden können. Objekte mit einer signifikanten Eigenbewegung sind aufgrund eben dieser nur für einen begrenzten Zeitraum sichtbar und stellen in der Optimierung lediglich ein Rauschen in den Daten dar.In a motor vehicle can be over the so-called CAN bus take the speed and the steering angle. About the Wheel speeds or in addition built-in yaw rate sensors leaves determine the self-rotation. This is the proper movement of the Cameras very well known. The images are displayed in video real time, i. recorded at 25 Hz (40 ms frame). This period changes the vehicle environment is not essential. It follows that by an optimization calculation for a longer period the system parameters can be calculated. Objects with a significant self-motion are just because of this only for a limited period visible and put in the optimization just a noise in the data.

Claims (10)

Laufzeit-Kalibrierungsverfahren für ein bildgebendes System mit wenigstens zwei Kameras, wobei aktuelle Kameraparameter fortlaufend ermittelt werden, dadurch gekennzeichnet, dass zur fortlaufenden Ermittlung der aktuellen Kameraparameter (P) ein optischer Fluss (Fu, Fv) und eine Stereotiefenvermessung (D) der jeweiligen von den wenigstens zwei Kameras detektierten Bilder (Bild1, Bild2) gemeinsam ausgewertet werden.Runtime calibration method for an imaging system with at least two cameras, wherein current camera parameters continuously determined who den, characterized in that for continuous determination of the current camera parameters (P), an optical flux (F u , F v ) and a stereo depth measurement (D) of the respective detected by the at least two cameras images (Figure 1 , Figure 2 ) are evaluated together , Laufzeit-Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass – in einem ersten Schritt in einem ersten Modul (M1) ein optischer Fluss (Fu, Fv) aus den Bildern der Kameras berechnet wird, wobei in einem zweiten Modul (M2) eine Stereotiefenvermessung (D) der Bilder (Bild1, Bild2) der Kameras auf Basis der aktuellen Kameraparameter (P) durchgeführt wird, wonach – in einem zweiten Schritt in einem Kalibrierungsmodul (MK) aus den Ergebnissen (Fu, Fv, D) des ersten und des zweiten Moduls (M1, M2) die neuen aktuellen Kameraparameter (P) bestimmt und dem zweiten Modul (M2) zur Verfügung gestellt werden.Runtime calibration method according to claim 1, characterized in that - in a first step in a first module (M 1 ), an optical flux (F u , F v ) is calculated from the images of the cameras, wherein in a second module (M 2 ) a stereo depth measurement (D) of the images (image 1 , image 2 ) of the cameras based on the current camera parameters (P) is performed, after which - in a second step in a calibration module (M K ) from the results (F u , F v , D) of the first and the second module (M 1 , M 2 ) determines the new current camera parameters (P) and the second module (M 2 ) are provided. Laufzeit-Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die wenigstens zwei Kameras in einem Fahrzeug eingesetzt werden.Runtime calibration method according to claim 1, characterized in that the at least two cameras in one Vehicle be used. Laufzeit-Kalibrierungsverfahren nach Anspruch 3, dadurch gekennzeichnet, dass das zweite Modul (M2) zusätzlich als Hilfsparameter aktuelle fahrzeugspezifische Daten (V, ΦG, ΦW, ΦN) in die Berechnung mit einbezieht.Runtime calibration method according to claim 3, characterized in that the second module (M 2 ) additionally includes as auxiliary parameters current vehicle-specific data (V, Φ G , Φ W , Φ N ) in the calculation with. Laufzeit-Kalibrierungsverfahren nach Anspruch 4, dadurch gekennzeichnet, dass als aktuelle fahrzeugspezifische Daten eine Geschwindigkeit (V), ein aktueller Lenkwinkel, ein Gier- (ΦG), ein Wank- (ΦW) und/oder ein Nickwinkel (ΦN) verwendet werden.Run time calibration method according to claim 4, characterized in that as current vehicle-specific data, a speed (V), a current steering angle, a yaw (Φ G ), a roll (Φ W ) and / or a pitch angle (Φ N ) used become. Laufzeit-Kalibrierungsverfahren nach Anspruch 3, 4 oder 5, dadurch gekennzeichnet, dass das Kalibrierungsmodul (MK) zusätzlich als Hilfsparameter aktuelle Abstandsmessungsdaten (D) des Fahrzeugs in die Berechnung mit einbezieht.Runtime calibration method according to claim 3, 4 or 5, characterized in that the calibration module (M K ) additionally includes as auxiliary parameters current distance measurement data (D) of the vehicle in the calculation. Laufzeit-Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass innere und äußere Kameraparameter (P) ermittelt werden.Runtime calibration method according to claim 1, characterized in that inner and outer camera parameters (P) determined become. Laufzeit-Kalibrierungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass als innere Kameraparameter eine Fokallänge der Kamera, ein Durchstoßpunkt der optischen Achse durch die Bildebene, Größen von Sensorelementen der Kameras und Koeffizienten von Verzeichnungen von Linsen der Kameras verwendet werden.Runtime calibration method according to claim 7, characterized in that as inner camera parameters a focal length of the Camera, a puncture point the optical axis through the image plane, sizes of sensor elements of Cameras and coefficients of distortions of lenses of the cameras be used. Laufzeit-Kalibrierungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass als äußere Kameraparameter eine relative Position und eine Ausrichtung der Kameras zueinander verwendet werden.Runtime calibration method according to claim 7, characterized in that as external camera parameters a relative Position and alignment of the cameras are used. Fahrzeug mit einem bildgebenden System mit wenigstens zwei Kameras, welche mit einem Verfahren gemäß einem der Ansprüche 1 bis 9 zur Laufzeit kalibriert werden.Vehicle with an imaging system with at least two cameras, which with a method according to one of claims 1 to 9 are calibrated at runtime.
DE102004001572A 2004-01-12 2004-01-12 Run-time calibration method Expired - Fee Related DE102004001572B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102004001572A DE102004001572B4 (en) 2004-01-12 2004-01-12 Run-time calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102004001572A DE102004001572B4 (en) 2004-01-12 2004-01-12 Run-time calibration method

Publications (2)

Publication Number Publication Date
DE102004001572A1 true DE102004001572A1 (en) 2005-08-04
DE102004001572B4 DE102004001572B4 (en) 2008-11-13

Family

ID=34716445

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004001572A Expired - Fee Related DE102004001572B4 (en) 2004-01-12 2004-01-12 Run-time calibration method

Country Status (1)

Country Link
DE (1) DE102004001572B4 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008045618A1 (en) 2008-09-03 2010-03-18 Daimler Ag Method for calibrating sensors of vehicle, involves detecting sensor positioning data by calibrating sensor during drive of vehicle, and determining model positioning data
DE102010049216A1 (en) 2010-10-21 2011-07-28 Daimler AG, 70327 Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation
DE102010048143A1 (en) 2010-10-11 2011-07-28 Daimler AG, 70327 Method for calibrating camera arranged in vehicle, involves determining current camera parameters in continuous manner and considering current pitch angle of vehicle during calibration
DE102013224502A1 (en) 2012-12-07 2014-06-12 Continental Teves Ag & Co. Ohg Method for calibrating stereo camera of vehicle, involves finding calibration error for calibrating stereo camera, by comparing three-dimensional (3D) environment data of two cameras calculated at preset time periods
DE102013201769A1 (en) * 2013-02-04 2014-08-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Surveying arrangement and method of surveying
DE102014206227A1 (en) * 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereo Camera System
DE102014209137A1 (en) * 2014-05-14 2015-11-19 Volkswagen Aktiengesellschaft Method and device for calibrating a camera system of a motor vehicle
DE102016104730A1 (en) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Method for detecting an object along a road of a motor vehicle, computing device, driver assistance system and motor vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010032062A1 (en) 2010-05-20 2011-05-12 Daimler Ag Method for calibration of sensors of object detection system for three dimensional measurements in automotive field, involves determining confidential information of classifiers for calibrating sensors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5559695A (en) * 1994-12-27 1996-09-24 Hughes Aircraft Company Apparatus and method for self-calibrating visual time-to-contact sensor
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
4,S.323-344;
BROOKS,Rodney A.,et.al.: Self Calibration of Motion and Stereo Vision for Mobile Robot Navigation. In: Fourth International Sym- posium of Robotics Research, Santa Cruz, CA, MIT Press.,August 1987. Report number: Al Memo 984, 25 Seiten *
BROOKS,Rodney A.,et.al.: Self Calibration of Motion and Stereo Vision for Mobile Robot Navigation. In: Fourth International Sym- posium of Robotics Research, Santa Cruz, CA, MIT Press.,August 1987. Report number: Al Memo 984, 25 Seiten;
DANG, Thao,et.al.: Fusing Optical Flow and Stereo Disparity for Object Tracking. In: IEEE th International Conference on Intelligent Transportation Systems, 2002, Proceedings, S.112-117 *
DANG, Thao,et.al.: Fusing Optical Flow and Stereo Disparity for Object Tracking. In: IEEE th International Conference on Intelligent Transportation Systems, 2002, Proceedings, S.112-117;
TISTARELLi,E.,et.al.: Dynamic Stereo in Visual Navigation. In: IEEE Computer Society Conference on Computr Vision and Pattern Recognition, 3.-6.June,1991, Proceedings,S.186-193 *
TISTARELLi,E.,et.al.: Dynamic Stereo in Visual Navigation. In: IEEE Computer Society Conference on Computr Vision and Pattern Recognition, 3.-6.June,1991, Proceedings,S.186-193;
TSAI,Roger Y.: A Versatile Camera Calibration Technique for High- Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses. In: IEEE Journal of Robotics and Automation, August 1987, Vol.3,Issue *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008045618A1 (en) 2008-09-03 2010-03-18 Daimler Ag Method for calibrating sensors of vehicle, involves detecting sensor positioning data by calibrating sensor during drive of vehicle, and determining model positioning data
DE102010048143A1 (en) 2010-10-11 2011-07-28 Daimler AG, 70327 Method for calibrating camera arranged in vehicle, involves determining current camera parameters in continuous manner and considering current pitch angle of vehicle during calibration
DE102010049216A1 (en) 2010-10-21 2011-07-28 Daimler AG, 70327 Method for operating camera i.e. stereo camera, arranged at car, involves detecting distance of object via image evaluation, and calibrating camera when distance determined by sensing unit deviates from distance determined by evaluation
DE102013224502A1 (en) 2012-12-07 2014-06-12 Continental Teves Ag & Co. Ohg Method for calibrating stereo camera of vehicle, involves finding calibration error for calibrating stereo camera, by comparing three-dimensional (3D) environment data of two cameras calculated at preset time periods
DE102013201769A1 (en) * 2013-02-04 2014-08-07 Deutsches Zentrum für Luft- und Raumfahrt e.V. Surveying arrangement and method of surveying
DE102014206227A1 (en) * 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereo Camera System
DE102014209137A1 (en) * 2014-05-14 2015-11-19 Volkswagen Aktiengesellschaft Method and device for calibrating a camera system of a motor vehicle
US10424081B2 (en) 2014-05-14 2019-09-24 Volkswagen Aktiengesellschaft Method and apparatus for calibrating a camera system of a motor vehicle
DE102014209137B4 (en) 2014-05-14 2023-02-02 Volkswagen Aktiengesellschaft Method and device for calibrating a camera system of a motor vehicle
DE102016104730A1 (en) * 2016-03-15 2017-09-21 Connaught Electronics Ltd. Method for detecting an object along a road of a motor vehicle, computing device, driver assistance system and motor vehicle
US10789731B2 (en) 2016-03-15 2020-09-29 Connaught Electronics Ltd. Method and system for detecting an object alongside a road of a motor vehicle based on at least two images of an environmental region of the motor vehicle

Also Published As

Publication number Publication date
DE102004001572B4 (en) 2008-11-13

Similar Documents

Publication Publication Date Title
DE10312696B3 (en) Procedure for determining the mapping equation for self-calibration in relation to the implementation of stereo PIV procedures
DE112009001197B4 (en) Self-calibration of extrinsic camera parameters for a vehicle camera
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
WO2017206999A1 (en) Method for evaluating image data of a vehicle camera
DE102013206707A1 (en) Method for checking an environment detection system of a vehicle
DE102007054067A1 (en) A method of preventing lane departure for use on vehicles
DE102013108070A1 (en) Image calibration and equalization of a wide-angle camera
DE10229336A1 (en) Method and device for calibrating image sensor systems
EP2189349A2 (en) Method and device for compensating a roll angle
DE102009019399B4 (en) Method for automatically determining at least one target variable describing the change in the position of a motor vehicle
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
EP3052359B1 (en) Method and device for monitoring the function of a driver assistance system
DE102015122172A1 (en) Headlamp based projection of patterns to measure spatial characteristics of a vehicle environment
DE102004001572B4 (en) Run-time calibration method
DE102013104425B3 (en) Method for recording speed violations with restrictive data storage
DE102014114221A1 (en) Method for detecting an object in a surrounding area of a motor vehicle, driver assistance system and motor vehicle
DE102018102047A1 (en) A method of representing a surrounding area of a motor vehicle with virtual, elongated distance markings in an image, computer program product, and display system
DE102014219423B4 (en) Dynamic model to compensate for windshield distortion
EP3048557B1 (en) Method for determining a position of a vehicle characteristic
DE102017115587A1 (en) Method for determining a spatial uncertainty in images of a surrounding area of a motor vehicle, driver assistance system and motor vehicle
DE102005060980A1 (en) Three dimensional space determining method for use in manufacturing industries, involves determining one of modified virtual models based on certain position of virtual model, and finding three dimensional space based on modified model
DE102015101190A1 (en) Method for determining an image depth value depending on an image area, camera system and motor vehicle
DE102007032471A1 (en) Position determining method for e.g. on-board camera system, involves establishing representation function specifying representation of object points, and determining unknown parameters of function using numerical resolution technique
DE102014117708A1 (en) Method for classifying a flow vector, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8110 Request for examination paragraph 44
8127 New person/name/address of the applicant

Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE

8127 New person/name/address of the applicant

Owner name: DAIMLER AG, 70327 STUTTGART, DE

8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee