DE102017005056A1 - Method for operating a stereo camera system in a vehicle - Google Patents

Method for operating a stereo camera system in a vehicle Download PDF

Info

Publication number
DE102017005056A1
DE102017005056A1 DE102017005056.2A DE102017005056A DE102017005056A1 DE 102017005056 A1 DE102017005056 A1 DE 102017005056A1 DE 102017005056 A DE102017005056 A DE 102017005056A DE 102017005056 A1 DE102017005056 A1 DE 102017005056A1
Authority
DE
Germany
Prior art keywords
camera system
stereo camera
vehicle
hologram
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017005056.2A
Other languages
German (de)
Inventor
Thomas Hörnlein
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102017005056.2A priority Critical patent/DE102017005056A1/en
Publication of DE102017005056A1 publication Critical patent/DE102017005056A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements

Abstract

Die Erfindung betrifft ein Verfahren zum Betrieb eines Stereokamerasystems (2) in einem Fahrzeug (1), wobei Kameraeinheiten (3) des Stereokamerasystems (2) in einem Fahrgastraum des Fahrzeugs (1) derart angeordnet sind, dass optische Achsen der Kameraeinheiten (3) auf eine Windschutzscheibe (4) des Fahrzeugs (1) ausgerichtet sind, und wobei an der Windschutzscheibe (4) in einem Sichtfeld der Kameraeinheiten (3) zumindest ein Hologramm (6) angeordnet ist, wird erfindungsgemäß anhand eines einzigen mittels des Stereokamerasystems (2) aufgezeichneten Bildpaares des zumindest einen Hologramms (6) eine Ausrichtung des Stereokamerasystems (2) bestimmt und dadurch unter Verwendung des zumindest einen Hologramms (6) eine Online-Kalibrierung des Stereokamerasystems (2) durchgeführt.The invention relates to a method for operating a stereo camera system (2) in a vehicle (1), wherein camera units (3) of the stereo camera system (2) are arranged in a passenger compartment of the vehicle (1) such that optical axes of the camera units (3) a windshield (4) of the vehicle (1) are aligned, and wherein on the windshield (4) in a field of view of the camera units (3) at least one hologram (6) is arranged according to the invention recorded on a single means of the stereo camera system (2) Image pair of at least one hologram (6) determines an orientation of the stereo camera system (2) and thereby using the at least one hologram (6) carried out an online calibration of the stereo camera system (2).

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug nach den Merkmalen des Oberbegriffs des Anspruchs 1.The invention relates to a method for operating a stereo camera system in a vehicle according to the features of the preamble of claim 1.

Aus dem Stand der Technik sind, wie in der DE 10 2013 210 887 A1 beschrieben, eine optische Sensoranordnung für ein Fahrzeug und ein Fahrzeug mit einer derartigen Sensoranordnung bekannt. Die optische Sensoranordnung umfasst eine als ein Stereokamerasystem ausgebildete Sensoreinrichtung zur Aufnahme optischer Strahlung aus einem Fahrzeug-Umfeld und mindestens ein optisches Element, welches in einem Strahlengang der Sensoreinrichtung angeordnet ist und mit der Sensoreinrichtung ein Abbildungssystem zur Abbildung der optischen Strahlung auf die Sensoreinrichtung ausbildet. Das mindestens eine optische Element ist als ein holografisch optisches Element zur Ablenkung der optischen Strahlung ausgebildet.From the prior art, as in the DE 10 2013 210 887 A1 described an optical sensor assembly for a vehicle and a vehicle with such a sensor arrangement known. The optical sensor arrangement comprises a sensor device designed as a stereo camera system for recording optical radiation from a vehicle environment and at least one optical element which is arranged in a beam path of the sensor device and forms an imaging system for imaging the optical radiation onto the sensor device with the sensor device. The at least one optical element is designed as a holographic optical element for deflecting the optical radiation.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug anzugeben.The invention is based on the object to provide a comparison with the prior art improved method for operating a stereo camera system in a vehicle.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Betrieb eines Stereokamerasystems in einem Fahrzeug mit den Merkmalen des Anspruchs 1.The object is achieved by a method for operating a stereo camera system in a vehicle having the features of claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Ein Stereokamerasystem, welches insbesondere zur Erfassung einer Umgebung eines Fahrzeugs dient, ist in dem Fahrzeug angeordnet. Dabei sind Kameraeinheiten des Stereokamerasystems in einem Fahrgastraum des Fahrzeugs derart angeordnet, dass optische Achsen der Kameraeinheiten auf eine Windschutzscheibe des Fahrzeugs ausgerichtet sind. An der Windschutzscheibe ist in einem Sichtfeld der Kameraeinheiten zumindest ein Hologramm angeordnet. In einem erfindungsgemäßen Verfahren zum Betrieb des Stereokamerasystems wird anhand eines einzigen mittels des Stereokamerasystems aufgezeichneten Bildpaares des zumindest einen Hologramms eine Ausrichtung des Stereokamerasystems, insbesondere der Kameraeinheiten des Stereokamerasystems, bestimmt und dadurch unter Verwendung des zumindest einen Hologramms eine Online-Kalibrierung des Stereokamerasystems durchgeführt.A stereo camera system, which is used in particular for detecting an environment of a vehicle, is arranged in the vehicle. In this case, camera units of the stereo camera system are arranged in a passenger compartment of the vehicle such that optical axes of the camera units are aligned with a windshield of the vehicle. At least one hologram is arranged on the windshield in a field of view of the camera units. In a method according to the invention for operating the stereo camera system, an alignment of the stereo camera system, in particular the camera units of the stereo camera system, is determined on the basis of a single image pair of the at least one hologram recorded by means of the stereo camera system, thereby performing an on-line calibration of the stereo camera system using the at least one hologram.

Das erfindungsgemäße Verfahren ermöglicht auf einfach zu realisierende Weise die Online-Kalibrierung des Stereokamerasystems, d. h. dessen Kalibrierung nach Auslieferung des Fahrzeugs durch einen Hersteller an einen Kunden und somit in einem normalen Fahrbetrieb des Fahrzeugs. Diese Kalibrierung des Stereokamerasystems ist wichtig für eine ordnungsgemäße Funktion des Stereokamerasystems und somit für eine ordnungsgemäße Funktion von Assistenzsystemen, welche mittels des Stereokamerasystems ermittelte Informationen der Umgebung des Fahrzeugs verwenden.The method according to the invention enables the online calibration of the stereo camera system in an easy-to-implement manner, ie. H. its calibration after delivery of the vehicle by a manufacturer to a customer and thus in a normal driving operation of the vehicle. This calibration of the stereo camera system is important for the proper functioning of the stereo camera system and thus for the proper functioning of assistance systems which use information determined by the stereo camera system of the surroundings of the vehicle.

Um Tiefeninformationen aus einem Stereobildpaar, d. h. aus einem mittels des Stereokamerasystems erfassten Bildpaares, ermitteln zu können, muss eine relative Ausrichtung der Kameraeinheiten des Stereokamerasystems zueinander exakt bekannt sein. Mittels des erfindungsgemäßen Verfahrens wird es ermöglicht, diese relative Ausrichtung der Kameraeinheiten zueinander in einer einzigen Messung, insbesondere anhand eines einzigen erfassten Bildpaares, zu bestimmen.To obtain depth information from a stereo image pair, i. H. from a captured by the stereo camera system image pair to be able to determine a relative alignment of the camera units of the stereo camera system to each other must be known exactly. By means of the method according to the invention, it is possible to determine this relative alignment of the camera units to each other in a single measurement, in particular on the basis of a single captured image pair.

Im Gegensatz dazu benötigen aus dem Stand der Technik bekannte Verfahren eine Vielzahl von Messungen einer veränderlichen Szenerie, da sie zur Bestimmung der relativen Ausrichtung der Kameraeinheiten des Stereokamerasystems Bildmerkmale über eine Vielzahl von Bildern auswerten und daraus die Ausrichtung der Kameraeinheiten ableiten. D. h. es müssen diese Vielzahl von Messungen durchgeführt werden, wofür ein entsprechender Zeitaufwand erforderlich ist, und zudem ist eine veränderliche Szenerie und somit beispielsweise eine Bewegung des Fahrzeugs erforderlich, damit sich die erfasste Umgebung des Fahrzeugs verändert. Währenddessen steht das Stereokamerasystem für Assistenzsysteme, die dessen Informationen verwenden, nicht zur Verfügung oder es besteht das Risiko, dass die ermittelten Informationen aufgrund der noch nicht erfolgten Kalibrierung fehlerhaft sind.In contrast, prior art methods require a variety of variable scene measurements because they evaluate image features over a plurality of images to determine the relative orientation of the camera units of the stereo camera system and derive the orientation of the camera units therefrom. Ie. This variety of measurements must be made, requiring a corresponding amount of time, and moreover, a variable scenery, and thus, for example, movement of the vehicle is required to change the detected environment of the vehicle. Meanwhile, the stereo camera system is not available for assistance systems that use its information, or there is a risk that the information obtained may be incorrect due to the lack of calibration.

Dies wird durch die erfindungsgemäße Lösung vermieden, da das erfindungsgemäße Verfahren beispielsweise auch die Online-Kalibrierung des Stereokamerasystems während eines Stillstands des Fahrzeugs ermöglicht. Dadurch stehen die Informationen des dann bereits kalibrierten Stereokamerasystems den Assistenzsystemen des Fahrzeugs bereits bei Fahrtantritt zur Verfügung. Dies ist beispielsweise besonders wichtig bei einer Durchführung eines hochautomatisierten oder autonomen Fahrbetriebs des Fahrzeugs, aber beispielsweise auch für andere Assistenzsysteme, welche einen Fahrzeugführer unterstützen.This is avoided by the solution according to the invention, since the method according to the invention also makes possible, for example, the online calibration of the stereo camera system during a standstill of the vehicle. As a result, the information of the then already calibrated stereo camera system are available to the assistance systems of the vehicle already at the start of the journey. This is for example particularly important in carrying out a highly automated or autonomous driving operation of the vehicle, but also, for example, for other assistance systems that support a driver.

Das erfindungsgemäße Verfahren ermöglicht somit eine im Vergleich zum Stand der Technik schnellere Durchführung der Stereo-Onlinekalibrierung und bietet zudem die Möglichkeit der Bestimmung von Scheibenverzeichnungsparametern, d. h. von Parametern einer durch die Windschutzscheibe verursachten Verzeichnung. Für diese Bestimmung der Scheibenverzeichnungsparameter wird eine Dicke der Windschutzscheibe als in guter Näherung konstant angenommen. Dadurch ist es lediglich erforderlich, den Winkel zwischen der optischen Achse der jeweiligen Kameraeinheit und einer Normale der Windschutzscheibe zu bestimmen, um die Scheibenverzeichnungsparameter zu berechnen. Des Weiteren ermöglicht das erfindungsgemäße Verfahren, wie oben bereits beschrieben, die Steigerung einer Verfügbarkeit von Funktionen, insbesondere von durch Assistenzsysteme zur Verfügung gestellten Assistenzfunktionen, welche auf Stereomessungen mittels des Stereokamerasystems basieren. Durch das erfindungsgemäße Verfahren ist es zudem nicht erforderlich, dass Objektive der Kameraeinheiten des Stereokamerasystems fest miteinander verbunden sind, da mittels des erfindungsgemäßen Verfahrens auf einfache Weise eine jeweilige relative Ausrichtung der Kameraeinheiten des Stereokamerasystems zueinander ermittelt werden kann. Des Weiteren ermöglicht es das erfindungsgemäße Verfahren, Stereokamerasysteme mit gegenüber dem Stand der Technik größeren Basisbreiten zu verwenden.The method according to the invention thus enables a faster implementation of the stereo online calibration in comparison to the prior art and also offers the possibility of determining disc distortion parameters, ie parameters of a distortion caused by the windshield. For this provision of the disc distortion parameter, a thickness of the windshield is assumed to be constant to a good approximation. As a result, it is only necessary to determine the angle between the optical axis of the respective camera unit and a normal of the windshield in order to calculate the disc distortion parameters. Furthermore, as already described above, the method according to the invention makes it possible to increase the availability of functions, in particular assistance functions provided by assistance systems, which are based on stereo measurements by means of the stereo camera system. The inventive method, it is also not necessary that lenses of the camera units of the stereo camera system are firmly connected to each other, as by means of the inventive method in a simple way, a respective relative orientation of the camera units of the stereo camera system to each other can be determined. Furthermore, the method according to the invention makes it possible to use stereo camera systems with larger base widths than the prior art.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:Showing:

1 schematisch ein Fahrzeug mit einem Stereokamerasystem. 1 schematically a vehicle with a stereo camera system.

1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Stereokamerasystem 2, d. h. mit einem insbesondere für die Stereoskopie geeigneten Kamerasystem, welches mindestens zwei Kameraeinheiten 3, wie hier schematisch dargestellt, oder mehr Kameraeinheiten 3 umfasst. Dieses Stereokamerasystem 2 ist in einem Fahrgastinnenraum hinter einer Windschutzscheibe 4 des Fahrzeugs 1 angeordnet und auf einen Umgebungsbereich vor dem Fahrzeug 1 ausgerichtet, d. h. optische Achsen der Kameraeinheiten 3 des Stereokamerasystems 2 sind auf die Windschutzscheibe 4 des Fahrzeugs 1 ausgerichtet und verlaufen durch die Windschutzscheibe 4 hindurch. 1 shows a schematic representation of a vehicle 1 with a stereo camera system 2 ie with a camera system suitable in particular for stereoscopy, which has at least two camera units 3 , as shown schematically here, or more camera units 3 includes. This stereo camera system 2 is in a passenger compartment behind a windshield 4 of the vehicle 1 arranged and on a surrounding area in front of the vehicle 1 aligned, ie optical axes of the camera units 3 of the stereo camera system 2 are on the windshield 4 of the vehicle 1 aligned and run through the windshield 4 therethrough.

Das Stereokamerasystem 2 dient somit insbesondere der Umgebungserfassung, d. h. der Erfassung der Umgebung des Fahrzeugs 1. Von diesem Stereokamerasystem 2 bereitgestellte Informationen werden insbesondere von Assistenzsystemen des Fahrzeugs 1 verwendet, zum Beispiel zur Unterstützung eines Fahrzeugführers und/oder zur Durchführung eines hochautomatisierten oder autonomen Fahrbetriebs.The stereo camera system 2 thus serves in particular the environmental detection, ie the detection of the environment of the vehicle 1 , From this stereo camera system 2 Information provided, in particular, is provided by assistance systems of the vehicle 1 used, for example, to assist a driver and / or to carry out a highly automated or autonomous driving operation.

Mittels eines solchen Stereokamerasystems 2 werden Bildpaare, so genannte Stereobildpaare, ermittelt. D. h. es werden jeweils zum gleichen Zeitpunkt mittels der Kameraeinheiten 3 Bilder aufgenommen. Daraus werden insbesondere Tiefeninformationen ermittelt, um die Umgebung des Fahrzeugs 1 dreidimensional erfassen zu können. Um derartige Tiefeninformationen aus den Bildpaaren ermitteln zu können, muss eine relative Ausrichtung der Kameraeinheiten 3 des Stereokamerasystems 2 zueinander exakt bekannt sein.By means of such a stereo camera system 2 Image pairs, so-called stereo image pairs, are determined. Ie. it will be at the same time by means of the camera units 3 Pictures taken. From this particular depth information is determined to the environment of the vehicle 1 to capture three-dimensional. To be able to determine such depth information from the image pairs, a relative orientation of the camera units 3 of the stereo camera system 2 be known exactly to each other.

Aus dem Stand der Technik bekannte Verfahren benötigen hierfür, d. h. für eine Kalibrierung des Stereokamerasystems 2, eine Vielzahl von Messungen einer veränderlichen Szenerie, da sie zur Bestimmung der relativen Ausrichtung der Kameraeinheiten 3 des Stereokamerasystems 2 Bildmerkmale über eine Vielzahl von Bildern auswerten und daraus die Ausrichtung der Kameraeinheiten 3 ableiten. D. h. es muss diese Vielzahl von Messungen durchgeführt werden, wofür ein entsprechender Zeitaufwand erforderlich ist, und zudem ist eine veränderliche Szenerie und somit beispielsweise eine Bewegung des Fahrzeugs 1 erforderlich, damit sich die erfasste Umgebung des Fahrzeugs 1 verändert. Währenddessen steht das Stereokamerasystem 2 für die Assistenzsysteme, die dessen Informationen verwenden, nicht zur Verfügung oder es besteht das Risiko, dass die ermittelten Informationen aufgrund der noch nicht erfolgten Kalibrierung fehlerhaft sind.From the prior art known methods require this, ie for a calibration of the stereo camera system 2 , a variety of measurements of a changing scenery, as they are used to determine the relative orientation of the camera units 3 of the stereo camera system 2 Evaluate image characteristics via a large number of images and from this the orientation of the camera units 3 derived. Ie. it is necessary to carry out this multitude of measurements, which requires a corresponding amount of time, and moreover, a variable scenery and thus, for example, a movement of the vehicle 1 necessary to keep the captured environment of the vehicle 1 changed. Meanwhile stands the stereo camera system 2 is not available for the assistance systems that use its information, or there is a risk that the information obtained will be incorrect due to the lack of calibration.

Diese Nachteile aus dem Stand der Technik bekannter Verfahren können mit einer in 1 dargestellten Vorrichtung 5 zur Umgebungserfassung und einem damit durchführbaren Verfahren zum Betrieb des Stereokamerasystems 2 vermieden werden. Die Vorrichtung 5 umfasst neben dem Stereokamerasystem 2 zumindest ein Hologramm 6, d. h. ein holografisch optisches Element, welches in einem Sichtfeld der Kameraeinheiten 3 des Stereokamerasystems 2 an der Windschutzscheibe 4, zweckmäßigerweise an einer dem Fahrgastinnenraum zugewandten Innenseite der Windschutzscheibe 4, angeordnet ist. Dieses Hologramm 6 kann beispielsweise als ein Durchscheinhologramm ausgebildet sein oder mittels einer aktiven Lichtquelle des Stereokamerasystems 2 beleuchtet werden. Es können auch mehrere solcher Hologramme 6 im Sichtbereich der Kameraeinheiten 3 des Stereokamerasystems 2 an der Windschutzscheibe 4 angeordnet sein, wobei dann die Hologramme 6 jeweils als Durchscheinhologramm ausgebildet sein können oder mittels der aktiven Lichtquelle des Stereokamerasystems 2 beleuchtet werden können.These disadvantages of the prior art known methods can with a in 1 illustrated device 5 for environmental detection and a feasible method for operating the stereo camera system 2 be avoided. The device 5 includes in addition to the stereo camera system 2 at least a hologram 6 ie a holographic optical element which is in a field of view of the camera units 3 of the stereo camera system 2 on the windshield 4 , Expediently on an inside of the windshield facing the passenger compartment 4 , is arranged. This hologram 6 For example, it may be formed as a translucent hologram or by means of an active light source of the stereo camera system 2 be illuminated. There may also be several such holograms 6 in the field of vision of the camera units 3 of the stereo camera system 2 on the windshield 4 be arranged, in which case the holograms 6 each may be formed as a translucent hologram or by means of the active light source of the stereo camera system 2 can be illuminated.

Das zumindest eine Hologramm 6 oder die mehreren Hologramme 6 ist/sind somit aufgrund der Anordnung im Sichtfeld der Kameraeinheiten 3 des Stereokamerasystems 2 jeweils von allen Kameraeinheiten 3 des Stereokamerasystems 2 erfassbar. Somit ermöglicht/ermöglichen das zumindest eine Hologramm 6 oder die mehreren Hologramme 6 die Bestimmung der Ausrichtung der einzelnen Kameraeinheiten 3 des Stereokamerasystems 2.That at least one hologram 6 or the multiple holograms 6 is / are therefore due to the arrangement in the field of view of the camera units 3 of the stereo camera system 2 in each case from all camera units 3 of the stereo camera system 2 detectable. Thus, the at least one hologram enables / enables 6 or the multiple holograms 6 the determination of the orientation of the individual camera units 3 of the stereo camera system 2 ,

Im Verfahren zum Betrieb des Stereokamerasystems 2 wird anhand eines einzigen mittels des Stereokamerasystems 2 aufgezeichneten Bildpaares des zumindest einen Hologramms 6 oder der mehreren Hologramme 6 eine Ausrichtung des Stereokamerasystems 2, insbesondere der Kameraeinheiten 3 des Stereokamerasystems 2, bestimmt und somit unter Verwendung des zumindest einen Hologramms 6 oder der mehreren Hologramme 6 eine Online-Kalibrierung für das Stereokamerasystem 2 realisiert. D. h. es sind insbesondere keine mehreren zeitlich versetzt zueinander aufgenommenen Bildpaare einer sich verändernden Szenerie erforderlich.In the method of operating the stereo camera system 2 is based on a single using the stereo camera system 2 recorded image pair of at least one hologram 6 or more holograms 6 an orientation of the stereo camera system 2 , especially the camera units 3 of the stereo camera system 2 , determined and thus using the at least one hologram 6 or more holograms 6 an online calibration for the stereo camera system 2 realized. Ie. In particular, no multiple pairs of images of a changing scene recorded with a time offset from one another are required.

Um die Online-Kalibrierung auf die beschriebene Weise zu ermöglichen, ist zweckmäßigerweise eine Position und/oder Ausrichtung des zumindest einen Hologramms 6 und bei mehreren Hologrammen 6 insbesondere eine relative Ausrichtung der Hologramme 6 zueinander bekannt und wird für die Online-Kalibrierung des Stereokamerasystem 2 verwendet. Diese Position und/oder Ausrichtung des Hologramms 6 oder der mehreren Hologramme 6 und bei mehreren Hologrammen 6 die relative Ausrichtung der Hologramme 6 zueinander werden vorteilhafterweise aus Designparametern abgeleitet und/oder in einem Herstellungswerk, in welchem das Fahrzeug 1 hergestellt wird, gemessen und/oder per Online-Kalibrierung bestimmt. Durch die Bestimmung per Online-Kalibrierung kann dabei ein Abgleich mit dem aus den Designparametern abgeleiteten und/oder gemessenen jeweiligen Wert erfolgen und dadurch die exakte Kalibrierung des Stereokamerasystems 2 durch diese Online-Kalibrierung durchgeführt werden. Beispielsweise liegt die exakte Kalibrierung vor, wenn bei dem Abgleich keine Abweichung zwischen dem jeweiligen aus den Designparametern abgeleiteten und/oder gemessenen Wert mit dem während der Online-Kalibrierung ermittelten Wert festgestellt wird.In order to enable the online calibration in the manner described, a position and / or orientation of the at least one hologram is expediently 6 and with several holograms 6 in particular a relative orientation of the holograms 6 known to each other and is used for online calibration of the stereo camera system 2 used. This position and / or orientation of the hologram 6 or more holograms 6 and with several holograms 6 the relative orientation of the holograms 6 to each other are advantageously derived from design parameters and / or in a manufacturing plant in which the vehicle 1 produced, measured and / or determined by online calibration. By the determination by online calibration can be done with the derived from the design parameters and / or measured respective value and thereby the exact calibration of the stereo camera system 2 be done through this online calibration. For example, the exact calibration is present if, during the adjustment, no deviation between the respective value derived from the design parameters and / or measured and the value determined during the online calibration is determined.

Das beschriebene Verfahren zum Betrieb des Stereokamerasystems 2 ermöglicht auf einfach zu realisierende Weise die Online-Kalibrierung des Stereokamerasystems 2, d. h. dessen Kalibrierung in einem normalen Betrieb, insbesondere Fahrbetrieb, des Fahrzeugs 1. Mittels des Verfahrens wird es ermöglicht, die relative Ausrichtung der Kameraeinheiten 3 zueinander in einer einzigen Messung, insbesondere anhand eines einzigen erfassten Bildpaares, zu bestimmen. Insbesondere ermöglicht dieses Verfahren auch die Online-Kalibrierung des Stereokamerasystems 2 während eines Stillstands des Fahrzeugs 1, da durch die Verwendung eines oder mehrerer Hologramme 6 keine veränderlichen Szenerien erforderlich sind, d. h. es ist keine Veränderung der Umgebung durch eine Bewegung des Fahrzeugs 1 erforderlich. Dadurch stehen die Informationen des dann bereits kalibrierten Stereokamerasystems 2 den Assistenzsystemen des Fahrzeugs 1 bereits bei Fahrtantritt zur Verfügung. Dies ist beispielsweise besonders wichtig bei der Durchführung des hochautomatisierten oder autonomen Fahrbetriebs des Fahrzeugs 1, aber beispielsweise auch für andere Assistenzsysteme, welche den Fahrzeugführer unterstützen.The method described for operating the stereo camera system 2 enables online calibration of the stereo camera system in an easy-to-implement manner 2 , ie its calibration in a normal operation, in particular driving, of the vehicle 1 , By means of the method it is possible, the relative orientation of the camera units 3 to determine each other in a single measurement, in particular on the basis of a single captured image pair. In particular, this method also enables online calibration of the stereo camera system 2 during a stoppage of the vehicle 1 because by using one or more holograms 6 no changing scenes are required, ie there is no change in the environment due to movement of the vehicle 1 required. This is the information of the then already calibrated stereo camera system 2 the assistance systems of the vehicle 1 already available when you start your journey. This is particularly important, for example, when carrying out the highly automated or autonomous driving operation of the vehicle 1 , but also for other assistance systems that support the driver.

Das Verfahren ermöglicht somit eine im Vergleich zum Stand der Technik schnellere Durchführung der Online-Kalibrierung und die Steigerung der Verfügbarkeit von Funktionen, insbesondere von durch Assistenzsysteme zur Verfügung gestellten Assistenzfunktionen, welche auf Stereomessungen mittels des Stereokamerasystems 2 basieren. Zudem ist es nicht erforderlich, dass Objektive der Kameraeinheiten 3 des Stereokamerasystems 2 fest miteinander verbunden sind, da mittels des beschriebenen Verfahrens auf einfache Weise eine jeweilige relative Ausrichtung der Kameraeinheiten 3 des Stereokamerasystems 2 zueinander ermittelt werden kann. Des Weiteren wird es durch das Verfahren ermöglicht, Stereokamerasysteme 2 mit gegenüber dem Stand der Technik größeren Basisbreiten zu verwenden, d. h. mit einem größeren Abstand der optischen Achsen zueinander.The method thus enables a faster execution of the online calibration and the increase of the availability of functions, in particular assistance functions provided by assistance systems, which are based on stereo measurements by means of the stereo camera system compared to the prior art 2 based. In addition, it is not necessary that lenses of the camera units 3 of the stereo camera system 2 are firmly connected to each other, as by means of the described method in a simple manner, a respective relative orientation of the camera units 3 of the stereo camera system 2 can be determined to each other. Furthermore, it is made possible by the process, stereo camera systems 2 to use with respect to the prior art larger base widths, ie with a greater distance of the optical axes to each other.

Werden Messungen über ein gesamtes Sichtfeld des Stereokamerasystems 2 aufgezeichnet, d. h. wird diese Online-Kalibrierung mittels Hologrammen 6 über das gesamtes Sichtfeld des Stereokamerasystems 2, insbesondere der jeweiligen Kameraeinheit 3, durchgeführt, indem vorteilhafterweise mehrere Hologramme 6 über das gesamte Sichtfeld verteilt an der Windschutzscheibe 4 angeordnet sind, kann hieraus zudem eine so genannte Scheibenverzeichnung abgeleitet werden, d. h. eine durch die Windschutzscheibe 4 verursachte Verzeichnung in den aufgenommenen Bildern. Das Verfahren ermöglicht somit auch die Bestimmung von Scheibenverzeichnungsparametern, d. h. von Parametern der durch die Windschutzscheibe 4 verursachten Verzeichnung. Für diese Bestimmung der Scheibenverzeichnungsparameter wird eine Dicke der Windschutzscheibe 4 als in guter Näherung konstant angenommen. Dadurch ist es lediglich erforderlich, den Winkel zwischen der optischen Achse der jeweiligen Kameraeinheit 3 und einer Normale der Windschutzscheibe 4 zu bestimmen. Ist dieser Winkel bekannt, können die Scheibenverzeichnungsparameter berechnet werden.Be measurements over an entire field of view of the stereo camera system 2 ie, this online calibration is done by means of holograms 6 over the entire field of view of the stereo camera system 2 , in particular the respective camera unit 3 , performed by advantageously several holograms 6 distributed over the entire field of vision on the windshield 4 are arranged, it can also be derived from a so-called disc distortion, ie one through the windshield 4 caused distortion in the recorded images. The method thus also allows the determination of disc distortion parameters, ie parameters of the windshield 4 caused distortion. For this determination of the disc distortion parameters, a thickness of the windshield is determined 4 as consistently approximated to a good approximation. As a result, it is only necessary, the angle between the optical axis of the respective camera unit 3 and a normal of the windshield 4 to determine. If this angle is known, the disc distortion parameters can be calculated.

Bezugszeichenliste LIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
StereokamerasystemStereo Camera System
33
Kameraeinheitcamera unit
44
WindschutzscheibeWindshield
55
Vorrichtungcontraption
66
Hologrammhologram

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102013210887 A1 [0002] DE 102013210887 A1 [0002]

Claims (4)

Verfahren zum Betrieb eines Stereokamerasystems (2) in einem Fahrzeug (1), wobei Kameraeinheiten (3) des Stereokamerasystems (2) in einem Fahrgastraum des Fahrzeugs (1) derart angeordnet sind, dass optische Achsen der Kameraeinheiten (3) auf eine Windschutzscheibe (4) des Fahrzeugs (1) ausgerichtet sind, und wobei an der Windschutzscheibe (4) in einem Sichtfeld der Kameraeinheiten (3) zumindest ein Hologramm (6) angeordnet ist, dadurch gekennzeichnet, dass anhand eines einzigen mittels des Stereokamerasystems (2) aufgezeichneten Bildpaares des zumindest einen Hologramms (6) eine Ausrichtung des Stereokamerasystems (2) bestimmt wird und dadurch unter Verwendung des zumindest einen Hologramms (6) eine Online-Kalibrierung des Stereokamerasystems (2) durchgeführt wird.Method for operating a stereo camera system ( 2 ) in a vehicle ( 1 ), with camera units ( 3 ) of the stereo camera system ( 2 ) in a passenger compartment of the vehicle ( 1 ) are arranged such that optical axes of the camera units ( 3 ) on a windshield ( 4 ) of the vehicle ( 1 ), and being on the windshield ( 4 ) in a field of view of the camera units ( 3 ) at least one hologram ( 6 ) is arranged, characterized in that on the basis of a single means of the stereo camera system ( 2 ) recorded image pair of the at least one hologram ( 6 ) an orientation of the stereo camera system ( 2 ) and thereby using the at least one hologram ( 6 ) an online calibration of the stereo camera system ( 2 ) is carried out. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine Hologramm (6), welches mittels des Stereokamerasystems (2) erfasst wird, als ein Durchscheinhologramm ausgebildet ist.Method according to claim 1, characterized in that the at least one hologram ( 6 ), which by means of the stereo camera system ( 2 ) is detected as a transmission hologram is formed. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das zumindest eine Hologramm (6), welches mittels des Stereokamerasystems (2) erfasst wird, mittels einer aktiven Lichtquelle des Stereokamerasystems (2) beleuchtet wird.Method according to claim 1, characterized in that the at least one hologram ( 6 ), which by means of the stereo camera system ( 2 ) is detected by means of an active light source of the stereo camera system ( 2 ) is illuminated. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass an der Windschutzscheibe (4) im Sichtfeld der Kameraeinheiten (3) mehrere Hologramme (6) angeordnet sind und anhand eines einzigen mittels des Stereokamerasystems (2) aufgezeichneten Bildpaares dieser mehreren Hologramme (6) die Ausrichtung des Stereokamerasystems (2) bestimmt wird und dadurch unter Verwendung dieser mehreren Hologramme (6) die Online-Kalibrierung des Stereokamerasystems (2) durchgeführt wird.Method according to one of the preceding claims, characterized in that on the windshield ( 4 ) in the field of view of the camera units ( 3 ) several holograms ( 6 ) are arranged and by a single means of the stereo camera system ( 2 ) recorded image pair of these multiple holograms ( 6 ) the orientation of the stereo camera system ( 2 ) and thereby using these multiple holograms ( 6 ) the online calibration of the stereo camera system ( 2 ) is carried out.
DE102017005056.2A 2017-05-26 2017-05-26 Method for operating a stereo camera system in a vehicle Withdrawn DE102017005056A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017005056.2A DE102017005056A1 (en) 2017-05-26 2017-05-26 Method for operating a stereo camera system in a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017005056.2A DE102017005056A1 (en) 2017-05-26 2017-05-26 Method for operating a stereo camera system in a vehicle

Publications (1)

Publication Number Publication Date
DE102017005056A1 true DE102017005056A1 (en) 2017-11-02

Family

ID=60081727

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017005056.2A Withdrawn DE102017005056A1 (en) 2017-05-26 2017-05-26 Method for operating a stereo camera system in a vehicle

Country Status (1)

Country Link
DE (1) DE102017005056A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020065015A1 (en) 2018-09-28 2020-04-02 Zf Friedrichshafen Ag Lidar measurement system and method for a lidar measurement system
DE102019212989B3 (en) * 2019-08-29 2021-01-14 Audi Ag Camera device for generating spatial image data of an environment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013210887A1 (en) 2013-06-11 2014-12-11 Robert Bosch Gmbh Optical sensor arrangement for a vehicle and vehicle with such a sensor arrangement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013210887A1 (en) 2013-06-11 2014-12-11 Robert Bosch Gmbh Optical sensor arrangement for a vehicle and vehicle with such a sensor arrangement

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020065015A1 (en) 2018-09-28 2020-04-02 Zf Friedrichshafen Ag Lidar measurement system and method for a lidar measurement system
DE102019212989B3 (en) * 2019-08-29 2021-01-14 Audi Ag Camera device for generating spatial image data of an environment
US11882260B2 (en) 2019-08-29 2024-01-23 Audi Ag Camera apparatus for generating spatially representative image data of an environment

Similar Documents

Publication Publication Date Title
EP2569953B1 (en) Optical self-diagnosis of a stereoscopic camera system
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
DE102009000005A1 (en) Camera arrangement and method for detecting a vehicle environment
DE102015216908A1 (en) Method of detecting objects on a shelf
DE102009019399B4 (en) Method for automatically determining at least one target variable describing the change in the position of a motor vehicle
DE102012009577A1 (en) Method for calibrating squint angle of frame camera of stereo camera arrangement in vehicle, involves calculating travel distance covered by vehicle, and determining deviation between distance and reference distance to calibrate angle
DE102015008887A1 (en) Method and device for calibrating a head-up display in a vehicle
DE102009022277A1 (en) Device for detecting objects for vehicle, and for operating driver assistance system of vehicle, has two image recording units with optical axes running in different angles in horizontal manner
DE102018204451A1 (en) Method and device for auto-calibration of a vehicle camera system
DE102017005056A1 (en) Method for operating a stereo camera system in a vehicle
DE102013211005A1 (en) A method for determining a condition of a vehicle after use of the vehicle and corresponding system
DE102015008551A1 (en) Calibration of a camera unit of a motor vehicle
DE102010023532A1 (en) Camera system for vehicle application, particularly for vehicle assistance system for mounting behind disk of vehicle, has optical system for forming electromagnetic radiation
DE102010010906A1 (en) Method for producing representation and environment of vehicle for driver assistance system, involves detecting environmental areas in stored camera image, and utilizing image area of camera image for producing representation of areas
EP3278318A1 (en) Method for supplying, on a communication interface, height data about an object located in the surroundings of a motor vehicle, sensor device, processing device and motor vehicle
DE102018104913A1 (en) Vibration monitoring of an object using a video camera
DE102017002891A1 (en) Method for determining a chassis geometry
DE102011114583A1 (en) Stereo image reproduction system for use in operation microscope of stereo microscopy system, has adjusting device for adapting distance between eyepieces to eye distance of viewer, and control unit adjusting distance between images
DE102010021221A1 (en) Camera direction determining method for use in vehicle, involves reconstructing vehicle coordination system from points, and determining camera direction from rotation of camera-coordination system relative to vehicle coordination system
DE102017006180A1 (en) Method for operating a vehicle
DE102017003629A1 (en) Device and method for calibrating optical sensors of a vehicle
EP2565580B1 (en) Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device
DE102010042821A1 (en) Method and apparatus for determining a basic width of a stereo detection system
WO2016087087A1 (en) Method and device for determining statistical properties of raw measured values
DE102018122092A1 (en) Method for determining at least one position parameter of an object in an environment of a motor vehicle, computer program product, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee