DE102016205471A1 - Stereo camera device and a method for operating the stereo camera device - Google Patents
Stereo camera device and a method for operating the stereo camera device Download PDFInfo
- Publication number
- DE102016205471A1 DE102016205471A1 DE102016205471.6A DE102016205471A DE102016205471A1 DE 102016205471 A1 DE102016205471 A1 DE 102016205471A1 DE 102016205471 A DE102016205471 A DE 102016205471A DE 102016205471 A1 DE102016205471 A1 DE 102016205471A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- stereo
- stereo camera
- evaluation unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
- G01C11/08—Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken
Abstract
Es wird eine Stereokameravorrichtung 1 zur Erfassung einer Fahrzeugumgebung eines Kraftfahrzeugs 2 vorgeschlagen, umfassend eine erste und eine zweite Monokamera 3, 4, wobei die erste und die zweite Monokamera 3, 4 jeweils mindestens einen Bildsensor 3a, 4a und eine Optik 3b, 4b aufweisen, eine Stereobildauswerteeinheit 5, wobei der Bildsensor 3a der ersten Monokamera 3 und der Bildsensor 4a der zweiten Monokamera 4 zur Übertragung von Bilddaten mit der Stereobildauswerteeinheit 5 verbunden sind, wobei die Stereobildauswerteeinheit 5 zur stereoskopischen Bildauswertung der Bilddaten von der ersten und zweiten Monokamera 3, 4 unter Verwendung eines Stereokamera-Algorithmus ausgebildet ist, wobei im Falle eines Ausfalls von einer der beiden Monokameras 3, 4 die Stereobildauswerteeinheit 5 zur stereoskopischen Bildauswertung der Bilddaten von der anderen der beiden Monokameras unter Verwendung eines Structure-from-Motion-Algorithmus ausgebildet ist.A stereo camera device 1 for detecting a vehicle environment of a motor vehicle 2 is proposed, comprising a first and a second mono camera 3, 4, the first and the second mono camera 3, 4 each having at least one image sensor 3a, 4a and an optic 3b, 4b, a stereo image evaluation unit 5, wherein the image sensor 3a of the first monocamera 3 and the image sensor 4a of the second monocamera 4 for transmitting image data are connected to the stereo image evaluation unit 5, wherein the stereo image evaluation unit 5 for stereoscopic image analysis of the image data from the first and second monocamera 3, 4 under Using a stereo camera algorithm is formed, wherein in case of failure of one of the two monocameras 3, 4, the stereo image evaluation unit 5 is designed for stereoscopic image analysis of the image data from the other of the two mono cameras using a structure-from-motion algorithm.
Description
Die Erfindung betrifft eine Stereokameravorrichtung nach dem Oberbegriff des Anspruchs 1. Weiterhin betrifft die Erfindung ein Kraftfahrzeug mit der Stereokameravorrichtung sowie ein Verfahren zum Betrieb der Stereokameravorrichtung. The invention relates to a stereo camera device according to the preamble of
Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine oder mehrere Kameras zur Erfassung des Fahrzeugumfelds, beispielsweise zur Erkennung verschiedenster Objekte im Fahrzeugumfeld. Die Kameras sind dabei in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Hindernissen, Fahrbahnmarkierungen, Verkehrszeichen und anderen Verkehrsteilnehmern. Driver assistance systems in vehicles often use one or more cameras to detect the vehicle environment, for example, to detect a variety of objects in the vehicle environment. The cameras are usually arranged in the vehicle interior behind the windshield and look in the direction of travel through the disc. For example, vehicle cameras for detecting obstacles, lane markings, traffic signs and other road users are known.
Bei der Bestimmung von Objektentfernungen mittels Kameras werden derzeit bevorzugt Stereokamerasysteme eingesetzt. Diese bestehen aus zwei in der Regel identischen Kameramodulen (Einzelkameras), die als separate optische Systeme aufgebaut sind, mit jeweils einem Bildaufnahmeelement und einem Abbildungssystem. Die beiden Kameramodule werden mit ihren optischen Achsen meist parallel zueinander ausgerichtet und lateral versetzt hinter der Windschutzscheibe angeordnet. When determining object distances by means of cameras, stereo camera systems are currently preferably used. These consist of two generally identical camera modules (single cameras), which are constructed as separate optical systems, each with an image pickup element and an imaging system. The two camera modules are usually aligned with their optical axes parallel to each other and arranged laterally offset behind the windshield.
Aus der Druckschrift
Der Erfindung liegt die Aufgabe zugrunde, eine Stereokameravorrichtung vorzuschlagen, welche eine stereoskopische Bildauswertung auch im Falle eines partiellen Systemausfalls bereitstellt. The invention has for its object to provide a stereo camera device, which provides a stereoscopic image analysis in the event of a partial system failure.
Diese Aufgabe wird durch eine Stereokameravorrichtung mit den Merkmalen des Anspruchs 1, durch das Kraftfahrzeug mit den Merkmalen des Anspruchs 2 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 3 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in der nachfolgenden Beschreibung und durch die Figur dargelegt. This object is achieved by a stereo camera device having the features of
Es wird eine Stereokameravorrichtung zur Erfassung einer Fahrzeugumgebung eines Kraftfahrzeugs vorgeschlagen. Bei der Fahrzeugumgebung handelt es sich vorzugsweise um einen in Fahrtrichtung des Kraftfahrzeugs vorausliegenden oder den vom Kraftfahrzeug rückwärtigen Umgebungsbereich. Beispielsweise ist die Stereokameravorrichtung in einem Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe anordbar oder angeordnet. A stereo camera device for detecting a vehicle environment of a motor vehicle is proposed. In the vehicle environment, it is preferably an environment in the direction of travel of the motor vehicle ahead or the rear of the vehicle environment. For example, the stereo camera device can be arranged or arranged in an interior of the motor vehicle behind the windshield.
Beispielsweise ist die Stereokameravorrichtung in eine Fahrerassistenzvorrichtung des Kraftfahrzeugs integrierbar oder mit dieser verbindbar. Die Fahrerassistenzvorrichtung umfasst z. B. einen (Not-)Bremsassistenten, einen (Not-)Lenkassistenten, einen Einparkassistenten, einen Geschwindigkeitsregelungsassistenten und/oder einen Fahrspurassistenten. Solche Fahrerassistenzfunktionen sind beispielsweise für das hochautonome Fahren wesentlich. For example, the stereo camera device can be integrated into or connected to a driver assistance device of the motor vehicle. The driver assistance device comprises z. B. an (emergency) brake assistant, an (emergency) steering assistant, a parking assistant, a cruise control assistant and / or a lane assist. Such driver assistance functions are essential, for example, for highly autonomous driving.
Die Stereokameravorrichtung umfasst eine erste und eine zweite Monokamera. Die erste und die zweite Monokamera weisen jeweils mindestens einen Bildsensor, beispielsweise einen CMOS-Sensor, und eine Optik auf. Vorzugsweise sind die erste und die zweite Monokamera lateral versetzt, d. h. auf einer Linie parallel zur Fahrzeugquerachse versetzt angeordnet. Z. B. sind die erste und die zweite Monokamera baugleich ausgebildet. The stereo camera device includes a first and a second mono camera. The first and the second monocamera each have at least one image sensor, for example a CMOS sensor, and an optical system. Preferably, the first and second mono cameras are laterally offset, d. H. arranged offset on a line parallel to the vehicle transverse axis. For example, the first and the second monocamera are of identical construction.
Weiterhin umfasst die Stereokameravorrichtung eine Stereobildauswerteeinheit, wobei der Bildsensor der ersten Monokamera und der Bildsensor der zweiten Monokamera zur Übertragung der von dem jeweiligen Bildsensor erzeugten Bilddaten mit der Stereobildauswerteeinheit verbunden sind. Die Bilddaten umfassen insbesondere mindestens ein Bild oder eine Bildfolge von der jeweiligen Monokamera erfassten Fahrzeugumgebung. Furthermore, the stereo camera device comprises a stereo image evaluation unit, wherein the image sensor of the first monocamera and the image sensor of the second monocamera for transmitting the image data generated by the respective image sensor are connected to the stereo image evaluation unit. The image data comprise in particular at least one image or an image sequence of the respective monocamera detected vehicle environment.
Die Stereobildauswerteeinheit ist zur stereoskopischen Bildauswertung der Bilddaten von der ersten und zweiten Monokamera unter Verwendung eines Stereokamera-Algorithmus ausgebildet. Insbesondere erfolgt bei der stereoskopischen Bildauswertung unter der Verwendung des Stereokamera-Algorithmus eine Datenfusion von Bildinformationen aus den von der ersten und der zweiten Monokamera übertragenen Bilddaten. Vorteilhafterweise ermöglicht die stereoskopische Bildauswertung unter der Verwendung des Stereokamera-Algorithmus eine präzise Bestimmung von Objektentfernungen zum eigenen Kraftfahrzeug. The stereo image evaluation unit is configured to stereoscopically image the image data from the first and second mono cameras using a stereo camera algorithm. In particular, in the stereoscopic image analysis using the stereo camera algorithm, a data fusion of image information is performed from the image data transmitted from the first and second mono cameras. Advantageously, the stereoscopic image analysis allows using the stereo camera algorithm a precise determination of object distances to the own motor vehicle.
Im Falle eines Ausfalls von einer der beiden Monokameras stehen der Stereobildauswerteeinheit lediglich die Bilddaten von der anderen der beiden Monokameras zur Verfügung. Aus den Bilddaten von ausschließlich einer der Monokameras können zwar Objekte wie z. B. Verkehrszeichen erkannt werden, allerdings ist die stereoskopische Bildauswertung unter Verwendung des Stereokamera-Algorithmus nicht mehr möglich. In case of failure of one of the two mono cameras of the stereo image evaluation unit are only the image data from the other of the two mono cameras available. From the image data of only one of the monocameras can indeed objects such. As traffic signs are detected, however, the stereoscopic image analysis using the stereo camera algorithm is no longer possible.
Erfindungsgemäß ist die Stereobildauswerteeinheit im Falle des Ausfalls von einer der beiden Monokameras zur stereoskopischen Bildauswertung der Bilddaten von der anderen der beiden Monokameras, somit der noch funktionierenden Monokamera, unter Verwendung eines Structure-from-Motion-Algorithmus ausgebildet. According to the invention, the stereo image evaluation unit is designed in the event of failure of one of the two monocameras for stereoscopic image evaluation of the image data from the other of the two monocameras, thus the still functioning monocamera, using a structure-from-motion algorithm.
Unter dem Structure-from-Motion-Algorithmus ist insbesondere eine Rekonstruktion von Strukturen wie Größen, Abstände, Winkelähnlichkeiten und Ausdehnungen aus gegeneinander zeitlich versetzten Bildern generiert von ausschließlich einer der zwei Monokameras zu verstehen. Mit anderen Worten erfolgt insbesondere anstelle der Generierung eines Stereobilds aus zwei parallel erfassten Bilddaten der ersten und zweiten Monokamera die Generierung eines Stereobilds aus seriellen erfassten Bilddaten von einer der beiden Monokameras. Auf diese Weise sind auch bei einem Ausfall von einer der beiden Monokameras weiterhin eine stereoskopische Bildauswertung und folglich der Betrieb von auf Entfernungsinformationen basierenden Fahrerassistenzfunktionen wie z. B. der Notlenkassistent sichergestellt. Weiterhin ist vorteilhafterweise durch die Generierung des Stereobilds mittels des Structure-from-Motion-Algorithmus vergleichsweise zum Stereokamera-Algorithmus keine zusätzliche Rechenkapazität erforderlich. In particular, the structure-from-motion algorithm is to be understood to mean a reconstruction of structures such as sizes, distances, angle similarities and expansions from mutually time-delayed images generated exclusively by one of the two monocameras. In other words, instead of generating a stereo image from two image data of the first and second monocamera acquired in parallel, the generation of a stereo image from serial acquired image data is carried out by one of the two monocameras. In this way, even in the event of a failure of one of the two monocameras, a stereoscopic image evaluation and consequently the operation of driver information functions based on distance information, such as, for example, are still possible. B. the emergency steering assistant ensured. Furthermore, advantageously by generating the stereo image by means of the structure-from-motion algorithm, compared to the stereo camera algorithm, no additional computing capacity is required.
Die Erfindung betrifft als weiteren Gegenstand ein Kraftfahrzeug mit einer Stereokameravorrichtung nach der vorhergehenden Beschreibung. Das Kraftfahrzeug umfasst die Fahrerassistenzvorrichtung, welche ausgebildet ist, einen automatischen Einparkassistenten, Fahrspurassistenten, Geschwindigkeitsregelungsassistenten und/oder einen Notbremsassistenten unter Berücksichtigung einer mittels der stereoskopischen Bildauswertung bestimmten Objektentfernung zum eigenen Kraftfahrzeug zu betreiben. Die Objektauswertung aus den jeweiligen Bilddaten der durch die Monokameras erfassten Fahrzeugumgebung erfolgt beispielsweise durch die Stereobildauswerteeinheit mittels bildverarbeitenden Algorithmen. The invention further relates to a motor vehicle with a stereo camera device according to the preceding description. The motor vehicle comprises the driver assistance device, which is designed to operate an automatic parking assistant, lane assist, cruise control assistant and / or an emergency brake assistant, taking into account an object distance determined by the stereoscopic image evaluation to the own motor vehicle. The object evaluation from the respective image data of the vehicle surroundings detected by the monocameras takes place, for example, by the stereo image evaluation unit using image-processing algorithms.
Weiterhin betrifft die Erfindung ein Verfahren zum Betrieb einer Stereokameravorrichtung nach der vorhergehenden Beschreibung. Insbesondere ist die Stereokameravorrichtung Teil der Fahrerassistenzvorrichtung oder mit dieser verbindbar. Es erfolgt eine stereoskopische Bildauswertung von Bilddaten von der ersten und der zweiten Monokamera unter Verwendung des Stereokamera-Algorithmus. Sollte eine der beiden Monokameras ausfallen, erfolgt eine stereoskopische Bildauswertung von Bilddaten von der anderen der beiden Monokameras unter Verwendung des Structure-from-Motion-Algorithmus. Furthermore, the invention relates to a method for operating a stereo camera device according to the preceding description. In particular, the stereo camera device is part of or can be connected to the driver assistance device. There is a stereoscopic image analysis of image data from the first and the second mono camera using the stereo camera algorithm. Should one of the two monocameras fail, a stereoscopic image analysis of image data from the other of the two monocameras is performed using the structure-from-motion algorithm.
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung. Dabei zeigt: Further features, advantages and effects of the invention will become apparent from the following description of a preferred embodiment of the invention. Showing:
In
Die Stereokameravorrichtung
Weiterhin umfasst die Stereokameravorrichtung
Zur Vermeidung von Unfällen wie etwa mittels eines Notbremsassistenten oder Fahrspurassistenten werden möglichst genaue Informationen über die Fahrzeugumgebung benötigt. Dabei kommt der Erfassung von Objekten sowie der Bestimmung der Objektentfernung zum eigenen Kraftfahrzeug
Vor diesem Hintergrund ist die Stereobildauswerteeinheit
Sollte die erste oder die zweite Monokamera
Ein wesentlicher Vorteil der erfindungsgemäßen Stereokameravorrichtung
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 1 1
- Stereokameravorrichtung Stereo camera device
- 2 2
- Kraftfahrzeug motor vehicle
- 3 3
- Erste Monokamera First mono camera
- 3a3a
- Bildsensor image sensor
- 3b3b
- Optik optics
- 4 4
- Zweite Monokamera Second mono camera
- 4a4a
- Bildsensor image sensor
- 4b4b
- Optik optics
- 5 5
- Stereobildauswerteeinheit Stereobildauswerteeinheit
- 6 6
- Fahrerassistenzvorrichtung Driver assistance device
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102014206227 A1 [0004] DE 102014206227 A1 [0004]
Claims (3)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016205471.6A DE102016205471A1 (en) | 2016-04-01 | 2016-04-01 | Stereo camera device and a method for operating the stereo camera device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016205471.6A DE102016205471A1 (en) | 2016-04-01 | 2016-04-01 | Stereo camera device and a method for operating the stereo camera device |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102016205471A1 true DE102016205471A1 (en) | 2017-05-04 |
Family
ID=58546210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102016205471.6A Ceased DE102016205471A1 (en) | 2016-04-01 | 2016-04-01 | Stereo camera device and a method for operating the stereo camera device |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102016205471A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018211268A1 (en) * | 2018-07-09 | 2020-01-09 | Conti Temic Microelectronic Gmbh | Stereo camera device and method for operating the stereo camera device |
DE102019100303A1 (en) * | 2019-01-08 | 2020-07-09 | HELLA GmbH & Co. KGaA | Method and device for determining a curvature of a roadway |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013208106A1 (en) * | 2012-05-24 | 2013-11-28 | Ifm Electronic Gmbh | Method for operating depth image-camera system, involves determining depth map based on data of light propagation time camera, and another depth image based on data of two-dimensional images of two-dimensional image acquisition |
DE102014206227A1 (en) | 2014-04-02 | 2015-10-08 | Conti Temic Microelectronic Gmbh | Stereo Camera System |
-
2016
- 2016-04-01 DE DE102016205471.6A patent/DE102016205471A1/en not_active Ceased
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013208106A1 (en) * | 2012-05-24 | 2013-11-28 | Ifm Electronic Gmbh | Method for operating depth image-camera system, involves determining depth map based on data of light propagation time camera, and another depth image based on data of two-dimensional images of two-dimensional image acquisition |
DE102014206227A1 (en) | 2014-04-02 | 2015-10-08 | Conti Temic Microelectronic Gmbh | Stereo Camera System |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018211268A1 (en) * | 2018-07-09 | 2020-01-09 | Conti Temic Microelectronic Gmbh | Stereo camera device and method for operating the stereo camera device |
WO2020011314A3 (en) * | 2018-07-09 | 2020-03-05 | Conti Temic Microelectronic Gmbh | Stereo camera device and method for operating the stereo camera device |
CN112136323A (en) * | 2018-07-09 | 2020-12-25 | 康蒂-特米克微电子有限公司 | Stereo camera device and method for operating stereo camera device |
US20210243421A1 (en) * | 2018-07-09 | 2021-08-05 | Conti Temic Microelectronic Gmbh | Stereo Camera Device and Method for Operating the Stereo Camera Device |
DE102019100303A1 (en) * | 2019-01-08 | 2020-07-09 | HELLA GmbH & Co. KGaA | Method and device for determining a curvature of a roadway |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3084466B1 (en) | Method for detecting a mark applied to an underlying surface, driver assistance device and motor vehicle | |
EP2150939B1 (en) | Method and device for determining the position of a road sign | |
DE102016213673A1 (en) | Camera device for a vehicle | |
DE102016206493A1 (en) | Method and camera system for determining the distance of objects to a vehicle | |
WO2012152268A2 (en) | Redundant object detection for driver assistance systems | |
DE102014116037A1 (en) | Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle | |
DE102016210632A1 (en) | Method for checking a media loss of a motor vehicle and motor vehicle and system for carrying out such a method | |
DE102006010295A1 (en) | Camera system for e.g. motor vehicle, has two different image sensors, whose data are read and merged based on image characteristics to form three-dimensional image, where sensors are sensitive in different spectral regions | |
DE102015009875A1 (en) | Method for autonomous driving of a vehicle | |
DE102014201158A1 (en) | Method and device for checking a relevant object detected by an object recognition | |
DE102015215561A1 (en) | Vehicle camera device for receiving an environment of a motor vehicle and driver assistance device for object recognition with such a vehicle camera device | |
DE102011105074A1 (en) | Method for determining visual range for vehicle, involves determining surrounding of vehicle by camera, where contrast dimensions are determined for object depicted in images, where visual range is determined from contrast dimensions | |
WO2022128014A1 (en) | Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination | |
DE102008025773A1 (en) | Local and movement conditions estimating method for observed object i.e. vehicle, involves determining distance, detecting shifting of portion of object, and estimating parameter of local and movement condition | |
DE102016009327A1 (en) | Device and method for calibrating a camera | |
DE102007021580B4 (en) | Method and device for determining vehicle-relevant traffic signs | |
WO2020020654A1 (en) | Method for operating a driver assistance system having two detection devices | |
DE102016205471A1 (en) | Stereo camera device and a method for operating the stereo camera device | |
DE102012220191A1 (en) | Method for supporting driver during transverse guide of vehicle, involves carrying out steering intervention during collision of vehicle with recognized objects, and determining vehicle data through forward facing camera | |
EP3032517B1 (en) | Device and method for supporting a driver of a vehicle, in particular a commercial vehicle | |
DE102010049214A1 (en) | Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data | |
DE102014206227A1 (en) | Stereo Camera System | |
WO2017162245A1 (en) | Device and method for assessing characteristic motion for a motor vehicle | |
DE102021202454A1 (en) | Environment modeling based on camera data | |
EP2565580B1 (en) | Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R230 | Request for early publication | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |