DE102016205471A1 - Stereo camera device and a method for operating the stereo camera device - Google Patents

Stereo camera device and a method for operating the stereo camera device Download PDF

Info

Publication number
DE102016205471A1
DE102016205471A1 DE102016205471.6A DE102016205471A DE102016205471A1 DE 102016205471 A1 DE102016205471 A1 DE 102016205471A1 DE 102016205471 A DE102016205471 A DE 102016205471A DE 102016205471 A1 DE102016205471 A1 DE 102016205471A1
Authority
DE
Germany
Prior art keywords
image
stereo
stereo camera
evaluation unit
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102016205471.6A
Other languages
German (de)
Inventor
Günter Anton Fendt
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102016205471.6A priority Critical patent/DE102016205471A1/en
Publication of DE102016205471A1 publication Critical patent/DE102016205471A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/08Interpretation of pictures by comparison of two or more pictures of the same area the pictures not being supported in the same relative position as when they were taken

Abstract

Es wird eine Stereokameravorrichtung 1 zur Erfassung einer Fahrzeugumgebung eines Kraftfahrzeugs 2 vorgeschlagen, umfassend eine erste und eine zweite Monokamera 3, 4, wobei die erste und die zweite Monokamera 3, 4 jeweils mindestens einen Bildsensor 3a, 4a und eine Optik 3b, 4b aufweisen, eine Stereobildauswerteeinheit 5, wobei der Bildsensor 3a der ersten Monokamera 3 und der Bildsensor 4a der zweiten Monokamera 4 zur Übertragung von Bilddaten mit der Stereobildauswerteeinheit 5 verbunden sind, wobei die Stereobildauswerteeinheit 5 zur stereoskopischen Bildauswertung der Bilddaten von der ersten und zweiten Monokamera 3, 4 unter Verwendung eines Stereokamera-Algorithmus ausgebildet ist, wobei im Falle eines Ausfalls von einer der beiden Monokameras 3, 4 die Stereobildauswerteeinheit 5 zur stereoskopischen Bildauswertung der Bilddaten von der anderen der beiden Monokameras unter Verwendung eines Structure-from-Motion-Algorithmus ausgebildet ist.A stereo camera device 1 for detecting a vehicle environment of a motor vehicle 2 is proposed, comprising a first and a second mono camera 3, 4, the first and the second mono camera 3, 4 each having at least one image sensor 3a, 4a and an optic 3b, 4b, a stereo image evaluation unit 5, wherein the image sensor 3a of the first monocamera 3 and the image sensor 4a of the second monocamera 4 for transmitting image data are connected to the stereo image evaluation unit 5, wherein the stereo image evaluation unit 5 for stereoscopic image analysis of the image data from the first and second monocamera 3, 4 under Using a stereo camera algorithm is formed, wherein in case of failure of one of the two monocameras 3, 4, the stereo image evaluation unit 5 is designed for stereoscopic image analysis of the image data from the other of the two mono cameras using a structure-from-motion algorithm.

Description

Die Erfindung betrifft eine Stereokameravorrichtung nach dem Oberbegriff des Anspruchs 1. Weiterhin betrifft die Erfindung ein Kraftfahrzeug mit der Stereokameravorrichtung sowie ein Verfahren zum Betrieb der Stereokameravorrichtung. The invention relates to a stereo camera device according to the preamble of claim 1. Furthermore, the invention relates to a motor vehicle with the stereo camera device and a method for operating the stereo camera device.

Fahrerassistenzsysteme in Fahrzeugen verwenden häufig eine oder mehrere Kameras zur Erfassung des Fahrzeugumfelds, beispielsweise zur Erkennung verschiedenster Objekte im Fahrzeugumfeld. Die Kameras sind dabei in der Regel im Fahrzeuginnenraum hinter der Windschutzscheibe angeordnet und blicken in Fahrtrichtung durch die Scheibe hindurch. Bekannt sind beispielsweise Fahrzeugkameras zur Erkennung von Hindernissen, Fahrbahnmarkierungen, Verkehrszeichen und anderen Verkehrsteilnehmern. Driver assistance systems in vehicles often use one or more cameras to detect the vehicle environment, for example, to detect a variety of objects in the vehicle environment. The cameras are usually arranged in the vehicle interior behind the windshield and look in the direction of travel through the disc. For example, vehicle cameras for detecting obstacles, lane markings, traffic signs and other road users are known.

Bei der Bestimmung von Objektentfernungen mittels Kameras werden derzeit bevorzugt Stereokamerasysteme eingesetzt. Diese bestehen aus zwei in der Regel identischen Kameramodulen (Einzelkameras), die als separate optische Systeme aufgebaut sind, mit jeweils einem Bildaufnahmeelement und einem Abbildungssystem. Die beiden Kameramodule werden mit ihren optischen Achsen meist parallel zueinander ausgerichtet und lateral versetzt hinter der Windschutzscheibe angeordnet. When determining object distances by means of cameras, stereo camera systems are currently preferably used. These consist of two generally identical camera modules (single cameras), which are constructed as separate optical systems, each with an image pickup element and an imaging system. The two camera modules are usually aligned with their optical axes parallel to each other and arranged laterally offset behind the windshield.

Aus der Druckschrift DE 10 2014 206 227 A1 ist ein Stereokamerasystem für ein Fahrzeug bekannt. Das Stereokamerasystem umfasst eine erste Monokamera mit einer Optik, einem Bildsensor und einer Bildauswerteeinheit, welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist. Des Weiteren umfasst das Stereokamerasystem eine zweite Monokamera mit einer Optik, einem Bildsensor und einer Bildauswerteeinheit, welche zur Bildauswertung der von dem Bildsensor erzeugten Bilddaten unter Verwendung eines Monokamera-Algorithmus ausgebildet ist. Weiterhin umfasst das Stereokamerasystem eine Stereobildauswerteeinheit, die mit dem Bildsensor der ersten Monokamera und dem Bildsensor der zweiten Monokamera zur Übertragung der Bilddaten verbunden ist und die zur stereoskopischen Bildauswertung der Bilddaten der ersten und zweiten Monokamera unter Verwendung eines Stereokamera-Algorithmus ausgebildet ist. From the publication DE 10 2014 206 227 A1 is known a stereo camera system for a vehicle. The stereo camera system comprises a first monocamera with an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monocamera algorithm. Furthermore, the stereo camera system comprises a second monocamera with an optical system, an image sensor and an image evaluation unit, which is designed for image evaluation of the image data generated by the image sensor using a monocamera algorithm. Furthermore, the stereo camera system comprises a stereo image evaluation unit which is connected to the image sensor of the first monocamera and the image sensor of the second monocamera for transmitting the image data and which is designed for stereoscopic image evaluation of the image data of the first and second monocamera using a stereo camera algorithm.

Der Erfindung liegt die Aufgabe zugrunde, eine Stereokameravorrichtung vorzuschlagen, welche eine stereoskopische Bildauswertung auch im Falle eines partiellen Systemausfalls bereitstellt. The invention has for its object to provide a stereo camera device, which provides a stereoscopic image analysis in the event of a partial system failure.

Diese Aufgabe wird durch eine Stereokameravorrichtung mit den Merkmalen des Anspruchs 1, durch das Kraftfahrzeug mit den Merkmalen des Anspruchs 2 sowie durch ein Verfahren mit den Merkmalen des Anspruchs 3 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in der nachfolgenden Beschreibung und durch die Figur dargelegt. This object is achieved by a stereo camera device having the features of claim 1, by the motor vehicle having the features of claim 2 and by a method having the features of claim 3. Advantageous or preferred embodiments of the invention are set forth in the following description and by the Figure.

Es wird eine Stereokameravorrichtung zur Erfassung einer Fahrzeugumgebung eines Kraftfahrzeugs vorgeschlagen. Bei der Fahrzeugumgebung handelt es sich vorzugsweise um einen in Fahrtrichtung des Kraftfahrzeugs vorausliegenden oder den vom Kraftfahrzeug rückwärtigen Umgebungsbereich. Beispielsweise ist die Stereokameravorrichtung in einem Innenraum des Kraftfahrzeugs hinter der Windschutzscheibe anordbar oder angeordnet. A stereo camera device for detecting a vehicle environment of a motor vehicle is proposed. In the vehicle environment, it is preferably an environment in the direction of travel of the motor vehicle ahead or the rear of the vehicle environment. For example, the stereo camera device can be arranged or arranged in an interior of the motor vehicle behind the windshield.

Beispielsweise ist die Stereokameravorrichtung in eine Fahrerassistenzvorrichtung des Kraftfahrzeugs integrierbar oder mit dieser verbindbar. Die Fahrerassistenzvorrichtung umfasst z. B. einen (Not-)Bremsassistenten, einen (Not-)Lenkassistenten, einen Einparkassistenten, einen Geschwindigkeitsregelungsassistenten und/oder einen Fahrspurassistenten. Solche Fahrerassistenzfunktionen sind beispielsweise für das hochautonome Fahren wesentlich. For example, the stereo camera device can be integrated into or connected to a driver assistance device of the motor vehicle. The driver assistance device comprises z. B. an (emergency) brake assistant, an (emergency) steering assistant, a parking assistant, a cruise control assistant and / or a lane assist. Such driver assistance functions are essential, for example, for highly autonomous driving.

Die Stereokameravorrichtung umfasst eine erste und eine zweite Monokamera. Die erste und die zweite Monokamera weisen jeweils mindestens einen Bildsensor, beispielsweise einen CMOS-Sensor, und eine Optik auf. Vorzugsweise sind die erste und die zweite Monokamera lateral versetzt, d. h. auf einer Linie parallel zur Fahrzeugquerachse versetzt angeordnet. Z. B. sind die erste und die zweite Monokamera baugleich ausgebildet. The stereo camera device includes a first and a second mono camera. The first and the second monocamera each have at least one image sensor, for example a CMOS sensor, and an optical system. Preferably, the first and second mono cameras are laterally offset, d. H. arranged offset on a line parallel to the vehicle transverse axis. For example, the first and the second monocamera are of identical construction.

Weiterhin umfasst die Stereokameravorrichtung eine Stereobildauswerteeinheit, wobei der Bildsensor der ersten Monokamera und der Bildsensor der zweiten Monokamera zur Übertragung der von dem jeweiligen Bildsensor erzeugten Bilddaten mit der Stereobildauswerteeinheit verbunden sind. Die Bilddaten umfassen insbesondere mindestens ein Bild oder eine Bildfolge von der jeweiligen Monokamera erfassten Fahrzeugumgebung. Furthermore, the stereo camera device comprises a stereo image evaluation unit, wherein the image sensor of the first monocamera and the image sensor of the second monocamera for transmitting the image data generated by the respective image sensor are connected to the stereo image evaluation unit. The image data comprise in particular at least one image or an image sequence of the respective monocamera detected vehicle environment.

Die Stereobildauswerteeinheit ist zur stereoskopischen Bildauswertung der Bilddaten von der ersten und zweiten Monokamera unter Verwendung eines Stereokamera-Algorithmus ausgebildet. Insbesondere erfolgt bei der stereoskopischen Bildauswertung unter der Verwendung des Stereokamera-Algorithmus eine Datenfusion von Bildinformationen aus den von der ersten und der zweiten Monokamera übertragenen Bilddaten. Vorteilhafterweise ermöglicht die stereoskopische Bildauswertung unter der Verwendung des Stereokamera-Algorithmus eine präzise Bestimmung von Objektentfernungen zum eigenen Kraftfahrzeug. The stereo image evaluation unit is configured to stereoscopically image the image data from the first and second mono cameras using a stereo camera algorithm. In particular, in the stereoscopic image analysis using the stereo camera algorithm, a data fusion of image information is performed from the image data transmitted from the first and second mono cameras. Advantageously, the stereoscopic image analysis allows using the stereo camera algorithm a precise determination of object distances to the own motor vehicle.

Im Falle eines Ausfalls von einer der beiden Monokameras stehen der Stereobildauswerteeinheit lediglich die Bilddaten von der anderen der beiden Monokameras zur Verfügung. Aus den Bilddaten von ausschließlich einer der Monokameras können zwar Objekte wie z. B. Verkehrszeichen erkannt werden, allerdings ist die stereoskopische Bildauswertung unter Verwendung des Stereokamera-Algorithmus nicht mehr möglich. In case of failure of one of the two mono cameras of the stereo image evaluation unit are only the image data from the other of the two mono cameras available. From the image data of only one of the monocameras can indeed objects such. As traffic signs are detected, however, the stereoscopic image analysis using the stereo camera algorithm is no longer possible.

Erfindungsgemäß ist die Stereobildauswerteeinheit im Falle des Ausfalls von einer der beiden Monokameras zur stereoskopischen Bildauswertung der Bilddaten von der anderen der beiden Monokameras, somit der noch funktionierenden Monokamera, unter Verwendung eines Structure-from-Motion-Algorithmus ausgebildet. According to the invention, the stereo image evaluation unit is designed in the event of failure of one of the two monocameras for stereoscopic image evaluation of the image data from the other of the two monocameras, thus the still functioning monocamera, using a structure-from-motion algorithm.

Unter dem Structure-from-Motion-Algorithmus ist insbesondere eine Rekonstruktion von Strukturen wie Größen, Abstände, Winkelähnlichkeiten und Ausdehnungen aus gegeneinander zeitlich versetzten Bildern generiert von ausschließlich einer der zwei Monokameras zu verstehen. Mit anderen Worten erfolgt insbesondere anstelle der Generierung eines Stereobilds aus zwei parallel erfassten Bilddaten der ersten und zweiten Monokamera die Generierung eines Stereobilds aus seriellen erfassten Bilddaten von einer der beiden Monokameras. Auf diese Weise sind auch bei einem Ausfall von einer der beiden Monokameras weiterhin eine stereoskopische Bildauswertung und folglich der Betrieb von auf Entfernungsinformationen basierenden Fahrerassistenzfunktionen wie z. B. der Notlenkassistent sichergestellt. Weiterhin ist vorteilhafterweise durch die Generierung des Stereobilds mittels des Structure-from-Motion-Algorithmus vergleichsweise zum Stereokamera-Algorithmus keine zusätzliche Rechenkapazität erforderlich. In particular, the structure-from-motion algorithm is to be understood to mean a reconstruction of structures such as sizes, distances, angle similarities and expansions from mutually time-delayed images generated exclusively by one of the two monocameras. In other words, instead of generating a stereo image from two image data of the first and second monocamera acquired in parallel, the generation of a stereo image from serial acquired image data is carried out by one of the two monocameras. In this way, even in the event of a failure of one of the two monocameras, a stereoscopic image evaluation and consequently the operation of driver information functions based on distance information, such as, for example, are still possible. B. the emergency steering assistant ensured. Furthermore, advantageously by generating the stereo image by means of the structure-from-motion algorithm, compared to the stereo camera algorithm, no additional computing capacity is required.

Die Erfindung betrifft als weiteren Gegenstand ein Kraftfahrzeug mit einer Stereokameravorrichtung nach der vorhergehenden Beschreibung. Das Kraftfahrzeug umfasst die Fahrerassistenzvorrichtung, welche ausgebildet ist, einen automatischen Einparkassistenten, Fahrspurassistenten, Geschwindigkeitsregelungsassistenten und/oder einen Notbremsassistenten unter Berücksichtigung einer mittels der stereoskopischen Bildauswertung bestimmten Objektentfernung zum eigenen Kraftfahrzeug zu betreiben. Die Objektauswertung aus den jeweiligen Bilddaten der durch die Monokameras erfassten Fahrzeugumgebung erfolgt beispielsweise durch die Stereobildauswerteeinheit mittels bildverarbeitenden Algorithmen. The invention further relates to a motor vehicle with a stereo camera device according to the preceding description. The motor vehicle comprises the driver assistance device, which is designed to operate an automatic parking assistant, lane assist, cruise control assistant and / or an emergency brake assistant, taking into account an object distance determined by the stereoscopic image evaluation to the own motor vehicle. The object evaluation from the respective image data of the vehicle surroundings detected by the monocameras takes place, for example, by the stereo image evaluation unit using image-processing algorithms.

Weiterhin betrifft die Erfindung ein Verfahren zum Betrieb einer Stereokameravorrichtung nach der vorhergehenden Beschreibung. Insbesondere ist die Stereokameravorrichtung Teil der Fahrerassistenzvorrichtung oder mit dieser verbindbar. Es erfolgt eine stereoskopische Bildauswertung von Bilddaten von der ersten und der zweiten Monokamera unter Verwendung des Stereokamera-Algorithmus. Sollte eine der beiden Monokameras ausfallen, erfolgt eine stereoskopische Bildauswertung von Bilddaten von der anderen der beiden Monokameras unter Verwendung des Structure-from-Motion-Algorithmus. Furthermore, the invention relates to a method for operating a stereo camera device according to the preceding description. In particular, the stereo camera device is part of or can be connected to the driver assistance device. There is a stereoscopic image analysis of image data from the first and the second mono camera using the stereo camera algorithm. Should one of the two monocameras fail, a stereoscopic image analysis of image data from the other of the two monocameras is performed using the structure-from-motion algorithm.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels der Erfindung. Dabei zeigt: Further features, advantages and effects of the invention will become apparent from the following description of a preferred embodiment of the invention. Showing:

1 in einer schematischen Blockdarstellung eine Stereokameravorrichtung. 1 in a schematic block diagram of a stereo camera device.

In 1 ist in einer schematischen Darstellung eine Stereokameravorrichtung 1 dargestellt, welche in einem Kraftfahrzeug 2 integriert ist. Die Stereokameravorrichtung 1 ist zur Erfassung einer Fahrzeugumgebung, insbesondere einer vorausliegenden Fahrzeugumgebung des Kraftfahrzeugs 2 ausgebildet. Zur Aufnahme der vorausliegenden Fahrzeugumgebung ist die Stereokameravorrichtung 2 in Fahrtrichtung des Kraftfahrzeugs 2 gerichtet. In 1 is a schematic representation of a stereo camera device 1 shown which in a motor vehicle 2 is integrated. The stereo camera device 1 is for detecting a vehicle environment, in particular a preceding vehicle environment of the motor vehicle 2 educated. The stereo camera device is for recording the vehicle surroundings ahead 2 in the direction of travel of the motor vehicle 2 directed.

Die Stereokameravorrichtung 1 umfasst eine erste Monokamera 3 und eine zweite Monokamera 4, wobei die erste und die zweite Monokamera jeweils eine Optik 3b, 4b zur Projektion von Licht sowie einen Bildsensor 3a, 4a zur Erfassung des von der Optik 3b, 4b projizierten Lichts aufweisen. The stereo camera device 1 includes a first mono camera 3 and a second mono camera 4 , wherein the first and the second monocamera each have an optic 3b . 4b for the projection of light and an image sensor 3a . 4a to capture the of the optics 3b . 4b have projected light.

Weiterhin umfasst die Stereokameravorrichtung 1 eine Stereobildauswerteeinheit 5. Der Bildsensor 3a, 4a der ersten und der zweiten Monokamera 3, 4 sind jeweils mit der Stereobildauswerteeinheit 5 zur Übertragung von Bilddaten, welche insbesondere die jeweils von den Bildsensoren 3a, 4a erfassten Bilder der Fahrzeugumgebung aufweisen, verbunden. Furthermore, the stereo camera device includes 1 a stereo image evaluation unit 5 , The image sensor 3a . 4a the first and the second monocamera 3 . 4 are each with the stereo image evaluation unit 5 for transmission of image data, which in particular each of the image sensors 3a . 4a captured images of the vehicle environment connected.

Zur Vermeidung von Unfällen wie etwa mittels eines Notbremsassistenten oder Fahrspurassistenten werden möglichst genaue Informationen über die Fahrzeugumgebung benötigt. Dabei kommt der Erfassung von Objekten sowie der Bestimmung der Objektentfernung zum eigenen Kraftfahrzeug 2 eine wichtige Rolle zu. To avoid accidents, such as using an emergency brake assistant or lane assistant, the most accurate information possible about the vehicle environment is required. Here comes the detection of objects and the determination of the object distance to the own motor vehicle 2 an important role too.

Vor diesem Hintergrund ist die Stereobildauswerteeinheit 5 ausgebildet, aus den von den Bildsensoren 3a, 4a übertragenen Bilddaten der ersten und zweiten Monokamera 3, 4 unter Verwendung eines Stereokamera-Algorithmus ein stereoskopisches Bild auszuwerten. Mit anderen Worten generieren die erste und die zweite Monokamera 3, 4 insbesondere synchron Einzelbilder, die dann durch die Stereobildauswerteeinheit 5 als Bildpaare ausgewertet werden. Die Auswertung der Bilddaten eines Bildpaares oder mehrerer Bildpaare ermöglicht auf die Entfernung zwischen einem Objekt zum eigenen Kraftfahrzeug 2 im Erfassungsbereich der Stereokameravorrichtung 1 zu schließen. Durch das stereoskopische Bild sind somit Tiefenbildinformationen bereitgestellt, mittels diesen die Objektentfernung zum eigenen Kraftfahrzeugs 2 bestimmbar ist. Die Auswertung von Objekten aus den Bilddaten und/oder die Bestimmung der Objektentfernung zum eigenen Kraftfahrzeug 2 erfolgt beispielsweise durch die Stereobildauswerteeinheit 5 oder durch eine Fahrerassistenzvorrichtung 6. Bei den auszuwertenden Objekten handelt es sich beispielsweise um Verkehrszeichen, Fahrbahnmarkierungen, Bordsteine oder weitere Verkehrsteilnehmer wie weitere Kraftfahrzeuge, Fußgänger oder Fahrradfahrer. Against this background is the stereo image evaluation unit 5 trained, from those of the image sensors 3a . 4a transmitted image data of the first and second mono camera 3 . 4 using a stereo camera algorithm to evaluate a stereoscopic image. In other words, the generate first and second mono camera 3 . 4 in particular synchronously frames, which then by the stereo image evaluation unit 5 evaluated as image pairs. The evaluation of the image data of a pair of images or multiple pairs of images allows for the distance between an object to its own motor vehicle 2 in the detection range of the stereo camera device 1 close. The stereoscopic image thus provides depth image information, by means of which the object distance to the own motor vehicle 2 is determinable. The evaluation of objects from the image data and / or the determination of the object distance to the own motor vehicle 2 takes place, for example, through the stereo image evaluation unit 5 or by a driver assistance device 6 , The objects to be evaluated are, for example, traffic signs, lane markings, curbs or other road users such as other motor vehicles, pedestrians or cyclists.

Sollte die erste oder die zweite Monokamera 3, 4 ausgefallen sein, ist die Stereobildauswerteeinheit 5 ersatzweise ausgebildet, mindestens ein stereoskopisches Bild aus den Bilddaten von der anderen, d. h. von der nicht ausgefallenen Monokamera unter Verwendung eines Structure-from-Motion-Algorithmus auszuwerten. In 1 ist rein beispielhaft die zweite Monokamera 4 als die ausgefallene Monokamera dargestellt, sodass die stereoskopische Bildauswertung aus den Bilddaten von der ersten Monokamera 3 generiert wird. Should be the first or the second monocamera 3 . 4 failed, is the stereo image evaluation unit 5 alternatively designed to evaluate at least one stereoscopic image from the image data from the other, ie from the non-failed monochrome camera using a structure-from-motion algorithm. In 1 is purely an example of the second mono camera 4 shown as the failed mono camera, so that the stereoscopic image analysis from the image data from the first monocamera 3 is generated.

Ein wesentlicher Vorteil der erfindungsgemäßen Stereokameravorrichtung 1 ist die Sicherstellung eines Stereobildes selbst beim Ausfall von einer der beiden Monokameras 3, 4. Somit ist es der Fahrerassistenzvorrichtung 6 des Kraftfahrzeugs 2 ermöglicht, unter Berücksichtigung der Entfernung zwischen einem ausgewerteten Objekt und dem eigenen Kraftfahrzeug 2 verschiedene Fahrerassistenzfunktionen wie z. B. einen Notbremsassistenten zu betreiben und folglich eine Kollision des Kraftfahrzeugs 2 mit dem erfassten Objekt zu vermeiden oder zumindest zu reduzieren. A significant advantage of the stereo camera device according to the invention 1 is the assurance of a stereo image even if one of the two mono cameras fails 3 . 4 , Thus, it is the driver assistance device 6 of the motor vehicle 2 allows, taking into account the distance between an evaluated object and the own motor vehicle 2 various driver assistance functions such. B. to operate an emergency brake assist and consequently a collision of the motor vehicle 2 with the detected object to avoid or at least reduce.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1 1
Stereokameravorrichtung Stereo camera device
2 2
Kraftfahrzeug motor vehicle
3 3
Erste Monokamera First mono camera
3a3a
Bildsensor  image sensor
3b3b
Optik  optics
4 4
Zweite Monokamera Second mono camera
4a4a
Bildsensor  image sensor
4b4b
Optik  optics
5 5
Stereobildauswerteeinheit Stereobildauswerteeinheit
6 6
Fahrerassistenzvorrichtung Driver assistance device

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102014206227 A1 [0004] DE 102014206227 A1 [0004]

Claims (3)

Stereokameravorrichtung (1) zur Erfassung einer Fahrzeugumgebung eines Kraftfahrzeugs (2), umfassend eine erste und eine zweite Monokamera (3, 4), wobei die erste und die zweite Monokamera (3, 4) jeweils mindestens einen Bildsensor (3a, 4a) und eine Optik (3b, 4b) aufweisen, eine Stereobildauswerteeinheit (5), wobei der Bildsensor (3a) der ersten Monokamera (3) und der Bildsensor (4a) der zweiten Monokamera (4) zur Übertragung von Bilddaten mit der Stereobildauswerteeinheit (5) verbunden sind, wobei die Stereobildauswerteeinheit (5) zur stereoskopischen Bildauswertung der Bilddaten von der ersten und zweiten Monokamera (3, 4) unter Verwendung eines Stereokamera-Algorithmus ausgebildet ist, dadurch gekennzeichnet, dass im Falle eines Ausfalls von einer der beiden Monokameras (3, 4) die Stereobildauswerteeinheit (5) zur stereoskopischen Bildauswertung der Bilddaten von der anderen der beiden Monokameras unter Verwendung eines Structurefrom-Motion-Algorithmus ausgebildet ist. Stereo camera device ( 1 ) for detecting a vehicle environment of a motor vehicle ( 2 ), comprising a first and a second monocamera ( 3 . 4 ), wherein the first and the second mono camera ( 3 . 4 ) at least one image sensor ( 3a . 4a ) and an optic ( 3b . 4b ), a stereo image evaluation unit ( 5 ), wherein the image sensor ( 3a ) of the first mono camera ( 3 ) and the image sensor ( 4a ) of the second mono camera ( 4 ) for transmitting image data with the stereo image evaluation unit ( 5 ), wherein the stereo image evaluation unit ( 5 ) for the stereoscopic image analysis of the image data from the first and second monocamera ( 3 . 4 ) is formed using a stereo camera algorithm, characterized in that in the event of failure of one of the two monocameras ( 3 . 4 ) the stereo image evaluation unit ( 5 ) is designed for stereoscopic image analysis of the image data from the other of the two monocameras using a Structurefrom motion algorithm. Kraftfahrzeug (1) mit einer Stereokameravorrichtung (1) nach Anspruch 1, gekennzeichnet durch eine Fahrerassistenzvorrichtung (6), welche ausgebildet ist, einen automatischen Einparkassistenten, Fahrspurassistenten, Geschwindigkeitsregelungsassistenten und/oder Notbremsassistenten unter Berücksichtigung einer mittels der stereoskopischen Bildauswertung bestimmten Objektentfernung zum eigenen Kraftfahrzeug (1) zu betreiben. Motor vehicle ( 1 ) with a stereo camera device ( 1 ) according to claim 1, characterized by a driver assistance device ( 6 ), which is formed, an automatic parking assistant, lane assistants, cruise control assistants and / or emergency brake assistants, taking into account an object distance determined by means of the stereoscopic image analysis to the own motor vehicle ( 1 ) to operate. Verfahren zum Betrieb einer Stereokameravorrichtung (1) nach Anspruch 1, welche insbesondere Teil einer Fahrerassistenzvorrichtung (6) ist, gekennzeichnet durch folgende Schritte: – Stereoskopische Bildauswertung von Bilddaten von einer ersten und einer zweiten Monokamera (3, 4) unter Verwendung eines Stereokamera-Algorithmus, – Im Falle eines Ausfalls von einer der beiden Monokameras (3, 4) stereoskopische Bildauswertung von Bilddaten von der anderen der beiden Monokameras unter Verwendung eines Structure-from-Motion-Algorithmus. Method for operating a stereo camera device ( 1 ) according to claim 1, which in particular is part of a driver assistance device ( 6 ) characterized by the following steps: Stereoscopic image analysis of image data from a first and a second monocamera ( 3 . 4 ) using a stereo camera algorithm, - In case of failure of one of the two monocameras ( 3 . 4 ) stereoscopic image analysis of image data from the other of the two monocameras using a structure-from-motion algorithm.
DE102016205471.6A 2016-04-01 2016-04-01 Stereo camera device and a method for operating the stereo camera device Ceased DE102016205471A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102016205471.6A DE102016205471A1 (en) 2016-04-01 2016-04-01 Stereo camera device and a method for operating the stereo camera device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016205471.6A DE102016205471A1 (en) 2016-04-01 2016-04-01 Stereo camera device and a method for operating the stereo camera device

Publications (1)

Publication Number Publication Date
DE102016205471A1 true DE102016205471A1 (en) 2017-05-04

Family

ID=58546210

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102016205471.6A Ceased DE102016205471A1 (en) 2016-04-01 2016-04-01 Stereo camera device and a method for operating the stereo camera device

Country Status (1)

Country Link
DE (1) DE102016205471A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018211268A1 (en) * 2018-07-09 2020-01-09 Conti Temic Microelectronic Gmbh Stereo camera device and method for operating the stereo camera device
DE102019100303A1 (en) * 2019-01-08 2020-07-09 HELLA GmbH & Co. KGaA Method and device for determining a curvature of a roadway

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013208106A1 (en) * 2012-05-24 2013-11-28 Ifm Electronic Gmbh Method for operating depth image-camera system, involves determining depth map based on data of light propagation time camera, and another depth image based on data of two-dimensional images of two-dimensional image acquisition
DE102014206227A1 (en) 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereo Camera System

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013208106A1 (en) * 2012-05-24 2013-11-28 Ifm Electronic Gmbh Method for operating depth image-camera system, involves determining depth map based on data of light propagation time camera, and another depth image based on data of two-dimensional images of two-dimensional image acquisition
DE102014206227A1 (en) 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereo Camera System

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018211268A1 (en) * 2018-07-09 2020-01-09 Conti Temic Microelectronic Gmbh Stereo camera device and method for operating the stereo camera device
WO2020011314A3 (en) * 2018-07-09 2020-03-05 Conti Temic Microelectronic Gmbh Stereo camera device and method for operating the stereo camera device
CN112136323A (en) * 2018-07-09 2020-12-25 康蒂-特米克微电子有限公司 Stereo camera device and method for operating stereo camera device
US20210243421A1 (en) * 2018-07-09 2021-08-05 Conti Temic Microelectronic Gmbh Stereo Camera Device and Method for Operating the Stereo Camera Device
DE102019100303A1 (en) * 2019-01-08 2020-07-09 HELLA GmbH & Co. KGaA Method and device for determining a curvature of a roadway

Similar Documents

Publication Publication Date Title
EP3084466B1 (en) Method for detecting a mark applied to an underlying surface, driver assistance device and motor vehicle
EP2150939B1 (en) Method and device for determining the position of a road sign
DE102016213673A1 (en) Camera device for a vehicle
DE102016206493A1 (en) Method and camera system for determining the distance of objects to a vehicle
WO2012152268A2 (en) Redundant object detection for driver assistance systems
DE102014116037A1 (en) Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle
DE102016210632A1 (en) Method for checking a media loss of a motor vehicle and motor vehicle and system for carrying out such a method
DE102006010295A1 (en) Camera system for e.g. motor vehicle, has two different image sensors, whose data are read and merged based on image characteristics to form three-dimensional image, where sensors are sensitive in different spectral regions
DE102015009875A1 (en) Method for autonomous driving of a vehicle
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102015215561A1 (en) Vehicle camera device for receiving an environment of a motor vehicle and driver assistance device for object recognition with such a vehicle camera device
DE102011105074A1 (en) Method for determining visual range for vehicle, involves determining surrounding of vehicle by camera, where contrast dimensions are determined for object depicted in images, where visual range is determined from contrast dimensions
WO2022128014A1 (en) Correction of images from a panoramic-view camera system in the case of rain, incident light and contamination
DE102008025773A1 (en) Local and movement conditions estimating method for observed object i.e. vehicle, involves determining distance, detecting shifting of portion of object, and estimating parameter of local and movement condition
DE102016009327A1 (en) Device and method for calibrating a camera
DE102007021580B4 (en) Method and device for determining vehicle-relevant traffic signs
WO2020020654A1 (en) Method for operating a driver assistance system having two detection devices
DE102016205471A1 (en) Stereo camera device and a method for operating the stereo camera device
DE102012220191A1 (en) Method for supporting driver during transverse guide of vehicle, involves carrying out steering intervention during collision of vehicle with recognized objects, and determining vehicle data through forward facing camera
EP3032517B1 (en) Device and method for supporting a driver of a vehicle, in particular a commercial vehicle
DE102010049214A1 (en) Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data
DE102014206227A1 (en) Stereo Camera System
WO2017162245A1 (en) Device and method for assessing characteristic motion for a motor vehicle
DE102021202454A1 (en) Environment modeling based on camera data
EP2565580B1 (en) Method for determining the dimensions of an object in the vicinity of a vehicle, corresponding device and vehicle with such a device

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R230 Request for early publication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final