DE102008042204A1 - Camera system for use in vehicle, has evaluating and controlling unit for evaluating images, which are detected by camera for producing information for driver assistance system - Google Patents

Camera system for use in vehicle, has evaluating and controlling unit for evaluating images, which are detected by camera for producing information for driver assistance system Download PDF

Info

Publication number
DE102008042204A1
DE102008042204A1 DE102008042204A DE102008042204A DE102008042204A1 DE 102008042204 A1 DE102008042204 A1 DE 102008042204A1 DE 102008042204 A DE102008042204 A DE 102008042204A DE 102008042204 A DE102008042204 A DE 102008042204A DE 102008042204 A1 DE102008042204 A1 DE 102008042204A1
Authority
DE
Germany
Prior art keywords
camera
evaluation
control unit
camera system
driver assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102008042204A
Other languages
German (de)
Inventor
Alexander Wuerz-Wessel
Jens Schick
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008042204A priority Critical patent/DE102008042204A1/en
Publication of DE102008042204A1 publication Critical patent/DE102008042204A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The camera system (10) has an evaluating and controlling unit (16) for evaluating images, which are detected by a camera (12,12') for producing information for a driver assistance system (22,24,26,28). The evaluating and controlling unit is provided for determining an actual location of the camera in an area by sequential calibration points (3.1,3.2,3.3).

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Kamerasystem nach dem Oberbegriff des Patentanspruchs 1.The The invention relates to a camera system according to the preamble of the claim 1.

Moderne Fahrerassistenzsysteme, wie beispielsweise System zur Fahrspurvermessung bzw. Fahrspurerkennung, Blindspot-Detektion, Verkehrszeichenerkennung und/oder Abstandserkennung weisen zunehmend Kamerasysteme zur Bilderfassung auf. Diese sind in der Regel fest im Fahrzeug eingebaut, so dass sie einen stabilen Referenzpunkt aufweisen. Da das Fahrzeug während des Betriebs schwankt, muss für Messaufgaben die Position und Ausrichtung der Kameras bekannt sein. Zur Integration der Kamerasysteme in das Fahrzeug werden zu Fahrtbeginn so genannte Kalibrierungsvorgänge durchlaufen, um die genau Kameraposition und Kameraausrichtung zu ermitteln. Diese Kalibrierungsvorgänge sind aufwändig und nachträgliche Verstellungen können nicht erkannt werden.modern Driver assistance systems, such as system for lane measurement or lane detection, blind spot detection, traffic sign recognition and / or distance detection increasingly have camera systems for image acquisition on. These are usually firmly installed in the vehicle, so that they have a stable reference point. As the vehicle during of the operation varies, the position must be for measurement tasks and alignment of the cameras. For the integration of camera systems into the vehicle, at the beginning of the journey, so-called calibration procedures are carried out, to determine the exact camera position and camera orientation. These calibration procedures are complex and Subsequent adjustments can not be detected become.

In der Patentschrift DE 40 32 927 C2 wird eine Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Fahrzeug beschrieben. Die beschriebene Vorrichtung umfasst eine infrarotempfindliche Kamera zur Erfassung des Sichtbereichs des Fahrers in Fahrtrichtung und eine als Head-up-Display ausgebildete Anzeigevorrichtung, auf welcher das Bild der Kamera als virtuelles Bild der äußeren Landschaft visuell überlagert wird. Die infrarotempfindliche Kamera ist fahrzeugfest im Bereich des Rückspiegels angeordnet. Zudem weist das Fahrzeug wenigstens eine Infrarotstrahlungsquelle auf, welche den von der Kamera erfassten Sichtbereich ausleuchtet.In the patent DE 40 32 927 C2 An apparatus for improving the visibility in a vehicle is described. The device described comprises an infrared-sensitive camera for detecting the field of vision of the driver in the direction of travel and a display device designed as a head-up display, on which the image of the camera is visually superimposed as a virtual image of the outer landscape. The infrared-sensitive camera is fixed to the vehicle in the area of the rearview mirror. In addition, the vehicle has at least one infrared radiation source, which illuminates the field of view detected by the camera.

In der Patentschrift US 6,819,354 B1 wird ein Kamerasystem beschrieben, das an einem Schutzhelm angeordnet ist. Das beschriebene Kamerasystem umfasst einen CMOS-Bildsensor und eine Befestigungseinheit, die konfiguriert ist, um das Kamerasystem an einer vorhandenen Struktur des Schutzhelms zu befestigen. Zudem umfasst die Kamera eine Übertragungseinheit, welche eine Signalübertragung der erfassten Bilder ermöglicht, und eine Empfangseinheit, um Steuersignale zu empfangen, welche eine Fernbedienung des Kamerasystems ermöglichen. Eine Weiterverarbeitung der erfassten Bilder im Kamerasystem ist nicht vorgesehen.In the patent US Pat. No. 6,819,354 B1 a camera system is described, which is arranged on a protective helmet. The described camera system includes a CMOS image sensor and a mounting unit configured to attach the camera system to an existing structure of the safety helmet. In addition, the camera comprises a transmission unit, which allows a signal transmission of the captured images, and a receiving unit to receive control signals, which enable a remote control of the camera system. Further processing of the captured images in the camera system is not provided.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Kamerasystem mit den Merkmalen des unabhängigen Patentanspruchs 1 hat demgegenüber den Vorteil, dass eine Auswerte- und Steuereinheit Bilder auswertet, die mit mindestens einer Kamera erfasst werden, um korrespondierende Informationen für mindestens ein Fahrerassistenzsystem zu erzeugen, wobei die Auswerte- und Steuereinheit unter Verwendung von Kalibrierungspunkten fortlaufend eine aktuelle Lage der mindestens einen Kamera im Raum ermittelt, um die erzeugten Informationen für das mindestens eine Fahrerassistenzsystem in Abhängigkeit von der ermittelten aktuellen Lage der mindestens einen Kamera zu korrigieren. Das bedeutet, dass die variable Lage des durch eine Haltevorrichtung am Kopf eines Fahrers angeordneten Kamerasystems durch die Auswerte- und Steuereinheit ermittelt und bei der Auswertung der erfassten Bilder berücksichtigt wird. Das mindestens eine Fahrerassistenzsystem umfasst beispielsweise Systeme zur Fahrspurvermessung, zur Blindspot-Detektion, zur Verkehrszeichenerkennung und/oder zur Abstandserkennung.The Camera system according to the invention with the features of the independent claim 1 has in contrast the advantage that an evaluation and control unit evaluates images, which are detected by at least one camera to correspond Information for at least one driver assistance system to generate, with the evaluation and control unit using of calibration points continuously a current position of at least a camera in space determines the information generated for the at least one driver assistance system in dependence from the determined current position of the at least one camera correct. This means that the variable position of the by a Holding device on the head of a driver arranged camera system determined by the evaluation and control unit and in the evaluation of captured images is taken into account. The at least one Driver assistance system includes, for example, systems for lane measurement, for blind spot detection, for traffic sign recognition and / or for Distance detection.

Das erfindungsgemäße Kamerasystem hat den Vorteil, dass das Fahrerassistenzsystem genauere Informationen erhält. Dies trägt dazu bei, dass das Fahrerassistenzsystem verlässlicher ist.The Camera system according to the invention has the advantage that the driver assistance system receives more accurate information. This helps to make the driver assistance system more reliable is.

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen und Weiterbildungen sind vorteilhafte Verbesserungen des im unabhängigen Patentanspruch 1 angegebenen Kamerasystems möglich.By those listed in the dependent claims Measures and developments are advantageous improvements of the specified in the independent claim 1 camera system possible.

Besonders vorteilhaft ist, dass die Auswerte- und Steuereinheit über mindestens eine Datenschnittstelle drahtgebunden und/oder drahtlos Daten mit einem Fahrzeugbussystem und/oder dem mindestens einen Fahrerassistenzsystem austauscht.Especially It is advantageous that the evaluation and control unit via at least one data interface wired and / or wireless Data with a vehicle bus system and / or the at least one Driver assistance system replaced.

In Ausgestaltung des erfindungsgemäßen Kamerasystems umfassen die Kalibrierpunkte beispielsweise fahrzeugseitige Markierungspunkte mit bekannten Positionen und/oder infrastrukturelle Markierungspunkte. Die fahrzeugseitigen Markierungspunkte ergeben sich beispielsweise aus der Fahrzeuggeometrie und können über Merkmale im Fahrzeuginnenraum wie A-Säule, B-Säule, C-Säule, Innenspiegel usw. berechnet werden. Infrastrukturelle Markierungen umfassen beispielsweise Fahrspurmarkierungen und können die Berechnung der Lage der mindestens einen Kamera stabilisieren. Um eine Bewegung der mindestens einen Kamera zu erfassen und auszuwerten, kann die Auswerte- und Steuereinheit eine Bildsequenz mit mindestens zwei aufeinander folgend erfassten Bilder zur Ermittlung eines optischen Flusses digital auswerten. Der optische Fluss beschreibt die Verschiebung der zu einem ersten Zeitpunkt aufgenommenen Bildpunkte eines Objekts in Bezug zu Bildpunkten, die an einem zweiten Zeitpunkt aufgenommenen werden, wobei bei der Auswertung festgelegt wird, welche Bildpunkte eines zum ersten Zeitpunkt aufgenommenen Bildes mit welchen Bildpunkten des zum zweiten Zeitpunkt aufgenommenen Bildes korrespondieren, so dass aus dem ermittelten optischen Fluss die Bewegung der mindestens einen Kamera ermittelt werden kann. Zur Verbesserung der Bilderfassung kann die mindestens eine Kamera jeweils mehrere Bildaufnahmevorrichtungen umfassen, welche jeweils Bilder in mindestens einer Raumrichtung erfassen können. So können beispielsweise Bildaufnahmevorrichtungen mit Erfassungsrichtung in Fahrtrichtung, mit Erfassungsrichtung in Fahrtrichtung gesehen nach links bzw. rechts, und nach hinten vorhanden sein.In an embodiment of the camera system according to the invention, the calibration points include, for example, vehicle-side marker points with known positions and / or infrastructural marker points. The vehicle-side marker points arise, for example, from the vehicle geometry and can be calculated on features in the vehicle interior such as A-pillar, B-pillar, C-pillar, interior mirror, etc. Infrastructural markings include, for example, lane markers and may stabilize the calculation of the location of the at least one camera. In order to detect and evaluate a movement of the at least one camera, the evaluation and control unit can digitally evaluate an image sequence with at least two successively acquired images for determining an optical flow. The optical flow describes the displacement of the pixels of an object recorded at a first time in relation to pixels which are recorded at a second time, wherein the evaluation determines which pixels of an image recorded at the first time with which pixels of the second time recorded image correspond, so that off the determined optical flux, the movement of the at least one camera can be determined. In order to improve the image acquisition, the at least one camera can each comprise a plurality of image recording devices, which in each case can capture images in at least one spatial direction. Thus, for example, image recording devices with detection direction in the direction of travel, with detection direction seen in the direction of travel to the left or right, and be present to the rear.

In weiterer Ausgestaltung des erfindungsgemäßen Kamerasystems, weist die Auswerte- und Steuereinheit in vorteilhafter Weise eine Mobiltelefonfunktion auf. Bei dieser Ausführungsform kann die Haltevorrichtung vorzugsweise als Headset mit einem Lautsprecher und einem Mikrofon ausgeführt werden. Alternativ kann die Haltevorrichtung beispielsweise als Teil eines Schutzhelms oder als Brille ausgeführt werden.In further embodiment of the camera system according to the invention, has the evaluation and control unit in an advantageous manner Mobile phone function. In this embodiment can the holding device preferably as a headset with a speaker and a microphone. Alternatively, the Holding device, for example, as part of a protective helmet or be executed as glasses.

In weiterer Ausgestaltung des erfindungsgemäßen Kamerasystems können jeweils zwei Bildaufnahmevorrichtungen, welche die gleiche Erfassungsrichtung aufweisen, zu einer Stereobildaufnahmevorrichtung zusammengefasst werden, wobei die Auswerte- und Steuereinheit die von den beiden Bildaufnahmevorrichtungen einer korrespondierenden Stereobildaufnahmevorrichtung erfassten Bilder unter Verwendung eines Stereobildverarbeitungsverfahren auswertet, um die Bilderfassung und Bildauswertung zu verbessern.In further embodiment of the camera system according to the invention can each have two image pickup devices, which the have the same detection direction, to a stereo image pickup device be summarized, with the evaluation and control unit the from the two image pickup devices of a corresponding one Stereo image pickup device captured images using a stereo image processing method evaluates the image acquisition and improve image analysis.

Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und wird in der nachfolgenden Beschreibung näher erläutert.One Embodiment of the invention is in the drawing and will become more apparent in the following description explained.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Die einzige Figur zeigt ein schematisches Blockdiagramm eines erfindungsgemäßen Ausführungsbeispiels eines Kamerasystems.The single figure shows a schematic block diagram of an inventive Embodiment of a camera system.

Ausführungsformen der Erfindungembodiments the invention

Wie aus der Figur ersichtlich ist, umfasst das dargestellte Ausführungsbeispiel eines erfindungsgemäßen Kamerasystems 10 zwei Kameras 12, 12', welche bezogen auf die Fahrtrichtung, die durch einen Pfeil 1.1 angezeigt wird, links und rechts an einer Haltevorrichtung 14 angeordnet und mit einer ebenfalls an der Haltevorrichtung 14 angeordneten Auswerte- und Steuereinheit 16 elektrisch gekoppelt sind. Die dargestellte Haltevorrichtung 14 umfasst im dargestellten Ausführungsbeispiel zwei federelastische Bügel, um das Kamerasystems 10 am Kopf eines Fahrers 2 anzuordnen.As can be seen from the figure, the exemplary embodiment illustrated comprises a camera system according to the invention 10 two cameras 12 . 12 ' , which refer to the direction of travel, indicated by an arrow 1.1 is displayed, left and right on a holding device 14 arranged and with a likewise on the holding device 14 arranged evaluation and control unit 16 are electrically coupled. The illustrated holding device 14 includes in the illustrated embodiment, two resilient strap to the camera system 10 at the head of a driver 2 to arrange.

Wie aus der Figur weiter ersichtlich ist, umfassen die beiden Kameras 12, 12' im dargestellten Ausführungsbeispiel jeweils drei Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4. Die rechte Kamera 12 umfasst eine erste Bildaufnahmevorrichtung 12.1 mit einer in Fahrtrichtung verlaufenden durch einen Pfeil angezeigten Erfassungsrichtung, eine zweite Bildaufnahmevorrichtung 12.2 mit einer in Fahrtrichtung gesehen nach rechts verlaufenden durch einen Pfeil angezeigten Erfassungsrichtung und eine dritte Bildaufnahmevorrichtung 12.3 mit einer gegen die Fahrtrichtung verlaufenden durch einen Pfeil angezeigten Erfassungsrichtung nach hinten. Die linke Kamera 12' umfasst eine vierte Bildaufnahmevorrichtung 12.1' mit einer in Fahrtrichtung verlaufenden durch einen Pfeil angezeigten Erfassungsrichtung, eine fünfte Bildaufnahmevorrichtung 12.4 mit einer in Fahrtrichtung gesehen nach links verlaufenden durch einen Pfeil angezeigten Erfassungsrichtung und eine sechste Bildaufnahmevorrichtung 12.3' mit einer gegen die Fahrtrichtung verlaufenden durch einen Pfeil angezeigten Erfassungsrichtung nach hinten. Durch die Verwendung der dargestellten Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4 ist das Kamerasystem 10 in der Lage, Bilder in drei verschiedene Raumrichtungen gleichzeitig zu erfassen. Die Auswerte- und Steuereinheit 16 wertet die mit den Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4 erfassten Bilder aus, um korrespondierende Informationen für Fahrerassistenzsysteme 22, 24, 26, 28 zu erzeugen. Die Fahrerassistenzsysteme 22, 24, 26, 28 sind beispielsweise als System zur Fahrspurvermessung 22, zur Blindspot-Detektion 24, zur Verkehrszeichenerkennung 26 und/oder zur Abstandserkennung 28 ausgeführt. Die Fahrerassistenzsysteme 22, 24, 26, 28 sind Teil eines Fahrzeugbussystems 20, welches über eine Datenschnittstelle 21 drahtlos Daten mit der Auswerte- und Steuereinheit 16 austauscht. Zusätzlich oder alternativ kann die Auswerte- und Steuereinheit 16 über entsprechende Leitungen drahtgebunden mit der Datenschnittstelle 21 bzw. mit den Fahrerassistenzsystemen 22, 24, 26, 28 verbunden werden.As can be seen from the figure, the two cameras include 12 . 12 ' in the illustrated embodiment, three image pickup devices 12.1 . 12.1 ' 12.2 . 12.3 . 12.3 ' . 12.4 , The right camera 12 includes a first image pickup device 12.1 with a detecting direction indicated by an arrow in the traveling direction, a second image pickup device 12.2 with a detection direction indicated by an arrow as seen in the direction of travel and a third image pickup device 12.3 with a running towards the direction of travel indicated by an arrow detection direction to the rear. The left camera 12 ' includes a fourth image pickup device 12.1 ' with a detecting direction indicated by an arrow in the traveling direction, a fifth image pickup device 12.4 with a detection direction indicated by an arrow as seen in the direction of travel and a sixth image pickup device 12.3 ' with a running towards the direction of travel indicated by an arrow detection direction to the rear. By using the illustrated imaging devices 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 is the camera system 10 able to capture images in three different spatial directions simultaneously. The evaluation and control unit 16 evaluates those with the image capture devices 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 recorded images to corresponding information for driver assistance systems 22 . 24 . 26 . 28 to create. The driver assistance systems 22 . 24 . 26 . 28 are, for example, a system for lane measurement 22 , for blind spot detection 24 , for traffic sign recognition 26 and / or for distance detection 28 executed. The driver assistance systems 22 . 24 . 26 . 28 are part of a vehicle bus system 20 , which has a data interface 21 wireless data with the evaluation and control unit 16 exchanges. Additionally or alternatively, the evaluation and control unit 16 Wired to the data interface via corresponding lines 21 or with the driver assistance systems 22 . 24 . 26 . 28 get connected.

Die Auswerte- und Steuereinheit 16 ermittelt unter Verwendung von Kalibrierungspunkten 3.1, 3.2, 3.3 fortlaufend eine aktuelle Lage der Kameras 12, 12' bzw. der Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4 im Raum, um die erzeugten Informationen für die Fahrerassistenzsysteme 22, 24, 26, 28 in Abhängigkeit von der ermittelten aktuellen Lage der Kameras 12, 12' bzw. der Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4 zu korrigieren. Die Kalibrierpunkte 3.1, 3.2, 3.3 umfassen beispielsweise fahrzeugseitige Markierungspunkte mit bekannten Positionen wie eine linke und rechte A-Säule 3.1, 3.3 und einen Fahrzeugrückspiegel 3.2. Zusätzlich können auch B-Säulen, C-Säulen usw. als Markierungspunkte verwendet werden. Um die Berechnung der Lage der der Kameras 12, 12' bzw. der Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4 zu stabilisieren können zusätzlich infrastrukturelle Markierungen wie beispielsweise Fahrspurmarkierungen usw. als Kalibrierungspunkte verwendet werden. Um Bewegungen der Kameras 12, 12' bzw. der Bildaufnahmevorrichtungen 12.1, 12.1', 12.2, 12.3, 12.3', 12.4 zu erfassen und auszuwerten kann die Auswerte- und Steuereinheit 16 eine Bildsequenz mit mindestens zwei aufeinander folgend erfassten Bildern zur Ermittlung eines optischen Flusses digital auswerten.The evaluation and control unit 16 determined using calibration points 3.1 . 3.2 . 3.3 continuously a current location of the cameras 12 . 12 ' or the image pickup devices 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 in the room, around the generated information for the driver assistance systems 22 . 24 . 26 . 28 depending on the determined current position of the cameras 12 . 12 ' or the image pickup devices 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 to correct. The calibration points 3.1 . 3.2 . 3.3 include, for example, vehicle-side marker points with known positions, such as left and right A-pillars 3.1 . 3.3 and a vehicle rearview mirror 3.2 , In addition, B-pillars, C-pillars etc. can also be used as marking points. To calculate the location of the cameras 12 . 12 ' or the image pickup devices 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 In addition, infrastructural markings such as lane markings, etc. may be used as a calibration point to stabilize. To movements of the cameras 12 . 12 ' or the image pickup devices 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 to capture and evaluate the evaluation and control unit 16 digitally evaluate an image sequence with at least two sequentially acquired images to determine an optical flow.

Zur weiteren Verbesserung der Bilderfassung und der Bildauswertung können jeweils zwei Bildaufnahmevorrichtungen 12.1, 12.1', 12.3, 12.3', welche die gleiche Erfassungsrichtung aufweisen, zu einer Stereobildaufnahmevorrichtung zusammengefasst werden. Im dargestellten Ausführungsbeispiel wertet die Auswerte- und Steuereinheit 16 die von den beiden Bildaufnahmevorrichtungen 12.1, 12.1' bzw. die von den beiden Bildaufnahmevorrichtungen 12.3, 12.3' erfassten Bilder jeweils unter Verwendung eines Stereobildverarbeitungsverfahren aus. Alternativ können bei einem nicht dargestellten Ausführungsbeispiel auch zwei Bildaufnahmevorrichtungen, welche die gleiche Erfassungsrich tung aufweisen und in einer Kamera angeordnet sind, zu einer Stereobildaufnahmevorrichtung zusammengefasst werden.To further improve the image acquisition and the image evaluation can each have two image recording devices 12.1 . 12.1 ' . 12.3 . 12.3 ' , which have the same detection direction, are combined to form a stereo image pickup device. In the illustrated embodiment evaluates the evaluation and control unit 16 that of the two imaging devices 12.1 . 12.1 ' or the of the two image pickup devices 12.3 . 12.3 ' captured images each using a stereo image processing method. Alternatively, in an embodiment not shown, two image pickup devices, which have the same detection rich device and are arranged in a camera, are combined to form a stereo image pickup device.

Als zusätzliche Funktion kann die Auswerte- und Steuereinheit 16 konfiguriert werden, um eine Mobiltelefonfunktion auszuführen. Für diesen Zweck kann die Haltevorrichtung 14 beispielsweise als Headset mit einem Lautsprecher und einem Mikrofon ausgeführt werden. Alternativ kann eine im Fahrzeug 1 vorhandene Freisprechanlage verwendet werden, welche über die Datenschnittstelle 21 mit der Auswerte- und Steuereinheit 16 kommuniziert.As an additional function, the evaluation and control unit 16 be configured to perform a mobile phone function. For this purpose, the holding device 14 For example, be performed as a headset with a speaker and a microphone. Alternatively, one in the vehicle 1 existing hands-free kit can be used which via the data interface 21 with the evaluation and control unit 16 communicated.

Bei einer alternativen nicht dargestellten Ausführungsform des erfindungsgemäßen Kamerasystems ist die Haltevorrichtung 14 als Teil eines Schutzhelms oder als Brille ausgeführt und kann beispielsweise auch bei der Nutzung eines Zweirades, wie beispielsweise eines Motorrads oder eines Fahrrads verwendet werden.In an alternative embodiment, not shown, of the camera system according to the invention, the holding device 14 as part of a protective helmet or as glasses and can be used for example in the use of a bicycle, such as a motorcycle or a bicycle.

Bei einer einfachen nicht dargestellten Ausführungsform kann das Kamerasystem nur eine Kamera umfassen, die über eine entsprechende Haltevorrichtung an einem Ohr des Fahrers befestigt ist.at a simple embodiment, not shown the camera system only comprise one camera, which has one corresponding holding device attached to an ear of the driver is.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 4032927 C2 [0003] - DE 4032927 C2 [0003]
  • - US 6819354 B1 [0004] US 6819354 B1 [0004]

Claims (10)

Kamerasystem mit mindestens einer Kamera (12, 12'), einer Auswerte- und Steuereinheit (16) und einer Haltevorrichtung (14), um das Kamerasystem (10) am Kopf eines Fahrers (2) anzuordnen, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (16) Bilder auswertet, welche mit der mindestens einen Kamera (12, 12') erfasst werden, um korrespondierende Informationen für mindestens ein Fahrerassistenzsystem (22, 24, 26, 28) zu erzeugen, wobei die Auswerte- und Steuereinheit (16) unter Verwendung von Kalibrierungspunkten (3.1, 3.2, 3.3) fortlaufend eine aktuelle Lage der mindestens einen Kamera (12, 12') im Raum ermittelt, um die erzeugten Informationen für das mindestens eine Fahrerassistenzsystem (22, 24, 26, 28) in Abhängigkeit von der ermittelten aktuellen Lage der mindestens einen Kamera (12, 12') zu korrigieren.Camera system with at least one camera ( 12 . 12 ' ), an evaluation and control unit ( 16 ) and a holding device ( 14 ) to the camera system ( 10 ) at the head of a driver ( 2 ), characterized in that the evaluation and control unit ( 16 ) Evaluates images, which with the at least one camera ( 12 . 12 ' ) in order to obtain corresponding information for at least one driver assistance system ( 22 . 24 . 26 . 28 ), wherein the evaluation and control unit ( 16 ) using calibration points ( 3.1 . 3.2 . 3.3 ) continuously a current position of the at least one camera ( 12 . 12 ' ) in the room in order to obtain the information generated for the at least one driver assistance system ( 22 . 24 . 26 . 28 ) in dependence on the determined current position of the at least one camera ( 12 . 12 ' ) to correct. Kamerasysteme nach Anspruch 1, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (16) über mindestens eine Datenschnittstelle (21) drahtgebunden und/oder drahtlos Daten mit einem Fahrzeugbussystem (20) und/oder dem mindestens einen Fahrerassistenzsystem (22, 24, 26, 28) austauscht.Camera systems according to claim 1, characterized in that the evaluation and control unit ( 16 ) via at least one data interface ( 21 ) Wired and / or wireless data with a vehicle bus system ( 20 ) and / or the at least one driver assistance system ( 22 . 24 . 26 . 28 ) exchanges. Kamerasystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kalibrierpunkte (3.1, 3.2, 3.3) fahrzeugseitige Markierungspunkte mit bekannten Positionen und/oder infrastrukturelle Markierungspunkte umfassen.Camera system according to claim 1 or 2, characterized in that the calibration points ( 3.1 . 3.2 . 3.3 ) comprise on-board marker points with known positions and / or infrastructural marker points. Kamerasystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (16) eine Bildsequenz mit mindestens zwei aufeinander folgend erfassten Bilder zur Ermittlung eines optischen Flusses digital auswertet, um eine Bewegung der mindestens einen Kamera (12, 12') zu erfassen und auszuwerten.Camera system according to one of claims 1 to 3, characterized in that the evaluation and control unit ( 16 ) digitally evaluates an image sequence with at least two consecutively acquired images for determining an optical flow, in order to detect a movement of the at least one camera ( 12 . 12 ' ) to record and evaluate. Kamerasystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die mindestens eine Kamera (12, 12') mehrere Bildaufnahmevorrichtungen (12.1, 12.1', 12.2, 12.3, 12.3', 12.4) umfasst, welche jeweils Bilder in mindestens einer Raumrichtung erfassen.Camera system according to one of claims 1 to 4, characterized in that the at least one camera ( 12 . 12 ' ) several image capture devices ( 12.1 . 12.1 ' . 12.2 . 12.3 . 12.3 ' . 12.4 ), which respectively capture images in at least one spatial direction. Kamerasystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Auswerte- und Steuereinheit (16) eine Mobiltelefonfunktion aufweist.Camera system according to one of claims 1 to 5, characterized in that the evaluation and control unit ( 16 ) has a mobile phone function. Kamerasystem nach Anspruch 6, dadurch gekennzeichnet, dass die Haltevorrichtung (14) als Headset mit einem Lautsprecher und einem Mikrofon ausgeführt ist.Camera system according to claim 6, characterized in that the holding device ( 14 ) is designed as a headset with a speaker and a microphone. Kamerasystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Haltevorrichtung (14) als Teil eines Schutzhelms oder als Brille ausgeführt ist.Camera system according to one of claims 1 to 7, characterized in that the holding device ( 14 ) as part of a safety helmet or as glasses. Kamerasystem nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass jeweils zwei Bildaufnahmevorrichtungen (12.1, 12.1', 12.3, 12.3'), welche die gleiche Erfassungsrichtung aufweisen, zu einer Stereobildaufnahmevorrichtung zusammengefasst sind, wobei die Auswerte- und Steuereinheit (16) die von den beiden Bildaufnahmevorrichtungen (12.1, 12.1', 12.3, 12.3') einer korrespondierenden Stereobildaufnahmevorrichtung erfassten Bilder unter Verwendung eines Stereobildverarbeitungsverfahren auswertet.Camera system according to one of claims 1 to 8, characterized in that in each case two image recording devices ( 12.1 . 12.1 ' . 12.3 . 12.3 ' ), which have the same detection direction, are combined to form a stereo image recording device, wherein the evaluation and control unit ( 16 ) of the two image recording devices ( 12.1 . 12.1 ' . 12.3 . 12.3 ' ) evaluates images captured by a corresponding stereo image capture device using a stereo image processing method. Kamerasystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass das mindestens eine Fahrerassistenzsystem (22, 24, 26, 28) ein System zu Fahrspurvermessung (22) und/oder zur Blindspot-Detektion (24) und/oder zur Verkehrszeichenerkennung (26) und/oder zur Abstandserkennung (28) umfasst.Camera system according to one of claims 1 to 9, characterized in that the at least one driver assistance system ( 22 . 24 . 26 . 28 ) a system for lane measurement ( 22 ) and / or blind spot detection ( 24 ) and / or traffic sign recognition ( 26 ) and / or distance detection ( 28 ).
DE102008042204A 2008-09-18 2008-09-18 Camera system for use in vehicle, has evaluating and controlling unit for evaluating images, which are detected by camera for producing information for driver assistance system Ceased DE102008042204A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102008042204A DE102008042204A1 (en) 2008-09-18 2008-09-18 Camera system for use in vehicle, has evaluating and controlling unit for evaluating images, which are detected by camera for producing information for driver assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008042204A DE102008042204A1 (en) 2008-09-18 2008-09-18 Camera system for use in vehicle, has evaluating and controlling unit for evaluating images, which are detected by camera for producing information for driver assistance system

Publications (1)

Publication Number Publication Date
DE102008042204A1 true DE102008042204A1 (en) 2010-04-01

Family

ID=41719580

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008042204A Ceased DE102008042204A1 (en) 2008-09-18 2008-09-18 Camera system for use in vehicle, has evaluating and controlling unit for evaluating images, which are detected by camera for producing information for driver assistance system

Country Status (1)

Country Link
DE (1) DE102008042204A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012211041A1 (en) * 2012-06-27 2014-01-02 Robert Bosch Gmbh Method for operating driver assistance system of vehicle, involves using control unit to process sensor data of sensor of mobile device which is calibrated during initial integration into driver assistance system
DE102014213392A1 (en) * 2014-07-10 2016-01-14 Robert Bosch Gmbh Retrofit driver assistance system for a two-wheeler

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4032927C2 (en) 1990-10-17 1993-04-15 Robert Bosch Gmbh, 7000 Stuttgart, De
US6819354B1 (en) 2000-06-13 2004-11-16 Omnivision Technologies, Inc. Completely integrated helmet camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4032927C2 (en) 1990-10-17 1993-04-15 Robert Bosch Gmbh, 7000 Stuttgart, De
US6819354B1 (en) 2000-06-13 2004-11-16 Omnivision Technologies, Inc. Completely integrated helmet camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012211041A1 (en) * 2012-06-27 2014-01-02 Robert Bosch Gmbh Method for operating driver assistance system of vehicle, involves using control unit to process sensor data of sensor of mobile device which is calibrated during initial integration into driver assistance system
DE102014213392A1 (en) * 2014-07-10 2016-01-14 Robert Bosch Gmbh Retrofit driver assistance system for a two-wheeler

Similar Documents

Publication Publication Date Title
EP2377725B2 (en) Side mirror simulation
EP2765031B1 (en) Vision system for vehicles, in particular for commercial vehicles
DE10037130B4 (en) Parking and / or Rangierhilfeeinrichtung for cars or trucks
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102013214368A1 (en) Method and device for reproducing a lateral and / or rear surrounding area of a vehicle
DE102011079913A1 (en) Visual assistance system for a driver and vehicle with such a system
EP1803092A1 (en) Device for calibrating an image sensor system in a motor vehicle
DE2948573A1 (en) Contactless measurement of vehicle wheel and steering geometry - uses electronic evaluation of elliptical video images of wheels
EP3067237B1 (en) Display device for a vehicle, in particular a commercial vehicle
DE102015003847A1 (en) Method and driver assistance system for detecting and signaling light signals from at least one light signal device of a alternating light signaling system
DE102008040149A1 (en) Device and method for releasing an automatic guidance of a vehicle
WO2014118188A1 (en) Camera system for a vehicle, and method and device for controlling an image region of an image of a vehicle camera for a vehicle
DE102018203910B3 (en) Driver assistance system and method for a motor vehicle to display an augmented reality
DE102008046214A1 (en) Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
DE102008061760A1 (en) Device for monitoring an environment of a vehicle
DE102011075702A1 (en) Method for aligning projection of projection device of motor vehicle, involves determining deviation between position of specific image and position of object regarding viewpoint of occupants
DE102018201027A1 (en) Camera monitor system and method and apparatus for operating a camera monitor system for a motor vehicle
DE102013106769A1 (en) Tachograph with the lane keeping and collision warning function
EP1803292A1 (en) System for the detection and reproduction of images
DE102011016217A1 (en) Method for warning driver of passenger car before rear end collision, involves projecting path of image, and warning driver of vehicle based on image with projected path, where path is determined based on velocity and steering angle
EP2038138A1 (en) System and method for displaying images of the surroundings of a motor vehicle
DE102013214369B4 (en) Method and device for reproducing an area around a vehicle
DE102013225338A1 (en) Method and device for recording image data from a vehicle environment
DE102016208398B4 (en) Method for calibrating a vehicle camera
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final