DE102006010295A1 - Kamerasystem mit zumindest zwei Bildaufnehmern - Google Patents

Kamerasystem mit zumindest zwei Bildaufnehmern Download PDF

Info

Publication number
DE102006010295A1
DE102006010295A1 DE102006010295A DE102006010295A DE102006010295A1 DE 102006010295 A1 DE102006010295 A1 DE 102006010295A1 DE 102006010295 A DE102006010295 A DE 102006010295A DE 102006010295 A DE102006010295 A DE 102006010295A DE 102006010295 A1 DE102006010295 A1 DE 102006010295A1
Authority
DE
Germany
Prior art keywords
image
camera system
sensors
data
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE102006010295A
Other languages
English (en)
Other versions
DE102006010295B4 (de
Inventor
Christian Lang
Joachim Dr. Massen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
ADC Automotive Distance Control Systems GmbH
Original Assignee
Conti Temic Microelectronic GmbH
ADC Automotive Distance Control Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH, ADC Automotive Distance Control Systems GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102006010295.9A priority Critical patent/DE102006010295B4/de
Publication of DE102006010295A1 publication Critical patent/DE102006010295A1/de
Application granted granted Critical
Publication of DE102006010295B4 publication Critical patent/DE102006010295B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Abstract

Es wird ein Kamerasystem mit zumindest zwei verschiedenartigen Bildaufnehmern vorgestellt. Die Ausnahmebereiche der Bildaufnehmer überlappen zumindest teilweise und die Daten der Bildaufnehmer werden zu einem 3-D-Bild zusammengefügt. In einer besonderen Ausgestaltung sind Bildaufnehmer vorgesehen, die in unterschiedlichen Spektralbereichen empfindlich sind.

Description

  • Die Erfindung betrifft ein Kamerasystem mit mehreren Bildaufnehmern, wobei die Daten von zumindest zwei Bildaufnehmern zu einem Bild zusammengefügt werden.
  • Kamerabasierte Sensoren werden z. B. zur Erfassung der Fahrzeugumgebung und des Fahrzeuginnenraums eingesetzt. Die Informationen über relevante Objekte im und außerhalb des Fahrzeugs werden in Fahrerassistenz- und/oder Sicherheitssystemen in Fahrhilfen umgesetzt, die zur Verkehrssicherheit beitragen. Kameras, die im sichtbaren und/oder infraroten Spektralbereich empfindlich sind, werden in einem Kraftfahrzeug u. a zur Spurhaltung des Fahrzeugs, zur Objekterkennung und als Einparkhilfe genutzt. Eine erweiterte Applikation ist die Stereokamera, die ein dreidimensionales Bild erzeugt, so dass auch der Abstand von Objekten zum Fahrzeug bestimmt werden kann. Diese Funktion ist u. a. für eine Precrash-Anwendung von Vorteil, da sowohl der Abstand eines gefährlichen Objekts erkannt, als auch auf Größe, Geschwindigkeit und Form des Objekts, auf ein zukünftiges Verhalten des Objekts und die zu erwartende Unfallschwere geschlossen werden kann.
  • Besonderes Augenmerk gilt hier auch dem Fußgängerschutz. Mittels einer Wärmebildkamera können Fußgänger sicher erkannt werden. Vor einer Kollision können geeignete Schutzmassnahmen, wie z. B. das Öffnen der Motorhaube eingeleitet werden. Nachteilig an einer Wärmebildkamera ist, dass „kalte" Objekte wie Fahrbahnbelag oder Fahrbahnbegrenzung, Bäume etc. nur mit einem geringen Kontrast im Bild erkennbar sind.
    •
  • Es ist daher Aufgabe der hier vorliegenden Erfindung, Umgebungsobjekte mit einem Kamerasystem sicher und kostengünstig zu analysieren.
  • Diese Aufgabe ist erfindungsgemäß gelöst durch ein Kamerasystem mit den in Anspruch 1 beschriebenen Merkmalen. Vorteilhafte Weiterbildungen sind den Unteransprüchen zu entnehmen.
  • Es wird ein Kamerasystem mit zumindest zwei verschiedenartigen Bildaufnehmern vorgestellt. Die Daten der Bildaufnehmer werden fusioniert und zu einem 3D-Bild zusammengefügt. Eine Ausführungsform der Erfindung ist ein CMOS-Bildaufnehmer kombiniert mit einem PMD-Bildaufnehmer, wobei PMD für Photomischdetektor steht. Bei dieser Vorrichtung sendet ein Sender ein moduliertes Lichtsignal aus. Das von Umgebungsobjekten reflektierte Licht trifft auf den PMD Bildaufnehmer, der ebenfalls an die Modulationsquelle gekoppelt ist. So werden die in Elektronen gewandelten Photonen in Abhängigkeit vom Referenzsignal mit Hilfe der so genannten Ladungsträgerschaukel entfernungsselektiv getrennt. Ähnliche Ausführungsbeispiele sind die Kombination von einem Mehrpixel-Lidar und eine 2D-Kamera oder von einem Bildaufnehmer mit SPAD-Technologie (SPAD: Single Photo Avalanche Dioden) und einem CMOS Bildaufnehmer. Die Beispiele können von einem Fachmann entsprechend fortgesetzt werden. Aus den fusionierten Bildaufnehmerdaten wird ein 3D-Bild generiert, aus dem der Abstand zu den Umgebungsobjekten bestimmt wird. Bei 2D-CMOS Sensoren wird z.B. ein Verfahren verwendet, das aus der Bewegung von Objekten in Bildfolgen Tiefeninformation, Bewegungsrichtung und auch die Geschwindigkeit der Bewegung aus Bildfolgen extrahiert. Es wird in zwei oder mehr aufeinander folgenden Bildern nach gleichen Bildregionen gesucht, wobei die Länge des Verschiebungsvektors ein Maß für die Entfernung der Bildregion darstellt. Die Zuverlässigkeit des 3D-Bildes wird durch die redundante Aufnahme des Objekts (z. B. Form, Größe, Farbe etc) erhöht. Die redundante Objektbewertung ist für sicherheitskritische Anwendungen, z. B. einer Precrash-Funktion im Kraftfahrzeug, notwendig. Weiter werden durch den Einsatz der verschiedenartigen Sensorik Objekte besser diskriminiert.
  • In einer weiteren Ausführungsform wird durch eine geeignete Wahl der Bildaufnehmer der Dynamikbereich des Systems erweitert. Z.B. sind PMD-Bildaufnehmer für höhere Remissionen von Umgebungsobjekten geeignet, während für geringe Remissionen die SPAD-Technologie bevorzugt eingesetzt wird. Somit ergibt sich durch die Kombination der Bildaufnehmer ein erweiterter Dynamikbereich.
  • In einer vorteilhaften Ausgestaltung der Erfindung sind zumindest zwei verschiedenartige Bildaufnehmer vorgesehen, die in unterschiedlichen Spektralbereichen empfindlich sind. Dieses Aufnahmeverfahren bietet den Vorteil, dass Objekte unter vorgegebenen Beleuchtungs- und Umgebungsbedingungen, die in einem ersten Spektralbereich nur sehr kontrastarm dargestellt werden, in einem zweiten Spektralbereich gut sichtbar d.h. kontrastreich abgebildet werden.
  • In einer besonderen Ausgestaltung der Erfindung weisen die Bildaufnehmer unterschiedliche Abbildungsbereiche auf. Für eine Stereoaufnahme ist es notwendig, dass die Abbildungsbereiche zumindest teilweise überlappen. Bei einer Anwendung im Kraftfahrzeug wird der Abbildungsbereich der Bildaufnehmer i. d. R. im Werk kalibriert, so dass die Position des Überlappungsbereichs in den aufgenommenen Bildern vorgegeben ist.
  • In einer vorteilhaften Ausgestaltung der Erfindung werden vorgegebene Bildmerkmale als Marken verwendet. Als Marken werden vorzugsweise Bildmerkmale verwendet, die sich deutlich von ihrer Umgebung absetzten, z.B. ein freistehender Gegenstand wie ein Baum, Verkehrszeichen etc. Die Marken werden in den Bildern identifiziert, die zu einem Stereobild beitragen. Die Bilder werden so zusammengefügt, dass gleiche Marken übereinander liegen.
  • Insbesondere wenn Marken in den Bilddaten eines der beiden Bilder nicht eindeutig identifiziert werden können, wird die Szene erneut mit einer veränderten Belichtungszeit und/oder Belichtungsstärke und/oder Auflösung aufgenommen, um die Marke(n) zu verifizieren.
  • In einer bevorzugten Ausgestaltung der Erfindung ist für die Abbildung des Überlappungsbereichs der verschiedenartigen Bildaufnehmer in jedem Bild eine ähnliche Pixelzahl vorgesehen. Insbesondere werden die Bilddaten der verschiedenartigen Bildaufnehmer zeitsynchron und/oder mit der gleichen Taktfrequenz ausgelesen. Alternativ können die Bilder mit einem Zeitstempel versehen werden und anhand dessen zu einem 3D-Bild zusammengefügt werden.
  • In einer vorteilhaften Ausgestaltung der Erfindung werden die Daten von zumindest einem der Bildaufnehmer getrennt analysiert. Besonders vorteilhaft ist es anhand dieser Daten Objekte zu erkennen und/oder ihr Verhalten zu prädizieren. Die so gewonnenen Informationen über Objekte werden anhand der Daten von verschiedenartigen Bildaufnehmern verglichen, um sie zu plausibilisieren. In einem weiteren Ausführungsbeispiel werden zunächst die Bilddaten der verschiedenartigen Bildaufnehmer fusioniert und anschließend wird eine Objekterkennung durchgeführt und/oder das Verhalten der Objekte prädiziert. Generell können dieselben Objekte in mehreren Bildaufnahmen erkannt und ihr Bewegungsverlauf in den Bildern verfolgt werden (Tracking). Das genannte Vorgehen ermöglicht eine Situationsanalyse der Umgebung.
  • Die Verwendung von Bildaufnehmern, die in verschiedenen Spektralbereichen aktiv sind, ist vorteilhaft, da Bildaufnehmer in unterschiedlichen Spektralbereichen unterschiedlich auf Umwelteinflüsse reagieren und somit das Gesamtsystem robuster gegenüber Witterungsbedingungen und Störungen ist. Eine vorteilhafte Ausgestaltung der Erfindung sieht vor, dass zumindest ein Bildaufnehmer im ferninfraroten Spektralbereich und ein Bildaufnehmer im sichtbaren und/oder nahinfraroten Spektralbereich empfindlich ist. In einem vorteilhaften Ausführungsbeispiel der Erfindung ist eine Fußgängererkennung vorgesehen. Dazu ist der Einsatz eines Wärmebildes vorteilhaft. Wird ein Fußgänger sicher erkannt, können entsprechende Schutzmaßnahmen bei einem Zusammenstoß, wie z.B. das Anheben der Motorhaube, ergriffen werden.
    •
  • Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert.
  • 1: Schematische Darstellung eines Kamerasystems mit zwei verschiedenartigen Bildaufnehmern und der zugehörigen Bilddatenverarbeitung
  • 2: Darstellung eines Kraftfahrzeugs mit einem Kamerasystem mit symmetrischer Ausrichtung der Erfassungsbereiche
  • 3: Darstellung eines Kraftfahrzeugs mit einem Kamerasystem mit asymmetrischer Ausrichtung der Erfassungsbereiche
  • In einem ersten Ausführungsbeispiel ist als Bildaufnehmer 1 (s. a. 1) ein SPAD CMOS Bildaufnehmer vorgesehen. Der Bildaufnehmer wird in einem 0,8μm CMOS Prozess gefertigt und basiert auf „Single Photo Avalanche Dioden" (SPAD). Derzeit beträgt die Auflösung eines solchen Bildaufnehmers 32×32 Pixel. Ein großer Vorteil dieser SPAD-Struktur ist ihre große Empfindlichkeit. Um Entfernungswerte zu erhalten wird ein kurzer Lichtimpuls ausgesandt, der von Objekten in der aufzunehmenden Szene reflektiert und anschließend vom SPAD-Bildaufnehmer detektiert wird. Dabei wird die Laufzeit des reflektierten Lichtimpulses aufgenommen. Die Entfernung des Objekts ergibt sich aus der Laufzeit des Lichtimpulses. Als Bildaufnehmer 2 (s. a. 1) ist ein CMOS Bildaufnehmer vorgesehen. Zur Auswertung der CMOS Bilddaten kommt ein Verfahren zum Einsatz, das aus der Bewegung von Objekten in Bildfolgen Tiefeninformation, Bewegungsrichtung und auch die Geschwindigkeit der Bewegung aus Bildfolgen extrahiert. Es wird in zwei oder mehr aufeinander folgenden Bildern nach gleichen Bildregionen gesucht, wobei die Länge des Verschiebungsvektors ein Maß für die Entfernung der Bildregion darstellt. Aus den Bildaufnehmerdaten kann nun ein 3D-Bild generiert werden. Die Zuverlässigkeit des 3D-Bildes wird durch die redundante Aufnahme erhöht, da sowohl die Objekte als auch die Abstandsinformation doppelt aufgezeichnet wurden. Diese Redundanz ist insbesondere für sicherheitskritische Anwendungen, z. B. einer Precrash-Funktion mit Bremseingriff im Kraftfahrzeug, von Bedeutung. Ein SPAD-Bildaufnehmer kann mit oder ohne zusätzliche Sendequelle genutzt werden, um den Dynamikbereich des Systems zu erweitern.
  • In 1 ist ein Kamerasystem mit zwei verschiedenartigen Bildaufnehmern und der zugehörigen Bilddatenverarbeitung schematisch dargestellt und wird anhand eines weiteren Ausführungsbeispiels näher erläutert. Als Bildaufnehmer 1 ist ein Ferninfrarot-Bildaufnehmer und als Bildaufnehmer 2 ein CMOS Kamerachip, der im sichtbaren Spektralbereich empfindlich ist, vorgesehen. Der Ferninfrarot(FIR)-Bildaufnehmer gewährleistet durch die Aufnahme von Wärmestrahlung eine zuverlässige Fußgängererkennung. Der CMOS-Farbbildaufnehmer stellt eine zweidimensionale Bildinformation und zusätzlich eine Farbinformation bereit. Die Fusion beider Bilder führt zu einem farbigen Stereobild und ermöglicht eine Abstandsbestimmung zum Objekt. Ebenso werden die Daten der beiden Bildaufnehmer getrennt voneinander ausgewertet. Z.B. werden die FIR-Bilddaten für eine Nachtsichtfunktion im Fernbereich genutzt, während die Bilddaten des CMOS-Bildaufnehmers bezüglich Verkehrszeichen, Fahrspur etc. analysiert werden. Wird nun ein schmales Objekt mit dem CMOS Bildaufnahmechip detektiert, das als möglicher Fußgänger klassifiziert wird, so kann über die Wärmeabstrahlung des Objektes und deren Verteilung das Klassifizierungsergebnis plausibilisiert werden. Ein Pfosten wird so z.B. eindeutig von einer Person unterschieden. Auf analoge Weise kann auch zur Vermeidung bzw. Abschwächung von Wildunfällen verfahren werden. Weiterhin ist, wie in 1 dargestellt, eine Bildverarbeitung vorgesehen, die Objekttypen sicher erkennt, die Umgebungssituation analysiert, den Bewegungsverlauf von Objekten in Bildfolgen verfolgt (Tracking), etc. Die Kritikalität einer Situation wird analysiert. Tritt eine kritische Situation auf, wird der Fahrer optisch oder akustisch darauf aufmerksam gemacht und/oder ein Eingriff z.B. eine Bremsung eingeleitet.
  • Zudem ist eine separate Nutzung der Bildaufnehmerdaten in 1 vorgesehen. Es werden verschiedene Applikationen gleichzeitig abgedeckt. Z.B. kann der FIR-Bildaufnehmer für eine Nachtsicht Applikationen und der 2D-CMOS Bildaufnehmer für eine ACC Funktionen im Fernbereich eingesetzt werden. Dazu wird z.B. ein Verfahren verwendet, das aus der Bewegung von Objekten in Bildfolgen Tiefeninformation, Bewegungsrichtung und auch die Geschwindigkeit der Bewegung aus Bildfolgen extrahiert. Es wird in zwei oder mehr aufeinander folgenden Bildern nach gleichen Bildregionen gesucht, wobei die Länge des Verschiebungsvektors ein Maß für die Entfernung der Bildregion darstellt.
  • Zudem wird der CMOS Bildaufnehmer für Verkehrszeichenerkennung, Spurhaltefunktion, etc. genutzt. Wenn eines der beiden Bildaufnehmer z.B. wegen schlechter Witterung ausfällt, sind immer noch die 2D-Daten des anderen Bildaufnehmers für entsprechenden Applikationen verfügbar.
  • Für eine Nachtsicht-Applikationen ist sowohl die Verwendung einer Ferninfrarot(FIR)-Kamera als auch einer Nahinfrarot(NIR)-Kamera denkbar. Ein FIR-System benötigt keine aktive Ausleuchtung der Szene im Gegensatz zu Nahinfrarot-Systemen. Die hier vorliegende Erfindung kann jedoch zur Verbesserung der Robustheit bzw. Zuverlässigkeit noch zusätzlich mit einer Sendeeinheit ausgerüstet werden. Mit einer entsprechenden Sendeeinheit ist eine CMOS 2D-Kamera als NIR-System einsetzbar.
  • In einem weiteren Ausführungsbeispiel ist das Kamerasystem mit einer Chip-on-Board-Technik ausgeführt. Beide Kamera-Chips sind auf einem Substrat aufgebracht und sind somit als ein elektronisches Bauelement ausgeführt. Der Basisabstand der Kamera-Chips ist entsprechend klein gewählt.
  • Die jeweiligen optischen Kanäle sind für die entsprechenden Wellenlängen und Überwachungsbereiche ausgelegt. Anhand eines Ausführungsbeispiels mit einem FIR-Bildaufnehmer und einem CMOS-Bildaufnehmer werden die unterschiedlichen Ausführungsformen der Optikkanäle näher erläutert.
  • Der optische Kanal des FIR-Bildaufnehmers ist für eine Nachtsicht-Applikation in einem Kraftfahrzeug 3 (s. 2) ausgelegt. Dazu wird der Fernbereich 1 vor dem Kraftfahrzeug 3 überwacht. Als Bildaufnehmer 2 ist eine CMOS-Kamera zur Überwachung des Nahbereichs 2 vorgesehen. Die Überwachungsbereiche der Bildaufnehmer wie für ein Ausführungsbeispiel in 2 dargestellt, sind symmetrisch zur Fahrzeuglängsachse ausgerichtet. Die Schnittmenge der beiden Überwachungsbereiche ist der Überlappungsbereich 4, in diesem Bereich 4 werden die Daten der Bildaufnehmer fusioniert. Eine asymmetrische Ausrichtung des überwachten Fernbereichs 1 zum rechten Fahrbahnrand hin, z.B. zur Verkehrszeichenüberwachung, ist in 3 dargestellt. Die die Anzahl und Auslegung der Linsen kann für die jeweiligen Kanäle unterschiedlich sein. Durch den unterschiedlichen Wellenlängenbereich der Bildaufnehmer muss die jeweilige Optik speziell angepasst werden, um z.B. Farblängsfehler und Farbvergrößerungsfehler zu minimieren.

Claims (13)

  1. Kamerasystem mit zumindest zwei Bildaufnehmern, wobei die Daten der Bildaufnehmer ausgelesen werden, dadurch gekennzeichnet, dass das Kamerasystem zumindest zwei verschiedenartige Bildaufnehmer umfasst und die Daten zu einem 3D-Bild zusammengefügt werden.
  2. Kamerasystem nach Anspruch 1, dadurch gekennzeichnet, dass zumindest zwei verschiedenartige Bildaufnehmer vorgesehen sind, die in unterschiedlichen Spektralbereichen empfindlich sind.
  3. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die zumindest zwei verschiedenartigen Bildaufnehmer unterschiedliche Abbildungsbereiche (1, 2) aufweisen, wobei die Abbildungsbereiche (1, 2) zumindest teilweise überlappen und die Position des Überlappungsbereichs (4) in den aufgenommenen Bildern vorgegeben ist.
  4. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass vorgegebene Bildmerkmale als Marken verwendet werden, die in den Bilddaten der zumindest zwei verschiedenartigen Bildaufnehmer gesucht werden und anhand der Marken die zumindest zwei Bilder zusammengefügt werden.
  5. Kamerasystem nach Anspruch 4, dadurch gekennzeichnet, dass Marken, die in den Bilddaten eines der zumindest zwei verschiedenartigen Bildaufnehmer nicht identifiziert werden können, gezielt durch eine erneute Aufnahme mit einer veränderten Belichtungszeit und/oder Belichtungsstärke und/oder Auflösung verifiziert werden.
  6. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass für die Abbildung des Überlappungsbereichs (4) der verschiedenartigen Bildaufnehmer in jedem Bild eine ähnliche Pixelzahl vorgesehen ist.
  7. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Bilddaten der verschiedenartigen Bildaufnehmer zeitsynchron und/oder mit der gleichen Taktfrequenz ausgelesen und/oder mit einem Zeitstempel versehen werden.
  8. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass Daten von zumindest einem der Bildaufnehmern getrennt analysiert werden.
  9. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass anhand der Daten von gleichartigen Bildaufnehmern Objekte erkannt und/oder deren Verhalten prädiziert wird.
  10. Kamerasystem nach Anspruch 8, dadurch gekennzeichnet, dass Informationen über Objekte und/oder deren prädiziertes Verhalten anhand der Daten von zumindest zwei verschiedenartigen Bildaufnehmern bestimmt und durch einen Vergleich plausibilisiert werden.
  11. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass zumindest ein Bildaufnehmer im ferninfraroten Spektralbereich empfindlich ist.
  12. Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass ein Bildaufnehmer im sichtbaren und/oder nahinfraroten Spektralbereich empfindlich ist.
  13. Umgebungserfassungssystem für ein Kraftfahrzeug mit einer Kamerasystem nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass eine Fußgängererkennung vorgesehen ist.
DE102006010295.9A 2006-03-07 2006-03-07 Kamerasystem mit zumindest zwei Bildaufnehmern Expired - Fee Related DE102006010295B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102006010295.9A DE102006010295B4 (de) 2006-03-07 2006-03-07 Kamerasystem mit zumindest zwei Bildaufnehmern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102006010295.9A DE102006010295B4 (de) 2006-03-07 2006-03-07 Kamerasystem mit zumindest zwei Bildaufnehmern

Publications (2)

Publication Number Publication Date
DE102006010295A1 true DE102006010295A1 (de) 2007-09-13
DE102006010295B4 DE102006010295B4 (de) 2022-06-30

Family

ID=38335852

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102006010295.9A Expired - Fee Related DE102006010295B4 (de) 2006-03-07 2006-03-07 Kamerasystem mit zumindest zwei Bildaufnehmern

Country Status (1)

Country Link
DE (1) DE102006010295B4 (de)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009014437A1 (de) 2008-03-26 2009-11-12 Continental Teves Ag & Co. Ohg Objekterkennungssystem und -verfahren
WO2011026584A1 (de) * 2009-09-04 2011-03-10 Daimler Ag Vorrichtung zur erfassung von lichtsignalen von lichtzeichenanlagen für ein fahrzeug
DE102011077555A1 (de) 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
DE102012005709A1 (de) * 2012-03-20 2013-09-26 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Erfassung von Objekten im Umfeld eines Kraftfahrzeuges
DE102014206227A1 (de) * 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereokamerasystem
DE102014206677A1 (de) * 2014-04-07 2015-10-08 Robert Bosch Gmbh Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
EP3029601A1 (de) * 2014-12-04 2016-06-08 Conti Temic microelectronic GmbH Verfahren und Vorrichtung zur Erhöhung der Sichtbarkeit von Hindernissen
US20160214534A1 (en) * 2014-09-02 2016-07-28 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
DE102018201849A1 (de) * 2018-02-07 2019-08-08 Continental Automotive Gmbh Verfahren zur Reduzierung der Fehlerrate in einem Objekterkennungssystem
DE102018221530A1 (de) 2018-12-12 2020-06-18 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
DE102019106844A1 (de) * 2019-03-18 2020-09-24 Daimler Ag Detektion von Fehlfunktionen der Schaltzustandserkennung von Lichtsignalanlagen
DE102012208319B4 (de) 2011-11-25 2022-05-05 Hyundai Motor Company Gerät und Verfahren für das Kombinieren von Fahrbahninformation mit einem Ferninfrarot-Nachtsichtbild und ein von einem Computer lesbares Medium
DE102021207214A1 (de) 2021-07-08 2023-01-12 Robert Bosch Gesellschaft mit beschränkter Haftung Lidar-Sensor, Umfelderfassungssystem und Fahrzeug

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US20030076688A1 (en) * 2001-10-18 2003-04-24 Koito Manufacturing Co., Ltd. Projection-type headlamp also having infrared light emitting function
EP1394761A2 (de) * 2002-08-28 2004-03-03 Kabushiki Kaisha Toshiba Vorrichtung und Methode zur Hinderniserkennung
DE10305935A1 (de) * 2003-02-13 2004-08-26 Valeo Schalter Und Sensoren Gmbh Vorrichtung zur Erfassung von Objekten im Umfeld eines Kraftfahrzeugs
US20050062618A1 (en) * 2003-09-19 2005-03-24 Joseph Patino Keypad array having reduced number of input/outputs and method for generating same
EP1524638A1 (de) * 2003-10-17 2005-04-20 Fuji Jukogyo Kabushiki Kaisha Vorrichtung und Methode zur Anzeige von Informationen
EP0830267B2 (de) * 1995-05-22 2005-11-16 Donnelly Corporation Fahrzeug-rückblicksystem mit panoramischer sicht
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10336681B4 (de) 2003-08-09 2005-07-07 Audi Ag Kraftfahrzeug
US20050265633A1 (en) 2004-05-25 2005-12-01 Sarnoff Corporation Low latency pyramid processor for image processing systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0830267B2 (de) * 1995-05-22 2005-11-16 Donnelly Corporation Fahrzeug-rückblicksystem mit panoramischer sicht
US6535242B1 (en) * 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US20030076688A1 (en) * 2001-10-18 2003-04-24 Koito Manufacturing Co., Ltd. Projection-type headlamp also having infrared light emitting function
EP1394761A2 (de) * 2002-08-28 2004-03-03 Kabushiki Kaisha Toshiba Vorrichtung und Methode zur Hinderniserkennung
DE10305935A1 (de) * 2003-02-13 2004-08-26 Valeo Schalter Und Sensoren Gmbh Vorrichtung zur Erfassung von Objekten im Umfeld eines Kraftfahrzeugs
US20050062618A1 (en) * 2003-09-19 2005-03-24 Joseph Patino Keypad array having reduced number of input/outputs and method for generating same
EP1524638A1 (de) * 2003-10-17 2005-04-20 Fuji Jukogyo Kabushiki Kaisha Vorrichtung und Methode zur Anzeige von Informationen
DE102004061998A1 (de) * 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009014437A1 (de) 2008-03-26 2009-11-12 Continental Teves Ag & Co. Ohg Objekterkennungssystem und -verfahren
DE102009014437B4 (de) 2008-03-26 2023-01-19 Continental Autonomous Mobility Germany GmbH Objekterkennungssystem und -verfahren
WO2011026584A1 (de) * 2009-09-04 2011-03-10 Daimler Ag Vorrichtung zur erfassung von lichtsignalen von lichtzeichenanlagen für ein fahrzeug
DE102011077555A1 (de) 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
WO2012171740A1 (de) 2011-06-15 2012-12-20 Robert Bosch Gmbh Nachrüstsatz für Parkführung
JP2014519444A (ja) * 2011-06-15 2014-08-14 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 駐車誘導用後付けセット
DE102012208319B4 (de) 2011-11-25 2022-05-05 Hyundai Motor Company Gerät und Verfahren für das Kombinieren von Fahrbahninformation mit einem Ferninfrarot-Nachtsichtbild und ein von einem Computer lesbares Medium
DE102012005709A1 (de) * 2012-03-20 2013-09-26 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Erfassung von Objekten im Umfeld eines Kraftfahrzeuges
DE102014206227A1 (de) * 2014-04-02 2015-10-08 Conti Temic Microelectronic Gmbh Stereokamerasystem
DE102014206677A1 (de) * 2014-04-07 2015-10-08 Robert Bosch Gmbh Kamerasystem und Verfahren zum Erfassen eines Umfeldes eines Fahrzeuges
US20160214534A1 (en) * 2014-09-02 2016-07-28 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US10311310B2 (en) 2014-12-04 2019-06-04 Conti Temic Microelectronic Gmbh Method and apparatus for providing increased obstacle visibility
WO2016087173A1 (en) * 2014-12-04 2016-06-09 Conti Temic Microelectronic Gmbh Method and apparatus for providing increased obstacle visibility
EP3029601A1 (de) * 2014-12-04 2016-06-08 Conti Temic microelectronic GmbH Verfahren und Vorrichtung zur Erhöhung der Sichtbarkeit von Hindernissen
DE102018201849A1 (de) * 2018-02-07 2019-08-08 Continental Automotive Gmbh Verfahren zur Reduzierung der Fehlerrate in einem Objekterkennungssystem
DE102018221530A1 (de) 2018-12-12 2020-06-18 Robert Bosch Gmbh LiDAR-System sowie Kraftfahrzeug
WO2020120278A1 (de) 2018-12-12 2020-06-18 Robert Bosch Gmbh Lidar-system sowie kraftfahrzeug
DE102019106844A1 (de) * 2019-03-18 2020-09-24 Daimler Ag Detektion von Fehlfunktionen der Schaltzustandserkennung von Lichtsignalanlagen
DE102021207214A1 (de) 2021-07-08 2023-01-12 Robert Bosch Gesellschaft mit beschränkter Haftung Lidar-Sensor, Umfelderfassungssystem und Fahrzeug
WO2023280349A1 (de) 2021-07-08 2023-01-12 Robert Bosch Gmbh Lidar-sensor, umfelderfassungssystem und fahrzeug

Also Published As

Publication number Publication date
DE102006010295B4 (de) 2022-06-30

Similar Documents

Publication Publication Date Title
DE102006010295B4 (de) Kamerasystem mit zumindest zwei Bildaufnehmern
DE102016215618B4 (de) Fahrzeugkameravorrichtung zur bildaufnahme vor dem fahrzeug und zur fahrzeugsteuerung
US10183666B2 (en) Method and device for determining a valid lane marking
EP2291836B1 (de) Fahrerassistenzsystem zur vermeidung von kollisionen eines fahrzeugs mit fussgängern
EP2715446B1 (de) Kamerasystem für ein fahrzeug
DE102008002086B4 (de) Fahrzeugabbildungssystem und Fahrzeugsteuerungsgerät
DE102015218704B4 (de) Systeme und Verfahren für die Erfassung von Hindernissen innerhalb des Sichtfeldes eines Bildsensors
DE102007002419B4 (de) Fahrzeugumgebungsüberwachungsgerät, -verfahren und -programm
DE102011088130B4 (de) Verfahren und Vorrichtung zur Erkennung einer Bremssituation
EP1567888B1 (de) Verfahren zur erfassung der vorausliegenden umgebung eines strassenfahrzeugs mittels eines umgebungserfassungssystems
DE102009045600B4 (de) Kamerasystem
EP2040220B1 (de) Verfahren zur Hinderniserkennung
EP3044727B1 (de) Verfahren und vorrichtung zur objekterkennung aus tiefenaufgelösten bilddaten
EP3428677B1 (de) Sichtsystem und sichtverfahren für ein fahrzeug
DE102009014437B4 (de) Objekterkennungssystem und -verfahren
WO2010103061A1 (de) Vorrichtung und verfahren zur detektion mindestens eines objektes
DE102006055906A1 (de) Verfahren zur Erkennung von Reflektoren, Schildern und Fahrzeuglichtern
DE102017122432A1 (de) Verfahren zum Erfassen einer Fahrbahnbeschaffenheit einer Fahrbahn für ein Kraftfahrzeug, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102011105074A1 (de) Verfahren und Vorrichtung zur Bestimmung einer Sichtweite für ein Fahrzeug
WO2006015906A1 (de) Optisches modul für ein fahrerassistenzsystem
WO2020020654A1 (de) Verfahren zum betreiben eines fahrerassistenzsystems mit zwei erfassungseinrichtungen
DE102018004782A1 (de) Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102012111199A1 (de) Optische Vorrichtung mit multifokaler Bilderfassung
DE102012207716A1 (de) Optisches Abtastsystem und optisches Abtastverfahren
DE102016205471A1 (de) Stereokameravorrichtung sowie ein Verfahren zum Betrieb der Stereokameravorrichtung

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
R012 Request for examination validly filed

Effective date: 20130201

R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0013020000

Ipc: H04N0013200000

R084 Declaration of willingness to licence
R084 Declaration of willingness to licence
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee