DE10220825A1

DE10220825A1 - Bildaufnahmevorrichtung für Fahrerassistenzsysteme

Info

Publication number: DE10220825A1
Application number: DE10220825A
Authority: DE
Inventors: Frank Pfeffer; Holger Gruenleitner; Torsten Gollewski
Original assignee: Audi AG; Audi Electronics Venture GmbH
Current assignee: Audi AG; Audi Electronics Venture GmbH
Priority date: 2002-05-08
Filing date: 2002-05-08
Publication date: 2003-07-03
Also published as: DE20209998U1

Abstract

Die Kamerasysteme für Fahrerassistenz- und Sicherheitssysteme sollen günstiger gestaltet werden. Hierzu werden die Pixel eines Kameraaufnehmers neben den roten, grünen und blauen Bildaufnahmeelementen auch mit Aufnahmeelementen für den nicht sichtbaren Bereich, insbesondere Infrarot-Bereich, ausgestattet. Damit kann ein und dieselbe Kamera sowohl für die Spurfindung bei Tag als auch für die Objekterkennung bei Dunkelheit verwendet werden.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Bilderfassung mit mindestens einem Pixel, das mehrere Bildaufnahmeelemente umfasst, die unterschiedlich spektrale Empfindlichkeiten besitzen. Insbesondere betrifft die vorliegende Erfindung eine Bildaufnahmevorrichtung für Sicherheits- und/oder Fahrerassistenzsysteme beziehungsweise einen Strahlungsdetektor auf der Basis der CCD- oder CMOS- oder einer anderen geeigneten Technologie.
Bei verschiedenen Applikationen im Fahrzeug und für Überwachungsaufgaben werden Kamerasysteme zur Spurerkennung, Objekterkennung und dergleichen verwendet. Die eingesetzten Kameras verfügen über einen Sensor, der im visuellen Wellenlängenbereich oder im infraroten Wellenbereich sensitiv ist.
Kamera-Chips nach dem heutigen Stand der Technik detektieren üblicherweise den gesamten, beispielsweise aus den Siliziumeigenschaften resultierenden Spektralbereich bis etwa 1100 nm Wellenlänge, oder aber es werden bei Schwarz-Weiß-Kameras oder Farb-Kameras Teile des Spektralbereiches ausgeblendet. Bei Schwarz-Weiß-Kameras für den sichtbaren Spektralbereich wird üblicherweise der Spektralbereich ab etwa 700 nm (infrarot) ausgeblendet. Bei Farb-Kameras wird der entsprechende Spektralbereich der jeweils unerwünschten Farbanteile für Rot-, Grün- und Blau-Pixel (RGB) sowie ebenfalls der Spektralbereich ab etwa 700 nm (infrarot) ausgeblendet. Darüber hinaus werden Infrarot-Kameras eingesetzt, bei denen der Wellenlängenbereich ab etwa 700 nm ausgewertet wird.
Die Kameras sind mit Zeilen- oder Matrixsensoren zur digitalen Bilderfassung ausgestattet. Die Sensoren werden gängigerweise mittels CCD- oder CMOS-Technologie gefertigt.
Zur Realisierung verschiedener Fahrerassistenzsysteme beziehungsweise Applikationen im Fahrzeug (z. B. Raumüberwachung im Kraftfahrzeug) werden die jeweils passenden Kameras eingesetzt. Beispielsweise wird bei der Applikation "Lane Departure Warning" (Spurfindung LDW) zur Spurfindung am Tag eine Kamera eingesetzt, deren Bildaufnehmer im Wellenlängenbereich von etwa 380 nm bis 780 nm sensitiv ist. Bei Nacht verschiebt sich dieser Wellenbereich wegen des Abblendlichts von Halogenscheinwerfern teilweise in einen infraroten Wellenlängenbereich. Für die Applikation "Night Vision" (Objekterkennung bei Dunkelheit, NV) ist eine Infrarot-Kamera erforderlich.
Die Aufgabe der vorliegenden Erfindung besteht darin, die Kamerasysteme für einzelne Applikationen, u. a. zur Anwendung bei FAS, zu vereinfachen und damit kostengünstiger zu gestalten.
Erfindungsgemäß wird die oben genannte Aufgabe somit gelöst durch eine Vorrichtung zur Bilderfassung mit mindestens einem Pixel, das mehrere Bildaufnahmeelemente umfasst, die unterschiedlich spektrale Empfindlichkeiten besitzen, wobei die spektrale Empfindlichkeit eines der Bildaufnahmelemente des mindestens einen Pixels im Wesentlichen außerhalb des Wellenlängenbereiches von 400 nm bis 700 nm liegt.
Es ist damit möglich, einen einzelnen Sensor beziehungsweise einen einzelnen Kamera-Chip, der in beiden Wellenlängenbereichen, d. h. im sichtbaren und nicht sichtbaren Bereich, sensitiv ist, zur Unterstützung der Wahrnehmung sowohl am Tag als auch in der Nacht einzusetzen.
In vorteilhafter Weise ist in jeden oder zumindest in einzelnen Pixeln jeweils ein Bildaufnahmeelement für den Infrarot- beziehungsweise für den nahen Infrarot-Bereich enthalten, um die Wahrnehmung in der Nacht zu verbessern beziehungsweise zu ermöglichen. Bei Farb-Kameras sind vorzugsweise in einem Pixel neben dem Bildaufnahmeelement für den Infrarotbereich drei Bildaufnahmeelemente beziehungsweise Sensorelemente für das rote, grüne und blaue Licht vorhanden. Demgegenüber reicht es bei Schwarz-Weiß- Kameras, wenn neben dem infrarotempfindlichen Bildaufnahmelement in einem Pixel ein Bildaufnahmeelement für sichtbares weißes Licht vorhanden ist.
Die Bildaufnahmeelemente sind vorzugsweise CCD- oder CMOS-Elemente, sie können jedoch auch durch andere geeignete Technologien gefertigt sein.
Zum Aufbau des Kamera-Chips muß nicht zwangsläufig jedes Pixel mit einem infrarot-sensitiven Bildaufnahmeelement ausgestattet sein. Vielmehr kann beispielsweise nur jedes zweite Pixel mit einem infrarot-sensitiven Bildaufnahmeelement ausgestattet sein, wenn zur Aufnahme eines Infrarot- Bildes eine geringere Schärfe ausreichend ist. Somit kann das Verhältnis der Bildaufnahmeelemente, deren Empfindlichkeit innerhalb oder außerhalb des Wellenlängenbereiches von 400 nm bis 700 nm liegen, für den gesamten oder einen Teil des Kamera-Chips vorgegeben werden. Darüber hinaus kann auch die Anordnung der Bildaufnahmeelemente, deren Empfindlichkeit innerhalb oder außerhalb des Wellenlängenbereichs von 400 nm bis 700 nm liegen, für die gesamte Vorrichtung oder einen Teil davon durch ein spezielles Muster vorgegeben werden. So können beispielsweise die Pixel mit und ohne infrarot-sensitivem Element streifenförmig oder schachbrettartig angeordnet sein. Ferner können die Bildaufnahmeelemente innerhalb und außerhalb des Wellenlängenbereichs von 400 nm bis 700 nm je nach gewünschter Empfindlichkeit mit unterschiedlich großen Oberflächen ausgestaltet sein.
In vorteilhafter Weise sind Umfelderfassungssysteme für Fahrerassistenzsysteme wie LDW und NV oder für Sicherheitssysteme mit Kameras ausgestattet, die jeweils über einen erfindungsgemäßen Kamera-Chip verfügen. Günstigerweise umfasst das Umfelderfassungssystem einen oder mehrere eigene Infrarot-Strahler. Es besteht aber auch die Möglichkeit, dass das Umfelderfassungssystem die Halogenscheinwerfer eines Kraftfahrzeugs ausnutzt, da diese den Fahrbereich des Kraftfahrzeuges auch mit Infrarot- Licht ausstrahlen.
Die vorliegende Erfindung wird nun anhand der beigefügten Zeichungen näher erläutert, in denen zeigen:
Fig. 1 mehrere Anordnungen von Pixeln mit visueller und infraroter Sensitivität; und
Fig. 2 eine Draufsicht auf ein Kraftfahrzeug und dessen mittels Halogenscheinwerfern oder LEDs aktiv ausgeleuchteten Umgebungsbereichen.
Die nachfolgend beschriebenen Ausführungsformen stellen bevorzugte Ausführungsbeispiele der vorliegenden Erfindung dar.
In Fig. 1 ist der Aufbau eines erfindungsgemäßen Kamera-Bildaufnehmers beziehungsweise -Chips in mehreren Varianten dargestellt. Die einzelnen Pixel weisen unterschiedliche spektrale Empfindlichkeiten auf. So sind beispielsweise die weiß dargestellten Pixel im visuellen Wellenlängenbereich sensitiv, während die schwarz dargestellten Pixel ausschließlich oder zusätzlich im infraroten Wellenbereich sensitiv sind. In einer ersten Variante, die in Fig. 1 links oben dargestellt ist, sind die visuell- und infrarot-sensitiven Pixel in einem Schachbrettmuster angeordnet, wie dies auch der vergrößerte Ausschnitt zeigt.
In Fig. 1 rechts oben ist ein Pixel-Array in seiner allgemeinen Form dargestellt. Der darunter dargestellte Ausschnitt zeigt, dass die einzelnen Pixel mit visueller und infraroter Sensitivität mit unterschiedlichen Mustern und Verhältnissen zueinander angeordnet werden können.
Ferner ist in Fig. 1 unten links ein Kamera-Bildaufnehmer dargestellt, dessen Pixel im linken Bereich ausschließlich visuell sensitiv und im rechten Bereich ausschließlich bzw. zusätzlich infrarot sensitiv sind. Diese Teilung kann selbstverständlich auch vertikal erfolgen. Rechts unten ist schließlich ein Kamera-Bildaufnehmer wiedergegeben, dessen sensitiver Bereich in Quadrupel untergliedert ist, wobei die visuell und infrarot empfindlichen Bereiche jeweils auf den Diagonalen angeordnet sind.
Grundsätzlich können natürlich auch andere Aufteilungen und Dichteverhältnisse der unterschiedlich sensitiven Pixel gewählt werden. So wäre auch eine Anordnung der Pixel ähnlich wie beim menschlichen Auge möglich, bei der das Verhältnis der unterschiedlich sensitiven Pixel untereinander im Innenbereich des Bildfeldes anders ist als im Außenbereich.
Im konkreten Beispiel umfasst ein Pixel einer Schwarz-Weiß-Kamera, das im visuellen Wellenlängenbereich sensitiv ist, ein Bildaufnahmeelement für sichtbares Licht. Ein Pixel, das im infraroten Wellenlängenbereich sensitiv ist, umfasst ausschließlich oder darüber hinaus ein Bildaufnahmeelement für den Infrarot-Bereich. Bei einer Farb-Kamera dagegen umfasst jedes Pixel jeweils ein Bildaufnahmeelement für rotes, grünes und blaues Licht und gegebenenfalls auch für Infrarot-Licht.
Je nach gewünschter Bildauflösung kann das Verhältnis der visuell und infrarot-sensitiven Pixel zueinander eingestellt werden. Soll die gleiche Auflösung für visuelle und infrarote Bilder erzielt werden, so ist jedes Pixel auch mit einem Infrarot-Aufnahmeelement auszustatten. Reicht jedoch für das Infrarot- Bild die halbe oder viertelte Auflösung, so ist nur jedes zweite beziehungsweise vierte Pixel mit einem infrarot-sensitiven Aufnahmeelement auszustatten. Ggf. können über Maßnahmen und Verfahren der Bildverarbeitung durch bestimmte Berechnungsverfahren wieder die ursprüngliche Auflösung "hergestellt" werden.
Die spektrale Empfindlichkeit der verschiedenen Pixelfelder kann beispielsweise durch Dünnschichten von Farbstoffen, Kunststoffen oder Halbleitermaterialien (z. B. aSi : H) eingestellt werden. Hierbei kann auf die bei RGB- Farbsensoren verwendeten Technologien zurückgegriffen werden.
Durch die Einführung eines Kombinationsdetektors für den sichtbaren Spektralbereich und den Spektralbereich des (nahen) Infrarots werden Kosten, Systemtechnik und Bauraum eingespart, da eine einzige Kamera für mehrere Applikationen eingesetzt werden kann. Dies ist insbesondere im Bereich des Automobilbaus von großem Vorteil für die Integration verschiedener Sicherheits-/Fahrerassitenzsysteme im Fahrzeug (z. B. LDW/SWA (Spurwechselassistent) in Verbindung mit NV).
Für die Applikation NV beispielsweise ist der durch die Kamera aufzunehmende Bereich mit Infrarot-Licht zu beleuchten. Dies kann beispielsweise, wie in Fig. 2 dargestellt ist, durch einen Infrarot-Scheinwerfer beziehungsweise Infrarot-LEDs erfolgen. Falls das Kraftfahrzeug über Halogenscheinwerfer verfügt, können diese zur aktiven Infrarot-Beleuchtung verwendet werden, da sie auch einen hohen Infrarot-Anteil in der Strahlung besitzen. Es ergäbe sich damit ein Ausleuchtungsbereich 1, wie er in Fig. 2 dargestellt ist. Damit kann der Aufnahmebereich 2 der infrarotempfindlichen Kamera 3 im Wesentlichen ausgeleuchtet werden.
Die Anwendung der erfindungsgemäßen Vorrichtung ist nicht allein auf den Kraftfahrzeugbereich beschränkt, sondern kann für Überwachungssysteme aller Art eingesetzt werden.

Claims

1. Vorrichtung zur Bilderfassung mit
mehreren Bildaufnahmeelementen, die eine unterschiedlich spektrale Empfindlichkeit besitzen,
dadurch gekennzeichnet, dass
die spektrale Empfindlichkeit zumindest eines der Bildaufnahmeelemente im Wesentlichen außerhalb des Wellenlängenbereiches von 400 nm bis 700 nm liegt.

2. Vorrichtung nach Anspruch 1, wobei zumindest ein Bildaufnahmeelement einem Pixel der Vorrichtung zur Bilderfassung entspricht.

3. Vorrichtung nach Anspruch 1 oder 2, wobei die spektrale Empfindlichkeit des einen der Bildaufnahmeelemente im Wesentlichen im Infrarot- Bereich, insbesondere im nahen Infrarot-Bereich, liegt.

4. Vorrichtung nach einem der Ansprüche 1 bis 3, wobei das mindestens eine Pixel ausschließlich oder zudem Bildaufnahmeelemente umfasst, die jeweils entweder gegenüber rotem, grünem oder blauem Licht empfindlich sind.

5. Vorrichtung nach einem der Ansprüche 1 bis 4, wobei das mindestens eine Pixel ausschließlich oder zudem ein Bildaufnahmeelement umfasst, das schwarzweiß-empfindlich ist.

6. Vorrichtung nach einem der Ansprüche 1 bis 5, wobei die Bildaufnahmeelemente CCD- oder CMOS-Elemente umfassen.

7. Vorrichtung nach einem der Ansprüche 1 bis 6, wobei das Verhältnis der Bildaufnahmeelemente, deren Empfindlichkeit innerhalb oder außerhalb von 400 nm bis 700 nm liegt, für die gesamte Vorrichtung oder Teile davon vorgegeben ist.

8. Vorrichtung nach einem der Ansprüche 1 bis 7, wobei die Anordnung der Bildaufnahmeelemente deren Empfindlichkeit innerhalb oder außerhalb des Wellenlängenbereichs von 400 nm bis 700 nm liegt, für die gesamte Vorrichtung durch ein oder mehrere Muster vorgegeben ist.

9. Vorrichtung nach Anspruch 8, wobei das oder die Muster das Schachbrettmuster umfassen.

10. Umfelderfassungssystem für ein Fahrerassistenz- oder Sicherheitssystem mit einer Kamera, die eine Vorrichtung nach einem der Ansprüche 1 bis 9 umfasst.

11. Umfelderfassungssystem nach Anspruch 10, das einen Halogenscheinwerfer umfasst.

12. Umfelderfassungssystem nach Anspruch 10 oder 11, das mindestens einen Infrarotstrahler umfasst.

13. Kraftfahrzeug mit einem Umfelderfassungssystem nach einem der Ansprüche 10 bis 12.