-
Die Erfindung bezieht sich auf ein Detektionssystem und ein damit verbundenes Fahrzeug. Im Einzelnen wird die Verwendung einer Infrarot (IR)-Kamera mit einem elektrisch steuerbaren IR-Filter zur verbesserten Detektion von Objekten in einem Areal und einem RCCB-Chip beschrieben.
-
Künftig müssen autonome Fahrzeuge nach bestimmten Regeln funktionieren. Das Auto muss schnell entscheiden, ob es einem Hindernis auf der Straße ausweichen will oder nicht. Um diese Entscheidung zu treffen, muss das Objekt unter allen Umständen klar erkannt werden. Sehr problematisch für Erkennungssysteme sind Dunkelheit, Nebel und Gegenlicht.
-
DE 102 30 639 A1 zeigt ein Beleuchtungssystem für ein Straßenfahrzeug mit IR-Scheinwerfern vorne am Fahrzeug, das eine Stelle auf der Straße ausleuchtet. Eine IR-Kamera ist auf dem Dach des Fahrzeugs montiert und mit einem Farbvideomonitor im Fahrzeuginneren verbunden. Der Monitor ist vor dem Fahrersitz angebracht und kann ein falsches Farbbild der Straße und der voraus liegenden Hindernisse liefern.
-
DE 10 2011 105 628 A1 legt ein System zur Unterstützung der Sicht des Fahrers offen, um ein Nachtbild in Farbbildqualität anzuzeigen, das erforderlich ist, um einen Fußgänger zu erkennen, und um ein Straßenbild anzuzeigen, das erforderlich ist, um eine Abweichung von der Straße zu alarmieren, wobei ein einziges Kameramodul verwendet wird, das ein Kameramodul, eine Signalextraktionseinheit, eine Straßenbilddaten-Erzeugungseinheit, eine Fußgänger-Bilddaten-Erzeugungseinheit und eine Display-Treibereinheit umfasst.
-
EP 1 465 002 A1 zeigt eine Anordnung mit einer Infrarot-Strahlungsquelle zur Beleuchtung der Umgebung des Fahrzeugs, einer infrarotempfindlichen Kamera zur Erfassung zumindest eines Teils der beleuchteten Umgebung, einem Infrarot-Filter und einer Anzeige zur Darstellung der von der Kamera erfassten Bildinformationen. Der Filter hat Bereiche mit unterschiedlichen Transmissionseigenschaften, von denen mindestens einer für sichtbares Licht oder Teile davon durchlässig ist.
-
In dem US-Patent
US 9 131 120 B2 , das sich allgemein auf Sichtsysteme für Fahrzeuge und insbesondere auf Rückblicksysteme bezieht, die dem Fahrzeugführer szenische Informationen in Richtung hinter dem Fahrzeug liefern, werden mehrere Kameras offenbart. Ein lang gehegter Bedarf in der Technik der Fahrzeugsicht- und Erkennungssysteme besteht jedoch darin, die Kosten und indirekt die Anzahl der eingesetzten Kameras zu reduzieren und die Effizienz bei der Erfassung von Informationen über den Zustand um das Fahrzeug herum zu erhöhen, um sicheres autonomes Fahren zu ermöglichen.
-
Die Dokumente
WO 2011/066 396 A2 ,
WO 2011/149 960 A2 ,
WO 2012/118 528 A1 ,
WO 2012/118 529 A1 ,
WO 2012/170 456 A2 ,
WO 2013/003 850 A2 und
WO 2013/028 232 A1 beschreiben organische IR-Hochkonvertierer mit IR-empfindlicher organischer Schicht, die als Transportschicht zur Ladungserzeugung in der OLED-Struktur für IR-Bild- und Sichtgeräte dienen.
-
Ferner offenbart die japanische Patentanmeldung
JP 2010 245 846 A eine Vorrichtung, die eine Scheinwerfereinrichtung zum Projizieren von Licht um ein Fahrzeug herum umfasst. Die Scheinwerfereinrichtung ist so konfiguriert, dass sie Licht einer Wellenlänge projiziert, für die die Empfindlichkeit eines Abbildungselements einer Abbildungsvorrichtung niedriger als ein vorbestimmter Wert ist. Darüber hinaus enthält die Vorrichtung einen Wellenlängenumwandlungsfilm zum Umwandeln des Lichts der Wellenlänge, für die die Empfindlichkeit des Abbildungselements der Abbildungsvorrichtung niedriger als ein vorbestimmter Wert ist, in Licht einer Wellenlänge, für die die Empfindlichkeit des Abbildungselements höher als der vorbestimmte Wert ist. Die Abbildungsvorrichtung erzeugt ein aufgenommenes Bild durch Empfang des Lichts, das durch den Wellenlängenumwandlungsfilm umgewandelt wird, unter Verwendung des Abbildungselements. Das Licht der Wellenlänge, für die die Empfindlichkeit des Abbildungselements gering ist, wird projiziert und in das Licht der Wellenlänge, für die die Empfindlichkeit hoch ist, umgewandelt, wodurch eine Blendung oder Lichthofbildung eines Fußgängers um das Fahrzeug herum verhindert und die Erkennungsgenauigkeit eines Objekts ohne Erhöhung der Kosten beibehalten wird.
-
Es wäre daher wünschenswert, über ein Detektionssystem zu verfügen, das die Kosten reduziert und effizienter ist, als die im Stand der Technik offengelegten.
-
In einem ersten Aspekt der Erfindung ist ein Detektionssystem für Fahrzeuge vorgesehen, das angepasst ist, Objekte innerhalb einer Szenerie zumindest unter problematischen Sichtbedingungen zu erfassen. Das vorgenannte Detektionssystem umfasst ein Kamerasystem, das einen Strahlengang von einer Lichteintrittsöffnung über ein Linsensystem zu einer Bilderfassungseinheit herstellt, wobei die Bilderfassungseinheit angepasst ist, sichtbares und IR-Licht zu erfassen, das von der Szenerie, die mindestens ein Objekt umfasst, reflektiert und/oder emittiert wird. Das Detektionssystem umfasst ferner einen IR-(Infrarot-)Filter, der innerhalb des Strahlengangs angeordnet ist, um zumindest einen ersten Teil des IR-Lichts, der nicht objektbezogen ist, daran zu hindern, die Bilderfassungseinheit zu erreichen, und einen Konversionsfilter, der innerhalb des Strahlengangs angeordnet ist, um zumindest einen zweiten Teil des IR-Lichts, der objektbezogen ist, in sichtbares Licht eines bildverstärkenden Wellenlängenbereichs umzuwandeln. Das Linsensystem umfasst mindestens eine Linse, die vor der Bilderfassungseinheit angeordnet ist, um das Licht von der Szenerie durch die IR- und Konversionsfilter zu der Bilderfassungseinheit zu leiten.
-
Während Kameras bei guten Sichtverhältnissen vor allem im sichtbaren Licht gut funktionieren, können bei Einbeziehung des IR-Bereichs deutlich bessere Ergebnisse erzielt werden, insbesondere bei schlechten Sichtverhältnissen wie Regen, Nebel, Dämmerung oder bei Nacht. Die Auswertung von Kamerabildern im Bereich 750 nm - 1400 nm ist unabhängig vom Tageslicht und kann auch bei Nebel sehr gute Ergebnisse erzielen. Darüber hinaus ist es sinnvoll, alles mit einer Kamera zu machen, um ein kompaktes System zu erhalten, das einfach zu bedienen ist. Zu diesem Zweck wird ein IR-Filter verwendet, der mit schnellstmöglichen Schaltzeiten elektrisch abgeschaltet werden kann. Die Erfindung ermöglicht eine Überlagerung der Bilder von sichtbarem Licht und IR-Licht auf demselben Chip und eine gemeinsame Auswertung in Echtzeit. Zusätzlich könnten transparente Pixel (RCCB) weitere Helligkeitsvorteile bringen.
-
Für den ersten Aspekt der Erfindung funktionieren verschiedene Infrarot-Bildsensoren. Für sehr kurze Wellenlängen um 800 nm werden Siliziumsensoren verwendet. Sie wandeln die Photonen über den photoelektrischen Effekt direkt in einen Photostrom um. Für Wellenlängen von 1 bis 2 µm (SWIR) werden Indium-Gallium-Arsenid-Sensoren (InGaAs) oder Bleisulfid-Sensoren verwendet. Im Wellenlängenbereich 3-5 µm (MWIR) kommen hauptsächlich Indium-Antimon-Detektoren (InSb) und Quecksilber-Cadmium-Tellurid-Detektoren (MCT) zum Einsatz. Ein Kaltfilter begrenzt die Wellenlänge nach unten. Indium-Antimon-Detektoren mit entsprechenden Kaltfiltern bieten einen empfindlichen Spektralbereich von 1 bis 5 µm. Für den langwelligen Bereich von 8 bis 14 µm (LWIR) werden häufig Galliumarsenid-Quantum-Well-Detektoren (QWIP) und Quecksilber-Cadmium-Tellurid-Detektoren eingesetzt. Auch Mikrobolometer-Arrays, die Strahlung durch Erwärmung eines Sensorelements detektieren, sind für diesen Wellenlängenbereich gut geeignet. Gebräuchliche Materialien für Mikrobolometer-Arrays sind Vanadiumoxid (VOx) oder amorphes Silizium (a-Si). Wenn der Nebel als kleine Wassertropfen zu sehen ist, kann die IR-Strahlung durch Wasser erfasst werden. Man unterscheidet zwischen NIR und MIR, die Grenze liegt bei 1400 nm. Der Grenzwert bei 1400 nm ist darauf zurückzuführen, dass oberhalb dieses Wertes die Absorption von Infrarotstrahlen durch Wasser deutlich zunimmt, weshalb er hier als Spektralbereich definiert wird.
-
In einer Ausführungsform des ersten Aspekts der Erfindung ist der Konversionsfilter eine Hochkonversions-Schichtstruktur, die das IR-Licht in sichtbares Licht einer bestimmten Wellenlänge umwandelt, der eine IR-absorbierenden Schicht, gefolgt von einem Stapel von Schichten, die zwischen Elektroden angeordnet sind, umfasst, wobei der Konversionsfilter so angepasst ist, dass er mit einer geeigneten Betriebsspannung betrieben werden kann, um die Hochkonversion zu ermöglichen. Der Konversionsfilter kann eine LED oder eine organische LED mit hochmodernen Schichtstapeln sein, wobei eine zusätzliche IR-absorbierende Schicht zwischen der Lochsperrschicht (HBL) und der Lochübertragungsschicht (HTL) angeordnet ist. Diese IR-absorbierende Schicht kann eine PbS QD IR-absorbierende Schicht sein. Die IR-absorbierende Schicht wird aktiviert, wenn eine Betriebsspannung (ungleich Null) angelegt wird. Der Konversionsfilter kann daher ein schaltbarer Filter sein, um im ausgeschalteten Zustand das IR-Licht zur Bilderfassungseinheit zu transmittieren und im eingeschalteten Zustand das IR-Licht in den bildverstärkenden Wellenlängenbereich umzuwandeln.
-
Die Filtertechnik schaltet das IR-Bild mit einer definierten Wiederholrate abwechselnd ein und aus. Dadurch können das IR-Bild und das sichtbare Bild abwechselnd im Verhältnis 1:1 übertragen werden. Bei Dämmerungsbedingungen kann das Verhältnis der Bildwiederholrate von 1:1 geändert werden. Bei leichter Dunkelheit könnte das Verhältnis IR zu Sichtbar z.B. 1:4 betragen und dann, je nach Dämmerung, in Richtung 1:1 zurückgehen. Die Filterfrequenz (oder das Schaltverhältnis) zum Schalten muss mindestens der Bildwiederholfrequenz des Chips (Bilderfassungsgerät) entsprechen. Zusätzlich kann eine externe Lichtquelle, z.B. im Frontscheinwerfer, eine IR-Lichtquelle mit z.B. 1050 nm emittieren. Sowohl der Frontbereich als auch der Front-/Seitenbereich sollte beleuchtet werden. Damit lassen sich bessere Ergebnisse mit dem IR-Filter im NIR-Bereich erzielen. Auch eine Synchronisation mit der Frequenz des Konversionsfilters ist möglich, so dass der IR-Strahler nur dann Licht ausstrahlt, wenn der IR-Konversionsfilter aktiv ist (z.B. 30 Hz oder 60 Hz etc.).
-
In einer anderen Ausführungsform kann der Konversionsfilter ein- und ausgeschaltet werden, wobei das Verhältnis zwischen der Ein- und Ausschaltdauer zwischen 1:1 und 1:4 variiert. Alternativ kann das Verhältnis von 1:1, das in der Dämmerung angewendet wird, bei besseren Sichtverhältnissen erhöht werden.
-
In einer Ausführungsform insbesondere des ersten Aspekts der Erfindung ist der IR-Filter auf der Bilderfassungseinheit und der Konversionsfilter auf dem IR-Filter angeordnet und das Linsensystem vor dem Satz aus Bilderfassungseinheit, IR-Filter und Konversionsfilter angeordnet. Der Infrarotfilter oder Sperrfilter ist ein herkömmlicher Filter, der Infrarotlicht einfach herausfiltert bzw. abschneidet. Dieser Filter wird verwendet, um Farbverfälschungen im Kamerabild zu vermeiden. Nach dem Stand der Technik ist der IR-Filter normalerweise auf dem Objektiv angeordnet. Nach dem Stand der Technik würde jedoch kein IR-Licht auf den Konversionsfilter der Erfindung gelangen und der Filter ist unwirksam.
-
Daher wird der IR-Filter hinter der Konversionsschicht platziert, d.h. näher am Chip als die Konversionsschicht. Dann tritt der folgende Effekt ein: Ist die Schicht eingeschaltet, wandelt sie das IR-Licht in einen anderen Wellenlängenbereich um (z.B. grünes Licht), und der IR-Filter lässt das zusätzliche Licht durch. Ist die Konversionsschicht ausgeschaltet, kommt das gesamte Licht durch, auch IR, und wird dann im IR-Filter gefiltert, so dass keine Farbverfälschungen wie bei der herkömmlichen Methode auftreten.
-
In einer alternativen Ausführungsform des ersten Aspekts der Erfindung ist der Konversionsfilter auf der Bilderfassungseinheit angeordnet und der IR-Filter im Strahlengang vor dem Konversionsfilter angeordnet, wobei der IR-Filter außerhalb des ersten Teils des IR-Lichts ein Transmissionsfenster bestimmter Breite aufweist, um den zweiten Teil des IR-Lichts zum Konversionsfilter durchzulassen. Der IR-Filter kann z.B. auf mindestens einer Linse des Linsensystems angebracht werden oder zwischen der Bilderfassungseinheit und einer Linse des Linsensystems oder zwischen zwei Linsen des Linsensystems angeordnet sein. Eine andere Möglichkeit, einen IR-Filter wieder durchlässig zu machen, ist für ein sehr schmales IR-Band. Bisher werden nur IR-Filter erwähnt, die ab 750 nm alles schneiden. Diese Ausführungsform bezieht sich auf einen IR-Filter, der ab 750 nm alles abschneidet, aber bei 1050 nm ein schmales Band passieren lässt. Dieses schmale Band verfälscht die Farben nicht so stark und kann mit Software korrigiert werden. In diesem Fall muss die Konversionsschicht (Filter) genau für die Wellenlänge (z.B. 1050nm) ausgelegt sein, die der IR-Filter durchlässt. Nun kann der IR-Filter aufgrund des Bandes auf dem Konversionsfilter wieder im Objektiv angeordnet werden.
-
In einer weiteren Ausführungsform, insbesondere nach dem ersten Aspekt der Erfindung, sind Konversionsfilter und IR-Filter im Strahlengang angeordnet, wobei der Konversionsfilter vor dem IR-Filter entlang des Strahlenganges angeordnet ist. Ferner ist mindestens ein IR-Filter oder Konversionsfilter auf mindestens einer Linse des Linsensystems angebracht oder mindestens ein IR-Filter oder Konversionsfilter ist zwischen zwei Linsen des Linsensystems oder zwischen der Bilderfassungseinheit und einer Linse des Linsensystems angeordnet. Der zweite Teil des IR-Lichts kann 1050 nm umfassen.
-
In einer weiteren Ausführungsform des ersten Aspekts der Erfindung wird das sichtbare Licht in einen ersten, einen zweiten und einen dritten Wellenlängenbereich unterteilt, und die Bilderfassungseinheit umfasst mindestens drei Segmente, wobei ein erstes Segment dazu angepasst ist, nur den ersten Wellenlängenbereich des sichtbaren Lichts zu erfassen, ein zweites Segment dazu angepasst ist, nur den zweiten Wellenlängenbereich des sichtbaren Lichts zu erfassen, und das dritte Segment dazu angepasst ist, alle Wellenlängenbereiche des sichtbaren Lichts zu erfassen. Um das IR- und das sichtbare Bild aufeinander abzustimmen, ergibt sich ein Problem: Das IR-Bild sollte nur für relevante Teile in das optische Bild eingefügt werden. Um eine solchen Abgleich zu machen, muss das Objekt vor dem Einfügen evaluiert werden. Andernfalls hat der Fahrer ein reines IR-Bild vor sich. In einer Lösung, die die vorliegende Erfindung bietet, wird das IR-Bild so ausgewertet, dass nur relativ zur Straße bewegte Objekte fixiert werden und in den Abgleich einbezogen werden. Stehende Lebewesen oder weglaufende Objekte werden nicht berücksichtigt. Im zweiten Schritt wird das sichtbar gemachte Objekt in das sichtbare Bild übertragen. Der verwendete Filter kann eine bevorzugte Farbe haben, die grün sein kann.
-
In der vorgenannten Ausführung ist eine weitere Lichtverbesserung durch transparente Pixel, z.B. einen RCCB-Chip, vorgesehen, wobei „R“ für ein rot gefiltertes Segment, „B“ für ein blau gefiltertes Segment und „C“ für nicht gefilterte Segmente steht. Dabei wird C= transparentes Pixel Grün weggelassen und kann berechnet werden. Hierbei ist die Farbe „Grün“ nur ein Beispiel und kann auch eine beliebige andere Farbe mit entsprechend ausgewählten verschiedenfarbigen Filtersegmenten sein. In den transparenten Pixel fällt nun bei eingeschaltetem Filter die Lichtintensität von IR umgewandelt in Grün noch mit rein. Dadurch erhält dieser Pixel etwa das 4-fache Licht, als wenn er nur grün wäre. Der Inhalt kann wieder zurückgerechnet werden.
-
Filter ist eingeschaltet: C(t1) = G+IR +R+B+(-R-B) = G+IR C(t1) als transparentes Pixel zum Zeitpunkt t1: hier können die Daten von den roten und blauen Pixeln subtrahiert werden und es verbleiben nur das grüne und das in grünes Licht umgewandelte Infrarotlicht.
-
Filter ist ausgeschaltet: C(t2) = G+R+B+(-R-B) = G
C(t2) als transparenter Pixel zum Zeitpunkt t2: Hier lassen sich die grünen Anteile des sichtbaren Lichts von dem umgewandelten Infrarotlicht unterscheiden, das ebenfalls grün erscheint.
Da der Filter x-mal pro Sekunde aus- und eingeschaltet wird, sind bei x Elementen der natürlichen Zahlen die Informationen von C an der Position t1 und an der Position t2 bekannt und können so von zusätzlichen Informationen im Grün unterschieden werden, ob es sich um IR-Licht oder reales Grün handelt. So kann das Bild so verarbeitet werden, dass es für das menschliche Auge ansprechend ist und nur die IR-Informationen angezeigt werden, die bei Nacht eine Gefahr darstellen könnten. Das oben erwähnte Konzept kann z.B. auch bei GCCB-, GCCR-Chips angewendet werden, wobei C(t1) zu R+IR bzw. B+IR und C(t2) zu R bzw. B führt.
-
In einer Ausführungsform des oben erwähnten RCCB-Chips (oder GCCB- oder GCCR-Chips) haben die verschiedenen Segmente der Bilderfassungseinheit die gleiche Größe. Die Bilderfassungseinheit kann auch vier rechteckigen Segmenten umfassen, die in einem 2x2-Array angeordnet sind, wobei das erste und zweite Segment sowie das dritte Segment und ein viertes Segment diagonal angeordnet sind, wobei das dritte und vierte Segment identische Segmente sind. Ferner kann der bildverbessernde Wellenlängenbereich innerhalb des dritten Wellenlängenbereichs liegen.
-
In einer weiteren Ausführungsform des ersten Aspekts der Erfindung ist die Bilderfassungseinheit angepasst den ersten Wellenlängenbereich des sichtbaren Lichts des ersten Segments und den zweiten Wellenlängenbereich des sichtbaren Lichts mit dem zweiten Segment und eine Summe der Wellenlängenbereiche einschließlich des ersten und zweiten Wellenlängenbereichs und zusätzlich den dritten Wellenlängenbereich mit mindestens dem dritten Segment, mit einer Differenz zwischen den Intensitäten des dritten Segments minus den Intensitäten des ersten und zweiten Segments, was zu einer Intensität des sichtbaren Lichts im dritten Wellenlängenbereich im ausgeschalteten Zustand des Konversionsfilters oder einer Summe der Intensitäten des dritten Wellenlängenbereichs, die von dem Objekt und von dem Konversionsfilter geliefert werden, führt, zu erfassen. Dies führt zu mehr Effizienz im Detektionssystem und korreliert mit den oben erwähnten Gleichungen.
-
Das Detektionssystem gemäß einer der oben genannten Ausführungsformen kann ferner eine Bildabgleichseinheit umfassen, die so angepasst ist, dass sie die in einem eingeschalteten Zustand des Konvertierungsfilters erfassten Bilder mit Bildern vergleicht, die in einem ausgeschalteten Zustand des Konvertierungsfilters erfasst wurden, wobei kritische Objekte von nicht-kritischen Objekten unterschieden und/oder durch Vergleich eines Kontrasts zwischen beiden Bildern identifiziert werden, wobei vorzugsweise Objekte, die sich relativ zu einer Bewegungsrichtung des Fahrzeugs bewegen, beim Vergleich weniger Kontrast in dem Bild mit dem ausgeschalteten Zustand des Konvertierungsfilters zeigen. Wie kann man erkennen, ob ein Objekt mit dem bloßen Auge schwer oder unmöglich zu erkennen ist? Vergleicht man das IR-Bild mit dem sichtbaren Bild, so muss das Objekt, das sich in Richtung der betreffenden Fahrbahn bewegt, eine signifikant geringere Pixelzahl (Kontrast) als die des IR-Bildes aufweisen. Wenn ein solches Objekt erkannt werden kann, wird es aus dem IR-Bild in das sichtbaren Bild eingeblendet. Der Vorteil hierbei liegt darin, dass nur Objekte im IR-Bereich sichtbar gemacht werden, die auch eine latente Gefahr darstellen und keine willkürlichen Wildtiere im Wald, die einfach nur in Straßennähe grasen. Außerdem kann um das durch IR sichtbar gemachte Objekt ein Quadrat gezogen werden, um das Objekt zu identifizieren, das mit dem bloßen Auge nur schwer oder gar nicht zu erkennen ist. Daher kann die Bildabgleichseinheit die identifizierten Objekte in das sichtbare Bild übertragen, um die kritischen Objekte zu markieren und/oder einen Betrachter über vorhandene kritische Objekte zu informieren oder sogar dafür sorgen, dass die Bildabgleichseinheit ferner einen Rahmen um jedes der markierten Objekte anzeigt, um das vorhandene kritische Objekt im sichtbaren Bild zu verstärken.
-
In einem zweiten Aspekt der Erfindung ist ein Fahrzeug vorgesehen, das das Detektionssystem gemäß dem ersten Aspekt der Erfindung umfasst. Dieses Fahrzeug kann eine IR-Lichtquelle zur Ausleuchtung einer Szenerie, zumindest unter problematischen Sichtbedingungen, umfassen. Alternativ zur aktiven Beleuchtung kann auch eine Restwärmeerkennung verwendet werden. Fahrzeuge können alle sich schnell bewegenden Fahrzeuge sein, wie motorgetriebene Fahrzeuge wie Autos, Lastwagen, Motorfahrräder usw..
-
Die aktive Beleuchtung durch eine Infrarot-LED, die z.B. in einem Fernlichtstrahler eingesetzt werden kann, ist Stand der Technik. Sie leuchtet weiter entfernte Objekte aus und kann so Reflexionen empfangen, die Objekte bei Nacht erscheinen lassen. Um eine unsichtbare Blendung zu vermeiden, müssen Fernlichtscheinwerfer und IR-Leuchten genau in die gleiche Richtung strahlen, oder es muss eine intelligente Beleuchtung eingesetzt werden, bei der die Scheinwerfer im Gegenverkehr die Richtung ändern, um eine Blendung zu vermeiden. Der Einsatz von Restwärmeerkennung gehört nicht mehr in den Bereich der aktiven Beleuchtung. Nachtsichtgeräte, die nach dem Prinzip einer Wärmebildkamera arbeiten, sind empfindlich gegenüber der Wärmestrahlung der Objekte selbst. Sie arbeiten mit pyroelektrischen oder Bolometer-Arrays (Focal Plane Array). Die Geräte sind wesentlich teurer und werden z.B. bei der Suche nach Vermissten oder vom Militär eingesetzt. Die Geräte haben Linsen aus monokristallinem Germanium und können auch tagsüber eingesetzt werden. Die letzte zugelassene Variante für den zivilen Einsatz in Nachtsichtgeräten (Lebensdauer ca. 15'000 Stunden) ist eine weitere Verbesserung dieser mit Mikrokanalplatten arbeitenden Geräte. Hier kommt zusätzlich die empfindliche Chemikalie Galliumarsenid (GaAs) zum Einsatz, die eine bis zu 50.000-fache Lichtverstärkung erreicht. Filtertechnologie vor konventionellen Kameras im Bereich über 1000nm
Vorteile der Filtertechnologie vor einer normalen Kamera: Dual-Use Sichtbares - und IR (UV-VIS-SWIR) hochauflösende, kostengünstige Bildsensoren und unter den Aspekten der vorliegenden Erfindung. In einer Ausführungsform des zweiten Aspekts der Erfindung strahlt die IR-Lichtquelle Licht von mindestens 1050 nm aus, deren Vorteile im ersten Aspekt der Erfindung beschrieben wurden.
-
In einer anderen Ausführungsform des zweiten Aspekts der Erfindung kann die IR-Lichtquelle mit einer Frequenz ein- und ausgeschaltet werden, die mit einer Schaltfrequenz des Konversionsfilters korreliert. Der Vorteil hierin korreliert mit den im ersten Aspekt der Erfindung beschriebenen Vorteilen.
-
In einer weiteren Ausführungsform des zweiten Aspekts der Erfindung ist die IR-Lichtquelle zumindest in eine Frontleuchtenbaugruppe des Fahrzeugs integriert. Dies ist wünschenswert, da die Fahrtrichtung der Fahrzeuge meist frontal ist. Allerdings können auch Heckleuchtenbaugruppen eine IR-Lichtquelle enthalten.
-
In einer Ausführungsform des zweiten Aspekts der Erfindung umfasst das Fahrzeug ferner eine Anzeigeeinheit zum Betrachten des von dem Kamerasystem gelieferten Bildes. Der Fahrer kann somit auch in einer nebligen Szenerie das kritische Objekt sehen.
-
Die oben aufgeführten Ausführungsformen können einzeln oder in beliebiger Kombination verwendet werden, um die Vorrichtung und das Verfahren erfindungsgemäß zur Verfügung zu stellen. Diese und andere Aspekte der Erfindung sind in den folgenden schematischen Darstellungen im Detail dargestellt:
- 1: zeigt ein Kamerasystem eines erfindungsgemäßen Detektionssystems mit drei verschiedenen Anordnungen insbesondere eines IR-Filters in 1a), 1b) und 1c);
- 2: zeigt eine LED-Struktur mit IR-absorbierender Schicht zum Aufbau eines Konversionsfilters;
- 3: zeigt eine Bilderfassungseinheit als schematischen RCCB-Chip mit entsprechenden Segmenten; und
- 4: zeigt ein erfindungsgemäßes Fahrzeug.
-
1 zeigt ein Kamerasystem 10 eines Detektionssystems 1 für Fahrzeuge 40, das dafür angepasst ist, Objekte innerhalb einer Szenerie zumindest unter problematischen Sichtbedingungen zu erfassen. Das Kamerasystem 10 legt einen Strahlengang 16 von einer Lichteintrittsöffnung 15 über ein Linsensystem 14 zu einer Bilderfassungseinheit 11 fest, wobei die Bilderfassungseinheit 11 angepasst ist, sichtbares und IR-Licht zu erfassen, das von der Szenerie mit mindestens einem Objekt 50 reflektiert und/oder emittiert wird (siehe 4). Das Detektionssystem 1 umfasst ferner einen IR-(Infrarot-)Filter 13, der innerhalb des Strahlengangs 16 angeordnet ist, um mindestens einen ersten Teil des IR-Lichts, das kein Objekt 50 ist, daran zu hindern, die Bilderfassungseinheit 11 zu erreichen, und einen Konversionsfilter 12, der innerhalb des Strahlengangs 16 angeordnet ist, um mindestens einen zweiten Teil des IR-Lichts, das ein Objekt ist, das mit sichtbarem Licht eines bildverstärkenden Wellenlängenbereichs in Beziehung steht, umzuwandeln. Das Linsensystem 14 umfasst mindestens eine Linse 17, die vor der Bilderfassungseinheit 11 angeordnet ist, um das Licht von der Szenerie durch den IR- und Konversionsfilter 12 zur Bilderfassungseinheit zu leiten.
-
In 1a) ist der IR-Filter 13 oben auf der Bilderfassungseinheit 11 und der Konversionsfilter 12 auf dem IR-Filter 13 angeordnet, und das Linsensystem ist vor dem Satz aus Bilderfassungseinheit, IR-Filter 13 und Konversionsfilter angeordnet. Der Infrarotfilter oder Sperrfilter ist ein konventioneller Filter, der Infrarotlicht einfach herausfiltert bzw. abschneidet. Dieser Filter wird verwendet, um Farbverfälschungen im Kamerabild zu vermeiden. Nach dem Stand der Technik ist der IR-Filter 13 normalerweise auf dem Objektiv angeordnet. Nach dem Stand der Technik würde jedoch kein IR-Licht auf den Konversionsfilter 12 der Erfindung gelangen, und der Filter ist wirkungslos.
-
Daher ist der IR-Filter 13 hinter der Konversionsschicht angeordnet, d.h. näher am Chip als die Konversionsschicht. Dann tritt der folgende Effekt ein: Ist die Schicht eingeschaltet, wandelt sie das IR-Licht in einen anderen Wellenlängenbereich um (z.B. grünes Licht), und der IR-Filter 13 lässt das zusätzliche Licht durch. Wird die Konversionsschicht abgeschaltet, kommt das gesamte Licht durch, auch IR, und wird dann im IR-Filter 13 gefiltert, so dass keine Farbverfälschungen wie bei der herkömmlichen Methode auftreten.
-
In 1b) ist der Konversionsfilter 12 auf der Bilderfassungseinheit 11 und der IR-Filter 13 im Strahlengang vor dem Konversionsfilter 12 angeordnet, wobei der IR-Filter 13 ein Transmissionsfenster bestimmter Breite außerhalb des ersten Teils des IR-Lichts hat, um den zweiten Teil des IR-Lichts zum Konversionsfilter durchzulassen. Der IR-Filter 13 kann z.B. auf mindestens eine Linse des Linsensystems aufgebracht oder zwischen der Bilderfassungseinheit 11 und einer Linse des Linsensystems oder zwischen zwei Linsen des Linsensystems angeordnet werden. Eine andere Möglichkeit, einen IR-Filter 13 wieder durchlässig zu machen, ist für ein sehr schmales IR-Band. Bisher wird nur ein IR-Filter 13 erwähnt, der alles ab 750nm schneidet. Diese Ausführungsform bezieht sich auf einen IR-Filter 13, der ab 750 nm alles abschneidet, aber bei 1050 nm ein schmales Band passieren lässt. Dieses schmale Band verfälscht die Farben nicht so stark und kann mit Software korrigiert werden. In diesem Fall muss die Konversionsschicht (Filter) genau für die Wellenlänge (z.B. 1050nm) ausgelegt sein, die der IR-Filter 13 durchlässt. Nun kann der IR-Filter 13 wegen des Bandes auf dem Konversionsfilter wieder im Objektiv angeordnet werden.
-
In 1c) sind der Konversionsfilter 12 und der IR-Filter 13 im Strahlengang angeordnet, wobei der Konversionsfilter 12 vor dem IR-Filter 13 entlang des Strahlenganges angeordnet ist. Ferner ist mindestens ein IR-Filter 13 oder Konversionsfilter 12 auf mindestens einer Linse 17 des Linsensystems 14 angebracht oder mindestens eines von IR-Filter 13 oder Konversionsfilter 12 ist zwischen zwei Linsen 17 des Linsensystems 14 oder zwischen der Bilderfassungseinheit 11 und einer Linse 17 des Linsensystems 14 angeordnet. Der zweite Teil des IR-Lichts darf 1050 nm umfassen.
-
Das Konversionsfilter 12 kann eine Hochkonversions-Schichtstruktur sein, die das IR-Licht in sichtbares Licht einer bestimmten Wellenlänge umwandelt, bestehend aus einer IR-absorbierenden Schicht, gefolgt von einem Stapel von Schichten 21 - 27, die zwischen Elektroden angeordnet sind, wobei das Konversionsfilter 12 so angepasst ist, dass es mit einer geeigneten Betriebsspannung betrieben werden kann, um die Hochkonversion zu ermöglichen.
-
2 zeigt, dass der Konversionsfilter 12 eine LED oder eine organische LED 20 mit hochmodernen Schichtstapeln (Anodenschicht 21, Lochsperrschicht (HBL) 22, Lochtransportschicht (HTL) 24, Lichtemissionsschicht (EML) 25, Elektronentransportschicht (ETL) 26 und Kathodenschicht 27) sein kann, wobei zwischen der Lochsperrschicht 22 und der Lochübertragungsschicht 24 eine zusätzliche IR-absorbierende Schicht 23 angeordnet ist. Die genannte IR-absorbierende Schicht 23 kann eine PbS-QD-IR-absorbierende Schicht sein. Die IR-absorbierende Schicht 23 wird aktiviert, wenn eine Betriebsspannung (ungeradzahliger Nullpunkt) angelegt wird. Der Konversionsfilter 12 kann daher ein schaltbarer Filter sein, um im ausgeschalteten Zustand das IR-Licht zur Bilderfassungseinheit 11 zu transmittieren und im eingeschalteten Zustand das IR-Licht in den bildverstärkenden Wellenlängenbereich umzuwandeln.
-
In einer weiteren Ausführungsform des ersten Aspekts der Erfindung wird das sichtbare Licht in einen ersten, einen zweiten und einen dritten Wellenlängenbereich unterteilt, und die Bilderfassungseinheit 11 umfasst mindestens drei Segmente 31, 32, 33, wobei ein erstes Segment 31 dazu angepasst ist, nur den ersten Wellenlängenbereich des sichtbaren Lichts zu erfassen, wobei ein zweites Segment 32 dazu angepasst ist, nur den zweiten Wellenlängenbereich des sichtbaren Lichts zu erfassen, und das dritte Segment 33 dazu angepasst ist, alle Wellenlängenbereiche des sichtbaren Lichts zu erfassen. Um das IR- und das sichtbare Bild aufeinander abzustimmen, ergibt sich ein Problem: Das IR-Bild sollte nur für relevante Teile in das optische Bild eingefügt werden. Um eine solche Übereinstimmung herzustellen, muss das Objekt vor dem Einfügen evaluiert werden. Andernfalls hat der Fahrer ein reines IR-Bild vor sich. In einer Lösung, die die vorliegende Erfindung bietet, wird das IR-Bild so ausgewertet, dass nur relativ zur Straße bewegte Objekte fixiert werden und in den Abgleich einbezogen werden. Stehende Lebewesen oder weglaufende Objekte werden nicht berücksichtigt. Im zweiten Schritt wird das sichtbar gemachte Objekt in das sichtbare Bild übertragen. Der verwendete Filter kann eine bevorzugte Farbe haben, die grün sein kann.
-
3 zeigt einen RCCB-Chip, bei dem die verschiedenen Segmente der Bilderfassungseinheit 11 identische Größen haben. Die Bilderfassungseinheit 11 kann auch vier rechteckige Segmente 31, 32, 33, 34 umfassen, die in einem 2x2-Array angeordnet sind, wobei das erste und zweite Segment 31, 32 sowie das dritte Segment 33 und ein viertes Segment 34 diagonal angeordnet sind, wobei das dritte und vierte Segment 33, 34 identische Segmente sind. Außerdem kann der bildverbessernde Wellenlängenbereich innerhalb des dritten Wellenlängenbereichs liegen. Das erste Segment 31 kann einen Rotfilter enthalten, der nur rotes Licht durchlässt, um von diesem Segment 31 des RCCB-Chips erfasst zu werden, während das zweite Segment 32 einen Blaufilter enthalten kann, der nur blaues Licht durchlässt, um von diesem Segment 32 des RCCB-Chips erfasst zu werden.
-
In einer weiteren Ausführungsform des ersten Aspekts der Erfindung ist die Bilderfassungseinheit 11 dazu angepasst, den ersten Wellenlängenbereich des sichtbaren Lichts des ersten Segments 31 und den zweiten Wellenlängenbereich des sichtbaren Lichts mit dem zweiten Segment 32 und eine Summe der Wellenlängenbereiche einschließlich des ersten und zweiten Wellenlängenbereichs und zusätzlich den dritten Wellenlängenbereich mit mindestens dem dritten Segment 33 (und auch dem vierten Segment 34) zu erfassen, wobei eine Differenz zwischen den Intensitäten des dritten Segments 33 minus den Intensitäten des ersten und zweiten Segments 31, 32 zu einer Intensität des sichtbaren Lichts im dritten Wellenlängenbereich im ausgeschalteten Zustand des Konversionsfilters 12 oder zu der Summe der Intensitäten des dritten Wellenlängenbereichs, die vom Objekt 50 und vom Konversionsfilter 12 geliefert werden, führt.
-
In der oben genannten Ausführungsform ist eine weitere Lichtverbesserung durch transparente Pixel z.B. ein RCCB-Chip 12 vorgesehen. Dabei wird C = transparentes Pixel Grün weggelassen und kann berechnet werden. In das transparente Pixel fällt nun bei eingeschaltetem Filter die in grün umgewandelte IR-Lichtintensität weiterhin mit reinem Licht ein. Dadurch erhält dieses Pixel etwa das 4-fache des Lichtes, als wäre es nur grün. Der Inhalt kann wieder rückwärts berechnet werden.
-
Filter ist eingeschaltet: C(t1) = G+IR +R+B+(-R-B) = G+IR C(t1) als transparentes Pixel zum Zeitpunkt t1: hier können die Daten von den roten und blauen Pixeln subtrahiert werden und es verbleiben nur das grüne und das in grünes Licht umgewandelte Infrarotlicht.
-
Filter ist ausgeschaltet: C(t2) = G+R+B+(-R-B) = G C(t2) als transparenter Pixel zum Zeitpunkt t2: Hier lassen sich die grünen Anteile des sichtbaren Lichts von dem umgewandelten Infrarotlicht unterscheiden, das ebenfalls grün erscheint.
-
Da das Filter x-mal pro Sekunde aus- und eingeschaltet wird, sind bei x Elementen der natürlichen Zahlen die Informationen von C an der Position t1 und an der Position t2 bekannt und können so von zusätzlichen Informationen im Grün unterschieden werden, ob es sich um IR-Licht oder reales Grün handelt. So kann das Bild so verarbeitet werden, dass es für das menschliche Auge ansprechend ist und nur die IR-Informationen angezeigt werden, die bei Nacht eine Gefahr darstellen könnten.
-
Die Filtertechnik schaltet das IR-Bild mit einer definierten Wiederholrate abwechselnd ein und aus. Dadurch können das IR-Bild und das sichtbare Bild abwechselnd im Verhältnis 1:1 übertragen werden. Bei Dämmerungsbedingungen kann das Verhältnis der Bildwiederholrate von 1:1 geändert werden. Bei leichter Dunkelheit könnte das Verhältnis IR zu Sichtbar z.B. 1:4 betragen und dann, je nach Dämmerung, in Richtung 1:1 zurückgehen. Die Filterfrequenz (oder das Schaltverhältnis) zum Schalten muss mindestens der Bildwiederholfrequenz des Chips (Bilderfassungsgerät) entsprechen. Zusätzlich kann eine externe Lichtquelle 41, z.B. im Frontscheinwerfer, eine IR-Lichtquelle 41 mit z.B. 1050 nm emittieren. Sowohl der Frontbereich als auch der Front-/Seitenbereich sollte beleuchtet werden. Damit lassen sich bessere Ergebnisse mit dem IR-Filter 13 im NIR-Bereich erzielen. Auch eine Synchronisation mit der Frequenz des Konversionsfilters 12 ist möglich, so dass der IR-Strahler nur dann Licht emittiert, wenn das IR-Konversionsfilter 12 aktiv ist (z.B. 30 Hz oder 60 Hz etc.).
-
Das Detektionssystem 1 gemäß einer der oben genannten Ausführungsformen kann ferner eine Bildabgleichseinheit 43 umfassen, die so angepasst ist, dass sie die in einem eingeschalteten Zustand des Konvertierungsfilters 12 erfassten Bilder mit Bildern vergleicht, die in einem ausgeschalteten Zustand des Konvertierungsfilters erfasst wurden, wobei kritische Objekte 50 von unkritischen Objekten unterschieden und daher durch Vergleich eines Kontrastes zwischen beiden Bildern identifiziert werden, wobei Objekte 50, die sich relativ zu einer Bewegungsrichtung des Fahrzeugs 40 bewegen, beim Vergleich mit dem ausgeschalteten Zustand des Konvertierungsfilters 12 weniger Kontrast im Bild zeigen. Woran erkennt man, ob ein Objekt mit dem bloßen Auge schwer oder unmöglich zu erkennen ist? Vergleicht man das IR-Bild mit dem sichtbaren Bild, so muss das Objekt, das sich in Richtung der betreffenden Fahrbahn bewegt, eine signifikant geringere Pixelzahl (Kontrast) als dies des IR-Bildes aufweisen. Wenn ein solches Objekt erkannt werden kann, wird es aus dem IR-Bild in das visuelle Bild eingeblendet. Der Vorteil hierbei liegt darin, dass nur Objekte im IR-Bereich sichtbar gemacht werden, die auch eine latente Gefahr darstellen und keine willkürlichen Wildtiere im Wald, die einfach nur in Straßennähe grasen. Außerdem kann um das durch IR sichtbar gemachte Objekt ein Quadrat gezogen werden, um das Objekt zu identifizieren, das mit dem bloßen Auge nur schwer oder gar nicht zu erkennen ist. Deshalb kann die Bildabgleichseinheit die identifizierten Objekte in das sichtbare Bild übertragen, um die kritischen Objekte zu markieren und einen Betrachter über vorhandene kritische Objekte zu informieren, oder die Bildabgleichseinheit kann sogar einen Rahmen um jedes der markierten Objekte anzeigen, um das vorhandene kritische Objekt im sichtbaren Bild zu verstärken.
-
4 zeigt ein Fahrzeug 40 mit dem erfindungsgemäßen Erfassungssystem 1, um den Fahrer 60 des Fahrzeugs 40 über kritische Objekte 50 zu informieren. Das genannte Fahrzeug 40 umfasst eine IR-Lichtquelle 41, um eine Szenerie zumindest unter problematischen Sichtbedingungen auszuleuchten. Alternativ zur aktiven Beleuchtung kann auch Restwärmeerkennung eingesetzt werden. Die IR-Lichtquelle 41 kann mit einer Frequenz ein- und ausgeschaltet werden, die mit einer Schaltfrequenz des Konversionsfilters korreliert. 4 zeigt ferner, dass die IR-Lichtquelle 41 in eine Frontleuchtenbaugruppe des Fahrzeugs 40 integriert ist. Das Fahrzeug 40 umfasst ferner eine Anpassungseinheit 43 und eine Anzeigeeinheit 42 zur Verarbeitung und Betrachtung des vom Kamerasystem 10 gelieferten Bildes.
-
Die hier gezeigten Ausführungsformen sind nur Beispiele für die vorliegende Erfindung und dürfen daher nicht als einschränkend verstanden werden. Alternative Ausführungsformen, die vom Fachmann in Betracht gezogen werden, fallen ebenfalls in den Schutzbereich der vorliegenden Erfindung.
-
Bezugszeichenliste
-
- 1
- Erkennungssystem nach der vorliegenden Erfindung
- 10
- Kamera-System
- 11
- Bilderfassungseinheit
- 12
- Konversionsfilter
- 13
- IR-Filter
- 14
- Linsensystem
- 15
- Blende
- 16
- Strahlengang
- 17
- Linse
- 20
- LED mit IR-Filter
- 21
- Anodenschicht
- 22
- HBL
- 23
- IR absorbierende Schicht
- 24
- HTL
- 25
- EML
- 26
- ETL
- 27
- Kathodenschicht
- 30
- RCCB
- 31
- Erstes Segment
- 32
- Zweites Segment
- 33
- Drittes Segment
- 34
- Viertes Segment
- 40
- Fahrzeug nach der vorliegenden Erfindung
- 41
- Lichtquelle
- 42
- Anzeige
- 43
- Bildabgleichseinheit
- 50
- Objekt
- 60
- Fahrer