-
Die vorliegende Erfindung betrifft ein Verfahren zur Aufnahme von Infrarot- und Farbbildern mit einem einzigen Bildsensor sowie eine Vorrichtung, eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.
-
Hintergrund der Erfindung
-
Kamerasysteme zur situationsabhängigen Aufzeichnung von Infrarotbildern und Bildern im sichtbaren Spektralbereich sind beispielsweise in der
US 2017/140221 A1 und der
US 10,547,783 B2 beschrieben.
-
Offenbarung der Erfindung
-
Erfindungsgemäß werden ein Verfahren und ein Kamerasystem zur Aufnahme von Infrarot- und Farbbildern sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.
-
Kamerasysteme können zur Aufzeichnung von Bildinformationen aus verschiedenen Spektralbereichen des Lichts, beispielsweise einem Infrarotbereich und einem sichtbaren Spektralbereich, verwendet werden. Zur Aufzeichnung von Bildern im sichtbaren Spektralbereich werden häufig Bildsensoren mit einem sogenannten Bayer-Pattern, also Sensoren, die verschiedene Sensorpixel mit jeweiligen Sensitivitätsmaxima im blauen, grünen und roten Spektralbereich des sichtbaren Lichts umfassen. In der Regel weisen diese Sensorpixel auch jeweils ein Sensitivitätsnebenmaximum im Infrarotbereich auf. Wird ein solches Kamerasystem exklusiv zur Aufnahme von Bildern im sichtbaren Spektralbereich verwendet, so kann durch entsprechende Vorfilterung des einfallenden Lichts eine Beeinflussung der Bildqualität durch infrarotes Störlicht vermieden werden.
-
Umgekehrt können dedizierte Kamerasysteme zur Aufnahme von Infrarotbildern (beispielsweise Wärmebildkameras) einen Sensor umfassen, der nur aus einem Typ Sensorpixeln, die im infraroten Spektralbereich sensitiv sind, aufgebaut sein kann. Es kann auch in solchen IR-Kamerasystemen eine gewisse Sensorempfindlichkeit im sichtbaren Spektralbereich vorhanden sein, die durch entsprechende Vorfilterung des einfallenden Lichts kompensiert werden kann.
-
Soll ein Kamerasystem jedoch für die Aufnahme von Bildern sowohl im infraroten als auch im sichtbaren Spektralbereich verwendet werden, kann eine solche Globalfilterung nicht erfolgen, da sonst jeweils ein Spektralbereich nicht zur Verfügung stehen würde. Es können daher beispielsweise Filter auf Sensorpixelebene verwendet werden, die so ausgestaltet sind, dass jedes Infrarotsensorpixel mit einem Filter versehen ist, der sichtbares Licht blockiert. Solche Sensorpixel können zwischen den Farbpixeln eines Bildsensors mit Bayer-Muster angeordnet sein („RGB-IR-Bildsensor“) und können ein Infrarotbild mit verminderter Auflösung erzeugen, wobei der Infrarotlichtanteil, der die Signale der farbsensitiven Sensorpixel beeinflusst, in solchen Anordnungen aus benachbarten Infrarotsensorpixeln interpoliert und entsprechend kompensiert werden kann.
-
Ein erfindungsgemäßes Verfahren zur Aufnahme von Infrarot- und Farbbildern mit einem einzigen Bildsensor umfasst, in einem ersten Aufnahmemodus, ein Schalten eines ersten Spektralfilters, der für elektromagnetische Strahlung im sichtbaren Spektralbereich transparent und für elektromagnetische Strahlung im Infrarotbereich opak ist, in einen Strahlengang vor dem Bildsensor und ein Erfassen eines Sensorsignals des Bildsensors als ein VIS-Signal, wenn der erste Spektralfilter in den Strahlengang geschaltet ist, und, in einem zweiten Aufnahmemodus, ein Schalten eines zweiten Spektralfilters, der für elektromagnetische Strahlung im sichtbaren Spektralbereich opak und für elektromagnetische Strahlung im Infrarotbereich transparent ist, in den Strahlengang vor dem Bildsensor und ein Erfassen des Sensorsignals des Bildsensors als ein IR-Signal, wenn der zweite Spektralfilter in den Strahlengang geschaltet ist, wobei in dem ersten Aufnahmemodus der zweite Spektralfilter nicht in den Strahlengang geschaltet ist und in dem zweiten Aufnahmemodus der erste Spektralfilter nicht in den Strahlengang geschaltet ist. Dabei wird wenigstens einmal pro Zeiteinheit in den ersten Aufnahmemodus und in den zweiten Aufnahmemodus geschaltet bzw. gewechselt. Insbesondere wird zumindest einmal, zweimal, zehnmal, 25, 50 oder 100 mal pro Zeiteinheit in den ersten Aufnahmemodus und in den zweiten Aufnahmemodus geschaltet. Als Zeiteinheit kann insbesondere eine Sekunde dienen. Dadurch können parallel sowohl ein für das menschliche Auge insbesondere kontinuierliches Farbvideo als auch ein für das menschliche Auge insbesondere kontinuierliches Infrarotvideo aufgenommen werden. Dies ermöglicht eine besonders kostengünstige Aufnahme von Bildern, die für menschliche Interaktion nutzbar sind, parallel zu einer Aufnahme von Bildern, die für maschinelle Auswertung optimiert sind, da nur ein einziges Kamerasystem und geringer Rechenaufwand zur Realisierung erforderlich sind. Außerdem steht für jedes Bild die komplette Auflösung des Bildsensors zur Verfügung, was sich positiv auf die Bildqualität auswirkt.
-
Die Verweildauer des Verfahrens in einem Aufnahmemodus ist dabei zumindest so lang, dass ein Bild bzw. ein Frame in dem jeweiligen Aufnahmemodus aufgenommen werden kann bzw. wird. Sie kann jedoch auch so bemessen sein, dass jeweils während einer ununterbrochenen Verweildauer in dem jeweiligen Aufnahmemodus mehrere entsprechende Bilder aufgenommen werden, bevor der Aufnahmemodus gewechselt wird. Dabei können die jeweiligen Verweildauern in dem ersten und zweiten Aufnahmemodus gleich oder unterschiedlich lang sein.
-
Bevorzugt wird dabei jeweils nach Aufnahme einer vorbestimmten Anzahl von Bildern, insbesondere nach Aufnahme eines, zweier, dreier, vier oder fünf Bilder, zwischen dem ersten und dem zweiten Aufnahmemodus gewechselt und/oder umgekehrt. Dadurch können beide Bildtypen (IR und VIS) in einer jeweils benötigten Frequenz erfasst werden, so dass synchron zueinander beide Videotypen zur Verfügung stehen. Besonders bevorzugt ist das abwechselnde Aufnehmen jeweils eines Bildes in dem ersten und dem zweiten Aufnahmemodus.
-
Der Bildsensor ist vorteilhafterweise aus einer Vielzahl an Sensorpixeln aufgebaut, die zumindest erste, zweite und dritte Sensorpixel mit einem jeweiligen Sensitivitätsmaximum in einem Spektralbereich bei einer Wellenlänge zwischen 450 und 490 nm (Blau), zwischen 510 und 550 nm (Grün) bzw. zwischen 580 und 620 nm (Rot) umfassen, wobei die ersten, zweiten und dritten Sensorpixel alle eine zusätzliche Sensitivität (insbesondere von mehr als 20% Quanteneffizienz bzw. Quantenausbeute) in einem Spektralbereich oberhalb von 750 nm (IR) aufweisen und in dem Bildsensor zueinander geordnet angeordnet sind. Dadurch kann jedes Sensorpixel für seinen spezifischen Farbbereich und zugleich für IR-Aufnahme genutzt werden, so dass hochaufgelöste Bilder in beiden Bildtypen erfasst werden können.
-
Die Grenze zwischen sichtbarem und infrarotem Spektralbereich im hier verwendeten Sprachgebrauch sei hier nicht absolut definiert und sollte sich an den Empfindlichkeiten der Farb- und der IR-Pixel bzw. dem gewünschten zu detektierenden Wellenlängenbereich innerhalb der jeweiligen Spektralbereiche orientieren. Zum Beispiel kann bei dem hier beschriebenen System mit einem Standard-Farbbildsensor die Transmission sichtbaren Lichts bis auf etwa 700nm begrenzt sein, und die Infrarotlicht-Transmission ab etwa 800nm beginnen. Falls die Szene aktiv mit Infrarotlicht beleuchtet wird, kann die Grenzwellenlänge vorteilhafterweise in Abhängigkeit von der Beleuchtungswellenlänge gewählt werden.
-
Die Ordnung der Sensorpixel in dem Bildsensor entspricht dabei bevorzugt einem Bayer-Muster. Dies stellt einen besonders weit verbreiteten Sensortyp dar, so dass auf Standardbauteile mit den entsprechenden vorteilhaften Skaleneffekten zurückgegriffen werden kann.
-
Vorteilhafterweise werden der erste und der zweite Spektralfilter als ein gemeinsames Filterelement bereitgestellt. Dadurch erfordert ein Wechsel zwischen den beiden Erfassungsmodi (IR bzw. VIS) lediglich die Manipulation eines einzigen Filterelements, wodurch sich Vorteile in der Betriebszuverlässigkeit ergeben.
-
Das Bereitstellen des gemeinsamen Filterelements umfasst dabei insbesondere ein Schalten eines schaltbaren Filters, wobei das Schalten ein selektives Beeinflussen der Transmissionseigenschaften des schaltbaren Filters umfasst. Beispielsweise kann das gemeinsame Filterelement in Form eines schaltbaren Glases bereitgestellt werden, das abhängig von einer jeweiligen Ansteuerung unterschiedliche Transmissionseigenschaften im infraroten und sichtbaren Spektralbereich elektromagnetischer Strahlung aufweist. Dadurch sind keine beweglichen Komponenten zur Realisierung eines solchen Verfahrens erforderlich, was Verschleißverhalten und damit Lebensdauer eines dazu verwendeten Systems erhöht. Besonders vorteilhaft kann dabei der jeweilige Spektralbereich auch durch Veränderung von Ansteuerparametern fein auf äußere Einflussgrößen abgestimmt werden, beispielsweise Lichtverhältnisse oder die Wellenlänge einer externen Beleuchtungseinheit. Insbesondere kann zwischen verschiedenen Transmissionszuständen des Filterelements umgeschaltet werden, wobei elektrochrome, thermochrome und/oder photochrome Effekte ausgenutzt werden können. Auch eine Verwendung von sog. „suspended particle devices“ (SPDs, engl. für Partikelsuspensionsgeräte), Mikroblenden bzw. „micro blinds“, Flüssigkristallgläsern, polymerdispergierten Flüssigkristallgläsern oder - in Mehrschichtsystemen - beliebiger Kombinationen daraus kann vorgesehen sein.
-
Unabhängig von der Ausgestaltung des Filterelements kann ein VIS-Signal (bzw. Farbbild) zu einem zweiten Zeitpunkt aus einem VIS-Signal zu einem ersten Zeitpunkt und einem IR-Signal (bzw. IR-Bild) zu dem zweiten Zeitpunkt gewonnen werden, wobei der zweite Zeitpunkt nach dem ersten Zeitpunkt liegt. Dadurch kann die Anzahl der zur Erzeugung der beiden Videosignale nötigen Wechsel zwischen erstem und zweitem Aufnahmemodus erheblich reduziert werden. Beispielsweise können nach Aufnahme eines Bildes im sichtbaren Spektralbereich 10, 20, 30, 50 bis 100 Bilder im infraroten Spektralbereich aufgenommen werden und die sich aus dem einen VIS-Bild ergebenden Farben den sich aus den IR-Bildern ergebenden Graustufen zugeordnet werden. Dies ist insbesondere dann vorteilhaft, wenn das IR-Signal mit einer höheren Bildrate benötigt wird, als das VIS-Signal.
-
Ein erfindungsgemäßes Kamerasystem zur Aufnahme von Infrarot- und Farbbildern umfasst einen einzigen Bildsensor und zumindest ein Filterelement, das zum spektralen Filtern von Licht in einem Strahlengang vor dem Bildsensor eingerichtet ist, und Mittel, die dem Kamerasystem die Durchführung einer Ausgestaltung des erfindungsgemäßen Verfahrens ermöglichen.
-
Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät einer Kamera ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.
-
Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.
-
Figurenliste
-
- 1 zeigt eine Anordnung von Sensorpixeln, wie sie in einem Bildsensor im Rahmen der vorliegenden Erfindung verwendet werden kann, sowie ein Diagramm zugehöriger spektraler Sensorempfindlichkeiten.
- 2 zeigt schematisch eine beispielhafte Anordnung von optischen Komponenten und einer Recheneinheit, wie sie im Rahmen der vorliegenden Erfindung verwendet werden kann.
- 3 zeigt eine schematische Repräsentation verschiedener Schaltzustände eines Filterelements, wie es in Verbindung mit der vorliegenden Erfindung zum Einsatz kommen kann.
- 4 zeigt eine vorteilhafte Ausgestaltung eines erfindungsgemäßen Verfahrens in Form eines schematischen Flussdiagramms.
-
Ausführungsform(en) der Erfindung
-
In 1 ist eine Anordnung von Sensorpixeln, wie sie in einem Bildsensor im Rahmen der vorliegenden Erfindung verwendet werden kann, schematisch dargestellt und insgesamt mit 100 bezeichnet. Die Anordnung 100 stellt dabei einen Ausschnitt aus einem Bildsensor dar, der aus vielen dieser kleinsten Wiederholeinheiten in zweidimensionaler Anordnung gebildet wird. Die dargestellte Anordnung 100 wird insgesamt aus vier Sensorpixeln gebildet, die in dem dargestellten Ausschnitt in einem Quadrat derart angeordnet sind, dass ein Rotsensorpixel R an zwei Grünsensorpixel G angrenzt und ein Blausensorpixel B ebenfalls an die beiden Grünsensorpixel G angrenzt. In dem Bildsensor ergibt sich durch die vielfache Wiederholung dieses Ausschnitts eine Anordnung, in der jedes Rotsensorpixel R und jedes Blausensorpixel B an allen vier Seiten an Grünsensorpixel G angrenzt, wohingegen jedes Grünsensorpixel von zwei sich gegenüberliegenden Blausensorpixeln B und zwei sich gegenüberliegenden Rotsensorpixeln R umgeben ist. Eine derartige Anordnung der Sensorpixel in dem Bildsensor wird auch als Bayer-Muster bzw. Bayer-Pattern bezeichnet. In einem derartigen Bildsensor sind also jeweils halb so viele Rotsensorpixel R und Blausensorpixel B wie Grünsensorpixel G vorhanden. Dies ist aus dem Grund vorteilhaft, da das menschliche Auge in einem grünen Spektralbereich besonders empfindlich ist, wodurch dieser Spektralbereich von entscheidender Bedeutung für eine für menschliche Betrachtung farbechte Bildwidergabe ist.
-
1 enthält ferner ein Diagramm spektraler Sensorempfindlichkeiten, das insgesamt mit 150 bezeichnet ist. Darin ist die jeweilige Quanteneffizienz bzw. Quantenausbeute QE (Ordinate) für Rotsensorpixel R, Grünsensorpixel G und Blausensorpixel B gegen die Wellenlänge Ä (Abszisse) eingestrahlten Lichts in normierter Form aufgetragen. Unterhalb der Abszisse sind Bereiche des für das menschliche Auge sichtbaren Lichts VIS und des infraroten Lichts IR angedeutet.
-
In dem Diagramm 150 zeigt sich deutlich, dass alle drei verschiedenen Sorten Sensorpixel im Infraroten IR ein lokales Empfindlichkeitsmaximum haben, wobei das jeweilige absolute Empfindlichkeitsmaximum im sichtbaren Spektralbereich VIS liegt. Die Empfindlichkeitsmaxima der Sensorpixel R, G, B im infraroten Spektralbereich IR sind nahezu gleich stark ausgeprägt, während die Maxima im sichtbaren Spektralbereich VIS zumindest für Blausensorpixel B niedriger ausfallen als für die anderen beiden Sensorpixeltypen R, G. Daraus ergibt sich, dass der Bildsensor mit einer Struktur wie in der Anordnung 100 im infraroten Spektralbereich ohne komplizierte Umrechnung von Intensitäten der einzelnen Sensorpixelsignale zur Erzeugung von IR-Bildern verwendet werden kann. Im sichtbaren Spektralbereich VIS kann es gegebenenfalls erforderlich sein, ein Ausgangssignal der Blausensorpixel B leicht zu verstärken, um zu einer die realen Intensitätsverhältnisse widerspiegelnden Bildintensitätsverteilung zu gelangen.
-
Statt eines solchen CMOS-RGGB-Bildsensors, wie eben beschrieben, könnte ein beliebiger anderer Bildsensor mit beliebigem anderen „Color filter array“ verwendet werden (etwa Kombinationen aus Rot-, Grün-, Blau, Cyan-, Yellow-, Magenta-, Clear-Pixeln). Wichtig ist allein, dass die Farbpixel sowohl bei ihrer vorgesehenen Farbe als auch im infraroten Spektralbereich empfindlich sind, wobei die Infrarotempfindlichkeit der Farbpixel möglichst gleich sein sollte.
-
Wird ein Bild in einer Situation, in der neben sichtbarem Licht auch infrarotes Licht auf den Bildsensor gelangt, aufgenommen, ergibt sich grundsätzlich die Problematik, dass das IR-Licht als Störlicht alle Sensorpixel R, G, B beeinflusst, so dass eine Szene, die für das menschliche Auge völlig schwarz wäre, ein graues Bild ergäbe. Der Einfluss des IR-Lichts wäre dabei für alle Sensorpixel nahezu identisch, so dass sich im Wesentlichen kein Farbstich dadurch ergäbe.
-
In 2 ist eine beispielhafte Anordnung von optischen Komponenten und einer Recheneinheit, wie sie im Rahmen der vorliegenden Erfindung verwendet werden kann, schematisch dargestellt und insgesamt mit 200 bezeichnet. Die Anordnung 200 kann insbesondere eine Kamera sein. Die dargestellte Kamera 200 umfasst einen Bildsensor 220, beispielsweise einen Bildsensor mit Sensorpixeln in einer Anordnung im Bayer-Muster, wie sie in Bezug auf 1 erläutert wurde. Dem Bildsensor 220 vorgelagert ist ein Objektiv 210 angeordnet, das eingestrahltes Licht derart bricht, dass die Bildebene sich möglichst exakt in einer Ebene, in der die Sensorpixel des Bildsensors 220 angeordnet sind, befindet. Das Objektiv 210 kann insbesondere als System aus mehreren Linsen ausgebildet sein, wobei die mehreren Linsen relativ zueinander bewegbar sein können, um die Bildebene mit der Sensorebene zur Deckung zu bringen. Das Objektiv ist so ausgestaltet, dass sowohl sichtbares als auch infrarotes Licht gezielt gebrochen werden kann. In dem Strahlengang durch die Kamera 200 dem Bildsensor vorgelagert ist ferner zumindest ein Filterelement 230 angeordnet. In 2 sind dabei zwei zueinander alternative Positionen für das Filterelement 230 angedeutet. Vorteilhafterweise wird das Filterelement nur in einer der dargestellten Positionen angeordnet.
-
Das Filterelement 230 ist derart ausgebildet, dass es auf eingestrahltes Licht auf verschiedene Weise einwirken kann. Es kann in verschiedene Zustände geschalten werden, so dass aus dem eingestrahlten Licht durch das Filterelement 230 beispielsweise sichtbares Licht VIS absorbiert wird, während infrarotes Licht IR durch das Filterelement 230 transmittiert wird oder umgekehrt.
-
Die Kamera 200 umfasst zudem eine Recheneinheit 240, die beispielsweise als Mikrocomputer ausgebildet sein kann. Im Betrieb wird durch den Bildsensor 220 detektiertes Licht in elektrische Signale umgewandelt, wobei jedes Sensorpixel R, G, B des Bildsensors 220 ein Einzelsignal erzeugen kann. Das aus solchen Einzelsignalen gebildete Bildsignal des Bildsensors 220 wird von der Recheneinheit 240 verarbeitet, beispielsweise mit Pixelempfindlichkeiten verrechnet, gespeichert und/oder zu Anzeigemitteln weitergeleitet. Ferner kann das Bildsignal von der Recheneinheit 240 dazu verwendet werden, das Objektiv 210 einzustellen, beispielsweise um die Bildebene mit der Sensorebene zur Deckung zu bringen („das Bild scharfzustellen“). Die Recheneinheit 240 ist ferner dazu eingerichtet, das Filterelement 230 zu steuern, also die Transmissionseigenschaften, die das Filterelement 230 in dem Strahlengang durch die Kamera 200 aufweist, zu beeinflussen.
-
In einem Ausführungsbeispiel kann das Filterelement beispielsweise mehrere Spektralfilter aufweisen, die durch eine Bewegung des Filterelements 230 senkrecht zum Strahlengang, beispielsweise eine Rotation in einer Ebene senkrecht zum Strahlengang, wahlweise in den Strahlengang eingebracht werden können. In einer solchen Ausgestaltung ist die Recheneinheit dazu eingerichtet, diese Bewegung des Filterelements senkrecht zum Strahlengang zu steuern, insbesondere durch Ansteuerung von Aktoren (nicht dargestellt), die mit dem Filterelement 230 verbunden sind. Dadurch kann beispielsweise ein Spektralfilter, der für sichtbares Licht VIS transparent und für infrarotes Licht IR opak ist, in den Strahlengang eingebracht werden, um ein Bild aufzunehmen, das nur durch sichtbares Licht VIS hervorgerufen wird. Durch vorteilhafte Auswahl des entsprechenden Filtermaterials kann dadurch ein sehr farbechtes Bild erzeugt werden. Dazu wird bevorzugt ein Filtermaterial ausgewählt, das einen sehr hohen Transmissionsgrad im sichtbaren Spektralbereich und eine sehr hohe Opazität im infraroten Spektralbereich aufweist (sog. IR-cut-Filter). Soll hingegen ein Bild aufgenommen werden, das eine Intensitätsverteilung im infraroten Spektralbereich IR widerspiegelt, kann ein entsprechend im infraroten Spektralbereich transparentes und im sichtbaren Spektralbereich opakes Filtermaterial (sog. VIS-cut-Filter) verwendet werden. Dadurch wird verhindert, dass sichtbares Licht die Intensitätsverhältnisse im Infrarotbereich verfälscht.
-
Vorteilhafterweise wird das Filterelement 230 derart bereitgestellt, dass sowohl ein entsprechender IR-cut-Filter als auch ein VIS-cut-Filter in einer gemeinsamen Ebene in einem Bauteil miteinander gekoppelt sind, so dass bei einer Bewegung des Filterelements 230 in der gemeinsamen Ebene und senkrecht zu dem Strahlengang durch die Kamera 200 jeweils nur einer der beiden cut-Filter in dem Strahlengang angeordnet werden kann.
-
Es können je nach gewünschten Filteroptionen auch noch weitere Filter in dem Filterelement 230 vorgesehen sein. Insbesondere kann es vorteilhaft sein, wenn ein Filtermaterial auswählbar ist, das sowohl IR-Licht als auch VIS-Licht passieren lässt oder eines, das weder IR-Licht noch VIS-Licht transmittiert. Dadurch kann in dem einen Fall ein Gesamtintensitätsbild aufgenommen werden, in dem anderen kann das entsprechend angeordnete Filterelement 230 als Blende bzw. Shutter verwendet werden.
-
In einem anderen Ausführungsbeispiel ist das Filterelement 230 in Form eines schaltbaren Glases bereitgestellt, dessen optische Eigenschaften, insbesondere dessen wellenlängenabhängige Transmission bzw. Opazität, steuerbar ist. Beispielsweise kann dazu ein elektrisch, thermisch oder photonisch schaltbares Glas verwendet werden. Auch die Verwendung von SPDs, Mikroblenden, Flüssigkristallgläsern, polymerdispergierten Flüssigkristallgläsern oder Kombinationen daraus kann vorteilhaft sein. In einem Fall, in dem ein solches oder ähnliches schaltbares Glas als Filterelement 230 verwendet wird, ist die Recheneinheit 240 dazu eingerichtet, das schaltbare Glas des Filterelements 230 entsprechend gewünschter Transmissionseigenschaften zu steuern bzw. zu schalten. So können in analoger Weise zu dem oben beschriebenen Vorgehen Bilder in einem sichtbaren, infraroten oder beiden Spektralbereichen aufgenommen werden. Auch kann das schaltbare Glas einen Schaltzustand aufweisen, in dem es weder im infraroten IR- noch im sichtbaren VIS-Spektralbereich transparent ist, so dass auch das schaltbare Glas als Shutter verwendbar ist.
-
Je nachdem, welche Schaltzustände mit einem solchen schaltbaren Glas realisierbar sind, kann auch ein monochromer Bildsensor verwendet werden, und die Schaltzustände des Filterelements 230 so durchgewechselt werden, dass sich jeweils eine Gesamtempfindlichkeit des monochromen Filters ergibt, die im Wesentlichen einer der in dem QE-Diagramm 150 in 1 dargestellten Kurven entspricht. Mit anderen Worten kann mittels des Filterelements 230 jeweils ein transmittierter Wellenlängenbereich eingestellt werden, der alle Sensorpixel eines monochromen Bildsensors zu Blausensorpixeln B, Rotsensorpixeln R, Grünsensorpixeln G oder Infrarotsensorpixeln umfunktioniert. Mit einer entsprechend hohen Schaltfrequenz kann so ein sehr hochaufgelöstes und sehr farbechtes Bild im sichtbaren Spektralbereich VIS aufgezeichnet werden, da für jeden Farbkanal in einer solchen Konfiguration alle Sensorpixel zur Verfügung stehen. Parallel dazu kann wie oben beschrieben ein Infrarotbild bzw. -video aufgezeichnet werden.
-
Die verschiedenen möglichen Schaltzustände eines solchen Filterelements 230 sind in 3 schematisch dargestellt. In einem Zustand (a) ist das Filterelement 230 in dem Strahlengang durch die in Bezug auf 2 beschriebene Kamera 200 so angeordnet bzw. geschaltet, dass sichtbares Licht VIS geblockt wird, während infrarotes Licht IR transmittiert wird. Das Blocken von Licht eines bestimmten Spektralbereichs kann generell durch Absorption, Beugung, Reflexion oder einer Kombination daraus erfolgen.
-
In einem Zustand (b) ist das Filterelement 230 derartig angeordnet bzw. geschaltet, dass sichtbares Licht VIS transmittiert wird, während Infrarotlicht IR geblockt wird.
-
Die Zustände (a) und (b) sind dabei in einer erfindungsgemäßen Vorrichtung 200 jeweils wählbar.
-
In 3 sind noch zwei weitere Zustände des Filterelements 230 dargestellt, die optional ebenfalls eingenommen werden können, wie bereits oben beschrieben. Ein Zustand (c) beschreibt dabei eine Situation, in der sowohl sichtbares VIS als auch infrarotes Licht IR das Filterelement passieren kann. Ein Zustand (d) beschreibt hingegen eine Einstellung des Filterelements 230, in der sowohl sichtbares VIS als auch infrarotes Licht IR geblockt durch das Filterelement 230 werden.
-
Die im Rahmen dieser Erfindung verwendeten Filterelemente 230 zeichnen sich insbesondere dadurch aus, dass sie zwischen den dargestellten Zuständen (a) und (b) (und optional auch den Zuständen (c) und (d)) sehr schnell umgeschaltet werden können. Insbesondere ist vorgesehen, dass beispielsweise die Schaltzeiten so kurz sind, dass für das menschliche Auge flüssige Videoaufzeichnung im sichtbaren Spektralbereich VIS und simultan alternierend dazu auch im infraroten Spektralbereich IR realisiert werden kann. Dabei wird beispielsweise nach jeder Aufzeichnung eines Bildes in dem einen Spektralbereich das Filterelement umgeschaltet, so dass es in dem entsprechenden anderen Spektralbereich transmittiert. Beispielsweise wird also ein Filterelement 230 in Form eines schaltbaren Glases von Zustand (a) nach Aufnahme eines Einzelbildes im Infrarotbereich IR in den Zustand (b) umgeschaltet. Nach erfolgter Umschaltung wird ein Einzelbild im sichtbaren Spektralbereich VIS aufgenommen, wonach das Filterelement 230 erneut in den Zustand (a) geschaltet wird und so fort. Auf diese Weise ist es durch die kurzen Schaltzeiten von wenigen Millisekunden möglich, ein flüssiges VIS-Video-Signal und parallel dazu ein zeitlich um einen Bildaufnahmezyklus versetztes flüssiges IR-Video-Signal zu erzeugen, ohne einen weiteren Bildsensor 220 bereitzustellen. Dabei können Aufnahmefrequenzen von über 1, 10, 24, 30, 60 bis 100 oder mehr Bildern pro Sekunde (engl. frames per second, fps) in jedem der Aufnahmemodi realisiert werden. Es ist selbstverständlich auch möglich, jeweils mehrere Einzelbilder in Folge im sichtbaren Spektralbereich aufzunehmen, bevor in den infraroten Spektralbereich gewechselt wird, und/oder umgekehrt. Beispielsweise können auch jeweils ein Bild im sichtbaren Spektralbereich und eine Vielzahl an Bildern im Infrarotbereich aufgenommen werden. Die zur Trennung der beiden Videosignale erforderliche Software ist sehr einfach, da jeweils nur das entsprechende Bild dem jeweils eingestellten Zustand (a), (b) entsprechenden Modus zugeordnet werden muss.
-
Insbesondere in Ausgestaltungen, in denen das Verfahren jeweils länger in dem zweiten (IR) Aufnahmemodus verweilt als in dem ersten (VIS) Aufnahmemodus, kann es vorgesehen sein, dass auf Basis eines zunächst aufgenommen Bildes im sichtbaren Spektralbereich die sich aus den nachfolgend aufgenommenen IR-Bildern ergebenden Graustufen bzw. Intensitätsflächen eingefärbt werden. So kann eine Anzeigefrequenz von Farbbildern erhöht werden, ohne die Aufnahmefrequenz von Bildern im sichtbaren Spektralbereich zu erhöhen. Vorteilhafterweise wird dabei in regelmäßigen Intervallen, beispielsweise jeweils nach 10, 20, 50 bis 100 IR-Einzelbildaufnahmen (frames), ein neues Bild im sichtbaren Spektralbereich aufgenommen, das nachfolgend als Grundlage für die Einfärbung verwendet wird.
-
In 4 ist eine solche vorteilhafte Ausgestaltung eines erfindungsgemäßen Verfahrens in Form eines schematischen Flussdiagramms dargestellt und insgesamt mit 400 bezeichnet.
-
Das Verfahren 400 beginnt mit einem ersten Aufnahmeschritt 410, in dem ein Bild im sichtbaren Spektralbereich aufgenommen wird. Dazu wird über einen Belichtungszeitraum der Bildsensor 220 mit Licht im sichtbaren Spektralbereich VIS bestrahlt und ein dabei erzeugtes Sensorsignal als VIS-Signal an die Recheneinheit 240 übermittelt.
-
In einem Aufnahmemodus-Wechselschritt 420 veranlasst die Recheneinheit 240 daraufhin das Filterelement 230 zu einem Wechsel des transmittierten Spektralbereichs. Beispielsweise wird dazu ein als schaltbares Glas ausgestaltetes Filterelement 230 so angesteuert, dass es nachfolgend Licht im infraroten Spektralbereich IR transmittiert und Licht im sichtbaren Spektralbereich VIS blockiert. Mit anderen Worten wird dadurch der eingangs erläuterte zweite Aufnahmemodus eingestellt.
-
In einem darauffolgenden zweiten Aufnahmeschritt 430 werden nacheinander ein oder mehrere Bilder im infraroten Spektralbereich aufgenommen, wobei für jedes Einzelbild jeweils ein IR-Signal von dem Bildsensor 220 an die Recheneinheit 240 übermittelt wird.
-
Nach jeder Aufnahme 430 eines I R-Bildes kann sich in dem dargestellten Beispiel ein Einfärbeschritt 440 anschließen, in dem aus dem direkt zuvor aufgezeichneten IR-Signal und dem zuletzt aufgezeichneten VIS-Signal ein VIS-Bild erzeugt wird, wobei die Farbinformation aus dem zuletzt aufgezeichneten VIS-Signal zum Zuordnen von Farbinformation zu der in dem IR-Signal enthaltenen Intensitätsinformation verwendet wird. Anschaulicher ausgedrückt wird dabei in dem Schritt 440 den Grauwerten des IR-Bildes die Farbe, die sich aus dem vorherigen VIS-Bild ergibt, zugeordnet, so dass das Grauwertbild des zweiten Aufnahmemodus in ein entsprechendes Farbbild umgerechnet wird.
-
In einem Schritt 450 wird nach einer vorbestimmten Anzahl von IR-Aufnahmezyklen der Aufnahmemodus erneut gewechselt, so dass das Filterelement 230 abermals sichtbares Licht VIS transmittiert und infrarotes Licht IR blockiert. Das Verfahren 400 kehrt anschließend zu dem Schritt 410 zurück.
-
Ein sehr geeigneter potentieller Anwendungsfall für ein derartiges Verfahren 400 ist ein sog. „Occupant Monitoring System“ (OMS, zu deutsch: „Insassen-Überwachungssystem“). Dabei wird eine Kamera 200 eingesetzt, um den Fahrzeuginnenraum eines (Kraft-)Fahrzeugs aufzunehmen, wobei einerseits eine Infrarotbild-Abfolge („Stream“), welcher für eine maschinelle Bildauswertung verwendet wird, als auch ein Farbbild-Stream (beispielsweise für Video-Konferenzen) verwendet werden kann.
-
Alternative Einsatzgebiete liegen überall dort, wo durch die Nutzung von Farb- und Infrarotinformation ein Mehrwert entsteht. Als Beispiele seien der Einsatz im Sicherheits-/Überwachungsbereich (Möglichkeit des Umschaltens der Überwachungskamera zwischen Tag- und Nachtmodus bzw. für simultane Auswertung durch Maschinensysteme und Sicherheitspersonal) oder im Inspektionsbereich genannt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2017140221 A1 [0002]
- US 10547783 B2 [0002]
