DE102020215413A1

DE102020215413A1 - Verfahren und Vorrichtung zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors und Bildverarbeitungseinrichtung

Info

Publication number: DE102020215413A1
Application number: DE102020215413.9A
Authority: DE
Inventors: Farid Khani; Andreas Weimer
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2022-06-09

Abstract

Ein Verfahren zum Erzeugen eines erweiterten Kamerabilds (140) wird unter Verwendung eines Bildsensors (110) ausgeführt, der ein Rotpixel (R) mit einem R-Farbfilterelement (125) zum Durchlassen von rotem Licht und Infrarotlicht, ein Blaupixel (B) mit einem B-Farbfilterelement (130) zum Durchlassen von blauem Licht und Infrarotlicht und/oder ein Grünpixel (G) mit einem G-Farbfilterelement (135) zum Durchlassen von grünem Licht und Infrarotlicht und eine die Pixel (B, G, R) abdeckende Filtereinrichtung (120) zum Durchlassen von rotem Licht und Infrarotlicht und zum Sperren von grünem Licht und/oder blauem Licht aufweist. Es wird ein den Farbwert (R+IR) repräsentierendes R-Farbsignal (170) von dem Rotpixel (R) eingelesen, ein G-Farbsignal (175) von dem an das Rotpixel (R) angrenzenden Grünpixel (G) eingelesen, wobei das G-Farbsignal (175) einen infraroten Grauwert (IR) repräsentiert, und ein interpolierter infraroter Farbwert (IR') unter Verwendung des infraroten und/oder des zusätzlichen infraroten Grauwerts (IR) generiert. Der interpolierte infrarote Farbwert (IR') wird ergänzend zu dem Farbwert (R+IR) verwendet, um das erweiterte Kamerabild (140) zu erzeugen.

Description

Stand der Technik
Der Ansatz geht von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche aus.
Der normierte differenzierte Vegetationsindex, kurz „NDVI“ (Normalized Difference Vegetation Index), ist ein Index, der die Bio-Masse, also den Pflanzenanteil, in einem Bild aufzeigt. Pflanzen reflektieren im roten Spektralbereich relativ wenig, im infraroten Spektralbereich dagegen relativ viel Strahlung. Zum Bestimmen des NDVI können bei der Beobachtung der Vegetation Kameras mit Bayer-Sensoren eingesetzt werden.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors und eine Vorrichtung zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors sowie eine Bildverarbeitungseinrichtung gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Verfahrens möglich.
Die mit dem vorgestellten Ansatz erreichbaren Vorteile bestehen darin, dass für eine Interpolation eines Farbwerts Referenzwerte von einem besonders großer Lichtkanal eines Bildsensors genutzt werden können, um ein Kamerabild mit einer guten Auflösung zu ermöglichen.
Es wird ein Verfahren zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors vorgestellt. Der Bildsensor weist zumindest ein Rotpixel mit einem R-Farbfilterelement zum Durchlassen von rotem Licht und Infrarotlicht auf. Ferner weist der Bildsensor zumindest ein an das Rotpixel angrenzendes Blaupixel mit einem B-Farbfilterelement zum Durchlassen von blauem Licht und Infrarotlicht und zusätzlich oder alternativ zumindest ein an das Rotpixel angrenzendes Grünpixel mit einem G-Farbfilterelement zum Durchlassen von grünem Licht und Infrarotlicht auf. Ferner weist der Bildsensor eine die Pixel abdeckende Filtereinrichtung zum Durchlassen von rotem Licht und Infrarotlicht und zum Sperren von grünem Licht und zusätzlich oder alternativ zum Sperren von blauem Licht auf. Das Verfahren umfasst einen Schritte des Einlesens, einen Schritt des Generierens und einen Schritt des Verwendens. In den Schritten des Einlesens wird ein den Farbwert repräsentierendes R-Farbsignal von dem Rotpixel eingelesen. Zudem wird ein G-Farbsignal von dem Grünpixel eingelesen, wobei das G-Farbsignal einen infraroten Grauwert repräsentiert. Zusätzlich oder alternativ wird ein B-Farbsignal von dem Blaupixel eingelesen, das einen zusätzlichen infraroten Grauwert repräsentiert. Im Schritt des Generierens wird ein interpolierter infraroter Farbwert unter Verwendung des infraroten Grauwerts und/oder des zusätzlichen infraroten Grauwerts generiert. Im Schritt des Verwendens wird der interpolierte infrarote Farbwert ergänzend zu dem Farbwert verwendet, um das erweiterte Kamerabild zu erzeugen.
Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
Das Rotpixel, Blaupixel und das zumindest eine, beispielsweise auch zwei oder mehr, Grünpixel können zusammen einen Bildpunkt des Bildsensors ausformen. Da die Filtereinrichtung lediglich blaues und grünes Licht sperrt, nicht aber rotes Licht, kann es sich bei dem Farbwert um einen Mischwert aus rotem Licht und Infrarotlicht handeln, welcher auf dem Rotpixel sensiert oder abgebildet wird.
Entsprechend kann das R-Lichtsignal als ein Rot-Infrarot-Mischlichtsignal verstanden werden. Das G-Lichtsignal hingegen kann lediglich einen Infrarotwert aufweisen, sodass es als ein Infrarotsignal verstanden werden kann. Ein von dem Blaupixel bereitgestelltes B-Lichtsignal kann ebenfalls lediglich einen Infrarotwert aufweisen und als Infrarotsignal verstanden werden. Unter Verwendung dieses Verfahrens kann vorteilhafterweise durch Interpolation des einem Mischfarbwert aufweisenden Farbwerts als das Kamerabild ein reines Infrarotbild erzeugt werden. Bei der Anordnung der Grünpixel, Rotpixel und Blaupixel kann es sich um jene Anordnung eines gängigen Bayer-Sensors handeln, bei dem die Grünpixel mindestens 50% der Pixel des Bildsensors ausmachen. Ein solcher Bayer-Sensor ist vorteilhafterweise günstig in der Beschaffung. Grüne Pflanzen reflektieren im Infrarotbereich bei einer Wellenlänge von etwa 700 bis 1300 nm relativ viel Strahlung. Bei einer Interpolation das Infrarotlicht des großen Lichtkanals der Grünpixel, im Folgenden auch „Grünkanal“ genannt, zu nutzen, ermöglicht ein besonders genaues Interpolationsergebnis und somit ein sehr detailliertes Kamerabild mit einer hohen Auflösung. Dies ist beispielsweise für die Detektion von speziell sehr kleinen Pflanzen in der Landwirtschaft hilfreich, um im Folgenden beispielsweise einen punktgenauen Einsatz von Herbiziden zu ermöglichen. Die Filtereinrichtung kann einen Dual-Bandpassfilter zum Durchlassen von rotem und infrarotem Licht und/oder einen Grünsperrfilter zum Sperren von grünem Licht und/oder einen Blausperrfilter zum Sperren von blauem Licht aufweisen.
Im Schritt des Einlesens kann zumindest ein weiteres G-Farbsignals von zumindest einem an das Rotpixel angrenzenden weiteren Grünpixel des Bildsensors eingelesen werden, wobei das weitere G-Farbsignal einen weiteren infraroten Grauwert repräsentiert, wobei im Schritt des Generierens der interpolierte infrarote Farbwert unter Verwendung ferner des weiteren infraroten Grauwerts generiert wird. Dies bietet sich an, wenn der Bildsensor zumindest zwei an das Rotpixel angrenzende Grünpixel aufweist. Wenn mehrere infrarote Grauwerte der umliegenden Grünpixel für die Interpolation genutzt werden, ermöglicht dies ein genaues Interpolationsergebnis.
Gemäß einer Ausführungsform kann im Schritt des Einlesens das den zusätzlichen infraroten Grauwert repräsentierende B-Farbsignal von dem Blaupixel eingelesenen werden. Im Schritt des Generierens kann der interpolierte infrarote Farbwert unter Verwendung des infraroten Grauwerts, des weiteren infraroten Grauwerts und des zusätzlichen infraroten Grauwerts generiert werden. Dies bietet sich an, wenn der Bildsensor zumindest zwei an das Rotpixel angrenzende Grünpixel und zumindest ein an das Rotpixel angrenzendes Blaupixel aufweist.
Wenn der Bildsensor sowohl zumindest ein Grünpixel als auch zumindest ein Blaupixel aufweist, kann das die Pixel abdeckende Filtereinrichtung zum Durchlassen von rotem Licht und Infrarotlicht und zum Sperren von grünem Licht und zum Sperren von blauem Licht ausgebildet sein.
Hierbei kann beispielsweise im Schritt des Generierens der interpolierte infrarote Farbwert als ein Mittelwert aus dem infraroten Grauwert und dem weiteren infraroten Grauwert und optional dem zusätzlichen Grauwert generiert werden. Dies schafft ein natürliches Mischergebnis.
Gemäß einer Ausführungsform können im Schritt des Einlesens das G-Farbsignal von dem Grünpixel und das weitere G-Farbsignal von dem weiteren Grünpixel eingelesen werden, die in derselben Zeile oder derselben Spalte angeordnet sind, oder die in unterschiedlichen Zeilen oder unterschiedlichen Spalten angeordnet sind. Bei der Interpolation eines Farbwerts eines Rotpixels, das ein Randpixel ist, können hierbei beispielsweise die infraroten Grauwerte von je einem über dem Rotpixel und unter dem Rotpixel angeordneten Grünpixel aus einer Spalte oder die infraroten Grauwerte von je einem vor dem Rotpixel und nach dem Rotpixel angeordneten Grünpixel aus einer Zeile verwendet werden. Bei der Interpolation für ein mittiges Rotpixel können beispielsweise alle angrenzenden Grünpixel in einer Zeile und/oder Spalte verwendet werden.
Es ist weiterhin von Vorteil, wenn gemäß einer Ausführungsform im Schritt des Einlesens zwei G-Farbsignale als Zeilensignale von zwei in einer Zeile an das Rotpixel angrenzenden Grünpixeln eingelesen werden, wobei die Zeilensignale je infrarote Grauwerte repräsentieren, und zwei G-Farbsignale als Spaltensignale von zwei in einer Spalte an das Rotpixel angrenzenden Grünpixeln eingelesen werden, wobei die Spaltensignale je infrarote Grauwerte repräsentieren, wobei im Schritt des Generierens der interpolierte infraroten Farbwert unter Verwendung der infraroten Grauwerte der Zeilensignale und/oder der infraroten Grauwerte der Spaltensignale generiert wird. Je mehr infrarote Grauwerte angrenzender Grünpixel verwendet werden, desto aussagekräftiger kann das Interpolationsergebnis ausfallen.
Das Verfahren kann auch einen Schritt des Vergleichens aufweisen, in dem ein Gradient der infraroten Grauwerte der Zeilensignale mit einem weiteren Gradient der infraroten Grauwerte der Spaltensignale verglichen wird. Im Schritt des Generierens kann der interpolierte infrarote Farbwert unter Verwendung der infraroten Grauwerte der Zeilensignale generiert werden, wenn der Gradient kleiner ist, als der weitere Gradient oder unter Verwendung der infraroten Grauwerte der Spaltensignale generiert werden, wenn der Gradient größer ist, als der weitere Gradient, oder unter Verwendung der infraroten Grauwerte der Zeilensignale und Spaltensignale generiert werden, wenn der Gradient und der weitere Gradient einander entsprechen. So können für die Interpolation jene infraroten Grauwerte berücksichtigt werden, welche eine möglichst geringe Abweichung voneinander aufweisen.
Im Schritt des Einlesens kann ferner zumindest ein B-Farbsignal von zumindest dem an einen Eckbereich des Rotpixels angrenzenden Blaupixel eingelesen werden, wobei das B-Farbsignal einen zusätzlichen infraroten Grauwert repräsentiert. Im Schritt des Generierens kann der interpolierte infraroten Farbwert unter Verwendung des zusätzlichen infraroten Grauwerts generiert werden. So können auch die infraroten Grauwerte der nahen Blaupixel berücksichtigt werden, um ein möglichst genaues Interpolationsergebnis zu schaffen.
Beispielsweise können im Schritt des Einlesens vier der B-Farbsignale von vier an vier Eckbereichen des Rotpixels angrenzenden Blaupixeln eingelesen werden, wobei die B-Farbsignale je einen zusätzlichen infraroten Grauwert repräsentieren. Im Schritt des Generierens kann der interpolierte infraroten Farbwert unter Verwendung der vier zusätzlichen infraroten Grauwerte generiert werden. So können besonders viele infrarote Grauwerte der nahen Blaupixel berücksichtigt werden. Insgesamt können auch beispielsweise alle infraroten Grauwerte aller angrenzenden Grünpixel und aller an den Ecken angrenzenden Blaupixel für die Interpolation verwendet werden.
Somit kann anstelle oder zusätzlich zu der Kombination mehrerer G-Farbsignale eine Kombination mehrerer B-Farbsignale durchgeführt werden. So kann im Schritt des Einlesens zumindest ein weiteres zusätzliches B-Farbsignal von zumindest einem an das Rotpixel angrenzenden weiteren Blaupixel des Bildsensors eingelesen werden, wobei das weitere zusätzliche B-Farbsignal einen weiteren zusätzlichen infraroten Grauwert repräsentiert. Im Schritt des Generierens kann der interpolierte infrarote Farbwert unter Verwendung ferner des weiteren zusätzlichen infraroten Grauwerts generiert werden. Dies bietet sich an, wenn der Bildsensor zumindest zwei an das Rotpixel angrenzende Blaupixel aufweist.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante des Ansatzes in Form einer Vorrichtung kann die dem Ansatz zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EEPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Es wird ferner eine Bildverarbeitungseinrichtung mit der vorangehend beschriebenen Vorrichtung und dem vorangehend beschriebenen Bildsensor in einer der vorangehend beschriebenen Varianten vorgestellt. Der Bildsensor kann das eine Rotpixel, das eine Blaupixel und die zwei Grünpixel aufweisen, die matrixartig angeordnet sind, wobei die Grünpixel einander diagonal gegenüberliegend angeordnet sind. So kann ein Mosaik-Farbfilter nach dem Bayer-Vorbild realisiert sein. Der Bildsensor kann auch eine beliebige Anzahl weiterer derartiger Mosaik-Farbfilter aufweisen. Ein Bayer-Pattern besteht meist (es gibt auch einige Spezial-Pattern) aus einer 2x2 Pixel Matrix-Anordnung mit zwei grünen (diagonale Anordnung) und jeweils einem roten und einem blauen Filterpixel.
Ausführungsbeispiele des hier vorgestellten Ansatzes sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

1 eine schematische Darstellung einer Bildverarbeitungseinrichtung mit einer Vorrichtung und einem Bildsensor gemäß einem Ausführungsbeispiel;
2 eine schematische Darstellung einer Bildverarbeitungseinrichtung gemäß einem Ausführungsbeispiel;
3 eine schematische Darstellung von Farbinformationen in einem Kamerabild eines Bildsensors unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel;
4 eine schematische Darstellung einer Wellenlängen-Durchlässigkeit eines Dual-Bandpassfilters eines Bildsensors gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung eines Bayer-Sensors gemäß einem Ausführungsbeispiel; und
6 ein Ablaufdiagramm eines Verfahrens zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors gemäß einem Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele des vorliegenden Ansatzes werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung einer Bildverarbeitungseinrichtung 100 mit einer Vorrichtung 105 und einem Bildsensors 110 gemäß einem Ausführungsbeispiel.
Lediglich beispielhaft ist der Bildsensor 110 gemäß diesem Ausführungsbeispiel an einer Kamera 115 aufgenommen. Der Bildsensor 110 weist zumindest ein Rotpixel R, zumindest ein Blaupixel B, zumindest zwei Grünpixel G und eine Filtereinrichtung 120 auf. Das Rotpixel R weist ein R-Farbfilterelement 125 zum Durchlassen von rotem Licht und Infrarotlicht auf. Das Blaupixel B weist ein B-Farbfilterelement 130 zum Durchlassen von blauem Licht und Infrarotlicht auf. Die Grünpixel G weisen je ein G-Farbfilterelement 135 zum Durchlassen von grünem Licht und Infrarotlicht auf. Die Filtereinrichtung 120 deckt die Grünpixel G und/oder das Rotpixel R und/oder das Blaupixel B ab und ist zum Durchlassen von rotem Licht und Infrarotlicht und zum Sperren von grünem Licht und blauem Licht ausgeformt. Die Filtereinrichtung 120 deckt gemäß diesem Ausführungsbeispiel alle Pixel B, G, R des Bildsensors 110 ab. Die Filtereinrichtung 120 weist gemäß diesem Ausführungsbeispiel einen Dual-Bandpassfilter zum Durchlassen von rotem Licht und Infrarotlicht und/oder einen Grünsperrfilter zum Sperren von grünem Licht und/oder einen Blausperrfilter zum Sperren von blauem Licht auf.
Die Vorrichtung 105 ist dazu ausgebildet, um unter Verwendung des Bildsensors 110 eine erweitertes Kamerabild 140 zu erzeugen. Hierzu weist die Vorrichtung 105 Einleseeinrichtungen 145, 150, eine Generiereinrichtung 155 und eine Verwendungseinrichtung 160 auf. Die Einleseeinrichtung 145 ist ausgebildet, um ein den Farbwert R+IR repräsentierendes R-Farbsignal 170 von dem Rotpixel R einzulesen. Die Einleseeinrichtung 155 ist ausgebildet, um ein G-Farbsignal 175 von zumindest einem der an das Rotpixel R angrenzenden Grünpixel G einzulesen, wobei das G-Farbsignal 175 einen infraroten Grauwert IR repräsentiert. Zusätzlich oder alternativ ist die Einleseeinrichtung 155 ausgebildet, um ein B-Farbsignals 180 von dem zumindest einem an das Rotpixel R angrenzenden Blaupixels B einzulesen, wobei das B-Farbsignal 180 einen zusätzlichen infraroten Grauwert IR repräsentierent. Die Generiereinrichtung 155 ist ausgebildet, um einen interpolierten infraroten Farbwert IR' unter Verwendung des infraroten Grauwerts IR und/oder des zusätzlichen infraroten Grauwerts IR zu generieren. Die Verwendungseinrichtung 160 ist ausgebildet, um den interpolierten infraroten Farbwert IR' ergänzend zu dem Farbwert R+IR zu verwenden, um das erweiterte Kamerabild 140 zu erzeugen.
Es werden somit die Farbwerte IR nur der Grünfilter-Pixel G oder zusammen mit oder alleine die Farbwerte IR der Blaufilter-Pixel B benutzt um an den Bildpunktstellen der Rotfilter-Pixel (R+IR) in einer neuen Bildmatrix die IR Farbinformation aufzufüllen durch eine Interpolation der umliegenden IR Farbwerte.
Wenn der Bildsensor neben dem Rotpixel R entweder nur ein oder mehrerer Grünpixel G umfasst können gemäß einem Ausführungsbeispiel nur der oder die Grauwerte IR der Grünfilter-Pixel G verwendet werden, um an den Bildpunktstellen der Rotfilter-Pixel (R+IR) in einer neuen Bildmatrix die IR Farbinformation aufzufüllen.
Wenn der Bildsensor neben dem Rotpixel R entweder nur ein oder mehrerer Blaupixel B umfasst können gemäß einem Ausführungsbeispiel nur der oder die Grauwerte IR der Blaufilter-Pixel B verwendet werden, um an den Bildpunktstellen der Rotfilter-Pixel (R+IR) in einer neuen Bildmatrix die IR Farbinformation aufzufüllen.
Das Kamerabild (Roh-Format) ist dabei schon erzeugt. Im Standardfall wird aus einem Roh-Bild ein Farbbild mit drei Farbkanälen (RGB) durch Demosaicing (algorithisch) berechnet.
Der Farbkanal mit dem Mischsignal R+IR bleibt als Farbkanal (R bzw. Rot-Kanal) erhalten und wird auch mit den üblichen Methoden (Rekonstruktionsfilter bzw. Interpolationsvorschriften) berechnet. Der Infrarot-Kanal mit höherer Auflösung wird zusätzlich aus einer Interpolation von Grün und Blau Pixeln berechnet. D.h. es wird kein Standard-Demosaicing für den Grün und Blau-Kanal durchgeführt. Stattdessen wird mit denselben Methoden (Rekustruktionsfilter bzw. Interpoationsvorschriften) ein Infrarot-Bildkanal gemeinsam aus grünen und blauen Farbpixeln berechnet.
Gemäß einem Ausführungsbeispiel weist der Bildsensor 110 eine Matrix mit genau einem Rotpixel R, genau einem Blaupixel B und genau zwei Grünpixel G auf, die matrixartig in zwei Zeilen und zwei Spalten angeordnet sind, wobei die Grünpixel G einander diagonal gegenüberliegend angeordnet sind. Somit ist ein Mosaik-Farbfilter nach dem Vorbild eines Bayer-Sensors realisiert, der in 5 gezeigt ist. Der Bildsensor 110 weist gemäß einem alternativen Ausführungsbeispiel eine beliebige Anzahl weiterer derartiger Mosaik-Farbfilter auf. Zur besseren Anschaulichkeit, wie sich die roten und blauen Filterpixel im Bayer-Pattern anordnen, ist in 1 eine 3x3 Matrix gezeichnet. Alternativ weist der Bildsensor 110 eine Matrix aus zumindest einem Rotpixel R, einem oder einer Mehrzahl von Blaupixeln B und einem oder einer Mehrzahl von Grünpixeln G auf. Auch wenn der beschriebenen Ansatz im Folgenden anhand eines Bildsensors mit einer Überrepräsentation von Grünpixel G beschrieben ist, kann der Ansatz in entsprechender Weise für einen Bildsensor mit einer Überrepräsentation von Blau-Pixeln oder andersfarbigen Pixeln verwendet werden, die dann zusätzlich oder alternativ zu den oder dem Grünpixel G zum Generieren des interpolierten infraroten Farbwerts verwendet werden können.
Somit umfasst der Bildsensor 110 gemäß einem Ausführungsbeispiel zumindest einen Bildpunkt, der das zumindest eine Rotpixel R, das zumindest eine Blaupixel B, die zumindest zwei Grünpixel G und die Filtereinrichtung 120 umfasst. Gemäß dem gezeigten Ausführungsbeispiel umfasst der Bildpunkt, wie bereits ausgeführt, genau ein Rotpixel R, genau ein Blaupixel B und genau zwei Grünpixel G auf. Gemäß einem alternativen Ausführungsbeispiel umfasst der Bildsensor 110 eine Mehrzahl, beispielsweise identisch ausgeführter Bildpunkte, wie es in 1 durch die weiteren nicht mit Bezugszeichen versehenen Pixel angedeutet ist. Die Mehrzahl von Bildpunkten können matrixartig angeordnet sein, beispielsweise in mehreren Spalten und Zeilen. Die Vorrichtung 105 weist gemäß einem Ausführungsbeispiel bei einer Mehrzahl von Bildpunkten eine Mehrzahl von Einleseeinrichtungen 145 und Einleseeinrichtungen 150 oder eine entsprechend erweitere Einleseeinrichtung 145 und eine entsprechend erweiterte Einleseeinrichtung 150 auf.
Die Einleseeinrichtung 150 ist gemäß dem gezeigten Ausführungsbeispiel ausgebildet, um zumindest ein weiteres G-Farbsignal 175 von zumindest einem an das Rotpixel R angrenzenden weiteren Grünpixel G des Bildsensors 110 einzulesen, wobei das weitere G-Farbsignal 175 einen weiteren infraroten Grauwert IR repräsentiert, wobei die Generiereinrichtung 155 ausgebildet ist, um den interpolierten infraroten Farbwert IR'unter Verwendung ferner des weiteren infraroten Grauwerts IR zu generieren. Der interpolierte Farbwert IR' wird an der Bildpunkt-Stelle des Farbwerts R+IR in einer neuen Bild-Matrix platziert.
Hierzu ist die Generiereinrichtung 155 gemäß diesem Ausführungsbeispiel ausgebildet, um den interpolierten infraroten Farbwert IR'als einen Mittelwert aus dem infraroten Grauwert IR und dem weiteren infraroten Grauwert IR zu generieren.
Das Rotpixel R ist gemäß diesem Ausführungsbeispiel ein seitliches Randpixel des Bildsensors 110. Gemäß diesem Ausführungsbeispiel ist die Einleseeinrichtung 150 ausgebildet, um das G-Farbsignal 175 von dem Grünpixel G und das weitere G-Farbsignal 175 von dem weiteren Grünpixel G einzulesen, die in derselben Spalte angeordnet sind, oder die in unterschiedlichen Spalten angeordnet sind. Gemäß einem alternativen Ausführungsbeispiel ist die Einleseeinrichtung 150 ausgebildet, um das G-Farbsignal 175 von dem Grünpixel G und das weitere G-Farbsignal 175 von dem weiteren Grünpixel G einzulesen, die in derselben Zeile angeordnet sind, oder die in unterschiedlichen Zeilen angeordnet sind, beispielsweise wenn das Rotpixel R gemäß dem alternativen Ausführungsbeispiel ein unteres oder oberes Randpixel des Bildsensors 110 ist.
Gemäß einem Ausführungsbeispiel ist die Einleseeinrichtung 150 optional auch ausgebildet, um ferner ein B-Farbsignal 180 von zumindest dem an einen Eckbereich des Rotpixels R angrenzenden Blaupixel B einzulesen, wobei das B-Farbsignal 180 einen zusätzlichen infraroten Grauwert IR repräsentiert, wobei die Generiereinrichtung 155 dazu ausgebildet ist, um den interpolierten infraroten Farbwert IR'unter Verwendung des zusätzlichen infraroten Grauwerts IR zu generieren. Gemäß einem Ausführungsbeispiel ist die Einleseeinrichtung 150 ausgebildet, um ferner mehrere entsprechende B-Farbsignale 180 von an mehreren oder an allen Eckbereichen des Rotpixels R angrenzenden Blaupixeln B einzulesen, wobei die B-Farbsignale 180 je einen zusätzlichen infraroten Grauwert IR repräsentieren, wobei die Generiereinrichtung 155 dazu ausgebildet ist, um den interpolierten infraroten Farbwert IR'unter Verwendung mehrerer oder aller zusätzlichen infraroten Grauwerte IR zu generieren. Der interpolierte Farbwert IR' wird wie bereits ausgeführt an der Bildpunkt-Stelle des Farbwerts R+IR in einer neuen Bild-Matrix platziert.
Die hier vorgestellte Vorrichtung 105 ermöglicht eine Rekonstruktion eines Kamerabilds 140 in Form eines vollaufgelösten Infrarotbilds unter der Verwendung des Bildsensors 110 in Form eines Bayer-Sensors mit Mosaik-Farbfiltern.
Aktuelle Bildsensoren, wie auch der hier beschriebene Bildsensor 110, verwenden Bayer-Sensoren mit RGB mit Farbfiltern mit 25% Rot, 50% Grün und 25% Blau. Aufgrund ihrer jeweiligen Filterelemente 125, 130, 135 können rote, grüne und blaue Farbinformationen aufgenommen werden. Der Bayer-Sensor besitzt die doppelte Anzahl an Grünpixeln G, welche im Folgenden auch als „grüne Pixel“ bezeichnet werden. Die Anordnung der Farbpixel kann je nach Sensor unterschiedlich sein, doch die grünen Pixel befinden sich immer diagonal gegenüber. Der komplette Bayer-Sensor in jedem Pixel ist auch sensitiv für infrarotes Licht. Das Infrarotlicht wird bei dem hier vorgestellten Bildsensor 110 nicht geblockt.
Dadurch, dass kein Infrarot-Sperrfilter, sondern vielmehr ein Durchlassfilter für infrarotes und rotes Licht, also der Dual-Bandpassfilter für Rot- und Infrarotlicht, bei dem hier vorgestellten Bildsensor 110 eingesetzt wird, wird gemäß diesem Ausführungsbeispiel rotes Licht und Infrarotlicht vom RGB-Bayer-Sensor aufgenommen. Das restliche Lichtspektrum wird gemäß diesem Ausführungsbeispiel gesperrt.
Die Vorrichtung 105 verwendet gemäß einem Ausführungsbeispiel nach einem Demosaicing des Bilds, bei dem eine Rekonstruktion einer farbigen Rastergrafik aus den Helligkeitswerten eines mit Mosaik-Farbfiltern überlagerten Bildsensors erfolgt, mithilfe von Interpolationsverfahren das Infrarotsignal im grünen Bildkanal, da grünes Licht jeweils blockiert wird und optional auch das Infrarotsignal im blauen Bildkanal, da blaues Licht ebenfalls blockiert wird, und das R-Farbsignal 170 in Form eines Rot-Infrarot-Mischlichtsignals im roten Bildkanal, z. B. zur Berechnung des normierten differenzierten Vegetationsindex, kurz auch „NDVI“ (Normalized Difference Vegetation Index) genannt, der sich nur aus roten und infraroten Farbinformationen zusammensetzt.
Da man bei der Detektion von Pflanzen nicht auf grüne und blaue Farbinformation angewiesen ist, wird gemäß diesem Ausführungsbeispiel ein Sperrfilter für grünes Licht und blaues Licht eingesetzt. Hierbei wird mittels des Dual-Bandpassfilters für Rot- und Infrarotlicht in den Grünpixeln G und den Blaupixeln B des Bayer-Sensors Infrarotinformation gespeichert.
Mit den Blaupixeln B und Grünpixeln G stehen nun zwei Bildkanäle mit Infrarotinformation zur Verfügung. In den Rotpixeln R befindet sich ein Mischsignal aus rotem und infrarotem Licht. Durch geschickte Verrechnung, also Interpolation, der Farbwerte in Form von infraroten Grauwerten des blauen und grünen Infrarot-Kanals wird gemäß diesem Ausführungsbeispiel jeweils für das vierte Pixel, also das Rotpixel R, das noch keine reine infrarote Information enthält, der interpolierter infraroter Farbwert IR' berechnet. Somit erhält man in dreiviertel aller Pixel B, G, R des Bildsensors 110 eine direkt gemessene Infrarotinformation und nur in einem Viertel aller Pixel des Bildsensors 110 wird ein infraroter Farbwert interpoliert aus den umliegenden Farbwerten.
Für diese Interpolationen werden gemäß diesem Ausführungsbeispiel Standard-Demosaicing-Verfahren, wie Rekonstruktionsfilter, angewandt, aber für den Spezialfall des infraroten Spektralbereichs und zur Interpolation/Rekonstruktion von nur einem Pixel, dem Rotpixel R, einer 2x2-Pixelanordnung eines Bayer-Sensors.
Verwendet werden kann das von der hier vorgestellten Vorrichtung 105 durchführbare Verfahren z. B., wenn der NDVI (Normalized Difference Vegetation Index) bestimmt werden soll, der sich nur aus roten und infraroten Farbinformationen zusammensetzt.
Ein Vorteil des hier vorgestellten Bildsensors 100 ist die Nutzung eines gängigen und damit günstigen Bayer-Sensors für Anwendungen im infraroten Spektralbereich bei gleichzeitiger Steigerung der Auflösung des Infrarotbilds um das doppelte, da anstatt beispielsweise des Blau-Kanals als Infrarot-Kanal ein aus dem eigenen Demosaicing-Verfahren interpolierter vollaufgelöster Infrarot-Kanal aus dem Blau- und Grün-Kanal verwendet wird.
Die Anzahl der Pixel B, G, R des Bayer-Sensors, in denen rein gemessene infrarote Farbinformation gespeichert wird, steigt so um das Dreifache. Damit können vorteilhafterweise sehr kleine Strukturen im Infrarot-Bild aufgelöst werden. Man erhält aus einer gewöhnlichen Farbkamera (Bayer-Sensor) eine Spektralkamera, die den Spektralbereich für rotes und infrarotes Licht abbildet, wobei das errechnete Infrarotbild aus dem Blau- und Grün-Kanal mehr als doppelt so hoch aufgelöst ist, wie beispielsweise unter Verwendung lediglich des Blau-Kanals.
Beispielsweise steigt ebenfalls im NDVI-Bild die Auflösung und es lassen sich kleinere Pflanzen und feinere Strukturen erkennen.
2 zeigt eine schematische Darstellung einer Bildverarbeitungseinrichtung 100 gemäß einem Ausführungsbeispiel. Dabei kann es sich um die in 1 beschriebene Bildverarbeitungseinrichtung 100 handeln, mit dem Unterschied, dass mehr der Pixel B, G, R des Bildsensors 110 gezeigt sind. Gemäß diesem Ausführungsbeispiel sind vier Rotpixel R, vier Blaupixel B und acht Grünpixel G des Bildsensors 110 gezeigt, die matrixartig in vier Zeilen und vier Spalten angeordnet sind, wobei die Grünpixel G, wie auch in 1, nach dem Bayer-Vorbild einander diagonal gegenüberliegend angeordnet sind. In Klammern ist bezüglich der Pixel B, G, R jeweils deren Spaltenposition und Zeilenposition angegeben.
Es folgt die Beschreibung einer Interpolation anhand eines Rotpixels, welches gemäß diesem Ausführungsbeispiel kein Randpixel, sondern mittig in dem Bildsensor 110 angeordnet. Bei der Interpolation für ein mittiges Rotpixel R werden gemäß diesem Ausführungsbeispiel alle infraroten Grauwerte IR an das Rotpixel R angrenzender Grünpixel G in einer Zeile und/oder Spalte verwendet.
Hierzu ist die Einleseeinrichtung 150 gemäß diesem Ausführungsbeispiel ausgebildet, um zwei G-Farbsignale 175 als Zeilensignale von zwei in einer Zeile an das Rotpixel R angrenzenden Grünpixeln G einzulesen, wobei die Zeilensignale je infrarote Grauwerte IR repräsentieren, und zwei G- Farbsignale 175 als Spaltensignale von zwei in einer Spalte an das Rotpixel R angrenzenden Grünpixeln G einzulesen, wobei die Spaltensignale je infrarote Grauwerte IR repräsentieren, wobei die Generiereinrichtung 155 ausgebildet ist, um den interpolierten infraroten Farbwert IR' unter Verwendung der infraroten Grauwerte IR der Zeilensignale und/oder der infraroten Grauwerte IR der Spaltensignale zu generieren.
Die Vorrichtung 105 weist ferner gemäß diesem Ausführungsbeispiel eine Vergleichseinrichtung 200 auf, die dazu ausgebildet ist, um einen Gradienten der infraroten Grauwerte IR der Zeilensignale mit einem weiteren Gradienten der infraroten Grauwerte IR der Spaltensignale zu vergleichen, wobei die Generiereinrichtung 155 ausgebildet ist, um den interpolierten infraroten Farbwert IR' unter Verwendung lediglich der infraroten Grauwerte IR der Zeilensignale zu generieren, wenn der Gradient kleiner ist, als der weitere Gradient oder unter Verwendung lediglich der infraroten Grauwerte IR der Spaltensignale zu generieren, wenn der Gradient größer ist, als der weitere Gradient, oder unter Verwendung der infraroten Grauwerte IR der Zeilensignale und der infraroten Grauwerte IR der Spaltensignale zu generieren, wenn der Gradient und der weitere Gradient einander entsprechen.
Gemäß einem alternativen Ausführungsbeispiel werden für das mittige Rotpixel R von der Einleseeinrichtung 150 alle vier der G-Farbsignale 175 von den vier an des Rotpixels R angrenzenden Grünpixeln G eingelesen, wobei die G-Farbsignale 175 je einen infraroten Grauwert IR repräsentieren, wobei die Generiereinrichtung 155 den interpolierten infraroten Farbwert IR' unter Verwendung der vier infraroten Grauwerte IR der G- Farbsignale 175, beispielsweise als einen Mittelwert, generiert und/oder es werden vier der B-Farbsignale 180 von vier an vier Eckbereichen des Rotpixels R angrenzenden Blaupixeln B eingelesen, wobei die B-Farbsignale 180 je einen zusätzlichen infraroten Grauwert IR repräsentieren, wobei die Generiereinrichtung 155 den interpolierten infraroten Farbwert IR' unter Verwendung der vier zusätzlichen infraroten Grauwerte IR generiert.
Bei Einsatz des beschriebenen Dual-Bandpassfilter wird aus einem Farbmosaikbild des in 5 gezeigten Bayer-Sensors das hier gezeigte Mosaikmuster. In den Grünpixeln G werden nun anstatt grüner Farbwerte die infraroten Farbwerte als infrarote Grauwerte IR gespeichert. In den Blaupixeln B werden nun anstatt blauer Farbwerte ebenfalls die infraroten Farbwerte als infrarote Grauwerte IR gespeichert. In den Rotpixeln R befindet sich ein Mischsignal aus rotem und infrarotem Licht.
Um die erwähnte Rekonstruktion eines vollaufgelösten infraroten Bildkanals zu erhalten, werden gemäß diesem Ausführungsbeispiel infrarote Grauwerte an den Pixeln berechnet, die das Mischsignal mit dem gemischten Farbwert R+IR besitzen. D. h., für das Rotpixel R beispielsweise an Position (1,2) wird ein interpolierter infrarot Grauwert IR' aus den umliegenden infraroten Grauwerten IR berechnet. Der Interpolations-Filter läuft gemäß einem Ausführungsbeispiel über das gesamte Mosaikbild und führt diese Berechnung für jedes Rotpixel R durch. Als Endergebnis entsteht ein Infrarot-Kanal mit einer sehr hohen örtlichen Auflösung, siehe 3.
Insgesamt werden im Folgenden drei Varianten von Rekonstruktionsfiltern für den Infrarot-Kanal anhand der Anordnung von Farbpixeln eines Bayer-Sensors, wie er in zu sehen ist, beschrieben. Die Rekonstruktionsfiltern sind von der Vorrichtung 105 anwendbar. Für andere Farbpixelanordnungen von Bayer-Sensoren gelten die Rekonstruktionsfilter in ihrer Funktionsweise gleichermaßen, nur die Anordnung ist eine andere.
Variante 1:
Gemäß einem Ausführungsbeispiel wird aus horizontalen und vertikalen Gradienten, die von jedem Pixel B, G, R berechnet werden, wo der infrarote Grauwert ermittelt werden soll, ausgewählt, welche Interpolationsvorschrift am besten geeignet ist.
Soll beispielsweise der Infrarot-Grauwert an Position (1,2) ermittelt werden, werden zuerst die horizontalen und vertikalen Gradienten an dieser Stelle berechnet.
Gradient horizontal/in einer Zeile: $Δ X = | I R_{1,1} - I R_{1,3} |$
Gradient vertikal/in einer Spalte: $Δ Y = | I R_{0,2} - I R_{2,2} |$
Der infrarote Grauwert an Position (1,2) wird dann gemäß einem Ausführungsbeispiel nach folgender Vorschrift interpoliert: $I R'_{1,2} = \frac{I R_{0,2} + I R_{1,1} + I R_{2,2} + I R_{1,3}}{4} w e n n Δ X = Δ Y,$
$I R'_{1,2} = \frac{I R_{1,1} + I R_{1,3}}{2} w e n n Δ X < Δ Y,$
$I R'_{1,2} = \frac{I R_{0,2} + I R_{2,2}}{2} w e n n Δ X > Δ Y .$
Für die Randpixel wird gemäß einem Ausführungsbeispiel der Mittelwert in Spalten- oder Zeilenrichtung mit dem Mittelwert aus der 2er-Nachbarschaft in der jeweiligen Richtung ermittelt. Als Beispiel für das Randpixel Rotpixel R (1,0) gilt folgende Formel: $I R'_{1,0} = \frac{I R_{0,0} + I R_{2,0}}{2}$
Falls das Pixel (3,2) ein Randpixel ist, gilt für den Infrarot-Grauwert dort gemäß einem Ausführungsbeispiel folgende Formel: $I R'_{3,2} = \frac{I R_{3,1} + I R_{3,3}}{2}$
Das Interpolations-Verfahren erfolgt gemäß einem Ausführungsbeispiel identisch wie bei beim Demosaicing mit bilinearer Interpolation des Grün-Kanals mit Betrachtung der Gradienten in x- und y-Richtung bei Berechnung der grünen Farbwerte eines Farbbilds. Doch hier wird dieses Verfahren mit Dual-Bandpassfilter und infraroten Signalwerten und jeweils nur für ein Pixel, hier das Rotpixel R in einer 2x2-Pixelanordnung durchgeführt.
Variante 2:
Als Beispiel wird gemäß einem Ausführungsbeispiel der Infrarot-Grauwert an Position (1,2) aus dem Mittelwert der Infrarot-Grauwerte der 4er-Nachbarschaft folgendermaßen ermittelt: $I R'_{1,2} = \frac{I R_{0,2} + I R_{1,1} + I R_{2,2} + I R_{1,3}}{4}$
Die Randpixel werden identisch wie bei Variante 1 berechnet. Das Interpolations-Verfahren erfolgt gemäß einem Ausführungsbeispiel identisch wie beim Demosaicing mit bilineare Interpolation des Grün-Kanals bei Berechnung der grünen Farbwerte eines Farbbilds. Doch hier wird dieses Verfahren mit Dual-Bandpassfilter und infraroten Signalwerten und jeweils nur für ein Pixel, hier das Rotpixel R, in einer 2x2-Pixelanordnung durchgeführt.
Variante 3:
Als Beispiel wird der Infrarot-Grauwert an Position (1,2) aus dem Mittelwert der Infrarot-Grauwerte der Ser-Nachbarschaft folgendermaßen ermittelt: $I R'_{1,2} = \frac{I R_{0,2} + I R_{0,1} + I R_{1,1} + I R_{2,1} + I R_{2,2} + I R_{2,3} + I R_{1,3} + I R_{0,3}}{8}$
Für die Randpixel wird gemäß einem Ausführungsbeispiel der Mittelwert in Spalten- oder Zeilenrichtung mit dem Mittelwert aus der Ser-Nachbarschaft in der jeweiligen Richtung ermittelt. Als Beispiel für das Randpixel Rotpixel (1,0) gilt folgende Formel: $I R'_{1,0} = \frac{I R_{0,0} + I R_{0,1} + I R_{1,1} + I R_{2,1} + I R_{2,0}}{5}$
Falls das Pixel (3,2) ein Randpixel ist, gilt für den Infrarot-Grauwert dort folgende Formel: $I R'_{3,2} = \frac{I R_{3,1} + I R_{2,1} + I R_{2,2} + I R_{2,3} + I R_{3,3}}{5}$
Das mit Variante 1 erzeugte Kamerabild 140 in Form eines Infrarotbilds weist im Vergleich das beste optische Auflösungsvermögen auf. Erkennbar ist das an sich noch unterscheidbaren Linienpaaren eines USAF-Targets im Bild. Ebenso ist im Kamerabild 140 eine Auflösungsverbesserung zu erkennen, da mit Variante 1 besonders feine Linienstrukturen erkennbar sind. Jedoch sind die Unterschiede hier bei den drei Varianten nicht sehr deutlich ersichtlich.
Dank des hier vorgestellten Bildsensors 100 wird eine Detektion von kleinen Pflanzen und von feinen Pflanzenstrukturen mit Hilfe des NDVI verbessert, die zuvor nicht aufgelöst werden konnten. Selbst vom Menschen kaum wahrnehmbare wenige Millimeter kleine Pflanzen sind im NDVI-Bild noch segmentierbar.
Voraussetzung für den hier vorgestellten Ansatz ist ein Bayer-Sensor und die Verwendung eines Bandpassfilters für rotes und infrarotes Licht. Grünes Licht und blaues Licht dürfen nicht auf den Bildsensor 110 treffen und werden gesperrt.
Der vorgestellte Ansatz zur Auflösungsverbesserung mit Bandpassfilter ist zur Detektion von Pflanzen einsetzbar, um beispielsweise einen punktgenauen Einsatz von Herbiziden zu ermöglichen.
3 zeigt eine schematische Darstellung von Farbinformationen IR, IR' in einem Kamerabild 140 eines Bildsensors unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel. Dabei kann es sich um das in 2 beschriebene Kamerabild 140 handeln, bei dem die interpolierten infraroten Grauwerte IR' anstelle der Farbwerte verwendet wurden. Anders ausgedrückt wurden durch Rekonstruktions-Filter die interpolierten infraroten Grauwerte IR' an den Stellen der Rotpixel erhalten.
4 zeigt eine schematische Darstellung einer Wellenlängen-Durchlässigkeit eines Dual-Bandpassfilters eines Bildsensors gemäß einem Ausführungsbeispiel. Dabei kann es sich um den anhand von 1 beschriebenen Dual-Bandpassfilter handeln.
Die Wellenlängen λ von rotem Licht 400 und Infrarotlicht 402 werden von dem Dual-Bandpassfilter durchgelassen. Die Wellenlängen λ von blauem Licht 405 und grünem Licht 410 werden von dem Dual-Bandpassfilter nicht durchgelassen.
5 zeigt eine schematische Darstellung eines Bayer-Sensors 500 gemäß einem Ausführungsbeispiel. Dabei kann es sich um den in 1 oder 2 beschriebenen Bildsensor ohne die Filtereinrichtung handeln.
Gezeigt ist ein Mosaikbild des Bayer-Sensors 500. Die spektrale Empfindlichkeit der Grünpixel G in der Zeile mit dem Rotpixel R, der Grünpixel G in einer Zeile mit dem Blaupixel B, das Blaupixel B und das Rotpixel R können unterschiedlich sein. Um das beste Ergebnis zu erreichen, wurde gemäß diesem Ausführungsbeispiel ein Sensor mit möglichst gleichbleibenden spektralen Empfindlichkeiten der Grünpixel G, Blaupixel B und Rotpixel R im infraroten Spektralbereich ausgewählt.
6 zeigt ein Ablaufdiagramm eines Verfahrens 600 zum Erzeugen eines erweiterten Kamerabilds unter Verwendung eines Bildsensors gemäß einem Ausführungsbeispiel. Dabei kann es sich um ein Verfahren 600 handeln, das unter Verwendung der anhand der vorangegangenen Figuren beschriebenen Vorrichtung und des Bildsensors ausführbar ist.
Das Verfahren 600 weist einen Schritt 605 des Einlesens, einen Schritt 610 des Einlesens, einen Schritt 615 des Generierens und einen Schritt 620 des Verwendens auf. Optional umfasst das Verfahren 600 ferner gemäß diesem Ausführungsbeispiel einen Schritt 625 des Vergleichens.
Im Schritt 605 des Einlesens wird ein den Farbwert repräsentierendes R-Farbsignal von dem Rotpixel eingelesen. Im Schritt 610 des Einlesens wird ein G-Farbsignal von zumindest einem der an das Rotpixel angrenzenden Grünpixel eingelesen, wobei das G-Farbsignal einen infraroten Grauwert repräsentiert. Zusätzlich oder alternativ wird ein einen zusätzlichen infraroten Grauwert repräsentierenden B-Farbsignals von dem Blaupixel eingelesen. Im Schritt 615 des Generierens wird ein interpolierter infraroter Farbwert unter Verwendung des infraroten Grauwerts und/oder des zusätzlichen infraroten Grauwerts generiert. Im Schritt 620 des Verwendens wird der interpolierte infrarote Farbwert ergänzend zu dem Farbwerts verwendet, um das Kamerabild zu erzeugen.
Im Schritt 610 des Einlesens werden gemäß einem Ausführungsbeispiel zwei G-Farbsignale als Zeilensignale von zwei in einer Zeile an das Rotpixel angrenzenden Grünpixeln eingelesen, wobei die Zeilensignale je infrarote Grauwerte repräsentieren, und zwei G-Farbsignale als Spaltensignale von zwei in einer Spalte an das Rotpixel angrenzenden Grünpixeln eingelesen werden, wobei die Spaltensignale je infrarote Grauwerte repräsentieren, wobei im Schritt des Generierens der interpolierte infraroten Farbwert unter Verwendung der infraroten Grauwerte der Zeilensignale und/oder der infraroten Grauwerte der Spaltensignale generiert wird.
Im Schritt 625 des Vergleichens wird ein Gradient der infraroten Grauwerte der Zeilensignale mit einem weiteren Gradient der infraroten Grauwerte der Spaltensignale verglichen, wobei im Schritt 615 des Generierens der interpolierte infrarote Farbwert unter Verwendung der infraroten Grauwerte der Zeilensignale generiert wird, wenn der Gradient kleiner ist, als der weitere Gradient oder unter Verwendung der infraroten Grauwerte der Spaltensignale generiert wird, wenn der Gradient größer ist, als der weitere Gradient oder unter Verwendung der infraroten Grauwerte der Zeilensignale und Spaltensignale generiert wird, wenn der Gradient und der weitere Gradient einander entsprechen.

Claims

Verfahren (600) zum Erzeugen eines erweiterten Kamerabilds (140) unter Verwendung eines Bildsensors (110), der zumindest ein Rotpixel (R) mit einem R-Farbfilterelement (125) zum Durchlassen von rotem Licht und Infrarotlicht, zumindest ein an das Rotpixel (R) angrenzendes Blaupixel (B) mit einem B-Farbfilterelement (130) zum Durchlassen von blauem Licht und Infrarotlicht, und/oder zumindest ein an das Rotpixel (R) angrenzendes Grünpixel (G) mit einem G-Farbfilterelement (135) zum Durchlassen von grünem Licht und Infrarotlicht und eine die Pixel (B, G, R) abdeckende Filtereinrichtung (120) zum Durchlassen von rotem Licht und Infrarotlicht und zum Sperren von grünem Licht und/oder blauem Licht aufweist, wobei das Verfahren (600) die folgenden Schritte aufweist: Einlesen (605) eines den Farbwert (R+IR) repräsentierenden R-Farbsignals (170) von dem Rotpixel (R), Einlesen (610) eines einen infraroten Grauwert (IR) repräsentierenden G-Farbsignals (175) von dem Grünpixel (G) und/oder eines einen zusätzlichen infraroten Grauwert (IR) repräsentierenden B-Farbsignals (180) von dem Blaupixel (B); Generieren (615) eines interpolierten infraroten Farbwerts (IR') unter Verwendung des infraroten Grauwerts (IR) und/oder des zusätzlichen infraroten Grauwerts (IR); und Verwenden (620) des interpolierten infraroten Farbwerts (IR') ergänzend zu dem Farbwert (R+IR), um das erweiterte Kamerabild (140) zu erzeugen.
Verfahren (600) gemäß Anspruch 1, bei dem im Schritt (610) des Einlesens zumindest ein weiteres G-Farbsignals (175) von zumindest einem an das Rotpixel (R) angrenzenden weiteren Grünpixel (G) des Bildsensors (110) eingelesen wird, wobei das weitere G-Farbsignal (175) einen weiteren infraroten Grauwert (IR) repräsentiert, wobei im Schritt (615) des Generierens der interpolierte infrarote Farbwert (IR') unter Verwendung ferner des weiteren infraroten Grauwerts (IR) generiert wird.
Verfahren (600) gemäß Anspruch 2, bei dem im Schritt (610) des Einlesens das den zusätzlichen infraroten Grauwert (IR) repräsentierende B-Farbsignal (180) von dem Blaupixel (B) eingelesenen wird und im Schritt (615) des Generierens der interpolierte infrarote Farbwert (IR') unter Verwendung des infraroten Grauwerts (IR), des weiteren infraroten Grauwerts (IR) und des zusätzlichen infraroten Grauwerts (IR) generiert wird.
Verfahren (600) gemäß einem der Ansprüche 2 oder 3, bei dem im Schritt (615) des Generierens der interpolierte infrarote Farbwert (IR') als ein Mittelwert aus dem infraroten Grauwert (IR) und dem weiteren infraroten Grauwert (IR) oder als ein Mittelwert aus dem infraroten Grauwert (I R), dem weiteren infraroten Grauwert (IR) und dem zusätzlichen infraroten Grauwert (IR) generiert wird.
Verfahren (600) gemäß einem der Ansprüche 2 bis 4, bei dem im Schritt (610) des Einlesens das G-Farbsignal (175) von dem Grünpixel (G) und das weitere G-Farbsignal (175) von dem weiteren Grünpixel (G) eingelesen werden, die in derselben Zeile oder derselben Spalte angeordnet sind, oder die in unterschiedlichen Zeilen oder unterschiedlichen Spalten angeordnet sind.
Verfahren (600) gemäß Anspruch 5, bei dem im Schritt (610) des Einlesens zwei G-Farbsignale (175) als Zeilensignale von zwei in einer Zeile an das Rotpixel (R) angrenzenden Grünpixeln (G) eingelesen werden, wobei die Zeilensignale je infrarote Grauwerte (IR) repräsentieren, und zwei G-Farbsignale (175) als Spaltensignale von zwei in einer Spalte an das Rotpixel (R) angrenzenden Grünpixeln (G) eingelesen werden, wobei die Spaltensignale je infrarote Grauwerte (IR) repräsentieren, wobei im Schritt (615) des Generierens der interpolierte infraroten Farbwert (IR') unter Verwendung der infraroten Grauwerte (IR) der Zeilensignale und/oder der infraroten Grauwerte (IR) der Spaltensignale generiert wird.
Verfahren (600) gemäß Anspruch 6, mit einem Schritt (625) des Vergleichens, in dem ein Gradient der infraroten Grauwerte (IR) der Zeilensignale mit einem weiteren Gradient der infraroten Grauwerte (IR) der Spaltensignale verglichen wird, wobei im Schritt (615) des Generierens der interpolierte infrarote Farbwert (IR') unter Verwendung der infraroten Grauwerte (IR) der Zeilensignale generiert wird, wenn der Gradient kleiner ist, als der weitere Gradient oder unter Verwendung der infraroten Grauwerte (IR) der Spaltensignale generiert wird, wenn der Gradient größer ist, als der weitere Gradient oder unter Verwendung der infraroten Grauwerte (IR) der Zeilensignale und Spaltensignale generiert wird, wenn der Gradient und der weitere Gradient einander entsprechen.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (610) des Einlesens das zumindest ein B-Farbsignal (180) von zumindest dem an einen Eckbereich des Rotpixels (R) angrenzenden Blaupixel (B) eingelesen wird.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt (610) des Einlesens vier der B-Farbsignale (180) von vier an vier Eckbereichen des Rotpixels (R) angrenzenden Blaupixeln (B) eingelesen werden, wobei die B-Farbsignale (180) je einen zusätzlichen infraroten Grauwert (IR) repräsentieren, wobei im Schritt (615) des Generierens der interpolierte infraroten Farbwert (IR') unter Verwendung der vier zusätzlichen infraroten Grauwerte (IR) generiert wird.
Vorrichtung (105), die eingerichtet ist, die Schritte (605, 610, 615, 620, 625) des Verfahrens (600) gemäß einem der vorangegangenen Ansprüche in entsprechenden Einheiten (145, 150, 155, 160; 200) anzusteuern und/oder auszuführen.
Bildverarbeitungseinrichtung (100) mit einer Vorrichtung (105) gemäß Anspruch 10 und dem Bildsensor (110).