DE102016212768A1

DE102016212768A1 - Lichtsensormodul, Verfahren zum Betreiben eines Lichtsensormoduls und Verfahren zum Herstellen eines Lichtsensormoduls

Info

Publication number: DE102016212768A1
Application number: DE102016212768.3A
Authority: DE
Inventors: Ulrich Seger; Marc Geese
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-07-13
Filing date: 2016-07-13
Publication date: 2018-01-18

Abstract

Die Erfindung betrifft ein Lichtsensormodul (300). Das Lichtsensormodul (300) umfasst eine Sensorlage (302) mit einer Mehrzahl von Sensorzellen (304). Die Sensorzellen (304) weisen je zumindest zwei Sensorpixel (1, 2, 3, 4, 5) zum Erfassen je einer anderen Lichteigenschaft oder Transfercharakteristik auf. Die Sensorpixel (1, 2, 3, 4, 5) sind in Spalten und Zeilen angeordnet. Des Weiteren umfasst das Lichtsensormodul (300) eine Signalverarbeitungseinheit (402) zum Verarbeiten von Sensorsignalen der Sensorpixel (1, 2, 3, 4, 5). Hierbei sind die Sensorpixel (1, 2, 3, 4, 5) einer jeden Spalte über zumindest eine je einer anderen Lichteigenschaft zugeordnete Leseleitung (800) elektrisch leitfähig mit der Signalverarbeitungseinheit (402) verbunden. Ebenso sind die Sensorpixel (1, 2, 3, 4, 5) einer jeden Zeile über zumindest eine Auswahlleitung (802) elektrisch leitfähig mit der Signalverarbeitungseinheit (402) verbunden. Die Signalverarbeitungseinheit (402) ist ausgebildet, um die Sensorpixel (1, 2, 3, 4, 5) zum Auslesen über die Leseleitung (800) zeilenweise über die Auswahlleitung (802) auszuwählen.

Description

Stand der Technik
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Ein Lichtsensormodul kann als ein Sensorarray aus einer Mehrzahl mehrkanaliger Makrozellen realisiert sein.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Lichtsensormodul, ein Verfahren zum Betreiben eines Lichtsensormoduls, ein Verfahren zum Herstellen eines Lichtsensormoduls, weiterhin eine Vorrichtung, die zumindest eines dieser Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Es wird ein Lichtsensormodul mit folgenden Merkmalen vorgestellt:
einer Sensorlage mit einer Mehrzahl von 2–5 unterschiedlichen Sensorzellen, wobei die Sensorzellen zum Erfassen je einer anderen Lichteigenschaft ausgeprägt sind und oder eine andere Wandelcharakteristik aufweisen und oder
eine unterschiedliches Detektionsvolumen aufweist, wobei die Sensorpixel in Spalten und Zeilen angeordnet sind; und
einer Signalverarbeitungseinheit zum Verarbeiten von Sensorsignalen der Sensorpixel, wobei die Sensorpixel einer jeden Spalte über zumindest eine je einer anderen Lichteigenschaft oder Wandelcharakteristik oder Transfercharakteristik zugeordnete Leseleitung elektrisch leitfähig mit der Signalverarbeitungseinheit verbunden sind und die Sensorpixel einer jeden Zeile über zumindest eine Auswahlleitung elektrisch leitfähig mit der Signalverarbeitungseinheit verbunden sind, wobei die Signalverarbeitungseinheit ausgebildet ist, um die Sensorpixel zum Auslesen über die Leseleitung zeilenweise über die Auswahlleitung auszuwählen.
Gemäß einer Ausführungsform weist die Sensorlage eine Mehrzahl von Sensorzellen auf, wobei die Sensorzellen je zumindest zwei Sensorpixel, gemäß einem Ausführungsbeispiel zumindest fünf Sensorpixel, zum Erfassen je einer anderen Lichteigenschaft oder Transfercharakteristik oder Wandelcharakteristik aufweisen, wobei die Sensorpixel in Spalten und Zeilen angeordnet sind.
Unter einer Sensorlage kann beispielsweise eine Schicht aus einem Halbleitermaterial verstanden werden oder eine Hybridschicht aus organischen und Halbleitermaterialien. Unter einer Sensorzelle kann etwa eine fünfkanalige, lichtempfindliche Makrozelle verstanden werden, auch Makropixel genannt. Unter einem Sensorpixel kann ein Einzelelement der Sensorzelle verstanden werden. Beispielsweise können die Sensorzellen je ein größeres Hauptpixel und vier kleinere Zusatzpixel aufweisen. Die Zusatzpixel können etwa symmetrisch um das Hauptpixel herum angeordnet sein. Daher können die Zusatzpixel auch als Satellitenzellen bezeichnet werden. Gemäß einer Ausführungsform werden die Sensorpixel auch als Sensorzellen bezeichnet. Unter einer Lichteigenschaft kann beispielsweise eine Wellenlänge oder Farbe, eine Polarisation, oder ein zeitlicher Intensitätsverlauf verstanden werden, unter der Wandelcharakteristik kann eine lineare oder logarithmische Umsetzung des Intensitätssignals in ein elektrisches Signal verstanden werden.
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass durch zeilenweises Auswählen und spaltenweises Auslesen von Sensorpixeln eines Lichtsensormoduls, etwa einer Sensorarrayanordnung für maschinelles Sehen, eine Datenrate zum Generieren eines Bildsignals trotz hoher Auflösung deutlich reduziert werden kann. Dadurch, dass die einzelnen Sensorpixel jeweils unterschiedliche Lichteigenschaften erfassen, kann zudem die Erkennungsgenauigkeit des Lichtsensormoduls erhöht werden.
Die messbaren Lichteigenschaften spiegeln die Wechselwirkung einer Beleuchtung mit den Oberflächen von Objekten in der Umgebung wider. Insbesondere Polarisations- und Farberscheinungen, aber auch eine Intensitätsmodulation aufgrund der zunehmend auftretenden gepulsten Belichtungsquellen stellen zur Klassifikation von Objekten besonders geeignete Charakteristiken dar.
Besonders vorteilhaft ist es daher, diese Charakteristiken mittels eines geeigneten Lichtsensormoduls, wie es Gegenstand des hier beschriebenen Ansatzes ist, ortsgleich mit weiteren Merkmalen zu erfassen, um damit die Gesamtheit verschiedener Merkmale eines Objekts mit ebendiesem Objekt verknüpfen zu können und die Erkennung von Situationen, etwa eine modulierte Beleuchtung, eine nasse Fahrbahn oder eine reflektierende Gebäudefassade, oder auch die Differenzierung von Objekten von ihrem jeweiligen Hintergrund durch Vergleich von Objektmerkmalen wie etwa einer breitbandigen Reflektanz, einer spektralen Zusammensetzung einer Reflexion oder einer Polarisation zu vereinfachen.
Gemäß einer Ausführungsform kann jede der Sensorzellen mit einem Hauptpixel und zumindest einem Zusatzpixel, gemäß unterschiedlicher Ausführungsformen beispielsweise auch mit zwei, drei, vier, fünf oder sechs Zusatzpixeln, als den Sensorpixeln ausgebildet sein. Hierbei kann eine Fläche des Hauptpixels größer sein als eine jeweilige Fläche eines Zusatzpixels. Dadurch kann die Effizienz des Lichtsensormoduls erhöht werden.
Werden mehr als ein Zusatzpixel verwendet, so können die Zusatzpixel symmetrisch um das Hauptpixel angeordnet sein. Dadurch wird eine gleichmäßige Anordnung der Sensorpixel in der Sensorlage ermöglicht.
Gemäß einer weiteren Ausführungsform kann das Hauptpixel als ein die Sensorzelle in vier Quadranten aufteilendes Kreuz ausgeformt sein. Hierbei kann in jedem der vier Quadranten je eines der in diesem Fall vier Zusatzpixel angeordnet sein. Dadurch kann die Sensorzelle möglichst platzsparend realisiert werden.
Es ist vorteilhaft, wenn das Hauptpixel ausgebildet ist, um eine Helligkeit, insbesondere eine breitbandige Helligkeit zu erfassen. Dadurch wird eine besonders empfindliche Helligkeitserfassung mittels des Lichtsensormoduls ermöglicht.
Das Lichtsensormodul kann eine Signalverarbeitungslage aufweisen. Hierbei kann die Signalverarbeitungseinheit in der Signalverarbeitungslage angeordnet sein. Die Signalverarbeitungslage und die Sensorlage können in einem Verfahren der Halbleitertechnik („stapeln“ oder „hybrid bonden“) zu einem, beispielsweise mechanisch und elektrisch gekoppelten, Lagenverbund miteinander kombiniert sein. Dadurch kann das Lichtsensormodul effizient und kostengünstig miniaturisiert werden.
Die Sensorpixel können in zumindest einer ersten Zeile und einer zweiten Zeile angeordnet sein. Die erste Zeile kann eine größere Anzahl von über die Auswahlleitung auswählbarer Sensorpixel als die zweite Zeile aufweisen. Zusätzlich oder alternativ können die Sensorpixel in zumindest einer ersten Spalte und einer zweiten Spalte angeordnet sein. Hierbei kann die erste Spalte eine größere Anzahl von über die Leseleitung auslesbarer Sensorpixel als die zweite Spalte aufweisen. Dadurch wird eine flexible Anordnung der Sensorpixel in der Sensorlage ermöglicht.
Der hier beschriebene Ansatz schafft zudem ein Verfahren zum Betreiben eines Lichtsensormoduls gemäß einer der vorstehenden Ausführungsformen, wobei das Verfahren folgende Schritte umfasst:
Zeilenweises Auswählen von Sensorpixeln über die Auswahlleitung; und
Auslesen von Sensorsignalen der über die Auswahlleitung ausgewählten Sensorpixel über die Leseleitung.
Gemäß einer Ausführungsform können im Schritt des Auslesens die Sensorsignale im Wesentlichen zeitgleich ausgelesen werden. Dadurch kann eine aufwändige Zwischenspeicherung der Sensorsignale entfallen.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Generierens eines Bildsignals unter Verwendung der Sensorsignale umfassen. Insbesondere kann hierbei das Bildsignal ohne Zwischenspeicherung der Sensorsignale generiert werden. Dadurch kann das Bildsignal besonders effizient generiert werden.
Des Weiteren schafft der hier vorgestellte Ansatz ein Verfahren zum Herstellen eines Lichtsensormoduls, wobei das Verfahren folgenden Schritt umfasst:
Bilden eines Lagenverbunds aus einer Sensorlage mit einer Mehrzahl von Sensorzellen, wobei die Sensorzellen je zumindest zwei Sensorpixel zum Erfassen je einer anderen Lichteigenschaft oder mit einer anderen Wandelcharakteristik aufweisen, wobei die Sensorpixel in Spalten und Zeilen angeordnet werden, und einer Signalverarbeitungslage mit einer Signalverarbeitungseinheit zum Verarbeiten von Sensorsignalen der Sensorpixel, wobei die Sensorpixel einer jeden Spalte über zumindest eine je einer anderen Lichteigenschaft zugeordnete Leseleitung elektrisch leitfähig mit der Signalverarbeitungseinheit verbunden werden und die Sensorpixel einer jeden Zeile über zumindest eine Auswahlleitung elektrisch leitfähig mit der Signalverarbeitungseinheit verbunden werden, wobei die Signalverarbeitungseinheit ausgebildet ist, um die Sensorpixel zum Auslesen über die Leseleitung zeilenweise über die Auswahlleitung auszuwählen.
Diese Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, bevorzugt in der Verarbeitungslage des Sensormoduls, implementiert sein. Die Verarbeitung erfolgt in erster Linie zu dem Zweck die Information zu verdichten und den Übertragungskanal zu einem Steuergerät zu entlasten, deshalb werden die Daten gemäß einer Ausführungsform im Verbund mit der Sensor-Schicht verarbeitet werden.
Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Gemäß einer Ausführungsform findet in dem Sensormodul (= Verbund von Sensorlage und Signalverarbeitungslage) eine Informationsverdichtung statt. Diese wird typischerweise mit einem µC, DSP oder einem programmierbaren, trainierbaren oder selbstlernenden neuronalen Netzwerk erreicht. Die Datenmenge wir reduziert, und einige Merkmale (z.B. die Polarisation) codiert zu übertragen. Damit können die Verfahrenschritte auch mit der Software auf einen angeschlossenen System-Rechner verteilt werden.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:
1 eine schematische Darstellung von zur korrekten Rekonstruktion erforderlichen Abtastwerten in einem Array;
2 eine schematische Darstellung einer für die korrekte Signalrekonstruktion minimal erforderlichen Makrozelle in dem Array aus 1;
3 eine schematische Darstellung eines Lichtsensormoduls gemäß einem erfindungsgemäßen Ausführungsbeispiel;
4 eine schematische Darstellung einer exemplarischen Signalverarbeitungskette in einem Lichtsensormodul gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung eines Querschnitts durch ein Lichtsensormodul gemäß einem Ausführungsbeispiel;
6 eine schematische Darstellung einer Makro-Sensorzelle aus 3;
7 eine schematische Darstellung einer Super-Sensorzelle gemäß einem Ausführungsbeispiel;
8 eine schematische Darstellung eines Lichtsensormoduls gemäß einem Ausführungsbeispiel;
9 eine schematische Darstellung einer adressierten Makro-Zelle gemäß einem Ausführungsbeispiel;
10 eine schematische Darstellung einer adressierten Superzelle gemäß einem Ausführungsbeispiel;
11 eine schematische Darstellung eines Adressierungsschemas für die zeitgleiche Adressierung einer Superzelle gemäß einem Ausführungsbeispiel;
12 eine schematische Darstellung eines Adressierungsschemas für eine Adressierung einer Superzelle mit überlappender Adressierung der Satellitenzellen gemäß einem Ausführungsbeispiel;
13 eine schematische Darstellung eines Lichtsensormoduls gemäß einem Ausführungsbeispiel;
14 ein Ablaufdiagramm eines Verfahrens zum Betreiben eines Lichtsensormoduls gemäß einem Ausführungsbeispiel;
15 eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel;
16 ein Ablaufdiagramm eines Verfahrens zum Herstellen eines Lichtsensormoduls gemäß einem Ausführungsbeispiel;
17 eine schematische Darstellung eines minimalen Filterkerns in einem regelmäßigen 4-kanaligen Array; und
18 eine schematische Darstellung eines minimalen Unschärfekreises.
In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
Typischerweise bestehen moderne Bildsensoren aus einem orthogonalen Gitter an Einzelsensorzellen, die je nach Anwendung mit oder ohne Color-Filter-Array, kurz CFA, zur Separation unterschiedlicher Spektralkanäle ausgestattet sind.
Ausnahme sind dreidimensional integrierte Sensoren, die vertikal angeordnete Empfängerelemente aufweisen, nach dem Hersteller der Anordnung auch auch „Foveon“-like structure genannt.
Für die Rekonstruktion eines abgetasteten Signals ist die Bewertung mehrerer Abtastpunkte erforderlich.
In einem Standardfarbsensor wird üblicherweise eine Makrozelle aus n Elementarzellen gebildet, die repetitiv in einem Array angeordnet werden. Die Anzahl n der Kanäle dieser Makrozelle legt die maximale Anzahl der unterschiedlichen Lichteigenschaften fest, die abgetastet werden können.
Da die typische Array-Form das orthogonale Gitter ist, werden bei einer ungeraden Anzahl von Lichteigenschaften eines oder mehrere Elemente verdoppelt.
Für ein Standard-Bayer-Pattern sind die Kanäle 1 bis 4 beispielsweise wie folgt belegt:

1 = Rot
2 = Grün
3 = Grün
4 = Blau

Weitere bekannte Farbsysteme sind:

1 = Cyan
2 = Yellow
3 = Yellow
4 = Magenta Oder:
1 = Red
2 = Clear (spektral breitbandig geöffneter Passfilter)
3 = NIR (nahes Infrarot)
4 = Green

Um eine Abtastung zu erzeugen, die eine verlustfreie Rekonstruktion des kontinuierlichen Originalsignals erlaubt, sollten in jede Abtastraumrichtung mindestens zwei Abtastpunkte pro abgetasteter Eigenschaft einbezogen werden.
Der Abtastraum eines Sensorarrays erstreckt sich über die Ortsfrequenz in jede der zwei Array-Dimensionen und die Dimension Zeit.
Die minimale abtastbare Ortsfrequenz ist also das Doppelte des minimalen Abstands zweier Zellen, die die gleiche Signalgröße abtasten, in 1 beispielsweise Zellen mit gleicher Nummer.
1 zeigt eine schematische Darstellung von zur korrekten Rekonstruktion erforderlichen Abtastwerten in einem Array 100. Gezeigt sind verschiedene Elementardreiecke, die durch benachbarte Sensorzellen der gleichen Art aufgespannt werden.
Als größter Mittenabstand taucht zweimal der diagonale Pixelabstand auf. Damit ist die minimal verlustfrei zu rekonstruierende Ortsfrequenz in jedem der Kanäle durch das Vierfache des diagonalen Pixelabstands gegeben.
2 zeigt eine schematische Darstellung einer für die korrekte Signalrekonstruktion minimal erforderlichen Makrozelle in dem Array aus 1.
Da die Bedingung für alle Lichteigenschaften gegeben sein sollte, ergibt sich bei einem orthogonalen Gitter die Form eines Oktagons, dessen Eckpunkte durch den Schwerpunkt von je zwei Elementarzellen pro Kanal besetzt sind. Dies ist in 2 veranschaulicht.
Bei der Auslegung der Sensoren gilt es, einen guten Kompromiss zwischen der Lichtempfindlichkeit, der räumlichen Auflösung, der Qualität der Messung von auf die Anwendung bezogenen relevanten Lichteigenschaften, der Übertragungsbandbreite und den Kosten zu finden.
Eine hohe Lichtempfindlichkeit wird bei gegebenem Prozess durch größere Sensorzellen erreicht. Die räumliche Auflösung kann durch vergrößerte Arrays, d. h. eine höhere Anzahl von Sensorzellen, erhöht werden. Die Messung relevanter Lichteigenschaften wie etwa Farbe oder Polarisationsrichtung wird durch eine möglichst feine, gut auf die Anwendung abgestimmte Zerlegung und Rekonstruktion der Lichteigenschaften erreicht. Die Übertragungsbandbreite wird im Wesentlichen durch die Anzahl der von dem Sensor zur Nachverarbeitung übertragenen Informationen bestimmt, typischerweise 12 Bit je Pixel. Die Kosten werden maßgeblich durch die Gesamtfläche des Sensors beeinflusst, jeweils bezogen auf ein bestimmtes Technologieniveau.
Der im Folgenden beschriebene Ansatz schafft nun eine Möglichkeit, bis zu fünf Lichtmerkmale in gleicher Auflösung abzutasten und über eine skalierbare Ansteuerung fallweise zugunsten einer höheren Rekonstruktionsqualität oder zugunsten einer höheren Auflösung zu verändern.
Eine optionale In-situ-Informationsverdichtung erlaubt es ferner, die Datenbandbreite am Ausgang auf die minimal notwendigen Maße zu reduzieren, da die Verdichtung der Daten von einem Pixelgitter auf ein dem Informationsgehalt angepasstes Informationsgitter transformiert wird.
Der im Folgenden beschriebene Ansatz erlaubt es beispielsweise, ein hochaufgelöstes Intensitäts- oder Grauwertbild mit einer ebenso hoch aufgelösten Messung der eingangs genannten Lichteigenschaften zu erzeugen.
Um dies bei einer dedizierten optischen Auflösung, d. h. bei einem sich aus dem Design der Optik ergebenden Unschärfekreis, zu erreichen, ist es vorteilhaft, die Sensorpixel für jede zu erfassende Lichteigenschaft symmetrisch in einer Sensorzelle einzusetzen.
3 zeigt eine schematische Darstellung eines Lichtsensormoduls 300 gemäß einem Ausführungsbeispiel. Das Lichtsensormodul 300 umfasst eine Sensorlage 302 mit einer Mehrzahl von Sensorzellen 304, die je fünf Sensorpixel 1, 2, 3, 4, 5 zum Erfassen je einer anderen Lichteigenschaft aufweisen. Die Sensorpixel 1, 2, 3, 4, 5 sind in Spalten und Zeilen über- bzw. nebeneinander angeordnet, wobei die Bezugszeichen 1 bis 5 je einen Messkanal repräsentieren. 3 zeigt eine Anordnung für eine fünfkanalige Abtastung. Gemäß einem Ausführungsbeispiel werden die Sensorpixel 1, 2, 3, 4, 5 auch als Sensorzellen bezeichnet.
Gemäß diesem Ausführungsbeispiel sind die Sensorpixel 5 als kreuzförmige Hauptpixel realisiert, die die Sensorzellen 304 jeweils in vier, hier im Wesentlichen gleich große Quadranten unterteilt. Die vier übrigen Sensorpixel 1, 2, 3, 4 sind jeweils als Zusatzpixel mit einer deutlich kleineren Sensorfläche als die Hauptpixel 5 realisiert. Jedes der Zusatzpixel 1, 2, 3, 4 ist in einem der Quadranten der Sensorzellen 304 angeordnet, sodass sich eine symmetrische Anordnung der Zusatzpixel 1, 2, 3, 4 um die Hauptpixel 5 ergibt. Beispielsweise sind die Hauptpixel 5 ausgebildet, um eine Helligkeit zu erfassen.
Die fünf Sensorpixel einer jeden Sensorzelle 304 sind je als ein anderer Lichtsensortyp ausgeführt.
Mögliche einsetzbare Sensortypen zur Erfassung der unterschiedlichen Lichteigenschaften sind beispielsweise für die Messung der Energie je Lichtfarbe (mehr als 10 Typen) sichtbare CFA für Cyan Magenta Yellow, R, G, B, Clear oder nicht sichtbare xFA für NIR, FIR, UV oder spezifische Bandpasseigenschaften (Chlorophyll-Kennlinien) und, für die Messung der Polarisation in vier Polarisationsfreiheitsgraden (siehe Stokes-Jones-Vektoren in zwei Implementierungen), Interferenzfilter (hor, vert, diag-left, diag-right) oder Wellenlängenmikrostrukturen (Metallgitter, TiOx Films usw.). Für die Erfassung der Intensität über einen „High Dynamic Range“ mit mehreren Transfercharakteristiken eignen sich der Split-Pixel-Ansatz (große Diode und kleine Diode mit einem Knickpunkt), DCG-Pixel (dual or multiple convertion gain mit mehreren Knickpunkten) oder Log-Pixel (photovoltaic mode mit exakt logarithmischem Verhalten). Ein zeitlicher Intensitätsverlauf (zwei Implementierungsarten für zeitliche, von der Framezeit unabhängige Abtastungen) kann mittels Pulsed Light Measure Pixel (PWM-Gated Integration) oder Array Phase Shifted Readout Scheme (zeitliche Ableitung zeitlich verzögerter Abtastvorgänge benachbarter oder miteinander verwobener Zellen) erfolgen.
Aus der Permutation der oben genannten Möglichkeiten ergeben sich mehrere Tausend mögliche Variationen. Der hier vorgeschlagene Ansatz ermöglicht die Erfassung von fünf örtlichen und, bei geeigneter Ansteuerung, zwei zeitlichen Parametern.
Eine besonders vorteilhafte Auslesung von Makropixeln erfolgt so, dass alle zur Rekonstruktion erforderlichen Sensorzellen zeitgleich oder quasi zeitgleich ausgelesen werden und in einer Rekonstruktionseinheit ohne Zwischenspeicherung weiterverarbeitet werden. Dadurch können viele Zeilen- oder sogar Framespeicher eingespart werden.
Um eine Zwischenspeicherung ganz oder teilweise zu umgehen, ist eine massiv parallele Kommunikation zwischen Sensorarray und analoger oder digitaler Signalaufbereitungseinheit erforderlich.
Die gezeigte Anzahl von vier Zusatzpixeln 1, 2, 3, 4 ist dabei beispielhaft gewählt. Gemäß alternativer Ausführungsbeispiele kann zumindest ein Zusatzpixel 1, 2, 3, 4 und allgemein ausgedrückt, eine beliebige geeignete Anzahl von Zusatzpixeln 1, 2, 3, 4 verwendet werden.
4 zeigt eine schematische Darstellung einer exemplarischen Signalverarbeitungskette in einem Lichtsensormodul 300 gemäß einem Ausführungsbeispiel. Gezeigt sind die Sensorlage 302, etwa ein Sensorarray aus n×m Elementarzellen, sowie eine Signalverarbeitungslage 400 mit einer Signalverarbeitungseinheit 402 aus einem ersten Block 404 zur analogen Signalverarbeitung und Analog-digital-Wandlung und einem zweiten Block 406 zur Sensorsignalverarbeitung auf i×k Elementen einer Makrozelle. In einem dritten Block 408 erfolgt die Bilddatenweiterverarbeitung außerhalb des Lichtsensormoduls 300. Die Signalverarbeitungseinrichtung 400, auch informationsverdichtende Einheit genannt, ist mit der Sensorlage 302 elektrisch leitfähig verbunden, wie nachfolgend näher beschrieben.
Eine Partitionierung wie in 4 angedeutet ist insbesondere in einer Stacked-Die-Technologie umsetzbar.
5 zeigt eine schematische Darstellung eines Querschnitts durch ein Lichtsensormodul 300 gemäß einem Ausführungsbeispiel, etwa eines vorangehend anhand der 3 und 4 beschriebenen Lichtsensormoduls. Gezeigt sind die Sensorlage 302 und die Signalverarbeitungslage 400, die über ein Interface mit beispielsweise mehreren Tausend Verbindungen zu einem Lagenverbund miteinander kombiniert sind.
Die Verbindung zwischen beiden Schaltungsteilen in Form der Sensorlage 302 und der Signalverarbeitungslage 400 zur analogen und digitalen Signalaufbereitung erfolgt etwa durch Waferbonden. Insbesondere ist es vorteilhaft, wenn es mehrere Leseleitungen pro Arrayspalte gibt, die es erlauben, alle abgetasteten Lichteigenschaften, die entlang einer Spalte erfasst werden, auch getrennt zur Signalrekombinationseinheit in der Sensorsignalaufbereitung zu führen.
6 zeigt eine schematische Darstellung einer Sensorzelle 304 aus 3. Die Sensorzelle 304 ist als eine minimale Fünf-Kanal-Makrozelle realisiert.
7 zeigt eine schematische Darstellung einer Sensorzelle 304 gemäß einem Ausführungsbeispiel. Im Unterschied zu 6 ist die Sensorzelle 304 hier als eine optimale Fünf-Kanal-Makrozelle realisiert. Gezeigt sind zwei Zeilen mit n adressierbaren Elementen (3 und 4), eine Zeile mit n/2 adressierbaren Elementen (5) und zwei Zeilen mit n adressierbaren Elementen (1 und 2).
Durch geschickte Auslegung einer Ansteuerschaltung der Signalverarbeitungseinheit sind folgende vorteilhafte Adressierungsmodi möglich.
Gemäß einem Ausführungsbeispiel ist Kanal 5 als Luminanzkanal ausgelegt, wobei die Kanäle 1 bis 4 eine weitere Ermittlung der Luminanz ermöglichen, etwa aus der Kombination von drei Farbzellen mit einem Clear-Pixel oder von zwei Farbkanälen mit zwei Clear-Pixeln. Der zentrale Kanal 5 kann je nach Verteilung der Flächen in der Sensorzelle als fünf- bis zehnmal sensitiveres Sensorpixel ausgebildet sein. Gemäß einem Ausführungsbeispiel weist das Hauptpixel 5 eine etwa fünfmal größere Fläche als die in den Ecken platzierten Zusatzpixel auf.
Gemäß einem weiteren Ausführungsbeispiel sind die Zusatzpixel 1 bis 4 als Split-Pixel des Hauptpixels 5 ausgeführt, die beispielsweise nach getrennter Auslesung über eine Floating Diffusion mit dem Hauptpixel 5 umgeladen werden.
Das sich aus dieser analogen Zusammenschaltung ergebende Sensorsignal mittelt alle im Makropixel enthaltenen Signalladungen und ergibt darum ein besonders rauscharmes Signal.
Die Option der Zusammenschaltung kann beispielsweise genutzt werden, um bei schwachem Signal in den Zusatzpixeln 1 bis 4 die Verarbeitung einiger Lichtmerkmale zugunsten einer erhöhten Sensitivität aufzugeben.
8 zeigt eine schematische Darstellung eines Lichtsensormoduls 300, etwa eines vorangehend anhand der 3 bis 7 beschriebenen Lichtsensormoduls. Gezeigt ist ein Adressierungsschema für eine Fünf-Kanal-Anordnung. Wie in 8 zu erkennen, sind die einzelnen Sensorpixel der Sensorzellen 304 in einer Mehrzahl nummerierter Zeilen und Spalten angeordnet. Hierbei sind die Sensorpixel einer jeden Spalte über zumindest eine einer jeweiligen Lichteigenschaft der Sensorpixel zugeordnete Leseleitung 800 elektrisch kontaktiert. Zur besseren Erkennbarkeit sind in 8 lediglich fünf Leseleitungen 800 zum Auslesen der fünf Kanäle einer jeden der in einer Spalte übereinander angeordneten Sensorzellen 304 eingezeichnet.
Analog dazu sind die einzelnen Sensorpixel einer jeden Zeile über je eine Auswahlleitung 802 elektrisch kontaktiert. Die Auswahlleitungen 802 und die Leseleitungen 800 sind mit der Signalverarbeitungseinheit verbunden, die ausgebildet ist, um die Sensorpixel zeilenweise über die Auswahlleitungen 802 auszuwählen und die jeweiligen Sensorsignale der ausgewählten Sensorpixel über die entsprechenden Leseleitungen 800 auszulesen und zu verarbeiten.
Die Adressierung der minimalen Makrozellen erfolgt beispielsweise derart, dass eine unmittelbare Verarbeitung der Sensorsignale ohne Zwischenspeicherung erfolgt.
Beispielsweise werden die Auswahlleitungen 802 der Zeilen 4, 5, 6 durch die Signalverarbeitungseinheit zeitgleich selektiert, worauf alle adressierten Sensorzellen 304 (der Übersichtlichkeit halber ist in 8 nur ein Block von 3 Zeilen beispielhaft mit dem Bezugszeichen 304 bezeichnet) dieser Zeilen ihre jeweilige Leseleitung 800 treiben. Stehen pro ungerader Spalte zwei Leseleitungen 800 zur Verfügung, so werden über jeweils fünf Leseleitungen 800 die fünf Werte einer minimalen Makrozelle in die Signalverarbeitungseinheit transportiert und dort zu einer komplexen Bildpunktinformation zusammengefasst. So kann etwa aus fünf 12-Bit-Intensitätssignalen ein hochdynamischer, applikationsangepasster Signalwert mit 12-Bit-Luminanzsignal, 16-Bit-Farbsignal und 2-Bit-Modulations- oder Polarisationswert erzeugt werden. Dies hat den Vorteil eines höheren verwertbaren Signalinhalts bei geringerer Übertragungsbandbreite am Chipausgang.
Eine optionale Nachverarbeitungseinheit ist beispielsweise ausgebildet, um eine eigene Verstärkungseinstellung oder Offset/Gain-Korrektur pro Auslesekanal vorzunehmen.
9 zeigt eine schematische Darstellung eines Lichtsensormoduls 300 oder einer adressierten Makro-Zelle gemäß einem Ausführungsbeispiel. Das Lichtsensormodul 300 entspricht im Wesentlichen dem vorangehend anhand von 3 beschriebenen Lichtsensormodul. Gezeigt ist ein Lichtsensormodul mit einer adressierten minimalen Makrozelle 304, vorangehend auch Sensorzelle genannt. Gemäß einem Ausführungsbeispiel werden die Einzel-Zellen 1, 2, 3, 4, 5 auch als Sensorzelle bezeichnet, die gemeinsame Adressierung der 5 Zellen als Makrozelle, und die Zusammenschaltung von 17 Zellen als Superzelle bezeichnet, die auch als Optimal-Zelle bezeichnet wird.
10 zeigt eine schematische Darstellung eines Lichtsensormoduls 300 oder einer adressierten Makro-Zelle gemäß einem Ausführungsbeispiel. Im Unterschied zu 9 ist hier die Adressierung einer optimalen Fünf-Kanal-Makrozelle 304 gezeigt. Die Makrozelle 304 wird auch als Superzelle bezeichnet, womit verbunden ist, dass bis zu 17 Einzelzellen berücksichtigt werden. Diese Adressierung ist etwas aufwendiger, erlaubt aber die volle Rekonstruktion von vier Eigenschaftskanälen und eines Luminanzkanals bei minimalem Unschärfekreis. 10 gibt das Adressierungsmuster einer optimalen Makrozelle wieder, wie sie beispielsweise in 7 gezeigt ist. In diesem Modus sollten die Sensorzellen entweder ladungszerstörungsfrei ausgelesen werden oder aber das digitalisierte Signal sollte für drei Zeilen zwischengespeichert werden, um dann eine ideale Rekonstruktion aus 17 Abtastwerten für jeden Makrobildpunkt zu ermöglichen.
Das dafür erforderliche Adressierungsschema ist in 11 gezeigt.
11 zeigt eine schematische Darstellung eines Lichtsensormoduls 300 oder eines Adressierungsschemas für eine Adressierung einer Superzelle mit überlappender Adressierung der Satellitenzellen gemäß einem Ausführungsbeispiel. Im Unterschied zu 8 umfasst das in 11 gezeigte Adressierungsschema für eine Fünf-Kanal-Anordnung fünf Auswahlleitungen 802 mit geringer Eingangslast und zweimal acht Leseleitungen 800. Zur besseren Übersichtlichkeit sind nicht alle Leseleitungen 800 dargestellt.
Bei dieser Adressierung werden gleichartige Zellen bereits auf der Leseleitung gemischt, da nur eine Leseleitung pro Spalte und Zelltyp zur Verfügung steht. Daraus ergibt sich eine effiziente Struktur aber eingeschränkte Nachbearbeitungsmöglichkeit.
12 zeigt eine schematische Darstellung eines Lichtsensormoduls 300 gemäß einem Ausführungsbeispiel. Im Unterschied zu 11 zeigt 12 ein Adressierungsschema für eine Fünf-Kanal-Anordnung mit drei Auswahlleitungen 802, die jeweils Vierer-Cluster adressieren.
13 zeigt eine schematische Darstellung eines Lichtsensormoduls 300 gemäß einem Ausführungsbeispiel. Hierbei werden beispielsweise 17 Leseleitungen aus n Leseleitungen 800 zu einem Zeitpunkt T0 ausgewertet. Die zum Zeitpunkt T0 adressierten Auswahlleitungen 802 selektieren parallel die Zusatzpixel 1, 2, 3, 4 der jeweiligen Sensorzellen.
14 zeigt ein Ablaufdiagramm eines Verfahrens 1400 gemäß einem Ausführungsbeispiel. Das Verfahren 1400 zum Betreiben eines Lichtsensormoduls, etwa eines vorangehend anhand der 3 bis 13 beschriebenen Lichtsensormoduls, kann beispielsweise unter Verwendung einer vorangehend anhand der 4 bis 13 beschriebenen Signalverarbeitungseinheit durchgeführt werden. Hierbei werden in einem Schritt 1410 die Sensorpixel der in Spalten und Zeilen angeordneten Sensorzellen über eine oder mehrere Auswahlleitungen zeilenweise ausgewählt. In einem Schritt 1420 werden ansprechend auf das Auswählen im Schritt 1410 die Sensorsignale der ausgewählten Sensorpixel über eine oder mehrere Leseleitungen, durch die die ausgewählten Sensorpixel spaltenweise miteinander verbunden sind, ausgelesen. Gemäß einem Ausführungsbeispiel werden die Sensorsignale unterschiedlicher Sensorpixel hierbei im Wesentlichen zeitgleich ausgelesen.
15 zeigt eine schematische Darstellung einer Vorrichtung 1500 gemäß einem Ausführungsbeispiel. Beispielsweise kann die vorangehend anhand der 4 bis 14 beschriebene Signalverarbeitungseinheit eine Komponente der Vorrichtung 1500 sein. Die Vorrichtung 1500 umfasst eine Auswähleinheit 1510, die ausgebildet ist, um durch Ausgeben eines entsprechenden Auswahlsignals 1515 die auszulesenden Sensorpixel des Lichtsensormoduls über die entsprechenden Auswahlleitungen zeilenweise auszuwählen. Eine Ausleseeinheit 1520 ist ausgebildet, um ansprechend auf das Auswählen die jeweiligen Sensorsignale 1525 der ausgewählten Sensorpixel über die entsprechenden Leseleitungen auszulesen. Eine optionale Generierungseinheit 1530 ist ausgebildet, um unter Verwendung der Sensorsignale 1525 ein Bildsignal 1535 ohne Zwischenspeicherung der Sensorsignale 1525 zu generieren.
16 zeigt ein Ablaufdiagramm eines Verfahrens 1600 gemäß einem Ausführungsbeispiel. Das Verfahren 1600 zum Herstellen eines Lichtsensormoduls, etwa eines vorangehend anhand der 3 bis 15 beschriebenen Lichtsensormoduls, umfasst einen Schritt 1610, in dem aus der Sensorlage mit den Sensorzellen und der Signalverarbeitungslage mit der Signalverarbeitungseinheit ein Lagenverbund gebildet wird, etwa in Stacked-Die-Technologie. Hierbei werden die Sensorpixel der Sensorzellen der Sensorlage in Spalten und Zeilen zueinander angeordnet. Ferner werden die Sensorpixel einer jeden Spalte über zumindest eine je einer anderen Lichteigenschaft zugeordnete Leseleitung elektrisch leitfähig mit der Signalverarbeitungseinheit verbunden und die Sensorpixel einer jeden Zeile über zumindest eine Auswahlleitung elektrisch leitfähig mit der Signalverarbeitungseinheit verbunden.
Nachfolgend werden verschiedene Ausführungsbeispiele des hier vorgestellten Ansatzes nochmals mit anderen Worten beschrieben.
Eines der Zusatzpixel 1 bis 4 trägt beispielsweise einen diagonal nach rechts geneigten Pol-Filter. Die Anordnung ermöglicht es, parallel zu einer Fahrbahnoberfläche oder parallel zu einer senkrechten Gebäudefassade polarisiertes Licht auszublenden.
Gemäß einem weiteren Ausführungsbeispiel ist eines der Sensorpixel als analoge lokale Zellen-Speicherkapazität ausgeführt. Dadurch kann ein Dynamikbereich eines der Signale vergrößert werden.
Eines der Sensorpixel kann ausgebildet sein, um Signale aus angrenzenden Sensorpixeln weiterzuleiten.
Die Signalverarbeitungseinheit ist beispielsweise ausgebildet, um die Zusatzpixel 1 bis 4 zeitlich verschoben gegenüber den Hauptpixeln 5 auszulesen. Die Zeitverschiebung wird beispielsweise zur Bestimmung der Modulation einer „Weltbeleuchtung“ genutzt. Dazu wird die Differenz der rekonstruierten Luminanzsignale aus den zwei zeitlich versetzten Abtastzeitpunkten genutzt.
Optional ist die Signalverarbeitungseinheit ausgebildet, um eine Phasenverschiebung zwischen den Arrays des Hauptpixels 5 und der Zusatzpixel 1 bis 4 situationsbedingt einzustellen, etwa um die Auswirkung von modulierter Beleuchtung (Netzfrequenz 50/60 Hertz) zu verringern.
Der hier beschriebene Ansatz bringt folgende Vorteile mit sich.
Die Detektion unterschiedlicher Lichteigenschaften wie Luminanz, Farbe oder weitere nicht sichtbare Spektralkanäle oder Polarisation erfolgt zeitlich parallel und örtlich symmetrisch um einen großen und sensitiven Luminanzsensorpunkt als Hauptpixel 5 und kann diesem zugewiesen werden. Damit können bis zu fünf Merkmale mit einer Sensorzelle erfasst werden.
Durch eine geeignete Zusammenfassung der Lichtmerkmale kann die Menge der Daten, die von einer hochaufgelösten Sensorzelle zur Signalverarbeitungseinheit, etwa einer nachgeschalteten Computer-Vision-Verarbeitungseinrichtung, übertragen werden, reduziert werden.
Die Detektion der Lichteigenschaften wird beispielsweise symmetrisch zum Intensitätssignal gemessen und kann etwa als Lichtkomponente dem zentralen Intensitätswert zugeordnet werden. Dabei kann bei geeigneter Auswertung die spektrale Verteilung aus zwei bis vier bandbegrenzten Spektralkanälen in Relation zu dem breitbandigen Signal gewonnen werden.
Durch geeignete Verteilung von on-chip-strukturierten, pixelselektiven Polarisationsfiltern kann insbesondere aus den breitbandig empfindlichen Sensorpixeln das Lichtmerkmal Polarisation extrahiert werden und eine Polarisationskarte der Umwelt erstellt werden. Dies ist besonders vorteilhaft für die Erkennung polarisierender Flächen wie etwa einer nassen Fahrbahn.
Die anhand von 4 beschriebene Zusammenfassung bzw. Gewichtung und Reduktion von Messdaten verschiedener Lichtsignaleigenschaften ist sinnvoll, wenn die Datenrate des folgenden Übertragungskanals begrenzt ist.
Üblicherweise würde die Datenrate der Digital-analog-Wandlung dem Eigenschaftssignal multipliziert mit der Anzahl der Lichtsensoren entsprechen. Es ist nun aber möglich, einige Lichteigenschaften bei bestimmten Anwendungen komprimiert abzuspeichern und damit mehrere Lichtsensormessungen in einen Abtastpunkt des Lichtsignals zu transformieren.
Dabei ist es beispielsweise möglich, die Lichtintensität in einem informationstheoretisch konstanten Signal-zu-Rausch-Verhältnis zu komprimieren.
Es ist allerdings auch möglich, die Farbinformation aus drei Lichtsensoren unterschiedlicher 12-Bit-Spektralkanäle in zwei je 8 Bit breite Kanäle zu codieren.
Je nach Signalqualität und anwendungsspezifischen Anforderungen ist es so möglich, die Bandbreite sensornah mit einfachen Rechenoperationen deutlich zu komprimieren.
Weitere Ausführungsbeispiele sind unter anderem die Nutzung eines Log-Lichtsensors zur Einstellung der Belichtungszeit der linearen Lichtsensoren und das Berechnen der Jones- oder Stokes-Parameter in niedriger Bit-Auflösung aus einigen Polarisationssensoren, die Berechnung spezifischer spektraler Kanäle wie etwa einer Chlorophyll-Detektion für vegetationsspezifische Merkmalsextraktionen (wenige Bits können ausreichen, beispielsweise zwei bis drei Bits für bis zu zehn Erkennungsstufen der Vegetation), die Berechnung von Infrarot- und UV-Kanälen sowie die Berechnung von Farbe.
Die Kernidee ist hier nach wie vor die möglichst sensornahe Reduktion der Datenrate unter Berücksichtigung der Anwendungsanforderungen und des Informationsgehaltes der verschiedenen Lichteigenschaftssensoren. Dabei reduziert sich die Datenrate pro Bildpunkt, etwa von 3×12 Bit für RGGB auf 12 + 8 + 8 Bit bei Intensität und u, v, als auch in der Menge der Bildpunkte, die erforderlich sind, um die räumlich aufgelöste Information widerzuspiegeln.
Hierzu ist das Lichtsensormodul 300 je nach Ausführungsbeispiel wie folgt realisiert.
Das Lichtsensormodul, auch Bildsensorarray genannt, weist eine Vielzahl von Einzelsensorelementen auf, vorangehend auch Sensorpixel genannt, die ausgebildet sind, um verschiedene Lichtmerkmale zu messen. Beispielsweise ist das Lichtsensormodul als Fünf-Kanal-Array mit vier symmetrisch um einen Luminanzkanal angeordneten Sensorpixeln ausgeführt. Hierbei sind etwa kleinere Sensorpixel zwischen größeren Sensorpixeln eingebettet. Die Sensorpixel sind getrennt oder zeitgleich zu einem zentralen Sensorpixel adressierbar. Die Sensorpixel können unterschiedlich ausgeprägte Pixeltransfercharakteristiken aufweisen. Beispielsweise sind die größeren Sensorpixel, etwa zur Intensitätsmessung, logarithmisch oder quasi logarithmisch ausgelegt und die kleineren Sensorpixel, etwa zur Farbmessung, linear ausgelegt oder umgekehrt. Die Makropixeldaten sind zur unmittelbaren Verarbeitung ohne Zwischenspeicher parallel auslesbar. Insbesondere ist das Lichtsensormodul in Stacked-Die-Technologie aufgebaut, um eine unmittelbare Verarbeitung von Sensorsignalen der einzelnen Sensorpixel zu einer verdichteten Komplexinformation zu ermöglichen, z. B. Pixel mit einer 12-Bit-Helligkeit, einer 14-Bit-Farbinformation, 2-Bit-Polarisationsinformation, 3-Bit-Infrarot- oder -UV-Anteil und einem 1-Bit-Modulatoinsindex, und dies bei gleicher optischer Ortsauflösung für die Luminanz und weitere optische Eigenschaften.
Der hier vorgestellte Ansatz ermöglicht somit eine skalierbare Auflösungssteuerung und eine ortsaufgelöste Erfassung verschiedenster Lichteigenschaften durch eine entsprechende Anordnung der Sensorzellen 304 und eine entsprechende Signalaufbereitung für eine rekonstruktionsgerechte Abtastung der Lichteigenschaften wie etwa Photonenenergie in Form verschiedener Wellenlängen oder Farben, Polarisation, lineare und logarithmische Intensität (über einen Dynamikumfang von mehr als sechs Dekaden) oder zeitlicher Intensitätsverlauf. Die Signalverarbeitungseinheit 402 dient hierbei insbesondere auch zur Informationsverdichtung.
Dabei ist eine Verteilung der Abtastpunkte so gewählt, dass bei möglichst kleinem optischem Unschärfekreis eine Abtastung mehrerer Lichteigenschaften möglich ist, die einem Ausgabebildpunkt zugeordnet werden können.
Ferner ermöglicht der hier beschriebene Ansatz eine variable Adressierung von Makropixeln, vorangehend auch Makro- oder Superzellen genannt, zur Verarbeitung von Signalgruppen mit unterschiedlichen Optimierungszielen wie etwa die Sampling-konforme Rekonstruktion eines hochaufgelösten Luminanzsignals oder mehrerer optischer Eigenschaften.
Durch den hier beschriebenen Ansatz kann etwa ein Sensor für maschinelles Sehen, der die Anforderungen bezüglich einer räumlichen Auflösung erfüllen soll, besonders effizient hinsichtlich einer Fläche, einer Bandbreite und eines Herstellungsaufwands realisiert werden.
17 zeigt eine schematische Darstellung eines minimalen Filterkerns 1700 in einem regelmäßigen 4-kanaligen Array für eine korrekte Abtastung einer Vier-Kanal-Array-Anordnung mit der Ausdehnung 4r.
18 zeigt eine schematische Darstellung eines minimalen Unschärfekreises 1800 einer abbildenden Optik, mit der die Abtastbedingung für alle Kanäle eingehalten werden kann.
Die 17 und 18 zeigen die (ungünstigen) Verhältnisse in nicht erfindungsgemäßen Anordnungen. Der Einsatz der gemäß dem hier beschriebenen Ansatz beschriebenen Struktur führt zu ähnlicher oder besserer Qualität bei kleinerer Gesamtfläche.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Lichtsensormodul (300) mit folgenden Merkmalen: einer Sensorlage (302) mit einer Mehrzahl von Sensorzellen (304), wobei die Sensorzellen (304) je zumindest zwei Sensorpixel (1, 2, 3, 4, 5) zum Erfassen je einer anderen Lichteigenschaft oder Transfercharakteristik aufweisen, wobei die Sensorpixel (1, 2, 3, 4, 5) in Spalten und Zeilen angeordnet sind; und einer Signalverarbeitungseinheit (402) zum Verarbeiten von Sensorsignalen (1525) der Sensorpixel (1, 2, 3, 4, 5), wobei die Sensorpixel (1, 2, 3, 4, 5) einer jeden Spalte über zumindest eine je einer anderen Lichteigenschaft oder Transfercharakteristik zugeordnete Leseleitung (800) elektrisch leitfähig mit der Signalverarbeitungseinheit (402) verbunden sind und die Sensorpixel (1, 2, 3, 4, 5) einer jeden Zeile über zumindest eine Auswahlleitung (802) elektrisch leitfähig mit der Signalverarbeitungseinheit (402) verbunden sind, wobei die Signalverarbeitungseinheit (402) ausgebildet ist, um die Sensorpixel (1, 2, 3, 4, 5) zum Auslesen über die Leseleitung (800) zeilenweise über die Auswahlleitung (802) auszuwählen.
Lichtsensormodul (300) gemäß Anspruch 1, bei dem jede der Sensorzellen (304) mit einem Hauptpixel (5) und zumindest einem Zusatzpixeln (1, 2, 3, 4), insbesondere mit vier Zusatzpixeln (1, 2, 3, 4) als den Sensorpixeln (1, 2, 3, 4, 5) ausgebildet ist, wobei eine Fläche des Hauptpixels (5) größer ist als eine jeweilige Fläche eines Zusatzpixels (1, 2, 3, 4).
Lichtsensormodul (300) gemäß Anspruch 2, bei dem zumindest zwei, insbesondere vier Zusatzpixel (1, 2, 3, 4) symmetrisch um das Hauptpixel (5) angeordnet sind.
Lichtsensormodul (300) gemäß Anspruch 2 oder 3, bei dem das Hauptpixel (5) als ein die Sensorzelle (304) in vier Quadranten aufteilendes Kreuz ausgeformt ist, wobei in jedem der vier Quadranten je eines der Zusatzpixel (1, 2, 3, 4) angeordnet ist.
Lichtsensormodul (300) gemäß einem der Ansprüche 2 bis 4, bei dem das Hauptpixel (5) ausgebildet ist, um eine Helligkeit, insbesondere eine breitbandige Helligkeit zu erfassen.
Lichtsensormodul (300) gemäß einem der vorangegangenen Ansprüche, mit einer Signalverarbeitungslage (400), wobei die Signalverarbeitungseinheit (402) in der Signalverarbeitungslage (400) angeordnet ist, wobei die Signalverarbeitungslage (400) und die Sensorlage (302) in einem Verfahren der Halbleitertechnik zu einem Lagenverbund miteinander kombiniert sind.
Lichtsensormodul (300) gemäß einem der vorangegangenen Ansprüche, bei dem die Sensorpixel (1, 2, 3, 4, 5) in zumindest einer ersten Zeile und einer zweiten Zeile angeordnet sind, wobei die erste Zeile eine größere Anzahl von über die Auswahlleitung (802) auswählbarer Sensorpixel (1, 2, 3, 4, 5) als die zweite Zeile aufweist, und/oder in zumindest einer ersten Spalte und einer zweiten Spalte angeordnet sind, wobei die erste Spalte eine größere Anzahl von über die Leseleitung (800) auslesbarer Sensorpixel (1, 2, 3, 4, 5) als die zweite Spalte aufweist.
Verfahren (1400) zum Betreiben eines Lichtsensormoduls (300) gemäß einem der vorangegangenen Ansprüche, wobei das Verfahren (1400) folgende Schritte umfasst: Zeilenweises Auswählen (1410) von Sensorpixeln (1, 2, 3, 4, 5) über die Auswahlleitung (802); und Auslesen (1420) von Sensorsignalen (1525) der über die Auswahlleitung (802) ausgewählten Sensorpixel (1, 2, 3, 4, 5) über die Leseleitung (800).
Verfahren (1400) gemäß Anspruch 8, bei dem im Schritt des Auslesens (1420) die Sensorsignale (1525) im Wesentlichen zeitgleich ausgelesen werden.
Verfahren (1400) gemäß Anspruch 8 oder 9, mit einem Schritt des Generierens eines Bildsignals (1535) unter Verwendung der Sensorsignale (1525), insbesondere wobei das Bildsignal (1535) ohne Zwischenspeicherung der Sensorsignale (1525) generiert wird.
Verfahren (1600) zum Herstellen eines Lichtsensormoduls (300), wobei das Verfahren (1600) folgenden Schritt umfasst: Bilden (1610) eines Lagenverbunds aus einer Sensorlage (302) mit einer Mehrzahl von Sensorzellen (304), wobei die Sensorzellen (304) je zumindest zwei Sensorpixel (1, 2, 3, 4, 5) zum Erfassen je einer anderen Lichteigenschaft oder mit einer anderen Wandelcharakteristik aufweisen, wobei die Sensorpixel (1, 2, 3, 4, 5) in Spalten und Zeilen angeordnet werden, und einer Signalverarbeitungslage (400) mit einer Signalverarbeitungseinheit (402) zum Verarbeiten von Sensorsignalen (1525) der Sensorpixel (1, 2, 3, 4, 5), wobei die Sensorpixel (1, 2, 3, 4, 5) einer jeden Spalte über zumindest eine je einer anderen Lichteigenschaft zugeordnete Leseleitung (800) elektrisch leitfähig mit der Signalverarbeitungseinheit (402) verbunden werden und die Sensorpixel (1, 2, 3, 4, 5) einer jeden Zeile über zumindest eine Auswahlleitung (802) elektrisch leitfähig mit der Signalverarbeitungseinheit (402) verbunden werden, wobei die Signalverarbeitungseinheit (402) ausgebildet ist, um die Sensorpixel (1, 2, 3, 4, 5) zum Auslesen über die Leseleitung (800) zeilenweise über die Auswahlleitung (802) auszuwählen.
Vorrichtung (1500) mit Einheiten (1510, 1520, 1530), die ausgebildet sind, um das Verfahren (1400) gemäß einem der Ansprüche 8 bis 10 und/oder das Verfahren (1600) gemäß Anspruch 11 auszuführen und/oder anzusteuern.
Computerprogramm, das ausgebildet ist, um das Verfahren (1400) gemäß einem der Ansprüche 8 bis 10 und/oder das Verfahren (1600) gemäß Anspruch 11 auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist.