DE102023114979A1

DE102023114979A1 - Bildgebendes system mit räumlich getrennten spektralen anordnungen

Info

Publication number: DE102023114979A1
Application number: DE102023114979.2A
Authority: DE
Inventors: Jonathan Borremans; Maarten De Bock
Original assignee: Spectricity
Current assignee: Spectricity
Priority date: 2022-06-09
Filing date: 2023-06-07
Publication date: 2024-01-11
Also published as: US20230402485A1

Abstract

Ein System für Bildgebung weist eine Anordnung von optischen Sensoren mit einer jeweiligen oberen Oberfläche und einer jeweiligen unteren Oberfläche und einer ersten Vielzahl von Sätzen von optischen Filtern auf, wobei jeder Satz von optischen Filtern der ersten Vielzahl von Sätzen von optischen Filtern einem jeweiligen Satz von optischen Sensoren der Anordnung zugeordnet ist. Das System weist ferner eine zweite Vielzahl von Sätzen von optischen Filtern auf, wobei jeder Satz von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern einem jeweiligen Satz von optischen Sensoren der Anordnung zugeordnet ist, wobei jeder optische Filter eines Satzes von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern dazu konfiguriert ist, Licht eines jeweiligen Wellenlängenbereichs durchzulassen, wobei die zweite Vielzahl von Sätzen von optischen Filtern räumlich über die obere Oberfläche der Anordnung von optischen Sensoren verteilt sind. Schließlich weist das System einen oder mehrere Prozessoren auf, die angepasst sind, um ein Bild einer Szene basierend auf einer Ausgabe von einer ersten Vielzahl von Sätzen von optischen Sensoren der Anordnung abzutasten und ein empfangenes Lichtspektrum für jeden Satz von optischen Sensoren einer zweiten Vielzahl von Sätzen von optischen Sensoren der Anordnung abzutasten.

Description

HINTERGRUND DER ERFINDUNG
TECHNISCHES GEBIET DER ERFINDUNG
Die Erfindung bezieht sich generell auf digitale Bildgebung und insbesondere auf die Kompensation von Lichtquellenverzerrungen mit Spektralsensoren mit interferenzbasierten Filtern.
Digitale Bildgebung hat einen tiefgreifenden Einfluss auf die Qualität und Verfügbarkeit der Kameratechnologie. Gleichzeitig sind die Erwartungen der Kamerakonsumenten immer anspruchsvoller geworden, insbesondere für Kameras, die in modernen Smartphones eingebettet sind. Spektroskopievorrichtungen, die durch Detektieren und/oder Erfassen von einfallendem Licht arbeiten, das sich auf mehrere Wellenlängenbereiche bezieht, können verwendet werden, um Spektralinformationen bereitzustellen, um die Kamerafunktionen zu unterstützen. Interferenzbasierte Filter, wie beispielsweise Fabry-Perot-Filter, wenn sie in Verbindung mit Spektralsensoren verwendet werden, haben sich als in der Lage gezeigt, Informationen bereitzustellen, die für zusätzliche Kameraleistung und -funktionalität verwendet werden können.
KURZBESCHREIBUNG DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN

1 stellt eine Top-down-Darstellung eines Beispiels eines optischen Sensors dar, der mit Filtern gemäß der vorliegenden Erfindung überlagert ist;
2A stellt eine Top-down-Darstellung eines Beispiels einer bildgebenden Anordnung dar, die spektrale Makropixel gemäß der vorliegenden Erfindung enthält;
2B-2E stellen Top-down-Darstellungen eines Beispiels von individuellen Bildgebungsstrukturen dar, die spektrale Makropixel gemäß der vorliegenden Erfindung enthalten;
3 stellt eine weitere Top-down-Darstellung eines Beispiels einer bildgebenden Anordnung dar, die räumlich getrennte spektrale Makropixel gemäß der vorliegenden Erfindung enthält;
4A stellt eine weitere Top-down-Darstellung eines Beispiels einer bildgebenden Anordnung dar, die ein Filtermosaik für ein Beispiel eines spektralen Makropixels gemäß der vorliegenden Erfindung enthält;
4B stellt eine weitere Top-down-Darstellung eines Beispiels einer bildgebenden Anordnung dar, die räumlich getrennte spektrale Teilmosaike von Beispielen spektraler Makropixel gemäß der vorliegenden Erfindung enthält;
4C zeigt ein Bild, das die Ausführung einer bildgebenden Anordnung darstellt, die räumlich getrennte spektrale Makropixel gemäß der vorliegenden Erfindung enthält;
5 stellt ein Blockdiagramm eines Beispiels eines Bildgebungssystems dar, das einen hochauflösenden Bildgeber mit spektralen Unteranordnungen gemäß der vorliegenden Erfindung enthält;
6A ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Korrigieren von Bilddaten unter Verwendung räumlich getrennter Makropixel gemäß der vorliegenden Erfindung darstellt;
6B ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Korrigieren von Bilddaten unter Verwendung räumlich getrennter Makropixel gemäß der vorliegenden Erfindung darstellt;
7 stellt ein Blockdiagramm eines Authentifizierungssystems dar, das einen Infrarot(IR)-Bildgeber und einen spektralen Bildgeber gemäß der vorliegenden Erfindung enthält;
8A stellt ein Beispiel eines Mobilgeräts dar, das zur Authentifizierung gemäß der vorliegenden Erfindung angepasst ist;
8B stellt ein Beispiel eines Benutzers dar, der eine Kamera oder einen Bildgebungsmechanismus zur Authentifizierung gemäß der vorliegenden Erfindung anwendet; und
9 ist ein Flussdiagramm eines Verfahrens zur Verwendung von Flutbeleuchtung und strukturierter Infrarot(IR)-Beleuchtung mit einem spektralen Bildgeber zur Authentifizierung eines Benutzers gemäß der vorliegenden Erfindung.

DETAILLIERTE BESCHREIBUNG DER ERFINDUNG
In verschiedenen Ausführungsformen werden Bildsensoren mit Spektralfiltern, wie beispielsweise interferenzbasierten Interferenzfiltern, kombiniert, um Spektralinformationen über eine Szene und/oder Lichtquelle bereitzustellen. In einigen Ausführungsformen kann eine spektrale Bildgebung einer Szene durchgeführt werden, und in anderen Ausführungsformen kann eine spektrale Bildgebung einer Szene entweder mit einer hochauflösenden Bildgebung in einem einzelnen Bildgeber kombiniert werden oder in separaten Bildgebern kombiniert werden, nachdem ein Bild gesammelt wurde. In weiteren Ausführungsformen können interferenzbasierte Filter unter Verwendung von Fabry-Perot-Filtern implementiert werden, die mit Bildsensoren integriert sind, wie beispielsweise CMOS-basierten Sensoren, organischen Dünnfilmsensoren oder organischen photoleitfähigen Datei-(OPF)-Sensoren, wobei jeder Satz von Interferenzfiltern zu mindestens einem Satz von optischen Sensoren ausgerichtet ist, so dass jeder Satz von optischen Sensoren in der Lage ist, eine lokalisierte Bandpassantwort mit mehreren Kanälen zu erfassen, um kleinformatige spektrale Bildsensorsysteme bereitzustellen. In einigen Ausführungsformen können kleinformatige spektrale Bildgebungssysteme zur Verwendung in Anwendungen angepasst werden, die eine Bildkorrektur und/oder Bildverbesserung erfordern. Beispiele für Anwendungen umfassen unter anderem Smartphones, hochauflösende Kameras, Videokameras, Sicherheitskameras, Kalibrierungssysteme, Inspektionssysteme und bestimmte industrielle Anwendungen.
1 stellt eine Top-down-Darstellung eines Spektralsensors mit Filtern dar, die in 3x3-Mustern von jeweils 9 Spektralbändern über ein Bildgeberanordnung bereitgestellt sind. In dem Beispiel sind Bandpassfilter, wie beispielsweise Fabry-Perot-Filter, mit unterschiedlichen Mittenwellenlängen über den Spektralsensor als Mosaikstruktur angeordnet, die über die Anordnung wiederholt wird. In anderen Ausführungsformen kann das 3x3-Filtermuster durch andere Muster ersetzt werden, wie beispielsweise ein 2x2-Muster, ein 4x4-Filtermuster, ein 5x5-Filtermuster oder ein 3x4-Muster usw., wie durch Auflösungs- und/oder Herstellungsanforderungen vorgegeben. In einem Beispiel stellt ein 3x3-Muster von Filtern 9 unterschiedliche Hohlraumdicken bereit, die dann über ein Beispiel einer Sensoranordnung wiederholt werden. In dem Beispiel von 1 wird jede der 9 Filterdicken (dargestellt als Filter 50A - 50H usw.) 12-mal über die 12x9-Anordnung von optischen Pixeln auf dem Sensor 10 wiederholt.
In dem Sensorsystem, das auf 1 basiert, sind optische Pixel für den Sensor 10 auf einem integrierten Schaltkreis mit einer Vielzahl von Sätzen von Interferenzfiltern angeordnet, die auf den optischen Pixeln hergestellt sind. In einem Beispiel ist ein Satz von neun (9) Interferenzfiltern 50A - 50I in einem Mosaikmuster angeordnet, von denen jeder dazu konfiguriert ist, Licht in einem unterschiedlichen Wellenlängenbereich durchzulassen. In einem Beispiel ist jeder Satz von Interferenzfiltern zu mindestens einem Satz von optischen Sensoren ausgerichtet, so dass jeder Satz von optischen Sensoren in der Lage ist, eine lokalisierte Bandpassantwort mit mehreren Kanälen zu erfassen. Der Satz von optischen Sensoren und Filteranordnung werden dann über die Anordnung wiederholt, was es der optischen Sensoranordnung ermöglicht, mehrere gemessene Lichtspektren bereitzustellen, die räumlich über unterschiedliche Bereiche eines Bildsensors getrennt sind. Wie hierin verwendet, entspricht ein individueller optischer Sensor einem Pixel (Pixel = kleinstes adressierbares Element), dementsprechend werden „optischer Sensor“, „optisches Pixel“ und „Pixel“ austauschbar verwendet.
In einem Beispiel kann der Bildsensor von 1 Lichtinformationen für unterschiedliche räumliche Bereiche des Bildsensors bereitstellen, was es ermöglicht, Korrekturen und/oder Verbesserungen auf jeden dieser Bereiche auszudehnen. In einem Ausführungsbeispiel kann ein Sensorsystem zum Abbilden einer Szene eine Vielzahl von optischen Sensoren auf einem integrierten Schaltkreis mit einer Vielzahl von Sätzen von Interferenzfiltern, wie beispielsweise Filterelementen 50A - 50I von 1, aufweisen. In dem Beispiel kann jeder Satz von Interferenzfiltern der Vielzahl von Sätzen von Interferenzfiltern eine Vielzahl von Interferenzfiltern aufweisen, die in einem Muster angeordnet sind, wobei jeder Interferenzfilter der Vielzahl von Filtern dazu konfiguriert ist, Licht in einem unterschiedlichen Wellenlängenbereich durchzulassen. In einem Beispiel ist jeder Satz von Interferenzfiltern der Vielzahl von Interferenzfiltern einem räumlichen Bereich der Szene zugeordnet und eine spektrale Antwort kann somit für jeden räumlichen Bereich der Szene bestimmt werden.
In einem Anwendungsbeispiel unter Bezugnahme auf 1 kann ein Satz von Interferenzfiltern einer Vielzahl von Sätzen von Interferenzfiltern räumlich von anderen der Vielzahl von Sätzen von Interferenzfiltern getrennt sein und in einem anderen Beispiel kann jeder Satz von Interferenzfiltern der Vielzahl von Sätzen von Interferenzfiltern zufällig zwischen der Vielzahl von optischen Sensoren des Sensors 10 beabstandet sein.
2A stellt eine Top-down-Darstellung eines Beispiels einer bildgebenden Anordnung dar, die spektrale Makropixel aufweist. In einem Ausführungsbeispiel kann ein Bildgebungssystem mit Sensor 10 eine Struktur wie die in 2A dargestellte Struktur enthalten, um Spektralinformationen bereitzustellen, während die Auswirkung der Sammlung von Spektralinformationen auf die räumliche Auflösung für das Bildgebungssystem minimiert wird. In dem Beispiel können sogenannte „dünnbesetzte“ Spektrometer verwendet werden, um eine adäquate räumliche und spektrale Auflösung bereitzustellen, indem die dünnbesetzten Spektrometer unter optischen Standardsensoren wie rot-, grün-, blau-(RGB-)Filtern, UV-Lichtsensoren oder 3D-Sensoren verteilt werden. In einem Beispiel können Spektrometer einen Satz von Spektralfiltern umfassen, die ein spektrales Makropixel bilden, das Teil eines größeren räumlichen Makropixels ist.
In dem Beispiel ist ein Makropixel 60 herkömmlichen bildgebenden Pixeln zugeordnet, die mit Filtern 54A -54E überlagert sind. In dem Beispiel weist ein Bildgeber eine Anordnung von Standard-Bildgebungsfiltermosaiken auf, wobei mindestens einige der Mosaike Filter 54A -54E enthalten, um ein Farbbild bereitzustellen, wobei jedes bildgebende Mosaik mit einem einzelnen spektralen Makropixel 60 zugeordnet ist, das den Raum von 4 Standardfilterelementen belegt. In einem Beispiel kann jedes spektrale Makropixel 60 eine mehrkanalige spektrale Antwort für einen räumlichen Bereich in der Nähe der Pixel bereitstellen, die den Filtern 54A-54E zugeordnet sind. In einem spezifischen Beispiel können die Filter 54A -54E Filter aufweisen, um eine Rot-, Grün-, Grün-, Blau-, Blau- (RGGBB-)Bildgebungszelle bereitzustellen, während das spektrale Makropixel 60 eine mehrkanalige spektrale Antwort für den räumlichen Bereich bereitstellen kann, der von der RGGBB-Bildgebungszelle abgebildet wird. In einem anderen spezifischen Beispiel kann jeder der Filter 54A -54E einen anderen Filter oder einen freien Kanal (weißes Pixel) aufweisen, um eine mehrkanalige Bildgebungszelle bereitzustellen, während das spektrale Makropixel 60 eine mehrkanalige spektrale Antwort für den räumlichen Bereich bereitstellen kann, der von der mehrkanaligen Bildgebungszelle abgebildet wird. Es ist zu beachten, dass die Begriffe „spektrales Makropixel“, „spektraler Pixelkern“ und/oder „spektraler Kern“ in diesem Dokument austauschbar verwendet werden können.
2B-2E stellen Top-down-Darstellungen von Beispielen individueller Bildgebungsstrukturen dar, die spektrale Makropixel enthalten. In 2B ist ein Standard-Rot-, Grün-, Blau-(RGB-)Bildgeber in einer Struktur bereitgestellt, die Filter 54A -54E verwendet, wobei ein spektrales Makropixel 62 in der Nähe der bildgebenden Pixel angeordnet ist. In dem Beispiel sind ein oder mehrere optische Sensoren dem Filter 54A zugeordnet, um zum Beispiel ein rotes Pixel bereitzustellen, während Filter 54B und Filter 54D dazu konfiguriert sein können, zum Beispiel zwei grüne Pixel bereitzustellen, wobei Filter 54C und 54E dazu konfiguriert sind, blaue Pixel bereitzustellen. In einem verwandten Beispiel sind ein oder mehrere Filter 54A -E weiße Filter (Allpassfilter) oder Tiefenpixel (wie beispielsweise ein oder mehrere Pixel, die für zeitbasierte Tiefenauflösung konfiguriert sind).
In 2C ist ein Makropixel 64 in einer Struktur konfiguriert, die Filter 56A -56E verwendet, wobei jeder von 56A -56E dazu angepasst ist, einen unterschiedlichen Bildgebungsbereich bereitzustellen. In 2D ist ein bildgebendes Mosaik derart konfiguriert, dass ein Makropixel 66 in einer Struktur bereitgestellt ist, die den Umfang einer Bildgebungszelle umgibt. In einem Beispiel ist eine Rot-, Grün-, Grün-, Blau-Bildgebungszelle unter Verwendung von Filterelementen 58A -58D bereitgestellt, während Filter 58B und Filter 58D zur Annäherung an grüne Pixel angepasst sind.
In 2E ist ein Makropixel 68 angrenzend an (vier) 4 Pixel einer Bildgebungszelle konfiguriert. In einem Beispiel sind Filterelemente 52A -52D dazu konfiguriert, eine Bildzelle mit 4 unterschiedlichen Bildgebungswellenlängen bereitzustellen, während Makropixel 68 dazu konfiguriert ist, eine mehrkanalige spektrale Antwort für den räumlichen Bereich eines Bildsensors bereitzustellen, der der Bildzelle zugeordnet ist.
In einem verwandten Ausführungsbeispiel können ein oder mehrere spektrale Makropixel in einem Sensor, wie Sensor 10 von 2A, dünnbesetzt verteilt sein. In einem spezifischen Beispiel können Bildgebungsanwendungen, die eine relativ höhere spektrale Auflösung in begrenzten und/oder spezifischen räumlichen Bereichen eines Bildsensors erfordern, mit mehreren Bildgebungszellen implementiert werden, wie beispielsweise mehreren Rot-, Grün-, Grün-, Blau- (RGGB-)Bildgebungszellen, die einem einzelnen spektralen Makropixel zugeordnet sind. In noch einem anderen Beispiel können spektrale Makropixel nur in einigen räumlichen Bereichen eines Bildsensors, wie Sensor 10 von 2A, nach Bedarf/Erfordernis bereitgestellt werden, wenn eine relative Variation der Spektralinformationen für eine Anwendung erwartet wird, wie Spektralinformationen für einen kleinen Bereich einer Szene, die abgebildet wird, oder eine Vorklassifizierung einer Szene anzeigt, dass Spektralinformationen erforderlich oder gewünscht sind. In einem verwandten Beispiel befinden sich spektrale Makropixel in einem regelmäßigen Muster auf dem Bildsensor, während in einem alternativen Beispiel spektrale Makropixel in einem unregelmäßigen Muster mit unterschiedlichem Abstand/Dichte über den Bildsensor bereitgestellt werden.
3 stellt eine weitere Top-down-Darstellung eines Beispiels einer bildgebenden Anordnung dar, die räumlich getrennte spektrale Makropixel enthält. In dem Beispiel sind Makropixel 60-1 bis 60-N in einem regelmäßigen Muster über Bildsensor 10 bereitgestellt. In einem spezifischen Beispiel weisen Makropixel 60-1 bis 60-N jeweils ein spektrales Filtermosaik auf, das im Wesentlichen identische Wellenlängenspektren bereitstellt. In einem alternativen Beispiel sind Makropixel 60-1 bis 60-N jeweils dazu konfiguriert, nur einen Teil eines vollen Wellenlängenspektrums bereitzustellen.
In einem alternativen Beispiel ist ein spektrales Mikropixel, wie etwa eines der Makropixel 60-1 bis 60-N, auf einer oder mehreren peripheren Seiten des Bildsensors platziert, um eine spektrale Messung außerhalb einer bildgebenden Anordnung bereitzustellen. In einem spezifischen verwandten Beispiel können periphere Mikropixel verwendet werden, um eine diffuse Messung eines breiteren Bereichs einer abgebildeten Szene bereitzustellen. In einem anderen spezifischen Ausführungsbeispiel sind Spektralkerne auf dem Umfang einer bildgebenden Anordnung dazu konfiguriert, Informationen zum Messen einer Umgebungslichttemperatur bereitzustellen. In noch einem anderen verwandten Beispiel umfasst ein Erfassungsmodus für einen Bildsensor eine Konfiguration unter Verwendung von Spektralkernen, die dazu angepasst sind, Informationen zum Messen eines diffusen Spektrums einer Szene oder eines Objekts in einer Szene bereitzustellen.
4A stellt eine Top-down-Darstellung eines Teils eines Beispiels einer bildgebenden Anordnung dar, die ein spektrales Makropixel enthält. In dem Beispiel ist Makropixelmosaik 72 dazu konfiguriert, 16 Wellenlängenbereiche für ein Wellenlängenspektrum bereitzustellen. In dem Beispiel ist Makropixelmosaik 72 dazu konfiguriert, einen Bereich eines Bildsensors zu belegen, der ansonsten Pixel eines Bildsensors bereitstellen würde, wie beispielsweise die 4 Pixel eines Rot-, Grün-, Grün-, Blau- (RGGB-)Sensors. In dem bereitgestellten Beispiel werden 8 Bildgebungszellen, die Filterelementen 84A -84D zugeordnet sind, über einen Bildgebungssensor mit Makropixelmosaik 72 wiederholt. In einem Beispiel wird die Anordnung von 4A über einen Bildgebungssensor wiederholt, so dass Makropixelmosaik 72 über den räumlichen Bereich des Bildgebungssensors wiederholt wird.
In einem Beispiel weist Makropixelmosaik 72 optische Sensoren für Wellenlängen λ₁-λ₁₆ auf, wobei optische Sensoren, die jedem von λ₁-λ₁₆ zugeordnet sind, dazu konfiguriert sind, eine Filterantwort für unterschiedliche Wellenlängen von einfallendem Licht an dem Makropixel bereitzustellen. In einem Beispiel ist die kombinierte Filterantwort für die optischen Sensoren, die jedem von λ₁-λ₁₆ zugeordnet sind, dazu konfiguriert, eine spektrale Ausgabe für einen gewünschten Spektralbereich bereitzustellen.
In einem spezifischen Beispiel unter Bezugnahme auf 4A weisen die Wellenlängen, die durch Filter λ9-λ12 übertragen werden, Wellenlängen in einem Bereich auf, der Filter 84A zugeordnet ist, die Wellenlängen λ5-λ8 weisen Wellenlängen in einem Bereich auf, der Filter 84B zugeordnet ist, die Wellenlängen λ13-λ6 weisen Wellenlängen in einem Bereich auf, der Filter 84C zugeordnet ist, und die Wellenlängen λ1-λ4 weisen Wellenlängen in einem Bereich auf, der Filter 84D zugeordnet ist, so dass Makropixelmosaik 72 eine Übertragung von Licht in Wellenlängenbereichen bereitstellt, die 84A-84D zugeordnet sind. Dementsprechend kann Makropixelmosaik 72 dazu verwendet werden, eine präzisere (granularere) Farbbildgebung für Wellenlängen bereitzustellen, die durch Filter 84A -84D übertragen werden. In einem Beispiel entsprechen Filter 54A -54D jeweils einem Rot-, Grün-, Grün-, Blau- (RGGB-)Sensor.
4B stellt eine Top-down-Darstellung einer bildgebenden Anordnung dar, die räumlich getrennte spektrale Teilmosaike von Beispielen spektraler Makropixel enthält. In dem Beispiel ist jedes der Makropixel 74-1 bis 74-4 dazu konfiguriert, eine Filterantwort für einen Teil eines Spektralbereichs, wie beispielsweise ein volles Wellenlängenspektrum, bereitzustellen. In dem Beispiel ist jedes der Makropixel-Teilmosaike 74-1 bis 74-4 mit einem Teil der Wellenlängen konfiguriert, die auf einem Bildsensor, wie beispielsweise Bildsensor 10 aus 2A, gesammelt werden.
In einem spezifischen Ausführungsbeispiel sind einige der Bildgebungsfilter aus 4B teilweise durch Spektralfilter für Wellenlängen λ1 -λ16 ersetzt, so dass die Filterwellenlänge eines Spektralfilters, dar dazu konfiguriert ist, Bildgebungsfilter zu ersetzen, Licht in einem Wellenlängenbereich überträgt, der dem Bildgebungsfilter zugeordnet ist, den er ersetzt.
In einem spezifischen Ausführungsbeispiel ist ein Bildsensor mit einer Anordnung von dünnbesetzt verteilten spektralen Pixelkernen konfiguriert. Der spektrale Pixelkern weist einen Satz von Spektralfiltern auf, die jeweils dazu konfiguriert sind, eine spektrale Antwort für jeden lokalen Teil eines Bildsensors zu messen, der zur Abbildung einer Szene verwendet wird. In einem spezifischen Beispiel bilden spektrale Pixelkerne eine Anordnung von Spektrometern über einen Bildsensor, wie beispielsweise Sensor 10 aus 2A. In einem Beispiel sind Pixel, die nicht in den spektralen Pixelkernen enthalten sind, dazu konfiguriert, Licht in einem normalen/Standard-Bildgebungsmodus durchzulassen.
In einem anderen Beispiel ist die räumliche Konfiguration der dünnbesetzt verteilten spektralen Pixelkerne zur Verwendung mit einer vorbestimmten Optik eines gegebenen Bildgebungssystems angepasst. In einem Beispiel wird ein Satz von spektralen Pixelkernen über eine Bildanordnung dünnbesetzt wiederholt, sodass die geometrische Konfiguration der wiederholten spektralen Kerne an symmetrische Eigenschaften einer Bildgebungslinse (oder Bildgebungslinsen) angepasst ist.
In einem anderen spezifischen Ausführungsbeispiel sind ein oder mehrere spektrale Filterkerne dazu angepasst, einen Satz von eng ausgerichteten Spektralfiltern aufzuweisen, die dazu konfiguriert sind, eine Filterantwort für ein Spektrum von optischen Wellenlängen bereitzustellen. In einem Beispiel sind die spektralen Filterkerne, die dazu angepasst sind, einen Satz von eng ausgerichteten Spektralfiltern aufzuweisen, über die bildgebende Anordnung dünnbesetzt verteilt. In noch einem anderen spezifischen Ausführungsbeispiel sind einige spektrale Filterkerne dazu angepasst, eine Filterantwort für verschiedene relativ granulare Teile eines Wellenlängenspektrums bereitzustellen, die über eine bildgebende Anordnung dünnbesetzt verteilt sind und zusammen ein volles Wellenlängenspektrum bereitstellen.
In einem anderen Beispiel sind verschiedene Spektralfilter dazu konfiguriert, über die bildgebende Anordnung dünnbesetzt verteilt zu sein (d. h. nicht aneinander angrenzend). In einem Beispiel werden Spektralmessungen dann durch Kombinieren mehrerer der dünnbesetzt verteilten Filter über die Anordnung ermöglicht. Dementsprechend sind in dem Beispiel ein oder mehrere spektrale Kerne in verschiedenen nicht angrenzenden Teilen über die Anordnung verteilt. In einem spezifischen verwandten Beispiel kann eine Obermenge von Filtern, die zusammen einen spektralen Kern mit nicht angrenzenden Spektralbändern bilden, selbst wiederholt werden, sodass mehrere spektrale Kerne mit nicht angrenzenden Spektralbändern über eine bildgebende Anordnung verteilt sind.
In einem anderen spezifischen Ausführungsbeispiel können Spektralkerne dazu angepasst sein, eine lokale Punktmessung beim Abbilden einer Szene zu bilden. Zum Beispiel kann ein Satz von spektralen Kernen dazu konfiguriert sein, einen lokalen Bildgebungskern zu bilden, wobei jeder der spektralen Kerne ferner dazu konfiguriert ist, einen Teil einer Szene abzubilden, die abgebildet wird.
In einem Ausführungsbeispiel können Pixel für Auflösungsbildgebung (bildgebende Pixel) panchromatische Pixel (empfindlich für alle Farben im sichtbaren Spektrum) sein. In einem anderen Ausführungsbeispiel können Pixel für Auflösungsbildgebung Farbfilter wie absorbierende RGB-Filter, UV-Filter, Interferenzfilter, plasmonische Filter, nanostrukturierte Filter, Polarisationsfilter oder andere Filtertypen aufweisen.
In einem anderen spezifischen Ausführungsbeispiel sind dünnbesetzt verteilte spektrale Kerne auf einem heterogenen Bildsensor bereitgestellt. In dem Beispiel ist ein Bildsensor in verschiedenen Gruppen von bildgebenden Pixeln konfiguriert, wobei die spektralen Kerne verschiedener Gruppen relativ dünnbesetzt oder dicht innerhalb des Bildsensors dargestellt sind. In noch einem anderen spezifischen Beispiel kann eine bildgebende Anordnung und/oder ein Bildsensor eine Kombination von monochromatischen bildgebenden Pixeln und 3D-Erfassungspixeln aufweisen. In noch einem anderen spezifischen Beispiel können spektrale Kerne Interferenzfilter aufweisen. In einem anderen Beispiel sind einige der optischen Sensoren, die einer Filteranordnung zugrunde liegen, zum Erfassen von kurzwelligem Infrarot(SWIR)-Licht angepasst. In noch einem anderen Beispiel sind einige der optischen Sensoren, die einer Filteranordnung zugrunde liegen, für Autofokus angepasst.
In einem spezifischen Ausführungsbeispiel ist ein Bildsensor für dreidimensionale (3D) Bilderfassung konfiguriert. In einem Beispiel kann ein normaler Bildgebungsmodus ein Modus sein, der für strukturierte Lichtbildgebung konfiguriert ist. In einem anderen Beispiel kann ein normaler Bildgebungsmodus ein Modus sein, der für Time-of-Flight-Bildgebung konfiguriert ist. In einem spezifischen Ausführungsbeispiel verwendet ein 3D-Erfassungsvorgang Nahinfrarotspektrum(NIR)-Licht. In einem anderen spezifischen Beispiel ist der 3D-Erfassungsvorgang für Gesichtserkennung angepasst, wobei die Spektralsensorkerne dazu konfiguriert sind, eine spektrale Antwort für Licht zu messen, das von spezifischen Regionen einer Szene empfangen wird. In einem spezifischen Beispiel, das sich auf 3D-Bilderfassung bezieht, werden spektrale Kerne dazu verwendet, Gewebeparameter zu messen, wie etwa das Gesicht eines Benutzers, das unter Verwendung eines 3D-Bildgebers abgebildet wird. In einem spezifischen Ausführungsbeispiel sind spektrale Kerne dazu konfiguriert, Informationen bereitzustellen, die in der Lage sind, die Ausführung einer Gesichtsauthentifizierungsübung zu unterstützen, und in einem verwandten Beispiel können spektrale Kerne dazu konfiguriert sein, Informationen für Anti-Spoofing während der Ausführung von Gesichtsauthentifizierung bereitzustellen.
In einem spezifischen Ausführungsbeispiel ist ein Bildgebungsmodus für ein Bildgebungssystem zur Erfassung eines Bilds (wie etwa eines 3D-Bilds) einer Szene angepasst. In dem Beispiel können spektrale Kerne, die dem Bildgebungssystem zugeordnet sind, automatischen Weißabgleich unterstützen. In einem verwandten Beispiel weist das Bildgebungssystem eine nach vorne gerichtete Kamera auf. In einem spezifischen verwandten Beispiel können spektrale Kerne, die dem Bildgebungssystem zugeordnet sind, Informationen zum Bestimmen eines genauen Hauttons bereitstellen. In einem Beispiel sind spektrale Kerne, die einem 3D-Bildgebungssystem zugeordnet sind, zur gleichzeitigen Verwendung mit einem 3D-Bildgebungsmodus für das System angepasst.
In einem spezifischen Ausführungsbeispiel ist ein Bildgebungssystem dazu angepasst, Interpolation für fehlende Pixel bereitzustellen, die aus der Verschiebung der fehlenden Pixel mit spektralen Pixelkernen in einer bildgebenden Anordnung resultieren. In einem spezifischen Beispiel können spektrale Kerne verwendet werden, um Informationen zur Verwendung mit 3D-Bildgebung unter Verwendung von Time-of-Flight-Pixeln bereitzustellen. In einem anderen Beispiel kann die Beleuchtung eines Bildschirms von einem Bildgebungssystem, wie etwa einer Kamera, in Kombination mit spektralen Filterkernen verwendet werden, um Informationen zum Unterstützen des Darstellens eines genauen und/oder präzisen Spektrums für eine Szene oder ein Objekt, die/das abgebildet wird, bereitzustellen.
In einem Ausführungsbeispiel weist ein Bildgebungssystem eine Fokussierlinse auf, die für eine Vielzahl von Betriebsmodi optimiert ist, wobei die Betriebsmodi einen allgemeinen Bildgebungsmodus und mindestens einen Modus zur Verwendung mit spektralen Kernen umfassen. In einem verwandten Ausführungsbeispiel kann ein Bildgebungssystem ein Linsenelement aufweisen, das dazu angepasst ist, rekonfigurierbar zu sein, und in einem verwandten Beispiel kann das rekonfigurierbare Linsenelement die Ausführung mehrerer Betriebsmodi, wie etwa sequentieller Betriebsmodi, ermöglichen. In einem verwandten Beispiel kann ein rekonfigurierbares Linsenelement dazu angepasst sein, für jeden einer Vielzahl von Modi neu zu fokussieren. In einem anderen verwandten Beispiel ist ein rekonfigurierbares Linsenelement gezielt dazu angepasst, einen Außerfokusbetrieb für einen diffusen spektralen Erfassungsmodus zu ermöglichen. In noch einem anderen verwandten Beispiel wird ein diffuser spektraler Erfassungsmodus ausgeführt, der dazu angepasst ist, Informationen zu verwenden, die unter Verwendung eines oder mehrerer spektraler Kerne gesammelt wurden.
In einem spezifischen Ausführungsbeispiel ist ein Unterdrückungsfilterelement in dem optischen Stapel eines Bildgebungssystems dazu angepasst, Nahinfrarotlicht (NIR) zur Verwendung in 3D-Bildgebung und für spektrale Bildgebungskerne durchzulassen, während Licht außerhalb einer oder mehrerer gewünschter NIR-Wellenlängen im Wesentlichen unterdrückt wird. In einem verwandten Beispiel ist ein Glasfilter, der dazu angepasst ist, Licht in einem oder mehreren bestimmten Wellenlängenbereichen einzuschränken und/oder abzuschwächen, dazu konfiguriert, für einen oder mehrere einer Vielzahl von Bildgebungsmodi mechanisch zurückgezogen zu werden.
In einem Ausführungsbeispiel weist ein Bildgebungssystem Bildsensorpixel mit Standard-Rot-, Grün- und Blau-(RGB-)Filtern auf. In einem anderen Beispiel weisen einige Bildsensorpixel in einem Bildgebungssystem modulierende oder Time-of-Flight-Pixel auf, während in anderen Beispielen einige Bildsensorpixel in einem Bildgebungssystem Autofokuspixel aufweisen. In einem Beispiel eines Bildgebungssystems ist ein Bildsensor mit einer Vielzahl von Auslesemodi und/oder Pixeltypen für verschiedene Betriebsmodi konfiguriert. In einem Beispiel weist ein Bildgebungssystem sowohl Bildgebungspixel als auch Spektrale Pixel auf, die zur Verwendung in verschiedenen und/oder gleichen Modi angepasst sind. In einem verwandten Beispiel ist ein Bildsensor, entweder allein oder als Teil eines Bildgebungssystems, dazu konfiguriert, eine Vielzahl von Auslesemodi und/oder Pixeltypen sequentiell zu betreiben, während in einem oder mehreren zusätzlichen Modi die bildgebenden Pixel und spektralen Pixel dazu konfiguriert sind, gleichzeitig zu arbeiten.
In einem Ausführungsbeispiel weist ein Bildgebungssystem einen Bildsensor auf, der Mikrolinsen aufweist, die auf den Filtern positioniert sind (d. h. so konfiguriert sind, dass einfallendes Licht, das in das Bildgebungssystem eintritt, zuerst durch die Mikrolinsen hindurchtritt). In einem verwandten Ausführungsbeispiel sind eine Vielzahl von Mikrolinsentypen zur Verwendung mit spektralen Pixeln angepasst, während sich die Vielzahl von Mikrolinsentypen von einer Vielzahl von Mikrolinsentypen unterscheidet, die zur Verwendung mit Bildgebungspixeln angepasst sind.
4C stellt ein Bild dar, das die Ausführung einer bildgebenden Anordnung darstellt, die räumlich getrennte spektrale Makropixel enthält. In dem Beispiel befinden sich Makropixel 76 innerhalb regelmäßig beabstandeter räumlicher Bereiche einer bildgebenden Anordnung. In einem Ausführungsbeispiel werden die Makropixel verwendet, um die zugeordneten räumlichen Bereiche eines resultierenden Bilds zu korrigieren und/oder zu verbessern.
5 stellt ein Blockdiagramm eines Beispiels eines Bildgebungssystems dar, das einen hochauflösenden Bildgeber mit spektralen Unteranordnungen enthält. In dem Beispiel weist das Bildgebungssystem 100 einen Bildgeber 210 auf, der hochauflösende Pixel aufweisen kann, zusammen mit einer Vielzahl von räumlich getrennten spektralen Unteranordnungen 200-1 bis 200-X. In einem spezifischen Beispiel sind die spektralen Unteranordnungen 200-1 bis 200-X im Wesentlichen gleichmäßig über den Bereich des Bildgebers 210 verteilt. In einem alternativen Beispiel sind die spektralen Unteranordnungen 200-1 bis 200-X über den Bereich des Bildgebers 210 in einem vorbestimmten Muster verteilt, um mehr der spektralen Unteranordnungen 200-1 bis 200-X an spezifischen Stellen des Bildgebers 210 zu ermöglichen. In einem spezifischen Ausführungsbeispiel weist jede der Vielzahl von räumlich getrennten spektralen Unteranordnungen 200-1 bis 200-X ein Mosaik von spektralen Sensorelementen auf, die dazu angepasst sind, ein Spektrum von Wellenlängen basierend auf Licht bereitzustellen, das an dem Bildgeber 210 empfangen wird.
In einem Beispiel ist der Bildprozessor 220 dazu angepasst, eine Ausgabe von dem Bildgeber 210 und den spektralen Unteranordnungen 200-1 bis 200-X zu empfangen. In einem anderen Beispiel ist der Bildprozessor 220 ferner dazu angepasst, die Ausgabe des Bildgebers 210 basierend auf der Ausgabe von den spektralen Unteranordnungen 200-1 bis 200-X zu korrigieren und/oder zu verbessern. In einem Ausführungsbeispiel ist der Bildgeber 210 mit einer Schnittstelle angepasst, die eine einzelne Ausgabe sowohl für hochauflösende Pixel des Bildgebers 210 als auch für die spektralen Unteranordnungen 200-1 bis 200-X an den Bildprozessor 220 bereitstellt. In einem anderen Beispiel kann die Ausgabe von hochauflösenden Pixeln des Bildgebers 210 und den spektralen Unteranordnungen 200-1 bis 200-X separat an den Bildprozessor 220 bereitgestellt werden.
6A ist ein Flussdiagramm, das ein Beispiel eines Verfahrens zum Korrigieren von Bilddaten unter Verwendung räumlich getrennter Makropixel darstellt. Das Verfahren beginnt bei Schritt 300, wobei ein Bildgeber eine Szene abtastet, und wird bei Schritt 310 fortgesetzt, indem empfangenes Licht für jedes Pixel der räumlich getrennten Makropixel abgetastet wird. Bei Schritt 320 wird das Verfahren fortgesetzt, wobei die Spektralinformationen für jedes Makropixel bestimmt werden, und wird dann bei Schritt 330 fortgesetzt, wobei die Bilddaten für die Szene in den räumlichen Bereichen, die den bestimmten Spektralinformationen der Makropixel zugeordnet sind, korrigiert und/oder verbessert werden.
6B ist ein Flussdiagramm, das ein anderes Beispiel eines Verfahrens zum Korrigieren von Bilddaten unter Verwendung räumlich getrennter Makropixel darstellt. Das Verfahren beginnt bei Schritt 400, indem das Spektrum des empfangenen Lichts für jedes Pixel der räumlich getrennten Makropixel abgetastet wird. Bei Schritt 410 wird das Verfahren fortgesetzt, wobei eine 3D-Abtastung der Szene durchgeführt wird. Bei Schritt 420 wird das Verfahren fortgesetzt, wobei die Spektralinformationen für jedes Makropixel bestimmt werden, und wird dann bei Schritt 430 fortgesetzt, wobei die Spektralinformationen verwendet werden, um die 3D-Daten der Szene zu verbessern. Bei Schritt 440 werden die verbesserten 3D-Daten verwendet, um ein verbessertes 3D-Bild zu erzeugen.
7 stellt ein Blockdiagramm eines Authentifizierungssystems dar, das einen Infrarot(IR)-Bildgeber und einen spektralen Bildgeber aufweist. In dem Beispiel weist das Authentifizierungssystem 500 einen IR-Flutbeleuchter 508 auf, der dazu konfiguriert ist, relativ gleichmäßiges, hochfrequenzmoduliertes Licht zur Projektion auf ein zu authentifizierendes Objekt, wie etwa das Gesicht eines Benutzers, bereitzustellen. In einem Beispiel ist der IR-Bildgeber 502 im Wesentlichen mit der Ausgabe des IR-Flutbeleuchters 508 synchronisiert und ist dazu angepasst, IR-Strahlung abzutasten, die von dem Objekt reflektiert wird. In einem Beispiel ist das Authentifizierungssystem von 7 dazu angepasst, eine Umlaufzeit unter Verwendung eines Laufzeit-Mechanismus für Licht zu bestimmen, das von dem IR-Flutbeleuchter 508 auf das Objekt projiziert wird, bis es an dem IR-Bildgeber 502 empfangen wird. In einem Beispiel sind ein oder mehrere Module, die dem Prozessor 506 zugeordnet sind, dazu angepasst, die Ausgabe des IR-Flutbeleuchters 508 mit der Bildabtastung durch den IR-Bildgeber 502 zu synchronisieren. In einem spezifischen Beispiel weist der Prozessor 506 zusätzliche Module auf, die dazu angepasst sind, einen Laufzeit-Algorithmus basierend auf der Ausgabe von dem IR-Bildgeber 502 auszuführen, um den Abstand zwischen dem IR-Bildgeber 502 und einem zu authentifizierenden Objekt aufzulösen. In einem spezifischen Beispiel ist der IR-Bildgeber 502 mit dem spektralen Bildgeber 504 auf demselben Bildsensor implementiert und dazu angepasst, ein oder mehrere Ausgangssignale an den Prozessor 506 bereitzustellen. In einem alternativen Beispiel ist der IR-Bildgeber 502 separat von dem spektralen Bildgeber 504 implementiert, wobei jeder dazu angepasst ist, ein oder mehrere Ausgangssignale an den Prozessor 506 bereitzustellen.
In einem spezifischen Beispiel weist der IR-Flutbeleuchter 508 eine oder mehrere Leuchtdioden (LEDs) auf. In einem anderen Beispiel weist der IR-Flutbeleuchter 508 eine oder mehrere Laserquellen auf, wobei der Laser einen Impuls von IR-Strahlung bereitstellt. In einem Beispiel kann das Authentifizierungssystem 500 einen strukturierten IR-Beleuchter 512 aufweisen, um das Objekt mit unterschiedlichen Mustern, wie beispielsweise Gittern, Punkten oder Linien, zu beleuchten. In einem Beispiel kann der strukturierte IR-Beleuchter 512 ein Punktgittermuster aufweisen, um einige Punkte auf dem Objekt zu inspizieren, oder in einem anderen Beispiel kann ein Linien- oder Mehrfachlinienmuster von dem strukturierten IR-Beleuchter 512 projiziert werden, um beispielsweise das dreidimensionale Profil eines Objekts zu bestimmen. In einem spezifischen Ausführungsbeispiel kann der strukturierte IR-Beleuchter 512 eine triangulationsbasierte Beleuchtung verwenden, um die Abmessungen des Objekts zu bestimmen, während es abgetastet wird. In einem anderen verwandten Beispiel kann der strukturierte IR-Beleuchter 512 eine Schattenbeleuchtung in Kombination mit einer triangulationsbasierten Beleuchtung verwenden, um die Abmessungen eines Objekts zu bestimmen, während es abgetastet wird, basierend auf reflektierter und/oder gebrochener Strahlung. In noch einem anderen Beispiel kann der strukturierte IR-Beleuchter 512 ein Punktmuster oder ein Gittermuster verwenden, um Tiefeninformationen des Objekts an einer Vielzahl von diskreten Punkten auf dem Objekt in einer einzigen Belichtung (d. h. ohne abgetastet zu werden) zu bestimmen.
8A stellt ein Beispiel eines Mobilgeräts dar, das zur Authentifizierung angepasst ist. In dem Beispiel weist das Mobilgerät 520 eine Kamera oder einen Bildgebungsmechanismus auf, der zur Authentifizierung eines Benutzers des Mobilgeräts 520 angepasst ist. In einem spezifischen Beispiel weist die Kamera oder der Bildgebungsmechanismus ein Modul mit einer oder mehreren Beleuchtungsquellen auf, zusammen mit spezialisierten Sensoren. Unter Bezugnahme auf 7 können eine oder mehrere der Beleuchtungsquellen dazu angepasst sein, Infrarot(IR)-Strahlung auf das Gesicht eines Benutzers zu projizieren. Beispiele von Beleuchtungsquellen beinhalten die Flutbeleuchtungsquelle 526 und/oder die strukturierte Lichtbeleuchtungsquelle 522. In einem spezifischen Beispiel kann ein Prozessor in einer Kamera oder einem Bildgebungsmodul implementiert sein und zur Steuerung der Flutbeleuchtungsquelle 526 und/oder der strukturierten Lichtbeleuchtungsquelle 522 angepasst sein. In einem alternativen Beispiel kann die Steuerung der Flutbeleuchtungsquelle 526 und/oder der strukturierten Lichtbeleuchtungsquelle 522 durch einen Prozessor ausgeführt werden, der mit anderen Funktionen des Mobilgeräts 520 geteilt wird.
In dem dargestellten Beispiel sind ein Bildsensor 524 und ein Spektralsensor 528 bereitgestellt, um Licht, wie etwa Infrarot(IR)-Licht, das von dem Gesicht eines Benutzers zur Authentifizierung reflektiert wird, abzutasten. In einem Beispiel ist der Bildsensor 524 zusätzlich zur normalen Kamerafunktion für Authentifizierungsfunktionen angepasst. In einem alternativen Beispiel ist der Bildsensor 524 für eine Authentifizierungsfunktion dediziert. In einem verwandten Beispiel kann der Spektralsensor 528 für eine Authentifizierungsfunktion angepasst sein, oder alternativ kann der Spektralsensor 528 für andere Verwendungen über die Authentifizierung hinaus angepasst sein. In einem spezifischen verwandten Beispiel können die eine oder mehreren Beleuchtungsquellen dazu angepasst sein, eine dedizierte Beleuchtung bereitzustellen, die es dem Spektralsensor 528 ermöglicht, reflektiertes Licht spektral abzutasten. In einem anderen Beispiel sind der Bildsensor 524 und der Spektralsensor 528 in demselben Bildsensor implementiert, wie beispielsweise Bildsensor 10 aus 2A.
8B stellt ein Beispiel eines Benutzers dar, der eine Kamera oder einen Bildgebungsmechanismus zur Authentifizierung anwendet. In einem Beispiel ist ein Mobilgerät, wie beispielsweise das Mobilgerät 520 aus 8A, dazu angepasst, strukturierte Lichtbeleuchtung und Flutbeleuchtungslicht bereitzustellen, das von dem Gesicht eines Benutzers reflektiert wird, um dreidimensionale Tiefeninformationen an einer Vielzahl von diskreten Punkten von dem Gesicht des Benutzers bereitzustellen. In einem Beispiel kann eine Kamera oder ein Bildgebungsmechanismus einen Spektralsensor zum Bestimmen der Gewebeparameter aufweisen, wie etwa Hautparameter für das Gesicht des Benutzers, die verwendet werden können, um die dreidimensionalen Tiefeninformationen in einem Authentifizierungssystem zu verbessern.
In einem Ausführungsbeispiel kann das Hinzufügen von Gewebeparametern zu einem Authentifizierungsalgorithmus verwendet werden, um verschiedene Spoofing-Bemühungen zu überwinden, wie beispielsweise die Verwendung einer Maske oder eines nicht verkörperten Körperteils, um die Verwendung des Mobilgeräts zu authentifizieren. In einem Beispiel können die Hautparameter, die unter Verwendung eines Spektralsensors gesammelt wurden, angeben, ob Blut in Hautgewebe (wie etwa Gesichtsgewebe) zirkuliert und/oder ob das Gewebe eine geeignete Temperatur ist, zusammen mit anderen Gewebeparametern, die entweder Indikatoren für lebendes Gewebe sind und/oder ob die Gewebeparameter mit einem bestimmten Benutzer übereinstimmen.
9 ist ein Flussdiagramm eines Verfahrens zur Verwendung von Flutbeleuchtung und strukturierter Infrarot(IR)-Beleuchtung mit einem spektralen Bildgeber zur Authentifizierung eines Benutzers. Das Verfahren beginnt bei Schritt 600 mit der Projektion von Licht von einer strukturierten IR-Lichtquelle auf das Gesicht des Benutzers und wird bei Schritt 612 mit der Abtastung von Licht fortgesetzt, das von dem Gesicht des Benutzers durch einen Bildgeber reflektiert wird, der dazu angepasst ist, IR-Strahlung zu erfassen. Bei Schritt 614 wird das Verfahren fortgesetzt, wobei die Projektion von Licht von einer IR-Flutlichtquelle auf das Gesicht des Benutzers und bei Schritt 616 mit der Abtastung von Licht fortgesetzt wird, das von dem Gesicht des Benutzers durch den Bildgeber reflektiert wird. In einem anderen Beispiel können die Schritte 600 und 614 in der Reihenfolge umgekehrt werden, so dass die Abtastung des reflektierten Lichts von der IR-Flutlichtquelle zuerst ausgeführt wird. Das Verfahren wird bei Schritt 618 mit der Ausführung eines Authentifizierungsalgorithmus unter Verwendung der Abtastungen von Schritt 612 und Schritt 616 fortgesetzt. Das Verfahren wird dann bei Schritt 620 fortgesetzt, wobei ein Spektralbildgeber verwendet wird, um ein Bild des Gesichts des Benutzers abzutasten, gefolgt von Schritt 622, wobei Gewebeparameter (wie etwa Hautparameter) für das Gesicht des Benutzers basierend auf dem abgetasteten Spektralbild bestimmt werden. Bei Schritt 624 wird das Verfahren fortgesetzt, wobei die Gewebeparameter auf die Authentifizierungsfunktion angewendet werden, um den Authentifizierungsalgorithmus zu verbessern, und schließlich, wenn die seit Schritt 600 verstrichene Zeit einen vorbestimmten Zeitraum nicht überschreitet, ist die Authentifizierung abgeschlossen. Umgekehrt, wenn der vorbestimmte Zeitraum überschritten wurde, kann das Verfahren mit Schritt 600 erneut initiiert werden.
Es wird darauf hingewiesen, dass Terminologien, wie sie hier verwendet werden können, wie etwa Bitstrom, Strom, Signalsequenz usw. (oder ihre Äquivalente) austauschbar verwendet wurden, um digitale Informationen zu beschreiben, deren Inhalt einem beliebigen einer Anzahl von gewünschten Typen entspricht (z. B. Daten, Video, Sprache, Text, Grafik, Audio usw., von denen jedes allgemein als „Daten“ bezeichnet werden kann).
Wie hier verwendet werden kann, stellen die Begriffe „im Wesentlichen“ und „ungefähr“ eine branchenübliche Toleranz für ihren entsprechenden Begriff und/oder die Relativität zwischen Elementen bereit. Für einige Branchen beträgt eine branchenübliche Toleranz weniger als ein Prozent und für andere Branchen beträgt die branchenübliche Toleranz 10 Prozent oder mehr. Andere Beispiele für branchenübliche Toleranzen reichen von weniger als einem Prozent bis zu fünfzig Prozent. Branchenübliche Toleranzen entsprechen, sind aber nicht beschränkt auf, Komponentenwerte, Prozessvariationen des integrierten Schaltkreises, Temperaturvariationen, Anstiegs- und Abfallzeiten, thermisches Rauschen, Abmessungen, Signalisierungsfehler, fallengelassene Pakete, Temperaturen, Drücke, Materialzusammensetzungen und/oder Leistungsmetriken. Innerhalb einer Branche können Toleranzvarianzen von zugelassenen Toleranzen mehr oder weniger als ein Prozentniveau (z. B. Abmessungstoleranz von weniger als +/-1 %) betragen. Einige Relativitäten zwischen Elementen können von einer Differenz von weniger als einem Prozentniveau bis zu einigen wenigen Prozent reichen. Andere Relativitäten zwischen Elementen können von einer Differenz von einigen wenigen Prozent bis zur Größe von Differenzen reichen.
Wie hier auch verwendet werden kann, umfasst/umfassen der/die Begriff(e) „konfiguriert zum“, „betriebsfähig gekoppelt mit“, „gekoppelt mit“ und/oder „Kopplung“ eine direkte Kopplung zwischen Gegenständen und/oder eine indirekte Kopplung zwischen Gegenständen über einen dazwischenliegenden Gegenstand (z. B. ein Gegenstand umfasst unter anderem eine Komponente, ein Element, einen Schaltkreis und/oder ein Modul), wobei für ein Beispiel einer indirekten Kopplung das dazwischenliegende Element die Informationen eines Signals nicht modifiziert, sondern seinen Strompegel, Spannungspegel und/oder Leistungspegel einstellen kann. Wie hier ferner verwendet werden kann, umfasst eine Inferenz-Kopplung (d. h., wenn ein Element durch Inferenz mit einem anderen Element gekoppelt ist) eine direkte und indirekte Kopplung zwischen zwei Elementen auf die gleiche Weise wie „gekoppelt mit“.
Wie hier noch ferner verwendet werden kann, gibt der Begriff „konfiguriert zum“, „betriebsfähig zum“, „gekoppelt mit“ oder „betriebsfähig gekoppelt mit“ an, dass ein Element eine oder mehrere Leistungsverbindungen, Eingang(e), Ausgang(e) usw. umfasst, um bei Aktivierung eine oder mehrere seiner entsprechenden Funktionen durchzuführen, und kann ferner eine Inferenz-Kopplung mit einem oder mehreren anderen Elementen umfassen. Wie hier noch ferner verwendet werden kann, umfasst der Begriff „angeordnet zu“ eine direkte und/oder indirekte Kopplung von separaten Elementen und/oder einem Element, das in einem anderen Element eingebettet ist.
Wie hier verwendet werden kann, gibt der Begriff „vergleicht günstig“ an, dass ein Vergleich zwischen zwei oder mehr Elementen, Signalen usw. eine gewünschte Beziehung bereitstellt. Wenn zum Beispiel die gewünschte Beziehung ist, dass Signal 1 eine größere Größe als Signal 2 aufweist, kann ein günstiger Vergleich erreicht werden, wenn die Größe von Signal 1 größer als die von Signal 2 ist oder wenn die Größe von Signal 2 kleiner als die von Signal 1 ist. Wie hier verwendet werden kann, gibt der Begriff „vergleicht ungünstig“ an, dass ein Vergleich zwischen zwei oder mehr Elementen, Signalen usw. die gewünschte Beziehung nicht bereitstellt.
Wie hier verwendet werden kann, können ein oder mehrere Ansprüche in einer spezifischen Form dieser generischen Form die Phrase „mindestens eines von a, b und c“ oder dieser generischen Form „mindestens eines von a, b oder c“ mit mehr oder weniger Elementen als „a“, „b“ und „c“ beinhalten. In beiden Formulierungen sind die Phrasen identisch zu interpretieren. Insbesondere ist „mindestens eines von a, b und c“ äquivalent zu „mindestens eines von a, b oder c“ und soll a, b und/oder c bedeuten. Als Beispiel bedeutet es: nur „a“, nur „b“, nur „c“, „a“ und „b“, „a“ und „c“, „b“ und „c“ und/oder „a“, „b“ und „c“.
Wie hier auch verwendet werden kann, können die Begriffe „Verarbeitungsmodul“, „Verarbeitungsschaltkreis“, „Prozessor“, „Verarbeitungsschaltung“ und/oder „Verarbeitungseinheit“ ein einzelnes Verarbeitungsgerät oder eine Vielzahl von Verarbeitungsgeräten sein. Ein solches Verarbeitungsgerät kann ein Mikroprozessor, ein Mikrocontroller, ein digitaler Signalprozessor, ein Mikrocomputer, eine zentrale Verarbeitungseinheit, ein feldprogrammierbares Gate-Array, ein programmierbares Logikgerät, eine Zustandsmaschine, eine Logikschaltung, eine analoge Schaltung, eine digitale Schaltung und/oder ein beliebiges Gerät sein, das Signale (analog und/oder digital) basierend auf einer festen Codierung der Schaltung und/oder Betriebsanweisungen manipuliert. Das Verarbeitungsmodul, das Modul, der Verarbeitungsschaltkreis, die Verarbeitungsschaltung und/oder die Verarbeitungseinheit können ein Speicher und/oder ein integriertes Speicherelement sein oder aufweisen, das ein einzelnes Speichergerät, eine Vielzahl von Speichergeräten und/oder eine eingebettete Schaltung eines anderen Verarbeitungsmoduls, eines anderen Moduls, eines anderen Verarbeitungsschaltkreises, einer anderen Verarbeitungsschaltung und/oder einer anderen Verarbeitungseinheit sein kann. Ein solches Speichergerät kann ein Nur-Lese-Speicher, ein Direktzugriffsspeicher, ein flüchtiger Speicher, ein nichtflüchtiger Speicher, ein statischer Speicher, ein dynamischer Speicher, ein Flash-Speicher, ein Cache-Speicher und/oder ein beliebiges Gerät sein, das digitale Informationen speichert. Es ist zu beachten, dass, wenn das Verarbeitungsmodul, das Modul, der Verarbeitungsschaltkreis, die Verarbeitungsschaltung und/oder die Verarbeitungseinheit mehr als ein Verarbeitungsgerät aufweist, die Verarbeitungsgeräte zentral angeordnet sein können (z. B. direkt über eine drahtgebundene und/oder drahtlose Busstruktur miteinander gekoppelt sein) oder verteilt angeordnet sein können (z. B. Cloud-Computing über indirekte Kopplung über ein lokales Netzwerk und/oder ein Weitverkehrsnetzwerk). Es ist ferner zu beachten, dass, wenn das Verarbeitungsmodul, das Modul, der Verarbeitungsschaltkreis, die Verarbeitungsschaltung und/oder die Verarbeitungseinheit eine oder mehrere ihrer Funktionen über eine Zustandsmaschine, eine analoge Schaltung, eine digitale Schaltung und/oder eine Logikschaltung implementiert, der Speicher und/oder das Speicherelement, der bzw. das die entsprechenden Betriebsanweisungen speichert, innerhalb oder außerhalb der Schaltung eingebettet sein kann, die die Zustandsmaschine, die analoge Schaltung, die digitale Schaltung und/oder die Logikschaltung umfasst. Es ist ferner zu beachten, dass das Speicherelement fest codierte und/oder operative Anweisungen speichern kann und das Verarbeitungsmodul, das Modul, der Verarbeitungsschaltkreis, die Verarbeitungsschaltung und/oder die Verarbeitungseinheit diese ausführt, die mindestens einigen der Schritte und/oder Funktionen entsprechen, die in einer oder mehreren der Figuren dargestellt sind. Ein solches Speichergerät oder Speicherelement kann in einem Herstellungsartikel enthalten sein.
Eine oder mehrere Ausführungsformen wurden oben mit Hilfe von Verfahrensschritten beschrieben, die die Leistung spezifizierter Funktionen und deren Beziehungen darstellen. Die Grenzen und die Abfolge dieser Funktionsbausteine und Verfahrensschritte wurden hier zur Vereinfachung der Beschreibung willkürlich definiert. Alternative Grenzen und Abfolgen können definiert werden, solange die spezifizierten Funktionen und Beziehungen angemessen durchgeführt werden. Alle solchen alternativen Grenzen oder Abfolgen liegen somit innerhalb des Umfangs und Geists der Ansprüche. Ferner wurden die Grenzen dieser Funktionsbausteine zur Vereinfachung der Beschreibung willkürlich definiert. Alternative Grenzen könnten definiert werden, solange die bestimmten signifikanten Funktionen angemessen durchgeführt werden. Ähnlich können auch Flussdiagrammblöcke hier willkürlich definiert worden sein, um eine bestimmte signifikante Funktionalität darzustellen.
In dem verwendeten Ausmaß könnten die Flussdiagrammblockgrenzen und -abfolge anderweitig definiert worden sein und dennoch die bestimmte signifikante Funktionalität durchführen. Solche alternativen Definitionen sowohl von Funktionsbausteinen als auch von Flussdiagrammblöcken und -abfolgen liegen somit innerhalb des Umfangs und Geists der Ansprüche. Ein Durchschnittsfachmann wird auch erkennen, dass die Funktionsbausteine und andere veranschaulichende Blöcke, Module und Komponenten hier wie dargestellt oder durch diskrete Komponenten, anwendungsspezifische integrierte Schaltungen, Prozessoren, die geeignete Software und dergleichen ausführen, oder eine beliebige Kombination davon implementiert werden können.
Zusätzlich kann ein Flussdiagramm eine „Start“- und/oder „Fortsetzung“-Angabe beinhalten. Die „Start“- und „Fortsetzung“-Angaben reflektieren, dass die dargestellten Schritte optional in eine oder mehrere andere Routinen integriert oder anderweitig in Verbindung damit verwendet werden können. Zusätzlich kann ein Flussdiagramm eine „Ende“- und/oder „Fortsetzung“-Angabe beinhalten. Die „Ende“- und/oder „Fortsetzung“-Angaben reflektieren, dass die dargestellten Schritte wie beschrieben und gezeigt enden können oder optional in eine oder mehrere andere Routinen integriert oder anderweitig in Verbindung damit verwendet werden können. In diesem Zusammenhang gibt „Start“ den Beginn des ersten dargestellten Schritts an und kann anderen, nicht speziell gezeigten Aktivitäten vorausgehen. Ferner reflektiert die „Fortsetzung“-Angabe, dass die dargestellten Schritte mehrmals durchgeführt werden können und/oder anderen, nicht speziell gezeigten Aktivitäten nachfolgen können. Ferner sind, während ein Flussdiagramm eine bestimmte Reihenfolge von Schritten angibt, andere Reihenfolgen gleichermaßen möglich, vorausgesetzt, dass die Kausalitätsprinzipien beibehalten werden.
Die eine oder mehreren Ausführungsformen werden hier verwendet, um einen oder mehrere Aspekte, ein oder mehrere Merkmale, ein oder mehrere Konzepte und/oder ein oder mehrere Beispiele darzustellen. Eine physische Ausführungsform einer Vorrichtung, eines Herstellungsartikels, einer Maschine und/oder eines Prozesses kann einen oder mehrere der Aspekte, Merkmale, Konzepte, Beispiele usw. aufweisen, die unter Bezugnahme auf eine oder mehrere der hier besprochenen Ausführungsformen beschrieben sind. Ferner können die Ausführungsformen von Figur zu Figur die gleichen oder ähnlich benannten Funktionen, Schritte, Module usw. umfassen, die die gleichen oder unterschiedliche Bezugszeichen verwenden können, und als solche können die Funktionen, Schritte, Module usw. die gleichen oder ähnliche Funktionen, Schritte, Module usw. oder unterschiedliche sein.
Sofern nicht speziell auf den Kontext Bezug genommen, können Signale zu, von und/oder zwischen Elementen in einer Figur einer beliebigen der hier präsentierten Figuren analog oder digital, zeitkontinuierlich oder zeitdiskret und unsymmetrisch oder differenziell sein. Wenn zum Beispiel ein Signalpfad als ein unsymmetrischer Pfad gezeigt ist, stellt er auch einen differenziellen Signalpfad dar. Gleichermaßen stellt, wenn ein Signalpfad als ein differenzieller Pfad gezeigt ist, er auch einen unsymmetrischen Signalpfad dar. Während eine oder mehrere bestimmte Architekturen hier beschrieben sind, können andere Architekturen gleichermaßen implementiert werden, die einen oder mehrere nicht ausdrücklich gezeigte Datenbusse, eine direkte Konnektivität zwischen Elementen und/oder eine indirekte Kopplung zwischen anderen Elementen verwenden, wie von einem Durchschnittsfachmann erkannt wird.
Der Begriff „Modul“ wird in der Beschreibung einer oder mehrerer der Ausführungsformen verwendet. Ein Modul implementiert eine oder mehrere Funktionen über ein Gerät, wie etwa einen Prozessor oder ein anderes Verarbeitungsgerät oder andere Hardware, die einen Speicher, der Betriebsanweisungen speichert, aufweisen oder in Verbindung mit diesem arbeiten kann. Ein Modul kann unabhängig und/oder in Verbindung mit Software und/oder Firmware arbeiten. Wie hier auch verwendet, kann ein Modul ein oder mehrere Untermodule enthalten, von denen jedes ein oder mehrere Module sein können.
Wie hier ferner verwendet, weist ein computerlesbarer Speicher ein oder mehrere Speicherelemente auf. Ein Speicherelement kann ein separates Speichergerät, mehrere Speichergeräte oder ein Satz von Speicherorten innerhalb eines Speichergeräts sein. Ein solches Speichergerät kann ein Nur-Lese-Speicher, ein Direktzugriffsspeicher, ein flüchtiger Speicher, ein nichtflüchtiger Speicher, ein statischer Speicher, ein dynamischer Speicher, ein Flash-Speicher, ein Cache-Speicher und/oder ein beliebiges Gerät sein, das digitale Informationen speichert. Das Speichergerät kann in einer Form ein Festkörperspeicher, ein Festplattenspeicher, ein Cloud-Speicher, ein Daumenlaufwerk, ein Serverspeicher, ein Computergerätspeicher und/oder ein anderes physisches Medium zum Speichern digitaler Informationen sein.
Während bestimmte Kombinationen von verschiedenen Funktionen und Merkmalen der einen oder mehreren Ausführungsformen hier ausdrücklich beschrieben wurden, sind andere Kombinationen dieser Merkmale und Funktionen gleichermaßen möglich. Die vorliegende Offenbarung ist nicht durch die hier offenbarten bestimmten Beispiele beschränkt und enthält diese anderen Kombinationen ausdrücklich.

Claims

Ein Bildgebungssystem, wobei das System aufweist: eine Anordnung von optischen Sensoren mit einer jeweiligen oberen Oberfläche und einer jeweiligen unteren Oberfläche; eine erste Vielzahl von Sätzen von optischen Filtern, wobei jeder Satz von optischen Filtern der ersten Vielzahl von Sätzen von optischen Filtern einem jeweiligen Satz von optischen Sensoren der Anordnung zugeordnet ist; eine zweite Vielzahl von Sätzen von optischen Filtern, wobei jeder Satz von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern einem jeweiligen Satz von optischen Sensoren der Anordnung zugeordnet ist, wobei jeder optische Filter eines Satzes von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern dazu konfiguriert ist, Licht eines jeweiligen Wellenlängenbereichs durchzulassen, wobei die zweite Vielzahl von Sätzen von optischen Filtern räumlich über die obere Oberfläche der Anordnung von optischen Sensoren verteilt sind; und einen oder mehrere Prozessoren, die dazu angepasst sind: ein Bild einer Szene basierend auf einer Ausgabe von einer ersten Vielzahl von Sätzen von optischen Sensoren der Anordnung abzutasten; und ein empfangenes Lichtspektrum für jeden Satz von optischen Sensoren einer zweiten Vielzahl von Sätzen von optischen Sensoren der Anordnung abzutasten.
Das Bildgebungssystem nach Anspruch 1, wobei die Anordnung von optischen Sensoren auf einem integrierten Schaltkreis bereitgestellt ist.
Das Bildgebungssystem nach Anspruch 1 oder 2, wobei die erste Vielzahl von Sätzen von optischen Filtern der ersten Vielzahl von optischen Sensoren zugeordnet sind und die zweite Vielzahl von Sätzen von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Sensoren zugeordnet sind.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei ein Satz von optischen Filtern der ersten Vielzahl von Sätzen von optischen Filtern in einem Bayer-Muster angeordnet sind und die zweite Vielzahl von Sätzen von optischen Filtern in einem Mosaik angeordnet sind, das gleich oder mehr als 9 unterschiedliche Wellenlängenbereiche aufweist.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei ein Satz von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern optische Filter aufweist, die aus einer Gruppe ausgewählt sind, die besteht aus: Interferenzfiltern, Fabry-Perot-Filtern, absorbierenden Filtern, Interferenzfiltern, plasmonischen Filtern und nanostrukturierten Filtern.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei ein Satz von optischen Filtern der ersten Vielzahl von Sätzen von optischen Filtern optische Filter aufweist, die aus einer Gruppe ausgewählt sind, die besteht aus: absorbierenden RGB-Filtern, UV-Filtern, Interferenzfiltern, plasmonischen Filtern, nanostrukturierten Filtern und Polarisationsfiltern.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei die erste Vielzahl von Sätzen von optischen Filtern einen oder mehrere Sätze von optischen Filtern aufweist, die aus einer Gruppe ausgewählt sind, die besteht aus: Rot-, Grün-, Blau-(RGB-)Filtern, Rot-, Grün-, Grün-, Blau-(RGGB-)Filtern, absorbierenden RGB-Filtern und Rot-, Grün-, Grün-, Blau-, Blau-(RGGBBB-)Filtern.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei die optischen Sensoren aus einer Gruppe ausgewählt sind, die besteht aus: dreidimensionalen (3D) Sensoren, Ultraviolettsensoren, organischen Dünnfilmsensoren, organischen photoleitfähigen Datei-(OPF)-Sensoren, panchromatischen Sensoren, CMOS-Sensoren, kurzwelligen Infrarot(SWIR)-empfindlichen Sensoren und Infrarotsensoren.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei ein Satz von optischen Sensoren, der einem Satz von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern zugeordnet ist, dazu angepasst ist, eine lokalisierte Bandpassantwort mit mehreren Wellenlängenkanälen zu erfassen.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, wobei die Anordnung von optischen Sensoren über eine Oberfläche gebildet ist, wobei die Oberfläche in eine Vielzahl von gleichen Sektoren X unterteilt ist, wobei die zweite Vielzahl von Sätzen von optischen Filtern räumlich über die Oberfläche verteilt sind, so dass jeder Sektor X einen Satz von optischen Filtern der zweiten Vielzahl von Sätzen von optischen Filtern aufweist.
Das Bildgebungssystem nach einem der vorhergehenden Ansprüche, ferner aufweisend: ein oder mehrere optische Elemente, wobei die Anordnung von optischen Sensoren über eine Oberfläche gebildet ist, wobei die Oberfläche in eine Vielzahl von Sektoren unterteilt ist, wobei die zweite Vielzahl von Sätzen von optischen Filtern räumlich über die Oberfläche basierend auf einem vorbestimmten Muster verteilt sind, wobei das vorbestimmte Muster auf den optischen Elementen basiert.
Verfahren, aufweisend: Abtasten, durch ein Bildgebungssystem, einer Ausgabe von einem ersten Teilsatz von optischen Sensoren einer optischen Sensoranordnung, um ein Bild einer Szene zu erzeugen, wobei ein Teilsatz von optischen Sensoren des ersten Teilsatzes von optischen Sensoren einem ersten Satz von optischen Filtern zugeordnet ist; Abtasten, durch das Bildgebungssystem, eines zweiten Teilsatzes von optischen Sensoren der optischen Sensoranordnung, um eine Vielzahl von empfangenen Lichtspektren zu erzeugen, wobei ein Teilsatz von optischen Sensoren des zweiten Teilsatzes von optischen Sensoren einem zweiten Satz von optischen Filtern zugeordnet ist, wobei jeder optische Filter eines zweiten Satzes von optischen Filtern dazu konfiguriert ist, Licht eines jeweiligen Wellenlängenbereichs durchzulassen, wobei jeder Satz von optischen Filtern des zweiten Satzes von optischen Filtern räumlich über die optische Sensoranordnung verteilt ist; und basierend auf der Vielzahl von empfangenen Lichtspektren, Modifizieren des Bilds.
Verfahren nach Anspruch 12, wobei die optische Sensoranordnung auf einem integrierten Schaltkreis bereitgestellt ist.
Verfahren nach Anspruch 12 oder 13, wobei die optischen Filter im ersten Satz von optischen Filtern in einem Bayer-Muster angeordnet sind und die zweite Vielzahl von Sätzen von optischen Filtern in einem Mosaik angeordnet sind, das gleich oder mehr als 9 unterschiedliche Wellenlängenbereiche aufweist.
Verfahren nach Anspruch 12, 13 oder 14, wobei ein Satz von optischen Filtern des zweiten Satzes von optischen Filtern einen oder mehrere optische Filter aufweist, die aus einer Gruppe ausgewählt sind, die besteht aus: Interferenzfiltern, Fabry-Perot-Filtern, absorbierenden Filtern, Interferenzfiltern, plasmonischen Filtern und nanostrukturierten Filtern; und/oder wobei ein Satz von optischen Filtern des ersten Satzes von optischen Filtern optische Filter aufweist, die aus einer Gruppe ausgewählt sind, die besteht aus: absorbierenden RGB-Filtern, UV-Filtern, Interferenzfiltern, plasmonischen Filtern, nanostrukturierten Filtern und Polarisationsfiltern; und/oder wobei ein Satz von optischen Filtern des ersten Satzes von optischen Filtern einen oder mehrere Sätze von optischen Filtern aufweist, die aus einer Gruppe ausgewählt sind, die besteht aus: Rot-, Grün-, Blau-(RGB-)Filtern, Rot-, Grün-, Grün-, Blau-(RGGB-)Filtern, absorbierenden RGB-Filtern und Rot-, Grün-, Grün-, Blau-, Blau-(RGGBBB-)Filtern; und/oder wobei ein oder mehrere optische Sensoren der optischen Sensoranordnung aus einer Gruppe ausgewählt sind, die besteht aus: dreidimensionalen (3D) Sensoren, Ultraviolettsensoren, organischen Dünnfilmsensoren, organischen photoleitfähigen Datei-(OPF)-Sensoren, panchromatischen Sensoren, CMOS-Sensoren, kurzwelligen Infrarot(SWIR)-empfindlichen Sensoren und Infrarotsensoren.
Verfahren nach einem der Ansprüche 12 bis 15, wobei jeder Satz von optischen Sensoren, der einem Satz von optischen Filtern des zweiten Satzes von optischen Filtern zugeordnet ist, dazu angepasst ist, eine lokalisierte Bandpassantwort mit mehreren Wellenlängenkanälen zu erfassen.
Verfahren nach einem der Ansprüche 12 bis 16, wobei das Bildgebungssystem ein oder mehrere optische Elemente aufweist, wobei die optische Sensoranordnung eine jeweilige obere Oberfläche und eine jeweilige untere Oberfläche aufweist, wobei die obere Oberfläche in eine Vielzahl von Sektoren unterteilt ist, wobei die zweite Vielzahl von Sätzen von optischen Filtern räumlich über die Oberfläche basierend auf einem vorbestimmten Muster verteilt sind, wobei das Modifizieren des Bilds ferner auf den empfangenen Lichtspektren basiert, die dem vorbestimmten Muster zugeordnet sind.