-
FELD
-
Die vorliegende Offenbarung bezieht sich auf einen optischen Multispektralsensor, ein optisches Multispektralsystem, das den optischen Multispektralsensor enthält, ein Bilderfassungssystem, das das optische Multispektralsystem enthält, und ein Verfahren zur Verwendung des optischen Multispektralsensors, insbesondere, aber nicht ausschließlich, zur Anpassung eines aufgenommenen Bildes einer Szene an die Auswirkungen der Umgebungsbeleuchtung auf verschiedene Teile der Szene.
-
HINTERGRUND
-
Farbkonstanz ist eine wünschenswerte Eigenschaft von Bildsensoren, wie z. B. Kameras.
-
Farbkonstanz bezieht sich auf die Fähigkeit, ein Merkmal oder ein Objekt unter verschiedenen Beleuchtungsbedingungen in einer relativ konstanten Farbe zu sehen. Das heißt, das Aussehen eines von einer Kamera aufgenommenen Bildes kann durch die Umgebungsbeleuchtung beeinflusst werden.
-
Wenn beispielsweise die Farbtemperatur einer Umgebungslichtquelle relativ niedrig ist, z. B. im Bereich von 3000 Kelvin, wie es bei einer Glühlampe der Fall sein kann, weist das Bild eines weißen Objekts, das der Umgebungslichtquelle ausgesetzt ist, einen rötlichen Farbton auf. Bei einer Umgebungslichtquelle mit einer hohen Farbtemperatur, z. B. im Bereich von 6000 Kelvin, wie sie bei Tageslicht an einem bewölkten Tag vorkommen kann, weist das Bild des weißen Objekts dagegen einen leichten Blaustich auf. Das heißt, dass das Objekt von einer Kamera als eine Farbe wahrgenommen wird, die von der Beleuchtung des Objekts durch die Umgebungslichtquelle abhängt.
-
Es ist bekannt, solche Effekte zu kompensieren, indem ein multispektraler Umgebungslichtsensor (ALS) verwendet wird, um spektrale Informationen über eine Szene zu messen. Beispielsweise ist zunächst in ein Smartphone 1 dargestellt, das eine multispektrale ALS-Anordnung 3, eine Kamera 4 und ein Abdeckglas 8 enthält, das die multispektrale ALS-Anordnung 3 und die Kamera 4 abdeckt, wobei die multispektrale ALS-Anordnung 3 so konfiguriert ist, dass sie die spektrale Verteilung von Licht aus einer Szene misst, das auf die Kamera 4 einfällt.
-
zeigt eine detaillierte Querschnittsansicht der multispektralen ALS-Anordnung 3 und der Kamera 4. Die multispektrale ALS-Anordnung 3 umfasst einen multispektralen ALS-Sensor 2 mit einer Vielzahl von optischen Detektorbereichen 11. Der multispektrale ALS 2 ist so konfiguriert, dass jeder optische Detektorbereich 11 einen anderen Wellenlängenbereich detektiert, z. B. weil der multispektrale ALS 2 eine Vielzahl verschiedener optischer Filter umfasst (in nicht explizit dargestellt), wobei jeder optische Filter so konfiguriert ist, dass er nur einen entsprechenden anderen Wellenlängenbereich auf einen entsprechenden der optischen Detektorbereiche 11 überträgt. Im Interesse der Übersichtlichkeit sind in nur drei optische Detektorbereiche 11 dargestellt. Ein Fachmann wird jedoch verstehen, dass der multispektrale ALS-Sensor 2 mehr als drei optische Detektorbereiche 11 oder weniger als drei optische Detektorbereiche 11 haben kann.
-
Die multispektrale ALS-Anordnung 3 umfasst ein Gehäuse 20, in dem der multispektrale ALS-Sensor 2 untergebracht ist. Die multispektrale ALS-Anordnung 3 umfasst ferner einen Diffusor 30 und einen IR-Sperrfilter 32, der sich zwischen dem Deckglas 8 und dem Gehäuse 20 befindet.
-
Das Gehäuse 20 weist eine Öffnung oder ein Fenster 22 auf, durch das Licht über das Deckglas 8, den Diffusor 30 und den IR-Sperrfilter 32 in das Gehäuse 20 gelangt. Die multispektrale ALS-Anordnung 3 hat eine optische Achse 40, die senkrecht zu einer vorderen Fläche der multispektralen ALS 2 verläuft. Wie ein Fachmann wissen wird, erhält die multispektrale ALS-Anordnung 3 durch die Verwendung des Diffusors 30 ein Sichtfeld (FOV) 42, das einen großen Raumwinkel um die optische Achse 40 definiert. Jeder optische Detektorbereich 11 erfasst einen anderen Bereich von Wellenlängen, die aus allen verschiedenen Einfallsrichtungen über das gesamte FOV 42 der multispektralen ALS-Anordnung 3 auf den optischen Detektorbereich 11 einfallen.
-
Die Kamera 4 hat eine optische Achse 50, die senkrecht zu einer Vorderfläche eines Bildsensors (nicht dargestellt) der Kamera 4 und parallel zur optischen Achse 40 der multispektralen ALS-Anordnung 3 verläuft. Die Kamera 4 hat ein FOV 52, das einen Raumwinkel um die optische Achse 50 der Kamera 4 definiert, wobei der Raumwinkel des FOV 52 der Kamera 4 mit dem Raumwinkel des FOV 42 der multispektralen ALS-Anordnung 3 vergleichbar oder kleiner als dieser ist.
-
Das Smartphone 1 verwendet den Weißabgleich, vorzugsweise den automatischen Weißabgleich (AWB), um die Farbgebung der unter verschiedenen Beleuchtungen aufgenommenen Bilder anzupassen. Das Smartphone 1 kann beispielsweise über vordefinierte Einstellungen für typische Lichtverhältnisse wie Tageslicht, Leuchtstoffröhrenlicht oder Glühlampenlicht verfügen, wobei die vordefinierten Einstellungen in einigen Fällen automatisch ausgewählt werden können.
-
Zu den bestehenden Techniken für den Weißabgleich gehört die Bildverarbeitung durch Anwendung eines Algorithmus, der auf der „Grauwelttheorie“ oder der „Weißfleckentheorie“ basiert. Die Grauwelttheorie basiert auf der Annahme, dass der durchschnittliche Reflexionsgrad in einem aufgenommenen Bild achromatisch ist. Das heißt, der Durchschnitt der drei Farbkanäle Rot, Grün und Blau sollte ungefähr gleich sein. Die White-Patch-Theorie basiert auf der Annahme, dass das hellste Pixel in einem aufgenommenen Bild einer Reflexion der Umgebungslichtquelle entspricht, und daher kann das hellste Pixel einem Spektrum der Umgebungsbeleuchtung entsprechen.
-
Beide Ansätze haben bekannte Grenzen, und vor allem neigen beide Ansätze dazu, sehr unterschiedliche Ergebnisse zu liefern. Darüber hinaus können starke Veränderungen der Beleuchtungsbedingungen in der Szene zu Ungenauigkeiten führen, da sie zu plötzlichen starken Zunahmen oder Abnahmen der Lichtverhältnisse in der Szene führen. Dieses Problem wird noch verschärft, wenn die Lichtquelle oder die plötzliche Änderung dynamisch ist und sich in der Szene bewegt. Dementsprechend ist es wünschenswert, dass ein aufgenommenes Bild einer Szene um die Auswirkungen der Umgebungsbeleuchtung auf die Szene korrigiert werden kann, ohne dass die Unzulänglichkeiten der AWB-Methoden des Standes der Technik auftreten.
-
Außerdem können verschiedene Teile einer Szene unterschiedlichen Umgebungslichtbedingungen ausgesetzt sein. Zum Beispiel können sogar verschiedene Teile eines gleichfarbigen Objekts in einer Szene je nach den entsprechenden Umgebungslichtbedingungen der verschiedenen Teile des gleichfarbigen Objekts unterschiedlich erscheinen. Dementsprechend ist es wünschenswert, ein aufgenommenes Bild einer Szene um die Auswirkungen unterschiedlicher Umgebungsbeleuchtungsbedingungen auf verschiedene Teile der Szene korrigieren zu können, ohne die Unzulänglichkeiten der AWB-Verfahren des Standes der Technik in Kauf nehmen zu müssen.
-
ZUSAMMENFASSUNG
-
Die Erfinder haben erkannt, dass die oben genannten Probleme, insbesondere das Problem plötzlicher, scharfer Änderungen der Beleuchtungsbedingungen, dadurch gelöst werden können, dass das Sichtfeld des Umgebungslichtsensors in eine Vielzahl von Sichtfeldsegmenten unterteilt wird, die jeweils mit einem anderen Farbfilter versehen sind, während das Bild der Szene, das sich am Umgebungslichtsensor bildet, unscharf wird, so dass alle scharfen Änderungen durch die Optik automatisch geglättet werden, ohne dass eine solche Unschärfe als Teil der softwaregesteuerten Bildverarbeitung eingeführt werden muss. Das Ergebnis ist, dass das vom Umgebungslichtsensor erfasste Signal immer glatt ist, ohne scharfe Kanten und/oder Unterbrechungen, und somit effizient für den automatischen Weißabgleich verwendet werden kann.
Somit wird gemäß einem ersten Aspekt der Offenbarung ein optischer Multispektralsensor (102) bereitgestellt, der Folgendes umfasst: einen monolithischen Halbleiterchip (110), der eine Vielzahl von Unterfeldern (112) optischer Detektorbereiche (111) definiert, wobei jedes Feld die gleiche Anzahl und relative räumliche Anordnung optischer Detektorbereiche (111) umfasst; eine Vielzahl optischer Filter (160); und eine Vielzahl von Linsenelementen (162), wobei jedes optische Filter (160) zwischen einem entsprechenden Linsenelement (162) und einem entsprechenden Unterarray (112) von optischen Detektorregionen (111) positioniert ist, so dass sich Licht von einer Szene, das auf eines der Linsenelemente (162) entlang einer Einfallsrichtung einfällt, durch das entsprechende optische Filter (160) zu einer entsprechenden der optischen Detektorregionen (111) des entsprechenden Unterarrays (112) von optischen Detektorregionen ausbreitet, wobei der entsprechende der optischen Detektorbereiche von der Einfallsrichtung abhängt, und wobei das einfallende Licht ein unscharfes Bild der Szene in einer Ebene (1105) der optischen Detektorbereiche (111) bildet.
-
Vorteilhaft ist, dass die Vielzahl von Subarrays und die darin angeordneten Filter dem Sensor ein sektoriertes oder segmentiertes Sichtfeld in mehreren Farbkanälen bieten. Anders als in dem Fall, in dem ein solcher Sensor verwendet werden könnte, um ein scharfes Bild zu erfassen, ist es bei der Umgebungslichterfassung vorteilhaft, das Bild am Umgebungslichtsensorabsichtlich zu defokussieren oder unscharf zu machen, damit scharfe Kanten oder plötzliche Veränderungen durch die Optik geglättet werden.
-
Dementsprechend ist in einigen Ausführungsformen jedes Linsenelement (162) so ausgerichtet, dass es das einfallende Licht auf eine Brennebene (1103) neben der Ebene (1105) der optischen Detektorbereiche (111) fokussiert, um das unscharfe Bild in der Ebene (1105) der optischen Detektorbereiche (111) zu erzeugen. Beispielsweise ist eine Brennebene (1103) jedes Linsenelements (162) in einem vorbestimmten Abstand von der Ebene (1105) der optischen Detektorbereiche (111) angeordnet, so dass der Unschärfekreis jedes Linsenelements (162) eines ersten der optischen Detektorbereiche (111), der das unscharfe Bild bildet, teilweise oder vollständig mit dem zweiten der optischen Detektorbereiche (111) überlappt. In einigen Ausführungsformen umfasst die Vielzahl von Linsenelementen ein Mikrolinsen-Array (MLA) oder ein Mikro-Fresnel-Linsen-Array, wobei die Vielzahl von Linsenelementen optional durch ein optisches Substrat definiert oder auf diesem ausgebildet ist.
-
Vorteilhafterweise ermöglicht die Einführung einer Unschärfe durch Positionierung der optischen Detektorbereiche in einem vorbestimmten Abstand von der Brennebene der Linsenelemente und/oder durch Verwendung von MLAs und/oder Mikro-Fresnel-Linsenarrays, die auf dem optischen Substrat ausgebildet sind, eine einfache Herstellung des optischen Sensors der vorliegenden Offenbarung, da bekannte Fertigungswerkzeuge wie Bestückungsautomaten in der Lage sind, eine solche Positionierung der Komponenten genau vorzunehmen. Alternativ und/oder zusätzlich kann in einigen Ausführungsformen eine Vielzahl von Diffusorelementen im optischen Pfad vorgesehen werden, um das einfallende Licht zu streuen und das unscharfe Bild in einer Ebene (1105) der optischen Detektorbereiche (111) zu erzeugen.
-
Gemäß einem zweiten Aspekt der vorliegenden Offenbarung wird ein optisches Multispektralsystem (103) bereitgestellt, das Folgendes umfasst: den optischen Multispektralsensor (102) gemäß einem der vorhergehenden Ansprüche; und eine Verarbeitungsressource (180), wobei der optische Multispektralsensor (102) und die Verarbeitungsressource (180) für die Kommunikation miteinander konfiguriert sind, wobei die Verarbeitungsressource (180) konfiguriert ist, um: verschiedene elektrische Signale, die von verschiedenen optischen Detektorbereichen (111)desselben Subarrays (112) erzeugt werden, mit Licht zu verknüpfen, das auf den multispektralen optischen Sensor (102) von einer Szene entlang entsprechender verschiedener Einfallsrichtungen einfällt und ein unscharfes Bild auf diesem bildet, und Assoziieren verschiedener elektrischer Signale, die von entsprechenden optischen Detektorbereichen (111) verschiedener Subarrays (112) erzeugt werden, mit Licht, das auf den optischen Multispektralsensor (102) aus der Szene entlang derselben Einfallsrichtung einfällt und ein unscharfes Bild auf diesem bildet.
-
Vorteilhaft ist, dass ein solches System, wenn es als Umgebungslichtsensor verwendet wird, es ermöglicht, die Sichtfeldsegmente jedes Unterfeldes mit einem entsprechenden Segment in den anderen Unterfeldern zu verknüpfen.
-
In einigen Ausführungsformen ist die Verarbeitungsressource (180) so konfiguriert, dass sie das von einem optischen Detektorbereich (111) erzeugte elektrische Signal mit dem optischen Übertragungsspektrum des entsprechenden optischen Filters (160) verknüpft.
-
Dies ermöglicht es der Verarbeitungsressource (180) vorteilhafterweise, eine Klassifizierung der Umgebungslichtquelle für jede Einfallsrichtung aus der Vielzahl der verschiedenen Einfallsrichtungen auf der Grundlage eines Vergleichs zwischen den elektrischen Signalwerten, die jeder Einfallsrichtung entsprechen, und vordefinierten Spektraldaten zu bestimmen. In einigen Implementierungen umfassen die vordefinierten Spektraldaten eine Vielzahl von diskreten Spektren, wobei jedes Spektrum einem anderen bekannten Typ oder einer anderen Art von Umgebungslichtquelle entspricht.
-
In einigen Implementierungen ist die Verarbeitungsressource (180) so konfiguriert, dass sie die elektrischen Signalwerte, die von den verschiedenen optischen Detektorbereichen (111) desselben Subarrays (112) optischer Detektorbereiche (111) erzeugt werden, anpasst, um etwaige Unterschiede in den optischen Transmissionsspektren des entsprechenden optischen Filters zu kompensieren, die als Ergebnis der Ausbreitung von konvergentem Licht durch den entsprechenden optischen Filter entlang verschiedener Ausbreitungsrichtungen für die verschiedenen optischen Detektorbereiche desselben Subarrays (112) optischer Detektorbereiche (111) entstehen.
-
Dies hat den Vorteil, dass unerwünschte optische Aberrationen oder Linseneffekte kompensiert werden können.
-
Gemäß einem dritten Aspekt der vorliegenden Offenbarung wird ein Bilderfassungssystem (101) bereitgestellt, das Folgendes umfasst: das oben beschriebene optische Multispektralsystem (103) und einen Bildsensor (104), der eine bekannte räumliche Beziehung zu dem optischen Multispektralsensor aufweist, wobei der Bildsensor (104) und die Verarbeitungsressource (180) für die Kommunikation miteinander konfiguriert sind und wobei die Verarbeitungsressource (180) so konfiguriert ist, dass sie ein von dem Bildsensor (104) erfasstes Bild auf der Grundlage der Umgebungslichtquellenklassifizierung für jede Einfallsrichtung anpasst. In einigen Implementierungen ist die Verarbeitungsressource so konfiguriert, dass sie das Bild durch Weißabgleich des Bildes auf der Grundlage eines oder mehrerer Parameter der Umgebungslichtquellenklassifizierung für jede Richtung anpasst. Zum Beispiel kann die Anpassung einen Weißabgleich des Bildes auf der Grundlage eines oder mehrerer Parameter der Klassifizierung der Umgebungslichtquelle für jede Einfallsrichtung umfassen.
-
Vorteilhafterweise bietet ein Bilderfassungssystem, das das multispektrale optische System verwendet, ein System, das unabhängig von hochdynamischen Strukturen an jeder beliebigen Position in der Szene ist, mehr Farbstabilität gegenüber Toleranzen im Herstellungsprozess und einen robusten automatischen Weißabgleich mit Gradienten.
-
Gemäß einem vierten Aspekt der vorliegenden Offenbarung wird eine elektronische Vorrichtung bereitgestellt, die mindestens eines der folgenden Elemente umfasst: den optischen Multispektralsensor, das optische Multispektralsystem oder das oben beschriebene Bilderfassungssystem. Eine solche elektronische Vorrichtung ist dementsprechend mit den gleichen Vorteilen wie oben beschrieben ausgestattet.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
Ein optischer Multispektralsensor, ein optisches Multispektralsystem, ein Bildsensorsystem und zugehörige Verfahren werden jetzt nur als nicht einschränkendes Beispiel unter Bezugnahme auf die Zeichnungen beschrieben, in denen sie dargestellt sind:
- ist eine schematische Darstellung der Rückseite eines elektronischen Geräts des Standes der Technik in Form eines Smartphones des Standes der Technik mit einer multispektralen Umgebungslichtsensoranordnung (ALS) des Standes der Technik und einer Kamera;
- ist ein schematischer Querschnitt des Multispektral-ALS des Standes der Technik und der Kamera des Smartphones des Standes der Technik aus ;
- ist eine schematische Darstellung der Rückseite eines elektronischen Geräts in Form eines Smartphones mit einer multispektralen ALS-Anordnung und einer Kamera;
- ist ein schematischer Querschnitt durch die multispektrale ALS-Anordnung und die Kamera des Smartphones aus ;
- ist eine schematische Darstellung eines multispektralen ALS der multispektralen ALS-Anordnung von ;
- ist eine schematische Darstellung eines monolithischen multispektralen Umgebungslichtsensors (ALS) Halbleiterchips des multispektralen ALS von ;
- ist eine schematische Darstellung eines alternativen monolithischen multispektralen ALS-Halbleiterchips;
- veranschaulicht die Funktionsweise eines Bildsensorsystems, das die multispektrale ALS-Anordnung und die Kamera des Smartphones aus umfasst;
- ist eine schematische Darstellung einer ersten alternativen multispektralen ALS; und
- ist eine schematische Darstellung eines zweiten alternativen multispektralen ALS.
-
DETAILLIERTE BESCHREIBUNG DER ZEICHNUNGEN
-
In ist zunächst ein Smartphone 101 dargestellt, das eine multispektrale optische Sensoranordnung in Form einer multispektralen ALS-Anordnung 103, eine Kamera 104 mit einer bekannten räumlichen Beziehung zur ALS-Anordnung 103 und ein Abdeckglas 108 enthält, das die multispektrale ALS-Anordnung 103 und die Kamera 104 abdeckt.
-
zeigt eine detaillierte Querschnittsansicht der multispektralen ALS-Anordnung 103 und der Kamera 104. Die multispektrale ALS-Anordnung 103 umfasst eine multispektrale ALS 102 mit einer Vielzahl von optischen Detektorbereichen 111. Im Interesse der Übersichtlichkeit sind in nur drei optische Detektorbereiche 111 dargestellt. Wie jedoch im Folgenden näher beschrieben wird, definiert die multispektrale ALS 102 tatsächlich mehr als drei optische Detektorbereiche 111.
-
Die multispektrale ALS-Anordnung 103 umfasst ein Gehäuse 120, in dem die multispektrale ALS 102 untergebracht ist. Die multispektrale ALS-Anordnung 103 umfasst ferner einen IR-Sperrfilter 132, der sich zwischen dem Deckglas 108 und dem Gehäuse 120 befindet. Das Gehäuse 120 bildet eine Öffnung oder ein Fenster 122, durch das Licht über das Deckglas 108 und den IR-Sperrfilter 132 in das Gehäuse 120 gelangt. Die multispektrale ALS-Anordnung 103 hat eine optische Achse 140, die senkrecht zu einer Vorderfläche der multispektralen ALS 102 verläuft.
-
Wie im Folgenden beschrieben wird, ist die multispektrale ALS-Anordnung 103 so konfiguriert, dass sie zwischen Licht, das von einer Szene entlang verschiedener Einfallsrichtungen auf die multispektrale ALS-Anordnung 103 einfällt, unterscheidet und die Spektralverteilung des auf die multispektrale ALS-Anordnung 103 einfallenden Lichts für die verschiedenen Einfallsrichtungen über ein FOV 142 misst, das einen Raumwinkel um die optische Achse 140 der multispektralen ALS-Anordnung 103 definiert. Insbesondere ist die multispektrale ALS-Anordnung 103 so konfiguriert, dass sie zwischen Licht, das aus verschiedenen Sektoren 142a, 142b, ... 142i des FOV 142 auf die multispektrale ALS-Anordnung 103 einfällt, unterscheiden und die spektrale Verteilung des Lichts messen kann, das aus jedem Sektor 142a, 142b, ... 142i auf die multispektrale ALS-Anordnung 103 einfällt. Die Kamera 104 hat auch eine optische Achse 150, die senkrecht zu einer Vorderfläche eines Bildsensorchips (nicht dargestellt) der Kamera 104 und parallel zur optischen Achse 140 der multispektralen ALS-Anordnung 103 verläuft. Die Kamera 104 hat ein FOV 152, das einen Raumwinkel um die optische Achse 150 der Kamera 104 definiert, wobei der Raumwinkel des FOV 152 der Kamera 104 mit dem Raumwinkel des FOV 142 der multispektralen ALS-Anordnung 103 vergleichbar ist.
-
Wie in gezeigt, umfasst der multispektrale ALS 102 einen monolithischen multispektralen ALS-Halbleiterchip 110, der in näher dargestellt ist. Der monolithische multispektrale ALS-Halbleiterchip 110 definiert eine Vielzahl von Unteranordnungen 112 optischer Detektorbereiche in Form von zwölf Unteranordnungen 112, die in einer 3x4-Anordnung von Unteranordnungen 112 angeordnet sind, wobei die optischen Detektorbereiche jeder Unteranordnung 112 die gleiche relative räumliche Anordnung wie die optischen Detektorbereiche jeder der anderen Unteranordnungen 112 aufweisen. Insbesondere definiert jedes der Subarrays 112 ein 3x3-Array von optischen Detektorbereichen 111a, 111b, 111c, ... 111i.
-
Der monolithische multispektrale ALS-Halbleiterchip 110 umfasst mehrere optische Filter 160, wobei jedes optische Filter 160 ein entsprechendes optisches Übertragungsspektrum aufweist. Jedes optische Filter 160 ist ein optisches Interferenzfilter mit Durchlassband, das ein entsprechendes spektrales Durchlassband definiert. Zwei oder mehr der optischen Filter 160 können unterschiedliche spektrale Durchlassbereiche definieren. Darüber hinaus ist jedes optische Filter 160 auf dem monolithischen Multispektral-ALS-Halbleiterchip 110 vor einer entsprechenden Teilreihe 112 optischer Detektorbereiche 111a, 111b, 111c, ... 111i ausgebildet oder daran befestigt.
-
Die multispektrale ALS 102 umfasst ferner eine Vielzahl von Linsenelementen 162 in Form einer Mikrolinsenanordnung (MLA), die durch ein optisches Substrat 164 definiert oder auf diesem ausgebildet ist. Die multispektrale ALS 102 umfasst auch einen Abstandshalter 166, der sich zwischen dem monolithischen Halbleiterchip 110 und dem optischen Substrat 164 des MLA befindet. Der monolithische Halbleiterchip 110 und das optische Substrat 164 sind an gegenüberliegenden Seiten des Abstandshalters 166 angebracht. Darüber hinaus definiert der Abstandshalter 166 eine Vielzahl von Öffnungen 168, wobei jede Öffnung 168 auf ein entsprechendes Linsenelement 162, ein entsprechendes optisches Filter 160 und ein entsprechendes Subarray 112 von optischen Detektorbereichen 111 a, 111b, 111 c, ... 111 i ausgerichtet ist.
-
Jedes optische Filter 160 ist zwischen einem entsprechenden Linsenelement 162 und einer entsprechenden Unteranordnung 112 optischer Detektorbereiche 111a, 111b, 111c, ... 111i so ausgerichtet, dass im Gebrauch jegliches Licht, das auf eines der Linsenelemente 162 entlang einer beliebigen Einfallsrichtung einfällt, durch das entsprechende optische Filter 160 auf eine Brennebene konvergiert, die an die Ebene eines entsprechenden der optischen Detektorbereiche 111 a, 111b, 111c, ... 111i angrenzt, beispielsweise vor, über oder oberhalb dieser Ebene. 111i des entsprechenden Subarrays 112 der optischen Detektorbereiche 111 a, 111b, 111c, ... 111i, wobei der entsprechende der optischen Detektorbereiche 111 a, 111b, 111c, ... 111i von der gegebenen Einfallsrichtung abhängt. Beispielsweise wird Licht, das auf eines der Linsenelemente 162 entlang einer Einfallsrichtung einfällt, die parallel zur optischen Achse 140 des multispektralen ALS 102 verläuft, wie durch die in dargestellten durchgezogenen Strahlen dargestellt, durch das Linsenelement 162 auf eine Ebene fokussiert, die an die Ebene des zentralen optischen Detektorbereichs 111e des entsprechenden Subarrays 112 angrenzt, z. B. davor, darüber oder darüber, und zwar durch den entsprechenden optischen Filter 160. In ähnlicher Weise wird Licht, das auf eines der Linsenelemente 162 entlang einer Einfallsrichtung einfällt, die schräg zur optischen Achse 140 des multispektralen ALS 102 verläuft, wie durch die gestrichelten Strahlen oder die gestrichelt-gestrichelten Strahlen in dargestellt, durch das Linsenelement 162 auf die Ebene fokussiert, die an einen der peripheren optischen Detektorbereiche 111a, 111b, 111c, 111d, 111f, 111g, 111h, 111i des entsprechenden Subarrays 112 angrenzt, und zwar durch den entsprechenden optischen Filter 160, der von der jeweiligen Einfallsrichtung abhängt.
-
Durch die Fokussierung des einfallenden Lichts auf einen Brennpunkt in einer Ebene, die an die Ebene der optischen Detektorbereiche angrenzt (d. h. nicht mit ihr übereinstimmt), anstatt auf eine Ebene, die mit der Ebene der optischen Detektorbereiche übereinstimmt, ist das Bild, das durch das Licht gebildet wird, wenn es die Detektorbereiche erreicht, unscharf und daher unscharf, wenn es erfasst wird. Dies bietet eine Reihe bedeutender Vorteile, die weiter unten im Zusammenhang mit beschrieben werden. In einer alternativen Anordnung können die Linsenelemente immer noch so ausgerichtet sein, dass ihre Brennebene mit den optischen Detektorbereichen übereinstimmt, aber die Unschärfe wird stattdessen durch die Einführung eines oder mehrerer optischer Diffusorelemente in den optischen Pfad erreicht. Es ist auch eine Kombination der beiden oben genannten Unschärfetechniken denkbar. Zur besseren Veranschaulichung sind in den weder die Fokussierung des Lichts auf eine Ebene über oder oberhalb der optischen Detektorbereiche noch die Diffusorelemente dargestellt. Dies wird stattdessen in ausführlicher dargestellt.
-
Zurückgehend auf enthält das Smartphone 101 eine Verarbeitungsressource 180, die so konfiguriert ist, dass sie Daten von der multispektralen ALS 102 und dem Bildsensor (nicht gezeigt) der Kamera 104 empfängt. Wie in gezeigt, ist die Verarbeitungsressource 180 so konfiguriert, dass sie verschiedene elektrische Signale, die von verschiedenen optischen Detektorbereichen 111a, 111b, 111c, ... 111i desselben Subarrays 112 optischer Detektorbereiche erzeugt werden, mit Licht verknüpft, das von verschiedenen Bereichen 183a, 183b, 183c, ... 183i einer allgemein mit 182 bezeichneten Szene entlang entsprechender verschiedener Einfallsrichtungen 184a, 184b, 184c, ... 184i auf den multispektralen ALS 102 fällt.
-
Umgekehrt ist die Verarbeitungsressource 180 so konfiguriert, dass sie verschiedene elektrische Signale, die von entsprechenden optischen Detektorbereichen verschiedener Subarrays 112 erzeugt werden, mit Licht verknüpft, das auf den multispektralen ALS 102 aus dem gleichen Bereich der Szene 182 entlang der gleichen Einfallsrichtung einfällt. Beispielsweise ist die Verarbeitungsressource 180 so konfiguriert, dass sie verschiedene elektrische Signale, die von entsprechenden optischen Detektorbereichen 111a verschiedener Subarrays 112 erzeugt werden, mit Licht verknüpft, das auf den multispektralen ALS 102 aus dem Bereich 183a der Szene 182 entlang der gleichen Einfallsrichtung 184a einfällt.
-
Darüber hinaus ist die Verarbeitungsressource 180 so konfiguriert, dass sie das elektrische Signal, das von einem beliebigen optischen Detektorbereich 111a, 111b, 111c, ... 111i eines beliebigen Unterarrays 112 erzeugt wird, mit dem optischen Übertragungsspektrum des entsprechenden optischen Filters 160 verknüpft. Da jedes optische Filter 160 einen anderen Durchlassbereich hat, sind die verschiedenen elektrischen Signalwerte, die von den entsprechenden optischen Detektorbereichen der verschiedenen Untergruppen 112 der optischen Detektorbereiche gemessen werden, repräsentativ für ein optisches Spektrum des Lichts, das auf die multispektrale ALS 102 von der Szene 182 entlang derselben Einfallsrichtung einfällt, die den entsprechenden optischen Detektorbereichen der verschiedenen Untergruppen 112 der optischen Detektorbereiche zugeordnet ist. Beispielsweise sind die verschiedenen elektrischen Signalwerte, die von den entsprechenden optischen Detektorbereichen 111a der verschiedenen Untergruppen 112 der optischen Detektorbereiche gemessen werden, repräsentativ für ein optisches Spektrum des Lichts, das auf die multispektrale ALS 102 von der Szene 182 entlang der gleichen Einfallsrichtung 184a einfällt, die mit den entsprechenden optischen Detektorbereichen 111a der verschiedenen Untergruppen 112 der optischen Detektorbereiche verbunden ist.
-
Die Verarbeitungsressource 180 ist so konfiguriert, dass sie eine Klassifizierung der Umgebungslichtquelle für jede Einfallsrichtung 184a, 184b, 184c, ... 184i aus der Vielzahl der verschiedenen Einfallsrichtungen 184a, 184b, 184c, ... 184i auf der Grundlage eines Vergleichs zwischen den elektrischen Signalwerten, die jeder Einfallsrichtung 184a, 184b, 184c, ... 184i entsprechen, und vordefinierten Spektraldaten bestimmt. Die vordefinierten Spektraldaten können beispielsweise eine Vielzahl von diskreten Spektren umfassen, wobei jedes Spektrum einem anderen bekannten Typ oder einer anderen bekannten Art von Umgebungslichtquelle entspricht.
-
Darüber hinaus ist die Verarbeitungsressource 180 so konfiguriert, dass sie ein von der Kamera 104 erfasstes Bild auf der Grundlage der Umgebungslichtquellenklassifizierung für jede Einfallsrichtung 184a, 184b, 184c, ... 184i anpasst. Insbesondere ist die Verarbeitungsressource 180 so konfiguriert, dass sie das erfasste Bild durch einen Weißabgleich des Bildes auf der Grundlage eines oder mehrerer Parameter der Umgebungslichtquellenklassifizierung für jede Richtung anpasst, beispielsweise durch einen Gradienten-Weißabgleich des Bildes auf der Grundlage eines oder mehrerer Parameter der Umgebungslichtquellenklassifizierung für jede Einfallsrichtung.
-
Ein Fachmann wird verstehen, dass verschiedene Modifikationen der oben beschriebenen multispektralen ALS 102 möglich sind. Beispielsweise zeigt eine erste alternative multispektrale ALS 202 zur Verwendung mit der multispektralen ALS-Anordnung 103. Wie die multispektrale ALS 102 von enthält die erste alternative multispektrale ALS 202 von einen monolithischen multispektralen ALS-Halbleiterchip 210, der mit dem monolithischen multispektralen ALS-Halbleiterchip 110 der multispektralen ALS 102 identisch ist. Wie die multispektrale ALS 102 von umfasst die erste alternative multispektrale ALS 202 von auch eine Vielzahl von optischen Durchlassband-Interferenzfiltern 260, wobei jedes optische Filter 260 auf dem monolithischen multispektralen ALS-Halbleiterchip 210 vor einem entsprechenden Subarray 212 von optischen Detektorbereichen 211a, 211b, 211c, ... 211i ausgebildet oder daran befestigt ist.
-
Die multispektrale ALS 202 umfasst ferner eine Vielzahl von Linsenelementen 262 in Form eines Mikrolinsenarrays (MLA), das durch ein optisches Substrat 264 definiert oder auf diesem ausgebildet ist. Die multispektrale ALS 202 umfasst auch einen Abstandshalter 266, der sich zwischen dem monolithischen Halbleiterchip 210 und dem optischen Substrat 264 der MLA befindet. Darüber hinaus definiert der Abstandshalter 266 eine Vielzahl von Öffnungen 268, wobei jede Öffnung 268 auf ein entsprechendes Linsenelement 262, ein entsprechendes optisches Filter 260 und eine entsprechende Unterreihe 212 von optischen Detektorbereichen 211a, 211b, 211c, ... 211i ausgerichtet ist.
-
Im Gegensatz zum multispektralen ALS 102 von enthält der erste alternative multispektrale ALS 202 von jedoch eine Vielzahl von durchlässigen optischen Elementen in Form einer Vielzahl von zusätzlichen Linsenelementen 290, die als zusätzliches Mikrolinsen-Array (MLA) auf einem zusätzlichen optischen Substrat 292 vorgesehen sind. Das zusätzliche optische Substrat 292 ist an einer Vorderseite des monolithischen multispektralen ALS-Halbleiterchips 210 angebracht. Eine Rückseite des optischen Substrats 264 ist an der Vorderseite des Abstandshalters 266 befestigt, und eine Vorderseite des zusätzlichen optischen Substrats 292 ist an einer Rückseite des Abstandshalters 266 befestigt.
-
Jedes zusätzliche Linsenelement 290 ist zwischen einem entsprechenden Linsenelement 262 und einem entsprechenden optischen Filter 260 so ausgerichtet, dass Licht, das auf eines der Linsenelemente 262 einfällt, durch ein entsprechendes zusätzliches Linsenelement 290 und einen entsprechenden optischen Filter 260 auf einen Punkt in einer Ebene konvergiert, die an einen der optischen Detektorbereiche 211a, 211b, 211c, ... 211i einer entsprechenden Unteranordnung 212 von optischen Detektorbereichen, und wobei jedes zusätzliche Linsenelement 290 konvergentes Licht von dem entsprechenden Linsenelement 262 empfängt, das sich entlang einer anfänglichen Ausbreitungsrichtung ausbreitet, und das empfangene konvergente Licht in übertragenes konvergentes Licht umwandelt, das sich von dem zusätzlichen Linsenelement 290 entlang einer endgültigen Ausbreitungsrichtung weg ausbreitet, die parallel zu einer optischen Achse des entsprechenden optischen Filters 260 ist oder die einen kleineren Winkel in Bezug auf eine optische Achse des entsprechenden optischen Filters 260 definiert als die anfängliche Ausbreitungsrichtung des empfangenen konvergenten Lichts.
-
Die Verwendung eines solchen zusätzlichen Mikrolinsenarrays (MLA) kann dazu dienen, sicherzustellen, dass konvergentes Licht, das von einem der zusätzlichen Linsenelemente 290 entlang einer anfänglichen Ausbreitungsrichtung empfangen wird, die schräg zu einer optischen Achse des entsprechenden optischen Filters 260 angeordnet ist, durch die zusätzlichen Linsenelemente 290 so transformiert wird, dass es sich in Richtung des entsprechenden optischen Filters 260 entlang einer Richtung ausbreitet, die parallel zur optischen Achse des entsprechenden optischen Filters 260 ist oder die einen kleineren Winkel in Bezug auf die optische Achse des entsprechenden optischen Filters 260 definiert als die anfängliche Ausbreitungsrichtung des empfangenen konvergenten Lichts. Dies kann vorteilhaft sein, wenn das optische Übertragungsspektrum des optischen Filters 260 vom Einfallswinkel des auf das optische Filter 260 einfallenden Lichts abhängt, beispielsweise wenn das optische Filter 260 ein Interferenzfilter ist, um sicherzustellen, dass das vom optischen Filter 260 empfangene Licht dem bekannten optischen Übertragungsspektrum des optischen Filters 260 unterliegt, unabhängig von der anfänglichen Ausbreitungsrichtung, entlang der das konvergente Licht vom entsprechenden zusätzlichen Linsenelement 290 empfangen wird.
-
In einer Variante der ersten alternativen multispektralen ALS 202 von kann jedes zusätzliche Linsenelement durch einen entsprechenden optischen Filter 260 definiert oder auf diesem ausgebildet sein.
-
zeigt eine zweite alternative multispektrale ALS 302 zur Verwendung mit der multispektralen ALS-Anordnung 103. Die zweite alternative multispektrale ALS 302 ist in jeder Hinsicht identisch mit der ersten alternativen multispektralen ALS 202 von , außer dass die zweite alternative multispektrale ALS 302 von eine Vielzahl von durchlässigen optischen Elementen in Form einer Vielzahl von zusätzlichen Linsenelementen 290 enthält, die als zusätzliches Mikrolinsen-Array (MLA) auf einem zusätzlichen optischen Substrat 292 vorgesehen sind. 6B eine Vielzahl von durchlässigen optischen Elementen in Form einer Vielzahl von Fresnel-Linsenelementen 390 enthält, die als Mikro-Fresnel-Linsenarray bereitgestellt werden, wobei jedes Fresnel-Linsenelement 390 durch ein entsprechendes optisches Filter 360 des multispektralen ALS 302 definiert oder darauf ausgebildet ist.
-
In einer Variante der zweiten alternativen multispektralen ALS 302 von kann jedes Fresnel-Linsenelement 390 durch ein zusätzliches optisches Substrat definiert oder auf diesem ausgebildet sein, wobei das zusätzliche optische Substrat an einer vorderen Oberfläche eines monolithischen multispektralen ALS-Halbleiterchips 310 der multispektralen ALS 302 angebracht ist.
-
Ein Fachmann wird verstehen, dass in der ersten alternativen multispektralen ALS 202 von und der zweiten alternativen multispektralen ALS 302 von die Vielzahl von durchlässigen optischen Elementen effektiv bedeutet, dass sich konvergentes Licht durch jedes optische Interferenzfilter in einer Richtung ausbreitet, die parallel zu einer optischen Achse des optischen Interferenzfilters ist oder in einer Richtung, die fast parallel zu einer optischen Achse des optischen Interferenzfilters ist, um dadurch sicherzustellen, dass das übertragene Licht dem bekannten optischen Transmissionsspektrum des optischen Interferenzfilters bei normalem Einfall unterliegt. Alternativ zur Verwendung einer Vielzahl von transmissiven optischen Elementen wie den transmissiven optischen Elementen 290 der ersten alternativen multispektralen ALS 202 von oder den transmissiven optischen Elementen 390 der zweiten alternativen multispektralen ALS 302 von , kann die Verarbeitungsressource 180 des Smartphones 101 so konfiguriert sein, dass sie die elektrischen Signalwerte, die von den verschiedenen optischen Detektorbereichen 111a, 111b, 111c, ... 111i desselben Subarrays 112 von optischen Detektorbereichen erzeugt werden, anpasst, um etwaige Unterschiede in den optischen Transmissionsspektren des entsprechenden optischen Filters 160 zu kompensieren, die als Ergebnis der Ausbreitung von konvergentem Licht durch den entsprechenden optischen Filter 160 entlang verschiedener Ausbreitungsrichtungen für die verschiedenen optischen Detektorbereiche 111a, 111b, 111c, ... 111i desselben Subarrays 112 von optischen Detektorbereichen entstehen.
-
zeigt einen alternativen monolithischen multispektralen ALS-Halbleiterchip 410 zur Verwendung mit dem multispektralen ALS 102 der , dem ersten alternativen multispektralen ALS 202 der oder dem zweiten alternativen multispektralen ALS 302 der . Der alternative monolithische Multispektral-ALS-Halbleiterchip 410 definiert eine Vielzahl von Unteranordnungen 412 optischer Detektorbereiche in Form von zwölf Unteranordnungen 412, die in einer 3x4-Anordnung von Unteranordnungen 412 angeordnet sind, wobei die optischen Detektorbereiche jeder Unteranordnung 412 die gleiche relative räumliche Anordnung wie die optischen Detektorbereiche jeder der anderen Unteranordnungen 412 aufweisen. Insbesondere definiert jedes der Subarrays 412 einen zentralen optischen Detektorbereich 411a, der von vier bogenförmigen optischen Detektorbereichen 411b, 411c, 411d und 411e umgeben ist. Der monolithische multispektrale ALS-Halbleiterchip 410 umfasst eine Vielzahl von optischen Filtern 460, wobei jeder optische Filter 460 ein entsprechendes optisches Übertragungsspektrum aufweist. Jedes optische Filter 460 kann ein optisches Interferenzfilter mit Durchlassband sein, das ein entsprechendes spektrales Durchlassband definiert. Zwei oder mehr der optischen Filter 460 können unterschiedliche spektrale Durchlassbereiche definieren. Darüber hinaus ist jeder optische Filter 460 auf dem monolithischen multispektralen ALS-Halbleiterchip 410 vor einer entsprechenden Unterreihe 412 optischer Detektorbereiche 411a, 411b, 411c, 411d und 411e ausgebildet oder daran befestigt.
-
Einem Fachmann ist klar, dass auch andere Anordnungen der optischen Detektorbereiche in jedem Subarray möglich sind. Zum Beispiel kann jedes Subarray einen zentralen optischen Detektorbereich definieren, der von einem oder mehreren konzentrisch angeordneten ringförmigen optischen Detektorbereichen umgeben ist, wobei jeder ringförmige optische Detektorbereich einen unterschiedlichen Radius hat. Jedes Subarray kann eine 1D- oder 2D-Anordnung optischer Detektorbereiche beliebiger Größe bilden. Die optischen Detektorbereiche jedes Unterarrays können in einem nicht rechteckigen 2D-Array angeordnet sein.
Einem Fachmann ist klar, dass auch andere Anordnungen der Subarrays möglich sind. Zum Beispiel können die Subarrays in einem 1D- oder 2D-Array beliebiger Größe angeordnet sein, zum Beispiel in einem 3x4- oder 5x5-Array. Die Subarrays können in einem 2D-Muster angeordnet sein, das nicht rechteckig ist.
-
Die veranschaulichen die Vorteile einer optischen Anordnung, bei der die mehreren Linsenelemente bewirken, dass einfallendes Licht unscharf oder verschwommen ist, wenn es eine Ebene der optischen Detektorbereiche erreicht. Die Vorteile sind insbesondere, aber nicht ausschließlich, bei der Verwendung in Verbindung mit automatischen Weißabgleichsalgorithmen in einem ALS anwendbar.
-
Zunächst werden die Nachteile des Bildes, das durch einfallendes Licht erzeugt wird, das in der Ebene der optischen Detektorbereiche scharf ist, unter Bezugnahme auf die optische Anordnung 700 von beschrieben.
-
In ist eine Vielzahl von Linsenelementen 701, 702 dargestellt, die wie in beschrieben arbeiten. In wird das einfallende Licht jedoch durch die Linsenelemente 701, 702 auf die optischen Detektorbereiche 703 fokussiert.
-
BILD 7B und BILD 7C zeigen die Visualisierungen 703a, 703b eines Ausgangssignals der Pixel eines multispektralen ALS, bei dem eine Szene in fünfundzwanzig Bereiche oder Segmente mit den Nummern 0-24 in der in Verbindung mit BILD 5 beschriebenen Weise unterteilt ist, wobei jedoch das durch das einfallende Licht erzeugte Bild an den optischen Detektorbereichen scharf ist.
-
In der Szene von und 7C gibt es eine starke, punkt- oder linienförmige Lichtquelle 704, die eine Vielzahl der Regionen durchschneidet. In 7B gibt es keine Lücken zwischen den vierundzwanzig Regionen. In gibt es Lücken zwischen den Bereichen. Da das durch das einfallende Licht erzeugte Bild in der Ebene der optischen Detektorbereiche fokussiert ist, weist die Lichtquelle scharfe Kanten im Bild auf. Im Fall von können die Lücken außerdem einen oder mehrere blinde Flecken verursachen, in denen kein Licht erkannt wird. Licht, das sich in solche blinden Flecken hinein oder aus ihnen heraus bewegt, führt ebenfalls zu scharfen Kanten im Bild. Wie weiter unten erläutert wird, können die scharfen Kanten Probleme bei automatischen Weißabgleichsalgorithmen verursachen.
-
Die zeigen in ähnlicher Weise Visualisierungen eines Ausgangssignals eines multispektralen ALS (ohne Lücke zwischen den Segmenten), aber in diesem Fall bewegt sich die Lichtquelle 800 langsam von rechts nach links über die Segmente, so dass die scharfen Kanten in einem oder mehreren Segmenten in einer Szene beginnen, zwei oder mehrere Segmente in einer anderen Szene überbrücken und schließlich in einem oder mehreren anderen Segmenten in einer anderen Szene enden können. Beispielsweise beginnt der obere Teil der Lichtquelle in Szene 0 im Sichtfeldsegment 15 in BILD 8A und bewegt sich zwischen den Szenen 2-6 in BILD 8B-8E nach links über das Sichtfeldsegment 15, bis er in Szene 8 beginnt, das Segment 10 zu überqueren, bevor er sich in Szene 10 in BILD 8F vollständig in das Segment 10 bewegt. Eine ähnliche Bewegung findet für die Teile der Lichtquelle statt, die in den anderen Sichtfeldsegmenten erfasst werden.
-
zeigt fünfundzwanzig Diagramme 900 (entsprechend jedem der fünfundzwanzig Segmente der 8A-8F) der integrierten Signalstärke (beliebige Einheiten) auf der y-Achse gegen die Szenennummer einer Reihe von Szenen, während sich die Lichtquelle über den Sensor auf der x-Achse für rote, grüne und blaue (RGB) Signale bewegt. In der Praxis wird die Anzahl der Farbsignale der Anzahl der verschiedenen Farbkanäle entsprechen, die die oben beschriebenen Filter bereitstellen. In den Segmenten, die ein von Null verschiedenes Signal aufweisen, zeigt das integrierte Signal einen Clipping-Effekt, wenn sich die Lichtquelle in ein Segment hinein- oder aus ihm herausbewegt. Das heißt, wenn die scharfe Lichtquelle beginnt, in das Segment einzutreten, kommt es zu einem starken Anstieg oder Abfall, bis die Lichtquelle vollständig in dem Segment ist. Wenn sich die Lichtquelle vollständig im Segment befindet, ist das Signal konstant und flach, was hier als breiter, konstanter Effekt bezeichnet wird. Ein Problem bei solch starken Veränderungen und breiten, flachen Konstanten ist, dass es schwierig ist, die Extremwerte des Signals zu bestimmen. Die genaue Bestimmung solcher Extrema ist nützlich, da eine automatische Berechnung des Weißabgleichsgradienten zwischen Bildfeldsegmenten auf den Extremwerten basieren kann (z. B. durch Oberflächeninterpolation vom Schwerpunkt solcher Extrema). Wenn das Signal breit und flach ist und Clipping-Effekte aufweist, ist es schwierig, die Extrema genau zu bestimmen, und die automatischen Berechnungen des Weißabgleichs sind wahrscheinlich ungenau.
-
BILD 10 zeigt eines der Diagramme 1000 von BILD 9, das einem zentralen Segment wie z. B. Segment 12 entspricht, um den Abschneideeffekt 1001 und den Effekt der breiten Konstante 1002 für RGB-Farbkanäle zu demonstrieren, wenn die Lichtquelle, die sich im Fokus befindet, scharfe Kanten hat. In den zeigen die RG-Farbkanäle 1003 das Vorhandensein der Lichtquelle an, während der B-Farbkanal 1004 die Hintergrundfarbe anzeigt. Dies liegt daran, dass die Beispiele in den 7B-10 zu Illustrationszwecken vereinfacht sind und nur drei RGB-Farbkanäle einer simulierten Lichtquelle (in den RG-Kanälen) und einen einheitlichen, einfarbigen Hintergrund (B-Kanal) zeigen. In der Praxis sind in realen Szenen solche klaren Unterscheidungen zwischen Lichtquelle und Hintergrund nicht so offensichtlich, und es sind, wie oben beschrieben, weit mehr Farbkanäle vorgesehen.
-
In den sind außerdem gestrichelte Linien 1005 (B-Kanal) und 1006 (RG-Kanäle) dargestellt, die zeigen, wie die Signalstärken aussehen würden, wenn die Lichtquelle in der Ebene der optischen Detektorbereiche bei unterschiedlichen Unschärfegraden unscharf wäre. Die Unschärfe bewirkt insbesondere eine Glättung des scharfen Abschneideeffekts an den Rändern der Gesichtsfeldsegmente und eine Abrundung des ansonsten flachen, breiten und konstanten Effekts in der Mitte. Je höher der Unschärfegrad ist, desto größer ist der Glättungseffekt. Der Grad der Glättung oder Unschärfe hängt davon ab, wie weit das einfallende Licht in der Ebene der optischen Detektoren unscharf ist; dies kann durch Positionierung der optischen Detektoren näher oder weiter weg von der Brennebene der Linsen (und/oder durch Einführung von Diffusoren in den optischen Pfad) eingestellt werden. Je unschärfer und damit weiter von der Brennebene der Linsen entfernt die Detektorbereiche sind, desto stärker ist die Glättung. Es ist vorgesehen, dass der Glättungsbetrag so gewählt werden kann, dass die integrierten Pixelsignale so geglättet werden, dass zu jedem Zeitpunkt in jedem Sichtfeldsegment nur ein Extremwert vorhanden ist. In einer Implementierung ist die Unschärfe beispielsweise so konfiguriert, dass eine Szene über eine Breite und/oder Höhe von zwei Sichtfeldsegmenten unscharf ist. Mit anderen Worten, der Unschärfekreis, der Unschärfepunkt oder die Unschärfescheibe des Lichtkegels, wenn er die Ebene der optischen Detektorbereiche schneidet, nachdem er sich über die Brennebene des Objektivs hinaus ausgebreitet hat, überlappt zwei Bildfeldsegmente, um eine geeignete Unschärfe zu erzeugen. Es ist auch denkbar, dass er nur 1,5 Gesichtsfeldsegmente oder 3 Gesichtsfeldsegmente überlappt. Wenn der Unschärfeeffekt jedoch zu stark ist, was ab einer Überlappung von 2 Bildfeldsegmenten der Fall ist, gehen die Informationen über das Umgebungslicht verloren.
-
11 zeigt eine optische Anordnung 1100 mit einer Vielzahl von Linsenelementen 1101, 1102, die wie in beschrieben arbeiten, mit der Ausnahme, dass das einfallende Licht durch die Linsenelemente 1101, 1102 auf eine Ebene 1103 neben den optischen Detektorbereichen 1104 fokussiert wird, so dass das Bild, das durch das einfallende Licht gebildet wird, wenn es die optischen Detektorbereiche erreicht, unscharf und verschwommen ist, wodurch jegliche Abschneideeffekte oder breite, konstante Effekte geglättet werden, die unter Bezugnahme auf beschrieben sind.
-
Wie oben beschrieben, handelt es sich bei den Darstellungen in den nur um illustrative Darstellungen, die ein simuliertes Bild zeigen, bei dem nur RGB-Farben von RGB-Kanälen erfasst werden. In der Praxis wird eine Szene wahrscheinlich komplexer sein. Um die Vorteile der vorliegenden Offenbarung in Bezug auf eine reale Szene zu demonstrieren, sind die beschrieben.
-
In 12A ist ein Bild 1200 einer Raumszene dargestellt. Aufgrund von Linseneffekten weist das Bild 1200 eine leichte optische Verzerrung auf, aber ansonsten ist das Bild scharf, da das einfallende Licht auf die Ebene der optischen Detektorbereiche fokussiert wird. Die Szene ist in x- und y-Pixel unterteilt, und es sind fünfundzwanzig Sichtfeldsegmente vorgesehen, die mit 0-25 nummeriert sind.
-
BILD 12B zeigt eine Reihe von Diagrammen 1201, 1202, 1203, 1204, 1205, die der RGB-Signalintensität der ALS in verschiedenen Pixelreihen von 0 bis 500 entsprechen, um zu veranschaulichen, wie stark sich das Signal in Abhängigkeit von der Beleuchtung und der Farbe der Pixel in jeder Reihe ändert. Es ist offensichtlich, dass in allen Diagrammen eine Reihe von scharfen Kanten 1206 vorhanden sind, die typischerweise plötzlichen Beleuchtungsänderungen oder Kanten in der Szene entsprechen. Zum Beispiel ist in Segment 14 ein Flachbildfernseher 1207a im Bild vor einem Fenster 1207b zur Außenwelt hin positioniert. Der schwarz gefärbte Flachbildfernseher 1207a zeigt sich im Bild um Zeile 240 als eine große, dunkle Reihe von Pixeln vor einem Hintergrundfenster 1207b mit scharfen, hellen Pixeln. In der Darstellung, die der Pixelreihe 240 entspricht, zeigt sich dies als ein Bereich 1207c mit geringer Signalstärke und scharfen Kanten auf beiden Seiten.
-
Wenn sich die Kamera oder die abgebildete Szene bewegt, verschieben sich die Ränder und können mehrere Sichtfeldsegmente kreuzen. Dies kann die oben beschriebenen Effekte des Clippings und der breiten Konstanten verstärken. Unter solchen Umständen ist es schwierig, einen genauen Gradienten für den automatischen Weißabgleich aus den Plots 1201, 1202, 1203, 1204, 1205 zu berechnen. Zur besseren Veranschaulichung sind in nur die RGB-Kanäle dargestellt, es ist jedoch vorgesehen, dass alle Farbkanäle, die allen Farben der verwendeten Filter entsprechen, vorhanden sind.
-
BILD 13A zeigt die gleiche Szene wie in BILD 12A, aber diesmal wird das einfallende Licht auf eine Ebene fokussiert, die an die Ebene der optischen Detektorbereiche angrenzt, um das Bild 1300 zu verwischen oder zu glätten.
13B zeigt in ähnlicher Weise die Diagramme 1301, 1302, 1303, 1304, 1305 der RGB-Signalintensität über die gleichen Pixelreihen wie in 12B. Es ist sofort zu erkennen, dass die scharfen Kanten von 12B geglättet wurden. Die einzigen Ränder sind stattdessen einfach dort, wo es Lücken zwischen den einzelnen Sichtfeldsegmenten gibt, deren Position und Auswirkung von vornherein bekannt ist, so dass sie kompensiert werden können. Zum Beispiel ist der Flachbildfernseher 1307a jetzt eine verschwommene Gruppe von weniger dunklen Pixeln vor einem Hintergrundfenster 1307b mit weniger hellen Pixeln. In der entsprechenden Darstellung 1303 der Pixelreihe 240 ist der große Bereich mit einem niedrigen Signalwert und scharfen Kanten, der dem Flachbildfernseher entspricht, stattdessen ein geglätteter Bereich 1307c mit weicheren Kanten 1306. Es ist wesentlich einfacher, weniger rechenintensiv und effizienter, einen genauen Gradienten für den automatischen Weißabgleich aus den Diagrammen 1301, 1302, 1303, 1304, 1305 zu berechnen, da jedes Segment im Allgemeinen nur ein Extremum und einen glatten Gradienten über das gesamte Segment aufweist, was einfacher zu verarbeiten ist als eine große Anzahl scharfer, diskontinuierlicher Kanten. Durch die absichtliche Unschärfe des Bildes unter Verwendung des optischen Hardwareaufbaus, der das einfallende Licht auf eine Ebene neben der Ebene der optischen Detektorbereiche fokussiert, sorgt der Sensor gemäß der vorliegenden Offenlegung für eine verbesserte Erfassung des Umgebungslichts. Wie oben sind nur die RGB-Kanäle dargestellt, es ist jedoch vorgesehen, dass alle Farbkanäle vorhanden und unscharf sind.
-
Schließlich zeigt BILD 14A die berechneten Ausgangsfarben für jedes der fünfundzwanzig Segmente, die aus einem unscharfen Bild 1400 entsprechend dem von BILD 13A berechnet wurden. zeigt diese Farbwerte in ähnlicher Weise überlagert auf den Diagrammen 1401-1405, die dem Bild in entsprechen. Die berechneten einwertigen, konstanten Pegel wie 1406 können zur Berechnung von Gradienten zwischen Segmenten für den anschließenden automatischen Weißabgleich verwendet werden. Die glatten Signale von werden in 14B zur Veranschaulichung überlagert, z. B. die gepunktete Linie 1407.
-
Es wird deutlich, dass die oben unter Bezugnahme auf die beschriebene optische Anordnung in Verbindung mit jedem der hier beschriebenen multispektralen ALS verwendet werden kann.
-
Obwohl verschiedene multispektrale ALS 102, 202, 302 für die Verwendung mit der Kamera 104 eines Smartphones 101 beschrieben wurden, kann jede der multispektralen ALS 102, 202, 302 mit einer Kamera eines elektronischen Geräts jeder Art verwendet werden. Zum Beispiel kann jede der multispektralen ALS 102, 202, 302 mit einer Kamera eines Mobiltelefons, eines Handys, eines Tablets oder eines Laptops verwendet werden. Die durch die vorliegende Offenlegung bereitgestellte Umgebungslichterfassung ist dementsprechend unabhängig von hochdynamischen Szenen mit sich bewegenden Lichtquellen und anderen Strukturen an beliebigen Positionen in der Szene und kann diese robust handhaben. Darüber hinaus ist die Umgebungslichterfassung auch robust gegenüber Abweichungen bei der Ausrichtung der Linsen aufgrund von Fertigungstoleranzen und ermöglicht somit einen robusten automatischen Weißabgleich.
-
Obwohl die Offenbarung in Form von bevorzugten Ausführungsformen, wie oben dargelegt, beschrieben wurde, ist es zu verstehen, dass diese Ausführungsformen nur zur Veranschaulichung dienen und dass die Ansprüche nicht auf diese Ausführungsformen beschränkt sind. Der Fachmann wird in der Lage sein, Modifikationen und Alternativen zu den beschriebenen Ausführungsformen im Hinblick auf die Offenbarung, die als in den Anwendungsbereich der beigefügten Ansprüche fallen betrachtet werden.
-
Jedes Merkmal, das in der vorliegenden Beschreibung offenbart oder dargestellt ist, kann in jede beliebige Ausführungsform eingebaut werden, sei es allein oder in einer geeigneten Kombination mit jedem anderen hier offengelegten oder dargestellten Merkmal. Insbesondere wird ein Fachmann verstehen, dass eines oder mehrere der Merkmale der Ausführungsformen der vorliegenden Offenbarung, die oben unter Bezugnahme auf die Zeichnungen beschrieben sind, Wirkungen erzeugen oder Vorteile bieten können, wenn sie isoliert von einem oder mehreren der anderen Merkmale der Ausführungsformen der vorliegenden Offenbarung verwendet werden, und dass andere Kombinationen der Merkmale möglich sind als die oben beschriebenen spezifischen Kombinationen der Merkmale der Ausführungsformen der vorliegenden Offenbarung.
-
Der Fachmann wird verstehen, dass in der vorstehenden Beschreibung und den beigefügten Ansprüchen Positionsbegriffe wie „oben“, „entlang“, „seitlich“ usw. unter Bezugnahme auf konzeptionelle Abbildungen, wie sie in den beigefügten Zeichnungen dargestellt sind, verwendet werden. Diese Begriffe werden der Einfachheit halber verwendet, sind aber nicht als einschränkend zu verstehen. Diese Begriffe sind daher so zu verstehen, dass sie sich auf ein Objekt beziehen, wenn es sich in einer Ausrichtung befindet, wie sie in den beigefügten Zeichnungen dargestellt ist.
-
Die Verwendung des Begriffs „umfassend“ in Bezug auf ein Merkmal einer Ausführungsform der vorliegenden Offenbarung schließt andere Merkmale oder Schritte nicht aus. Die Verwendung des Begriffs „ein“ oder „an“ in Bezug auf ein Merkmal einer Ausführungsform der vorliegenden Offenbarung schließt nicht aus, dass die Ausführungsform eine Vielzahl solcher Merkmale umfassen kann.
Die Verwendung von Bezugszeichen in den Ansprüchen ist nicht als Einschränkung des Anwendungsbereichs der Ansprüche zu verstehen.
-
LISTE DER REFERENZNUMMERN
-
- 1
- smartphone;
- 2
- Multispektraler ALS-Sensor;
- 3
- Multispektrale ALS-Anordnung;
- 4
- Kamera;
- 8
- Deckglas;
- 11
- optischer Detektorbereich;
- 20
- Unterbringung;
- 22
- Blende;
- 30
- Diffusor;
- 32
- IR-Sperrfilter;
- 40
- optische Achse der multispektralen ALS-Anordnung;
- 42
- Sichtfeld der multispektralen ALS-Anordnung;
- 50
- optische Achse der Kamera;
- 52
- Sichtfeld der Kamera;
- 101
- Smartphone;
- 102
- Multispektraler ALS-Sensor;
- 103
- Multispektrale ALS-Anordnung;
- 104
- Kamera;
- 108
- Deckglas;
- 110
- monolithischer multispektraler ALS-Halbleiterchip;
- 111
- optischer Detektorbereich;
- 111a-i
- optische Detektorbereiche;
- 112
- Subarray von optischen Detektorbereichen;
- 120
- Gehäuse;
- 122
- Gehäuseöffnung;
- 132
- IR-Sperrfilter;
- 140
- optische Achse der multispektralen ALS-Anordnung;
- 142
- Sichtfeld der multispektralen ALS-Anordnung;
- 142a-i
- spektoren des Sichtfelds der multispektralen ALS-Anordnung;
- 150
- optische Achse der Kamera;
- 152
- Sichtfeld der Kamera;
- 160
- optischer Filter;
- 162
- Linsenelement;
- 164
- optisches Substrat;
- 166
- Abstandshalter;
- 168
- Abstandshalteröffnung;
- 182
- Szene;
- 183a-i
- Regionen der Szene;
- 184a-i
- Inzidenzrichtungen;
- 202
- Multispektraler ALS-Sensor;
- 210
- monolithischer multispektraler ALS-Halbleiterchip;
- 211a-i
- optische Detektorbereiche;
- 212
- Subarray von optischen Detektorbereichen;
- 260
- optischer Filter;
- 262
- Linsenelement;
- 264
- optisches Substrat;
- 266
- Abstandshalter;
- 268
- Abstandshalteröffnung;
- 290
- zusätzliches Linsenelement;
- 292
- zusätzliches optisches Substrat;
- 302
- Multispektraler ALS-Sensor;
- 310
- monolithischer multispektraler ALS-Halbleiterchip;
- 360
- optischer Filter;
- 390
- zusätzliches Linsenelement;
- 410
- monolithischer multispektraler ALS-Halbleiterchip;
- 411a-e
- optische Detektorbereiche;
- 412
- Subarray optischer Detektorbereiche; und
- 460
- optischer Filter.
- 700
- optische Anordnung
- 701
- Pluralität der Linsenelemente
- 702
- Pluralität der Linsenelemente
- 703
- optische Detektorbereiche
- 703a
- Visualisierung des Ausgangssignals
- 703b
- Visualisierung des Ausgangssignals
- 800
- detektierte Lichtquelle
- 900
- Plots der Signalstärke in Abhängigkeit von der Szenennummer
- 1000
- Diagramm der Signalstärke gegen die Szenennummer
- 1001
- Clipping-Effekt
- 1002
- weit, konstante Wirkung
- 1003
- rote grüne Farbkanäle
- 1004
- blauer Farbkanal
- 1005
- Geglätteter blauer Farbkanal
- 1006
- geglättete Rot-Grün-Farbkanäle
- 1100
- optische Anordnung
- 1101
- Pluralität der Linsenelemente
- 1102
- Pluralität der Linsenelemente
- 1103
- Brennpunktebene
- 1104
- Ebene der optischen Detektorbereiche
- 1200
- Bild einer Szene
- 1201
- Plot der RGB-Signalintensität der Pixelreihe 400
- 1202
- Plot der RGB-Signalintensität der Pixelreihe 315
- 1203
- Plot der RGB-Signalintensität der Pixelreihe 240
- 1204
- Plot der RGB-Signalintensität der Pixelreihe 165
- 1205
- Plot der RGB-Signalintensität der Pixelreihe 80
- 1206
- Scharfe Kanten
- 1207a
- Flachbildfernseher in dunkler Farbe
- 1207b
- Hellfarbiges Hintergrundfenster
- 1207c
- scharfe Region mit niedrigem Signalwert
- 1300
- unscharfes Bild einer Szene
- 1301
- Plot der RGB-Signalintensität der Pixelreihe 400
- 1302
- Plot der RGB-Signalintensität der Pixelreihe 315
- 1303
- Plot der RGB-Signalintensität der Pixelreihe 240
- 1304
- Plot der RGB-Signalintensität der Pixelreihe 165
- 1305
- Plot der RGB-Signalintensität der Pixelreihe 80
- 1307a
- Flachbildfernseher in dunkler Farbe
- 1307b
- Hellfarbiges Hintergrundfenster
- 1307
- Glatter Bereich mit niedrigem Signal
- 1400
- Berechnete Sichtfeldsegmentfarben einer Szene
- 1401
- Plot der berechneten RGB-Signalintensität der Pixelreihe 400
- 1402
- Plot der berechneten RGB-Signalintensität der Pixelreihe 315
- 1403
- Plot der berechneten RGB-Signalintensität der Pixelreihe 240
- 1404
- Plot der berechneten RGB-Signalintensität der Pixelreihe 165
- 1405
- Plot der berechneten RGB-Signalintensität der Pixelreihe 80
- 1406
- konstanter Wert
- 1407
- geglättetes Signal
