DE102019123356A1

DE102019123356A1 - Sensoranordnung, Verfahren zur Berechnung eines Farbbildes und eines hyperspektralen Bildes, Verfahren zur Durchführung eines Weißabgleichs und Verwendung der Sensoranordnung in der medizinischen Bildgebung

Info

Publication number: DE102019123356A1
Application number: DE102019123356.9A
Authority: DE
Inventors: Daniel Härter; Johannes Bourbon
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2019-08-30
Filing date: 2019-08-30
Publication date: 2021-03-04
Also published as: US11778288B2; US20210067712A1

Abstract

Die Erfindung betrifft eine Sensoranordnung (1) zur Aufnahme eines Farbbildes im sichtbaren Spektrum (8) und einer hyperspektralen Information, die mit dem Farbbild räumlich verknüpft ist, wobei die Sensoranordnung (1) einen Bildsensor (2) aus mehreren Fotozellen (3) aufweist, wobei wenigstes einem Teil der Fotozellen (3) jeweils ein Farbfilter (4) fest zugeordnet ist, wobei jede Fotozelle (3) einer Subzelle (5) und jede Subzelle (5) einer Superzellen (6) zugeordnet ist, wobei jede Subzelle (5) wenigstens einen Einzelfilter eines Kanals aufweist, wobei alle Kanäle zusammen wenigstens das gesamte sichtbare Spektrum (8) abdecken, dass sich die charakteristischen Wellenlängen (9) der zu einem Kanal gehörenden Einzelfilter zwischen den Subzellen (5) einer Superzelle (6) voneinander jeweils unterscheiden.

Description

Die Erfindung betrifft eine Sensoranordnung mit einem Bildsensor aus mehreren Fotozellen, wobei den Fotozellen wenigstens teilweise jeweils ein Farbfilter zugeordnet ist. Insbesondere kann die Sensoranordnung zur Aufnahme eines Farbbildes im sichtbaren Spektrum und eines hyperspektralen Bildes eingerichtet sein.
Außerdem betrifft die Erfindung ein Verfahren zur Berechnung eines Farbbildes und eines hyperspektralen Bildes.
Weiter betrifft die Erfindung ein Verfahren zur Durchführung eines Weißabgleichs für eine Sensoranordnung.
Schließlich bezieht sich die Erfindung auch auf eine Verwendung einer Sensoranordnung in der medizinischen Bildgebung.
Es sind bereits Sensoranordnungen bekannt, bei welchen Farbfiltern einzelner Farbkanäle (zum Beispiel Rot, Grün und Blau (RGB) oder Cyan, Magenta und Yellow (CMYK)) mit einem insbesondere monochromatischen Bildsensor kombiniert werden. Der Bildsensor weist dabei eine Vielzahl kleiner lichtempfindlicher Flächen, sogenannter Fotozellen, auf, vor welchen im optischen Strahlengang jeweils ein Farbfilter angeordnet ist. Durch die Fotozelle kann also nur ein Helligkeitswert für Licht eines Wellenlängenbereichs detektiert werden, das durch den vorgelagerten Farbfilter hindurchgelassen wird. Derartige Sensoranordnungen sind zum Beispiel unter der Bezeichnung „Bayer-Sensor“ bekannt.
Die der Erfindung zugrunde liegende Aufgabe liegt darin, die Anwendungsmöglichkeiten vorbekannter Sensoranordnungen eingangs genannter Art zu erweitern.
Die Lösung dieser Aufgabe wird erfindungsgemäß durch eine Sensoranordnung eingangs genannter Art mit den Merkmalen aus Anspruch 1 bereitgestellt.
Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe eine Sensoranordnung eingangs genannter Art vorgeschlagen, die dadurch gekennzeichnet ist, dass die Fotozellen in Subzellen und die Subzellen in Superzellen gruppiert sind, dass jede Subzelle wenigstens einen Farbfilter eines Farbkanals aufweist, wobei alle Farbkanäle zusammen das gesamte sichtbare Spektrum abdecken, dass sich die charakteristischen Wellenlängen der zu einem Farbkanal gehörenden Farbfilter zwischen den Subzellen einer Superzelle voneinander jeweils zumindest teilweise unterscheiden. Es kann somit beispielsweise vorgesehen sein, dass alle Subzellen paarweise verschiedene charakteristische Wellenlängen aufweisen oder dass einzelne Farbfilter zwischen zwei Subzellen übereinstimmende charakteristische Wellenlängen haben. Beispielsweise können die charakteristischen Wellenlängen nur in Bezug auf einen Farbkanal oder auf eine Auswahl unter allen Farbkanälen von Subzelle zu Subzelle differieren, oder es können innerhalb eines Farbkanals einzelnen charakteristische Wellenlängen übereinstimmen während sich andere charakteristische Wellenlängen in diesem Farbkanal innerhalb der Superzelle unterscheiden. Es sind auch Mischformen dieser Einzelfälle realisierbar.
Beispielsweise können die Subzellen einer Superzelle Farbfilter nach dem Muster RGBX (R=rot, G=grün, B=blau, X=weiterer Spektralbereich, beispielsweise IR) aufweisen, wobei R, G, und B Farbfilter mit jeweils über die Subzellen einheitlicher charakteristischer Wellenlänge sind, während der Farbfilter X eine von Subzelle zu Subzelle individuelle charakteristische Wellenlänge hat.
Eine Ausgestaltung der Erfindung sieht vor, dass sich die charakteristischen Wellenlängen der zu einem Farbkanal gehörenden Farbfilter zwischen den Subzellen einer Superzelle voneinander jeweils unterscheiden. Somit ist für jedes Pixel innerhalb wenigstens eines Farbkanals eine unterschiedliche charakteristische Wellenlänge wählbar, so dass Redundanzen vermeidbar sind.
Eine Ausgestaltung der Erfindung sieht vor, dass sich die charakteristischen Wellenlängen der zu allen Farbkanälen gehörenden Farbfilter zwischen den Subzellen einer Superzelle voneinander jeweils unterscheiden. Somit ist für jedes Pixel eine unterschiedliche charakteristische Wellenlänge wählbar, so dass Redundanzen vermeidbar sind.
Vorzugsweise kann dabei vorgesehen sein, dass jede Subzelle einen Farbfilter aus einem bestimmten Spektralbereich aufweist und alle Subzellen innerhalb einer Superzelle zusammen mindestens den spektralen Bereich der Grundfarben des sichtbaren Spektrums abdecken. Weiter bevorzugt können sich die Wellenlängenbereiche der zu einem Spektralbereich gehörenden Farbfilter zwischen den Subzellen einer Superzelle jeweils voneinander insofern unterscheiden, dass die von den Farbfiltern abgedeckten Bereiche sich zwar überschneiden können, jedoch nicht gleich sind.
Durch die erfindungsgemäße Sensoranordnung ist es somit möglich, mit nur einem Bildsensor sowohl ein relativ hochaufgelöstes Farbbild in einem für das menschliche Auge sichtbaren Spektrum und zusätzlich dazu ein hyperspektrales Bild aufzunehmen. Somit kann sich das Farbbild aus den unterschiedlichen Spektralbereichen der einzelnen Subzellen rekonstruieren lassen, während die spektralen Informationen aus den einzelnen Subzellen gewonnen werden. Der Begriff „hyperspektrales Bild“ im Sinne der Anmeldung kann dahingehend verstanden werden, dass darunter auch ein multispektrales Bild und/oder eine multispektrale Information zu verstehen ist/sind, je nachdem wie viele unterschiedliche Farbfilter pro Superzelle eingesetzt werden und/oder wie groß die Filterbreiten der eingesetzten Filter und/oder der Abstand zwischen den Filtern gewählt ist. Anders ausgedrückt kann damit eine zur Information des Farbbildes zusätzliche, mit der Information des Farbbildes räumlich verknüpfte Information in Form eines spektroskopischen Messwertes gemeint sein. Durch die zusätzliche Information ergeben sich insbesondere im medizinischen Bereich eine Vielzahl von Möglichkeiten, um beispielsweise einem Benutzer eines medizinischen Bildgebungsverfahrens eine Hilfestellung in der Bewertung und Auswertung der auf dem Bild dargestellten Bildszene zu bieten. Besonders vorteilhaft bei der Verwendung nur eines einzigen Bildsensors mit der erfindungsgemäßen Ausgestaltung ist somit die Möglichkeit, zusätzliche hyperspektrale Informationen in einer aufgenommenen Bildszene detektieren zu können, ohne dass dabei eine falsche räumliche Zuordnung, z.B. aufgrund einer fehlerhaften Ausrichtung zweier Bildsensoren zueinander, auftreten kann. Die erfindungsgemäße Lösung erfordert somit keinen räumlichen Abgleich (Registrierung), wie dies bei vorbekannten Sensoranordnungen mit zwei Bildsensoren - einen für das Farbbild und einen für das hyperspektrale Bild - erforderlich ist. Die Verwendung nur eines Bildsensors wird dadurch ermöglicht, dass eine strukturelle Anordnung der Einzelfilter in Subzellen und eine Anordnung der Subzellen in Superzellen vorgesehen ist, wobei ein Durchstimmen der Einzelfilter einer Superzelle erforderlich ist, so dass sich insbesondere die charakteristischen Wellenlängen der zu einem Farbkanal gehörenden Farbfilter zwischen den Subzellen einer Superzelle voneinander jeweils unterscheiden.
Bei anderen Lösungen, die auf einen Einsatz eines optischen Gitters in Kombination mit Mikrolinsenarrays setzen, um eine spektrale Information auszuwerten, ist die Auflösung des Farbbildes zu gering. Zudem ist der gesamte Aufbau verhältnismäßig komplex und erfordert einen hohen Montageaufwand. Auch hier bietet die erfindungsgemäße Lösung somit den Vorteil, dass ein im Vergleich zur genannten vorbekannten Lösung relativ einfacher Aufbau, eine relativ einfache Montage ermöglicht wird.
Nachfolgend werden vorteilhafte Ausgestaltungen der Erfindung beschrieben, die allein oder in Kombination mit den Merkmalen anderer Ausgestaltungen optional zusammen mit den Merkmalen nach Anspruch 1 kombiniert werden können.
Gemäß einer vorteilhaften Ausgestaltung kann es sich bei den charakteristischen Wellenlängen um Transmissionsmaxima der Farbfilter handeln. Bezogen auf den Durchlass von Licht, kann eine Amplitude des Filters bei der Wellenlänge des Transmissionsmaximums am größten sein. Alternativ oder zusätzlich kann die charakteristische Wellenlänge auch durch eine mittlere Wellenlänge oder eine Wellenlänge, die einen Parameter einer mathematischen Approximation einer Transmissionskurve beschreibt, sein.
Beispielsweise kann vorgesehen sein, dass die charakteristischen Wellenlängen wenigstens eines Farbkanals, vorzugsweise aller Farbkanäle, derart voneinander beabstandet sind, dass die zugehörigen Transmissionsmaxima der Farbfilter voneinander unterscheidbar sind.
Gemäß einer zu den vorgenannten Lösungen alternativen oder ergänzenden Ausführungsvariante kann es vorgesehen sein, dass wenigstens eine Superzelle wenigstens zwei Subzellen aufweist, die für mindestens einen Farbkanal und/oder für mindestens einen Farbfilter die gleiche charakteristische Wellenlänge haben. Vorzugsweise kann es alternativ oder ergänzend vorgesehen sein, dass es mindestens zwei Subzellen innerhalb einer Superzelle gibt, die sich in der charakteristischen Wellenlänge mindestens eines Farbfilters unterscheiden.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann vorgesehen sein, dass die Superzellen jeweils wenigstens vier Subzellen aufweisen. Somit kann ein räumlich hoch aufgelöstes Farbbild und in Ergänzung dazu spektroskopische Zusatzinformationen anhand der Sensoranordnung detektiert werden.
Um eine gute Auflösung des aufgenommenen Bildes zu erhalten, können die Superzellen jeweils ein rechteckiges oder quadratisches Muster aus Subzellen aufweisen. Insbesondere können die Superzellen ein Muster mit gleicher Anzahl an Subzellen pro Zeile (Z_n) und Subzellen pro Spalte (S_n) oder einer unterschiedlichen Anzahl an Subzellen pro Zeile (Z_n+1; Z_n+2;... Z_n+x; Z_n-1, Z_n-2; ... Z_n-x) und Subzellen pro Spalte (S_n) aufweisen. Vorzugsweise kann es sich um ein Muster oder eine Kombination aus zwei oder mehr Mustern ausgewählt aus 2×2 Subzellen, 3×3 Subzellen, 4×4 Subzellen, 5×5 Subzellen, 6×6 Subzellen, 2×3 Subzellen, 3×2 Subzellen, 3×4 Subzellen, 4×3 Subzellen, 4×5 Subzellen, 5×4 Subzellen, 5×6 Subzellen, 6×5 Subzellen, 2×4 Subzellen, 4×2 Subzellen, 3×5 Subzellen, 5×3 Subzellen, 4×6 Subzellen, 6×4 Subzellen handeln.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann vorgesehen sein, dass die Subzellen jeweils wenigstens vier Fotozellen aufweisen.
Um eine gute Auflösung des hyperspektralen Bildes zu erhalten, können die Subzellen jeweils ein rechteckiges oder quadratisches Muster aus Fotozellen aufweisen. Vorzugsweise können die Subzellen ein Muster mit gleicher Anzahl an Fotozellen pro Zeile (R_n) und Fotozellen pro Spalte (C_n) oder einer unterschiedlichen Anzahl an Fotozellen pro Zeile (R_n+1; R_n+2;... R_n+x; R_n-1, R_n-2;... R_n-x) und Fotozellen pro Spalte (C_n) aufweisen. Besonders bevorzugt kann es dabei sein, wenn es sich um ein Muster oder eine Kombination aus zwei oder mehr Mustern ausgewählt aus 2×2 Fotozellen, 3×3 Fotozellen, 4×4 Fotozellen, 5×5 Fotozellen, 6×6 Fotozellen, 2×3 Fotozellen, 3×2 Fotozellen, 3×4 Fotozellen, 4×3 Fotozellen, 4×5 Fotozellen, 5×4 Fotozellen, 5×6 Fotozellen, 6×5 Fotozellen, 2×4 Fotozellen, 4×2 Fotozellen, 3×5 Fotozellen, 5×3 Fotozellen, 4×6 Fotozellen, 6×4 Fotozellen handelt.
Um ein Farbbild mit ausreichender Qualität, insbesondere guter Farbtemperatur, aufnehmen zu können, kann es gemäß einer vorteilhaften Weiterbildung vorgesehen sein, dass die Subzellen jeweils wenigstens drei Farbfilter aufweisen. Dabei können die wenigstens drei Farbfilter jeweils unterschiedlichen Farbkanälen zugeordnet sein. Somit kann erreicht werden, dass jede Subzelle in jedem der Farbkanäle, die das sichtbare Spektrum aufspannen, wenigstens eine detektierende Fotozelle hat. Mit anderen Worten hat jede Subzelle zu jedem Farbkanal eines das sichtbare Spektrum aufspannenden Satzes von Farbkanälen, wenigstens einen Farbfilter.
Bevorzugt sind die Farbkanäle der Subzellen nach einem einheitlichen Muster auf die Fotozellen verteilt. Die Zuordnung der Farbkanäle zu den Fotozellen kann auch so gewählt sein, dass eine um eine Fotozelle horizontal oder vertikal verschobene Subzelle wieder eine Subzelle in diesem Sinn darstellt. Dies ermöglicht eine Farbaufnahme mit einer Auflösung, die höher ist als durch die Unterteilung in Subzellen zu erwarten ist.
Alternativ oder ergänzend dazu kann es vorgesehen sein, dass die Subzellen wenigstens einen Zusatzfilter aufweisen, dessen charakteristische Wellenlänge außerhalb des sichtbaren Spektrums liegt. Insbesondere kann ein Transmissionsmaximum des wenigstens einen Zusatzfilters bei einer Wellenlänge im UV-Bereich und/oder IR-Bereich liegen.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Sensoranordnung kann es vorgesehen sein, dass die charakteristischen Wellenlängen benachbarter Farbfilter unterschiedlicher Subzellen einer Superzelle, die zu einem gleichen Farbkanal zugeordnet sind, zueinander einen äquidistanten Abstand oder einen ungleichen Abstand haben. Insbesondere kann es dabei vorgesehen sein, dass die charakteristischen Wellenlängen aller benachbarter Farbfilter einer Superzelle, die zu einem gleichen Farbkanal zugeordnet sind, zueinander einen äquidistanten Abstand und/oder einen ungleichen Abstand haben.
Gemäß einer weiteren vorteilhaften Ausgestaltung der Sensoranordnung kann es vorgesehen sein, dass ein Abstand der charakteristischen Wellenlängen zwischen zwei benachbarten Farbfiltern eines Farbkanals in einer Superzelle gleich oder ungleich zu einem Abstand der charakteristischen Wellenlängen zwischen zwei benachbarten Farbfiltern eines anderen Farbkanals in der Superzelle ist. Insbesondere kann es dabei vorgesehen sein, dass ein Abstand der charakteristischen Wellenlängen zwischen allen benachbarten Farbfiltern eines Farbkanals in einer Superzelle gleich oder ungleich zu einem Abstand der charakteristischen Wellenlängen zwischen allen benachbarten Farbfiltern eines anderen Farbkanals in der Superzelle ist.
Alternativ oder ergänzend kann es gemäß einer weiteren Ausgestaltung vorgesehen sein, dass die charakteristischen Wellenlängen der Farbfilter verschiedener Farbkanäle der Subzellen einer Superzelle zueinander einen äquidistanten Abstand und/oder einen ungleichen Abstand haben.
Gemäß einer vorteilhaften Weiterbildung kann es vorgesehen sein, dass die Belegungsanordnungen der zu einem Farbkanal gehörigen Farbfilter in den Subzellen einer Superzelle gleich oder unterschiedlich sind. Insbesondere kann dabei vorgesehen sein, dass die Belegungsanordnungen der zu einem Farbkanal gehörigen Farbfilter in den Subzellen aller Superzellen gleich oder unterschiedlich sind.
Alternativ oder ergänzend dazu kann es gemäß einer Weiterbildung vorgesehen sein, dass die Belegungsanordnungen der Subzellen innerhalb einer Superzelle gleich oder unterschiedlich sind. Insbesondere kann es dabei vorgesehen sein, dass die Belegungsanordnungen der Subzellen innerhalb aller Superzelle gleich oder unterschiedlich sind.
Um eine möglichst platzsparende Ausgestaltung ausbilden zu können, kann gemäß einer vorteilhaften Weiterbildung der Sensoranordnung vorgesehen sein, dass die Einzelfilter (Farbfilter und/oder die Zusatzfilter) der Sensoranordnung in einer Filterebene, insbesondere in ausschließlich einer Filterebene, angeordnet sind. Im Vergleich zu Sensoranordnungen mit mehreren Filterebenen oder einer Filterebene und wenigstens einem im optischen Strahlengang angeordneten Ergänzungsfilter ist somit eine deutlich kompaktere Ausgestaltung einer Sensoranordnung möglich. Vorzugsweise kann die Filterebene der Sensoranordnung auf dem Bildsensor integriert, also insbesondere fest mit diesem verbunden, sein. Dies hat den Vorteil, dass eine räumliche Zuordnung beispielsweise im Zuge eines Lithographieverfahrens bereits definiert werden kann und keine nachträgliche Justierung der Filter relativ zum Bildsensor erforderlich ist.
Es sind somit einstufige Farbfilter für die Erfindung verwendbar. Dies schließt nicht aus, dass weitere Filter zu anderen Zwecken vor- oder nachgeschaltet sind. In diesem Fall können die charakteristischen Wellenlängen auf diese einstufigen Farbfilter bezogen sein.
Gemäß einer vorteilhaften Ausgestaltung der Sensoranordnung kann es vorgesehen sein, dass sich eine Superzellenstruktur und/oder eine Subzellenstruktur der Sensoranordnung periodisch, insbesondere in identischer Belegungsanordnung, wiederholt. Somit ist eine einfache Auswertung möglich, da Pixel Anordnungen, die über eine Subzelle hinausgehen, in einem Auswertungsschritt als gemittelte Werte behandelt werden können.
Besonders günstig ist es, wenn die Superzellen identisch aufgebaut sind. Somit sind die Messwerte aus den Fotozellen einer Superzelle vergleichbar mit den Messwerten aus den Fotozellen einer benachbarten Superzellen. Es ist somit eine ortsaufgelöste Messwertverteilung zu den unterschiedlichen charakteristischen Wellenlängen gewinnbar.
Um möglichst viele Bänder mittels der Sensoranordnung aufnehmen zu können, um ein hoch aufgelöstes hyperspektrales Bild erzeugen zu können, kann eine Filterbreite, in welcher wenigstens ein Farbfilter und/oder wenigstens ein Zusatzfilter eine Transmission erlaubt/erlauben, von 8 nm bis 25 nm, insbesondere von 10 nm bis 20 nm, betragen. Insbesondere können alle Farbfilter eines Farbkanals und/oder aller Farbkanäle und/oder alle Zusatzfilter die gleiche Filterbreite aufweisen. Alternativ oder ergänzend dazu kann es vorgesehen sein, dass es sich bei den Farbfiltern und/oder Zusatzfiltern wenigstens teilweise um Interferenzfilter handelt. Somit ist es möglich, besonders schmale Durchlassbereiche der einzelnen Filter einzurichten.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann es vorgesehen sein, dass die Bandbreiten zweier benachbarter Farbfilter eines Farbkanals in einer Superzelle und/oder zweier benachbarter Zusatzfilter in einer Superzelle überlappen. Insbesondere kann dabei vorgesehen sein, dass die Bandbreiten aller benachbarter Farbfilter eines Farbkanals in einer Superzelle und/oder aller benachbarter Zusatzfilter in einer Superzelle überlappen.
Alternativ oder ergänzend kann gemäß einer weiteren vorteilhaften Ausgestaltung vorgesehen sein, dass zwischen den Bandbreiten zweier benachbarter Farbfilter eines Farbkanals in einer Superzelle und/oder zwischen den Bandbreiten zweier benachbarter Zusatzfilter in einer Superzelle eine Lücke vorgesehen ist. Insbesondere kann dabei vorgesehen sein, dass zwischen den Bandbreiten aller benachbarter Farbfilter eines Farbkanals in einer Superzelle und/oder zwischen den Bandbreiten aller benachbarter Zusatzfilter in einer Superzelle eine Lücke vorgesehen ist. Besonders vorteilhaft kann es dabei sein, wenn ein Überlappungsbereich schmaler als die Hälfte einer Filterbreite der Farbfilter und/oder der Zusatzfilter ist. Weiter bevorzugt kann es sein, wenn die Lücke schmaler als die Hälfte der Filterbreite der Farbfilter und/oder der Zusatzfilter ist.
Um eine nahezu übereinstimmende Sensitivität zu erreichen, kann es vorgesehen sein, dass die Amplituden der Farbfilter eines Farbkanals einer Superzelle gleich groß oder nahezu gleich groß sind. Insbesondere kann dabei vorgesehen sein, dass die Amplituden der Farbfilter eines Farbkanals aller Superzellen gleich groß oder nahezu gleich groß sind. Es kann auch vorgesehen sein, dass die Amplituden der Farbfilter an eine Empfindlichkeitsfunktion oder spektrale Empfindlichkeit des Sensors angepasst ist, beispielsweise um eine gleichförmige Sensitivität zu erreichen. Dies ist besonders günstig, wenn die Sensitivität des Sensors stark von der Wellenlänge abhängt.
Um möglichst viele eng beieinander liegende, insbesondere aufeinanderfolgende, Wellenlängen mit einer Superzelle aufnehmen zu können, kann es gemäß einer vorteilhaften Weiterbildung der Sensoranordnung vorgesehen sein, dass keine übereinstimmenden charakteristischen Wellenlängen der zu einem Farbkanal gehörenden Farbfilter bei den Subzellen einer Superzelle vorliegen.
Gemäß einer vorteilhaften Weiterbildung kann es vorgesehen sein, dass eine individuelle Durchstimmung der Farbfilter eines Farbkanals in einer Superzelle durch eine Veränderung der charakteristischen Wellenlänge erfolgt.
Die Erfindung betrifft weiter ein Verfahren zur Berechnung eines Farbbildes und eines hyperspektralen Bildes mit einer Sensoranordnung, wie diese hierin beschrieben und/oder beansprucht ist. Insbesondere kann dabei vorgesehen sein, dass spektroskopische Messwerte in den charakteristischen Wellenlängen der zu den Fotozellen zugeordneten Farbfilter und/oder Zusatzfilter ausgegeben und/oder als Berechnungsgrundlage zur Berechnung eines Bildes verwendet werden. Durch das erfindungsgemäße Verfahren ist es somit möglich, ein hoch aufgelöstes Farbbild und räumlich zum Farbbild, insbesondere zur Bildszene des Farbbildes, zugeordnete spektroskopische Messwerte mittels eines Bildsensors, insbesondere eines einzigen Bildsensors, aufzunehmen.
Besonders günstig ist es dabei, wenn die Messwerte geordnet nach den charakteristischen Wellenlängen ausgegeben und/oder verwendet werden, beispielsweise durch ein bestimmtes Datenformat für die Messwerte. Alternativ oder zusätzlich kann vorgesehen sein, dass die Messwerte gemeinsam mit den zugeordneten charakteristischen Wellenlängen ausgegeben und/oder verwendet werden. Somit steht eine Zuordnung der Messwerte zu der Wellenlänge, für die sie gewonnen wurden, unmittelbar zur Verfügung.
Die Erfindung betrifft weiter zudem ein Verfahren zur Durchführung eines Weißabgleichs für eine Sensoranordnung zur Aufnahme eines Farbbildes. Insbesondere eignet sich das Verfahren zur Durchführung eines Weißabgleichs für eine Sensoranordnung, wie sie hierin beschrieben und/oder beansprucht ist. Dabei kann es vorgesehen sein, dass ein ortsabhängiger Weißpunkt, insbesondere ein Subzellenabhängiger Weißpunkt, ermittelt und ein ortsspezifischer Weißabgleich, insbesondere Subzellen-spezifischer Weißabgleich, durchgeführt wird.
Gemäß einer vorteilhaften Weiterbildung des Verfahrens kann es vorgesehen sein, dass die Weißpunkte unterschiedlicher Subzellen in einer Superzelle voneinander abweichen und/oder dass die Weißpunkte gleicher Subzellen, insbesondere von unterschiedlichen Superzellen, gleich sind.
Die Erfindung betrifft zudem die Verwendung einer Sensoranordnung, wie sie hierin beschrieben und/oder beansprucht ist, in der medizinischen Bildgebung. Insbesondere kann die Sensoranordnung in einem Endoskop verwendet werden. Wie bereits zuvor erläutert, weist die Sensoranordnung gegenüber vorbekannten Sensoranordnungen den Vorteil auf, dass sie besonders kompakt ausgestaltet werden kann. Somit ist ein Platzbedarf der Sensoranordnung im Vergleich zu vorbekannten Sensoranordnungen geringer. Besonders bei Endoskopen, die im medizinischen Bereich zum Einsatz kommen, ist darauf zu achten, dass bestimmte Größen eingehalten werden und eine Wärmeentwicklung möglichst gering gehalten ist. Durch eine Reduzierung des Platzbedarfs der Sensoranordnung ist es somit möglich, besonders schmale Endoskope bereitzustellen, die auch in schwer zugängliche, insbesondere enge Hohlräumen eingeführt werden können. Durch die Verwendung von nur einem Bildsensor kann ferner die Wärmeentwicklung gegenüber Sensoranordnungen mit zwei oder mehr Bildsensoren reduziert werden.
Die Erfindung wird nun anhand mehrerer Ausführungsbeispiele näher beschrieben, ist jedoch nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausführungsbeispiele ergeben sich durch die Kombination der Merkmale einzelner oder mehrerer Ansprüche untereinander und/oder mit einzelnen oder mehreren Merkmalen der Ausführungsbeispiele.
Es zeigt:

1 eine schematische Darstellung einer möglichen Ausgestaltung einer erfindungsgemäßen Sensoranordnung mit Subzellen (1 = oben links, 2 = oben recht, 3 = unten links, 4 = unten rechts), die jeweils aus 2x2 Fotozellen (mit den Filtereigenschaften R1, R2, R3, R4, G1, G2, G3, G4, B1, B2, B3, B4, IR1, IR2, IR3, IR4) bestehen, wobei in der unteren Hälfte der Figur eine Detailansicht des umkreisten Bereichs der gesamten Sensoranordnung gezeigt ist, die eine Superzelle aus 2×2 Subzellen (entspricht 4×4 Fotozellen) aufweist, in welcher die Filterbelegung der einzelnen Fotozellen zu erkennen ist, wobei bei den drei Farbkanälen R für Rot, G für Grün und B für Blau steht, und wobei die Sensoranordnung pro Subzelle einen zum Beispiel im Infrarotbereich liegenden Zusatzfilter (IR) aufweist, und wobei an die unten im Detail dargestellte Superzelle weitere Superzellen, insbesondere mit der gleichen Größe und/oder mit dem gleichen Muster an Subzellen anschließen,
2 eine weitere schematische Detailansicht einer Superzelle einer möglichen Ausführungsvariante einer erfindungsgemäßen Sensoranordnung mit vier Farbkanälen (1×R, 2×G, 1×B), vorzugweise mit vier Farbfiltern, die eine charakteristische Wellenlänge innerhalb des für das menschliche Auge sichtbaren Spektrums besitzen und so gewählt wurden, dass die Grundfarben des sichtbaren Bereichs enthalten sind (1×R, 2×G, 1×B), wobei die Subzellen aus 2×2 Fotozellen und die Superzellen aus 2×2 Subzellen (entspricht 4x4 Fotozellen) aufgebaut sind, wobei die charakteristischen Wellenlängen der einzelnen Farbfilter den angegebenen Zahlenwerten entsprechen, wobei zwischen benachbarten Farbfiltern eines Farbkanals eine Durchstimmung der charakteristischen Wellenlänge durch einen jeweils bezogen auf die Farbfilter eines Farbkanals gleichbleibenden Differenzbetrag von je 20 nm erfolgt, wobei an die gezeigte Superzelle weitere Superzellen anschließen,
3 eine weitere schematische Detailansicht einer Superzelle einer möglichen Ausführungsvariante einer erfindungsgemäßen Sensoranordnung mit vier Farbkanälen (1×R, 2×G, 1×B), vorzugsweise mit vier Farbfiltern, die eine charakteristische Wellenlänge innerhalb des für das menschliche Auge sichtbaren Spektrums besitzen und so gewählt wurden, dass die Grundfarben des sichtbaren Bereichs enthalten sind (1×R, 2×G, 1×B), wobei die Subzellen aus 2×2 Fotozellen und die Superzellen aus 3×3 Subzellen (entspricht 6×6 Fotozellen) aufgebaut sind, wobei die charakteristischen Wellenlängen der einzelnen Farbfilter den angegebenen Zahlenwerten entsprechen, wobei zwischen benachbarten Farbfiltern eines Farbkanals eine Durchstimmung der charakteristischen Wellenlänge durch einen jeweils variierenden Differenzbetrag (Abstand) erfolgt, wobei an die gezeigte Superzelle weitere Superzellen anschließen,
4 ein durch die in 5 gezeigten drei Subzellen einer Superzelle (aus 3×3 Subzellen) abgedecktes Spektrum, wobei die Kanäle A, B und C Farbkanäle im für den Menschen sichtbaren Bereich (Farbbereich) und der Kanal D einen Kanal außerhalb des sichtbaren Bereichs (in diesem Fall im Infrarotbereich) darstellen, wobei durch n, m, x und y die Differenzbeträge (Abstände) zwischen den charakteristischen Wellenlängen der einzelnen Filter eines Kanals zwischen den benachbarten Subzellen angezeigt ist, wobei die Farbfilter (A, A+n, A+2n) des blauen Farbkanals keine überlappenden Bandbreiten aufweisen, wobei die Farbfilter (B, B+m, B+2m) des grünen Farbkanals überlappende Bandbreiten aufweisen, und wobei die Farbfilter (C, C+x, C+2x) des roten Farbkanals noch breiter überlappende Bandbreiten aufweisen, wobei die Filterbreiten der Zusatzfilter (D, D+y, D+2y) deutlich schmaler als die Filterbreiten der Farbfilter ausgestaltet sind und daher nur sehr schmal überlappen,
5 die schematische Detailansicht der Belegung der drei Subzellen der Superzelle, deren Filtereigenschaften in 4 gezeigt sind,
6 alternative Filtereigenschaften der in 5 gezeigten Subzellen, wobei hier zwischen den einzelnen Einzelfiltern eines Kanals jeweils eine Lücke vorgesehen ist, wobei der IR-Kanal gegen einen weiteren grünen Farbkanal ausgetauscht wurde, wobei die Filterbreiten (Bandbreiten; Durchlassbereiche) der einzelnen Farbfilter gleich sind, und wobei die Differenzbeträge (Abstände) zwischen den charakteristischen Wellenlängen zweier benachbarter Einzelfilter jeweils gleich groß sind,
7 weitere alternative Filtereigenschaften der in 5 gezeigten Subzellen, wobei hier im Gegensatz zu den Filtereigenschaften aus 6, zwischen den einzelnen Einzelfiltern eines Kanals jeweils eine Überlappung der Durchlassbereiche vorgesehen ist, wobei auch hier der IR-Kanal gegen einen weiteren grünen Farbkanal ausgetauscht wurde, wobei die Filterbreiten (Bandbreiten; Durchlassbereiche) der einzelnen Farbfilter gleich sind, und wobei die Differenzbeträge (Abstände) zwischen den charakteristischen Wellenlängen zweier benachbarter Einzelfilter jeweils gleich groß sind.

In den 1,2 und 3 ist jeweils eine Sensoranordnung gezeigt, die im Ganzen als 1 bezeichnet ist.
Sensoranordnungen 1 sind in der Regel halbleiterbasierte Vorrichtungen, die die Aufnahme von zweidimensionalen Bildern einer Bildszene ermöglichen. Man kennt dabei bereits Sensoranordnungen 1, die auf monochromatischen Bildsensoren 2 basieren, die mit mehreren Farbfiltern 4 versehen sind, um Licht einer bestimmten Wellenlänge auf die jeweils darunterliegenden Fotozellen 3 fallen zu lassen.
Die Sensoranordnung 1 ist dazu eingerichtet, um mittels eines Bildsensors 2, insbesondere mittels eines monochromatischen Bildsensors 2, ein Farbbild und zusätzlich dazu ein hyperspektrales Bild durch die Erfassung spektroskopischer Informationen aufnehmen zu können. Entscheidend dabei ist eine korrekte räumliche Zuordnung der spektroskopischen Informationen zur Bildszene des Farbbildes.
In 1 ist in der oberen Hälfte zunächst ein grober schematischer Aufbau einer möglichen Ausführungsvariante einer Sensoranordnung 1 gezeigt. Diese weist einen Bildsensor 2 auf, der mit einer insbesondere auf dem Bildsensor 2 integrierten Filterebene 15 mit mehreren Einzelfiltern (z.B. Farbfiltern 4 und/oder Zusatzfiltern 11) ausgestattet ist. Die Einzelfilter sind dabei den Fotozellen 3 des Bildsensors 2 fest zugeordnet, so dass jeder Einzelfilter vorzugsweise nur genau eine darunter liegende Fotozelle 3 abdeckt. Die Fotozellen 3 erfassen einen Helligkeitswert des durch die Einzelfilter durchgelassenen Lichts einer charakteristischen Wellenlänge 9. Die Sensoranordnung 1 weist den Vorteil auf, dass durch nur eine Filterebene ein besonders geringer Platzbedarf vorliegt. Zudem ist die Ausrichtung der einstufigen Einzelfilter relativ zu den Fotozellen 3 einfacher, als bei zwei oder mehr Filterebenen 15.
In der unteren Hälfte von 1 ist eine schematische Darstellung der Belegung des Bildsensors 2 mit Einzelfiltern gezeigt. Die mit Einzelfiltern ausgestatteten Fotozellen 3 sind in Subzellen 5 aus jeweils 2×2 Fotozellen 3 gruppiert. Bei der dargestellten Ausführungsvariante bilden vier Subzellen 5 zusammengefasst eine Superzelle 6, die in einem Muster von 2×2 Subzellen aufgebaut ist. Es sind jedoch auch andere Muster von Subzellen 5 und/oder Superzellen 6 möglich, wie weiter unten noch ausführlich beschrieben ist.
Jede Fotozelle 3 ist nur einer Subzelle 5 zugeordnet. Jede Subzelle 5 wiederum ist nur einer Superzelle 6 zugeordnet.
Jede Subzelle 5 deckt über einen Farbfilter 4 einen Farbkanal 7,R,G,B,A,C,D ab, insbesondere einen Teilbereich (Band) eines Farbkanals 7,R,G,B,A,C,D ab. Alle Farbkanäle 7,R,G,B,A,C zusammen decken mindestens den spektralen Bereich der Grundfarben des sichtbaren Bereichs - nachfolgend auch als sichtbares Spektrum 8 (für das menschliche Auge) bezeichnetinsbesondere genau das sichtbare Spektrum 8, ab. Als sichtbares Spektrum 8 kann der Bereich von 380 nm bis 780 nm verstanden werden.
Jeder Einzelfilter (also jeder Farbfilter 4 und/oder jeder Zusatzfilter 11) weist eine charakteristische Wellenlänge 9 auf. Die Einzelfilter unterschiedlicher Subzellen 5 einer Superzelle 6 sind zueinander verstimmt/durchgestimmt. Somit weichen die charakteristischen Wellenlängen 9 der Einzelfilter einer Superzelle, die zu einem Kanal 7,R,G,B,A,C,D gehören (zum Beispiel zu einem Farbkanal 7,R,G,B,A,C und/oder zu einem Kanal D in einem Bereich außerhalb des sichtbaren Spektrums 8), voneinander jeweils ab. Benachbarte Einzelfilter eines Kanals 7,R,G,B,A,C,D, deren Abstände 12,13,14,22 in den charakteristischen Wellenlängen 9 am geringsten sind, können sich mit ihren Durchlassbereichen in einem Überlappungsbereich 17 überlappen oder dazwischen kann eine Lücke 18 ausgebildet sein. Als Lücke 18 kann insbesondere ein Bereich des jeweiligen Kanalspektrums verstanden werden, dessen Wellenlänge durch keinen Einzelfilter des Kanals durchgelassen wird.
Die charakteristische Wellenlänge 9 kann sich auf ein jeweiliges Transmissionsmaximum der Einzelfilter beziehen.
Im Ausführungsbeispiel sind R1, R2, R3, R4, G1, G2, G3, G4, B1, B2, B3, B4, IR1, IR2, IR3, IR4 paarweise verschieden.
Bei einem weiteren Ausführungsbeispiel der Erfindung unterscheiden sich die charakteristischen Wellenlängen nur teilweise. Beispielsweise kann gelten R1=R2=R3=R4 und/oder G1=G2=G3=G4 und/oder B1=B2=B3=B3, während IR1, IR2, IR3, IR4 paarweise verschieden sind. Es sind bei weiteren Ausführungsbeispielen andere Kombinationen der Übereinstimmung und der Unterschiede realisiert.
Die Superzelle 6 aus 1 deckt insgesamt drei Farbkanäle 7,R,G,B,A,C ab, wobei R dem roten Kanal, G dem grünen Kanal und B dem blauen Kanal entspricht. Jede Subzelle 5 weist ferner einen Zusatzfilter 11 auf, der einem Kanal D zugeordnet ist, der einen Bereich außerhalb des sichtbaren Spektrums 8 abdeckt (wie zum Beispiel Infrarot- und/oder Ultraviolettstrahlung). Jede der vier Subzellen 5 der Superzelle 6 weist jeweils vier Fotozellen 3 mit einem fest zugeordneten Einzelfilter (mit den Filtereigenschaften R1, R2, R3, R4, G1, G2, G3, G4, B1, B2, B3, B4, IR1, IR2, IR3, IR4) auf, wobei die neun Farbfilter 4 der Superzelle 6 je einem der Farbkanäle 7,R,G,B,A,C zugeordnet sind, so dass pro Farbkanal 7,R,G,B,A,C je drei Farbfilter 4 vorliegen.
Die Fotozellen 3 können eine quadratische oder rechteckige Form aufweisen. Die Superzellen 6 können ebenfalls ein rechteckiges oder quadratisches Muster aus Subzellen 5 aufweisen. Die Subzellen 5 wiederum können ebenfalls ein rechteckiges oder quadratisches Muster aus Fotozellen 3 aufweisen.
Das gewählte Muster kann dabei die maximal zu erreichende Bildauflösung der Sensoranordnung 1 definieren. Nachfolgend werden einige Beispiele möglicher Muster genannt, wobei die Erfindung nicht auf die genannten Muster beschränkt ist. Grundsätzlich muss hier eine Abwägung zwischen räumlicher Auflösung und der Anzahl an hyperspektralen Messwerten getroffen werden.
Die Superzellen 6 können zum Beispiel ein Muster mit einer gleichen Anzahl an Subzellen 5 pro Zeile (Z_n) und Subzellen pro Spalte (S_n) aufweisen, wie in den 1, 2, 3 und 5 gezeigt ist. Nicht dargestellt sind Muster mit einer unterschiedlichen Anzahl an Subzellen 5 pro Zeile (Z_n+1; Z_n+2;... Z_n+x; Z_n-1, Z_n-2;... Z_n-x) und Subzellen 5 pro Spalte (S_n), die jedoch ebenfalls durch die Erfindung abgedeckt sind.
Bevorzugte Muster von Superzellen 6 können zum Beispiel ausgewählt aus 2×2 Subzellen, 3×3 Subzellen, 4×4 Subzellen, 5×5 Subzellen, 6×6 Subzellen, 2×3 Subzellen, 3×2 Subzellen, 3×4 Subzellen, 4×3 Subzellen, 4×5 Subzellen, 5×4 Subzellen, 5×6 Subzellen, 6×5 Subzellen, 2×4 Subzellen, 4×2 Subzellen, 3×5 Subzellen, 5×3 Subzellen, 4×6 Subzellen, 6×4 Subzellen sein.
Die Subzellen 5 können ein Muster mit gleicher Anzahl an Fotozellen 3 pro Zeile (R_n) und Fotozellen 3 pro Spalte (C_n) aufweisen, wie in den 1, 2, 3 und 5 gezeigt ist. Alternativ oder ergänzend können die Subzellen 5 Muster mit einer unterschiedlichen Anzahl an Fotozellen 3 pro Zeile (R_n+1; R_n+2;... R_n+x; R_n-1, R_n-2;... R_n-x) und Fotozellen 3 pro Spalte (C_n) aufweisen.
Bevorzugte Muster von Subzellen 5 können zum Beispiel Muster ausgewählt aus 2×2 Fotozellen, 3×3 Fotozellen, 4×4 Fotozellen, 5×5 Fotozellen, 6×6 Fotozellen, 2×3 Fotozellen, 3×2 Fotozellen, 3×4 Fotozellen, 4×3 Fotozellen, 4×5 Fotozellen, 5×4 Fotozellen, 5×6 Fotozellen, 6×5 Fotozellen, 2×4 Fotozellen, 4×2 Fotozellen, 3×5 Fotozellen, 5×3 Fotozellen, 4×6 Fotozellen, 6×4 Fotozellen sein.
Das Verstimmen der Einzelfilter (Farbfilter 4 und/oder Zusatzfilter 11), die einem Kanal (Farbkanal 7,R,G,B,A,C und/oder Zusatzkanal D außerhalb des sichtbaren Bereichs) zugeordnet sind kann dadurch erreicht werden, dass die charakteristischen Wellenlängen 9 der zu einem Kanal gehörigen Einzelfilter, insbesondere benachbarten Einzelfilter, zueinander jeweils um einen äquidistanten Abstand 12,13,14,22 und/oder einen ungleichen Abstand 12,13,14,22 versetzt sind. Jeder Einzelfilter eines Kanals deckt somit einen unterschiedlichen Teilbereich des gesamten Kanalspektrums ab. Vorzugsweise decken alle Einzelfilter eines Kanals 7,R,G,B,A,C,D (mit ihren Durchlassbereichen) zusammen das gesamte Kanalspektrum, also insbesondere alle Wellenlängen des gesamten Kanalspektrums, ab.
In den 2 und 3 sind unterschiedliche Ausführungsvarianten einer Sensoranordnung 1 gezeigt, wobei hier jeweils eine Superzelle 6 aus Subzellen mit je 2×2 Fotozellen 3 dargestellt ist, an die weitere, insbesondere baugleiche, Superzellen 6 anschließen. Bei den dargestellten Superzellen 6 ist im Gegensatz zur Superzelle 6 aus 1 kein Kanal 7,R,G,B,A,C außerhalb des sichtbaren Bereichs 8 vorgesehen. Anstatt dessen weisen die Superzellen jeweils einen weiteren grünen Farbkanal G (Wellenlängen von 477 nm bis 623 nm) auf, so dass jede Subzelle 5 der Superzellen 6 zwei grüne Farbfilter 4 aufweist, die sich in ihrer charakteristischen Wellenlänge 9 unterscheiden.
Die Superzelle 6 aus 2 weist 2×2 Subzellen 5 (Nr.1-4) auf, also zwei Subzellen 5 pro Zeile und zwei Subzellen 5 pro Spalte. Wie anhand der in der Mitte jeder Fotozelle 3 angegebenen charakteristischen Wellenlänge 9 erkennbar ist, weisen die einzelnen Farbfilter 4 eines Farbkanals 7,R,G,B,A,C jeweils einen Versatz um einen gleichbleibenden Differenzbetrag (Abstand 12,13,14) auf. Die Abstände 12,13,14 betragen in diesem Fall jeweils genau 20 nm. Es ist jedoch auch denkbar, dass sich die Abstände 12,13,14 zwischen den wenigstens drei (hier vier) Farbkanälen 7,R,G,B,A,C unterscheiden. Alternativ oder ergänzend ist es möglich, dass die Abstände 12,13,14,22 zwischen den Einzelfiltern (wie z.B. den Farbfiltern 4 und/oder den Zusatzfilter 11) innerhalb eines Kanals 7,R,G,B,A,C,D jeweils gleichbleiben oder voneinander wenigstens teilweise abweichen.
Ein Beispiel für unterschiedliche Abstände 12,13,14,22 zwischen den charakteristischen Wellenlängen 9 der Einzelfilter ist in 3 gezeigt. In 3 ist eine Superzelle 6 aus 3×3 Subzellen 5 (Nr. 1-9) gezeigt. Die Abstände 12,13,14,22 zwischen den Einzelfiltern (in diesem Fall Farbfilter 4) eines Kanals 7,R,G,B,A,C,D (in diesem Fall eines Farbkanals 7,R,G,B,A,C) sind uneinheitlich gewählt. So beträgt der Abstand 12,13,14,22 zwischen benachbarten Einzelfiltern eines Kanals 7,R,G,B,A,C,D hier wechselweise 9 nm und 8 nm.
Allgemein kann daher gesagt werden, dass die Abstände 12,13,14,22 frei gewählt werden können, je nachdem wie eng beieinander die erfassten spektroskopischen Messwerte liegen sollen. Es hat sich dabei als vorteilhaft erwiesen, wenn die Abstände 12,13,14,22 der charakteristischen Wellenlängen 9 zwischen benachbarten Einzelfiltern (Farbfiltern 4 und/oder Zusatzfiltern 11) von 5 nm bis 40 nm, insbesondere von 5 nm bis 30 nm, insbesondere von 5 nm bis 25 nm, insbesondere von 7 nm bis 20 nm, insbesondere von 8 nm bis 15 nm betragen.
In den 4 bis 7 sind weitere Beispiele möglicher Ausgestaltungen einer erfindungsgemäßen Sensoranordnung 1 gezeigt.
Das in 4 gezeigte Spektrum ist der in 5 gezeigten Belegung zuzuordnen. A steht hier für den blauen Farbkanal, B steht für den grünen Farbkanal, C für den roten Farbkanal und D für den Zusatzkanal außerhalb des sichtbaren Bereichs 8 (hier im IR-Bereich). Die Abstände 12,13,14,22 zwischen den Einzelfiltern eines Kanals (Farbkanal 7,R,G,B,A,C und/oder Zusatzkanal D) sind durch die Buchstaben n, m, x und y angezeigt.
Wie anhand von 4 zu erkennen ist, sind die Filterbreiten 16 und die charakteristischen Wellenlängen 9 (A, A+n, A+2n) der Farbfilter 4 des blauen Farbkanals A so gewählt, dass kein Überlappungsbereich 17 zwischen benachbarten Farbfilter 4 des blauen Farbkanals A vorliegt. Vielmehr kann von Lücken 18 zwischen den durch die einzelnen Farbfilter 4 des blauen Farbkanals A abgedeckten Durchlassbereiche gesprochen werden.
Im Gegensatz dazu ist bei den Einzelfiltern der übrigen Kanäle (Grün-B, Rot-C, IR-D) ein Überlappungsbereich 17 zwischen den Durchlassbereichen benachbarter Einzelfilter eines Kanals 7,R,G,B,A,C,D zu erkennen.
Die Erfindung erschöpft sich jedoch nicht in der vorherigen Ausgestaltung. Die charakteristischen Wellenlängen 9 und/oder die Filterbreiten 16 der Einzelfilter der verschiedenen Kanäle 7,R,G,B,A,C,D können bedarfsgerecht ausgewählt werden, so dass anwendungsspezifisch darüber entschieden werden kann, ob eine Überlappung der Durchlassbereiche sinnvoll ist oder nicht.
Zudem kann eine Breite eines Überlappungsbereichs 17 zwischen zwei Einzelfiltern insbesondere in Abhängigkeit einer gewählten charakteristischen Wellenlänge 9 und einer Filterbreite 16 eingestellt werden.
In 4 ist weiter eine beispielhafte Auswahl von Einzelfiltern mit unterschiedlichen Filterbreiten 16 gezeigt. Filterbreite 16 kann sich diesbezüglich auf einen Durchlassbereich von einer unteren Wellenlänge bis zu einer oberen Wellenlänge beziehen, in welcher der Einzelfilter Licht in den spezifischen Wellenlängen durchlässt. Strahlung mit einer Wellenlänge außerhalb des Filterbereichs 16 kann hingegen nicht oder nur sehr abgeschwächt passieren.
Die Filterbreiten 16 der Farbfilter 4 und der Zusatzfilter 11 sind hier jeweils unterschiedlich gewählt, so dass nur die Einzelfilter eines Kanals jeweils gleiche Filterbreiten 16 aufweisen, sich die Filterbreiten 16 der Einzelfilter verschiedener Kanäle jedoch unterscheiden.
In den 6 und 7 sind zwei weitere Beispiele möglicher Filtereigenschaften dargestellt, wobei jeweils gleiche Abstände 12,13,14 zwischen den Durchlassbereichen benachbarter Farbfilter 4 eines Farbkanals 7,R,G,B,A,C gewählt wurden. Die Ausführungsvarianten der 6 und 7 unterscheiden sich dabei in der Wahl der Filtereigenschaften der Farbfilter 4. So sind die Filterbreiten 16 bei den Farbfiltern 4 der Ausgestaltung aus 6 schmaler als bei den Farbfiltern 4 aus 7. Außerdem ergeben sich bei der Ausgestaltung aus 7 breitere Überlappungsbereiche 17 zwischen Farbfiltern 4 eines Farbkanals 7,R,G,B,A,C.
Die Filterbreiten 16 der Einzelfilter können zum Beispiel eine Transmission in einem Durchlassbereich zwischen einer unteren Wellenlänge und einer oberen Wellenlänge erlauben, wobei der Durchlassbereich eine Breite von 8 nm bis 25 nm, insbesondere von 10 nm bis 20 nm, aufweist.
Eine Superzellenstruktur und/oder eine Subzellenstruktur der Sensoranordnung 1 kann sich, wie in den 1, 2 und 3 angedeutet periodisch, insbesondere in identischer Belegungsanordnung 21, wiederholen.
Die Einzelfilter (Farbfilter 4 und/oder Zusatzfilter 11) können vorzugsweise als Interferenzfilter ausgestaltet sein. Dies hat den Vorteil, dass eine charakteristische Wellenlänge 9 besonders genau und/oder schmal begrenzt und/oder mit einem geringen Durchlass im Sperrbereich sowie mit einer hohen Kantensteilheit einstellbar ist.
Wie anhand der 4, 6 und 7 gut zu erkennen ist, ist es besonders vorteilhaft, wenn die Amplituden 19 der Einzelfilter (Farbfilter 4 und/oder Zusatzfilter 11) gleich groß oder nahezu gleich groß sind. Alternativ oder ergänzend dazu können die Amplituden der Einzelfilter so eingestellt werden, dass die Sensitivitäten der einzelnen Farbkanäle 7,R,G,B,A,C, die sich durch Kombination der Sensitivität der darunterliegenden Fotozellen 3 mit den Transmissionseigenschaften der darüberliegenden Farbfilter 4 ergeben, gleich groß oder nahezu gleich groß sind. Alternativ oder zusätzlich können die Amplituden der Einzelfilter an die spektrale Empfindlichkeit des Sensors angepasst sein, beispielsweise um eine gleichförmige Sensitivität zu erreichen. Dies kann insbesondere durch einen Einsatz von Interferenzfiltern besonders gut umgesetzt werden. Somit weisen Farbbilder und/oder hyperspektrale Bilder eine besonders hohe Qualität auf, da eine gleiche oder nahezu gleiche Intensität bei der Aufnahme des Lichtes durch unterschiedliche Fotozellen 3 erreichbar ist.
Wie anhand der 2 und 3 zu erkennen ist, sind keine übereinstimmenden charakteristischen Wellenlängen 9 der zu einem Farbkanal 7,R,G,B,A,C gehörenden Farbfilter 4 bei den Subzellen 5 einer Superzelle 6 vorgesehen. Somit kann auf relativ engem Raum eine Sensoranordnung 1 geschaffen werden, die ein vollständiges Spektrum eines Farbkanals 7,R,G,B,A,C mittels einer Superzelle 6 erfassen kann.
Die obige Sensoranordnung 1 eignet sich somit besonders dazu, bestehende Vorrichtungen zur Aufnahme eines Farbbildes und zusätzlicher hyperspektraler Messwerte zu ersetzen. Die Sensoranordnung 1 ist relativ kostengünstig zu fertigen. Zudem eignet sie sich besonders für die Verwendung in der medizinischen Bildgebung, wie insbesondere in der Endoskopie.
Durch die Verwendung von nur einem Bildsensor 2 wird im Vergleich zu anderen technischen Lösungen weniger Abwärme produziert, eine kompaktere Bauweise und ein geringeres Gewicht erreicht. All diese Vorteile kommen schließlich einem Nutzer einer Bildaufnahmevorrichtung, wie insbesondere einem Endoskop, zu Gute.
Die Sensoranordnung 1 weist aufgrund ihrer besonderen Musterausbildung die Besonderheit auf, dass zur Aufnahme eines Farbbildes mit optimal dargestellten Farbtemperaturen ein spezielles Verfahren zur Durchführung eines Weißabgleichs vorgesehen ist. Hierbei wird zunächst ein bezogen auf eine Koordinate der Sensoranordnung ortsabhängiger Weißpunkt ermittelt. Der Weißpunkt kann sich dabei auf einen Subzellenabhängigen Weißpunkt beziehen. Nach Ermittlung des spezifischen ortsabhängigen Weißpunkts kann dieser zur Durchführung eines ortsspezifischen Weißabgleichs angewendet werden.
Die Weißpunkte unterschiedlicher Subzellen 5 in einer Superzelle 6 können dabei voneinander abweichen. Die Weißpunkte gleicher Subzellen 5, insbesondere von unterschiedlichen Superzellen 6, können hingegen gleich sein.
Die Erfindung betrifft also insbesondere eine Sensoranordnung 1 zur Aufnahme eines Farbbildes im sichtbaren Spektrum 8 und einer hyperspektralen Information, die mit dem Farbbild räumlich verknüpft ist, wobei die Sensoranordnung 1 einen Bildsensor 2 aus mehreren Fotozellen 3 aufweist, wobei wenigstes einem Teil der Fotozellen 3 jeweils ein Farbfilter 4 fest zugeordnet ist, wobei jede Fotozelle 3 einer Subzelle 5 und jede Subzelle 5 einer Superzellen 6 zugeordnet ist, wobei jede Subzelle 5 wenigstens einen Einzelfilter eines Kanals aufweist, wobei alle Kanäle zusammen wenigstens die Grundfarben des sichtbaren Spektrums 8 abdecken, dass sich die charakteristischen Wellenlängen 9 der zu einem Kanal gehörenden Einzelfilter zwischen den Subzellen 5 einer Superzelle 6 voneinander jeweils unterscheiden.
Bezugszeichenliste

1: Sensoranordnung
2: Bildsensor
3: Fotozelle
4: Farbfilter
5: Subzelle
6: Superzelle
7: Farbkanal (R,G,B,A,C)
8: sichtbares Spektrum
9: charakteristische Wellenlänge
10: Transmissionsmaximum
11: Zusatzfilter
12: Abstand zwischen benachbarten Farbfiltern des blauen Farbkanals
13: Abstand zwischen benachbarten Farbfiltern des grünen Farbkanals
14: Abstand zwischen benachbarten Farbfiltern des roten Farbkanals
15: Filterebene
16: Filterbreite
17: Überlappungsbereich
18: Lücke
19: Amplitude
20: Objektivlinse
21: Belegungsanordnung
22: Abstand zwischen benachbarten Zusatzfiltern des Zusatzkanals außerhalb des sichtbaren Bereichs
D: Zusatzkanal

Claims

Sensoranordnung (1), insbesondere zur Aufnahme eines Farbbildes im sichtbaren Spektrum (8) und eines hyperspektralen Bildes, mit einem Bildsensor (2) aus mehreren Fotozellen (3), wobei den Fotozellen (3) wenigstens teilweise jeweils ein Farbfilter (4) zugeordnet ist, dadurch gekennzeichnet, dass die Fotozellen (3) in Subzellen (5) und die Subzellen (5) in Superzellen (6) gruppiert sind, dass jede Subzelle (5) wenigstens einen Farbfilter (4) eines Farbkanals (7,R,G,B,A,C) aufweist, wobei alle Farbkanäle (7,R,G,B,A,C) zusammen das gesamte sichtbare Spektrum (8) abdecken, und dass sich die charakteristischen Wellenlängen (9) der zu einem Farbkanal (7,R,G,B,A,C), vorzugsweise zu allen Farbkanälen (7,R,G,B,A,C), gehörenden Farbfilter (4) zwischen den Subzellen (5) einer Superzelle (6) voneinander jeweils zumindest teilweise unterscheiden.
Sensoranordnung (1) nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei den charakteristischen Wellenlängen (9) um Transmissionsmaxima (10) der Farbfilter (4) und/oder mittlere Wellenlängen (9) handelt und/oder dass wenigstens eine Superzelle (6) wenigstens zwei Subzellen (5) aufweist, die für mindestens einen Farbkanal (7,R,G,B,A,C) und/oder für mindestens einen Farbfilter (4) die gleiche charakteristische Wellenlänge (9) haben, vorzugsweise wobei es mindestens zwei Subzellen (5) innerhalb einer Superzelle (6) gibt, die sich in der charakteristischen Wellenlänge (9) mindestens eines Farbfilters (4) unterscheiden.
Sensoranordnung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Superzellen (6) jeweils wenigstens vier Subzellen (5) aufweisen.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Superzellen (6) jeweils ein rechteckiges oder quadratisches Muster aus Subzellen (5) aufweisen, insbesondere ein Muster mit gleicher Anzahl an Subzellen (5) pro Zeile (Z_n) und Subzellen pro Spalte (S_n) oder einer unterschiedlichen Anzahl an Subzellen (5) pro Zeile (Z_n+1; Z_n+2;... Z_n+x; Z_n-1, Z_n-2;... Z_n-x) und Subzellen (5) pro Spalte (S_n), vorzugsweise ein Muster ausgewählt aus 2×2 Subzellen, 3×3 Subzellen, 4×4 Subzellen, 5×5 Subzellen, 6×6 Subzellen, 2×3 Subzellen, 3×2 Subzellen, 3×4 Subzellen, 4×3 Subzellen, 4×5 Subzellen, 5×4 Subzellen, 5×6 Subzellen, 6×5 Subzellen, 2×4 Subzellen, 4×2 Subzellen, 3×5 Subzellen, 5×3 Subzellen, 4×6 Subzellen, 6×4 Subzellen.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Subzellen (5) jeweils wenigstens vier Fotozellen (3) aufweisen.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Subzellen (5) jeweils ein rechteckiges oder quadratisches Muster aus Fotozellen (3) aufweisen, vorzugsweise ein Muster mit gleicher Anzahl an Fotozellen (3) pro Zeile (R_n) und Fotozellen (3) pro Spalte (C_n) oder einer unterschiedlichen Anzahl an Fotozellen (3) pro Zeile (R_n+1; R_n+2;... R_n+x; R_n-1, R_n-2;... R_n-x) und Fotozellen (3) pro Spalte (C_n), vorzugsweise ein Muster ausgewählt aus 2×2 Fotozellen, 3×3 Fotozellen, 4×4 Fotozellen, 5×5 Fotozellen, 6×6 Fotozellen, 2×3 Fotozellen, 3×2 Fotozellen, 3×4 Fotozellen, 4×3 Fotozellen, 4×5 Fotozellen, 5×4 Fotozellen, 5×6 Fotozellen, 6×5 Fotozellen, 2×4 Fotozellen, 4×2 Fotozellen, 3×5 Fotozellen, 5×3 Fotozellen, 4×6 Fotozellen, 6×4 Fotozellen.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Subzellen (5) jeweils wenigstens drei Farbfilter (4), insbesondere unterschiedlicher Farbkanäle (7,R,G,B,A,C), aufweisen und/oder dass die Subzellen (5) wenigstens einen Zusatzfilter (11) aufweisen, dessen charakteristische Wellenlänge (9) außerhalb des sichtbaren Bereichs (8) liegt.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die charakteristischen Wellenlängen (9) benachbarter Farbfilter (4) unterschiedlicher Subzellen (5) einer Superzelle (6), die zu einem gleichen Farbkanal (7,R,G,B,A,C) zugeordnet sind, zueinander einen äquidistanten Abstand (12,13,14) und/oder einen ungleichen Abstand (12,13,14) haben und/oder die charakteristischen Wellenlängen (9) benachbarter Zusatzfilter (11) unterschiedlicher Subzellen (5) einer Superzelle (6), insbesondere die zu einem gleichen Zusatzkanal (D) zugeordnet sind, zueinander einen äquidistanten Abstand (22) und/oder einen ungleichen Abstand (22) haben.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass ein Abstand (12,13,14) der charakteristischen Wellenlängen (9) zwischen zwei benachbarten Farbfiltern (4) eines Farbkanals (7,R,G,B, A,C,D) in einer Superzelle (6) gleich oder ungleich zu einem Abstand (12,13,14) der charakteristischen Wellenlängen (9) zwischen zwei benachbarten Farbfiltern (4) eines anderen Farbkanals (7,R,G,B,A,C) in der Superzelle (6) ist und/oder dass die charakteristischen Wellenlängen (9) der Farbfilter (4) verschiedener Farbkanäle (7,R,G,B, A,C) der Subzellen (5) einer Superzelle (6) zueinander einen äquidistanten Abstand und/oder einen ungleichen Abstand haben.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Belegungsanordnungen der zu einem Farbkanal (7,R,G,B,A,C) gehörigen Farbfilter (4) in den Subzellen (5) einer Superzelle (6), insbesondere in den Subzellen (5) aller Superzellen (6), gleich oder unterschiedlich sind und/oder dass die Belegungsanordnungen (21) der Subzellen (5) innerhalb einer Superzelle (6) gleich oder unterschiedlich sind.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Farbfilter (4) und/oder die Zusatzfilter (11) der Sensoranordnung (1) in einer Filterebene (15), insbesondere in ausschließlich einer Filterebene (15), angeordnet und/oder als einstufige Farbfilter (4) ausgebildet sind.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass sich eine Superzellenstruktur und/oder eine Subzellenstruktur der Sensoranordnung (1) periodisch, insbesondere in identischer Belegungsanordnung (21), wiederholt und/oder dass die Superzellen (6) identisch aufgebaut sind.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine Filterbreite (16), in welcher wenigstens ein Farbfilter (4) und/oder wenigstens ein Zusatzfilter (11) eine Transmission erlaubt/erlauben, von 8 nm bis 25 nm beträgt/betragen und/oder dass es sich bei den Farbfiltern (4) und/oder den Zusatzfiltern (11) wenigstens teilweise um Interferenzfilter handelt.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Bandbreiten zweier benachbarter Farbfilter (4) eines Farbkanals (7,R,G,B,A,C) in einer Superzelle (6) und/oder zweier benachbarter Zusatzfilter (11) in einer Superzelle (6) überlappen und/oder dass zwischen den Bandbreiten zweier benachbarter Farbfilter (4) eines Farbkanals (7,R,G,B,A, C) in einer Superzelle (6) und/oder zweier benachbarter Zusatzfilter (11) in einer Superzelle (6) eine Lücke (18) vorgesehen ist.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die Amplituden (19) der Farbfilter (4) eines Farbkanals (7,R,G,B,A,C) einer Superzelle (6) gleich groß oder nahezu gleich groß sind.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass keine übereinstimmenden charakteristischen Wellenlängen (9) der zu einem Farbkanal (7,R,G,B,A,C) gehörenden Farbfilter (4) bei den Subzellen (5) einer Superzelle (6) vorliegen.
Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass eine individuelle Durchstimmung der Farbfilter (4) eines Farbkanals (7,R,G,B, A,C) in einer Superzelle (6) durch eine Veränderung der charakteristischen Wellenlänge (9) erfolgt.
Verfahren zur Berechnung eines Farbbildes und eines hyperspektralen Bildes mit einer Sensoranordnung (1) nach einem der vorstehenden Ansprüche, insbesondere wobei spektroskopische Messwerte in den charakteristischen Wellenlängen (9) der zu den Fotozellen (3) zugeordneten Farbfilter (4) und/oder Zusatzfilter (11) ausgegeben und/oder als Berechnungsgrundlage zur Berechnung eines Bildes verwendet werden, insbesondere geordnet nach den charakteristischen Wellenlängen (9) und/oder mit den zugeordneten charakteristischen Wellenlängen (9).
Verfahren zur Durchführung eines Weißabgleichs für eine Sensoranordnung (1) zur Aufnahme eines Farbbildes, insbesondere für eine Sensoranordnung (1) nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass ein ortsabhängiger Weißpunkt, insbesondere ein Subzellenabhängiger Weißpunkt, ermittelt und ein ortsspezifischer Weißabgleich, insbesondere Subzellen-spezifischer Weißabgleich, durchgeführt wird.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass die Weißpunkte unterschiedlicher Subzellen (5) in einer Superzelle (6), voneinander abweichen und/oder dass die Weißpunkte gleicher Subzellen (5) gleich sind.
Verwendung einer Sensoranordnung (1) nach einem der vorstehenden Ansprüche in der medizinischen Bildgebung, insbesondere in einem Endoskop.