DE102021118427A1

DE102021118427A1 - Bildaufnahmevorrichtung für verbesserte Bildgebung bei schwacher Lichtintensität sowie zugehöriges Bildaufnahmeverfahren

Info

Publication number: DE102021118427A1
Application number: DE102021118427.4A
Authority: DE
Inventors: Michael Schwärzle; Matthias Kühn; Johannes Bourbon; Stefan Schröer; Lutz Labusch
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2021-07-16
Filing date: 2021-07-16
Publication date: 2023-01-19
Also published as: US20230013267A1

Abstract

Zur Verbesserung der Bildgebung insbesondere bei schwachen Lichtintensitäten wird eine Bildaufnahmevorrichtung (1), insbesondere ausgestaltet als Endoskop, vorgeschlagen, die neben einem Bildsensor (2), welcher Photodioden als lichtempfindliche Zellen verwendet, einen single-photon-sensitive-detector (SPSD) (3) umfasst, um jeweils Licht aus einem gemeinsamen Objektbereich (4) zu erfassen. Mit Hilfe des SPSD (3) kann zusätzliche Bildinformation aus dem Objektbereich (4) gewonnen werden, um die mit dem Bildsensor (2) aufgezeichneten Bilddaten zu verbessern beziehungsweise mit zusätzlicher Bildinformation aufzuwerten, insbesondere hinsichtlich eines weiteren Spektralbereichs, der mit dem SPSD (3) erfasst wird.

Description

Die Erfindung betrifft zunächst eine Bildaufnahmevorrichtung, insbesondere eingerichtet zur Bildgebung in medizinischen Anwendungen, mit wenigstens einem Bildsensor, dessen Pixel auf Photodioden basieren. Diese Bildaufnahmevorrichtung kann beispielsweise als ein Endoskop oder als ein exoskopisches Bildgebungssystem (also ein Exoskop) ausgestaltet sein. Ergänzend oder alternativ kann die Bildaufnahmevorrichtung auch als ein multispektrales Bildgebungssystem ausgestaltet sein.
Die Erfindung betrifft ferner ein zugehöriges Bildaufnahmeverfahren, welches sich insbesondere mit einer solchen Bildaufnahmevorrichtung / einem solchen Endoskop / Exoskop ausführen lässt. Bei diesem Verfahren wird ein erstes Bild, vorzugsweise ein Farbbild, mittels eines Bildsensors (insbesondere des zuvor erwähnten), dessen Pixel auf Photodioden basieren, aufgenommen.
Im Stand der Technik sind bereits Bildaufnahmevorrichtungen wie eingangs beschrieben bekannt, etwa in Form eines Endoskops. Bedingt durch den geringen Durchmesser, die hohe Anzahl an Linsen im optischen System des Endoskops und die geringe Pixelgröße der verwendeten miniaturisierten Bildsensoren ist die zur Verfügung stehende Lichtmenge dabei ein begrenzender Faktor. Bislang wurde dies häufig durch die Verwendung sehr heller Lichtquellen kompensiert, oder - auf Seiten des Bildsensors - durch Erhöhung der elektronischen Verstärkung (electronic gain). Aufgrund der hohen Lichtmengen, die in erstem Fall von der Lichtquelle zur Endoskopspitze gebracht beziehungsweise durch entsprechend leistungsstarke LEDs in der Endoskopspitze erzeugt werden müssen, kommt es zu einer starken Eigenerwärmung des Endoskops. Diese Eigenerwärmung ist häufig problematisch, insbesondere in medizinischen Anwendungen; zudem wirkt sie sich, wie auch eine Erhöhung der elektronischen Verstärkung, negativ auf das Signal-Rausch-Verhältnis des Bildsensors aus. Gerade bei Anwendungen mit sehr niedrigen Signal-Antworten, wie zum Beispiel beim Aufzeichnen von Fluoreszenzlicht, arbeiten heutige Endoskope daher häufig an der Grenze der Systemleistung.
Vorbekannte Bildaufnahmevorrichtungen, die sehr geringe Lichtmengen detektieren können, leiden bislang noch unter einer für viele Anwendungen unzureichenden Bildauflösung, was insbesondere im Bereich der Endoskopie problematisch ist. Auch die Baugröße bislang verwendeter Sensoren ist oftmals ungeeignet für die Endoskopie.
Hiervon ausgehend liegt der Erfindung daher die Aufgabe zugrunde, eine Bildaufnahmevorrichtung, insbesondere für die medizinische Endoskopie, bereitzustellen, welches eine im Vergleich zu bisherigen Vorrichtungen erhöhte Bildhelligkeit und einen erhöhten Bildkontrast bietet, insbesondere in Anwendungen wie der Fluoreszenzlicht-Bildgebung, bei welcher sehr kleine Lichtmengen detektiert werden müssen.
Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einer Bildaufnahmevorrichtung die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einer Bildaufnahmevorrichtung der eingangs genannten Art, insbesondere bei einem Endoskop oder Exoskop, vorgeschlagen, dass die Bildaufnahmevorrichtung über einen Einzel-Photonen-Sensitiven-Detektor (single-photon-sensitive-detector = SPSD) verfügt und dass der Bildsensor und der SPSD (jeweils) dazu eingerichtet sind, Licht aus einem gemeinsamen Objektbereich (der insbesondere außerhalb der Bildaufnahmevorrichtung liegen kann) zu detektieren.
Hierbei kann ein Sichtfeld, welches mit dem SPSD erfasst werden kann, verschieden (insbesondere kleiner) sein von einem zweiten Sichtfeld, welches mit dem Bildsensor erfasst werden kann. In dem gemeinsamen Objektbereich überschneiden sich die beiden Sichtfelder, das heißt sowohl der SPSD als auch der Bildsensor erfassen den gemeinsamen Objektbereich.
Der Bildsensor kann beispielsweise als ein gewöhnlicher RGB-CMOS-Sensor oder aber als ein monochromer Schwarzweißbildsensor ausgebildet sein. Ferner kann der Bildsensor (insbesondere bei sonst monochromer Ausgestaltung) auch - je nach konkreter Anwendung - mit zusätzlichen spektralen Filtern, insbesondere mit Filter-Arrays, ausgestattet sein, um so spektral aufgelöste Bildinformation zu gewinnen.
Dieser Ansatz lässt sich beispielsweise auch auf Exoskope anwenden, die - anders als Endoskope - nicht in Körperhöhlen eingeführt werden, sondern bei offenen chirurgischen Eingriffen typischerweise in einem Abstand von beispielsweise 25 bis 75 cm zum Operationsfeld mittels eines Haltearms platziert werden, um so dem Operateur einen großen Freiraum im Arbeitsbereich zu gewähren.
Mit anderen Worten wird demnach vorgeschlagen, Bildinformation aus einem gemeinsamen Objektbereich (der somit auch in einiger Entfernung zur Abbildungsoptik liegen kann) beziehungsweise aus einem gemeinsamen Sichtfeld parallel und gleichzeitig mit einem gewöhnlichen Bildsensor und zusätzlich mit einem SPSD zu erfassen, um aus diesen Daten hochaufgelöste und gleichzeitig kontrastreiche und helle Bilder errechnen zu können. Diese Bilder können daher als synthetische Bilder verstanden werden, da sie aus Ausgangssignalen des Bildsensors und des SPSD synthetisiert werden. Hierbei soll die mit dem hochsensitiven SPSD erfasste Bildinformation gerade dazu verwendet werden, das hochaufgelöste Bild des Bildsensors in Bezug auf Bildhelligkeit und Kontrast zu verbessern.
Während der SPSD somit eine hohe Empfindlichkeit bietet, bei derzeit noch vergleichsweise geringer Auflösung, kann die mit dem Bildsensor aufgenommene Bildinformation dazu dienen, die Auflösung des zu errechnenden Bildes zu verbessern und/oder eine benötigte Farbinformation, etwa für die Erstellung eines Weißlichtbilds, zur Verfügung zu stellen. Es versteht sich, dass die besagte Bildaufnahmevorrichtung entsprechend eine Bildverarbeitungseinheit aufweisen kann, die entsprechend dazu eingerichtet ist, auf Basis von Bildinformation des SPSD und des Bildsensors eine Auflösung eines zu errechnenden Bildes zu erhöhen und/oder eine zusätzliche Farbinformation zu errechnen.
Die Erfindung hat somit erkannt, dass beispielsweise Information zu einer bestimmten Fluoreszenzlichtquelle nicht immer in einer sehr großen Auflösung benötigt wird. Beispielsweise kann es für einen Operateur ausreichen, wenn er eine sehr schwache Fluoreszenzlichtquelle, die auch unter weiteren Gewebeschichten verborgen ist, nur ungefähr mit der Bildaufnahmevorrichtung lokalisieren kann, da er dann anhand des höher aufgelösten sichtbaren Bildes entscheiden kann, auf welche Weise er sich der Lichtquelle der Fluoreszenzquelle nähert, um diese eingehender zu untersuchen (etwa um malignes mittels eines Fluoreszenzfarbstoffs markiertes Gewebe zu untersuchen).
Von Vorteil ist also, dass auch bei Anwendungen, in denen sehr geringe Lichtmengen detektiert werden müssen - wie etwa der klassischen Fluoreszenzlichtbildgebung, der Fluoreszenzlebensdauer-Mikroskopie (fluorescence lifetime imaging microscopy - FLIM) oder bei time-of-flight (ToF)-Messungen, insbesondere zum Generieren von 3D-Bildern - hochaufgelöste Bilder von guter Bildqualität in Bezug auf signal-to-noise-ratio (SNR) und Bildkontrast erhalten werden können und dabei auch sehr schwache Lichtintensitäten noch detektiert werden können. Denn Einzel-Photonen-Sensitive-Detektoren (single-photon-sensitive detector = SPSD), wie beispielsweise Fotomultiplier, haben eine typischerweise um Größenordnungen geringere Detektionsschwelle für Licht im Vergleich zu klassischen CMOS-Bildsensoren, sodass SPSDs in der Lage sind, einzelne Photonen zu detektieren. In den letzten Jahren ist die Entwicklung von SPSD stark vorangeschritten und es sind miniaturisierte SPSD auf Basis von CMOS-Technologie verfügbar, die eine vergleichsweise hohe Ortsauflösung bieten.
SPSDs können somit als Einzel-Detektoren aber auch in Form eines Array ausgebildet sein und zwar vollintegriert als ein Bildsensorchip, zum Beispiel auf Basis von einzelnen Detektoren wie SPADs (silicon photon avalanche diode) oder SiPMs (silicon photomultiplier). Solche Technologien eignen sich also für eine 2D-Bildgebung von einzelnen Photonen. Ferner kann ein SPSD auch eine Auswerteelektronik „on chip“, typischerweise auf Basis von CMOS-Technologie, aufweisen.
Gemäß der Erfindung kann durch eine Kombination von mindestens einem klassischen CMOS-Bildsensor mit einem SPSD-array, beispielsweise in Form eines SPAD-array, die Lichtausbeute drastisch erhöht werden und gleichzeitig durch Ausnutzung vergleichsweise kleiner Pixel des klassischen Bildsensors eine hohe Auflösung garantiert werden. Aus den Messdaten des mindestens einen klassischen CMOS-Bildsensors und des SPSD-array kann dann ein hoch aufgelöstes, helles und kontrastreiches Bild generiert werden. Ein mögliches Anwendungsbeispiel hierfür ist ein „Overlay“ (Bildüberlagerung) von Fluoreszenzbilddaten (niedriger Signalpegel), die mit dem SPSD aufgezeichnet werden, mit hochauflösenden Weißlichtbilddaten, die mithilfe des CMOS-Bildsensors aufgezeichnet werden.
Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
Beispielsweise ist es für eine vereinfachte Berechnung des Bildes vorteilhaft, wenn der Bildsensor und der SPSD in einer festen räumlichen Beziehung zueinander stehen beziehungsweise angeordnet sind. So können der Bildsensor und der SPSD in einem distalen Endbereich der Bildaufnahmevorrichtung raumfest zueinander angeordnet sein, etwa wenn die Bildaufnahmevorrichtung als Chip-in-tip-Endoskop ausgestaltet ist. Je nach Größe insbesondere des SPSD und/oder des Bildsensors können aber auch Ausgestaltungen vorteilhaft sein, bei denen der Bildsensor und der SPSD in einem proximalen Endbereich der Bildaufnahmevorrichtung raumfest zueinander angeordnet sind.
Eine weitere Möglichkeit, die ergänzend oder alternativ genutzt werden kann, besteht darin, den Bildsensor und den SPSD raumfest in Bezug auf einen Strahlteiler anzuordnen. Dadurch wird ermöglicht, dass der Strahlteiler Licht aus dem gemeinsamen Objektbereich zum Bildsensor und zum SPSD weiterleiten kann. Hierdurch wird es möglich, eine gemeinsame Abbildungsoptik für den Bildsensor und den SPSD zu verwenden.
Eine besonders bevorzugte Ausgestaltung, die in einer kompakten Bauform resultiert, sieht vor, dass der Bildsensor und der SPSD an Außenflächen des Strahlteilers und/oder korrespondierend zu einer gemeinsamen Zwischenbildebene einer Abbildungsoptik angeordnet sind.
Der Bildsensor und der SPSD können dabei entweder direkt auf dem Strahlteiler (also in Kontakt mit selbigem) oder auch mit etwas Luftabstand zum Strahlteiler an den Außenflächen des Strahlteilers angeordnet sein, je nach optischem Design des Abbildungsstrahlengangs. Der jeweilige Abbildungsstrahlengang ist dabei bevorzugt so ausgelegt, dass der Bildsensor und der SPSD einen gemeinsamen Objektbereich abbilden/detektieren können. Hierbei kann der SPSD auch nur einen Teilbereich des Blickfelds des Bildsensors abbilden oder umgekehrt. Je nach Design kann es unter Umständen ferner nötig sein, dass der Bildsensor und/oder der SPSD jeweils einen leichten Versatz in Richtung der jeweiligen optischen Achse des Abbildungsstrahlengangs aufweisen. Denn unterschiedliche zu detektierende Wellenlängenbereiche (z.B. VIS vs. NIR Bereich) können eine Verschiebung der Bildebene hervorrufen, die dann entsprechend durch den Versatz kompensiert werden kann.
Die Bildaufnahmevorrichtung kann demnach eine gemeinsame Abbildungsoptik, insbesondere angeordnet in einem distalen Endbereich der Bildaufnahmevorrichtung beziehungsweise des Endoskops/Exoskops, aufweisen, die Licht aus dem gemeinsamen Objektbereich zum Bildsensor und zu dem SPSD leitet.
Alternativ hierzu können auch zwei (oder mehr) getrennte Lichtleitkanäle in der Bildaufnahmevorrichtung / dem Endoskop / dem Exoskop ausgebildet sein, die jeweils Licht aus dem gemeinsamen Objektbereich zum Bildsensor beziehungsweise zum SPSD leiten.
Gemäß einer weiteren spezifischen Vorgestaltung kann auch eine Stereo-Bildaufnahmevorrichtung zur Generierung von 3D-Bilddaten erhalten werden, die dem erfindungsgemäßen Konzept folgt. Diese Stereo-Bildaufnahmevorrichtung weist dabei je eine erfindungsgemäß ausgestaltete Bildaufnahmevorrichtung auf, die jeweils einen SPSD und einen Bildsensor aufweisen, die Licht aus einem gemeinsamen Objektbereich detektieren. Hierbei kann auch beispielsweise nur ein (größerer) Bildsensor verwendet werden, dessen Bildsensorfläche in zwei Teilbereiche aufgeteilt wird, die dann von der jeweiligen Bildaufnahmevorrichtung als Bildsensor verwendet werden. Die beiden erfindungsgemäß ausgestalteten Bildaufnahmevorrichtungen der Stereo-Bildaufnahmevorrichtung sind dabei zur stereoskopischen Bildgebung eingerichtet. Mit anderen Worten können sich somit die beiden Bildaufnahmevorrichtungen in einem jeweiligen Bildaufnahmewinkel (bzw. Betrachtungswinkel) unterscheiden. Dadurch können eine Tiefeninformation und damit 3D-Bilddaten aus einem übereinstimmenden Objektbereich gewonnen werden, der von beiden Bildaufnahmevorrichtungen detektiert/beobachtet wird.
Der Bildsensor kann bevorzugt als ein active pixel sensor (APS) mit integrierter Verstärkerschaltung ausgebildet sein.
Es kann ferner vorgesehen sein, dass der Bildsensor ein Schwarzweißbild oder ein Farbbild, insbesondere durch Verwendung eines Color Filter Arrays (CFA), ausgibt. Ein solches CFA kann beispielsweise als ein klassisches RGB-Bayerpattern ausgestaltet sein, oder etwa mittels CMY-Farbfiltern.
Ferner kann der Bildsensor auch so ausgestaltet sein, dass er - entweder zusätzlich zu Wellenlängen im sichtbaren Bereich oder alternativ zu Wellenlängen im sichtbaren Bereich - Wellenlängen in angrenzenden Wellenlängenbereichen, insbesondere im ultravioletten oder infraroten Wellenlängenbereich, detektiert.
Um eine ausreichende räumliche Auflösung von sehr schwachen Lichtsignalen wie etwa Fluoreszenzlichtimpulsen zu ermöglichen, ist es von Vorteil, wenn der SPSD als eine 2D-Anordnung von einzelnen, vorzugsweise vollintegrierten und/oder auf Halbleiter-Technologie (zum Beispiel auf Basis von Silizium (Si) oder Galliumarsenid (GaAs)) realisierten, Detektoren ausgestaltet ist, die jeweils einzelne Photonen detektieren können. Diese Detektoren können, wie zuvor bereits erwähnt wurde, insbesondere als SPADs (silicon photon avalanche diode) oder SiPMs (silicon photomultiplier) ausgestaltet sein, und als ein 2D-Detektor-array angeordnet sein. Bei solchen Ausgestaltungen kann der SPSD somit 2D-Bilddaten liefern, welche insbesondere genutzt werden können, um die Darstellung von 2D-Bilddaten des Bildsensors zu verbessern (image enhancement).
Der SPSD kann demnach auf Basis von single photon avalanche diodes (SPAD) und/oder von silicon photomultiplier (SiPM) realisiert sein und zwar insbesondere als ein 2D-SPAD-array oder als ein 2D-SiPM-array.
Der Bildsensor und/oder der SPSD kann/können ferner jeweils mittels CMOS-Technologie, vorzugsweise jeweils als vollintegrierter elektronischer Baustein und/oder mit integrierter Signalverarbeitungselektronik, realisiert sein.
Im derzeitigen Stand der Technik könnte ein sinnvolle Auswahl an Komponenten für die Bildaufnahmevorrichtung darin bestehen, dass der Bildsensor Pixel mit einer Größe von weniger als 5 um, vorzugsweise von weniger als 2 um aufweist und/oder wobei der SPSD Pixel mit einer Größe von mehr als 5 um, vorzugsweise von mehr als 10 um aufweisen kann. Dies stellt eine aktuell gängigen Kompromiss hinsichtlich hoher Auflösung des Bildsensors und hoher Lichtempfindlichkeit des SPSD, bei gleichzeitig kompakter Bauform dar. Es kann aber nicht ausgeschlossen werden, dass in naher Zukunft durch technologische Entwicklungen insbesondere die Pixel-Größe von SPSD weiter sinken wird, bei gleichbleibend guter Sensitivität, was zu einer höheren Auflösung dieser Signalkomponente / dieser Bildinformation führen würde.
Derzeit kann die Auflösung des Bildsensors beispielsweise noch mindestens um einen Faktor 5, vorzugsweise mindestens um einen Faktor 10, höher liegen als eine Auflösung des SPSD; weitere Steigerungen in naher Zukunft erscheinen nicht ausgeschlossen, was den technischen Vorteil des hier vorgestellten Konzepts unterstreicht.
In bestimmten Anwendungen, etwa dann wenn die Bildaufnahmevorrichtung eine Lichtquelle zur Aussendung von Anregungslicht aufweist, kann es sinnvoll sein, wenn die Bildaufnahmevorrichtung über wenigstens einen optischen Filter, zum Beispiel in Form eines Bandpassfilters oder eines Bandsperrfilters, verfügt.
Mit einem solchen Filter lässt sich unerwünschtes Licht, etwa das besagte bei einer Fluoreszenzlichtbildgebung notwendige Anregungslicht, aus dem Objektbereich von dem SPSD und/oder von dem Bildsensor fernhalten. Beispielsweise kann ein Fluoreszenzmarker mit einer bestimmten Wellenlänge bzw. einem bestimmten Wellenlängenbereich angeregt werden und daraufhin Fluoreszenzlicht mit einer abweichenden höheren Wellenlänge emittieren. Soll nun diese Fluoreszenz-Antwort detektiert werden, kann die Anregungswellenlänge blockiert werden, in dem das besagte Filter als Bandsperre ausgelegt wird. Das Filter kann dann das Anregungslicht aus dem jeweiligen Abbildungsstrahlengang (des SPSD und/oder des Bildsensors) herausfiltern und so verhindern, dass das Anregungslicht die Fluoreszenzlichtantwort verfälscht.
Durch einen oder mehrere solcher Filter kann beispielsweise auch sichergestellt werden, dass der Bildsensor ausschließlich in einem ersten Spektralbereich (insbesondere im sichtbaren Spektrum) Licht detektiert, während der SPSD in einem von dem ersten Spektralbereich abweichenden zweiten Spektralbereich (etwa im UV- oder NIR-Wellenlängenbereich) Licht detektiert. Der Filter kann somit insbesondere dazu dienen, unerwünschtes Licht von dem SPSD fernzuhalten, sodass dieser durch derartiges Störlicht nicht überflutet oder gesättigt wird. Dadurch kann der SPSD selektiv mit hoher Sensitivität auch noch kleinstes Lichtmengen der gewünschten Wellenlängen detektieren und damit die typische Sensitivitätsgrenze üblicher Bildsensoren weit unterschreiten.
Der besagte wenigstens eine optische Filter kann somit dazu eingerichtet / dafür ausgelegt sein, einen (begrenzten) Wellenlängenbereich zu selektieren, der von dem SPSD und/oder von dem Bildsensor erfasst wird. In diesem Fall kann das optische Filter beispielsweise als ein Bandpassfilter ausgestaltet sein.
Somit kann also insbesondere jeweils ein solches Filter für den Strahlengang des SPSD und den Strahlengang des Bildsensors vorgesehen sein. Diese Filter können dabei selbstverständlich abweichende Charakteristika aufweisen, insbesondere abweichende spektrale Transmissionsfenster.
Selbstverständlich lassen sich diese Ansätze auch kombinieren, sodass etwa ein enger Bandpassfilter dazu genutzt werden kann, einerseits den Wellenlängenbereich zu selektieren, der vom SPSD erfasst wird und andererseits unerwünschtes Licht, etwa Anregungslicht, vom SPSD fernzuhalten. Es können insbesondere auch Multibandpass oder Multibandsperren als Filter zum Einsatz kommen, um mehrere Wellenlängen passieren zu lassen bzw. zu blockieren.
Gemäß einer bevorzugten Ausgestaltung ist der Bildsensor zur Bildgebung im sichtbaren Wellenlängenbereich (VIS) eingerichtet. Dies ermöglicht es etwa einem Chirurgen, der die Bildaufnahmevorrichtung benutzt, sich mit Hilfe der VIS-Bildgebung schnell und einfach innerhalb eines Operationsfelds zurecht zu finden. In einem solchen Fall kann der SPSD zur Bildgebung in einem nicht-sichtbaren Wellenlängenbereich, insbesondere im UV- oder NIR-Bereich, eingerichtet sein. Dadurch lässt sich insbesondere erreichen, dass ein zusätzliche spektrale Information mit dem SPSD erfasst werden kann, etwa in Form eines Fluoreszenzbilds, welches einem mit dem Bildsensor aufgenommenen Weißlichtbild überlagert wird.
Grundsätzlich ist es möglich, sowohl mit dem Bildsensor als auch mit dem SPSD Licht aus dem NIR-Wellenlängenbereich zu detektieren. Das SPSD bietet hierbei jedoch eine deutlich geringere Detektionsschwelle, sodass gerade bei geringen Lichtintensitäten in diesem für viele Anwendungen interessanten Wellenlängenbereich nur das SPSD in der Lage ist, sehr schwache NIR-Signale zu erfassen, etwa NIR-Fluoreszenzlicht, das von einem bestimmten Gewebetyp abgegeben wird. Nachteilig ist hieran zunächst nur die geringere Auflösung des SPSD im Vergleich zum Bildsensor.
Dennoch kann es in der Praxis Sinn machen, auch den Bildsensor so auszugestalten, dass dieser noch NIR-Wellenlängen detektieren kann. Dies kann beispielsweise erreicht werden, indem die übliche Cut-off-Wellenlänge eines Cut-off-Filters des Bildsensors auf mehr als 850 nm angehoben wird oder - je nach Anwendung - auf einen Cut-off-Filter vollständig verzichtet wird. Bei einer solchen Ausgestaltung der Bildaufnahmevorrichtung kann diese vorteilhaft eingesetzt werden, um tiefer liegende Objekte mittels einer vom SPSD bereitgestellten Fluoreszenzbildgebung zu visualisieren, die vom Bildsensor aufgrund der Verdeckung durch oberflächliche Gewebeschichten (und der damit einhergehenden Signalabschwächung) noch nicht „gesehen“ / detektiert werden können. Wird dann das oberflächliche Gewebe entfernt, so kann der Benutzer von der höheren Auflösung des Bildsensors profitieren, da dieser dann aufgrund der nun höheren Signalintensität des Fluoreszenzlichts ebenfalls das NIR-Signal erfassen kann. Mit anderen Worten kann somit ein Operateur zunächst eine Fluoreszenzlichtquelle im Gewebe mittels des SPSD grob aufspüren und nach erfolgter Gewebe-Resektion das fluoreszierende Gewebe genauer mit Hilfe des Bildsensors optisch untersuchen.
Der wenigstens eine optische Filter kann zum Beispiel besonders einfach auf einem, insbesondere dem zuvor erwähnten, Strahlteiler als eine optische Dünnschicht realisiert sein.
Eine weiter fortgeschrittene Ausführung sieht vor, dass der wenigstens eine optische Filter aktiv durchstimmbar ist. In diesem Fall kann also der Spektralbereich aktiv ausgewählt werden, der den Filter passiert und anschließend vom SPSD erfasst wird. Je nach Durchstimmung des optischen Filters können in diesem Fall beispielsweise unterschiedliche Wellenlängen (insbesondere zu unterschiedlichen Zeitpunkten) von dem SPSD detektierbar sein. Dies bietet sich etwa bei Anwendungen an, bei denen der SPSD gezielt eine erste oder eine zweite von der ersten unterschiedliche Fluoreszenzwellenlänge detektieren soll. Denn durch das Durchstimmen des Filters kann die Sensitivität des SPSD somit spektral eingestellt werden.
Gemäß einer besonders einfachen Ausgestaltung kann auch ein rotierendes Filterrad vorgesehen sein, mit dem bestimmte Wellenlängen selektiert werden können. Eine solche Ausgestaltung des durchstimmbaren optischen Filters kann sich etwa anbieten, wenn die Bildaufnahmevorrichtung als Exoskop (z.B. Operationsmikroskop) ausgestaltet ist.
Eine weitere Ausführung schlägt vor, dass die Bildaufnahmevorrichtung über (mindestens) zwei getrennt voneinander angeordnete SPSDs verfügt. In diesem Fall ist es bevorzugt, wenn die beiden SPSDs gerade unterschiedliche Wellenlängenbereiche detektieren, insbesondere aufgrund zweier unterschiedlicher optischer Filter (durch welches Licht bis zu dem jeweiligen SPSD gelangt). Diese beiden SPSD können jeweils wie zuvor beschrieben ausgestaltet sein.
Die Bildaufnahmevorrichtung kann ferner auch über (wenigstens) zwei (räumlich) getrennt voneinander angeordnete Bildsensoren verfügen. In diesem Fall ist es bevorzugt, wenn die beiden Bildsensoren ebenfalls unterschiedliche Wellenlängenbereiche/Spektralbereiche detektieren. Zu diesem Zweck können die beiden Bildsensoren auch über unterschiedliche Farbfilter auf Pixelebene (also unterschiedliche color filter arrays - CFAs) verfügen.
Schließlich ist es vorteilhaft, wie bereits erwähnt wurde, wenn die Bildaufnahmevorrichtung, also insbesondere die endoskopische oder exoskopische, gegebenenfalls multispektrale, Bildaufnahmevorrichtung, eine Bildberechnungseinheit aufweist, die dazu eingerichtet ist, ein synthetisches Bild aus Signalen des Bildsensors und aus Signalen des SPSD zu berechnen und auszugeben. Denn dies erleichtert die Benutzung der Bildaufnahmevorrichtung.
Im nachfolgenden werden nun erfindungsgemäße Bildaufnahmeverfahren vorgestellt. Daher sei vorab angemerkt, dass die Bildaufnahmevorrichtung insbesondere über die notwendigen Mittel verfügen kann und dazu eingerichtet sein kann, eines der im Folgenden beschriebenen Verfahren oder ein Verfahren gemäß einem der auf ein Verfahren gerichteten Ansprüche, insbesondere automatisiert, auszuführen.
Zur Lösung der eingangs genannten Aufgabe wird ferner ein Bildaufnahmeverfahren der eingangs genannten Art vorgeschlagen, wobei ein erstes Bild mittels eines Bildsensors einer Bildaufnahmevorrichtung aufgezeichnet wird. Dieses Verfahren zeichnet sich dadurch aus, dass ein zweites Bild mit Hilfe eines Einzel-Photonen-Sensitiven-Detektors (SPSD) der Bildaufnahmevorrichtung aufgenommen wird, und dass ein synthetisches Bild aus dem ersten Bild und dem zweiten Bild errechnet und ausgegeben wird, vorzugsweise von der besagten Bildberechnungseinheit.
Ein mögliches Anwendungsbeispiel für ein solches Verfahren ist die Erzeugung eines „Overlay“ (Bildüberlagerung) von Fluoreszenzbilddaten (mit typischerweise niedrigem Signalpegel), die mit dem SPSD aufgezeichnet werden, mit hochauflösenden Weißlichtbilddaten, die mithilfe des Bildsensors aufgezeichnet werden. Hierbei wird also ein Fluoreszenzbild, das normalerweise im Weißlichtbild aufgrund der geringen Signalintensität nicht sichtbar wäre, mit dem SPSD erfasst und dem Weißlichtbild überlagert, welches mit dem Bildsensor aufgezeichnet wird. Diese Überlagerung kann beispielsweise auch eine Falschfarbendarstellung des Fluoreszenzbilds umfassen und/oder die Bildanteile des Fluoreszenzbilds und des Weißlichtbilds können unterschiedlich gewichtet sein.
Das zuvor beschriebene Verfahren resultiert somit in gleichzeitig hellen, kontrastreichen wie hochaufgelösten Bildern, die insbesondere Bildinformation aus unterschiedlichen (sich nicht überschneidenden) Wellenlängenbereichen, etwa im VIS- und im NIR-Bereich, darstellen können, um so dem Benutzer eine verbesserte Bildgebung (enhanced imaging) zu bieten.
Da die Auflösungen der beiden Bilder in der Regel unterschiedlich sein werden, kann vorgesehen sein, dass das zweite Bild vor der Synthese auf eine Bildauflösung des ersten Bildes skaliert wird (insbesondere hochskaliert, nämlich dann wenn die Auflösung des ersten Bildes diejenige des zweiten Bildes übersteigt). Im Stand der Technik weißen Bildsensoren meist eine deutlich höhere Auflösung auf als die SPSD, d.h. um beispielsweise ein Overlay der Bilder zu generieren muss die Auflösung angepasst werden. Außerdem kann - wie bereits weiter oben beschrieben - der vom SPSD aufgenommene Bildausschnitt eine Untermenge des Sichtfeldes sein, welches mit Bildsensor aufgezeichnet werden kann. In diesem Fall kann die Überblendung der Bilddaten des SPSD auch nur diesen Bildausschnitt betreffen; eine Skalierung muss in diesem speziellen Fall demnach allenfalls in Bezug auf diesen Bildausschnitt vorgenommen werden, nicht jedoch in Bezug auf das Gesamtbild des Bildsensors.
Das synthetische Bild kann ferner beispielsweise durch eine Überblendung, insbesondere eine Vereinigung, des ersten Bilds mit dem zweiten Bild, gewonnen werden.
Eine weitere optionale Verfahrensvariante besteht darin, bei der Berechnung des synthetischen Bilds, vorzugsweise mittels einer Alpha-Blending-Methode, neben Farbinformation auch Alphawerte als Maß für die Transparenz beziehungsweise Opazität jeweiliger Bildpunkte zu berücksichtigen.
Besonders vorteilhaft ist das Verfahren einsetzbar, wenn mit dem SPSD Fluoreszenzlicht, insbesondere Autofluoreszenzlicht, detektiert wird. In diesem Fall kann ein zur Fluoreszenzbildgebung verwendetes Anregungslicht mittels eines optischen Filters von dem Fluoreszenzlicht separiert und herausgefiltert werden und zwar noch bevor das Fluoreszenzlicht den SPSD erreicht. Dadurch kann das SPSD das Fluoreszenzlicht selektiv von dem Anregungslicht detektieren. Dies ist gerade dann sinnvoll, wenn das Anregungslicht auch teilweise zur Beleuchtung der beobachteten Szene genutzt und mit dem Bildsensor detektiert wird.
Es kann ferner in einzelnen Anwendungen auch vorgesehen sein, dass bei der Synthese des synthetischen Bilds wenigstens ein drittes Bild, welches mit einem zusätzlichen Bildsensor oder einem zusätzlichen SPSD der Bildaufnahmevorrichtung, insbesondere in einem zusätzlichen Wellenlängenbereich, aufgenommen wurde, berücksichtigt wird. Bei einer solchen Ausgestaltung des Verfahrens, bei welchem multiple Wellenlängenbereiche für einzelne Bildpunkte separat detektiert werden, kann das synthetische Bild als ein hyperspektrales Bild ausgegeben werden.
In wiederum anderen Anwendungen wie etwa FLIM kann mittels des SPSD ein zeitliches Verhalten, insbesondere ein Abklingverhalten einer Fluoreszenzlichtquelle, erfasst und ausgewertet werden.
Eine weitere wichtige Anwendung des Verfahrens besteht darin, mittels des SPSD eine Laufzeit(time-of-flight)-Messung zu realisieren. Dies kann zum Beispiels mittels bekannter time-of-flight (ToF)-Verfahren erreicht werden, bei denen eine ortsaufgelöste Tiefeninformation aus einem Objektbereich außerhalb der Bildaufnahmevorrichtung ermittelt wird. In diesem Fall kann dann nämlich aus der Tiefeninformation eine Tiefenkarte (depth map) des Objektbereichs errechnet werden, was für bestimmte Anwendungen von Interesse ist. Hierzu kann die Bildaufnahmevorrichtung auch über eine Lichtsignalquelle verfügen, die die für das ToF-Verfahren notwendigen Lichtpulse aussendet.
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausbildungen der Erfindung können aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
Bei der folgenden Beschreibung verschiedener bevorzugter Ausführungsformen der Erfindung erhalten in ihrer Funktion übereinstimmende Elemente auch bei abweichender Gestaltung oder Formgebung übereinstimmende Bezugszahlen.
Es zeigt:

1 eine erfindungsgemäße endoskopische Bildaufnahmevorrichtung, die
2-4 jeweils unterschiedliche mögliche optische Anordnungen, die in einer erfindungsgemäßen Bildaufnahmevorrichtung verwendet werden können,
5 eine weitere mögliche Ausgestaltung einer in einer erfindungsgemäßen Bildaufnahmevorrichtung verwendbaren optischen Anordnung mit zwei getrennten Lichtleitkanälen,
6 ein Flussdiagramm zur Erläuterung eines erfindungsgemäßen Bildaufnahmeverfahrens und
7 eine erfindungsgemäß ausgestaltete Stereo-Bildaufnahmevorrichtung.

Die 1 zeigt ein Bildaufnahmesystem 11 umfassend eine erfindungsgemäße Bildaufnahmevorrichtung 1, die in Form eines Endoskops 1 ausgestaltet ist, eine Kamerakontrolleinheit (CCU) 12 sowie einen Monitor 13, auf welchem die mit dem Endoskop 1 aufgezeichneten Bilder betrachtet werden können. Hierbei gibt die Kamerakontrolleinheit 12 die Bilddaten des Endoskops 1 an den Monitor 13 aus. Das Endoskop 1 weist in seinem Innern eine optische Anordnung 14 auf, die einen Bildsensor 2 sowie einen Einzel-Photonen-Sensitiven-Detektor (single photon sensitive detector - SPSD) 3 umfasst und die wie in den Beispielen gemäß den 2-4 oder aber wie in 5 ausgestaltet sein kann.
Bei dem in 1 illustrierten Beispiel ist dabei die optische Anordnung 14 in einem Kamerakopf 26 des Endoskops 1 angeordnet, also gerade an einem proximalen Ende des Endoskops 1. Entsprechend weist das Endoskop 1 einen Endoskopschaft 18 auf, in welchem eine Abbildungsoptik 7 angeordnet ist. Mit der Abbildungsoptik 7 kann eine Bildinformation aus dem in 1 dargestellten Objektbereich 4 bis zum proximalen Ende des Endoskops 1 transportiert werden. Hierbei kann der Objektbereich 4 sowohl mit dem Bildsensor 2 als auch mit dem SPSD 3 erfasst werden.
Da der Bildsensor 2 am proximalen Ende angeordnet ist, handelt es sich bei dem in 1 gezeigten Endoskop somit um ein chip-in-scope-Endoskop. Ein erfindungsgemäßes Endoskop 1 kann aber auch als ein chip-in-tip-Endoskop ausgestaltet sein, wobei dann die optische Anordnung 14 mit dem Bildsensor 2 und dem SPSD 3 in einem distalen Endbereich 5 des Endoskops 1, also beispielsweise am Ende des Endoskopschafts 18 angeordnet ist.
Wie die 1 zeigt, wird das aus dem gemeinsamen Objektbereich 4 empfangene Licht durch die (lediglich schematisch dargestellte) Abbildungsoptik 7 zunächst bis zu einem Strahlteiler 6 transportiert; dieser teilt das Abbildungslicht in zwei separate Strahlengänge auf, die einmal bis zu dem Bildsensor 2 und einmal bis zu dem SPSD 3 führen. Dadurch ist sichergestellt, dass es einen gemeinsamen Objektbereich 4 gibt, der außerhalb des Endoskops 1 liegt und aus dem Licht bis zum Bildsensor 2 und bis zum SPSD 3 gelangt.
Wie im Beispiel der 4 gezeigt, kann die optische Anordnung 14 beziehungsweise das Endoskop 1 über einen optischen Filter 9 verfügen, damit der SPSD 3 einen Spektralbereich detektieren kann, der von demjenigen abweicht, der von dem Bildsensor 2 detektiert wird.
Bei der Ausgestaltung gemäß der 4 ist hierbei der optische Filter 9 auf dem Strahlteiler 6 als optische Dünnschicht 10 realisiert. Alternativ hierzu kann ein solches Filter 9 auch in der durch die gepunktete Linie angedeuteten Arbeitsschicht des Strahlteiles 6 ausgebildet sein, sodass dann der Strahlteiler 6 dichroitisch ist.
Wird der optische Filter 9 hingegen beispielsweise beabstandet zu dem Strahlteiler 6 angeordnet, so kann es insbesondere aktiv durchstimmbar ausgestaltet sein, sodass je nach Durchstimmung des optischen Filters 9 unterschiedliche Wellenlängen von dem SPSD 3 detektiert werden können. Auch im Strahlengang, der zum optischen Bildsensor 2 führt, kann ein weiterer optischer Filter 9 vorgesehen sein, etwa um Anregungslicht, welches zur Erzeugung von Fluoreszenzlicht eingesetzt wird, von der Bildgebung auszunehmen.
Durch die in den 2-4 aber auch in 5 gezeigten Ausgestaltungen wird jeweils sichergestellt, dass der Bildsensor 2 und der SPSD 3 jeweils in einer festen räumlichen Beziehung zueinander angeordnet sind. Bei den Ausgestaltungen gemäß 2 und 3 wird dies dadurch erreicht, dass der Bildsensor 2 und der SPSD 3 jeweils auf Außenflächen des Strahlteilers 6 platziert sind und zwar korrespondierend zu einer gemeinsamen Zwischenbildebene, die durch die jeweilige Abbildungsoptik 7 definiert ist. Dadurch leitet der Strahlteiler 6 das Licht aus dem gemeinsamen Objektbereich 4 zum Bildsensor 2 als auch zum SPSD 3 weiter. Anders als bei dem Beispiel der 5, wo zwei getrennte Abbildungsoptiken 7 ausgebildet sind, nutzen die optischen Anordnungen 14 gemäß den 2-4 somit lediglich einen gemeinsamen Lichtleitkanal, der Licht aus dem gemeinsamen Objektbereich 4 bis zum Strahlteiler 6 leitet.
Bei der Ausgestaltung gemäß der 3 weist der Strahlteiler 6 insgesamt drei Außenflächen auf sowie zwei (jeweils durch gepunktete Linien illustrierte) Arbeitsschichten, die das einfallende Licht in drei unterschiedliche Strahlengänge aufspalten. Wie zu sehen ist, umfasst die optische Anordnung 14 daher neben einem Farbbildsensor 16 auch noch einen Schwarzweißbildsensor 17, mit dem zusätzliche Bilddaten aus dem gemeinsamen Objektbereich 4 erfasst werden können.
Wird in 3 beispielsweise der Schwarzweißbildsensor 17 mit einem zusätzlichen Filter 9 ausgestattet, so kann dieser Bildsensor 17 einen anderen spektralen Bereich erfassen als der Farbbildsensor 16 (oder auch als der SPSD 3).
Die 6 erläutert, wie die optischen Anordnungen 14 eines jeweiligen erfindungsgemäßen Endoskops 1, die in den 2-5 illustriert sind, genutzt werden können, um ein erfindungsgemäßes Bildaufnahmeverfahren unter Verwendung des jeweiligen Endoskops 1 zu implementieren. Hierbei wird zunächst ein erstes Bild mittels eines der zur Verfügung stehenden Bildsensoren 2 aufgenommen. Genauer werden mittels einer Bildberechnungseinheit 27 Rohdaten 19 des Bildsensors 2 erfasst und zu Bilddaten 20 prozessiert. Die Bildberechnungseinheit 27 kann dabei zum Beispiel im Bildsensor 2 selbst integriert sein oder etwa in einer Kamerasteuerungseinheit (CCU) 12 verortet sein, also somit auch außerhalb der Bildaufnahmevorrichtung 1 / des Endoskops 1 angeordnet sein.
Parallel hierzu werden Rohdaten 21, die mit dem SPSD 3 erfasst worden sind, von der Bildberechnungseinheit 27 zu weiteren Bilddaten 22 prozessiert. Anschließend führt die Berechnungseinheit 27 eine Bildsynthese 24 durch, in welcher die Bilddaten 20,22 miteinander verrechnet werden, was insbesondere in Form einer Überlagerung, einer Falschfarbendarstellung oder einer Bildkombination erfolgen kann. Das Ergebnis dieser Berechnung ist ein synthetisches Bild 25, welches schlussendlich auf dem Monitor 13 betrachtet werden kann.
Eine mögliche spezifische Anwendung, die etwa mit der optischen Anordnung 14 gemäß der 4 umgesetzt werden kann, besteht darin, mit dem SPSD 3 2D-Bilddaten zu erfassen und zwar selektiv beispielsweise in einem NIR-Wellenlängenbereich, der von einem als Bandpassfilter ausgestalteten Filter 9 hindurch gelassen wird. Gleichzeitig können hochaufgelöste Bilddaten 20 mit dem Farbbildsensor 16 erfasst werden. Dabei kann der Farbbildsensor 16 auch über ein cut-off-Filter verfügen, etwa um bei dieser Fluoreszenzlichtbildgebung genutztes Anregungslicht herauszufiltern. Durch diesen Ansatz kann also einerseits selektiv und mit hoher Lichtsensitivität das Fluoreszenzlicht mithilfe des SPSD 3 erfasst werden und dazu verwendet werden, die 2D-Bilddaten des Farbbildsensors 16 zu verbessern bzw. diesen Bilddaten eine zusätzliche Bildinformation hinsichtlich des Fluoreszenzlichts zu überlagern. Damit hierbei eine sinnvolle 2D-Information über das Fluoreszenzlicht erhalten werden kann, ist das SPSD 3 als ein 2D-single-photonavalanche-diodes-array (SPAD-array) ausgestaltet. Hierbei ist der SPSD 3 als ein voll integrierter mittels Silizium-Technologie realisierter elektronischer Baustein/Chip ausgestaltet.
Aufgrund der hohen Lichtsensitivität des SPSD 3 kann das Endoskop 1 beziehungsweise die optische Anordnung 14 auch dazu eingesetzt werden, ein Abklingverhalten einer Fluoreszenzlichtlichtquelle zu erfassen oder etwa um eine time-of-flight (ToF)- Messung durchzuführen.
Die 7 zeigt schließlich eine Stereo-Bildaufnahmevorrichtung 28, die zwei erfindungsgemäß ausgestaltete Bildaufnahmevorrichtungen 1a und 1b aufweist, die mit Hilfe einer zusätzlichen Abbildungsoptik 7 zum stereoskopischen Sehen / zur stereoskopischen Bildaufnahme eingerichtet sind. Mit diesem Ansatz können 3D-Bilddaten aus dem illustrierten übereinstimmenden Objektbereich 4 gewonnen werden, den jede der beiden Bildaufnahmevorrichtungen 1a und 1b beobachtet.
Zusammenfassend wird zur Verbesserung der Bildgebung insbesondere bei schwachen Lichtintensitäten eine Bildaufnahmevorrichtung 1 vorgeschlagen, die sich dadurch auszeichnet, dass die Bildaufnahmevorrichtung 1 neben einem Bildsensor 2, welcher Photodioden als lichtempfindliche Zellen verwendet, einen single-photon-sensitive-detector (SPSD) 3 umfasst, um jeweils Licht aus einem gemeinsamen Objektbereich 4 zu erfassen. Mit Hilfe des SPSD 3 kann zusätzliche Bildinformation aus dem Objektbereich 4 gewonnen werden, die dazu verwendet werden kann, die mit dem Bildsensor 2 aufgezeichneten Bilddaten zu verbessern beziehungsweise mit zusätzlicher Bildinformation aufzuwerten, insbesondere hinsichtlich eines weiteren Spektralbereichs, der mit dem SPSD 3 erfasst wird (Vergleiche 4).
Bezugszeichenliste

1: Bildaufnahmevorrichtung (insbesondere ausgestaltet als Endoskop oder Exoskop)
2: Bildsensor
3: SPSD - single photon sensitive detector
4: gemeinsamer Objektbereich
5: distaler Endbereich (von 1)
6: Strahlteiler
7: Abbildungsoptik
8: 2D-imager (array of photo-detectors)
9: optischer Filter (insbesondere Bandpassfilter)
10: optische Dünnschicht
11: Bildaufnahmesystem
12: Kamerakontrolleinheit
13: Monitor
14: optische Anordnung
15: Abbildungsstrahlengang
16: Farbbildsensor
17: Schwarzweißbildsensor
18: Endoskopschaft
19: Rohdaten (von 2)
20: prozessierte Bilddaten (von 2)
21: Rohdaten (von 3)
22: prozessierte Bilddaten (von 3)
23: Bildverarbeitung
24: Bildsynthese (combination/overlay/intensity mapping etc.)
25: synthetisches Bild
26: Kamerakopf
27: Bildberechnungseinheit
28: Stereo-Bildaufnahmevorrichtung

Claims

Bildaufnahmevorrichtung (1), insbesondere eingerichtet zur medizinischen Bildgebung und/oder ausgestaltet als Endoskop oder als Exoskop, mit - wenigstens einem Bildsensor (2), dessen Pixel auf Photodioden basieren, dadurch gekennzeichnet, - dass die Bildaufnahmevorrichtung (1) über einen Einzel-Photonen-Sensitiven-Detektor (single-photon-sensitive detector = SPSD) (3) verfügt und - dass der Bildsensor (2) und der SPSD (3) dazu eingerichtet sind, Licht aus einem gemeinsamen Objektbereich (4) zu detektieren.
Bildaufnahmevorrichtung (1) nach Anspruch 1, wobei der Bildsensor (2) und der SPSD (3) in einer festen räumlichen Beziehung zueinander, insbesondere in Bezug auf einen Strahlteiler (6), angeordnet sind, - vorzugsweise wobei der Strahlteiler (6) Licht aus dem gemeinsamen Objektbereich (4) zum Bildsensor (2) und zum SPSD (3) weiterleitet, - besonders bevorzugt wobei der Bildsensor (2) und der SPSD (3) - an Außenflächen des Strahlteilers (6) und/oder - korrespondierend zu einer gemeinsamen Zwischenbildebene einer Abbildungsoptik (7) angeordnet sind.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, - wobei die Bildaufnahmevorrichtung (1) eine gemeinsame Abbildungsoptik (7), insbesondere angeordnet in einem distalen Endbereich (5) der Bildaufnahmevorrichtung (1), aufweist, die Licht aus dem gemeinsamen Objektbereich (4) zum Bildsensor (2) und zu dem SPSD (3) leitet oder - wobei die Bildaufnahmevorrichtung (1) zwei getrennte Lichtleitkanäle ausbildet, die jeweils Licht aus dem gemeinsamen Objektbereich (4) zum Bildsensor (2) beziehungsweise zum SPSD (3) leiten.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei der Bildsensor (2) - ein Schwarzweißbild oder - ein Farbbild, insbesondere durch Verwendung eines Color Filter Arrays (CFA), ausgibt, und/oder - wobei der Bildsensor (2) neben Wellenlängen im sichtbaren Bereich oder alternativ hierzu Wellenlängen in angrenzenden Wellenlängenbereichen, insbesondere im ultravioletten oder infraroten Wellenlängenbereich, detektiert.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei der SPSD (3) als eine 2D-Anordnung von einzelnen, - vorzugsweise vollintegrierten und/oder auf Basis von Halbleiter-Technologie realisierten, Detektoren ausgestaltet ist, die jeweils einzelne Photonen detektieren können, - insbesondere sodass der SPSD (3) 2D-Bilddaten liefert.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, - wobei der SPSD (3) auf Basis von - single photon avalanche diodes (SPAD) und/oder von - silicon photomultiplier (SiPM) realisiert ist, insbesondere als ein 2D-SPAD-array oder als ein 2D-SiPM-array.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, - wobei der Bildsensor (2) und/oder der SPSD (3) mittels CMOS-Technologie als vollintegrierte elektronische Bausteine, insbesondere mit integrierter Signalverarbeitungselektronik, realisiert sind.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, wobei die Bildaufnahmevorrichtung (1) über wenigstens einen optischen Filter (9) verfügt, wobei der wenigstens eine optische Filter (9) dafür ausgelegt ist, - unerwünschtes Licht aus dem Objektbereich (4), insbesondere zur Fluoreszenzbildgebung verwendetes Anregungslicht, von dem SPSD (3) und/oder von dem Bildsensor (2) fernzuhalten und/oder - einen Wellenlängenbereich zu selektieren, der von dem SPSD (3) und/oder dem Bildsensor (2) erfasst wird, - vorzugsweise wobei das wenigstens eine optische Filter (9) auf dem Strahlteiler (6) als optische Dünnschicht (10) realisiert ist.
Bildaufnahmevorrichtung (1) nach dem vorhergehenden Anspruch, - wobei der wenigstens eine optische Filter (9) aktiv durchstimmbar ist, - insbesondere sodass je nach Durchstimmung des optischen Filters (9) unterschiedliche Wellenlängen von dem SPSD (3) detektierbar sind.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, - wobei die Bildaufnahmevorrichtung (1) über wenigstens zwei getrennt voneinander angeordnete SPSD (3) verfügt, - vorzugsweise wobei die wenigstens zwei SPSD (3) unterschiedliche Wellenlängenbereiche detektieren, insbesondere aufgrund zweier unterschiedlicher optischer Filter (9).
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, - wobei die Bildaufnahmevorrichtung (1) über wenigstens zwei getrennt voneinander angeordnete Bildsensoren (2) verfügt, - vorzugsweise wobei die wenigstens zwei Bildsensoren (2) unterschiedliche Wellenlängenbereiche detektieren, - insbesondere wobei die beiden Bildsensoren (2) hierzu über unterschiedliche Farbfilter auf Pixelebene verfügen.
Bildaufnahmevorrichtung (1) nach einem der vorhergehenden Ansprüche, - wobei die Bildaufnahmevorrichtung (1) eine Bildberechnungseinheit (27) aufweist, die dazu eingerichtet ist, ein synthetisches Bild aus Signalen des Bildsensors (2) und aus Signalen des SPSD (3) zu berechnen und auszugeben.
Stereo-Bildaufnahmevorrichtung (28) zur Generierung von 3D-Bilddaten, dadurch gekennzeichnet, - dass die Stereo-Bildaufnahmevorrichtung (1) zwei Bildaufnahmevorrichtungen (1) nach einem der vorhergehenden Ansprüche aufweist, - wobei die beiden Bildaufnahmevorrichtungen (1) zur stereoskopischen Bildgebung eingerichtet sind, insbesondere sodass 3D-Bilddaten aus einem übereinstimmenden Objektbereich gewonnen werden können.
Bildaufnahmeverfahren unter Verwendung einer Bildaufnahmevorrichtung (1), insbesondere gemäß einem der vorhergehenden Ansprüche, wobei - ein erstes Bild, vorzugsweise ein Farbbild, mittels eines Bildsensors (2), dessen Pixel auf Photodioden basieren, der Bildaufnahmevorrichtung (1) aufgenommen wird, dadurch gekennzeichnet, - dass ein zweites Bild mit Hilfe eines Einzel-Photonen-Sensitiven-Detektors (SPSD) der Bildaufnahmevorrichtung (1) aufgenommen wird, und - dass ein synthetisches Bild aus dem ersten Bild und dem zweiten Bild errechnet und ausgegeben wird.
Bildaufnahmeverfahren gemäß dem vorhergehenden Anspruch, - wobei das zweite Bild vor der Synthese auf eine Bildauflösung des ersten Bildes skaliert wird, und/oder - wobei das synthetische Bild durch Überblendung, insbesondere Vereinigung, des ersten Bilds mit dem zweiten Bild, gewonnen wird, und/oder - wobei bei der Berechnung des synthetischen Bilds, - vorzugsweise mittels einer Alpha-Blending-Methode, neben Farbinformation auch Alphawerte als Maß für die Transparenz beziehungsweise Opazität jeweiliger Bildpunkte berücksichtigt werden.
Bildaufnahmeverfahren gemäß einem der Ansprüche 14 bis 15, - wobei mit dem SPSD (3) Fluoreszenzlicht, insbesondere Autofluoreszenzlicht, detektiert wird, - insbesondere wobei dabei zur Fluoreszenzbildgebung verwendetes Anregungslicht mittels eines optischen Filters (9) von dem Fluoreszenzlicht separiert und herausgefiltert wird, bevor das Fluoreszenzlicht den SPSD (3) erreicht.
Bildaufnahmeverfahren gemäß einem der Ansprüche 14 bis 16, - wobei bei der Synthese des synthetischen Bilds wenigstens ein drittes Bild, welches mit einem zusätzlichen Bildsensor (2) oder einem zusätzlichen SPSD (3) der Bildaufnahmevorrichtung (1), insbesondere in einem zusätzlichen Wellenlängenbereich, aufgenommen wurde, berücksichtigt wird, - vorzugsweise wobei das synthetische Bild als hyperspektrales Bild ausgegeben wird.
Bildaufnahmeverfahren gemäß einem der Ansprüche 14 bis 17, - wobei mittels des SPSD (3) ein zeitliches Verhalten, insbesondere ein Abklingverhalten einer Fluoreszenzlichtquelle erfasst und ausgewertet wird und/oder - wobei mittels des SPSD (3) eine Laufzeitmessung realisiert wird, - insbesondere mittels eines time-of-flight (ToF)-Verfahrens, mit dem eine ortsaufgelöste Tiefeninformation aus einem Objektbereich (4) außerhalb der Bildaufnahmevorrichtung (1) ermittelt wird.