DE102018122816A1

DE102018122816A1 - Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts

Info

Publication number: DE102018122816A1
Application number: DE102018122816.3A
Authority: DE
Inventors: Marco Wilzbach; Christoph Hauger; Stefan Saur
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2018-09-18
Filing date: 2018-09-18
Publication date: 2020-03-19
Anticipated expiration: 2038-09-19
Also published as: JP2022069531A; DE102018122816B4; JP7312873B2; US20200088983A1; JP2020076743A; US11391937B2

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenschaft eines Objekts, wobei das Verfahren die folgenden Schritte umfasst: Aufnehmen eines ersten Bildes des Objekts aus einer ersten Richtung; Aufnehmen eines zweiten Bildes des Objekts aus einer zweiten Richtung; Bestimmen einer ersten Position in dem ersten Bild, welche einen Ort des Objekts repräsentiert, und einer zweiten Position in dem zweiten Bild, welche denselben Ort des Objekts repräsentiert, für eine Vielzahl von Orten des Objekts; und Berechnen eines Werts einer Objekteigenschaft für jeden der Vielzahl von Orten des Objekts, wobei der einem Ort der Vielzahl von Orten des Objekts zugeordnete Wert unter Verwendung eines Intensitätswerts an der ersten Position, die diesen Ort repräsentiert, in dem ersten Bild und eines Intensitätswerts an der zweiten Position, die diesen Ort repräsentiert, in dem zweiten Bild berechnet wird.

Description

Die vorliegende Erfindung betrifft Verfahren und Vorrichtungen zum Bestimmen einer Eigenschaft eines Objekts, insbesondere zur Bestimmung der ortsaufgelösten Verteilung der Konzentration eines Stoffes in dem Objekt.
Gemäß einem herkömmlichen Verfahren zum Bestimmen einer ortsaufgelösten Verteilung einer Konzentration eines Stoffes in einem Objekt werden von diesem Objekt zunächst zwei Bilder mit Licht verschiedener Wellenlängenbereiche aufgenommen. Beispielsweise wird ein Strahlengang bereitgestellt, welcher das Objekt auf einen Lichtbilddetektor abbildet, der geeignet ist, sichtbares und infrarotes Licht ortsaufgelöst zu detektieren. Um ein Bild mit Licht eines ersten Wellenlängenbereichs aufzunehmen, wird ein erstes optisches Filter in den Strahlengang eingeführt, welches Licht mit Wellenlängen unterdrückt, die außerhalb des ersten Wellenlängenbereichs liegen. Hierdurch wird nur Licht des ersten Wellenlängenbereichs zu dem Lichtbilddetektor geführt, welcher sodann ein erstes Bild mit Licht des ersten Wellenlängenbereichs aufnehmen kann. Zur Detektion eines zweiten Bildes wird ein anderes optisches Filter in den Strahlengang eingeführt, welches Licht mit Wellenlängen außerhalb eines zweiten Wellenlängenbereichs unterdrückt, so dass nur Licht des zweiten Wellenlängenbereichs auf den Lichtbilddetektor abgebildet wird. Dieser kann sodann das zweite Bild mit Licht des zweiten Wellenlängenbereichs aufnehmen. Das erste und zweite Bild werden somit zeitlich nacheinander vom selben Lichtbilddetektor aufgenommen und können dann dazu verwendet werden, eine ortsaufgelöste Verteilung einer Konzentration eines Stoffes in dem Objekt zu berechnen. Dieses Verfahren hat den Nachteil, dass die optischen Filter in den Strahlengang ein- und ausgeführt werden müssen und die Bilder nacheinander aufgenommen werden, so dass es verhältnismäßig lange dauert, das Verfahren auszuführen.
Statt mehrere verschiedene optische Filter nacheinander in den Strahlengang einzuführen, kann ein Multispektralbildsensor verwendet werden, auf den das Objekt abgebildet wird. Der Multispektralbildsensor weist eine Vielzahl fotosensitiver Pixel auf, vor denen verschiedene optische Mikrofilter angeordnet sind, so dass der Multispektralbildsensor gleichzeitig Bilder verschiedener Wellenlängenbereiche detektieren kann. Die Verwendung solcher Multispektralbildsensoren hat jedoch den Nachteil, dass die optischen Mikrofilter in der Regel nur für einen einzigen Anwendungsfall verwendbar sind, da die Transmission der Mikrofilter nicht verändert werden kann.
Schließlich kann anstelle des Multispektralbildsensors ein Kamerasystem verwendet werden, welches den Strahlengang räumlich trennt, die getrennten Strahlengänge individuell filtert und die gefilterten Strahlengänge verschiedenen Lichtbilddetektoren zuführt. Ein solches Kamerasystem kann daher ebenfalls gleichzeitig Bilder verschiedener Spektralbereiche detektieren. Der Nachteil eines solchen Kamerasystems ist jedoch die hohe Komplexität des Systems sowie die durch die hohe Anzahl an Lichtbilddetektoren bedingten Kosten.
Es ist daher die Aufgabe der vorliegenden Erfindung, Vorrichtungen und Verfahren bereitzustellen, mit denen eine ortsaufgelöste Verteilung einer Eigenschaft eines Objekts, insbesondere eine ortsaufgelöste Verteilung der Konzentration eines in dem Objekt vorhandenen Stoffes, bestimmt werden kann und dennoch die oben genannten Nachteile überwunden werden.
Ein Aspekt der vorliegenden Erfindung betrifft ein Verfahren zum Bestimmen einer Eigenschaft eines Objekts. Das Verfahren umfasst das Aufnehmen eines ersten Bildes des Objekts aus einer ersten Richtung, indem das Objekt mit von dem Objekt ausgehendem Licht eines ersten Wellenlängenbereichs mittels einer Mikroskopoptik auf eine Detektionsfläche eines ersten Lichtbilddetektors abgebildet wird; und das Aufnehmen eines zweiten Bildes des Objekts aus einer zweiten Richtung, indem das Objekt mit von dem Objekt ausgehendem Licht eines zweiten Wellenlängenbereichs mittels der Mikroskopoptik auf eine Detektionsfläche eines zweiten Lichtbilddetektors abgebildet wird.
Das Verfahren umfasst ferner das Bestimmen einer ersten Position in dem ersten Bild, welche einen Ort des Objekts repräsentiert, und einer zweiten Position in dem zweiten Bild, welche denselben Ort des Objekts repräsentiert, für eine Vielzahl von Orten des Objekts.
Das Verfahren umfasst ferner das Berechnen eines Wertes einer Objekteigenschaft für jeden der Vielzahl von Orten des Objekts, wobei der einem Ort der Vielzahl von Orten des Objekts zugeordnete Wert unter Verwendung eines Intensitätswerts an der ersten Position, die diesen Ort repräsentiert, in dem ersten Bild und eines Intensitätswerts an der zweiten Position, die diesen Ort repräsentiert, in dem zweiten Bild berechnet wird.
Das erste Bild und das zweite Bild werden aus zwei verschiedenen Richtungen aufgenommen. Beispielsweise werden das erste und zweite Bild in den beiden verschiedenen Stereozweigen eines Stereomikroskops aufgenommen und sind daher stereoskopische Halbbilder eines Stereobildes. Ein Stereomikroskop ist ein Mikroskop, welches eine Objektebene aus zwei verschiedenen Richtungen auf zwei separate Bildebenen (erste und zweite Bildebene) abbilden kann. Hierzu kann die Detektionsfläche des ersten Lichtbilddetektors in der ersten Bildebene angeordnet sein und die zweite Detektionsfläche des zweiten Lichtbilddetektors kann in der zweiten Bildebene angeordnet sein. Die erste und zweite Richtung unterscheiden sich beispielsweise um wenigstens 1° oder wenigstens 2°.
Die Mikroskopoptik bildet das Objekt auf die Detektionsfläche des ersten Lichtbilddetektors ab, wobei dies mit dem von dem Objekt ausgehenden Licht des ersten Wellenlängenbereichs erfolgt. Der erste Lichtbilddetektor ist dazu konfiguriert, die Intensität des auf die Detektionsfläche des ersten Lichtbilddetektors treffenden Lichts ortsaufgelöst zu detektieren. Auf analoge Weise bildet die Mikroskopoptik das Objekt auf die Detektionsfläche des zweiten Lichtbilddetektors ab, wobei dies mit dem von dem Objekt ausgehenden Licht des zweiten Wellenlängenbereichs erfolgt. Der zweite Lichtbilddetektor ist dazu konfiguriert, die Intensität des auf die Detektionsfläche des zweiten Lichtbilddetektors treffenden Lichts ortsaufgelöst zu detektieren.
Der erste und zweite Wellenlängenbereich sind voneinander verschieden. Insbesondere überlappen sich die beiden Wellenlängenbereiche (höchstens) teilweise oder sie überlappen sich nicht.
Das erste und zweite Bild stellen beide einen Bereich des Objekts dar. Jedoch werden das erste und zweite Bild von verschiedenen Lichtbilddetektoren aus verschiedenen Richtungen aufgenommen. Das erste und zweite Bild stellen das Objekt daher aus verschiedenen Perspektiven dar, so dass es nicht trivial ist, diejenigen Positionen in dem ersten und zweiten Bild zu erfassen, die denselben Ort des Objekts repräsentieren. Eine Position in dem ersten Bild und eine Position in dem zweiten Bild, die denselben Ort des Objekts repräsentieren, werden als korrespondierende Positionen bezüglich dieses Orts des Objekts bezeichnet. Sie hängen von mehreren Faktoren ab, beispielsweise von der perspektivischen Abbildung des Objekts auf die verschiedenen Lichtbilddetektoren, von der Justage der Mikroskopoptik und der Lichtbilddetektoren zueinander und von dem Höhenprofil des Objekts.
Verfahrensgemäß werden für eine Vielzahl von Orten des Objekts, die sowohl in dem ersten Bild als auch in dem zweiten Bild enthalten sind, korrespondierende Positionen in dem ersten und zweiten Bild bestimmt. D. h., für jeden der Vielzahl von Orten des Objekts wird eine erste Position in dem ersten Bild bestimmt, welche einen bestimmten Ort dieser Vielzahl repräsentiert, und es wird eine hierzu korrespondierende zweite Position in dem zweiten Bild bestimmt, welche denselben Ort repräsentiert. Hierdurch wird eine Zuordnung bestimmt, welche die korrespondierenden Positionen in dem ersten und zweiten Bild angibt, und zwar für eine Vielzahl von Orten des Objekts.
Beispielsweise bestehen das erste und zweite Bild jeweils aus einer Vielzahl von Pixeln und es wird bestimmt, welches Pixel des ersten Bildes und welches Pixel des zweiten Bildes jeweils denselben Ort des Objekts repräsentieren, wobei diese Zuordnung für eine Vielzahl von Orten des Objekts bestimmt wird.
Verfahrensgemäß wird für jeden der Vielzahl von Orten des Objekts ein Wert einer Eigenschaft des Objekts unter Verwendung des ersten und zweiten Bildes sowie unter Verwendung der Zuordnung, welche die korrespondierenden Positionen in dem ersten und zweiten Bild angibt, berechnet. Der einem Ort der Vielzahl von Orten des Objekts zugeordnete Wert der Objekteigenschaft wird hierbei unter Verwendung eines Intensitätswerts an der ersten Position in dem ersten Bild und eines Intensitätswerts an der zweiten Position in dem zweiten Bild berechnet, wobei die erste und zweite Position diesen Ort der Vielzahl repräsentieren.
Somit kann eine ortaufgelöste Verteilung einer Objekteigenschaft eines Objekts aus zwei Bildern bestimmt werden, die mit Licht verschiedener Wellenlängenbereiche aufgenommen wurden. Die Bilder können gleichzeitig aufgenommen werden, da hierzu zwei separate Lichtbilddetektoren bereitgestellt werden. Etwaiger Filter, die die erste und zweite Wellenlänge definieren, müssten während des Verfahrens nicht bewegt werden. Das Verfahren ermöglicht vielseitige Anwendungen, indem der erste und zweite Wellenlängenbereich entsprechend angepasst wird. Das Verfahren kann mit einem konventionellen Stereomikroskop mit angepasster Steuerung durchgeführt werden.
Gemäß einer Ausführungsform entspricht die erste Position des ersten Bildes einem ersten Ort auf der Detektionsfläche des ersten Lichtbilddetektors, wobei der durch die erste Position repräsentierte Ort des Objekts mittels der Mikroskopoptik auf den ersten Ort der Detektionsfläche des ersten Lichtbilddetektors abgebildet wird; und die zweite Position des zweiten Bildes entspricht einem zweiten Ort auf der Detektionsfläche des zweiten Lichtbilddetektors, wobei der durch die zweite Position repräsentierte Ort des Objekts mittels der Mikroskopoptik auf den zweiten Ort der Detektionsfläche des zweiten Lichtbilddetektors abgebildet wird.
Die Mikroskopoptik bildet das Objekt entlang der ersten Richtung auf die Detektionsfläche des ersten Lichtbilddetektors ab und bildet das Objekt entlang der zweiten Richtung auf die Detektionsfläche des zweiten Lichtbilddetektors ab. Für jeden Ort der Vielzahl von Orten des Objekts existiert daher, durch die Abbildung mittels der Mikroskopoptik, auf der Detektionsfläche des ersten Lichtbilddetektors ein erster Ort und auf der Detektionsfläche des zweiten Lichtbilddetektors ein zweiter Ort, auf welche dieser Ort des Objekts abgebildet wird. Der erste Ort auf der Detektionsfläche des ersten Lichtbilddetektors und der zweite Ort auf der Detektionsfläche des zweiten Lichtbilddetektors sind daher korrespondierende Orte, da auf diese derselbe Ort des Objekts abgebildet wird und der erste und zweite Ort damit denselben Ort des Objekts repräsentieren. Die erste Position in dem ersten Bild und der erste Ort auf der Detektionsfläche des ersten Lichtbilddetektors repräsentieren daher denselben Ort des Objekts. Ebenso repräsentieren die zweite Position in dem zweiten Bild und der zweite Ort auf der Detektionsfläche des zweiten Lichtbilddetektors diesen selben Ort des Objekts.
Gemäß einer Ausführungsform weist das erste Bild eine Vielzahl von ersten Pixeln auf und jedem ersten Pixel ist ein Intensitätswert zugeordnet, wobei der Intensitätswert an der ersten Position in dem ersten Bild basierend auf dem Intensitätswert desjenigen ersten Pixels bestimmt wird, welches die erste Position enthält.
In dieser Ausführungsform ist klargestellt, dass der Intensitätswert an einer Position in dem ersten Bild auf Basis des Intensitätswerts des Pixels bestimmt wird, welches diese Position enthält. Alternativ oder zusätzlich kann der Intensitätswert an der ersten Position basierend auf dem Intensitätswert von wenigstens einem der ersten Pixel bestimmt werden, die an das Pixel angrenzen, welches die erste Position enthält. In dieser Variante werden (auch) die Intensitätswerte derjenigen Pixel des ersten Bildes berücksichtigt, die das Pixel unmittelbar umgeben, in welchem die erste Position enthalten ist. Somit kann der Intensitätswert an einer ersten Position im ersten Bild beispielsweise als Linearkombination der Intensitätswerte derjenigen Pixel des ersten Bildes berechnet werden, die die erste Position enthalten oder diese unmittelbar umgeben, wobei je nach Lage der ersten Position in Bezug auf diese Pixel Gewichte verschiedener Größe in die Linearkombination einfließen.
Der Intensitätswert an einer ersten Position im ersten Bild kann ferner oder alternativ durch eine nicht-lineare Operation auf die Intensitätswerte des die erste Position enthaltenden Pixels und dieses umgebender Pixel bestimmt werden. Beispielweise wird der minimale, maximale oder mediane Intensitätswert dieser Pixel als der Intensitätswert an der ersten Position bestimmt.
Gemäß einer Ausführungsform weist das zweite Bild eine Vielzahl von zweiten Pixeln auf und jedem zweiten Pixel ist ein Intensitätswert zugeordnet, wobei der Intensitätswert an der zweiten Position in dem zweiten Bild basierend auf dem Intensitätswert desjenigen zweiten Pixels bestimmt wird, welches die zweite Position enthält.
In dieser Ausführungsform ist klargestellt, dass der Intensitätswert an einer Position in dem zweiten Bild auf Basis des Intensitätswerts des Pixels bestimmt wird, welches diese Position enthält. Alternativ oder zusätzlich kann der Intensitätswert an der zweiten Position basierend auf dem Intensitätswert von wenigstens einem der zweiten Pixel bestimmt werden, die an das Pixel angrenzen, welches die zweite Position enthält. In dieser Variante werden (auch) die Intensitätswerte derjenigen Pixel des zweiten Bildes berücksichtigt, die das Pixel unmittelbar umgeben, in welchem die zweite Position enthalten ist. Somit kann der Intensitätswert an einer zweiten Position im zweiten Bild beispielsweise als Linearkombination der Intensitätswerte derjenigen Pixel des zweiten Bildes berechnet werden, die die zweite Position enthalten oder diese unmittelbar umgeben, wobei je nach Lage der zweiten Position in Bezug auf diese Pixel Gewichte verschiedener Größe in die Linearkombination einfließen.
Der Intensitätswert an einer zweiten Position im zweiten Bild kann ferner oder alternativ durch eine nicht-lineare Operation auf die Intensitätswerte des die zweite Position enthaltenden Pixels und dieses umgebender Pixel bestimmt werden. Beispielweise wird der minimale, maximale oder mediane Intensitätswert dieser Pixel als der Intensitätswert an der zweiten Position bestimmt.
Gemäß einer Ausführungsform werden die erste Position und die zweite Position für jeden Ort der Vielzahl von Orten des Objekts auf Basis einer Analyse von Bildern des Objekts bestimmt, wobei die Gestalt wenigstens einer Struktur des Objekts in den Bildern analysiert wird, wobei die Bilder Aufnahmen des Objekts aus der ersten und zweiten Richtung sind. Die Bilder, in welchen die Gestalt wenigstens einer Struktur des Objekts analysiert wird, um die erste Position und die zweite Position für jeden Ort der Vielzahl von Orten des Objekts zu bestimmen, können beispielsweise das erste Bild und das zweite Bild sein, aber auch davon verschiedene Bilder.
In dieser Ausführungsform werden die korrespondierenden Positionen durch eine Analyse der in dem Objekt vorhandenen Strukturen bestimmt. Beispielsweise befinden sich in dem Objekt kontraststarke Formen, die durch Bildanalyseverfahren in den Bildern erkannt werden, und somit korrespondierende Positionen in den Bildern bestimmt werden können. Solche Bildverarbeitungsverfahren können beispielsweise die Korrelation zwischen den Bildern bestimmen und dazu verwenden, die korrespondierenden Positionen zu bestimmen. Die auf diese Weise in den Bildern bestimmten korrespondierenden Position können auf einfache Weise auf das erste und zweite Bild übertragen werden, da die Bilder aus denselben Perspektiven, nämlich der ersten und zweiten Richtung, wie das erste und zweite Bild aufgenommen wurden.
Gemäß einer Ausführungsform umfasst der Verfahren ferner das Bestimmen einer Koordinatentransformation, welche einen Übergang von Koordinaten eines ersten Koordinatenraums des ersten Bildes in einen zweiten Koordinatenraum des zweiten Bildes definiert, wobei die erste Position und die zweite Position für jeden Ort der Vielzahl von Orten des Objekts auf Basis der Koordinatentransformation bestimmt werden.
In dieser Ausführungsform wird eine Koordinatentransformation bestimmt, welche beispielsweise eine projektive Transformation, eine affine Transformation, eine Ähnlichkeitstransformation oder eine Euklidische Transformation sein kann. Die Koordinatentransformation gibt eine Vorschrift an, wie eine Koordinate des ersten Koordinatenraums, d. h. eine Koordinate des Koordinatenraums des ersten Bildes, in eine Koordinate des zweiten Koordinatenraums, d. h. eine Koordinate des Koordinatenraums des zweiten Bildes, transformiert/abgebildet wird. Die durch die Koordinatentransformation aufeinander transformierten/abgebildeten Koordinaten des ersten und zweiten Bildes geben Positionen in dem ersten und zweiten Bild an, die denselben Ort des Objekts repräsentieren. Der erste und zweite Koordinatenraum ist beispielsweise ein zweidimensionaler Koordinatenraum.
Die Koordinatentransformation kann durch einen oder mehrere Parameter aus einer Gruppe von Parametern parametrisiert sein, wobei die Gruppe von Parametern umfasst: Verschiebung zwischen dem ersten und zweiten Koordinatenraum, Drehung des ersten Koordinatenraums gegenüber dem zweiten Koordinatenraum, Vergrößerung der Mikroskopieoptik beim Aufnehmen des ersten und/oder zweiten Bildes, die erste und/oder zweite Richtung, Abbildungsfehler der Mikroskopieoptik und ein Höhenprofil des Objekts.
In einem Beispiel einer Koordinatentransformation ist diese nur durch die Verschiebung zwischen dem ersten und zweiten Koordinatenraum parametrisiert. Die Verschiebung gibt beispielsweise den translatorischen Versatz zwischen dem ersten und zweiten Bild an, der sich durch die relative Anordnung der Lichtbilddetektoren und durch die stereoskopische Abbildung durch die Mikroskopieoptik ergibt. Demensprechend wird durch die Koordinatentransformation die Translation zwischen Koordinaten des ersten und zweiten Koordinatensystems ausgedrückt, die denselben Ort des Objekts repräsentieren.
Andere und/oder weitere Parameter können die Koordinatentransformation parametrisieren. Somit können weitere Auswirkungen der relativen Anordnung der Lichtbilddetektoren und der stereoskopischen Abbildung durch die Mikroskopieoptik durch die Koordinatentransformation ausgedrückt werden. Insbesondere können die eventuell individuell einstellbaren Vergrößerungen der optischen Abbildung der Mikroskopieoptik in ihren beiden Stereokanälen berücksichtigt werden, wobei diese Information beispielsweise von einer Steuerung bereitgestellt werden kann. Ferner können a priori bekannte Abbildungsfehler der Mikroskopieoptik in der Koordinatentransformation ausgedrückt werden.
Durch die stereoskopische Aufnahme des ersten und zweiten Bildes kommt es grundsätzlich zu einer perspektivischen optischen Abbildung des Objekts auf die Lichtbilddetektoren. Auch diese Eigenschaften der optischen Abbildung der Mikroskopieoptik können in der Koordinatentransformation ausgedrückt sein.
Je nach Anzahl der die Koordinatentransformation definierenden Parameter und der zu erzielenden Güte der Werte für diese Parameter muss nur eine im Vergleich zur Gesamtzahl der Pixel des ersten und zweiten Bildes geringe Anzahl von korrespondierenden Positionen in dem ersten und zweiten Bild bestimmt werden, um die Koordinatentransformation zu bestimmen. Somit kann die Koordinatentransformation verhältnismäßig schnell bestimmt werden.
Einige Parameter der Koordinatentransformation können auch durch Referenzmessungen vor dem Aufnehmen des ersten und zweiten Bildes bestimmt werden. Dementsprechend müssen während des Verfahrens nur noch diejenigen Werte der Parameter bestimmt werden, die von der aktuellen Einstellung der Mikroskopieoptik abhängig sind. Diese können jedoch von einer Steuerung bereitgestellt werden (beispielsweise die Vergrößerung der Mikroskopieoptik). Somit können bereits vor dem Aufnehmen des ersten und zweiten Bildes alle Werte der die Koordinatentransformation definierenden Parameter bestimmt sein.
Mit der vollständig festgelegten Koordinatentransformation können sodann die erste Position und die zweite Position für jeden Ort der Vielzahl von Orten des Objekts auf einfache Weise bestimmt werden.
Gemäß einer Ausführungsform umfasst das Verfahren ferner das Bestimmen eines Höhenprofils des Objekts, welches die entlang einer Höhenrichtung gemessene Ausdehnung des Objekts in Abhängigkeit wenigstens einer zu der Höhenrichtung senkrecht orientierten Querrichtung angibt, wobei die erste Position und die zweite Position für jeden Ort der Vielzahl von Orten des Objekts auf Basis des Höhenprofils bestimmt werden. Das Höhenprofil kann ein Parameter der Koordinatentransformation sein.
Korrespondierende Positionen in dem ersten und zweiten Bild hängen von dem Höhenprofil des Objekts ab, da das erste und zweite Bild aus verschiedenen Richtungen aufgenommen werden. Unter Kenntnis der Abbildungseigenschaften der Mikroskopoptik und des Höhenprofils des Objekts können korrespondierende Positionen in dem ersten und zweiten Bild berechnet werden. Die Abbildungseigenschaften der Mikroskopoptik können beispielsweise mittels eines Referenzobjekts bestimmt werden, dessen Höhenprofil bekannt ist. Das Höhenprofil des Objekts kann wiederum mittels verschiedener Verfahren bestimmt werden, beispielsweise mittels Triangulation oder Stereoskopie.
Gemäß einer Ausführungsform umfasst das Verfahren ferner das Belichten des Objekts mit Beleuchtungslicht, so dass das von dem Objekt ausgehende Licht Licht des ersten Wellenlängenbereichs und Licht des zweiten Wellenlängenbereichs umfasst; wobei die Objekteigenschaft die Konzentration eines von mehreren in dem Objekt vorhandenen Stoffen ist, wobei jeder der Stoffe durch die Belichtung mit dem Beleuchtungslicht zur Erzeugung des von dem Objekt ausgehenden Lichts beiträgt.
In dieser Ausführungsform enthält das Objekt mehrere verschiedene Stoffe und es wird eine ortsaufgelöste Verteilung der Konzentration eines dieser Stoffe bestimmt. Eine Voraussetzung für dieses Verfahren ist, dass die in dem Objekt enthaltene Stoffe auf unterschiedliche Weise zur Erzeugung des von dem Objekt ausgehenden Lichts infolge der Beleuchtung beitragen. Beispielsweise setzt sich das von dem Objekt ausgehende Licht im ersten und zweiten Wellenlängenbereich (im Wesentlichen nur) aus zwei Beiträgen zusammen, die durch zwei in dem Objekt vorhandene Stoffe bedingt sind. Die Stoffe weisen ein bekanntes Emissionsverhalten in dem ersten und zweiten Wellenlängenbereich auf, wobei das Emissionsverhalten der beiden Stoffe sich voneinander in dem ersten und zweiten Wellenlängenbereich unterscheidet. Auf Grundlage dieser bekannten Emissionseigenschaft, der bekannten spektralen Intensitätsverteilung des Beleuchtungslichts sowie des ersten und zweiten Bildes kann die Konzentration eines oder mehrerer dieser Stoffe für die Vielzahl von Orten des Objekts bestimmt werden, indem die Intensitätswerte an korrespondierenden Positionen in dem ersten und zweiten Bild verwendet werden. Auf diese Weise kann für jedes Paar korrespondierender Positionen ein Wert der Konzentration eines oder mehrerer dieser Stoffe bestimmt werden und somit eine ortsaufgelöste Verteilung der Konzentration bestimmt werden.
Dem Emissionsverhalten können verschiedene Wechselwirkungen zugrunde liegen, beispielsweise Streuung/Extinktion, Fluoreszenz oder dergleichen.
Eine detaillierte Beschreibung einer Vorschrift zur Berechnung einer ortsaufgelösten Verteilung der Konzentration eines von mehreren in dem Objekt vorhandenen Stoffen ist beispielsweise in den Patentanmeldungen DE 10 2017 221 187.3 und DE 10 2017 215 158.7 des Anmelders beschrieben, deren Offenbarung durch Bezugnahme hierin vollumfänglich aufgenommen ist.
Gemäß einer Ausführungsform umfasst das Verfahren ferner das Belichten des Objekts mit Licht des ersten Wellenlängenbereichs und mit Licht des zweiten Wellenlängenbereichs; wobei das erste Bild (im Wesentlichen ausschließlich) mit von dem Objekt ausgehendem Licht des ersten Wellenlängenbereichs aufgenommen wird; wobei das zweite Bild (im Wesentlichen ausschließlich) mit von dem Objekt ausgehendem Licht des zweiten Wellenlängenbereichs aufgenommen wird; und wobei die Objekteigenschaft die Konzentration einer hämodynamischen Größe ist, so dass eine ortsaufgelöste Verteilung der Konzentration dieser hämodynamischen Größe berechnet wird. „Im Wesentlichen ausschließlich“ bedeutet beispielsweise, dass die Intensität des dem ersten Lichtbilddetektor zugeführten Lichts einer Wellenlänge innerhalb des ersten Wellenlängenbereichs wenigstens um den Faktor 100 oder wenigstens um den Faktor 1000 größer ist als die Intensität des dem ersten Lichtbilddetektor zugeführten Lichts jeder Wellenlänge außerhalb des ersten Wellenlängenbereichs. „Im Wesentlichen ausschließlich“ bedeutet zudem beispielsweise, dass die Intensität des dem zweiten Lichtbilddetektor zugeführten Lichts einer Wellenlänge innerhalb des zweiten Wellenlängenbereichs wenigstens um den Faktor 100 oder wenigstens um den Faktor 1000 größer ist als die Intensität des dem zweiten Lichtbilddetektor zugeführten Lichts jeder Wellenlänge außerhalb des zweiten Wellenlängenbereichs.
In dieser Ausführungsform wird die Konzentration einer hämodynamische Größe berechnet, beispielsweise die Konzentration von oxygeniertem oder desoxygeniertem Hämoglobin. Das Verfahren basiert auf der Detektion von Licht, welches in dem Objekt an der hämodynamischen Größe zurückgestreut bzw. von diesem absorbiert wird. Dementsprechend umfasst sowohl das Beleuchtungslichts als auch das von dem Objekt ausgehende und von den Lichtbilddetektoren detektierte Licht jeweils Licht des ersten und zweiten Wellenlängenbereichs.
Der erste Wellenlängenbereich erstreckt sich beispielsweise von 410 nm bis 430 nm oder von 440 nm bis 460 nm. Der zweite Wellenlängenbereich erstreckt sich beispielsweise von 640 nm bis 660 nm. In diesen Wellenlängenbereichen unterscheidet sich das Extinktionsverhalten von oxygeniertem und desoxygeniertem Hämoglobin stark voneinander, so dass die Konzentration von oxygeniertem und desoxygeniertem Hämoglobin gut bestimmt werden kann.
Gemäß einer Ausführungsform umfasst das Verfahren ferner das Anregen mehrerer verschiedener, in dem Objekt verteilter Fluoreszenzemitter, so dass das von dem Objekt ausgehende Licht Fluoreszenzlicht der mehreren Fluoreszenzemitter umfasst; wobei das erste Bild (im Wesentlichen ausschließlich) mit Licht des ersten Wellenlängenbereichs aufgenommen wird; wobei das zweite Bild (im Wesentlichen ausschließlich) mit Licht des zweiten Wellenlängenbereichs aufgenommen wird; wobei der erste und zweite Wellenlängenbereich zusammen jeden der Emissionswellenlängenbereiche der mehreren Fluoreszenzemitter wenigstens teilweise umfassen; und wobei die Objekteigenschaft die Konzentration eines der mehreren Fluoreszenzemitter ist, so dass eine ortsaufgelöste Verteilung der Konzentration dieses Fluoreszenzemitters berechnet wird.
Gemäß dieser Ausführungsform sind in dem Objekt mehrere verschiedene Fluoreszenzemitter enthalten. Die Fluoreszenzemitter können dem Objekt künstlich hinzugefügte Fluoreszenzemitter sein, wie beispielsweise Fluoreszenzfarbstoffe. Beispielsweise kann dem Objekt Protoporphyrin IX, Fluoreszein, Indocyaningrün oder ein anderer Fluoreszenzfarbstoff hinzugefügt werden, um bestimmte Stoffe in dem Objekt zu markieren. Ferner oder alternativ können die Fluoreszenzemitter natürliche Fluoreszenzemitter umfassen, d. h. Stoffe, die dem Objekt nicht künstlich hinzugefügt wurden, und dennoch fluoreszierend sind.
Beispielsweise ist das Ziel des Verfahrens, die ortsaufgelöste Verteilung von Protoporphyrin IX in dem Objekt zu bestimmen, wobei die im Emissionswellenlängenbereich von Protoporphyrin IX auftretende Autofluoreszenz des Objekts eliminiert sein soll.
Das Objekt wird mit Beleuchtungslicht belichtet, welches geeignet ist, Protoporphyrin IX anzuregen. Unvermeidlich bewirkt das Beleuchtungslichts auch die Anregung eines autofluoreszierenden Stoffes, so dass mehrere verschiedene in dem Objekt verteilte Fluoreszenzemitter angeregt werden.
Protoporphyrin IX und der autofluoreszierende Stoff weisen verschiedene wellenlängenabhängige Emissionscharakteristiken auf. Der erste und zweite Wellenlängenbereich werden so gewählt, dass in wenigstens einem der beiden Wellenlängenbereiche wenigstens ein Teil des Emissionswellenlängenbereichs von Protoporphyrin IX enthalten ist und in wenigstens einem der anderen beiden Wellenlängenbereiche wenigstens ein Teil der Emissionswellenlängenbereiche des autofluoreszierenden Stoffes enthalten ist. Dies ist erforderlich, um die Anteile zu dem von dem Objekt ausgehenden Licht einer selben Wellenlänge nach den Beiträgen der verschiedenen Fluoreszenzemitter zu trennen.
Unter Verwendung des ersten und zweiten Bildes, der Kenntnis darin korrespondierender Positionen, dem Emissionsverhalten der in dem Objekt enthaltenen Fluoreszenzemitter und der spektralen Intensitätsverteilung des Beleuchtungslichts kann die Konzentration eines oder mehrerer der in dem Objekt enthaltenen Fluoreszenzemitter berechnet werden.
Gemäß einer Ausführungsform umfasst das Verfahren ferner das Filtern des von dem Objekt ausgehenden Lichts so, dass dem ersten Lichtbilddetektor (im Wesentlichen ausschließlich) Licht des ersten Wellenlängenbereichs zugeführt wird, so dass das erste Bild (im Wesentlichen ausschließlich) mit von dem Objekt ausgehendem Licht des ersten Wellenlängenbereichs aufgenommen wird; und Filtern das von dem Objekt ausgehenden Lichts so, dass dem zweiten Lichtbilddetektor (im Wesentlichen ausschließlich) Licht des zweiten Wellenlängenbereichs zugeführt wird, so dass das zweite Bild (im Wesentlichen ausschließlich) mit von dem Objekt ausgehendem Licht des zweiten Wellenlängenbereichs aufgenommen wird.
Je nach Anwendungsfall kann es erforderlich sein, dass auf die jeweiligen Lichtbilddetektoren treffende Licht auf Licht des ersten bzw. zweiten Wellenlängenbereichs zu beschränken. Hierzu wird das von dem Objekt ausgehende Licht, das dem ersten Lichtbilddetektor zugeführt wird, im Wellenlängenbereich außerhalb des ersten Wellenlängenbereichs unterdrückt, beispielsweise in dessen Intensität um einen Faktor von wenigstens 100 oder wenigstens 1000. Ferner wird hierzu das von dem Objekt ausgehende Licht, das dem zweiten Lichtbilddetektor zugeführt wird, im Wellenlängenbereich außerhalb des zweiten Wellenlängenbereichs unterdrückt, beispielsweise in dessen Intensität um einen Faktor von wenigstens 100 oder wenigstens 1000.
Gemäß einer Ausführungsform umfasst das Verfahren ferner das Erzeugen und Darstellen eines dritten Bildes, welches die Werte der Objekteigenschaft darstellt. Ferner oder alternativ kann ein Stereobild erzeugt und dargestellt werden, welches ein erstes stereoskopisches Halbbild und ein zweites stereoskopisches Halbbild umfasst, wobei das erste Halbbild die Werte der Objekteigenschaft darstellt, insbesondere in Überlagerung mit dem ersten Bild, und wobei das zweite Halbbild die Werte der Objekteigenschaft darstellt, insbesondere in Überlagerung mit dem zweiten Bild.
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung, insbesondere ein Mikroskopiesystem, welche dazu konfiguriert ist, die hierin beschriebenen Verfahren auszuführen.
Ausführungsformen der Erfindung werden nachfolgend anhand von Figuren näher erläutert. Hierbei zeigt:

1 ein beispielhaftes Mikroskopiesystem, welches dazu konfiguriert ist, die hierin beschriebenen Verfahren durchzuführen,
2 eine Ausführungsform eines Verfahrens zum Bestimmen einer Eigenschaft eines Objekts,
3 Darstellungen von Strukturen in einem Objekt und Darstellungen dieser Strukturen nach Abbildung in einem ersten und zweiten Bild,
4 einen Ausschnitt einer Vielzahl von Pixeln eines ersten Bildes des Objekts,
5 durch das Höhenprofil eines Objekts bedingte Auswirkungen auf die Positionen der Orte auf Detektionsflächen zweiter Bilddetektoren, auf welche das Objekt abgebildet wird,
6 eine weitere Ausführungsform eines Verfahrens zum Bestimmen einer Eigenschaft eines Objekts, und
7 wellenlängenabhängige Umwandlungsverhältnisse von in einem Objekt enthaltenen Stoffen.

1 zeigt eine schematische Darstellung eines Mikroskopiesystems 1 gemäß einer Ausführungsform. Das Mikroskopiesystem 1 umfasst eine Beleuchtungsvorrichtung 3, welche dazu konfiguriert ist, Beleuchtungslicht 5 zu erzeugen und auf einen Objektbereich 7 zu richten, in welchem ein Objekt 8 angeordnet ist.
Das Mikroskopiesystem 1 umfasst eine Mikroskopoptik 11, welche dazu konfiguriert ist, das Objekt 8 aus einer ersten Richtung auf eine Detektionsfläche 14 eines ersten Lichtbilddetektors 13 abzubilden. Hierzu stellt die Mikroskopoptik 11 einen ersten Strahlengang 23 bereit, welcher durch ein Objektiv 21 der Mikroskopoptik 11 und ein erstes Linsensystem 25 der Mikroskopoptik 11 erzeugt wird.
Ferner ist die Mikroskopoptik dazu konfiguriert, das Objekt 8 aus einer zweiten Richtung auf eine Detektionsfläche 16 eines zweiten Lichtbilddetektors 15 abzubilden. Hierzu stellt die Mikroskopoptik 11 einen zweiten Strahlengang 27 bereit, welche durch das Objektiv 21 und ein zweites Linsensystem 29 der Mikroskopoptik 11 erzeugt wird.
Ein Zentralstrahl 31 des ersten Strahlengangs 23 und ein Zentralstrahl 33 des zweiten Strahlengangs 27 zwischen dem Objekt 8 und dem Objektiv 21 definieren die erste und zweite Richtung. Ein Stereowinkel 35 zwischen der ersten und zweiten Richtung beträgt in der Praxis wenigstens 1° und kann Werte bis hin zu etwa 40° aufweisen.
Der erste Lichtbilddetektor 13 erzeugt ein erstes Bild, welches eine ortsaufgelöste Verteilung der Intensität des auf die Detektionsfläche 14 treffenden Lichts repräsentiert. Der zweite Lichtbilddetektor 15 erzeugt ein zweites Bild, welches eine ortsaufgelöste Verteilung der Intensität des auf die Detektionsfläche 16 treffenden Lichts repräsentiert.
Der erste Lichtbilddetektor 13 und der zweite Lichtbilddetektor 15 sind mit einer Steuerung 37 des Mikroskopiesystems 1 verbunden. Die Steuerung 37 empfängt von dem ersten Lichtbilddetektor 13 ein Signal, welches das erste Bild repräsentiert. Ferner empfängt die Steuerung 37 von dem zweiten Lichtbilddetektor 15 ein Signal, welches das zweite Bild repräsentiert. Die Steuerung 37 ist dazu konfiguriert, die Schritte des erfindungsgemäßen Verfahrens durchzuführen.
Das Mikroskopiesystem 1 umfasst ferner ein Anzeigesystem 39, welches mit der Steuerung 37 verbunden ist und dazu konfiguriert ist, monoskopische Bilder oder stereoskopische Bilder darzustellen, die von der Steuerung 37 erzeugt werden.
Das Mikroskopiesystem 1 umfasst ferner ein erstes optisches Filter 41, welches im ersten Strahlengang 23 angeordnet ist und im Wesentlichen nur Licht eines ersten Wellenlängenbereichs passieren lässt. Das Mikroskopiesystem 1 umfasst ferner ein zweites optisches Filter 43, welches im zweiten Strahlengang 27 angeordnet ist und im Wesentlichen nur Licht eines zweiten Wellenlängenbereichs passieren lässt.
Hierdurch wird das erste Bild im Wesentlichen nur mit Licht des ersten Wellenlängenbereichs aufgenommen; und das zweite Bild wird im Wesentlichen nur mit Licht des zweiten Wellenlängenbereichs aufgenommen.
Das Mikroskopiesystem 1 umfasst ferner einen ersten Farbbilddetektor 45 und einen ersten Strahlteiler 47. Der erste Strahlteiler 47 ist in dem ersten Strahlengang 23 angeordnet, um einen Teil des ersten Strahlengangs 23 auf den ersten Farbbilddetektor 45 zu lenken. Mithin bildet die Mikroskopoptik 11 das Objekt 8 auf den ersten Farbbilddetektor 45 ab, welcher dazu konfiguriert ist, ein Farbbild des Objekts 8 aufzunehmen. Der erste Farbbilddetektor 45 ist mit der Steuerung 37 verbunden, welche von dem ersten Farbbilddetektor 45 ein Signal empfängt, welches das von dem ersten Farbbilddetektor 45 aufgenommene Bild repräsentiert.
Das Mikroskopiesystem 1 umfasst ferner einen zweiten Farbbilddetektor 49 und einen zweiten Strahlteiler 51. Der zweite Strahlteiler 51 ist in dem zweiten Strahlengang 27 angeordnet, um einen Teil des zweiten Strahlengangs 27 auf den zweiten Farbbilddetektor 49 zu lenken. Mithin bildet die Mikroskopoptik 11 das Objekt 8 auf den zweiten Farbbilddetektor 49 ab, welcher dazu konfiguriert ist, ein Farbbild des Objekts 8 aufzunehmen. Der zweite Farbbilddetektor 49 ist mit der Steuerung 37 verbunden, welche von dem zweiten Farbbilddetektor 49 ein Signal empfängt, welches das von dem zweiten Farbbilddetektor 49 aufgenommene Bild repräsentiert.
2 zeigt eine schematische Darstellung eines Verfahrens zum Bestimmen einer Eigenschaft des Objekts 8.
In einem Schritt S1 wird ein erstes Bild des Objekts 8 aus der ersten Richtung aufgenommen. Dies wird beispielsweise durchgeführt, indem das von dem Objekt 8 ausgehende Licht des ersten Wellenlängenbereichs durch die Mikroskopoptik 11 auf die Detektionsfläche 14 des ersten Lichtbilddetektors 13 abgebildet wird.
Danach oder zeitgleich wird gemäß dem Schritt S2 ein zweites Bild des Objekts 8 aus der zweiten Richtung aufgenommen. Dies erfolgt beispielsweise, indem das von dem Objekt 8 ausgehende Licht des zweiten Wellenlängenbereichs mittels der Mikroskopoptik 11 auf die Detektionsfläche 16 des zweiten Lichtbilddetektors 15 abgebildet wird.
In einem Schritt S3 werden für jeden Ort einer Vielzahl von Orten des Objekts 8 eine erste Position in dem ersten Bild und eine zweite Position in dem zweiten Bild bestimmt, wobei die erste und zweite Position denselben Ort der Vielzahl von Orten des Objekts repräsentieren. Die erste Position in dem ersten Bild und die zweite Position in dem zweiten Bild, die jeweils denselben Ort des Objekts repräsentieren, werden als korrespondierende Positionen bezeichnet. Der Schritt S3 wird von der Steuerung 37 durchgeführt.
Ein beispielhaftes Verfahren zum Bestimmen der korrespondierenden Positionen wird unter Bezugnahme auf 3 näher erläutert. 3 dient der Veranschaulichung eines Verfahrens zum Bestimmen korrespondierender Positionen in dem ersten und zweiten Bild. 3 umfasst drei Diagramme 61, 63 und 65. Das Diagramm 61 zeigt einen Ausschnitt des Objekts 8 in der x-y-Ebene, welche senkrecht zu der in 1 gezeigten z-Achse orientiert ist. Zum Zwecke der Erläuterung enthält der Ausschnitt zwei Strukturen 67 des Objekts 8.
Das Diagramm 63 zeigt das erste Bild B1 und das Diagramm 65 zeigt das zweite Bild B2. Das erste Bild B1 und das zweite Bild B2 bestehen jeweils aus einer Vielzahl von Pixeln, die als mit gestrichelten Linien gekennzeichnete Quadrate dargestellt sind. Die Pixel des ersten Bildes B1 werden durch die diskreten Koordinaten i und j indexiert; die Pixel des zweiten Bildes B2 werden durch die diskreten Koordinaten k und l indexiert. Da das erste Bild B1 und das zweite Bild B2 aus verschiedenen Richtungen in Bezug auf das Objekt 8 aufgenommen wurden, zeigen das erste Bild B1 und das zweite Bild B2 das Objekt 8 aus verschiedenen Perspektiven. Die Aufnahme der beiden Bilder aus verschiedenen Perspektiven ist ein erster Grund dafür, dass das erste Bild B1 und das zweite Bild B2 nicht deckungsgleich sind, was in 3 dadurch veranschaulicht wird, dass das erste und zweite Bild die Strukturen 67 an verschiedenen Positionen enthalten. Ein weiterer Grund dafür, dass das erste Bild B1 und das zweite Bild B2 im Allgemeinen nicht deckungsgleich sind, ist die beschränkte Präzision, mit der die Mikroskopoptik 11 und die Lichtbilddetektoren 13 und 15 aufeinander ausgerichtet sind. Ein weiterer Grund, der im Zusammenhang mit 4 später erläutert wird, ist das Höhenprofil des Objekts 8. Diese verschiedenen Gründe bewirken, dass der in Diagramm 61 dargestellte Ort A des Objekts 8 durch die Mikroskopoptik 11 auf eine erste Position B1-A in dem ersten Bild B1 abgebildet wird und auf eine zweite Position B2-A in dem zweiten Bild B2 abgebildet wird. Dementsprechend unterscheiden sich die Koordinaten i, j desjenigen Pixels in dem Bild B1, welches die Position B1-A enthält, von den Koordinaten k, 1 desjenigen Pixels des zweiten Bildes B2, welches die Position B2-A enthält. Die erste Position B1-A und die zweite Position B2-A sind korrespondierende Positionen, die jeweils den Ort A des Objekts 8 repräsentieren.
In dem in 2 dargestellten Schritt S3 werden korrespondierende Positionen in dem ersten Bild B1 und dem zweiten Bild B2 für eine Vielzahl von Orten des Objekts 8 bestimmt. Dies wird beispielsweise durch Verfahren erreicht, die die Gestalt/Form wenigstens einer der Strukturen 67 des Objekts 8 analysieren und auf diese Weise die korrespondierenden Positionen bestimmen. Beispielsweise wird die Gestalt/Form der Strukturen 67 in dem ersten Bild B1 und in dem zweiten Bild B2 analysiert und mittels Korrelation korrespondierende Positionen bestimmt. Hierzu können das erste Bild B1 und das zweite Bild B2 verwendet werden. Alternativ können jedoch auch andere Bilder verwendet werden, die aus der ersten und zweiten Richtung aufgenommen sind und deren Zuordnung zu dem ersten bzw. zweiten Bild bekannt bzw. bestimmt ist.
Beispielsweise wird mit den in 1 gezeigten Farbbilddetektoren 45 und 49 jeweils ein Farbbild des Objekts 8 aufgenommen und diese beiden Farbbilder werden zum Bestimmen der korrespondierenden Positionen verwendet. Voraussetzung hierfür ist, dass eine Zuordnung bekannt ist, die korrespondierende Positionen zwischen dem von dem ersten Farbbilddetektor 45 aufgenommenen Bild und dem ersten Bild angibt, welches von dem ersten Lichtbilddetektor 13 aufgenommen wird, und dass eine weitere Zuordnung bekannt ist, die korrespondierende Positionen zwischen dem von dem zweiten Farbbilddetektor 49 aufgenommenen Bild und dem zweiten Bild angibt, welches von dem zweiten Lichtbilddetektor 15 aufgenommen wird.
Die Bestimmung der Zuordnung zwischen dem von dem ersten Farbbilddetektor 45 aufgenommenen Bild und dem ersten Bild ist jedoch verhältnismäßig einfach, da diese Bilder aus demselben Strahlengang bzw. aus derselben Richtung in Bezug auf das Objekt 8 aufgenommen werden. Die Bestimmung der Zuordnung zwischen dem von dem zweiten Farbbilddetektor 49 aufgenommenen Bild und dem zweiten Bild ist ebenfalls verhältnismäßig einfach, da auch diese Bilder aus demselben Strahlengang bzw. aus derselben Richtung in Bezug auf das Objekt 8 aufgenommen werden.
Wieder bezugnehmend auf 2 umfasst das Verfahren einen Schritt S4, in welchem eine ortsaufgelöste Verteilung einer Eigenschaft des Objekts 8 basierend auf dem ersten und zweiten Bild sowie basierend auf den korrespondierenden Positionen bestimmt wird. Dies bedeutet, dass für die Vielzahl von Orten des Objekts ein Wert einer Objekteigenschaft bestimmt wird, wobei der einem Ort der Vielzahl von Orten des Objekts 8 zugeordnete Wert unter Verwendung eines Intensitätswerts an der ersten Position, die diesen Ort repräsentiert, in dem ersten Bild und eines Intensitätswerts an der zweiten Position, die diesen Ort repräsentiert, in dem zweiten Bild berechnet wird. Dies wird mit Bezug auf 3 näher erläutert.
In Schritt S4 wird für eine Vielzahl von Orten des Objekts 8, beispielsweise für den Ort A, ein Wert einer Objekteigenschaft berechnet. Der Wert der Objekteigenschaft, der dem Ort A zugeordnet wird, wird berechnet unter Verwendung des Intensitätswerts, den das erste Bild B1 an der ersten Position B1-A aufweist. Der Wert wird ferner basierend auf dem Intensitätswert berechnet, den das zweite Bild B2 an der zweiten Position B2-A aufweist. Es werden daher die Intensitätswerte des ersten und zweiten Bildes an korrespondierenden Positionen verwendet, um den Wert der Objekteigenschaft für den Ort des Objekts 8 zu bestimmen, welcher durch die korrespondierenden Positionen repräsentiert ist.
Der Intensitätswert an der ersten Position in dem ersten Bild kann wiederum basierend auf dem Intensitätswert desjenigen Pixels des ersten Bildes bestimmt werden, welches die erste Position enthält. Ferner oder alternativ kann der Intensitätswert an der ersten Position in dem ersten Bild basierend auf dem Intensitätswert von wenigstens einem derjenigen Pixel des ersten Bildes bestimmt werden, die an das Pixel des ersten Bildes angrenzen, welches die erste Position enthält. Dies wird mit Bezug auf 4 erläutert.
4 zeigt neun Pixel 71 bis 79 der Vielzahl von Pixeln des ersten Bildes B1. Eine beispielhafte erste Position B1-A, für welche ein Intensitätswert bestimmt werden soll, ist durch ein Kreuz innerhalb des Pixels 71 dargestellt. Das Pixel 71 enthält die erste Position B1-A. Daher kann der Intensitätswert des Pixels 71 als der Intensitätswert der ersten Position B1-A bestimmt werden. Die Pixel 72 bis 79 grenzen unmittelbar an das Pixel 71, welches die erste Position B1-A enthält. Daher können die Intensitätswerte der Pixel 72 bis 79 ebenfalls zur Bestimmung des Intensitätswerts der ersten Position B1-A verwendet werden. Beispielsweise wird der Intensitätswert der ersten Position B1-A als Linearkombination der individuell gewichteten Intensitätswerte der Pixel 71 bis 79 bestimmt. Auf analoge Weise kann auch der Intensitätswert an der zweiten Position B2-A in dem zweiten Bild B2 bestimmt werden, die - wie die erste Position B1-A - denselben Ort A des Objekts 8 repräsentiert.
Wieder bezugnehmend auf 2 wird die in Schritt S4 berechnete ortsaufgelöste Verteilung der Objekteigenschaft in einem Schritt S5 dargestellt. Beispielsweise erzeugt die Steuerung 37 ein drittes Bild, welches die berechneten Werte der Objekteigenschaft, d. h. die ortsaufgelöste Verteilung der Objekteigenschaft, darstellt. Dieses monoskopische Bild wird dann von dem Anzeigesystem 39 dargestellt. Die ortsaufgelöste Verteilung der Objekteigenschaft kann in Überlagerung zu einem Bild, insbesondere einem Farbbild, des Objekts dargestellt werden.
Ferner oder alternativ kann die Steuerung 37 ein Stereobild mit einem ersten stereoskopischen Halbbild und einem zweiten stereoskopischen Halbbild erzeugen, wobei das erste Halbbild die Werte der Objekteigenschaft darstellt, insbesondere in Überlagerung mit dem ersten Bild, und wobei das zweite Halbbild die Werte der Objekteigenschaft darstellt, insbesondere in Überlagerung mit dem zweiten Bild. Das Stereobild kann sodann von dem Anzeigesystem 39 dargestellt werden.
Eine weitere Ausführungsform des Verfahrens wird mit Bezug zu den 5 und 6 beschrieben. Diese Ausführungsform entspricht weitestgehend der vorangehend mit Bezug zu 2 beschriebenen Ausführungsform. Nachfolgend werden im Wesentlichen nur die abweichenden Merkmale beschrieben.
5 zeigt einen Teil des in 1 dargestellten Mikroskopiesystems 1, nämlich das Objektiv 21, das erste Linsensystem 25, das zweite Linsensystem 29, den ersten Lichtbilddetektor 13 und den zweiten Lichtbilddetektor 15. Das Objekt 8 ist im Profil dargestellt, d. h. im Querschnitt durch das Objekt 8 in der x-z-Ebene. Das Objekt 8 weist eine sich in Abhängigkeit der x-Richtung verändernde Ausdehnung entlang der z-Richtung auf (Höhenprofil 80). Die z-Richtung entspricht hierbei einer Höhenrichtung des Objekts und die x-Richtung (wie auch die zur x-z-Ebene senkrecht orientierte y-Richtung) entsprechen einer Querrichtung, die zu der Höhenrichtung senkrecht orientiert ist.
Die Mikroskopoptik 11 bildet den Ort A des Objekts 8 über den Strahlengang 23 auf einen Ort 81 auf der Detektionsfläche 14 des ersten Lichtbilddetektors 13 ab. Die Mikroskopoptik 11 bildet den Ort A zudem über den zweiten Strahlengang 27 auf einen Ort 83 auf der Detektionsfläche 16 des zweiten Lichtbilddetektors 15 ab.
Ein weiterer Ort N des Objekts 8 wird durch die Mikroskopoptik 11 über den ersten Strahlengang 23 auf einen Ort 85 auf der Detektionsfläche 14 des ersten Lichtbilddetektors 13 abgebildet. Der Ort N wird von der Mikroskopoptik 11 zudem über den zweiten Strahlengang 27 auf einen Ort 87 auf der Detektionsfläche 16 des zweiten Lichtbilddetektors 15 abgebildet.
Der Abstand zwischen den Orten 81 und 85 ist größer als der Abstand zwischen den Orten 83 und 87. Dies verdeutlicht, dass das Höhenprofil 80 des Objekts 8 beeinflusst, auf welchen Ort auf der Detektionsfläche eines Lichtbilddetektors ein Ort des Objekts abgebildet wird. Dementsprechend hängen auch die erste Position in dem ersten Bild und die zweite Position in dem zweiten Bild, die jeweils einen selben Ort des Objekts repräsentieren, von dem Höhenprofil des Objekts ab.
Bei Kenntnis der Abbildungseigenschaften der Mikroskopoptik 11 können unter Verwendung des Höhenprofils 80 des Objekts 8 korrespondierende Positionen in dem ersten und zweiten Bild von der Steuerung 37 berechnet werden.
6 zeigt eine schematische Übersicht eines Verfahrens gemäß dieser Ausführungsform. Die Schritte S1, S2, S4 und S5 entsprechen den Schritten, die mit Bezug zu 2 erläutert wurden. Gegenüber der mit Bezug zu 2 beschriebenen Ausführungsform umfasst das Verfahren gemäß dieser Ausführungsform den weiteren Schritt S6 sowie einen gegenüber Schritt S3 modifizierten Schritt S7.
In Schritt S6, welcher vor dem Schritt S7 durchgeführt wird, wird das Höhenprofil 80 des Objekts 8 bestimmt. Das Höhenprofil 80 kann mittels verschiedener Verfahren bestimmt werden, beispielsweise mittels Stereoskopie. Alternativ kann ein spezieller Höhenprofil-Sensor verwendet werden, beispielsweise auf Basis der Laufzeitmessung eines von diesem Sensor ausgesendeten und nach Reflektion an dem Objekt 8 von dem Sensor empfangenen Signals (Triangulation) und dergleichen.
In dem Schritt S7, welcher vor Schritt S4 durchgeführt wird, werden, wie in Schritt S3 der mit Bezug zu 2 beschriebenen Ausführungsform, korrespondierende Positionen in dem ersten und zweiten Bild bestimmt, wobei im Unterschied zu Schritt S3 die Bestimmung der korrespondierenden Positionen auf Basis des in Schritt S6 bestimmten Höhenprofils 80 durchgeführt wird. Dementsprechend werden die erste Position in dem ersten Bild und die zweite Position in dem zweiten Bild, die jeweils einen selben Ort der Vielzahl von Orten des Objekts repräsentieren, auf Basis des Höhenprofils 80 bestimmt. Bei dieser Bestimmung können ferner Abbildungseigenschaften der Mikroskopoptik 11 berücksichtigt werden.
Im Unterschied zu dem im Zusammenhang mit 3 erläuterten Verfahren zum Bestimmen korrespondierender Positionen in dem ersten und zweiten Bild gemäß Schritt S3 ist für die Bestimmung der korrespondierenden Positionen gemäß Schritt S7 nicht erforderlich, dass das Objekt 8 kontraststarke Strukturen aufweist (vergleiche Strukturen 67 in 3).
Die vorangehend beschriebenen Verfahren können zum Bestimmen verschiedener Eigenschaften eines Objekts verwendet werden. Nachfolgend werden einige Anwendungsbeispiele beschrieben.
Gemäß einer Ausführungsform wird das Verfahren zum Bestimmen der Konzentration eines in dem Objekt vorhandenen Stoffes verwendet. Hierzu wird das Objekt mit Beleuchtungslicht belichtet, so dass das von dem Objekt ausgehende Licht Licht des ersten Wellenlängenbereichs und Licht des zweiten Wellenlängenbereichs umfasst.
7 zeigt das wellenlängenabhängige Umwandlungsverhältnis von Beleuchtungslicht zu von dem Objekt ausgehendem Licht. Eine Kurve 91 definiert das Umwandlungsverhältnis für einen ersten in dem Objekt 8 vorhandenen Stoff; die Kurve 93 definiert das Umwandlungsverhältnis für einen zweiten in dem Objekt vorhandenen Stoff. Das wellenlängenabhängige Umwandlungsverhältnis der beiden Stoffe (Kurven 91, 93) unterscheidet sich voneinander.
Der erste Wellenlängenbereich 95 und der zweite Wellenlängenbereich 97 sind im Allgemeinen zwei verschiedene Wellenlängenbereiche. Insbesondere können Sie sich höchstens teilweise überlappen oder auch nicht überlappen. In dem in 7 gezeigten Beispiel überlappen sich die beiden Wellenlängenbereiche nicht.
Das auf das Objekt gerichtete Beleuchtungslicht wird gemäß den Kurven 91 und 93 von den beiden in dem Objekt 8 enthaltenen Stoffen umgewandelt und trägt folglich zu dem von dem Objekt 8 ausgehenden Licht bei. Das von dem Objekt 8 ausgehende Licht umfasst daher Licht des ersten Wellenlängenbereichs 95 und Licht des zweiten Wellenlängenbereichs 97.
Mit Kenntnis der Umwandlungsverhältnisse der in dem Objekt 8 enthaltenen Stoffe (Kurven 91 und 93), der wellenlängenabhängigen Intensitätsverteilung des Beleuchtungslichts, dem aufgenommenen ersten Bild, dem aufgenommenen zweiten Bild und den korrespondierenden Positionen in dem ersten und zweiten Bild kann eine ortsaufgelöste Verteilung der Konzentration der in dem Objekt enthaltenen Stoffe berechnet werden. Details zur Berechnung können beispielsweise den deutschen Patentanmeldungen DE 10 2017 221 187.3 und DE 10 2017 215 158.7 entnommen werden, deren Offenbarung durch Bezugnahme hierin aufgenommen ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017221187 [0041, 0097]
DE 102017215158 [0041, 0097]

Claims

Verfahren zum Bestimmen einer Eigenschaft eines Objekts (8), umfassend: Aufnehmen eines ersten Bildes (B1) des Objekts (8) aus einer ersten Richtung, indem das Objekt (8) mit von dem Objekt (8) ausgehendem Licht eines ersten Wellenlängenbereichs (95) mittels einer Mikroskopoptik (11) auf eine Detektionsfläche (14) eines ersten Lichtbilddetektors (13) abgebildet wird; Aufnehmen eines zweiten Bildes (B2) des Objekts (8) aus einer zweiten Richtung, indem das Objekt (8) mit von dem Objekt (8) ausgehendem Licht eines zweiten Wellenlängenbereichs (97) mittels der Mikroskopoptik (11) auf eine Detektionsfläche (16) eines zweiten Lichtbilddetektors (15) abgebildet wird; Bestimmen einer ersten Position (B1-A) in dem ersten Bild (B1), welche einen Ort (A) des Objekts (8) repräsentiert, und einer zweiten Position (B2-A) in dem zweiten Bild (B2), welche denselben Ort (A) des Objekts (8) repräsentiert, für eine Vielzahl (A, N) von Orten des Objekts (8); und Berechnen eines Werts einer Objekteigenschaft für jeden der Vielzahl (A, N) von Orten des Objekts (8), wobei der einem Ort (A) der Vielzahl von Orten des Objekts (8) zugeordnete Wert unter Verwendung eines Intensitätswerts an der ersten Position (B1-A), die diesen Ort (A) repräsentiert, in dem ersten Bild (B1) und eines Intensitätswerts an der zweiten Position (B2-A), die diesen Ort (A) repräsentiert, in dem zweiten Bild (B2) berechnet wird.
Verfahren nach Anspruch 1, wobei die erste Position (B1-A) in dem ersten Bild (B1) einem ersten Ort (81) auf der Detektionsfläche (14) des ersten Lichtbilddetektors (13) entspricht, wobei der durch die erste Position (B1-A) repräsentierte Ort (A) des Objekts (8) mittels der Mikroskopoptik (11) auf den ersten Ort (81) der Detektionsfläche (14) des ersten Lichtbilddetektors (13) abgebildet wird; wobei die zweite Position (B2-A) in dem zweiten Bild (B2) einem zweiten Ort (83) auf der Detektionsfläche (16) des zweiten Lichtbilddetektors (15) entspricht, wobei der durch die zweite Position (B2-A) repräsentierte Ort (A) des Objekts (8) mittels der Mikroskopoptik (11) auf den zweiten Ort (83) der Detektionsfläche (16) des zweiten Lichtbilddetektors (15) abgebildet wird.
Verfahren nach Anspruch 1 oder 2, wobei das erste Bild (B1) eine Vielzahl von ersten Pixeln aufweist und jedem ersten Pixel ein Intensitätswert zugeordnet ist; wobei der Intensitätswert an der ersten Position (B1-A) basierend auf dem Intensitätswert desjenigen ersten Pixels (71) bestimmt wird, welches die erste Position (B1-A) enthält, und/oder wobei der Intensitätswert an der ersten Position (B1-A) basierend auf dem Intensitätswert von wenigstens einem der ersten Pixel (72 bis 79) bestimmt wird, die an das Pixel (71) angrenzen, welches die erste Position (B1-A) enthält.
Verfahren nach einem der Ansprüche 1 bis 3, wobei das zweite Bild (B2) eine Vielzahl von zweiten Pixeln aufweist und jedem zweiten Pixel ein Intensitätswert zugeordnet ist; wobei der Intensitätswert an der zweiten Position (B2-A) basierend auf dem Intensitätswert desjenigen zweiten Pixels bestimmt wird, welches die zweite Position (B2-A) enthält, und/oder wobei der Intensitätswert an der zweiten Position (B2-A) basierend auf dem Intensitätswert von wenigstens einem der zweiten Pixel bestimmt wird, die an das Pixel angrenzen, welches die zweite Position (B2-A) enthält.
Verfahren nach einem der Ansprüche 1 bis 4, wobei die erste Position (B1-A) und die zweite Position (B2-A) für jeden Ort der Vielzahl von Orten des Objekts (8) auf Basis einer Analyse von Bildern des Objekts (8), insbesondere auf Basis einer Analyse des ersten und zweiten Bildes (B1, B2), bestimmt werden, wobei die Gestalt wenigstens einer Struktur (67) des Objekts (8) in den Bildern analysiert wird.
Verfahren nach einem der Ansprüche 1 bis 5, ferner umfassend: Bestimmen einer Koordinatentransformation, welche einen Übergang von Koordinaten eines ersten Koordinatenraums des ersten Bildes in einen zweiten Koordinatenraum des zweiten Bildes definiert; und wobei die erste Position (B1-A) und die zweite Position (B2-A) für jeden Ort der Vielzahl von Orten des Objekts (8) auf Basis der Koordinatentransformation bestimmt werden.
Verfahren nach Anspruch 6, wobei die Koordinatentransformation durch einen oder mehrere Parameter aus einer Gruppe von Parametern parametrisiert ist, wobei die Gruppe von Parametern umfasst: Verschiebung zwischen dem ersten und zweiten Koordinatenraum, Drehung des ersten Koordinatenraums gegenüber dem zweiten Koordinatenraum, Vergrößerung der Mikroskopieoptik beim Aufnehmen des ersten und/oder zweiten Bildes, die erste und/oder zweite Richtung, Abbildungsfehler der Mikroskopieoptik und ein Höhenprofil des Objekts.
Verfahren nach Anspruch 6 oder 7, wobei die Koordinatentransformation eine projektive Transformation, eine affine Transformation, eine Ähnlichkeitstransformation oder eine Euklidische Transformation ist.
Verfahren nach einem der Ansprüche 1 bis 8, ferner umfassend: Bestimmen eines Höhenprofils (80) des Objekts (8), welches die entlang einer Höhenrichtung bemessene Ausdehnung des Objekts (8) in Abhängigkeit wenigstens einer zu der Höhenrichtung senkrecht orientierten Querrichtung angibt, wobei die erste Position (B1-A) und die zweite Position (B2-A) für jeden Ort der Vielzahl von Orten des Objekts (8) auf Basis des Höhenprofils (80) bestimmt werden.
Verfahren nach Anspruch 9, wobei das Höhenprofil (80) des Objekts (8) mittels Triangulation oder Stereoskopie bestimmt wird.
Verfahren nach einem der Ansprüche 1 bis 10, wobei sich der erste Wellenlängenbereich (95) und der zweite Wellenlängenbereich (97) höchstens teilweise überschneiden, insbesondere nicht überschneiden.
Verfahren nach einem der Ansprüche 1 bis 11, ferner umfassend: Belichten des Objekts (8) mit Beleuchtungslicht (5), sodass das von dem Objekt (8) ausgehende Licht Licht des ersten Wellenlängenbereichs (95) und Licht des zweiten Wellenlängenbereichs (97) umfasst; wobei die Objekteigenschaft die Konzentration eines von mehreren in dem Objekt (8) vorhandenen Stoffen ist, wobei jeder der Stoffe durch die Belichtung mit dem Beleuchtungslicht zur Erzeugung des von dem Objekt (8) ausgehenden Lichts beiträgt.
Verfahren nach einem der Ansprüche 1 bis 12, ferner umfassend: Belichten des Objekts (8) mit Licht des ersten Wellenlängenbereichs (95) und mit Licht des zweiten Wellenlängenbereichs (97); wobei das erste Bild (B1) im Wesentlichen ausschließlich mit von dem Objekt (8) ausgehendem Licht des ersten Wellenlängenbereichs (95) aufgenommen wird; wobei das zweite Bild (B2) im Wesentlichen ausschließlich mit von dem Objekt (8) ausgehendem Licht des zweiten Wellenlängenbereichs (97) aufgenommen wird; und wobei die Objekteigenschaft die Konzentration einer hämodynamischen Größe ist, sodass eine ortsaufgelöste Verteilung der Konzentration dieser hämodynamischen Größe berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 12, ferner umfassend: Anregen mehrerer verschiedener, in dem Objekt (8) verteilter Fluoreszenzemitter, sodass das von dem Objekt (8) ausgehende Licht Fluoreszenzlicht der mehreren Fluoreszenzemitter umfasst; wobei das erste Bild (B1) im Wesentlichen ausschließlich mit Licht des ersten Wellenlängenbereichs (95) aufgenommen wird; wobei das zweite Bild (B2) im Wesentlichen ausschließlich mit Licht des zweiten Wellenlängenbereichs (97) aufgenommen wird; wobei der erste und zweite Wellenlängenbereich (95, 97) zusammen jeden der Emissionswellenlängenbereiche der mehreren Fluoreszenzemitter wenigstens teilweise umfassen; und wobei die Objekteigenschaft die Konzentration eines der mehreren Fluoreszenzemitter ist, sodass eine ortsaufgelöste Verteilung der Konzentration dieses Fluoreszenzemitters berechnet wird.
Verfahren nach Anspruch 14, wobei einer der mehreren Fluoreszenzemitter ein dem Objekt (8) zugefügter Fluoreszenzfarbstoff ist, insbesondere Protoporphyrin IX; und/oder wobei einer der mehreren Fluoreszenzemitter kein dem Objekt (8) zugefügter Fluoreszenzfarbstoff ist.
Verfahren nach einem der Ansprüche 1 bis 15, ferner umfassend: Filtern des von dem Objekt (8) ausgehenden Lichts so, dass dem ersten Lichtbilddetektor (13) im Wesentlichen ausschließlich Licht des ersten Wellenlängenbereichs (95) zugeführt wird, sodass das erste Bild (B1) im Wesentlichen ausschließlich mit von dem Objekt (8) ausgehendem Licht des ersten Wellenlängenbereichs (95) aufgenommen wird; und Filtern des von dem Objekt (8) ausgehenden Lichts so, dass dem zweiten Lichtbilddetektor (15) im Wesentlichen ausschließlich Licht des zweiten Wellenlängenbereichs (97) zugeführt wird, sodass das zweite Bild (B2) im Wesentlichen ausschließlich mit von dem Objekt (8) ausgehendem Licht des zweiten Wellenlängenbereichs (97) aufgenommen wird.
Verfahren nach einem der Ansprüche 1 bis 16, ferner umfassend: Erzeugen und Darstellen eines dritten Bildes, welches die Werte der Objekteigenschaft darstellt.
Verfahren nach einem der Ansprüche 1 bis 17, ferner umfassend: Erzeugen und Darstellen eines Stereobildes mit einem ersten stereoskopischen Halbbild und einem zweiten stereoskopischen Halbbild, wobei das erste Halbbild die Werte der Objekteigenschaft darstellt, insbesondere in Überlagerung mit dem ersten Bild (B1), und wobei das zweite Halbbild die Werte der Objekteigenschaft darstellt, insbesondere in Überlagerung mit dem zweiten Bild (B2).
Vorrichtung (1), welche dazu konfiguriert ist, das Verfahren nach einem der Ansprüche 1 bis 18 auszuführen.