DE102016101967B9

DE102016101967B9 - Verfahren und Vorrichtungen zur Stereobilddarstellung

Info

Publication number: DE102016101967B9
Application number: DE102016101967.4A
Authority: DE
Inventors: Christoph Husemann; Lars Stoppe; Tanja Teuber; Lars Omlor; Kai Wicker; Enrico Geissler; Senthil Kumar Lakshmanan
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2016-02-04
Filing date: 2016-02-04
Publication date: 2022-06-30
Anticipated expiration: 2036-02-05
Also published as: DE102016101967A1; DE102016101967B4; CN108604006A; WO2017133925A1; US20210026126A1; US11442263B2

Abstract

Verfahren zur Stereobilddarstellung, umfassend:Aufnehmen einer Vielzahl von Bildern eines Objekts (12), wobei ein Bildaufnahmeparameter über die Vielzahl von Bildern variiert wird, wobei der Bildaufnahmeparameter eine Beleuchtungsrichtung umfasst, sodass die Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen aufgenommen wird,Bestimmen eines ersten Ergebnisbildes und eines zweiten Ergebnisbildes, wobei für das Bestimmen des ersten Ergebnisbildes und des zweiten Ergebnisbildes jeweils mindestens zwei Bilder der Vielzahl von Bildern kombiniert werden, wobei das erste Ergebnisbild und das zweite Ergebnisbild ein Stereobildpaar zur Stereobilddarstellung bilden, wobei das Bestimmen des ersten und zweiten Ergebnisbildes umfasst:Berechnen eines ersten Phasenkontrastbildes, welches in einer ersten Richtung einen erhöhten Phasenkontrast aufweist, und eines zweiten Phasenkontrastbildes, welches in einer von der ersten Richtung verschiedenen zweiten Richtung einen erhöhten Phasenkontrast aufweist, auf Basis der Vielzahl von Bildern, undBerechnen des ersten und zweiten Ergebnisbildes auf Basis des ersten und zweiten Phasenkontrastbildes.

Description

Die vorliegende Anmeldung betrifft Verfahren und Vorrichtungen zur Stereobilddarstellung, insbesondere bei Mikroskopvorrichtungen oder anderen optischen Vorrichtungen.
Vorrichtungen zur Stereobildgebung, auch als Stereoaufnahmesysteme bezeichnet, vermitteln einen dreidimensionalen Eindruck eines betrachteten Objekts. Ein Beispiel hierfür sind Stereomikroskope, bei welchen ein dreidimensionaler Eindruck einer mikroskopierten Probe vermittelt wird. Dazu wird beispielsweise bei herkömmlichen rein optischen Lösungen jedem Auge eines menschlichen Betrachters ein eigener Strahlengang zur Verfügung gestellt. Jeder der beiden Strahlengänge schneidet einen anderen Teil der Objektivpupille aus, sodass die beiden Strahlengänge Abbildungen des Objekts aus verschiedenen Richtungen bewerkstelligen.
Verschiedene herkömmliche Ansätze zur rein optischen Stereomikroskopie sind in einem Produktprospekt „Spatial Image Microscopy“ der Carl Zeiss Microscopy oder in der EP 0730 181 A2 dargestellt.
Die DE 20 2013 011 877 U1 offenbart ein Verfahren und eine Vorrichtung, wobei Stereobilder in zwei Stereokanälen getrennt aufgenommen werden. Für jeden Stereokanal können Bilder unterschiedlicher Auflösung und Schärfentiefe, die bei unterschiedlichen numerischen Aperturen aufgenommen werden, zu einem Ergebnisbild für den jeweiligen Stereokanal kombiniert werden.
Die US 7,693,256 B2 offenbart ein stereoskopisches Phasenkontraströntgensystem. Dabei werden zum Erzeugen von Stereobildern verschiedene Winkel zur Beleuchtung verwendet, die zu getrennten Bildern führen, die mit getrennten Bildsensoren oder auf verschiedenen Stellen eines Bildsensors abgebildet werden. Alternativ zur Veränderung des Beleuchtungswinkels kann auch der Patient verkippt werden, was effektiv ebenfalls eine Änderung des Beleuchtungswinkels und der Aufnahmeperspektive bedeutet.
Es ist eine Aufgabe der vorliegenden Anmeldung, Verfahren und Vorrichtungen zur Stereobilddarstellung bereitzustellen, welche insbesondere digitale Möglichkeiten zur Stereobilddarstellung nutzen.
Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1 sowie durch eine Vorrichtung nach Anspruch 9. Die Unteransprüche definieren weitere Ausführungsformen.
Gemäß einem ersten Aspekt wird ein Verfahren zur Stereobilddarstellung bereitgestellt, umfassend:

Aufnehmen einer Vielzahl von Bildern eines Objekts, wobei ein Bildaufnahmeparameter über die Vielzahl von Bildern variiert wird,
Berechnen eines ersten Ergebnisbildes und eines zweiten Ergebnisbildes, wobei für das Berechnen des ersten Ergebnisbildes und des zweiten Ergebnisbildes jeweils mindestens zwei Bilder der Vielzahl von Bildern kombiniert werden, wobei das erste Ergebnisbild und das zweite Ergebnisbild ein Stereobildpaar zur Stereobilddarstellung bilden. Zu bemerken ist, dass die mindestens zwei Bilder für das erste und zweite Ergebnisbild ganz oder teilweise dieselben Bilder sein können. Beispielsweise kann bei manchen Ausführungsformen die Vielzahl von Bildern insgesamt nur zwei Bilder umfassen, die dann sowohl für die Berechnung des ersten Ergebnisbildes als auch für die Berechnung des zweiten Ergebnisbildes verwendet werden.

Durch die Berechnung der zwei Ergebnisbilder auf Basis von Kombination von Bildern kann beispielsweise ein Strahlengang verglichen mit einer rein optischen Lösung vereinfacht gestaltet werden, da beispielsweise mit einer Kameraeinrichtung für alle Bilder der gleiche Bildausschnitt aufgenommen werden kann.
Das Verfahren kann weiter ein Anzeigen des ersten Ergebnisbildes für ein linkes Auge eines Benutzers und des zweiten Ergebnisbildes für ein rechtes Auge des Benutzers umfassen.
Der Bildaufnahmeparameter umfasst eine Beleuchtungsrichtung, sodass die Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen aufgenommen wird.
Hierdurch können die Ergebnisbilder mit verschiedenen Parametern berechnet werden.
Erfindungsgemäß umfasst das Bestimmen des ersten und zweiten Ergebnisbildes:

Berechnen eines ersten Phasenkontrastbildes, welches in einer ersten Richtung einen erhöhten Phasenkontrast aufweist, und eines zweiten Phasenkontrastbildes, welches in einer von der ersten Richtung verschiedenen zweiten Richtung einen erhöhten Phasenkontrast aufweist, auf Basis der Vielzahl von Bildern, und
Berechnen des ersten Ergebnisbildes auf Basis des ersten und zweiten Phasenkontrastbildes und des zweiten Ergebnisbildes auf Basis des ersten und zweiten Phasenkontrastbildes.

Das Aufnehmen der Vielzahl von Bildern kann ein Aufnehmen einer ersten Vielzahl von Bildern mit Beleuchtungsrichtungen in einem ersten Beleuchtungsrichtungsbereich und ein Aufnehmen einer zweiten Vielzahl von Bildern mit Beleuchtungsrichtungen in einem von dem ersten Beleuchtungsrichtungsbereich verschiedenen zweiten Beleuchtungsrichtungsbereich umfasst, wobei das erste Ergebnisbild auf Basis der ersten Vielzahl von Bildern und das zweite Ergebnisbild auf Basis der zweiten Vielzahl von Bildern berechnet wird.
Auf diese Weise kann eine Stereoperspektive durch die Beleuchtungsrichtungsbereiche vorgegeben werden, während durch die Aufnahme der ersten und zweiten Vielzahl verschiedene Bildverbesserungen ermöglicht werden.
Das erste Ergebnisbild und das zweite Ergebnisbild können jeweils als Phasenkontrastbild berechnet werden. So sind neben der „klassischen“ Stereobilddarstellung mit Intensitätsbildern auch andere Arten von Bilder möglich.
Ein derartiges Verfahren kann weiter umfassen:

Vorgeben einer Betrachtungsperspektive, wobei das Bestimmen des ersten und zweiten Ergebnisbildes auf Basis der Betrachtungsperspektive erfolgt.

So kann eine Perspektive der Gesamtbetrachtung innerhalb gewisser Grenzen frei gewählt werden.
Das Verfahren kann zudem ein Vorgeben eines Stereowinkels umfassen, wobei das Bestimmen des ersten und zweiten Ergebnisbildes derart erfolgt, dass sich die Perspektiven des ersten und zweiten Ergebnisbildes um den vorgegebenen Stereowinkel unterscheiden.
So kann z.B. der Stereowinkel an einen Augenabstand eines Betrachters angepasst werden.
Perspektiven des ersten Ergebnisbildes und des zweiten Ergebnisbildes können sich um einen Winkel unterscheiden, welcher zwischen 11° und 16° liegt.
Ein derartiger Winkel entspricht dem Konvergenzwinkel bei Nahakkumulation und ermöglicht somit einen natürlichen Seheindruck.
Das Verfahren kann weiter ein Durchführen einer digitalen Bildverbesserung mit der Vielzahl von Bildern, dem ersten Ergebnisbild und/oder dem zweiten Ergebnisbild umfassen.
Es können also herkömmliche Verfahren der digitalen Bildverarbeitung einfach integriert werden.
Gemäß einem zweiten Aspekt wird eine Vorrichtung bereitgestellt, umfassend:

eine Bildaufnahmeeinrichtung zum Aufnehmen einer Vielzahl von Bildern eines Objekts, wobei die Bildaufnahmeeinrichtung eingerichtet ist, einen Bildaufnahmeparameter über die Vielzahl von Bildern zu variieren, und
eine Recheneinrichtung zum Bestimmen eines ersten Ergebnisbildes und eines zweiten Ergebnisbildes auf Basis der Vielzahl von Bildern, wobei für das erste Ergebnisbild und das zweite Ergebnisbild jeweils mindestens zwei Bilder der Vielzahl von Bildern kombiniert werden, sodass das erste Ergebnisbild und das zweite Ergebnisbild ein Stereobildpaar bilden.

Der Bildaufnahmeparameter umfasst eine Beleuchtungsrichtung, sodass die Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen aufgenommen wird. Hierdurch können die Ergebnisbilder mit verschiedenen Parametern berechnet werden.
Erfindungsgemäß umfasst das Bestimmen des ersten und zweiten Ergebnisbildes:

Diese Vorrichtung entspricht im Wesentlichen dem Verfahren des ersten Aspekts.
Die Bildaufnahmeeinrichtung kann insbesondere eine Mikroskopeinrichtung umfassen.
Die Vorrichtung kann weiter eine stereoskopische Anzeigevorrichtung zum Anzeigen des ersten Ergebnisbildes für ein linkes Auge eines Betrachters und des zweiten Ergebnisbildes für ein rechtes Auge eines Betrachters umfassen.
Die Vorrichtung kann zur Durchführung eines der oben beschriebenen Verfahren eingerichtet sein.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen näher erläutert. Es zeigen:

1 ist eine schematische Darstellung einer Vorrichtung gemäß einem Ausführungsbeispiel.
2 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel.
3 ist eine schematische Darstellung einer Vorrichtung gemäß einem weiteren Ausführungsbeispiel,
4 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem weiteren Ausführungsbeispiel,
5 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem weiteren Ausführungsbeispiel,
6 Beispielbilder, die mit Ausführungsbeispielen erzeugbar sind, und
7 weitere Beispielbilder, wie sie mit Ausführungsbeispielen erzeugbar sind.

Im Folgenden werden verschiedene Ausführungsbeispiele unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Merkmalen oder Elementen nicht dahingehend auszulegen, dass alle diese Merkmale oder Elemente zur Implementierung von Ausführungsbeispielen notwendig sind. Vielmehr können andere Ausführungsbeispiele alternative Merkmale oder Elemente und/oder weniger Merkmale oder Elemente als die dargestellten und beschriebenen Ausführungsbeispiele aufweisen. Zudem können zusätzliche Merkmale oder Elemente, insbesondere herkömmliche in Bildaufnahmevorrichtungen und Mikroskopvorrichtungen verwendete Merkmale oder Elemente, bereitgestellt werden, auch wenn diese im Folgenden nicht explizit beschrieben oder in den Figuren dargestellt sind.
Merkmale verschiedener Ausführungsbeispiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Variationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein.
Bei den im Folgenden beschriebenen Ausführungsbeispielen werden mehrere Bilder eines Objekts aufgenommen. Dabei wird ein Aufnahmeparameter variiert, beispielsweise eine Fokusebene oder eine Beleuchtungsrichtung. Dabei sind Varianten, bei denen die Fokuseben verändert wird, keine beanspruchten Ausführungsbeispiele. Bei einem Aspekt werden dann auf Basis der so aufgenommenen Bilder zwei Ergebnisbilder berechnet, welche dann als Stereobildpaar angezeigt werden. Dieses Konzept wird nachfolgend unter Bezugnahme auf die 1-4 näher erläutert, wobei im Falle der 1 und 2 bei nicht beanspruchten Ausführungsbeispielen ein Bildfokus als Bildaufnahmeparameter variiert wird und im Falle der 3 und 4 erfindungsgemäß eine Beleuchtungsrichtung als Bildaufnahmeparameter variiert wird. Gemäß einem weiteren nicht beanspruchten Ausführungsbeispiel ist der variierte Beleuchtungsparameter die Beleuchtungsrichtung, und zwei Bilder, die aus verschiedenen Beleuchtungsrichtungen aufgenommen wurden, werden direkt als Stereobildpaar angezeigt. Dieser Aspekt wird unter Bezugnahme auf die 5 näher erläutert. Schließlich werden unter Bezugnahme auf die 6 und 7 Beispielbilder erläutert, welche mit Vorrichtungen gemäß Ausführungsbeispielen erzeugt werden können.
In 1 ist eine Vorrichtung zur stereoskopischen Bilddarstellung gemäß einem Ausführungsbeispiel dargestellt. Die Vorrichtung der 1 umfasst eine Bildaufnahmeeinrichtung 10, um Bilder einer Probe 12 aufzunehmen, die auf einem Probenträger 13 angeordnet ist. Die Bildaufnahmeeinrichtung 10 kann dazu eine geeignete Optik sowie einen Bildsensor, beispielsweise einen CMOS-Sensor oder einen CCD-Sensor, zur Bildaufnahme umfassen. Bei einem Ausführungsbeispiel ist die Bildaufnahmeeinrichtung 10 als Mikroskop ausgestaltet, und über einen geeigneten Bildsensor kann dann ein Mikroskopbild der Probe 12 (bzw. eines Ausschnitte hiervon) aufgenommen werden. Ein derartiges Mikroskop kann beispielsweise als Lichtmikroskop und/oder als inverses Mikroskop ausgestaltet sein und z.B. zu medizinischen Diagnosezwecken oder zur Materialuntersuchung dienen, ist jedoch nicht hierauf begrenzt.
Wie durch einen Pfeil 11 angedeutet kann dabei eine Fokusebene der Optik verändert werden, sodass Bilder mit verschiedenen Fokuseinstellungen, insbesondere unterschiedlicher Defokussierung, aufgenommen werden können. Dies kann beispielsweise durch eine Bewegung optischer Komponenten relativ zueinander, oder durch eine Bewegung von Teilen der Bildaufnahmeeinrichtung 10 in Richtung des Pfeils 11 (im Folgenden als z-Richtung bezeichnet, also einer Richtung senkrecht zu einer Oberfläche des Trägers 13) relativ zu der Probe 12 erfolgen. Auf diese Weise können sequenziell mehrere Bilder mit unterschiedlichen Fokuseinstellungen aufgenommen werden (auch als Defokusstapel bezeichnet).
Auch andere Möglichkeiten zur Erzeugung unterschiedlicher Defokussierungen zur Aufnahme der Bilder können verwendet werden. Beispielsweise kann der Fokus in z-Richtung mittels eines deformierbaren Spiegels verändert werden. Hier ist eine schnelle Fokusänderung möglich.
Bei anderen nicht beanspruchten Ausführungsbeispielen können auch mittels eines Strahlteilers zwei oder mehr Strahlgänge mit unterschiedlichen Fokusebenen, insbesondere unterschiedlicher Defokussierung, erzeugt werden. Diese können dann zu simultanen Bildaufnahmen, beispielsweise durch verschiedene Teile eines Bildsensors oder durch verschiedene Bildsensoren, verwendet werden. Diese Herangehensweise ist auch als Multifokalmikroskopie bekannt. Auch diffraktive Herangehensweisen können verwendet werden, z.B. die diffraktive Multifokalmikroskopie. Dabei werden mittels eines diffraktiven Elements verschiedene Defokussierungen auf einem Sensor erzeugt. Diese Herangehensweise ist z.B. in S. Abrahamson [et al.]: Fast multicolor 3D imaging using aberration-corrected multifocus microscopy. In: Nature Methods, 10, 2013, 60-63. ISSN: 1548-7105 beschrieben. Hier sind also verschiedene Ansätze möglich, solange eine Vielzahl von Bildern mit unterschiedlichen Fokusebenen, insbesondere unterschiedlicher Defokussierung, aufgenommen werden kann. Die Bildaufnahme mit der Bildaufnahmeeinrichtung 10 ist insbesondere im Wesentlichen mit jeder Kamera möglich, welche eine ausreichend geringe Tiefenschärfe aufweist, sodass Bilder mit verschiedener Defokussierung aufgenommen werden können.
Die aufgenommenen Bilder werden dann einer Recheneinrichtung 14 zur Verarbeitung zugeführt. Die Recheneinrichtung 14 kann dabei beispielsweise ein herkömmlicher entsprechend programmierter Computer, eine andere Art digitaler Signalverarbeitung, beispielsweise mittels digitaler Signalprozessoren, oder auch eine mittels oder teilweise mittels spezieller Hardware (beispielsweise mit anwendungsspezifischen integrierten Schaltungen, ASIC) implementierte Logik sein. Allgemein kann jede geeignete Kombination aus Hardware, Firmware und Software verwendet werden, um eine geeignete Bildverarbeitung zu implementieren.
Die Recheneinrichtung 14 berechnet dann aus den aufgenommenen Bildern, insbesondere durch Kombinieren der Bilder, zwei Ergebnisbilder mit unterschiedlicher Perspektive. Dabei können für die Ergebnisbilder jeweils dieselben Bilder kombiniert werden (mit unterschiedlicher Berechnung), oder es können ganz oder teilweise verschiedene Bilder verwendet werden. Bei einem bevorzugten Ausführungsbeispiel unterscheiden sich die beiden Perspektiven der beiden Ergebnisbilder dabei um etwa 11° bis 16°, was einem Konvergenzwinkel bei Nahakkomodation der Augen bei etwa 25 cm entspricht. Der genaue Wert kann beispielsweise abhängig von einem Augenabstand eines Benutzers der Vorrichtung gewählt werden. Die Berechnung der Ergebnisbilder mit verschiedenen Perspektiven kann beispielsweise wie in A. Orth; K.B. Crozier: Light Field Moment Imaging. In: Optics Letters, 38, 2013, 15, 2666-2668. ISSN: 1539-4794 beschrieben Alternative Herangehensweisen sind in A. Mousnier, E. Vural, C. Guillemot: Partial Light Field Tomographic Reconstruction from a Fixed-Camera Focal Stack. In: Computer Science, 2015 eingereicht bei IEEE Trans. on Image Processing oder in C. Birklbauer; O. Bimber: Light-Field Retargeting. In: Proceedings of Eurographics Computer Graphics Forum, 31, 2012, 2, 295-303. ISSN 0167-7055 beschrieben.
Die so berechneten Bilder werden dann auf einer Anzeigeeinrichtung für ein linkes und ein rechtes Auge eines Betrachters dargestellt. Diese Anzeigeeinrichtung ist in 1 durch eine linke Anzeige 15A und eine rechte Anzeige 15B symbolisiert. Beispielsweise können die Anzeigen 15A, 15B mittels geeigneter Displays, beispielsweise TFT-Displays oder OLED-Displays, realisiert werden, welche durch eine entsprechende Optik betrachtet werden können. Die Anzeigen 15A, 15B können als digitales Okular, als am Kopf getragene Anzeigeeinrichtung (HMD, vom Englischen „Head Mounted Display“), als 3D-Monitor oder als Videobrille/Datenbrille ausgestaltet sein. Es kann auch eine Anzeige auf mehreren Anzeigevorrichtungen erfolgen, sodass die Bilder von mehreren Personen gleichzeitig betrachtet werden können (digitale Co-Observation). Diese Betrachtungseinrichtung kann mit der Bildaufnahmeeinrichtung 10 und gegebenenfalls der Recheneinrichtung 14 in einem Gerät, beispielsweise einem Mikroskopaufbau, implementiert sein. Die Ergebnisbilder können jedoch auch übertragen werden und entfernt von der Bildaufnahmeeinrichtung 10 betrachtet werden. Die Betrachtung kann dabei in Echtzeit oder auch zeitversetzt erfolgen.
In 2 ist ein entsprechendes Verfahren dargestellt, welches beispielsweise in der Vorrichtung der 1 durchgeführt werden kann. Details, Abwandlungen und Varianten, welche unter Bezugnahme auf 1 beschrieben wurden, sind auch auf das Verfahren der 2 anwendbar. Derartige Details werden zur Vermeidung von Wiederholungen bei der folgenden Beschreibung der 2 nicht nochmals wiederholt.
In einem Schritt 20 des Verfahrens der 2 werden mindestens zwei Bilder mit unterschiedlichen Fokuseinstellungen, insbesondere unterschiedlicher Defokussierung, aufgenommen. In Schritt 21 werden dann aus diesen Bildern zwei Ergebnisbilder mit unterschiedlichen Perspektiven berechnet, wobei insbesondere zur Berechnung eines der Ergebnisbilder zwei oder mehr Bilder der mindestens zwei Bilder des Schritts 20 miteinander kombiniert, das heißt verrechnet, werden können. In Schritt 22 werden die Ergebnisbilder dann als Stereobildpaar angezeigt, beispielsweise wie für die 1, Anzeigen 15A und 15B, erläutert.
Die Herangehensweise der 1 und 2 kann gegenüber klassischen Stereomikroskopen verschiedene Vorteile aufweisen. Zum Beispiel ist kein doppelter Strahlengang nötig, sondern die Bilder mit unterschiedlichem Defokus können mit einem einzigen Strahlengang sequenziell aufgenommen werden. Dies erlaubt eine einfachere Optik.
Zudem kann in einem derartigen Fall die gesamte Objektivpupille eines verwendeten Objektivs zur Abbildung verwendet werden, sodass bei manchen Ausführungsbeispielen eine höhere Auflösung erzielt werden kann als bei klassischen Stereomikroskopen. Zudem kann der Stereoeffekt an- und ausgeschaltet werden. Zum Ausschalten kann beispielsweise einfach ein Bild mit normaler Fokussierung auf beiden Anzeigen 15A, 15B der 1 dargestellt werden. Zudem können dadurch, dass digitale Bilder verwendet werden, die Bilder auch auf andere Weise vor der Anzeige in der Anzeigeeinrichtung aufbereitet werden, beispielsweise durch Verzeichnungskorrektur, Schärfung, Entrauschen oder andere herkömmliche Bildbearbeitungsmaßnahmen.
Als nächstes wird wie oben erwähnt unter Bezugnahme auf die 3 und 4 eine weitere Möglichkeit diskutiert, bei welcher statt des Fokus eine Beleuchtungsrichtung zwischen mehreren Bildaufnahmen variiert wird. 3 zeigt eine entsprechende Vorrichtung, und 4 zeigt ein zugehöriges Verfahren. Die 3 beruht dabei auf der 1, und einander entsprechende oder ähnliche Elemente tragen die gleichen Bezugszeichen. Insbesondere wird auch bei dem Ausführungsbeispiel der 3 eine Probe 12 auf einem Träger 13 bereitgestellt, und mittels einer Bildaufnahmeeinrichtung 10 werden mehrere Bilder der Probe aufgenommen. Zwischen den mehreren Bildern wird im Gegensatz zur 1 bei dem Ausführungsbeispiel der 3 nicht die Fokusebene variiert, sondern die Beleuchtungsrichtung. Der Fokus kann dabei immer gleich bleiben, beispielsweise so, dass zumindest interessierende Bereiche der Probe 12 scharf aufgenommen werden.
Die verschiedenen Beleuchtungsrichtungen können dabei durch eine geeignete Beleuchtungseinrichtung realisiert werden. Beispielsweise können Lichtquellen um die Bildaufnahmeeinrichtung 10 herum angeordnet sein, welche wahlweise aktivierbar sind, und um somit eine Beleuchtung aus verschiedenen Richtungen zu ermöglichen. Als Beispiel in der 3 sind zwei Lichtquellen 31A, 31B gezeigt. Dabei können je nach vorhandenem Platz beliebig viele derartiger Lichtquellen rings um beispielsweise ein Objektiv der Bildaufnahmeeinrichtung 10 angeordnet sein, beispielsweise in einer Kreisform. Bevorzugt sind insbesondere mehrere Paare von gegenüberliegenden Lichtquellen (die Lichtquellen 31A und 31B sind ein Beispiel für ein derartiges Paar) bereitgestellt. Derartige Lichtquellen können beispielsweise Leuchtdioden sein. Bei anderen Ausführungsbeispielen können auch flächige Lichtquellen um die Bildaufnahmeeinrichtung 10 herum bereitgestellt sein, beispielsweise ein flächiges OLED (organische Leuchtdioden)-Display, von dem einzelne Segmente wahlweise ansteuerbar sind, um eine Beleuchtung aus verschiedenen Richtungen zu erzeugen.
Aus der Vielzahl so aufgenommener Bilder wird dann in der Recheneinrichtung 30 ein Ergebnisbild für das linke Auge und ein Ergebnisbild für das rechte Auge durch Kombination der Einzelbilder erzeugt, und die Ergebnisbilder werden dann auf einer Anzeigeeinrichtung, wiederum durch Anzeigen 15A und 15B wie in 1 symbolisiert, angezeigt. Das Anzeigen kann in Echtzeit oder auch zeitversetzt erfolgen, wie bereits unter Bezugnahme auf die 1 diskutiert. Bei herkömmlichen Stereomikroskopen wird dabei in der Regel ein optisches System realisiert, bei dem zwei getrennt voneinander liegende Okularpupillen Teile der Abbildungspupille abbilden. Dazu muss die Abbildungspupille so dimensioniert sein, dass beide Okularpupillen gefüllt werden. Hierfür ist häufig ein aufwändiges und teures Optikdesign nötig.
Eine mögliche Herangehensweise zur Berechnung der Ergebnisbilder wird später noch näher erläutert. Davor wird unter Bezugnahme auf 4 ein entsprechendes Verfahren dargestellt. Das Verfahren der 4 kann insbesondere mit der Vorrichtung der 3 realisiert werden, und Details und Abwandlungen, welche für die 3 oder entsprechend für die 1 diskutiert wurden, sind auch auf das Verfahren der 4 anwendbar.
In einem Schritt 40 der 4 wird die Probe aus mindestens zwei verschiedenen Richtungen, insbesondere aus vier verschiedenen Richtungen, beleuchtet. In Schritt 41 wird koordiniert hierzu für jede Beleuchtungsrichtung zumindest ein Bild aufgenommen, um eine Vielzahl von Bildern mit verschiedenen Beleuchtungsrichtungen zu erhalten. In Schritt 42 werden die in Schritt 41 aufgenommenen Bilder dann zu zwei Ergebnisbildern mit unterschiedlicher Perspektive kombiniert. Dabei können für die Ergebnisbilder jeweils dieselben Bilder kombiniert werden (mit unterschiedlicher Berechnung), oder es können ganz oder teilweise verschiedene Bilder verwendet werden. Die Perspektiven können sich wie bereits unter Bezugnahme auf 1 und 2 erläutert bevorzugt um einen Winkel zwischen 11 und 16° unterscheiden, wobei dieser Winkel einstellbar sein kann und beispielsweise in Abhängigkeit von einem Augenabstand des Benutzers eingestellt werden kann. In Schritt 43 werden die Ergebnisbilder dann als Stereobildpaar angezeigt, entsprechend dem Schritt 22 der 2.
Nunmehr wird ein Beispiel erläutert, wie mittels einer Vielzahl von Bildern, die mit unterschiedlichen Beleuchtungsrichtungen, insbesondere unter unterschiedlichen Beleuchtungswinkeln, aufgenommen wurden, zwei Ergebnisbilder, jeweils eines für ein linkes und ein rechtes Auge eines Betrachters, erzeugt werden können.
Bei einem Ausführungsbeispiel werden hier unter verschiedenen Winkeln beleuchtete Bilder aufgenommen. Insbesondere können zwei Bildpaare mit jeweils gegenüberliegenden (d.h. um 180° versetzten) Beleuchtungsrichtungen aufgenommen werden, wobei die Beleuchtungsrichtungen der beiden Bildpaare beispielsweise um 90° versetzt sein können. Die beiden um 90° versetzten Beleuchtungsrichtungen werden in der folgenden Erläuterung auch als x-und y-Richtung bezeichnet.
Aus diesen Bildern werden dann für beide Richtungen (Achsen) Phasenkontrastbilder berechnet. Diese Berechnung kann beispielsweise wie in der deutschen Patentanmeldung DE 10 2014 112 242 A1 oder in Z. Liu [et al.]: Real-time brightfield, darkfield, and phae contrast imaging in a light emitting diode array microscope. In: Journal of Biomedical Optics 19, 2014, 10, 106002. ISSN: 1560-2281 erläutert erfolgen. Das heißt, eines der beiden digitalen Phasenkontrastbilder weist in x-Richtung einen erhöhten Phasenkontrast auf, und das andere der beiden digitalen Phasenkontrastbilder weist in y-Richtung einen hohen erhöhten Phasenkontrast auf. Mithilfe dieser digitalen Phasenkontrastbilder werden dann folgende Intensitätsbilder bestimmt. $I_{links} = (\sum I_{Messungen}) \cdot e \frac{(- (tan (- α_{x}) - {DPC}_{x}^{2}) - (tan (- α_{y}) - {DPC}_{y}^{2}))}{σ^{2}}$
$I_{rechts} = (\sum I_{Messungen}) \cdot e \frac{(- (tan (- α_{x}) - {DPC}_{x}^{2}) - (tan (- α_{y}) - {DPC}_{y}^{2}))}{σ^{2}}$
Die Gleichungen (1) und (2) sind jeweils auf einen Bildpunkt eines Ergebnisbildes für ein linkes Auge (Gleichung (1)) bzw. ein rechtes Auge (Gleichung (2)), bezogen, und entsprechende Berechnungen werden für jeden Bildpunkt der Ergebnisbilder durchgeführt. I_links bezeichnet dabei die Intensität des Ergebnisbildes für das linke Auge, und I_rechts die Intensität für das Ergebnisbild für das rechte Auge. Bei Farbbildern können die Berechnungen für jeden Farbkanal separat durchgeführt werden.
Σ I_Messungen bezeichnet die Summe der Intensitäten aller aufgenommenen Bilder für den jeweiligen Bildpunkt. σ ist ein empirisch bestimmter Parameter, über den ein Bildeindruck geändert werden kann. DPC_x bezeichnet den Wert des digitalen Phasenkontrastbildes in x-Richtung für den jeweiligen Bildpunkt, und DPC_y den entsprechenden Wert des Phasenkontrastbildes in y-Richtung. α ist der Stereowinkel zwischen den beiden Ergebnisbildern, mit Komponenten α_x und α_y. tan bezeichnet die Tangensfunktion. Diese Bilder können dann auf einer geeigneten Anzeigeeinrichtung wie unter Bezugnahme auf die 1 und 3 erläutert angezeigt werden. Durch den Amplitudenfaktor Σ I_Messungen werden „normale“ Intensitätsbilder erzeugt. Bei anderen Ausführungsbeispielen können, indem z.B. stattdessen ein Amplitudenfaktor auf Basis der Phasenkontrastbilder oder anderer Arten von Bildern verwendet wird, andere Arten von Stereobildpaaren, z.B. Phasenkontrast-Stereobildpaare, erzeugt werden.
Bei dieser Berechnung kann zudem eine stereoskopische Perspektivänderung eingeführt werden, das heißt das gesamte Stereobild kann aus einer bestimmten Perspektive (Richtung) betrachtet werden. Wird die Perspektivänderung durch einen Winkel β mit Komponenten β_x und β_y angegeben, ergeben sich dann zur Berechnung anstatt der obigen Gleichungen (1) und (2) die folgenden Gleichungen (3) und (4): $I_{links} = (\sum I_{Messungen}) \cdot e \frac{(- (tan (- α_{x} + β_{x}) - {DPC}_{x}^{2}) - tan (- α_{y} + β_{y}) - {DPC}_{y}^{2}))}{σ^{2}}$
$I_{rechts} = (\sum I_{Messungen}) \cdot e \frac{(- (tan (- α_{x} + β_{x}) - {DPC}_{x}^{2}) - tan (- α_{y} + β_{y}) - {DPC}_{y}^{2}))}{σ^{2}}$
Mittels der Gleichungen (3) und (4) kann also ein Beobachtungswinkel auch nachträglich nach der Bildaufnahme eingestellt und variiert werden.
Das Ausführungsbeispiel der 3 und 4 bietet teilweise ähnliche Vorteile wie das Ausführungsbeispiel der 1 und 2. Beispielsweise kann der Optikdesignaufwand und somit die Kosten sowie der Bauraum verglichen mit klassischen Stereomikroskopen reduziert werden. Der Beobachtungswinkel (β in den obigen Gleichungen) sowie auch die Stereobasis (α in den obigen Gleichungen) ist digital einstellbar, sowohl in Echtzeit während der Messung als auch offline nach der Messung.
Wie bei dem Ausführungsbeispiel der 1 und 2 sind auch hier herkömmliche Verfahren der digitalen Bildverarbeitung, wie Entrauschung, Zentrierung, Verzeichnungskorrektur, Schärfen und dergleichen anwendbar. Zudem kann das Verfahren mit anderen Techniken, bei welchen eine Vielzahl von Aufnahmen mit verschiedenen Beleuchtungsrichtungen aufgenommen wird, vorgenommen werden. Beispielsweise kann wie in der DE 10 2014 113 256 A1 256-beschrieben eine Reflexunterdrückung durchgeführt werden, wie in der DE 10 2014 113 258 A1 beschrieben eine Bildverbesserung beispielsweise hinsichtlich Kontrast, Kantensteilheit oder Schärfe durchgeführt werden, wie in der DE 10 2014 112 648 A1 beschrieben eine Entzerrung durchgeführt werden oder wie in der DE 10 2015 107 517 B3 beschrieben eine Schärfentiefe erhöht werden. Eine Echtzeitfähigkeit ist bei dem Ausführungsbeispiel der 3 und 4 dabei leichter zu realisieren als bei dem Ausführungsbeispiel der 1 und 2, da je nach Implementierung beispielsweise ein Wechsel der Beleuchtungsrichtung durch entsprechende Ansteuerung von Lichtquellen schneller erfolgen kann als unterschiedliche Fokussierungen.
In 5 ist ein Verfahren gemäß einem nicht beanspruchten Ausführungsbeispiel dargestellt. Das Ausführungsbeispiel der 5 kann wiederum mittels der Vorrichtung der 3 durchgeführt werden. Ähnlich dem Schritt 40 des Verfahrens der 4 wird in einem Schritt 50 der 5 die Probe aus zwei verschiedenen Richtungen, insbesondere entgegengesetzten Richtungen (d.h. um 180° verschieden) beleuchtet. In Abstimmung hiermit werden in Schritt 51 für die zwei verschiedenen Richtungen Bilder aufgenommen. In Schritt 52 werden diese zwei Bilder dann als Stereobildpaar angezeigt.
Im Gegensatz zu dem Verfahren der 4 erfolgt bei dem Verfahren der 5 also keine Verrechnung oder Kombination der Bilder miteinander, um die Ergebnisbilder zu erzeugen, sondern die aufgenommenen Bilder werden als stereoskopisches Bildpaar benutzt. Dabei wird ausgenutzt, dass durch die Beleuchtung aus verschiedenen Richtungen die Lichtstrahlen von der Probe auch aus verschiedenen Richtungen auf die Kameraeinrichtung treffen, was unterschiedlichen Betrachtungsperspektiven entspricht. Ein Stereowinkel wird dabei durch die Anordnung der Lichtquellen, welche für das Beleuchten bei 50 verwendet wird, bestimmt. Auch hier kann jedoch eine digitale Nachbearbeitung der aufgenommenen Bilder durch herkömmliche Maßnahmen, wie beispielsweise Entrauschen, Schärfen und dergleichen erfolgen. Das Verfahren der 5 benötigt dabei weniger Rechenkapazität als das Verfahren der 4. Auf der anderen Seite ist das Verfahren der 5 weniger flexibel als das Verfahren der 4.
Die Herangehensweise der 5, den Stereoperspektivunterschied durch Beleuchtung aus verschiedenen Richtungen zu erzeugen, kann auch mit einem Aufnehmen mehrerer Bilder und kombinieren der mehreren Bilder wie für das Verfahren der 4 beschrieben kombiniert werden. Beispielsweise kann von „links“ und „rechts“, d.h. für zwei unterschiedliche Richtungsbereiche jeweils aus verschiedenen Einzelrichtungen beleuchtet werden, und die Bilder von jeder Seite können kombiniert werden, um ein Ergebnisbild für die jeweilige Seite (zum Beispiel für das jeweilige Auge) zu erhalten. In anderen Worten kann beispielsweise ein Richtungsbereich (z.B. linke Seite in 3 und rechte Seite in 3) jeweils mehrere Lichtquellen aufweisen, welche für die Aufnahme von Einzelbildern sukzessive aktiviert werden. So kann durch eine derartige Kombination jeweils ein Phasenkontrastbild erzeugt werden, sodass dann letztendlich ein Phasenkontrast-Stereobild aus zwei Einzelbildern erzeugt wird. Zusätzlich oder alternativ können auch andere Bildmodifikationen durch Kombination der einzelnen Bilder erzeugt werden, wie bereits oben beschrieben (beispielsweise Verbesserung hinsichtlich Kontrast, Kantensteilheit oder Schärfe, Entzerrung oder Erhöhung der Schärfentiefe).
Zur weiteren Veranschaulichung werden nun unter Bezugnahme auf die 6 und 7 noch Beispielbilder diskutiert, wie sie mit den insbesondere unter Bezugnahme auf die 1-4 diskutierten Vorrichtungen und Verfahren, bei welchen mehrere Bilder zu Ergebnisbildern verrechnet werden, erzielbar sind. Die 6 und 7 zeigen dabei jeweils Bilder einer Zellkultur. In 6 bezeichnet 60 ein Ergebnisbild für ein linkes Auge, und 61 ein Ergebnisbild für ein rechtes Auge. Die Bilder unterscheiden sich hinsichtlich der Perspektive, sodass bei Betrachtung mit einer geeigneten Anzeigeeinrichtung ein Stereobildeindruck entsteht.
Die Bilder, welche den Ergebnisbildern zu Grunde liegen, wurden dabei bei dem Beispiel der 6 mit einer 40fachen Vergrößerung und einer numerischen Apertur von 0,6 aufgenommen.
In 7 wurde ebenfalls eine Zellkultur aufgenommen, und mit 70 ist ein Ergebnisbild für ein linkes Auge und mit 71 für ein rechtes Auge bezeichnet. Die Vergrößerung der zunächst aufgenommenen Bilder, auf Basis der die Ergebnisbilder der 7 berechnet wurden, war 20mal, und die numerische Apertur betrug 0,8. Wie zu sehen ist, können mit den dargestellten Vorrichtungen und Verfahren in der Tat Bilder mit unterschiedlichen Perspektiven berechnet werden. Diese Bilder dienen lediglich der Veranschaulichung, und je nach gewünschtem Stereowinkel und aufgenommenen Objekt können die Bilder variieren.

Claims

Verfahren zur Stereobilddarstellung, umfassend: Aufnehmen einer Vielzahl von Bildern eines Objekts (12), wobei ein Bildaufnahmeparameter über die Vielzahl von Bildern variiert wird, wobei der Bildaufnahmeparameter eine Beleuchtungsrichtung umfasst, sodass die Vielzahl von Bildern mit unterschiedlichen Beleuchtungsrichtungen aufgenommen wird, Bestimmen eines ersten Ergebnisbildes und eines zweiten Ergebnisbildes, wobei für das Bestimmen des ersten Ergebnisbildes und des zweiten Ergebnisbildes jeweils mindestens zwei Bilder der Vielzahl von Bildern kombiniert werden, wobei das erste Ergebnisbild und das zweite Ergebnisbild ein Stereobildpaar zur Stereobilddarstellung bilden, wobei das Bestimmen des ersten und zweiten Ergebnisbildes umfasst: Berechnen eines ersten Phasenkontrastbildes, welches in einer ersten Richtung einen erhöhten Phasenkontrast aufweist, und eines zweiten Phasenkontrastbildes, welches in einer von der ersten Richtung verschiedenen zweiten Richtung einen erhöhten Phasenkontrast aufweist, auf Basis der Vielzahl von Bildern, und Berechnen des ersten und zweiten Ergebnisbildes auf Basis des ersten und zweiten Phasenkontrastbildes.
Verfahren nach Anspruch 1, weiter umfassend Anzeigen des ersten Ergebnisbildes für ein linkes Auge eines Benutzers und des zweiten Ergebnisbildes für ein rechtes Auge des Benutzers.
Verfahren nach Anspruch 1 oder 2, weiter umfassend: Vorgeben einer Betrachtungsperspektive, wobei das Bestimmen des ersten und zweiten Ergebnisbildes auf Basis der Betrachtungsperspektive erfolgt.
Verfahren nach einem der Ansprüche 1-3, wobei das Aufnehmen der Vielzahl von Bildern ein Aufnehmen einer ersten Vielzahl von Bildern mit Beleuchtungsrichtungen in einem ersten Beleuchtungsrichtungsbereich und ein Aufnehmen einer zweiten Vielzahl von Bildern mit Beleuchtungsrichtungen in einem von dem ersten Beleuchtungsrichtungsbereich verschiedenen zweiten Beleuchtungsrichtungsbereich umfasst, wobei das erste Ergebnisbild auf Basis der ersten Vielzahl von Bildern und das zweite Ergebnisbild auf Basis der zweiten Vielzahl von Bildern bestimmt wird.
Verfahren nach einem der Ansprüche 1-4, wobei das erste Ergebnisbild und das zweite Ergebnisbild jeweils als Phasenkontrastbild berechnet werden.
Verfahren nach einem der Ansprüche 1-5, weiter umfassend: Vorgeben eines Stereowinkels, wobei das Bestimmen des ersten und zweiten Ergebnisbildes derart erfolgt, dass sich die Perspektiven des ersten und zweiten Ergebnisbildes um den vorgegebenen Stereowinkel unterscheiden.
Verfahren nach einem der Ansprüche 1-6, wobei sich Perspektiven des ersten Ergebnisbildes und des zweiten Ergebnisbildes um einen Winkel unterscheiden, welcher zwischen 11° und 16° liegt.
Verfahren nach einem der Ansprüche 1-7, weiter umfassend Durchführen einer digitalen Bildverbesserung mit der Vielzahl von Bildern, dem ersten Ergebnisbild und/oder dem zweiten Ergebnisbild.
Vorrichtung, umfassend: eine Bildaufnahmeeinrichtung (10) zum Aufnehmen einer Vielzahl von Bildern eines Objekts (12), wobei die Bildaufnahmeeinrichtung (10, 31A, 31B) eingerichtet ist, einen Bildaufnahmeparameter über die Vielzahl von Bildern zu variieren, und eine Recheneinrichtung (14) zum Bestimmen eines ersten Ergebnisbildes und eines zweiten Ergebnisbildes auf Basis der Vielzahl von Bildern, wobei für das erste Ergebnisbild und das zweite Ergebnisbild jeweils mindestens zwei Bilder der Vielzahl von Bildern kombiniert werden, sodass das erste Ergebnisbild und das zweite Ergebnisbild ein Stereobildpaar bilden, wobei das Bestimmen des ersten und zweiten Ergebnisbildes umfasst: Berechnen eines ersten Phasenkontrastbildes, welches in einer ersten Richtung einen erhöhten Phasenkontrast aufweist, und eines zweiten Phasenkontrastbildes, welches in einer von der ersten Richtung verschiedenen zweiten Richtung einen erhöhten Phasenkontrast aufweist, auf Basis der Vielzahl von Bildern, und Berechnen des ersten und zweiten Ergebnisbildes auf Basis des ersten und zweiten Phasenkontrastbildes.
Vorrichtung nach Anspruch 9, wobei die Bildaufnahmeeinrichtung (10, 31A, 31B) eine Mikroskopeinrichtung umfasst.
Vorrichtung nach Anspruch 9 oder 10, weiter umfassend eine stereoskopische Anzeigevorrichtung (15A, 15B) zum Anzeigen des ersten Ergebnisbildes für ein linkes Auge eines Betrachters und des zweiten Ergebnisbildes für ein rechtes Auge eines Betrachters.
Vorrichtung nach einem der Ansprüche 9-11, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1-8 eingerichtet ist.