-
Die vorliegende Erfindung betrifft eine Mikroskopanordnung zur dreidimensionalen Aufnahme einer zu mikroskopierenden Probe und zur Darstellung dreidimensionaler Bilder der mikroskopierten Probe.
-
Für bestimmte Anwendungen werden Mikroskope benötigt, die eine dreidimensionale Anzeige eines mikroskopierten Objektes in Echtzeit ermöglichen. Typische Einsatzgebiete sind beispielsweise Operationsmikroskope, Anwendungen in der Elektronenmikroskopie und Röntgenmikroskopie sowie Mikroskope für die Bioforschung und für Routinearbeiten. In der Regel kommen bei diesen Anwendungen derzeit Stereomikroskope zum Einsatz, welche dreidimensionale Anzeigen im Zusammenspiel mit dem menschlichen Sehen erzeugen. Bekannte Stereomikroskope nutzen optische Systeme vom Greenough-Typ oder Galileo-Typ und erfordern vom Nutzer die Fähigkeit aus den gewonnen Bildern ein Stereobild erzeugen zu können. Viele Stereomikroskope sind mit einer Schnittstelle zum Anschließen von Kameras zur Digitalisierung von Bildern ausgestattet. Tiefeninformationen oder dreidimensionale Impressionen sind jedoch zumeist nicht verfügbar. Alternativ können stereoskopische Displays zur Tiefenanzeige genutzt werden. Darüber hinaus existieren optomechanische Lösungen, die beispielsweise rotierende Spiegel zur Generierung von 3D-Anzeigen nutzen.
-
Digitale Mikroskope ermöglichen eine dreidimensionale Darstellung eines mikroskopierten Objektes. Dreidimensionale Objekte können alternativ auch zunächst mittels Mikroskop digitalisiert werden. Nachfolgend werden die erfassten Daten in Abhängigkeit von der jeweils genutzten Anzeigevorrichtung aufbereitet und auf der Anzeigevorrichtung dargestellt. Die hierfür zur Verfügung stehenden Lösungen sind nicht echtzeitfähig.
-
Am Markt stehen zahlreiche Technologien und Produkte zur Realisierung von dreidimensionalen Anzeigen zur Verfügung. Beispiele hierfür sind zu finden im Bereich des dreidimensionalen Fernsehens, bei Stereodisplays, bei Virtuell-Reality- oder Mixed-Reality-Anwendungen und bei holographischen Displays. Bekannte Produkte erzeugen optische dreidimensionale Illusionen, indem sie hochauflösende Displays nutzen und mehrere zweidimensionale Bilder in den dreidimensionalen Raum projizieren. Derart realisierte dreidimensionale Displays sind langsam, zu aufwändig oder sind in ihrer Nutzbarkeit eingeschränkt, sodass sie die an Echtzeit-Anzeigen gestellten Anforderungen nicht erfüllen.
-
Die
EP 2 671 114 B1 beschreibt ein Abbildungssystem für mikroskopische Aufnahmen und Darstellungen. Das System umfasst eine Vorrichtung zur Erfassung von Tiefeninformationen, eine Vorrichtung zur Datenanzeige, eine Vorrichtung zur aktiven Echtzeit-Überwachung einer Position eines oder beider Augen eines Nutzers sowie Mittel zur Konfiguration von zweidimensionalen Anzeigeinhalten, welche von der erfassten Augenposition abhängig sind. Eine von der Position des Nutzers unabhängige dreidimensionale Datenerfassung in Echtzeit und eine dreidimensionale Anzeige in Echtzeit wird nicht thematisiert.
-
Die
US 2015/0032414 A1 lehrt ein Verfahren zur dreidimensionalen Vermessung einer Probe. Dieses Verfahren ermöglicht es mehreren Nutzern gleichzeitig, die Probe zu betrachten und zu untersuchen. Diese Lösung basiert auf einem Laser-Scanning-Mikroskop (LSM), mit welchem dreidimensionale Vermessungen möglich sind, einem System zur Erzeugung einer dreidimensionalen virtuellen Realität, einem System zur Schaffung und Steuerung eines dreidimensionalen Bereiches eines realen Raumes innerhalb des virtuellen Raumes und auf einem realzeitfähigen System zur bidirektionalen Interaktion zwischen dem realen und dem virtuellen Raum. Die Realzeitfähigkeit des Laser-Scanning-Mikroskops ist durch die auf Rasterabtastung basierende Datenerfassung begrenzt.
-
Das am Markt erhältliche Produkt „3D WiseScope microscope“ des Herstellers SD Optics Inc. ermöglicht eine schnelle Erzeugung von makroskopischen und mikroskopischen Bildern, welche eine erweiterte Schärfentiefe aufweisen. Das Produkt umfasst u. a. eine LED-Ringbeleuchtung, eine Koaxialbeleuchtung, eine Durchlichtbeleuchtung, einen Kreuztisch, Objektive mit 5-, 10-, 20- und 50-facher Vergrößerung sowie eine manuelle Fokussierung. Die Fokussierung kann mit einer Frequenz von 1 bis 10 kHz und mehr verändert werden. Zur Realisierung der EDoF-Funktionalität dient ein als MALS-Modul bezeichnetes Spiegel-Array-Linsensystem. MALS steht für Mirror Array Lens System.
-
Stereomikroskope werden häufig genutzt, um mikroskopische Umgebungen dreidimensional und in Realzeit zu untersuchen, wofür eine Navigation in allen drei Dimensionen und in Realzeit erforderlich ist. Die räumliche Wahrnehmung mit einem Stereomikroskop basiert auf den Fähigkeiten des menschlichen Sehsinnes, zu akkommodieren und ein räumliches Bild im Gehirn zu rekonstruieren. Auch eine okularlose Untersuchung und Navigation basiert auf den Fähigkeiten des menschlichen Sehsinnes, aber verwendet eine andere optische Technologie, um das Stereobild auf den optischen Ausgang zu übertragen. Dennoch ist die digitale Dokumentation von räumlichen mikroskopischen Informationen problematisch und zumeist langsam, sodass sie nicht mit der natürlichen visuellen Wahrnehmung in Realzeit vergleichbar ist. Dies hat zum einen physische Gründe. So ist nicht jeder Nutzer fähig die mittels Stereomikroskop erfassten Bilder räumlich zu visualisieren. Für viele Nutzer ist die Arbeit mit dem Okular oder dem dreidimensionalen Display von Stereomikroskopen außerdem sehr anstrengend. Die Dokumentation der dargestellten dreidimensionalen Information ist entweder nicht möglich oder entspricht nicht den Erwartungen der Nutzer. Gründe hierfür sind technische Einschränkungen, wie beispielsweise eine begrenzte Tiefenschärfe bei Verwendung einer Standardkamera, oder eine langsame Erfassung und Verarbeitung der Daten zur Realisierung einer erweiterten Tiefenschärfe.
-
Die
WO 2016/078923 A1 zeigt eine Vorrichtung zur stereoskopischen Betrachtung, bei welcher ein stereoskopisches Bild aus zwei Videobildern erzeugt wird. Diese Lösung erfordert zwei Projektoren zur Projektion der beiden Videobilder, eine Hohlspiegelanordnung und eine Betrachtungslinse. Die beiden zu projizierenden Bilder unterscheiden sich örtlich und/oder in ihrer Ausrichtung in Bezug auf das darzustellende Objekt. Die Vorrichtung ist dazu ausgebildet, fokussierte Bilder des Objektes auf der Spiegelanordnung zu erzeugen.
-
Die
DE 10 2015 118 154 A1 zeigt ein Operationsmikroskop, welches auch als Stereomikroskop ausgebildet sein kann. Das Operationsmikroskop umfasst eine Stelleinrichtung zum Verändern einer Fokuslage einer Kameraeinheit. Eine Steuereinrichtung des Operationsmikroskops ist dazu ausgebildet, die Stelleinrichtung zu einem sich zyklisch wiederholenden Verändern der Fokuslage der Kameraeinheit zwischen mehreren Fokuswerten anzusteuern und entsprechend einen Bildsensor zum Erzeugen eines jeweiligen Primär-Bilddatensatzes für jeden der mehreren Fokuswerte anzusteuern. Eine Recheneinrichtung des Operationsmikroskops ist dazu ausgebildet, aus den für die mehreren Fokuswerte erzeugten Primär-Bilddatensätzen einen Sekundär-Bilddatensatz zu ermitteln, der relativ zu den jeweiligen Primär-Bilddatensätzen eine erweiterte Schärfentiefe aufweist. Im jeweiligen Sekundärbildermittlungszyklus werden in Abfolge und in Echtzeit mehrere Primär-Bilder für unterschiedliche Fokuslagen erfasst und zu einem einzigen Sekundärbild mit erhöhter Schärfentiefe kombiniert und an einem elektronischen Sucher angezeigt. Die Sekundärbilder werden mit einer Frequenz von mindestens 25 Hz erzeugt und angezeigt.
-
Die
DE 10 2005 032 354 A1 zeigt ein Verfahren zur Bildaufnahme mit erweitertem Tiefenschärfebereich im Zuge der mikroskopischen Abtastung einer Probe. Mit einer Steueranlage wird ein variierbarer Fokusstellbereich für eine Optikeinheit vorgegeben. Zu jedem Fokuswert des Fokusstellbereiches wird ein Einzelbild aufgenommen, sodass mehrere Einzelbilder mit unterschiedlich kontrastreichen Sektionen aufgenommen werden, aus deren jeweils kontrastreichsten Sektionen ein Gesamtbild in Echtzeit erzeugt wird. Dieser Prozess soll so schnell ablaufen, dass das Gesamtbild in Echtzeit auf einer Anzeigeeinheit, beispielsweise einem Bildschirm, wiedergegeben werden kann.
-
Die
US 2004/0264765 A1 zeigt ein dreidimensionales Mikroskopsystem mit einem Mikroskop und mit einer Bildverarbeitungseinheit zum Anzeigen eines Bildes. Das Mikroskopsystem umfasst Reflexionseinheiten, sodass erste optische Pfade ausgehend von einem Objekt symmetrisch verlaufen. Das Mikroskopsystem umfasst weiterhin ein Objektiv, sodass zweite optische Pfade ausgehend von den Reflexionseinheiten ebenfalls symmetrisch verlaufen. Schatteninformationen innerhalb eines aufgenommenen Bildes werden bestimmt, während die Brennweite des Objektivs geändert wird und die jeweilige Fokusposition gemessen wird. Ein All-in-focus-Bild und eine Höhenkarte des Objektes werden bestimmt, um daraus ein dreidimensionales Bild zu ermitteln. Das Fokussieren des All-in-focus-Bildes soll in Echtzeit erfolgen. Das All-in-focus-Bild wird aus einzelnen fokussierten Bildpunktwerten zusammengesetzt.
-
Die
DE 10 2016 108 664 A1 lehrt ein digitales Stereo-Operationsmikroskop mit mindestens zwei Bildaufnahmeeinheiten zur Aufnahme eines Objektes aus zwei verschiedenen Winkeln. Das Stereo-Operationsmikroskop weist einen Topographiegenerator zur Erzeugung von Topographiedaten aus den von den Bildaufnahmeeinheiten aufgenommenen Strahlungsdaten auf. Das Stereo-Operationsmikroskop weist weiterhin einen Darstellungsgenerator zur Erzeugung einer Stereoansicht und mindestens zwei Bilddarstellungseinheiten zur Bereitstellung von Stereobildern für einen ersten und mindestens einen weiteren Benutzer auf. Es soll eine realistische Darstellung des Operationsfeldes in Echtzeit dadurch erreicht werden, dass der Topographiegenerator und der Darstellungsgenerator geeignet sind, eine stereoskopische Ansicht in weniger als 50 ms anzuzeigen.
-
Aus der
US 2015/0173715 A1 ist ein Verfahren zur Ultraschalldiagnose von innerem Gewebe bekannt, bei welchem eine dreidimensionale Anzeige, beispielsweise unter Nutzung des Pepper's Ghost-Prinzips erfolgt.
-
Die
DE 698 00 802 T2 zeigt einen Linsensatz für ein Mikroskop, welcher ein Mittel umfasst, mit welchem die Brennweite des Linsensatzes einer kontinuierlichen Oszillation unterworfen wird. Es soll eine rasche und sequentielle Darbietung von scharfen Bildern vorgenommen werden, um eine unbegrenzte Schärfentiefe zu erhalten. Das Mikroskop kann beispielsweise als ein Binokularmikroskop ausgebildet sein.
-
Die
DE 10 2006 025 149 A1 beschreibt ein Stereomikroskop mit einer Einrichtung zur Veränderung der Tiefenschärfe. Diese Einrichtung ist beispielsweise durch ein Mikrospiegel-Array gebildet, welches zyklisch mit einer Frequenz angesteuert wird, wobei diese Frequenz größer oder gleich der Flimmerverschmelzungsfrequenz ist.
-
Aus der
DE 10 2008 037 074 A1 ist ein Verfahren zur Steuerung einer Aperturblende in einem Mikroskop bekannt, durch welches insbesondere eine Schärfentiefenoptimierung bei einem Stereomikroskop erzielt werden soll. Die Aperturblende ist durch ein steuerbares Transmissionsdisplay gebildet, welches mit einer Frequenz nahe der Flimmerfusionsfrequenz betrieben wird.
-
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, eine Mikroskopanordnung zur Verfügung zu stellen, welche eine einfache, zeitlich effektive und schnelle Aufnahme, Umwandlung und/oder Verarbeitung sowie Darstellung dreidimensionaler Bilder einer mikroskopierten Probe ermöglicht. Im Weiteren soll eine Interaktion mit der gesamten Mikroskopanordnung und Datennavigation möglich sein. Insbesondere soll auch der Aufwand zur Erzeugung der dreidimensionalen Bilder der mikroskopierten Probe gesenkt werden.
-
Zur Lösung der erfindungsgemäßen Aufgabe dient eine Mikroskopanordnung gemäß dem beigefügten Anspruch 1.
-
Die erfindungsgemäße Mikroskopanordnung dient zur dreidimensionalen Aufnahme einer zu mikroskopierenden Probe und zur Darstellung dreidimensionaler Bilder der mikroskopierten Probe. Die Mikroskopanordnung umfasst zunächst eine Bildaufnahmeeinheit zur Ermittlung von Aufnahmen der Probe. Die Aufnahmen der Probe umfassen zumindest in ihrer Summe Informationen in die X-, Y- und Z-Richtung. Die Information in die Z-Richtung kann beispielsweise aus zweidimensionalen Aufnahmen gewonnen werden. Es kann sich aber auch um mindestens zwei zweidimensionale Bilder handeln, welche eine unterschiedliche Z-Komponente aufweisen. Es handelt sich beispielsweise um zweidimensionale Bilder, welche durch einen Satz dreidimensionaler Daten ergänzt ist. Es kann sich aber auch um vollständig dreidimensionale Bilder handeln. Die Bildaufnahmeeinheit ist bevorzugt mit mindestens einem Objektiv und mit mindestens einem Bildsensor ausgestattet. Das Objektiv dient zum optischen Abbilden der Probe. Der Bildsensor wandelt die abgebildeten Bilder in ein elektrisches Signal. Die Bildaufnahmeeinheit ist bevorzugt dazu ausgelegt, zur Erzeugung von dreidimensionalen Bildern geeignete zweidimensionale Bilder der Probe aufzunehmen. Aus den aufgenommenen zweidimensionalen Bildern muss eine Tiefeninformation gewonnen werden können. Die Probe kann hierzu beispielsweise mit unterschiedlichen probenseitigen Sichtfeldern aufgenommen werden. Außerdem besteht die Möglichkeit, Bilder der Probe mit unterschiedlichen Fokuspositionen oder mit unterschiedlichen Beleuchtungsrichtungen oder mit unterschiedlichen Beleuchtungsrichtungen, -bedingungen und unterschiedlichen Fokuspositionen aufzunehmen. Die Bildaufnahmeeinheit ist vorzugsweise zum Aufnehmen von Bildern mit erweiterter Schärfentiefe ausgebildet.
-
Die Mikroskopanordnung beinhaltet weiterhin eine Bildverarbeitungseinheit zur Erzeugung von dreidimensionalen Bildern der Probe aus den Aufnahmen der Bildaufnahmeeinheit. Bei den dreidimensionalen Bildern handelt es sich um Darstellungen, welche beim Betrachter die Illusion einer dreidimensionalen Darstellung hervorrufen und/oder um dreidimensionale Darstellungen, die von allen Seiten betrachtet werden können. Die dreidimensionalen Bilder werden bevorzugt aus den aufgenommenen zweidimensionalen Bildern erzeugt. Die Bildverarbeitungseinheit ist derart konfiguriert, dass sie mindestens eines der dreidimensionalen Bilder der Probe pro Sekunde erzeugen kann. Vorzugsweise soll die Bildverarbeitungseinheit jedoch zur Erzeugung von mehr als einem dreidimensionalen Bild der Probe pro Sekunde, bevorzugt 10 bis 50 dreidimensionale Bilder der Probe pro Sekunde, ausgelegt sein. Hierzu muss natürlich die Bildaufnahmeeinheit entsprechend leistungsfähig sein, damit die zur Generierung der dreidimensionalen Bilder beispielsweise benötigte Anzahl von zweidimensionalen Bildern der Probe zur Verfügung steht.
-
So müssen beispielsweise für jedes erzeugte dreidimensionale Bild der Probe mindestens zwei unterschiedliche Aufnahmen der Probe zur Verfügung stehen. Das oben genannte „3D WiseScope microscope“ besitzt beispielsweise eine derartige Leistungsfähigkeit. Die mittels der Bildverarbeitungseinheit erzeugten dreidimensionalen Bilder der Probe repräsentieren vorzugsweise jeweils einen Würfel mit einer Kantenlänge von mindestens 1 mm und weiter bevorzugt mindestens 10 mm. Die genannte Dimensionierung trägt jedoch lediglich beispielhaften Charakter; dreidimensionale Bilder mit anderen geeigneten Dimensionen sind durchaus möglich. In der Objektebene kann eine optische Auflösung bis zu der Beugungsgrenze erreicht werden.
-
Einen weiteren Bestandteil der Mikroskopanordnung bildet mindestens eine dreidimensionale Anzeigeeinheit, welche zur dreidimensionalen Darstellung der mittels der Bildverarbeitungseinheit erzeugten dreidimensionalen Bilder der Probe dient. Hierzu muss gewährleistet sein, dass die Bildverarbeitungseinheit dreidimensionale Bilddaten in einem zur Darstellung auf der dreidimensionalen Anzeigeeinheit geeigneten Datenformat bereitstellt. Die Mikroskopanordnung umfasst neben der dreidimensionalen Anzeigeeinheit bevorzugt auch eine zweidimensionale Anzeigeeinheit. Die beiden Anzeigeeinheiten sind bevorzugt zur gemeinsamen Darstellung der Bilder der Probe konfiguriert. Alternativ bevorzugt ist die zweidimensionale Anzeigeeinheit zur Darstellung von Schnittbildern oder von Funktionselementen zum Ausmessen der Probe oder von Funktionselementen zur Bedienung der Mikroskopanordnung konfiguriert. Die Bildwiederholfrequenzen der einzelnen Anzeigeeinheiten können sich in Abhängigkeit vom Zweck des darzustellenden Inhaltes und den gegebenen Anforderungen unterscheiden.
-
Erfindungsgemäß ist die Mikroskopanordnung zur Erzeugung und zum Darstellen der dreidimensionalen Bilder der Probe mit einer Bildwiederholfrequenz von mindestens einem dreidimensionalen Bild pro Sekunde konfiguriert. Entsprechend ist die Bildverarbeitungseinheit zur Erzeugung der dreidimensionalen Bilder der Probe mit einer Bildwiederholfrequenz von mindestens 1 Bild pro Sekunde konfiguriert. Entsprechend ist die Anzeigeeinheit zum dreidimensionalen Darstellen der erzeugten dreidimensionalen Bilder der Probe mit einer Bildwiederholfrequenz von mindestens 1 Bild pro Sekunde konfiguriert. Die Bildwiederholfrequenz von mindestens 1 Bild pro Sekunde führt zur Echtzeitfähigkeit der Mikroskopanordnung. Da es sich um dreidimensionale Bilder von dreidimensionalen Bereichen der Probe handelt, die jeweils auch als ein Volumen bezeichnet werden können, kann die Bildwiederholfrequenz auch als eine Volumenwiederholfrequenz beschrieben werden, die erfindungsgemäß mindestens 1 Volumen pro Sekunde beträgt.
-
Die Bildwiederholfrequenz bzw. die Volumenwiederholfrequenz beträgt bevorzugt mindestens 10, weiter bevorzugt mindestens 25 Bilder pro Sekunde bzw. Volumen pro Sekunde.
-
Der wesentliche Vorteil der erfindungsgemäßen Mikroskopanordnung ist darin zu sehen, dass diese im Vergleich zu den bislang bekannten Lösungen eine schnellere Erzeugung und Darstellung dreidimensionaler Bilder mikroskopierter Proben ermöglicht. Dem Nutzer stehen somit zeitnah dreidimensionale Bilder der Probe oder eine dreidimensionale Illusion der Probe zur Verfügung, welche der Nutzer komfortabel mit Hilfe der genutzten dreidimensionalen Anzeigeeinheit betrachten kann. Die Geschwindigkeit der erfindungsgemäßen Mikroskopanordnung ist im Gegensatz zum Stand der Technik nicht durch eine beispielsweise auf Rasterabtastung basierende Datenerfassung begrenzt.
-
Die Mikroskopanordnung ist gemäß einer vorteilhaften Ausführungsform mit einer Datenschnittstelle zur Übertragung der von der Bildaufnahmeeinheit erfassten Daten und/oder der von der Bildverarbeitungseinheit aufbereiteten Daten ausgestattet. An die Datenschnittstelle können externe Geräte angeschlossen werden, um die gewonnenen Daten beispielsweise einer weiteren Verarbeitung zuzuführen, eine Anzeige an räumlich entfernten Anzeigeeinheiten zu ermöglichen oder ggf. eine Speicherung der Daten, beispielsweise für Archivierungszwecke, vorzunehmen.
-
Als vorteilhaft hat sich die Ausrüstung der Mikroskopanordnung mit einer elektronischen Steuereinheit erwiesen. Mittels der Steuereinheit kann die Bildaufnahmeeinheit und/oder die Bildverarbeitungseinheit und/oder die Anzeigeeinheit gesteuert werden. Die Steuereinheit ist vorzugsweise in die Bildverarbeitungseinheit integriert und bildet mit dieser eine Baueinheit. Die Steuereinheit ermöglicht einen effizienten Workflow beim Betreiben der Mikroskopanordnung. Von dem Nutzer sind vorzugsweise nur wenige Nutzereingriffe erforderlich, welche sich bevorzugt reduziert lassen auf das Ein- und Ausschalten der entsprechenden Einheiten der Mikroskopanordnung, das Auslösen der Bildaufnahme und das Auslösen des Speicherns der generierten Daten. Eine bevorzugte Ausführungsform nutzt eine Steuereinheit, welche eine durch einen Nutzer bedienbare Bedieneinheit aufweist. Die Bedieneinheit ist vorzugsweise als elektronisches Mobilgerät, bevorzugt als ein frei programmierbares Mobiltelefon (Smartphone), ein Tabletcomputer oder ein ähnliches Gerät ausgebildet. Weiterhin können Bedieneinheiten, wie beispielsweise Computermäuse, Touchpads, Tastaturen, Sensoren für Gesten oder Joysticks zur Eingabe von Steuerbefehlen genutzt werden.
-
Die mindestens eine dreidimensionale Anzeigeeinheit ist vorzugsweise als eine holographische Anzeigeeinheit, als eine Vorrichtung zur Erzeugung einer dreidimensionalen Illusion oder als eine an dem Kopf eines Nutzers tragbare dreidimensionale Anzeigeeinheit (Head Mounted Display) ausgebildet.
-
Bei einer weiteren bevorzugten Ausführungsform basiert die Anzeigeeinheit auf dem Pepper's-Ghost-Prinzip. Hierfür umfasst die Anzeigeeinheit mehrere umfänglich angeordnete teiltransparente Spiegel und eine Projektionseinheit, welche auf die teiltransparenten Spiegel gerichtet ist. Die teiltransparenten Spiegel sind bevorzugt durch halbtransparente Spiegel gebildet. Die teiltransparenten Spiegel sind teilreflektierend bzw. halbreflektierend. Der Reflexionsgrad bzw. die Teiltransparenz der teiltransparenten teilreflektierenden Spiegel ist bevorzugt steuerbar, sodass es sich um steuerbar teilreflektierende Spiegel handelt. Die Projektionseinheit ist zur Projektion von jeweils einem einer Perspektive zugeordneten Teilbild des jeweilig darzustellenden dreidimensionalen Bildes auf die einzelnen teiltransparenten Spiegel ausgebildet. Im Zwischenraum zwischen den teiltransparenten Spiegeln entsteht eine dreidimensionale Vision, welche das jeweilige darzustellende dreidimensionale Bild wiedergibt. Die Projektionseinheit ist bevorzugt zur Darstellung von zweidimensionalen Bildern durch Licht ausgebildet. Die Projektionseinheit ist bevorzugt durch einen Bildschirm gebildet.
-
Die teiltransparenten Spiegel sind bevorzugt wie die Seitenflächen einer Pyramide angeordnet. Die Pyramide weist bevorzugt vier Seitenflächen auf, sodass die Anzahl der teiltransparenten Spiegel vier beträgt. Die Grundfläche der Pyramide ist bevorzugt ein Rechteck. Die Projektionseinheit ist bevorzugt von oben auf die Pyramide gerichtet. Die Projektionseinheit in der bevorzugten Form eines Bildschirmes ist bevorzugt parallel zur Grundfläche der Pyramide angeordnet.
-
Die teiltransparenten Spiegel sind alternativ bevorzugt in Form eines Sphäroids, einer Kugel oder eines Ellipsoides angeordnet, wobei das Sphäroid, die Kugel bzw. das Ellipsoid nicht vollständig nachgebildet sein muss. Die Projektionseinheit ist bevorzugt von oben auf das Sphäroid, auf die Kugel bzw. auf das Ellipsoid gerichtet.
-
Die Bildaufnahmeeinheit ist vorzugsweise zum Aufnehmen von Bildern mit erweiterter Schärfentiefe aus verschiedenen Perspektiven ausgebildet. Die Bildverarbeitungseinheit ist vorzugsweise zur Berechnung von zweidimensionalen, jeweils einer Perspektive zugeordneten Einzelbildern der dreidimensionalen Bilder ausgebildet, wobei die zweidimensionalen Einzelbilder durch die Projektionseinheit der Anzeigeeinheit auf die jeweiligen teiltransparenten Spiegel projiziert werden. Hierfür ist die Bildverarbeitungseinheit bevorzugt zur Umrechnung der Perspektiven der aufgenommenen Bilder mit erweiterter Schärfentiefe in die Perspektiven der in der Anzeigeeinheit darzustellenden Einzelbilder mit erweiterter Schärfentiefe ausgebildet. Die Anzeigeeinheit ist bevorzugt dazu ausgebildet, gleiche Einzelbilder auf die teiltransparenten Spiegel zu projizieren, solange die Einzelbilder für die verschiedenen Perspektiven nicht verfügbar sind. Für die Bestimmung der Einzelbilder aus den verschiedenen Perspektiven ist die Bildverarbeitungseinheit bevorzugt dazu ausgebildet, ein 2,5-dimensionales oder ein dreidimensionales Modell aus den aufgenommenen Bildern zu bestimmen.
-
Die Mikroskopanordnung ist vorzugsweise so konfiguriert, dass mehrere Nutzer gleichzeitig die erzeugten dreidimensionalen Bilddaten beobachten können, wobei sich die Nutzer an unterschiedlichen Positionen im Raum befinden können. Außerdem wird vorzugsweise ein Kontrollieren der dreidimensionalen Bilddaten, d. h. ein Navigieren und Interagieren mit den dreidimensionalen Bilddaten individuell für jeden der mehreren Nutzer ermöglicht. Hierzu sind insbesondere die Steuereinheit und ggf. auch die Anzeigeeinheit für die gleichzeitige Bedienung durch mehrere Nutzer zu konfigurieren. So kann zum einen die dreidimensionale Anzeigeeinheit an einem bestimmten Punkt im Raum relativ zu der Bildaufnahmeeinheit positioniert werden. Alternativ besteht die Möglichkeit einer simultanen Beobachtung derselben Szene durch mehrere, mit individuell tragbaren dreidimensionalen Anzeigeeinheiten ausgestattete Nutzer.
-
Die Mikroskopanordnung umfasst nach einer vorteilhaften Ausführungsform einen dreidimensionalen Drucker zur Ausgabe eines dreidimensionalen Modells der mikroskopierten Probe. Das dreidimensionale Modell kann mit Hilfe des dreidimensionalen Druckers in einer gewünschten Vergrößerung ausgegeben werden. Es steht anschließend für weitere Untersuchungen zur Verfügung oder kann zum Vergleich mit dem auf der dreidimensionalen Anzeigeeinheit dargestellten dreidimensionalen Modell verwendet werden. Hierzu ist das gedruckte dreidimensionale Modell in dem Anzeigefeld der dreidimensionalen Anzeigevorrichtung zu platzieren. Der Vergleich des gedruckten dreidimensionalen Modells mit dem angezeigten dreidimensionalen Modell kann manuell, halbautomatisch oder automatisch unter Verwendung zusätzlicher makroskopischer Digitalisierungsmittel erfolgen. Die zusätzlichen makroskopischen Digitalisierungsmittel können weiterhin für eine effizientere Navigation auf der Probe bzw. auf einer vergrößerten Kopie der Probe eine dreidimensionale Überblicksdarstellung ermöglichen.
-
Die Mikroskopanordnung ist vorzugsweise mit einem Probentisch zur Aufnahme der Probe ausgestattet, welcher in X- und/oder Y-Richtung verfahrbar und/oder drehbar oder neigbar ist. Auf diese Weise kann die Probe mit hoher Genauigkeit positioniert werden. Außerdem kann diese Funktionalität des Probentischs für Aufnahmen der Probe mit unterschiedlichen probenseitigen Sichtfeldern genutzt werden.
-
Das erfindungsgemäße Verfahren dient zur aufwandsarmen Schärfentiefenerweiterung, sodass eine Probe aufwandsarm mit einer erweiterten Schärfentiefe abbildbar ist. In einem Schritt dieses Verfahrens werden mehrere Bilder einer Probe aufgenommen, wobei die Bilder mit unterschiedlichen Fokussierungen aufgenommen werden. Somit bilden die aufgenommenen Bilder einen Fokus-Stapel. Die Bilder werden bevorzugt mit vielen unterschiedlichen Fokussierungen aufgenommen, die von einer minimalen Fokussierung eines Fokussierungsintervalls bis zu einer maximalen Fokussierung des Fokussierungsintervalls reichen. Es werden bevorzugt mindestens vier Bilder mit unterschiedlichen Fokussierungen und besonders bevorzugt mindestens zehn Bilder mit unterschiedlichen Fokussierungen aufgenommen. Die Bilder sind bevorzugt zweidimensional. Die Probe bleibt während der Aufnahme der Bilder bevorzugt unverändert.
-
In einem weiteren bevorzugt durchzuführenden Schritt erfolgt ein Aufbereiten der Bilder durch ein Entfernen von unscharfen Bildanteilen in den einzelnen Bildern. Die unscharfen Bildanteile werden bevorzugt durch eine Ortsfrequenzanalyse detektiert. Die unscharfen Bildanteile werden bevorzugt dadurch entfernt, dass die Pixel in diesen Bildanteilen als transparent definiert werden.
-
In einem weiteren Schritt erfolgt ein Darstellen der Bilder in einer zeitlichen Abfolge, wodurch eine schärfentiefenerweiterte Abbildung der Probe erzeugt wird. Durch das Darstellen der einzelnen Bilder in einer schnellen zeitlichen Abfolge entsteht für den Betrachter der Eindruck einer einzigen Abbildung der Probe, wobei die Abbildung für jeden Bildbereich auch scharfe Bildanteile enthält, sodass eine Schärfentiefenerweiterung gegeben ist. Bevorzugt erfolgt ein Darstellen der aufbereiteten Bilder in einer zeitlichen Abfolge. Da die unscharfen Bildanteile in den aufbereiteten Bildern entfernt wurden, werden nur scharfe Bildanteile dargestellt. Durch das Darstellen der einzelnen aufbereiteten Bilder in einer schnellen zeitlichen Abfolge entsteht für den Betrachter der Eindruck einer einzigen Abbildung der Probe, wobei die Abbildung keine unscharfen Bildanteile enthält, sodass eine Schärfentiefenerweiterung gegeben ist. Die bevorzugt aufbereiteten Bilder werden mit einer Bildwechselfrequenz dargestellt, welche bevorzugt mindestens so groß wie die Flimmerverschmelzungsfrequenz ist.
-
Ein besonderer Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass auf die aufwändige Berechnung eines Bildes mit erweiterter Schärfentiefe verzichtet werden kann.
-
Das erfindungsgemäße Verfahren wird bevorzugt mit der erfindungsgemäßen Mikroskopanordnung oder einer bevorzugten Ausführungsform der erfindungsgemäßen Mikroskopanordnung durchgeführt.
-
Die elektronische Steuereinheit der erfindungsgemäßen Mikroskopanordnung ist zur Ausführung des erfindungsgemäßen Verfahrens oder einer der bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens ausgebildet. Bevorzugt sind die Bildaufnahmeeinheit, die Bildverarbeitungseinheit und/oder die Anzeigeeinheit zur Ausführung des erfindungsgemäßen Verfahrens oder einer der bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens ausgebildet.
-
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung einer bevorzugten Ausführungsform, unter Bezugnahme auf die Zeichnung. Es zeigen:
- 1: eine schematische Darstellung einer bevorzugten Ausführungsform einer erfindungsgemäßen Mikroskopanordnung;
- 2: eine Anzeigeeinheit einer bevorzugten Ausführungsform der erfindungsgemäßen Mikroskopanordnung; und
- 3: einen Ablaufplan einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens.
-
1 zeigt eine schematische Darstellung einer bevorzugten Ausführungsform einer erfindungsgemäßen Mikroskopanordnung 01.
-
Die dargestellte Ausführungsform der erfindungsgemäßen Mikroskopanordnung 01 umfasst zunächst eine Bildaufnahmeeinheit 02. Mit Hilfe der Bildaufnahmeeinheit 02 können Aufnahmen einer Probe (nicht gezeigt) aufgenommen werden. Die Bildaufnahmeeinheit 02 ist beispielsweise dazu konfiguriert, zur Erzeugung von dreidimensionalen Bildern geeignete Bilder zur Verfügung zu stellen. Dabei handelt es sich bevorzugt um Bilder mit erweiterter Tiefenschärfe, die mit einer hohen Rate aufgenommen werden. Die Bildaufnahmeeinheit 02 beinhaltet mindestens ein Beleuchtungsmodul (nicht gezeigt), ein Objektiv (nicht gezeigt) zum optischen Abbilden der Probe und einen Bildsensor (nicht gezeigt) zum Wandeln der abgebildeten Bilder in ein elektrisches Signal. Weitere nicht gezeigte bevorzugte Ausführungsformen ermöglichen Aufnahmen aus verschiedenen Perspektiven, d. h. unter verschiedenen Aufnahmeblickwinkeln, wofür die Bildaufnahmeeinheit 02 entsprechend ausgebildet ist, beispielsweise indem die Bildaufnahmeeinheit 02 mehrere räumlich verteilte Bildaufnahmevorrichtungen umfasst.
-
Eine Bildverarbeitungs- und Steuereinheit 03 bildet einen weiteren Bestandteil der Mikroskopanordnung 01. Die zur Bildverarbeitung genutzten Komponenten der Bildverarbeitungs- und Steuereinheit 03 erzeugen aus den von der Bildaufnahmeeinheit 02 aufgenommenen Bildern dreidimensionale Bilder der Probe. Erfindungsgemäß kann mindestens ein dreidimensionales Bild der Probe pro Sekunde erzeugt werden. Es wird angestrebt, mehr als ein dreidimensionales Bild der Probe pro Sekunde zu erzeugen. Vorzugsweise sollen 10 bis 60 Bilder der Probe pro Sekunde generiert werden können. Die zur Steuerung dienenden Komponenten der Bildverarbeitungs- und Steuereinheit 03 steuern die Bildaufnahmeeinheit 02 und stehen vorzugsweise auch in Wechselwirkung zumindest mit einigen der nachfolgend beschriebenen Bestandteile der Mikroskopanordnung 01. Bei alternativen Ausführungsformen kann die Bildverarbeitungs- und Steuereinheit 03 durch separate Baugruppen realisiert sein.
-
Die Mikroskopanordnung 01 umfasst weiterhin eine dreidimensionale Anzeigeeinheit 04 zur Darstellung der dreidimensionalen Bilder der Probe. Die dreidimensionale Anzeigeeinheit 04 kann beispielsweise als eine holographische Anzeigeeinheit oder als eine an dem Kopf eines Nutzers tragbare dreidimensionale Anzeigeeinheit, wie beispielsweise als 3D-Brille oder Head Mounted Display, ausgebildet sein. Zur Darstellung von zweidimensionalen Bildern der Probe dient eine zweidimensionale Anzeigeeinheit 05. Zudem ist es möglich, dreidimensionale und zweidimensionale Bilder gleichzeitig oder separat mit der dreidimensionalen Anzeigeeinheit 04 darzustellen.
-
Ein dreidimensionales Modell der Probe ist über einen dreidimensionalen Drucker 07 ausdruckbar. Das ausgedruckte dreidimensionale Modell der Probe kann mit dem auf der dreidimensionalen Anzeigeeinheit 04 angezeigten dreidimensionalen Modell der Probe verglichen werden. Hierzu ist die Mikroskopanordnung 01 mit einer Vergleichseinheit 08 ausgestattet. Die Vergleichseinheit 08 weist entsprechende Komponenten zur Digitalisierung des ausgedruckten dreidimensionalen Modells der Probe auf.
-
Die Mikroskopanordnung 01 weist weiterhin eine Bedieneinheit 09 auf, mit deren Hilfe Steuerbefehle von Nutzern zum Steuern der einzelnen Einheiten der Mikroskopanordnung 01 eingegeben werden können. Die Bedieneinheit 09 ist vorzugsweise als ein elektronisches Mobilgerät, bevorzugt als ein frei programmierbares Mobiltelefon oder ein Tabletcomputer, ausgebildet. Alternativ kann die Bedieneinheit 09 auch als eine Computermaus, ein Touchpad, eine Tastatur oder ein Joystick ausgeführt sein. Zudem ist es möglich, Funktionselemente der Bedieneinheit 09 gleichzeitig mit den Bildern der Probe mit der dreidimensionalen Anzeigeeinheit 04 bzw. mit der zweidimensionalen Anzeigeeinheit 05 darzustellen.
-
Des Weiteren ist die Mikroskopanordnung 01 mit einer Datenschnittstelle 10 ausgerüstet. Über die Datenschnittstelle 10 können die von der Bildaufnahmeeinheit 02 erfassten und/oder die von der Steuer- und Bildverarbeitungseinheit 03 aufbereiteten Daten an externe Geräte 12 übertragen werden. Die externen Geräte 12 können beispielsweise eine Visualisierung der Daten für an entfernten Standorten befindliche Nutzer ermöglichen. Die Daten können darüber hinaus weiterverarbeitet, ausgewertet bzw. einem externen Speichermedium zugeführt werden.
-
2 zeigt die Anzeigeeinheit 04 einer bevorzugten Ausführungsform der erfindungsgemäßen Mikroskopanordnung. Bei dieser Ausführungsform basiert die Anzeigeeinheit 04 auf dem Pepper's-Ghost-Prinzip. Die Anzeigeeinheit 04 umfasst einen Rahmen 14, an welchem drei oder vier umfänglich angeordnete teiltransparente teilreflektierende Spiegel 15 befestigt sind. Die Anzeigeeinheit 04 umfasst weiterhin eine Projektionseinheit 16, welche durch einen Flachbildschirm gebildet ist und von oben auf die teiltransparenten Spiegel 15 gerichtet ist. Die teiltransparenten Spiegel 15 sind wie die Seitenflächen einer Pyramide angeordnet. Die Projektionseinheit 16 ist zur Projektion von jeweils einem einer Perspektive zugeordneten Teilbild eines jeweilig darzustellenden dreidimensionalen Bildes 17 auf die einzelnen teiltransparenten Spiegel 15 ausgebildet. Im Zwischenraum zwischen den teiltransparenten Spiegeln 15 entsteht das dreidimensionale Bild 17 in Form einer dreidimensionalen Vision, welche aus verschiedenen Perspektiven 18 betrachtet werden kann.
-
3 zeigt einen Ablaufplan einer bevorzugten Ausführungsform eines erfindungsgemäßen Verfahrens, welches zur aufwandsarmen Schärfentiefenerweiterung dient. Mit diesem Verfahren ist eine Probe aufwandsarm mit einer erweiterten Schärfentiefe abbildbar. In einem Schritt dieses Verfahrens wird eine Vielzahl von Bildern der Probe aufgenommen, wobei die Bilder mit unterschiedlichen Fokussierungen aufgenommen werden. Somit bilden die aufgenommenen Bilder einen Fokusstapel. In einem weiteren Schritt werden unscharfe Bestandteile in den einzelnen Bildern entfernt oder maskiert, sodass die Bilder im Wesentlichen nur scharfe Anteile besitzen. In einem weiteren Schritt erfolgt ein Darstellen der nur noch die scharfen Anteile enthaltenden Bilder in einer schnellen zeitlichen Abfolge, wodurch eine schärfentiefenerweiterte Abbildung der Probe erzeugt wird.
-
Bezugszeichenliste
-
- 01 -
- Mikroskopanordnung
- 02 -
- Bildaufnahmeeinheit
- 03 -
- Bildverarbeitungs- und Steuereinheit
- 04 -
- dreidimensionale Anzeigeeinheit
- 05 -
- zweidimensionale Anzeigeeinheit
- 06 -
- -
- 07 -
- dreidimensionaler Drucker
- 08 -
- Vergleichseinheit
- 09 -
- Bedieneinheit
- 10 -
- Datenschnittstelle
- 11 -
- -
- 12 -
- externe Geräte
- 13 -
- -
- 14 -
- Rahmen
- 15 -
- teiltransparente Spiegel
- 16 -
- Projektionseinheit
- 17 -
- dreidimensionales Bild
- 18 -
- Perspektiven
