DE102012106890A1

DE102012106890A1 - Dreidimensionale Darstellung von Objekten

Info

Publication number: DE102012106890A1
Application number: DE201210106890
Authority: DE
Inventors: Bernd Spruck; Cristina Alvarez Diez; Christian Wojek; Jochen Fuchs
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2012-07-30
Filing date: 2012-07-30
Publication date: 2014-01-30
Also published as: US20140028667A1

Abstract

Es werden Verfahren und Vorrichtungen bereitgestellt, bei welchen eine erste 3D-Darstellung beispielsweise auf Basis einer Laser-Scanning-Mikroskopaufnahme mit einer zweiten 3D-Darstellung beispielsweise auf Basis einer Lichtmikroskopaufnahme auf einer geeigneten 3D-Anzeige (82) überlagernd dargestellt werden. Derartige Verfahren und Vorrichtungen können insbesondere zum Schneiden von Objekten (810) verwendet werden.

Description

Die vorliegende Erfindung betrifft die dreidimensionale Darstellung (3D-Darstellung) von Objekten auf geeigneten Anzeigeeinrichtungen, beispielsweise auf Basis von Messdaten, insbesondere durch Mikroskopmessungen erhaltene Daten, sowie Verfahren und Vorrichtungen zur Objektmanipulation, welche eine derartige 3D-Darstellung benutzen.
In der Mikroskopie gibt es verschiedene Möglichkeiten, dreidimensionale Daten eines Objekts zu erhalten. Beispielsweise kann ein Objekt mittels eines so genannten Laser-Scanning-Mikroskops abgerastert werden, um so einen dreidimensionalen Datensatz (3D-Datensatz) zu erhalten. Beispielsweise in der Zellanalyse können hier interessierende Bereiche eines Objekts detektiert werden, welche später mittels anderer Verfahren, beispielsweise Elektronenmikroskopie, weiter untersucht werden können.
Für eine derartige elektronenmikroskopische Untersuchung eines Objekts ist es nötig, das Objekt vorher entsprechend zu präparieren, insbesondere beispielsweise mittels eines Mikrotoms zu schneiden, um eine zu untersuchende Stelle freizupräparieren. Dies kann beispielsweise unter Betrachtung mit einem Stereomikroskop erfolgen. Dabei ergibt sich die Schwierigkeit, den Schnitt genau so zu setzen, dass auch tatsächlich die vorher beispielsweise mittels des Laser-Scanning-Mikroskops erfasste interessierende Stelle freipräpariert wird.
Daher wäre es in diesem Falle hilfreich, wenn die mittels des Laser-Scanning-Mikroskops erfassten Daten während des Schneidvorgangs und der Betrachtung des Objekts beim Schneiden oder zumindest bei einer Ausrichtung für den Schneidvorgang unmittelbar zugänglich wären.
Auch in anderen Anwendungsfällen kann es hilfreich sein, einen 3D-Datensatz, welcher beispielsweise durch eine Messung oder auch auf andere Weise, beispielsweise durch Simulation, erhalten wurde, mit anderen dreidimensionalen Darstellungen eines Objekts, beispielsweise unter einem Stereomikroskop, abgleichen zu können.
Es ist daher eine Aufgabe der Erfindung, Verfahren und Vorrichtungen zur dreidimensionalen Darstellung bereitzustellen, mit welcher ein derartiger Abgleich von aus verschiedenen Quellen stammenden Daten auf einfache Weise möglich ist. Zudem ist es eine Aufgabe der vorliegenden Erfindung, Verfahren und Vorrichtungen zum Manipulieren, insbesondere Schneiden von Objekten insbesondere zur Vorbereitung elektronenmikroskopischer Untersuchungen unter Benutzung derartiger Verfahren und Vorrichtungen zur dreidimensionalen Darstellung bereitzustellen.
Diese Aufgabe wird gelöst durch ein Verfahren nach Anspruch 1 sowie eine Vorrichtung nach Anspruch 13. Die Unteransprüche definieren weitere Ausführungsbeispiele, insbesondere Verfahren und Vorrichtungen zum Schneiden einer Probe.
Erfindungsgemäß wird ein Verfahren bereitgestellt, umfassend:
Bereitstellen eines ersten dreidimensionalen Datensatzes eines Objekts,
Bereitstellen eines zweiten dreidimensionalen Datensatzes eines Objekts,
relatives Ausrichten einer dreidimensionalen Darstellung auf Basis des ersten dreidimensionalen Datensatzes zu einer zweiten dreidimensionalen Darstellung auf Basis des zweiten dreidimensionalen Datensatzes, und
überlagerndes Anzeigen der ersten dreidimensionalen Darstellung des Objekts und der zweiten dreidimensionalen Darstellung des Objekts.
Durch das relative Ausrichten und das überlagernde Anzeigen können dabei die erste dreidimensionale Darstellung und die zweite dreidimensionale Darstellung simultan und zueinander ausgerichtet betrachtet werden, so dass beispielsweise Merkmale aus dem ersten dreidimensionalen Datensatz leicht mit Merkmalen des zweiten dreidimensionalen Datensatzes abgeglichen werden können.
Das überlagernde Anzeigen kann dabei auf einer geeigneten Anzeigeeinrichtung zum Darstellen dreidimensionaler Bilder, beispielsweise mittels eines so genannten 3D-Monitors, eines geeigneten Head-Mounted-Displays, einer 3D-Brille oder dergleichen erfolgen, welche in der Lage sind, für das linke und rechte Auge eines Betrachters getrennte Bilder bereitzustellen. Zur überlagernden Darstellung können dabei beispielsweise die erste dreidimensionale Darstellung und die zweite dreidimensionale Darstellung mit hinreichend hoher Wechselfrequenz, beispielsweise größer als 30 Hz, abwechselnd dargestellt werden. Bei einem anderen Ausführungsbeispiel kann eine Anzeige zwischen der ersten dreidimensionalen Darstellung und der zweiten dreidimensionalen Darstellung aufgeteilt werden, beispielsweise zeilenweise oder in einem schachbrettähnlichen Muster, so dass die erste und die zweite dreidimensionale Darstellung simultan dargestellt werden. Bei wieder anderen Ausführungsbeispielen können die Darstellungen addiert werden. Die erste und die zweite dreidimensionalen Darstellung sowie die Überlagerung können dabei insbesondere jeweils stereoskopische Darstellungen mit einem Bild für das linke Auge eines Betrachters und einem Bild für das rechte Auge eines Betrachters sein.
Bei manchen Ausführungsbeispielen kann der erste dreidimensionale Datensatz ein abgespeicherter Datensatz, beispielsweise ein auf Basis einer vorhergehenden Messung erlangter Datensatz (beispielsweise einer Messung mit einem Laser-Scanning-Mikroskop) oder auf Basis einer Simulation oder einem Entwurf wie einem CAD-Entwurf erlangter Datensatz, sein. Der zweite dreidimensionale Datensatz kann ebenso ein derartiger abgespeicherter Datensatz sein. Bei einem bevorzugten Ausführungsbeispiel ist der zweite dreidimensionale Datensatz jedoch ein im laufenden Betrieb kontinuierlich erneuerter Datensatz, welcher beispielsweise durch Aufnahme über ein Stereomikroskop erlangt werden kann. Im Falle eines Stereomikroskops ist der Datensatz dann ein stereoskopischer Datensatz. Zur Aufnahme können dabei beispielsweise Okulare des Stereomikroskops durch Kameras ersetzt sein. Auf diese Weise kann beispielsweise ein vorher abgespeicherter erster dreidimensionaler Datensatz mit einem „live“ erlangten zweiten dreidimensionalen Datensatz abgeglichen werden. Über einen derartigen kontinuierlich erneuerten Datensatz können dann beispielsweise Manipulationen des Objekts, beispielsweise Schneidvorgänge, überwacht und durchgeführt werden, während die überlagerte Darstellung des ersten dreidimensionalen Datensatzes hilfreich sein kann, bei einer derartigen Manipulation beispielsweise durch ein vorher durchgeführtes Messverfahren detektierte und ggfs. markierte Merkmale zu berücksichtigen, beispielsweise freizupräparieren.
Das relative Ausrichten kann beispielsweise automatisch, halbautomatisch oder manuell auf Basis von Merkmalen des Objekts erfolgen, beispielsweise auf Basis von zur Fluoreszenz angeregten Fluoreszenz-Beads.
Bei einem anderen Aspekt umfasst eine Vorrichtung eine erste dreidimensionale Datenquelle zum Bereitstellen eines ersten dreidimensionalen Datensatzes eines Objekts, eine zweite dreidimensionale Datenquelle zum Bereitstellen eines zweiten dreidimensionalen Datensatzes eines Objekts, eine Recheneinheit zum relativen Ausrichten einer ersten dreidimensionalen Darstellung des Objekts auf Basis des ersten dreidimensionalen Datensatzes zu einer zweiten dreidimensionalen Darstellung des Objekts auf Basis des zweiten dreidimensionalen Datensatzes und zum Ansteuern einer Ausgabeeinrichtung zum Ausgeben einer Überlagerung der ersten dreidimensionalen Darstellung und der zweiten dreidimensionalen Darstellung.
Eine derartige Vorrichtung kann insbesondere zur Ausführung eines der oben diskutierten Verfahren ausgestaltet sein. Beispielsweise kann die zweite dreidimensionale Datenquelle ein Stereomikroskop, welches mit zwei Kameras gekoppelt ist, umfassen. Zudem kann die Vorrichtung beispielsweise eine Schneidvorrichtung wie ein Mikrotom oder eine andere Manipulationsvorrichtung umfassen.
Die Vorrichtung kann weiter eine Beleuchtungseinrichtung, welche bevorzugt mit dem Objekt gekoppelt ist, umfassen, um Fluoreszenzmarker wie beispielsweise Fluoreszenz-Beads in dem Objekt zur Fluoreszenz anzuregen.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügte Zeichnung näher erläutert. Es zeigen:
1 ein Blockdiagramm eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung,
2 ein Flussdiagramm zur Veranschaulichung eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
3–7 schematische Diagramme zur Veranschaulichung verschiedener Möglichkeiten der Überlagerung zweier dreidimensionaler Darstellungen,
8 ein Schemadiagramm eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung,
9 eine Perspektivansicht eines Teils einer Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung,
10 eine schematische Ansicht zur Erläuterung der Erzeugung einer dreidimensionalen Darstellung bei manchen Ausführungsbeispielen,
11 eine Perspektivansicht zur Erläuterung der Erzeugung einer dreidimensionalen Darstellung bei manchen Ausführungsbeispielen,
12 eine Perspektivansicht eines Teils einer Vorrichtung gemäß einem Ausführungsbeispiel,
13 ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel, und
14 ein Beispiel für einen 3D-Cursor, wobei 14A den 3D-Cursor in einer ersten Position und 14B den 3D-Cursor in einer zweiten Position zeigt.
Im Folgenden werden Ausführungsbeispiele der vorliegenden Erfindung detailliert erläutert. Zu bemerken ist, dass Merkmale und Elemente verschiedener Ausführungsbeispiele miteinander kombiniert werden können, sofern nichts anderes angegeben ist. Auf der anderen Seite ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Merkmalen nicht dahingehend auszulegen, dass alle diese Merkmale zur Ausführung der Erfindung notwendig sind, da anderer Ausführungsbeispiele weniger Merkmale und/oder alternative Merkmale aufweisen können.
In 1 ist ein Blockdiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel der Erfindung dargestellt.
Das Ausführungsbeispiel der 1 umfasst eine erste dreidimensionale Datenquelle 10, im Folgenden auch als 3D-Datenquelle bezeichnet, zum Bereitstellen eines ersten dreidimensionalen Datensatzes (im Folgenden kurz als 3D-Datensatz bezeichnet) eines Objekts, und eine zweite 3D-Datenquelle 11 zum Bereitstellen eines zweiten 3D-Datensatzes des Objekts. Unter einem 3D-Datensatz eines Objekts wird allgemein ein Datensatz verstanden, welcher zumindest teilweise Informationen hinsichtlich einer dreidimensionalen Struktur des Objekts enthält. Beispielsweise kann der 3D-Datensatz das Objekt als „Punktwolke“ darstellen, oder der 3D-Datensatz kann eine stereoskopische Ansicht des Objekts umfassen, in welchem Fall – insbesondere bei intransparenten Objekten – im Wesentlichen Informationen über eine Oberflächenform aus dem Datensatz ableitbar ist, während im Falle einer Punktwolke auch Information über die Volumenstruktur enthalten sein können.
Die erste 3D-Datenquelle 10 und die zweite 3D-Datenquelle 11 können beispielsweise jeweils Messeinrichtungen zum Erlangen des ersten bzw. zweiten 3D-Datensatzes durch Messung, Speicher zum Abspeichern des jeweiligen 3D-Datensatzes und/oder Recheneinrichtungen zum Generieren eines 3D-Datensatzes beispielsweise auf Basis einer Simulation, beispielsweise einer Windkanalsimulation, oder auf Basis von Benutzereingaben, beispielsweise mithilfe eines CAD(Computer Aided Design)-Programms, umfassen. Bei einem Ausführungsbeispiel umfasst die erste 3D-Datenquelle 10 einen Speicher zum Ablegen eines zuvor beispielsweise durch Messung erlangten 3D-Datensatzes, während die zweite 3D-Datenquelle 11 eine Messvorrichtung umfasst, welche den zweiten 3D-Datensatz kontinuierlich erneuert und somit eine „live“ Beobachtung des Objekts ermöglicht. Beispielsweise kann der erste 3D-Datensatz auf Basis einer Messung mit einem Laser-Scanning-Mikroskop oder einer anderen Einrichtung, welche das Objekt abrastert, erlangt worden sein und in der ersten 3D-Datenquelle 10 abgespeichert sein (was ein Beispiel für eine „Punktwolke“ ist), während die zweite 3D-Datenquelle 11 ein Stereomikroskop umfassen kann, welches kontinuierlich 3D-Daten liefert, in diesem Falle stereoskopische Ansichten. Es sind jedoch auch andere Arten von Messungen als die oben erwähnten Laser-Scanning-Mikroskop-Messungen und Stereomikroskop-Messungen möglich, beispielsweise Messungen mittels eines Computertomographen (CT), eines Magnetresonanztomographen (MRT), eines Elektronenmikroskops, insbesondere eines Rasterelektronenmikroskops, oder auch eines Ultraschallscanners. Ebenso können entsprechende 3D-Datensätze aus geophyikalischen Untersuchungen gewonnen werden oder Wetterdaten sein.
Der erste 3D-Datensatz wird von der ersten 3D-Datenquelle 10 einer Recheneinheit 12 zur Verfügung gestellt, und der zweite 3D-Datensatz wird von der zweiten 3D-Datenquelle 11 ebenso der Recheneinheit 12 zur Verfügung gestellt. Die Recheneinheit 12 bestimmt eine Überlagerung einer ersten dreidimensionalen Darstellung (im Folgenden: 3D-Darstellung) des Objekts auf Basis des ersten 3D-Datensatzes und einer zweiten 3D-Darstellung des Objekts auf Basis des zweiten 3D-Datensatzes und gibt diese Überlagerung an eine 3D-Ausgabeeinrichtung 13 zur Ausgabe aus. Die erste 3D-Darstellung, die zweite 3D-Darstellung und die Überlagerung können dabei jeweils insbesondere stereoskopische Darstellungen sein. Ein Bestimmen der ersten 3D-Darstellung und/oder der zweiten 3D-Darstellung kann dabei ein Rendern von Oberflächen mittels eines Renderers umfassen, beispielsweise um aus einer Punktwolke entsprechende Oberflächen für eine stereoskopische Darstellung zu erzeugen. Dabei richtet die Recheneinheit 12, gegebenenfalls in Interaktion mit einem Benutzer, die erste 3D-Darstellung relativ zu der zweiten 3D-Darstellung aus, so dass das Objekt beispielsweise in beiden 3D-Darstellungen aus der gleichen Perspektive gezeigt ist, den gleichen Maßstab aufweist und an der gleichen Position dargestellt ist.
Unter einer 3D-Darstellung ist dabei eine Darstellung des Objekts zu verstehen, welche für eine Ausgabe auf einer 3D-Ausgabeeinrichtung 13 geeignet ist. Insbesondere kann eine 3D-Darstellung dabei zwei Bilder des Objekts umfassen, welche über die 3D-Ausgabeeinrichtung 13 einem linken Auge bzw. einem rechten Auge eines Betrachters zugeführt wird, um somit einen dreidimensionalen Eindruck beim Betrachter hervorzurufen. Das erste Bild und das zweite Bild weisen dabei entsprechend dem menschlichen Sehen zwei geringfügig unterschiedliche Perspektiven auf. Zu bemerken ist, dass „ein“ bzw. „eines“ im „3D-Datensatz eines Objekts“ oder „3D-Darstellung eines Objekts“ als unbestimmter Artikel zu verstehen ist und nicht ausschließt, dass in den 3D-Datensätzen bzw. 3D-Darstellungen mehrere Objekte vorhanden sind.
Es ist zu bemerken, dass, wenn die entsprechende 3D-Datenquelle 10 oder 11 beispielsweise ein Stereomikroskop ist, der erzeugte 3D-Datensatz im Wesentlichen unmittelbar als 3D-Darstellung verwendet werden kann, da ein derartiges Stereomikroskop beispielsweise zwei Bilder aus leicht unterschiedlichen Perspektiven liefern kann.
Beispiele, wie die erste 3D-Darstellung mit der zweiten 3D-Darstellung überlagert werden kann, werden später unter Bezugnahme auf die 3–7 detaillierter erläutert.
Die 3D-Ausgabeeinrichtung 13 kann jede konventionelle Art von 3D-Ausgabeeinrichtung sein. Beispielsweise können separate Anzeigen, beispielsweise Bildschirme, für das linke und rechte Auge eines Betrachters bereitgestellt sein, beispielsweise in einer so genannten 3D-Brille, oder separate Bilder können über ein Head-Mounted-Display dem linken und rechten Auge eines Benutzers zugeführt werden. Bei anderen Ausführungsbeispielen kann die 3D-Ausgabeeinrichtung eine einzige Anzeige umfassen, welche ein Bild für ein linkes Auge eines Betrachters und ein Bild für ein rechtes Auge eines Betrachters gleichzeitig (beispielsweise zeilenweise abwechselnd) mit unterschiedlicher Polarisation darstellt. Mittels einer Polarisationsbrille werden die Bilder dann voneinander getrennt. Bei anderen Ausführungsbeispiele können ein Bild für das linke Auge und ein Bild für das rechte Auge abwechselnd dargestellt werden, und mittels einer so genannten Shutterbrille können die beiden Augen des Betrachters entsprechend abwechselnd abgedeckt werden. Bei wieder anderen Ausführungsbeispielen kann die Auftrennung über Farbfilter erfolgen, beispielsweise mittels der bekannten Rot-Grün-Brille.
Mit dem Ausführungsbeispiel der 1 ist es somit möglich, von unterschiedlichen Datenquellen herrührende Darstellungen eines Objekts überlagert darzustellen, was eine Analyse oder eine Bearbeitung des Objekts erleichtern kann.
In 2 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens gemäß einem Ausführungsbeispiel der vorliegenden Erfindung dargestellt, welches beispielsweise in der Vorrichtung der 1 implementiert sein kann, jedoch auch unabhängig von dieser Vorrichtung verwendet werden kann.
In Schritt 20 wird ein erster 3D-Datensatz eines Objekts bereitgestellt, und in Schritt 21 wird ein zweiter 3D-Datensatz des Objekts bereitgestellt. In Schritt 22 wird eine erste 3D-Darstellung des Objekts auf Basis des ersten 3D-Datensatzes und eine zweite 3D-Darstellung des Objekts auf Basis des zweiten 3D-Datensatzes erzeugt. In Schritt 23 werden die erste und zweite 3D-Darstellung zueinander ausgerichtet, und in Schritt 24 werden die erste und zweite 3D-Darstellung überlagert angezeigt, wie bereits unter Bezugnahme auf 1 beschrieben.
Zu bemerken ist, dass die verschiedenen beschriebenen Vorgänge in 2 nicht notwendigerweise in der dargestellten Reihenfolge durchgeführt werden müssen. Beispielsweise kann das Bereitstellen des ersten 3D-Datensatzes in Schritt 20 und das Bereitstellen des zweiten 3D-Datensatzes in Schritt 21 auch gleichzeitig oder in umgekehrter Reihenfolge erfolgen. Das Ausrichten des Schritts 23 kann auch nach dem überlagerten Anzeigen erfolgen, beispielsweise kann das überlagerte Anzeigen zu einer Ausrichtung durch einen Benutzer genutzt werden. Bei wieder anderen Ausführungsbeispielen kann zunächst ein automatisiertes Ausrichten vor dem überlagerten Anzeigen erfolgen, und dann kann anhand des überlagerten Anzeigens eine Feinausrichtung vorgenommen werden.
Wie bereits erläutert, kann das Ausrichten anhand von Merkmalen des Objekts erfolgen, welche sowohl im ersten 3D-Datensatz als auch im zweiten 3D-Datensatz vorhanden sind. Beispielsweise kann der erste 3D-Datensatz durch eine Laser-Scanning-Mikroskopaufnahme eines Objekts erstellt worden sein, in welchem Fluoreszenz von Fluoreszenz-Beads sichtbar ist. Der zweite 3D-Datensatz kann dann durch Aufnahme über ein stereoskopisches Lichtmikroskop erfolgen, wobei auch hier die Fluoreszenz-Beads mit einer entsprechenden Beleuchtung zur Fluoreszenz angeregt werden können, so dass die Fluoreszenz-Beads in beiden Fällen sichtbar sind und somit zum Ausrichten genutzt werden können.
Als nächstes werden nun unter Bezugnahme auf die 3–7 Möglichkeiten zum überlagerten Anzeigen zweier 3D-Darstellungen, welche in Ausführungsbeispielen der vorliegenden Erfindung verwendbar sind, schematisch erläutert.
Hierfür werden zur Veranschaulichung einfache Schwarz-Weiß-Symbole in einem Feld einer Auflösung von 15 × 10 Bildpunkten verwendet. In der Praxis wird häufig eine verwendete Auflösung um ein Vielfaches höher sein, beispielsweise entsprechend einer HDTV-Auflösung von 1920 × 1080 Bildpunkten in Farbe, wobei auch höhere oder niedrigere Auflösungen und sowohl Schwarz-Weiß- bzw. Graustufenbilder als auch Farbbilder möglich sind. Die einfache Darstellung der 3–7 wurde also lediglich gewählt, um einfache Beispiele für die Überlagerung geben zu können.
In 3 ist eine 3D-Darstellung eines ersten Objekts dargestellt, welches in dem dargestellten Ausführungsbeispiel ein viereckiges Objekt ist. Dabei zeigt 3A ein erstes Bild beispielsweise für ein linkes Auge eines Betrachters, und 3B zeigt ein zweites Bild beispielsweise für ein rechtes Auge eines Betrachters. Wie zu sehen ist, ist das Objekt in 3B relativ zu 3A um drei Spalten, d.h. relativ weit, nach rechts versetzt, was einem Objekt relativ nahe bei einem Beobachter entspricht.
Zudem sind in den 3A und 3B Markierungen 30 bereitgestellt, welche wie später erläutert werden wird zum Ausrichten dienen können. Diese Markierungen 30 haben bei dem dargestellten Beispiel in 3A und 3B die gleiche Position, was einem weit entfernten Objekt entsprechen würde. Bei anderen Ausführungsbeispielen kann auch das Objekt selbst mit Markierungen versehen sein.
In 4 ist eine 3D-Darstellung eines zweiten Objekts, in diesem Fall eines Kreuzes, dargestellt, wobei 4A wiederum ein erstes Bild beispielsweise für ein linkes Auge und 4B ein zweites Bild beispielsweise für ein rechtes Auge darstellt. Die Benutzung zweiter verschiedener Objekte in 3 und in 4 dient der leichteren Unterscheidung bei den nachfolgenden Beispielen für das Kombinieren zweiter 3D-Darstellungen. Wie bereits oben erläutert, können Ausführungsbeispiele der vorliegenden Erfindung insbesondere dazu dienen, zwei dreidimensionale Darstellungen des gleichen Objekts überlagernd darzustellen, beispielsweise zwei Darstellungen, in welchen unterschiedliche Merkmale des Objekts sichtbar sind (beispielsweise da verschiedene Messmethoden verwendet wurden, um die beiden Darstellungen zu erzeugen). Auch in 4 sind die Markierungen 30 vorhanden.
In 4B ist das Kreuz verglichen mit 4A um eine Spalte nach rechts gerückt. Verglichen mit dem Objekt der 3 bedeutet dies, dass das Objekt der 4 weiter entfernt von einem Beobachter ist.
In 5 ist ein erstes Beispiel für eine Überlagerung der 3D-Darstellung der 3 mit der 3D-Darstellung der 4 dargestellt. Dabei zeigt 5A ein erstes Bild der überlagerten Darstellung beispielsweise für ein linkes Auge eines Betrachters und 5B ein zweites Bild der überlagerten Darstellung beispielsweise für ein rechtes Auge des Betrachters. Die Ausrichtung konnte dabei beispielsweise mittels der Markierungen 30 vorgenommen werden.
Bei dem Beispiel der 5 werden zur Erzeugung des Bilds der 5A die Bilder der 3A und 4A addiert, und danach werden die addierten Werte durch zwei geteilt, so dass es nicht zu einem Überlauf bzw. einer Sättigung kommt. Bei den einfachen Schwarz-Weiß-Bildern der 3A und 4A bedeutet dies, dass Bildpunkte, welche sowohl in 3A als auch in 4A schwarz erscheinen, auch in dem Bild der 5A schwarz erscheinen, Bildpunkte, welche nur in einer der 3A und 4A schwarz sind, als grau erscheinen (in 5A schraffiert dargestellt), und Bildpunkte, welche in 3A und 4A weiß sind, auch in 5A weiß erscheinen. In entsprechender Weise wird auch das Bild der 5B durch Addition der Bilder der 3B und 4B und anschließendes Teilen durch zwei erreicht. Die 3D-Darstellung der 5 kann dann wiederum auf einer 3D-Ausgabeeinrichtung wie oben diskutiert ausgegeben werden.
Zu bemerken ist, dass eine Überlagerung wie in 5 dargestellt auch gewichtet erfolgen kann, d.h. nicht mit einfacher Addition zweier Bilder, sondern einer gewichteten Addition. Somit kann eine Darstellung gegenüber der anderen 3D-Darstellung stärker betont werden. Derartige Gewichtungsfaktoren können von einem Benutzer beispielsweise mittels eines Schiebereglers einer entsprechenden Bedienoberfläche eingestellt werden.
In 6 ist ein zweites Beispiel einer überlagerten Darstellung der 3D-Darstellungen der 3 und 4 dargestellt.
Dabei zeigt wiederum 6A ein erstes Bild beispielsweise für ein linkes Auge eines Betrachters, und 6B zeigt ein zweites Bild für das rechte Auge eines Betrachters.
Bei dem Beispiel der 6 wird das Bild der 6A aus den Bildern der 3A und 4A gebildet, in dem abwechselnd eine Zeile des Bildes der 3A und eine Zeile des Bilds der 4A genommen wird. Mit anderen Worten entspricht die erste, dritte, fünfte, siebte und neunte Zeile des Bilds der 6A der ersten, dritten, fünften, siebten bzw. neunten Zeile des Bilds der 3A, und die zweite, vierte, sechste, achte und zehnte Zeile des Bilds der 6A entspricht der zweiten, vierten, sechsten, achten bzw. zehnten Zeile des Bilds der 4A. In entsprechender Weise wird das Bild der 6B aus den Bildern der 3B und 4B gebildet.
Es ist zu bemerken, dass bei anderen Ausführungsbeispielen auch für die überlagerte Darstellung, sofern eine entsprechende Anzeigeeinrichtung zur Verfügung steht, die doppelte vertikale Auflösung gewählt werden kann, d.h. für das dargestellte Beispiel ein Bild mit 20 Zeilen. In diesem Fall können dann beispielsweise die ungeraden Zeilen durch die Zeilen der Bilder der 3 und die geraden Zeilen durch die Zeilen der Bilder der 4 gebildet werden.
Es ist weiter zu bemerken, dass eine entsprechende Überlagerung ebenso spaltenweise möglich ist.
Bei einer zeilenweisen Überlagerung wie dargestellt kann beispielsweise bei einer so genannten Interlace-Darstellung auf einer entsprechenden Anzeige, bei welcher zwei Halbbilder im Wechsel dargestellt werden, ein Halbbild auf Basis eines Bilds einer ersten Darstellung und das andere Halbbild auf Basis eines Bildes einer zweiten Darstellung (beispielsweise der Darstellung der 3 und 4) erfolgen.
Eine weitere Möglichkeit der Überlagerung von 3D-Darstellungen ist in 7 dargestellt. Wiederum zeigt 7A ein erstes Bild beispielsweise für ein linkes Auge eines Betrachters und 7B ein zweites Bild beispielsweise für ein rechtes Auge eines Betrachters.
Bei diesem Beispiel werden die einzelnen Darstellungen der 3 und 4 schachbrettartig überlagert. Insbesondere entspricht bei dem Bild der 7A der Bildpunkt in der ersten Zeile, erste Spalte dem Bildpunkt erste Zeile, erste Spalte der 3A, der Bildpunkt erste Zeile, zweite Spalte der 7A entspricht dem Bildpunkt erste Zeile, zweite Spalte der 4A, der Bildpunkt erste Zeile, dritte Spalte der 7A entspricht dann wieder dem Bildpunkt erste Zeile, dritte Spalte der 3A usw. In der zweiten Zeile ist dann die Auswahl gleichsam um eins versetzt, d.h. der Bildpunkt zweite Zeile, erste Spalte der 7A entspricht dem Bildpunkt zweite Zeile, erste Spalte der 4A, der Bildpunkt zweite Zeile, zweite Spalte der 7A entspricht dann dem Bildpunkt zweite Zeile, zweite Spalte der 3A usw.
Die Auswahl für die anderen ungeraden Zeilen (dritte, fünfte, siebte und neunte Zeile) entspricht der Auswahl der ersten Zeile (d.h. jeweils in der ersten Spalte der Bildpunkt aus der 3A, in der zweiten Spalte der Bildpunkt der 4A etc.), während die übrigen ungeraden Zeilen (Zeilen 4, 6, 8, 10) der Zeile 2 entsprechen, d.h. erste Spalte entsprechend der 4A, zweite Spalte entsprechend der 3A etc.
Während in dem Beispiel der 7 die Überlagerung „schachbrettartig“ erfolgte, wobei die einzelnen „Felder“ des Schachbretts einzelne Bildpunkte waren, kann die Überlagerung natürlich auch in anderen Mustern geschehen, beispielsweise mit quadratischen oder rechteckigen Feldern, welche mehrere Bildpunkte umfassen. Beispielsweise können für das dargestellte Beispiel die ersten zwei Spalten der ersten beiden Spalten aus dem Bild der 3, die Spalte 3 und 4 der Zeilen 1 und 2 aus der 4 etc. genommen werden, während für die dritte und vierte Zeile die Spalten 1 und 2 aus der 4 genommen werden, die Spalten 3 und 4 aus der 3 etc., so dass sich hier „Felder“ von zwei mal zwei Bildpunkten ergeben würden.
Auch für eine derartige schachbrettartige Überlagerung ist es möglich, dass die Bilder der überlagerten Darstellung eine höhere Auflösung als die Bilder der einzelnen 3D-Darstellungen aufweisen, so dass bei der Überlagerung weniger oder keine Bildpunkte der ursprünglichen Darstellungen verworfen werden müssen.
Zudem können die verschiedenen Möglichkeiten der 5–7 miteinander kombiniert werden, indem für verschiedene Teile der Bilder der einzelnen Darstellungen verschiedene Möglichkeiten angewendet werden.
Beispielsweise zur Darstellung auf einem Stereomonitor, dessen Zeilen abwechselnde Polarisation aufweisen, so dass beispielsweise mittels einer Polarisationsbrille das linke Auge nur die geraden Zeilen und das rechte Auge nur die ungerade Zeilen sieht (oder umgekehrt), können die jeweiligen Bilder für linkes Auge und rechte Auge in den Darstellungen kombiniert werden. So zeigt 3C eine Darstellung, bei der die Bilder der 3A und 3B derart kombiniert sind, dass die geraden Zeilen der 3A und die ungeraden Zeilen der 3B entsprechen. Ensprechend wurde die 4C aus den 4A und 4B erzeugt. Die Darstellungen der 3C und 4C enthalten ebenso wie die „getrennten“ Darstellungen der 3A, 3B bzw. 4A, 4B jeweils ein Bild für das linke Auge und ein Bild für das rechte Auge, wobei diese Bilder nun zeilenweise verschachtelt sind.
Die Überlagerung kann dann wie oben bereits diskutiert z.B. durch Addition oder schachbrettartig erfolgen. So zeigt 5C eine Überlagerung durch Addition, während 7C eine schachbrettartige Überlagerung zeigt.
Während die dargestellten Beispiele lediglich Schwarz-Weiß-Bilder zeigen, kann für Farbbilder entsprechend vorgegangen werden, indem beispielsweise die dargestellten Möglichkeiten für jeden Farbkanal (üblicherweise rot, blau und grün) separat angewendet werden.
Bei einem weiteren Ausführungsbeispiel erfolgt die Überlagerung, indem die erste 3D-Darstellung und die zweite 3D-Darstellung abwechselnd dargestellt werden. Bevorzugt ist dabei die Wechselfrequenz hinreichend hoch, z.B. 30 Hz oder höher, so dass eine zumindest im Wesentlichen flimmerfreie Überlagerung vorliegt.
Wie bereits erläutert, ermöglichen Ausführungsbeispiele der Erfindung eine überlagerte Betrachtung von dreidimensionalen Darstellungen eines Objekts, welche von verschiedenen Datenquellen stammen, beispielsweise von verschiedenen Arten von Messungen oder aus einer Messung und einer Simulation. Insbesondere ist es bei manchen Ausführungsbeispielen der vorliegenden Erfindung möglich, ein Objekt „live“ dreidimensional zu betrachten und gleichzeitig überlagert eine auf einem vorher bereitgestellten 3D-Datensatz beruhende 3D-Darstellung zu betrachten.
Derartige Ausführungsbeispiele können wie nunmehr näher erläutert werden wird insbesondere zum Schneiden von Objekten, beispielsweise von in Harz eingegossenen biologischen Objekten, verwendet werden.
Ein entsprechendes Ausführungsbeispiel der vorliegenden Erfindung ist in 8 dargestellt. Das Ausführungsbeispiel der 8 umfasst eine Stereomikroskopeinrichtung 80 und eine Anzeigeeinrichtung 81. Die Stereomikroskopeinrichtung 80 umfasst eine Objekthalterung 88, beispielsweise eine Mikrotomvorrichtung, welche bevorzugt in drei Dimensionen justierbar ist und in welche ein Objekt 810, beispielsweise ein in einen Harzblock eingegossenes biologisches Objekt, eingespannt ist.
Das Objekt 810 wird mittels eines Stereomikroskops 83 betrachtet, welches eine auf das Objekt 810 gerichtete Objektivanordnung 89 und zwei Okulartuben 84, 85 aufweist. Eine erste Kamera 86 ist mit dem Okulartubus 84 gekoppelt, und eine zweite Kamera 87 ist mit dem Okulartubus 85 gekoppelt. Bei derartigen Stereomikroskopen erzeugt herkömmlicherweise die Objektivanordnung ein Zwischenbilder, welche dann mit zwei Okularen (eines für das linke und eines üfr das rechte Auge) betrachtet werden. Bei dem dargestellten Ausführungsbeispiel sind statt Okularen nun die Kameras 86, 87 bereitgestellt. Dabei können beispielsweise Bildsensoren der Kameras 86, 87 in der Ebene des oben erwähnten Zwischenbildes liegen, um so die Zwischenbilder aufzunehmen. Bei anderen Ausführungsbeispielen können zusätzlich Adapter, d.h. Optiken, bereitgestellt sein, welche die Größe der Zwischenbilder an die Größe der Bildsensoren anpassen, d.h. die Zwischenbilder verkleinern oder vergrößern. Die Kameras 86, 87 sind bei einem Ausführungsbeispiel hochauflösende Farbbildkameras, beispielsweise Kameras mit einer so genannten Full-HD-Auflösung von 1920 × 1080 Farbbildpunkten, wobei andere Auflösungen ebenso verwendet werden können und insbesondere eine verwendete Auflösung von einer erforderlichen Genauigkeit und Detailreiche der Aufnahme abhängen kann. Bei manchen Ausführungsbeispielen ist dabei die Auflösung höher als die später verwendete Auflösung, und es wird nur ein Ausschnitt des Bildsensors verwendet. Hierdurch kann z.B. eine Anpassung des Ausschnitts der ersten Kamera 86 an einen Ausschnitt der zweiten Kamera 87 oder umgekehrt erleichtert werden. Wird beispielsweise die ober erwähnte Full-HD-Auflösung für die weitere Verarbeitung verwendet, kann die Auflösung der verwendeten Bildsensoren jeweils 2500 × 1500 Farbbildpunkte betragen.
Das Mikroskop 83, insbesondere die Kameras 86 und 87, stellen also eine Datenquelle zum Bereitstellen eines 3D-Datensatzes dar, wobei in diesem Fall der 3D-Datensatz eine stereoskopische Darstellung wie oben erläutert ist und grundsätzlich auch direkt als 3D-Darstellung zur Darstellung auf einer entsprechenden 3D-Ausgabeeinrichtung verwendet werden kann.
Ausgänge der Kameras 86, 87 sind mit einer Recheneinheit 811, beispielsweise in Form eines entsprechend programmierten handelsüblichen Rechners (PC) 811 verbunden. Der Rechner 811 weist einen Speicher 813 auf, in welchem ein weiterer 3D-Datensatz des Objekts 810 gespeichert ist, beispielsweise auf Basis einer vorhergehenden Messung, einer Simulation oder eines computergestützten Entwurfs. Beispielsweise kann der in den Speicher 813 gespeicherte 3D-Datensatz des Objekts 810 mit einer Laser-Scanning-Mikroskop-Messung erhalten worden sein. Der Rechner 811 erzeugt aus dem in dem Speicher 813 gespeicherten Datensatz eine weitere 3D-Darstellung des Objekts 810, wobei ein Rendern zum Erzeugen entsprechender in einer stereoskopischen 3D-Darstellung sichtbarer Oberflächen erfolgen kann, und gibt die von den Kameras 86, 87 gelieferte 3D-Darstellung zusammen mit der weiteren 3D-Darstellung in überlagerter Weise auf einer Anzeigeeinrichtung 82, beispielsweise einem Stereomonitor, aus, wobei die Überlagerung beispielsweise wie oben beschrieben erfolgen kann.
Über den Rechner 811 können zudem die aus dem gespeicherten Datensatz gewonnene 3D-Darstellung und die über das Stereomikroskop 83 gewonnene 3D-Darstellung aneinander ausgerichtet werden, insbesondere auf gleiche Größe und Perspektive gebracht werden. Bei einem Ausführungsbeispiel werden zur Ausrichtung Fluoreszenzmarker, insbesondere Fluoreszenz-Beads, verwendet, welche in 8 schematisch als Fluoreszenz-Beads 815 in dem Objekt 810 dargestellt sind. Derartige Fluoreszenzmarker sind beispielsweise in Laser-Scanning- Mikroskopaufnahmen sichtbar, welche als Beispiel für einen in dem Speicher 813 abgespeicherten 3D-Datensatz dienen können.
Der Rechner 811 kann wie bereits erwähnt entsprechend programmiert werden, um eine Anzeige der Stereokamerabilder „live“ zu ermöglichen und gleichzeitig eine 3D-Darstellung auf Basis eines in dem Speicher 813 gespeicherten Datensatzes zu ermöglichen. Zudem können Funktionen zum Abspeichern sowohl einzelner Kamerabilder als auch von Stereobildpaaren sowie eine entsprechende Ladefunktion bereitgestellt werden.
Bei manchen Ausführungsbeispielen kann zudem eine Auswahlmöglichkeit zur Auswahl einer gewünschten Art der Überlagerung (beispielsweise nach einer der 5–7) bereitgestellt werden, und/oder mit einem Schieberegler kann ein Gewichtungsfaktor zwischen den zu überlagernden Darstellungen wie bereits oben erwähnt eingestellt werden. Auch kann ein entsprechender Cursor, insbesondere ein 3D-Cursor wie weiter unten beschrieben, zur Vermessung der jeweils angezeigten 3D-Darstellungen, beispielsweise gesteuert durch die Eingabe 814, dargestellt werden. Ein derartiger 3D-Cursor kann in allen drei Raumrichtungen bewegt und positioniert werden und kann somit zur Durchführung von Messungen in drei Dimensionen verwendet werden. Dabei kann vorher eine Kalibrierung mittels eines bekannten dreidimensionalen Objekts, insbesondere einem Objekt bekannter Abmessungen, erfolgen.
Zu bemerken ist, dass bei manchen Ausführungsbeispielen auch eine überlagerte Darstellung und eine nicht überlagerte Darstellung parallel, beispielsweise auf verschiedenen Ausgabegeräten, dargestellt werden kann.
Zudem kann bei der Vorrichtung der 8 eine Beleuchtungseinrichtung 812 bereitgestellt sein, insbesondere auf einer auf Leuchtdioden (LED) basierende Beleuchtungseinrichtung, welche bevorzugt direkt im Halter für das Objekt 810 bereitgestellt ist, so dass das Licht der Lichtquelle 812 bevorzugt mit möglichst wenig Reflexion in das Objekt 810 eingekoppelt wird. Statt Leuchtdioden können auch andere Lichtquellen, bevorzugt Kaltlichtquellen, verwendet werden. Eine derartige Einkopplung kann insbesondere über eine Kante des Objekts 810 erfolgen.
Durch eine derartige Lichtquelle 812 können die Fluoreszenz-Beads 815 oder andere Fluoreszenzmarker unter dem Stereomikroskop 83 sichtbar gemacht werden. Hierbei kann beispielsweise bei manchen Ausführungsbeispielen Streulicht durch Streeung an den Fluoreszenzmarkern sichtbar sein, oder die Fluoreszenzmarker können zusätzlich oder alternativ durch die Lichtquelle 812 zur Fluoreszenz angeregt werden. Somit sind die Fluoreszenzmarker sowohl in dem in dem Speicher 813 gespeicherten 3D-Datensatz als auch in dem durch das Stereomikroskop 83 erzeugten 3D-Datensatz sichtbar. Zum Ausrichten können dann die Fluoreszenzmarker zur Deckung gebracht werden.
Ein derartiges Ausrichten kann automatisiert mittels der Recheneinheit 811 erfolgen, kann aber auch ganz oder teilweise manuell durch einen Benutzer über eine Eingabeeinrichtung 814, welche mit dem Rechner 811 gekoppelt ist, erfolgen. Die Eingabeeinrichtung 814 kann herkömmliche Eingabegeräte wie eine Tastatur, eine Maus oder einen Trackball umfassen, kann aber auch eine so genannte 3D-Maus umfassen. Bei einem anderen Ausführungsbeispiel kann mittels einer herkömmlichen Maus oder eines herkömmlichen Trackballs eine 3D-Steuerung, insbesondere eine virtuelle oder reale Bewegung des Objekts in drei Dimensionen, implementiert sein. Eine derartige Möglichkeit einer dreidimensionalen Steuerung mittels einer herkömmlichen Maus ist beispielsweise in der DE 103 58 722 A1 detailliert beschrieben. Neben der oben erwähnten Vermessung kann dabei auch für das Ausrichten z.B. zum Anwählen und/oder Bewegen von Punkten, ein 3D-Cursor zum Einsatz kommen, welcher zusammen mit der Überlagerung der 3D-Darstellungen auf der Anzeige 82 dargestellt wird. Ein Beispiel für eine Darstellung eines derartigen 3D-Cursors wird nunmehr unter Bezugnahme auf die 14 erläutert, wobei 14A den 3D-Cursor in einer ersten Position und 14B den 3D-Cursor in einer zweiten Position zeigt.
Bei der Darstellung der 14 wird davon ausgegangen, dass eine verwendete Anzeigeeinrichtung (z.B. die Anzeigeeinrichtung 82) ein Stereomonitor ist, dessen Zeilen abwechselnd unterschiedlich polarisiertes Licht abgegeben. Somit sieht durch eine geeignete Polarisationsbrille oder dergleichen das linke Auge eines Betrachters beispielsweise nur die ungeraden Zeilen, und das rechte Auge sieht nur die geraden Zeilen (oder umgekehrt). In anderen Worten bilden die ungeraden Zeilen ein erstes Bild einer stereoskopischen Darstellung, und die geraden Zeilen bilden ein zweites Bild einer stereoskopischen Darstellung.
In 14 weist der 3D-Cursor die Form eines Kreuzes auf. Ein durch den 3D-Cursor markierter Zielpunkt ist mit „X“ gekennzeichnet. In 14A ist der Teil des 3D-Cursors in den ungeraden Zeilen (d.h. das erste Bild z.B. für das linke Auge) mit 1401A und der Teil des 3D-Cursors in den geraden Zeilen (d.h. das zweite Bild z.B. für das rechte Auge) mit 1402A bezeichnet. Da sich der Zielpunkt in 14A in Zeile 7, d.h. in einer ungeraden Zeile, befindet, welche nur dem Teil 1401A zugeordnet ist, werden für das Teil 1402A die Zeilen oberhalb und unterhalb, d.h. die Zeilen 6 und 8, für den waagrechten Balken des Kreuzes benutzt. Bei der Betrachtung erscheint der 3D-Cursor dann als Kreuz mit einem drei Bildpunkte breiten waagrechten Balken und einem einen Bildpunkt breiten senkrechten Balken. Selbstverständlich sind auch andere Formen möglich.
Eine Bewegung des Cursors senkrecht zu der in 14 dargestellten Bildebene erfolgt durch eine Änderung des Abstands der Teile 1401A, 1401B zueinander, eine Bewegung in der Bildebene erfolgt durch eine gleichzeitige Bewegung der Teile 1401A, 1401B in der Bildebene, wobei diese beiden Bewegungen auch überlagert werden können. Dabei können die Dearstellungen der waagrechten Balken der Teile 1401A und 1402A von Zeile zu Zeile wechseln, je nachdem für welchen Teil sich der Zeilpunkt in einer zugeordneten Zeile befindet.
Ein Beispiel hierfür ist in 14B dargestellt. Verglichen mit 14A hat sich der Zielpunkt nun um eine Zeile nach unten, d.h. in die Zeile 8, bewegt. Da sich der Zielpunkt nun also einer dem zweiten Teil (1402B in 14B) zugeordneten Zeile befindet, weist der erste Teil 1401B (ungerade Zeilen) nun waagrechte Balken oberhalb und unterhalb dieser Zeile auf, während der zweite Teil 1402B einen Balken in Zeile 8 aufweist.
Zudem haben sich in 14B die Teile 1401B, 1402B verglichen mit den Teilen 1401A, 1402A der 14A um einen Bildpunkt aufeinander zubewegt, was einer zunehmenden Entfernung des 3D-Cursors vom Betrachter entspricht.
Der 3D-Cursor der 14 dient dabei nur als Beispiel, und es können auch andere Darstellungen verwendet werden. Nunmehr soll das Ausrichten in 8 weiter erläutert werden. Das Ausrichten kann beispielsweise durch eine Bewegung des Objekts 810 relativ zu dem Stereomikroskop 83 (durch Bewegung des Objekts 810 und/oder des Stereomikroskops 83) oder durch eine virtuelle Bewegung einer virtuellen Kamera zur Erzeugung einer 3D-Darstellung aus dem in dem Speicher 813 gespeicherten Datensatz erfolgen. Auch eine Kombination hiervon ist möglich. Diese Möglichkeiten werden nun unter Bezugnahme auf die 9 und 10 näher erläutert.
Die Kameras 86 und 87 können synchronisiert ausgelesen werden, um beispielsweise Verzerrungen bei schnellen Bewegungen zu vermeiden.
Zu bemerken ist auch, dass eine Überlagerung bei dem Ausführungsbeispiel der 8 nicht nur auf einer gesonderten Anzeige 82 stattfinden kann, sondern bei manchen Ausführungsbeispielen auch ein Stereobildpaar auf Basis des in dem Speicher 813 gespeicherten Datensatzes in ein entsprechendes Objektiv eines Stereomikroskops eingeblendet werden kann, um eine Überlagerung zu erreichen.
Der Speicher 813 muss nicht innerhalb des Rechners 811 angeordnet sein, sondern kann beispielsweise auch ein entfernt angeordneter Speicher sein, über welchen der Rechner 811 beispielsweise über ein Netzwerk zugreifen kann.
In 9 ist eine Teilansicht einer Vorrichtung gemäß einem Ausführungsbeispiel dargestellt, beispielsweise eine Teilansicht einer Vorrichtung gemäß dem Ausführungsbeispiel der 8.
Die Vorrichtung der 9 umfasst eine Halterung 90 für eine Messvorrichtung, beispielsweise ein Stereomikroskop wie das Stereomikroskop 83 der 8. Die Halterung 90 ist mit einer Objekthalterung 91, beispielsweise einem Gehäuse eines Mikrotoms, in welches das Objekt eingespannt ist, über einen ersten Verstelltisch mit einer Mikrometerspindel 92 zum Verstellen in einer y-Richtung und einen zweiten Verstelltisch mit einer Mikrometerspindel 93 zur Verstellung in x-Richtung gekoppelt. In diese Verstellmöglichkeiten können Messtaster integriert sein, um die Verstellung erfassen zu können. Zudem kann auch eine (nicht dargestellte) Verstellmöglichkeit in z-Richtung bereitgestellt sein. Durch diese Verstellmöglichkeiten kann eine Messvorrichtung, beispielsweise ein Stereomikroskop, präzise zu einem Objekt ausgerichtet werden, beispielsweise um eine Ausrichtung zweier 3D-Darstellungen zueinander wie beschrieben zu erreichen.
In 10 ist die Erzeugung einer 3D-Darstellung aus einem 3D-Datensatz schematisch dargestellt. Ein 3D-Datensatz beschreibt ein Objekt 1000 in einem entsprechenden Koordinatensystem, im Falle einer Erzeugung des 3D-Datensatzes durch ein Laser-Scanning-Mikroskop (LSM) in einem entsprechenden LSM-Koordinatensystem. Zur Erzeugung einer 3D-Darstellung wird dieses Objekt 1000, welches als 3D-Datensatz vorliegt, mit zwei virtuellen Kameras 1001, 1002 aufgenommen. Durch Veränderung der Position der virtuellen Kameras 1001, 1002 ändert sich die Perspektive und somit kann die 3D-Darstellung an eine andere 3D-Darstellung, beispielsweise basierend auf einer Stereomikroskopaufnahme, angepasst sein.
Im Falle der Verwendung eines Stereomikroskops wie in dem Ausführungsbeispiel der 8 wird dabei bevorzugt ein Winkel α zwischen den virtuellen Kameras 1001, 1002 entsprechend einem Betrachtungswinkel zwischen mit dem Stereomikroskop gekoppelten Kameras, beispielsweise den Kameras 86, 87 der 8, gewählt, so dass die erzeugten 3D-Darstellungen problemlos überlagert werden können. Derartige Winkel liegen beispielsweise in der Größenordnung von ±5,5° zur Senkrechten (was einem Winkel α = 11° entspricht).
Zur Ausrichtung der 3D-Darstellungen wird, falls nötig, zudem eine Registrierung vorgenommen werden, so dass die Darstellungen den gleichen Maßstab haben, beispielsweise die Darstellungen mittels des Stereomikroskops und die Darstellungen mittels des Laser-Scanning-Mikroskops. Hierzu können bekannte Eigenschaften wie beispielsweise eine Blockfläche eines Objekts, beispielsweise ein Höhenprofil, benutzt werden, um eine Transformation von dem LSM-Koordinatensystem in ein Koordinatensystem des Stereomikroskops zu errechnen. Eine derartige Transformation und die Bestimmung hierzu nötiger Parameter und Korrespondenzen kann automatisch beispielsweise mittels Merkmalen des Objekts erfolgen, oder entsprechende Parameter können durch einen Benutzer vorgegeben werden.
Nur als Beispiel kann mittels eines Laser-Scanning-Mikroskops beispielsweise ein Volumen in der Größenordnung von 100 µm × 100 µm × 100 µm erfasst werden, während mit dem Stereomikroskop ein Volumen von typischerweise beispielsweise 1,6 mm × 900 µm × 200 µm erfasst werden kann, so dass beispielsweise aus dem von dem Stereomikroskop gelieferten Datensatz ein entsprechender Ausschnitt gewählt werden kann oder die 3D-Darstellung auf Basis des aus der LSM-Aufnahme herrührenden Datensatzes nur einem entsprechenden Ausschnitt der Darstellung auf Basis des Stereomikroskops überlagert werden kann. Das von dem Stereomikroskop erfasst Volumen ist dabei von einer Vergrößerung des Stereomikroskops abhängig. Bei manchen Ausführungsbeispielen ist einer derartige Vergrößerung einstellbar. In diesem Fall kann eine eingestellte Vergrößerung automatisch erfasst werden und an eine Recheneinheit wie den Rechner 811 der 8 übermittelt werden, welcher diese Vergößerung dann bei der Überlagerung und Anpassung der Ausschnitte entsprechend berücksichtigen kann.
Bei manchen Ausführungsbeispielen kann das Objekt beispielsweise während einer Manipulation, wie beispielsweise einem Schneiden, unter dem Stereomikroskop 83 der 8 bewegt werden. In einem derartigen Ausführungsbeispiel kann synchron hierzu eine „Bewegung“ der virtuellen Kameras 1001, 1002 der 10 stattfinden, so dass die überlagerten 3D-Darstellungen weiterhin korrespondieren. Bei anderen Ausführungsbeispielen erfolgt die überlagerte Darstellung nur in einer Ruheposition, und während des eigentlichen Schneidvorgangs findet keine Nachführung statt.
Somit kann bei der überlagerten Anzeige der beiden 3D-Darstellungen sowohl eine korrekte Orientierung im Raum bezüglich Rotation als auch Position und Translation hergestellt werden.
Wie bereits erwähnt, können erfindungsgemäße Verfahren und Vorrichtungen bei manchen Ausführungsbeispielen insbesondere zur Manipulation von Objekten, beispielsweise zum Schneiden von Objekten, verwendet werden. Hierbei kann während der Manipulation eine Betrachtung durch ein Stereomikroskop erfolgen, während gleichzeitig überlagert Daten aus anderen Messungen oder Simulationen oder auch Konstruktionsdaten (CAD-Daten) überlagert werden.
Dies kann beispielsweise dann hilfreich sein, wenn bei einer Messung, beispielsweise einer LSM-Messung, in einem in einem Harzblock eingegossenen Objekt, beispielsweise biologischen Objekt, ein interessierender Bereich entdeckt wird, welcher auf andere Weise, beispielsweise mit einem Elektronenmikroskop, weiter untersucht werden muss. Zur elektronenmikroskopischen Untersuchung des interessierenden Bereichs muss genau diese interessierende Stelle freipräpariert werden, um die elektronenmikroskopische Untersuchung erst zu ermöglichen. Dabei ist es erforderlich, die zu untersuchende Stelle exakt bei der Freipräparierung zu treffen und vor allem nicht zu viel zu entfernen.
Derartige eingegossene und mit Fluoreszenzmarkern präparierte Objekte werden beispielsweise in der Virusforschung verwendet.
Mit einer Vorrichtung der vorliegenden Erfindung kann eine derartige Freipräparierung beispielsweise durch Schneiden in einem Mikrotom unter einer stereomikroskopischen Beobachtung erfolgen, während gleichzeitig ein Bild aus einer andere Messung, beispielsweise einer LSM-Messung, überlagert wird, so dass die ggfs. in dem LSM-Datensatz markierte interessierende Stelle gut erkennbar ist und somit das Freipräparieren beispielsweise durch Schneiden präzise gesteuert werden kann.
Dies wird nun unter Bezugnahme auf die 11 bis 13 weiter erläutert.
In 11 ist ein als 3D-Datensatz vorliegendes Objekt 1100, beispielsweise ein Harzblock wie oben beschrieben, in einem LSM-Koordinatensystem (die Achsen sind mit LSMx, LSMy und LSMz bezeichnet) dargestellt. 1102 und 1101 bezeichnen virtuelle Kameras entsprechend den Kameras 1001 und 1002 der 10. Bei dem dargestellten Beispiel soll beispielsweise ein Schnitt in eine Richtung P1–P2 durchgeführt werden, wobei der Punkt P1 im LSM-Koordinatensystem die Koordinaten (x1, y1, z1) und der Punkt P2 die Koordinaten (x2, y2, z2) aufweist. In 11 ist also ein Beispiel für einen LSM-Datensatz dargestellt.
12 zeigt ein entsprechendes reales Objekt 1200, beispielsweise ein Harzblock mit einer darin befindlichen zu untersuchenden Probe, welches sich in einem Bereich 1201 verbreitert und dann mit dem Bereich 1201 an einer Blockeinspannung befestigt ist und mittels eines Schneidmessers 1202 eines Mikrotoms zu schneiden ist. Ein Schnittvorschub, beispielsweise um das Objekt 1200 schrittweise zu schneiden, erfolgt in einer Richtung P3–P4. Der Punkt P3 liegt dabei in einer derzeitigen Schnittebene A, B, C, D, wobei die Linie P3–P4 senkrecht zu dieser Schnittebene steht. Die Fläche A, B, C, D findet ihre Fortsetzung in der Schneidenfläche der Schneide 1202 und trifft diese an den Stellen E und F einer Linie G–H, welche die vordere Schneidenkante bildet. Zudem ist in 12 das LSM-Koordinatensystem sowie angedeutet als Gitter ein Blockkoordinatensystem 1203 dargestellt. Zum Schneiden kann dabei die Schneide 1202 feststehen und das Objekt 1200 bewegt werden, oder das Objekt 1200 feststehen und die Schneide 1202 bewegt werden.
Durch Überlagerung einer 3D-Darstellung auf Basis des LSM-Datensatzes kann unter einem verwendeten Stereomikroskop ein zu interessierender Bereich während der Betrachtung mit dem Stereomikroskop nach entsprechender Ausrichtung exakt identifiziert werden, was ein exaktes Schneiden erleichtert.
Zu bemerken ist, dass an dem Block 1200 zunächst ein Grobschnitt, beispielsweise mittels einer Minikreissäge oder dergleichen, durchgeführt werden kann, bevor dann der Feinschnitt mittels der Schneide 1202 erzeugt wird.
In 13 ist ein Flussdiagramm zur Veranschaulichung eines Ausführungsbeispiels eines Verfahrens zum Schneiden eines Objekts dargestellt.
In Schritt 1301 wird ein erster 3D-Datensatz aufgenommen, beispielsweise mittels eines Laser-Scanning-Mikroskops. Dabei kann eine Markierung an einer zu interessierenden Stelle eingefügt werden, um eine spätere Identifizierung bzw. ein späteres Wiederfinden der interessierenden Stelle zu erleichtern.
In Schritt 1302 wird ein zweiter 3D-Datensatz aufgenommen, beispielsweise mit einem Stereomikroskop. Die Aufnahme des zweiten 3D-Datensatzes kann dabei kontinuierlich wiederholt werden, wie bereits beschrieben, um ein „live“-Bild des Objekts bereitzustellen.
In Schritt 1303 wird eine Überlagerung von auf den beiden Datensätzen beruhenden 3D-Darstellungen auf einem stereoskopischen Anzeigesystem wie erläutert dargestellt.
In Schritt 1304 werden die 3D-Darstellungen zueinander ausgerichtet wie beschrieben. In Schritt 1305 wird überprüft, ob die 3D-Einpassung erreicht wurde, d.h. die Ausrichtung stimmt. Falls nein, wird bei 1304 eine erneute Ausrichtung vorgenommen. Falls ja, wird in Schritt 1306 das Objekt relativ zu einer Schneide positioniert, wozu die Markierung verwendet werden kann, um ein Schneiden bei der Markierung durchführen zu können. Anschließend wird dann der Schneidvorgang durchgeführt.
Wie bereits unter Bezugnahme auf 2 erläutert, kann das Ausrichten (Schritte 1304 und 1305) auch zumindest teilweise vor der Darstellung (Schritt 1303) erfolgen, oder der erste und zweite 3D-Datensatz können parallel zueinander oder in umgekehrter Reihenfolge aufgenommen werden.
Aus den obigen Erläuterungen ist ersichtlich, dass die Erfindung nicht auf die konkreten dargestellten Ausführungsbeispiele begrenzt ist, da eine Vielzahl von Abwandlungen und Variationen möglich ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10358722 A1 [0078]

Claims

Verfahren, umfassend: Bereitstellen eines ersten dreidimensionalen Datensatzes eines Objekts (810; 1200), Bereitstellen eines zweiten dreidimensionalen Datensatzes des Objekts (810; 1200), relatives Ausrichten einer ersten dreidimensionalen Darstellung des Objekts (810; 1200) auf Basis des ersten dreidimensionalen Datensatzes zu einer zweiten dreidimensionalen Darstellung des Objekts (810; 1200) auf Basis des zweiten dreidimensionalen Datensatzes und überlagerndes Anzeigen der ersten dreidimensionalen Darstellung und der zweiten dreidimensionalen Darstellung.
Verfahren nach Anspruch 1, wobei das Bereitstellen des ersten dreidimensionalen Datensatzes und/oder das Bereitstellen des zweiten dreidimensionalen Datensatzes ein Erzeugen des ersten dreidimensionalen Datensatzes und/oder des zweiten dreidimensionalen Datensatzes auf Basis eines computergestützten Entwurfs, einer Simulation, einer Windkanalsimulation, einer geophysikalischen Untersuchung, von Wetterdaten, einer Computertomographiemessung, einer Magnetresonanztomographiemessung, einer Stereomikroskopmessung, einer Laser-Scanning-Mikroskopmessung, einer Mikroskopaufnahme, einer Ultraschallmessung und/oder einer Elektronenmikroskopaufnahme umfasst.
Verfahren nach Anspruch 1 oder 2, wobei das Bereitstellen des ersten dreidimensionalen Datensatzes des Objekts ein Bereitstellen von einer Markierung eines interessierenden Bereichs des Objekts in dem ersten dreidimensionalen Datensatz umfasst.
Verfahren nach einem der Ansprüche 1–3, wobei das Bereitstellen des zweiten dreidimensionalen Datensatzes ein kontinuierliches Erneuern des zweiten dreidimensionalen Datensatzes umfasst.
Verfahren nach Anspruch 4, wobei der zweite 3D-Datensatz durch Aufnahme mit einem Stereomikroskop bereitgestellt wird.
Verfahren nach Anspruch 5, weiter umfassend ein Beleuchten des Objekts (810; 1200) unter dem Stereomikroskop (83) zum Sichtbarmachen von Fluoreszenzmarkern in dem Objekt (810; 1200).
Verfahren nach einem der Ansprüche 1–6, wobei das relative Ausrichten auf Basis von sowohl in dem ersten dreidimensionalen Datensatz als auch in dem zweiten dreidimensionalen Datensatz vorhandenen Merkmalen des Objekts (810; 1200) durchgeführt wird.
Verfahren nach Anspruch 7, wobei die Merkmale des Objekts (810; 1200) Fluoreszenzmarker (815) umfassen.
Verfahren nach einem der Ansprüche 1–8, weiter umfassend ein Manipulieren des Objekts (810; 1200) während des überlagernden Anzeigens.
Verfahren nach einem der Ansprüche 1–9, wobei das Manipulieren ein Schneiden umfasst.
Verfahren nach einem der Ansprüche 1–10, wobei die erste dreidimensionale Darstellung ein erstes Bild für ein linkes Auge eines Betrachters und ein zweites Bild für ein rechtes Auge eines Betrachters umfasst, wobei die zweite dreidimensionale Darstellung ein drittes Bild für das linke Auge des Betrachters und ein viertes Bild für das rechte Auge des Betrachters umfasst, wobei das überlagernde Anzeigen ein Kombinieren des ersten Bildes mit dem dritten Bild zu einem fünften Bild für das linke Auge des Betrachters und ein Kombinieren des zweiten Bilds mit dem vierten Bild zu einem sechsten Bild für das rechte Auge des Betrachters umfasst.
Verfahren nach Anspruch 11, wobei das Kombinieren ein gewichtetes oder nicht gewichtetes Addieren der Bilder, ein zeilen- oder spaltenweise alternierendes Kombinieren der Bilder und/oder ein schachbrettmusterartiges Kombinieren der Bilder umfasst.
Vorrichtung, umfassend: eine erste Datenquelle (10; 813) zum Bereitstellen einer ersten dreidimensionalen Darstellung eines Objekts (810; 1200), eine zweite dreidimensionale Datenquelle (11; 83) zum Bereitstellen einer zweiten dreidimensionalen Darstellung eines Objekts und eine Recheneinheit (12; 811) zum relativen Ausrichten einer ersten dreidimensionalen Darstellung des Objekts auf Basis des ersten dreidimensionalen Datensatzes zu einer zweiten dreidimensionalen Darstellung des Objekts auf Basis des zweiten dreidimensionalen Datensatzes und zum Ansteuern einer dreidimensionalen Ausgabeeinrichtung (13; 82) zum Ausgeben einer überlagernden Anzeige der ersten dreidimensionalen Darstellung und der zweiten dreidimensionalen Darstellung.
Vorrichtung nach Anspruch 12, wobei die erste dreidimensionale Datenquelle einen Speicher (813) zum Speichern von Laser-Scanning-Mikroskopdaten des Objekts (810) umfasst, wobei die zweite Datenquelle ein Stereomikroskop (83) mit einer ersten Kamera (86) und einer zweiten Kamera (87) zum kontinuierlichen Erneuern des zweiten dreidimensionalen Datensatzes umfasst, wobei die Vorrichtung zudem eine Mikrotomvorrichtung zum Halten und Schneiden des Objekts umfasst.
Vorrichtung nach Anspruch 13 oder 14, wobei die Vorrichtung zur Durchführung des Verfahrens nach einem der Ansprüche 1–12 ausgestaltet ist.