-
Die vorliegende Erfindung betrifft eine multifokale Darstellungsvorrichtung gemäß dem Oberbegriff des Anspruches 1 sowie ein multifokales Darstellungsverfahren zum dreidimensionalen Darstellen eines Objektes gemäß dem Oberbegriff des Anspruches 13.
-
Eine solche multifokale Darstellungsvorrichtung sowie ein solches multifokales Darstellungsverfahren sind aus der
US 5,880,711 A bekannt. Die
DE 10 2005 034 990 A1 beschreibt eine Projektionsvorrichtung mit mehreren Projektoren, deren Projektionsfelder sich in einer multifokalen Projektion zumindest teilweise überlappend auf einer Projektionsfläche treffen. Von den überlappenden Pixeln werden nur die Pixel der entsprechenden Projektoren auf die Projektionsfläche projiziert, die den höheren Schärfegradwert aufweisen. Die
US 2011/0310121 A1 zeigt einen mehrlagigen Bildschirm, bei dem ein grafisches Objekt auf einer ersten Schicht des Bildschirms und kontextuelle Elemente auf einer zweiten Schicht des Bildschirms angezeigt werden.
-
Da die zweidimensionalen Bilder in zumindest zwei verschiedenen Fokusebenen erzeugt werden, sinkt für einen Betrachter der Kontrast im Vergleich mit der Darstellung eines einzelnen Bildes, wobei die Verringerung des Kontrastes mit der Anzahl der Fokusebenen stark ansteigt.
-
Ausgehend hiervon ist es daher Aufgabe der Erfindung, eine multifokale Darstellungsvorrichtung der eingangs genannten Art so weiterzubilden, daß die Kontrastverringerung für den Betrachter vermindert wird. Ferner soll ein entsprechendes multifokales Darstellungsverfahren bereitgestellt werden.
-
Erfindungsgemäß wird die Aufgabe bei einer multifokalen Darstellungsvorrichtung der eingangs genannten Art dadurch gelöst, daß die Steuereinheit für jedes darzustellende zweidimensionale Bild abschnittsweise einen Schärfewert bestimmt und die Bilddaten für die Bildabschnitte auf dunkel setzt, deren Schärfewert außerhalb eines für das Bild vorbestimmten Schärfewertebereiches liegt.
-
Damit wird vorteilhaft erreicht, daß bei der Bilddarstellung aufgrund der dunkel gesetzten Bildabschnitte ein besserer Kontrast im Vergleich zum Fall ohne dunkel gesetzte Bildabschnitte vorliegt. Somit führen die in der jeweiligen Fokusebene unscharfen Bildabschnitte, die dunkel dargestellt werden, nicht mehr zu dem unerwünschten Kontrastverlust.
-
Insbesondere kann die Steuereinheit bei jedem darzustellenden zweidimensionalen Bild Bilddaten des Objektes in den Bildabschnitten erzeugen, in denen der entsprechende Schärfewert innerhalb des für das Bild vorbestimmten Schärfewertebereiches liegt. Dadurch werden in der jeweiligen Fokusebene lediglich die scharfen Bildabschnitte (hell) dargestellt, sofern in den scharfen Bildabschnitten Bildinformationen vorliegen.
-
Das digitale Bilderzeugungsmodul erzeugt die zweidimensionalen Bilder bevorzugt in der Art, daß sie ein Betrachter als virtuelles Bild wahrnehmen kann. Ferner kann der Schärfewertebereich für jedes Bild für die verschiedenen Fokusebenen gleich sein. Es ist jedoch auch möglich, daß er für Bilder unterschiedlicher Fokusebenen unterschiedlich ist. Insbesondere kann der Schärfewertebereich einen ersten Grenzwert aufweisen, wobei dann bei Über- oder Unterschreiten des Grenzwertes ein außerhalb des vorbestimmten Schärfewertebereiches liegender Schärfewert vorliegt.
-
Das digitale Bilderzeugungsmodul kann einen digitalen Bildgeber und eine Detektionsoptik umfassen, wobei die Detektionsoptik den Bildgeber für einen Betrachter zeitsequentiell in unterschiedlichen Fokusebenen darstellt.
-
Dazu kann die Detektionsoptik ein variables optisches Element, wie z.B. eine Flüssiglinse, eine Optik mit variabler Fokussierung (z.B. klassischer Schiebefokus) und/oder zwei nicht planparallele Elemente aufweisen, deren gegenüberliegende Flächen zueinander komplementär ausgebildet sind, wobei zumindest eines der Elemente quer zur Abbildungsrichtung verschiebbar ist.
-
Ferner kann das digitale Bilderzeugungsmodul mehrere digitale Bildgeber und eine Detektionsoptik umfassen, die die Bildgeber für einen Betrachter gleichzeitig in unterschiedlichen Fokusebenen darstellt. Dabei können die digitalen Bildgeber unterschiedliche optische Abstände zur Bildebene, in der die Bilder überlagert dargestellt werden, aufweisen.
-
Der bzw. die digitalen Bildgeber können als flächige Bildgeber bzw. sogenannte Lichtmodulatoren ausgebildet sein. Insbesondere können sie jeweils als Kippspiegelmatrix, LCD-Modul, OLED-Matrix oder LCoS-Modul ausgebildet sein. Der bzw. die digitalen Bildgeber können als passiver Bildgeber oder als aktiver Bildgeber ausgebildet sein.
-
Ferner kann das digitale Bilderzeugungsmodul so ausgebildet sein, daß die erzeugten zweidimensionalen Bilder mehrfarbig sind. Dazu kann es eine zeitsequentielle Erzeugung von Farbteilbildern oder eine gleichzeitige Erzeugung von Farbteilbildern bewirken.
-
Das digitale Bilderzeugungsmodul kann die zweidimensionalen Bilder in zumindest drei verschiedenen Fokusebenen erzeugen, wobei der Abstand der Fokusebenen äquidistant oder nicht äquidistant ist.
-
Ferner kann das digitale Bilderzeugungsmodul in zumindest einem Bild zusätzlich eine Markierung oder eine sonstige Information in einer der Fokusebenen und/oder in einer weiteren Fokusebene darstellen, die mit keiner der verschiedenen Fokusebenen zusammenfällt, in der die zweidimensionalen Bilder des Objektes dargestellt werden.
-
Die erfindungsgemäße Darstellungsvorrichtung kann ein Aufnahmemodul aufweisen, das Aufnahmen aus verschiedenen Objektebenen des darzustellenden dreidimensionalen Objektes erstellt und der Steuereinheit zuführt. Das Aufnahmemodul kann z.B. wie ein Aufnahmemodul eines Laser-Scanning-Mikroskops oder einer Lichtfeldkamera ausgebildet sein.
-
Es ist jedoch auch möglich, daß der Steuereinheit synthetische Bilddaten, die aus einem Computermodell abgeleitet sind, zugeführt sind. Zusätzlich ist es möglich, daß der Steuereinheit Bilddaten zugeführt werden, die aus einem vorhandenen Bilddatensatz (z.B. Stereobildpaar oder Bildstapel) abgeleitet oder berechnet werden.
-
Die erfindungsgemäße Darstellungsvorrichtung kann insbesondere als digitales Operationsmikroskop ausgebildet sein.
-
Des weiteren kann das digitale Bilderzeugungsmodul eine Vielzahl von Pixeln zur Erzeugung der zweidimensionalen Bilder aufweisen, wobei jedes Pixel, das einen nicht dunkel gesetzten Bildabschnitt darstellen soll, genau einer Fokusebene zugeordnet ist. Es ist jedoch auch möglich, daß ein Pixel zur Darstellung von nicht dunkel gesetzten Bildabschnitten mehreren der verschiedenen Fokusebenen zugeordnet ist.
-
Die Steuereinheit kann die Bilddaten korrigieren, um den dreidimensionalen Eindruck zu verbessern. Insbesondere kann sie eine Korrektur durchführen, mit der eine durch das Bilderzeugungsmodul bedingte Vergrößerungsänderung kompensiert wird.
-
Ferner ist es möglich, daß die Steuereinheit zweidimensionale Bilder des Objektes erzeugt, die auf mehreren Aufnahmen basieren. Insbesondere können in dieser Art und Weise zweidimensionale Bilder mit erhöhter Tiefenschärfe erzeugt werden.
-
Die multifokale Darstellungsvorrichtung kann einen Einblick für einen einzelnen Betrachter aufweisen. Es ist auch möglich, daß sie zwei Einblicke für zwei Betrachter aufweist, wobei für zumindest einen der beiden Betrachter das digitale Bilderzeugungsmodul vorgesehen ist.
-
Die Steuereinheit kann insbesondere das digitale Bilderzeugungsmodul so ansteuern, daß die Bilder des Objektes von zumindest zwei verschiedenen Objektebenen in den entsprechenden verschiedenen Fokusebenen erzeugt werden. Die Steuereinheit kann ferner das optional vorgesehene Aufnahmemodul steuern.
-
Die multifokale Darstellungsvorrichtung kann ein weiteres digitales Bilderzeugungsmodul aufweisen, das basierend auf den von der Steuereinheit zugeführten zweidimensionalen Bilddaten zweidimensionale Bilder des Objektes von zumindest zwei verschiedenen Objektebenen in entsprechenden verschiedenen Fokusebenen so erzeugt, daß ein Betrachter mit seinem zweiten Auge auf die verschiedenen Fokusebenen fokussieren kann, um das dargestellte Objekt dreidimensional wahrzunehmen, wobei die Steuereinheit für jedes mit dem weiteren digitalen Bilderzeugungsmodul darzustellende zweidimensionale Bild abschnittsweise einen Schärfewert bestimmt und die Bilddaten für die Bildabschnitte auf dunkel setzt, deren Schärfewerte außerhalb eines für das Bild vorbestimmten Schärfewertebereiches liegt, und wobei die Steuereinheit die Bilddaten für die beiden digitalen Bilderzeugungsmodule so bereitstellt, daß die beiden digitalen Bilderzeugungsmodule unterschiedliche Perspektiven des Objektes anbieten. Somit wird ein Betrachter neben dem Tiefenreiz aufgrund der Möglichkeit der Akkommodierung noch der Tiefenreiz durch das Stereosehen (Anbieten der unterschiedlichen Perspektiven) bereitgestellt. Damit wird der dreidimensionale Eindruck für den Betrachter weiter verbessert.
-
Die Aufgabe wird bei einem multifokalen Darstellungsverfahren der eingangs genannten Art dadurch gelöst, daß für jedes darzustellende zweidimensionale Bild abschnittsweise ein Schärfewert bestimmt wird und die Bildabschnitte bei der Bilderzeugung auf dunkel gesetzt werden, deren Schärfewert außerhalb eines für das Bild vorbestimmten Schärfewertebereiches liegt.
-
Damit kann eine unerwünschte Kontrastverringerung bei dem multifokalen Darstellungsverfahren der eingangs genannten Art verhindert werden.
-
Insbesondere kann bei jedem darzustellenden zweidimensionalen Bild in den Bildabschnitten, in denen der Schärfewert innerhalb des für das Bild vorbestimmten Schärfewertebereiches liegt, die entsprechenden Bildinformationen für die Darstellung des Objektes verwendet werden.
-
Das multifokale Darstellungsverfahren kann in gleicher Weise wie die erfindungsgemäße multifokale Darstellungsvorrichtung (einschließlich ihrer Weiterbildung) weitergebildet werden. Insbesondere kann sie die im Zusammenhang mit der Beschreibung der erfindungsgemäßen multifokalen Darstellungsvorrichtung angegebenen Verfahrensschritte aufweisen.
-
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind.
-
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
- 1 eine schematische Darstellung einer Ausführungsform der erfindungsgemäßen multifokalen Darstellungsvorrichtung;
- 2A, 2B und 2C schematische Darstellungen zur Erläuterung der darzustellenden Bildabschnitte in den einzelnen Fokusebenen;
- 3 eine perspektivische schematische Darstellung einer Ausführungsform des digitalen Bilderzeugungsmoduls 4 in 1, und
- 4 eine schematische Darstellung einer Ausführungsform der Detektionsoptik 11 des digitalen Bilderzeugungsmoduls 4.
-
Bei der in 1 gezeigten Ausführungsform ist die erfindungsgemäße multifokale Darstellungsvorrichtung 1 als digitales Mikroskop mit einem Aufnahmemodul 2, einer Steuereinheit 3 und einem digitalen Bilderzeugungsmodul 4 ausgebildet.
-
Das Aufnahmemodul 2 umfaßt eine Aufnahmeoptik 5, die hier schematisch als Linse dargestellt ist, und einen Detektor 6, wobei mittels der Aufnahmeoptik verschiedene Ebenen eines aufzunehmenden Objektes 7 scharf auf den Detektor 6, der z.B. als Flächendetektor (beispielsweise einen CMOS- oder CCD-Sensor) ausgebildet ist, abgebildet werden können. Zur Verdeutlichung sind in 2 eine erste Objektebene 8 und eine zweite Objektebene 9 eingezeichnet.
-
Natürlich muß das Aufnahmemodul 2 nicht so ausgebildet sein, daß eine klassische Abbildung der entsprechenden Objektebene 8, 9 auf den Detektor 6 erfolgt. Beispielsweise kann das Aufnahmemodul 2 auch wie ein Aufnahmemodul eines Laser-Scanning-Mikroskops ausgebildet sein.
-
Die Aufnahmedaten des Detektors 6 werden der Steuereinheit 3 zugeführt, die diese für das digitale Bilderzeugungsmodul 4 aufbereitet. Das digitale Bilderzeugungsmodul 4 umfaßt einen Bildgeber 10, mit dem ein darzustellendes zweidimensionales Bild erzeugt werden kann, und eine Detektionsoptik 11, die hier als Okular ausgebildet ist und mit der der Bildgeber 10 so abgebildet wird, daß ein Betrachter (für den hier stellvertretend schematisch ein Auge 12 eingezeichnet ist) das vom Bildgeber 10 erzeugte Bild wahrnehmen kann. Die Detektionsoptik 11 ist ferner so ausgelegt, daß der Bildgeber 10 für den Betrachter in unterschiedlichen Fokusebenen F1, F2, F3 liegen kann. Dies ist durch die beiden gestrichelt dargestellten Positionen des Bildgebers 10 angedeutet. Dazu kann die Detektionsoptik 11 zumindest ein variables optisches Element (wie z.B. eine Flüssiglinse) aufweisen, das mittels der Steuereinheit 3 ansteuerbar ist. Die unterschiedlichen Fokusebenen F1-F3 werden mittels der Detektionsoptik 11 so schnell geändert bzw. durchgefahren, daß ein Betrachter die einzelnen Fokusebenen F1-F3 zeitlich nicht auseinanderhalten kann. Der Betrachter sieht quasi ein multifokales Endbild und kann auf die unterschiedlichen Fokusebenen F1-F3 akkommodieren, so daß er das in der jeweiligen Fokusebene mittels dem Bildgeber 10 erzeugte Bild scharf wahrnehmen kann. Für den Betrachter sind auch Fokusebenen sichtbar, auf welche er nicht direkt fokussiert. Allerdings erscheinen diese, wie beim natürlichen Sehen, leicht unscharf. Dies wird durch die endliche Tiefenschärfe des menschlichen Auges hervorgerufen. Durch die multifokale Bildwiedergabe bekommt der Betrachter zusätzliche Tiefeninformation, da er scharfe Bildanteile aus der Fokusebene von weniger scharfen Bildanteilen aus anderen Fokusebenen unterscheiden kann. In den unterschiedlichen Fokusebenen F1-F3 werden dem Betrachter unterschiedliche Bilder des Objektes 7 so dargeboten, daß für den Betrachter ein dreidimensionaler Bildeindruck entsteht, da er durch Änderung des Akkommodationszustandes seines Auges 12 auf scheinbar unterschiedlich weit entfernte Abschnitte des Objektes 7 fokussiert und somit einen dreidimensionalen Bildeindruck gewinnt.
-
Da der Betrachter stets alle erzeugten Bilder in den unterschiedlichen Fokusebenen F1-F3 wahrnimmt (das Bild der Fokusebene F2, auf die er akkommodiert, nimmt er scharf wahr, die Bilder der anderen Fokusebene F1, F3 nimmt er unscharf war), würde eine normale Darstellung der kompletten Bilder der jeweiligen Objektebenen 8, 9 zu einem Kontrastverlust führen, der mit der Anzahl der unterschiedlichen Fokusebenen F1-F3 stark ansteigt. Um einen solchen Kontrastverlust zu verhindern oder zumindest zu verringern, werden bei der erfindungsgemäßen multifokalen Darstellungsvorrichtung 1 für jedes darzustellende Bild einer Fokusebene F1-F3, das mit einer Objektebene 8, 9 korrespondiert, der Bildabschnitt bzw. die Bildabschnitte ermittelt, die man bei Betrachtung des Objektes 7 scharf wahrnehmen würde.
-
Dieser Bildabschnitt bzw. diese Bildabschnitte werden in der gewünschten Weise dargestellt und die restlichen Bildabschnitte des darzustellenden Bildes werden nicht dargestellt, sondern auf dunkel gesetzt. Damit wird mittels des Bildgebers 10 in der jeweiligen Fokusebene F1-F3 nur der bzw. die scharfen Bildabschnitte hell dargestellt und die restlichen Bildabschnitte werden dunkel dargestellt. Somit führen die in der jeweiligen Fokusebene F1-F3 unscharfen Bildabschnitte, die jetzt nicht mehr bzw. dunkel dargestellt werden, nicht mehr zu einem unerwünschten Kontrastverlust. Die entsprechende Ermittlung der scharfen Bildabschnitte und die daraus folgende Erzeugung der Bilddaten für das Bilderzeugungsmodul führt die Steuereinheit 3 durch.
-
Wenn das darzustellende Objekt 7 beispielsweise kugelförmig ist, könnte das darzustellende Bild für die erste Fokusebene F1 der in 2A schematisch dargestellte Kreis sein. Bei dieser Darstellung wie auch bei den Darstellungen in 2B und 2C sind die hell darzustellenden Abschnitte schraffiert. Die nicht schraffierten Bereiche sollen dunkel dargestellt werden. Das Bild für die Fokusebene F2 wäre dann der in 2B dargestellte Kreisring, dessen Innendurchmesser in etwa dem Kreisdurchmesser des Kreises von 2A entspricht. Für die Fokusebene F3 wäre das darzustellende Bild der Kreisring gemäß 3C, wobei der Innendurchmesser dieses Kreises in etwa dem Außendurchmesser des Kreisringes von 2B entspricht.
-
In dieser Art und Weise wird dem Betrachter ein dreidimensionaler Bildeindruck ermöglicht, da er scheinbar innerhalb des dargestellten Bildes (also die zeitlich schnell nacheinander erzeugten Bilder der unterschiedlichen Fokusebenen F1-F3) frei akkommodieren kann. Selbst wenn das digitale Bilderzeugungsmodul 4 monookular ausgebildet ist, liegt der gewünschte dreidimensionale Bildeindruck vor. Natürlich kann das digitale Bilderzeugungsmodul 4 auch als binokulares Bilderzeugungsmodul ausgebildet ist. Eine schematische perspektivische Darstellung eines solchen Bilderzeugungsmoduls 4 ist in 3 gezeigt, wobei wiederum die drei Fokusebenen F1, F2, F3 (hier ohne Bildgeber 10) dargestellt sind. Für jedes Auge 12 und 12' des Betrachters ist eine entsprechende Okularoptik 11 und 11' vorgesehen.
-
Das binokulare Bilderzeugungsmodul 4 kann insbesondere so weitergebildet sein, daß zusätzlich noch ein perspektivischer Stereoeindruck bereitgestellt wird. In diesem Fall wird der Aufbau des Bilderzeugungsmoduls 4 gemäß 1 verdoppelt, so daß für jeden Stereokanal (jedes Auge) ein eigenes digitales Bilderzeugungsmodul bereitgestellt ist und man für die beiden Stereokanäle unterschiedliche Perspektiven anbieten kann, die jeweils jedoch in der beschriebenen Art und Weise als multifokales Endbild dargestellt werden. Somit werden dem Benutzer sowohl der Tiefenreiz, der dadurch entsteht, daß man Akkommodieren kann, als auch der Tiefenreiz aufgrund des Stereosehens bereitgestellt.
-
Um für jede Fokusebene F1-F3 die scharf darzustellenden Abschnitte zu ermitteln, können bekannte Verfahren eingesetzt werden, um abschnittsweise bzw. lokal einen Schärfewert zu bestimmen. Ein Abschnitt kann dann als scharfer und somit darzustellender Abschnitt definiert werden, wenn der entsprechende Schärfewert innerhalb eines vorbestimmten Schärfewertebereiches liegt. Liegt er nicht innerhalb dieses Schärfewertebereiches, ist der Abschnitt als unscharfer Abschnitt dunkel darzustellen. Dazu kann z.B. das in Forster et al., „Complex Wavelets for Extended Depth-of-Field: A New Method for the Fusion of Multichannel Microscopy Images“, Microscopy Research and Technique 65:33-42 (2004) beschriebene Verfahren der lokalen Schärfebestimmung mittels diskreter Wavelet-Transformation eingesetzt werden.
-
Es sind natürlich auch andere Verfahren möglich. Falls das Aufnahmemodul 2 als stereoskopische Anordnung ausgebildet ist, kann ähnlich einem klassischen Kameraautofokussensor durch eine lokale Auswertung der Parallaxeverschiebung die Ermittlung der Schärfewerte durchgeführt werden. Dabei kann eine lokale Korrelation bzw. eine Bewertung des optischen Flusses zwischen den Stereokanälen durchgeführt werden.
-
Bei der erfindungsgemäßen multifokalen Darstellungsvorrichtung 1 können somit Bildanteile aus unterschiedlichen Objektebenen 8, 9 in korrespondierenden Bildebenen (Fokusebenen F1 -F3) dargestellt werden, wobei nur solche Bildanteile gezeigt werden, die scharf sind. Nicht scharfe Bildanteile werden nicht dargestellt, so daß für diese Bildanteile der Bildgeber 10 einen dunklen bzw. einen schwarzen Wert darstellt. Somit wird in den nicht scharfen Bildanteilen kein störendes Licht erzeugt, das den In-Bild-Kontrast im einzelnen dargestellten Bild und insbesondere im multifokalen Endbild vermindern kann. Der Betrachter kann somit im dargestellten Bild umfokussieren, wodurch für ihn ein dreidimensionaler Bildeindruck entsteht. Gleichzeitig tritt kein unerwünschter Kontrastverlust auf.
-
Bei der bisherigen Beschreibung wurden mittels des digitalen Bilderzeugungsmoduls 4 drei verschiedene Fokusebenen F1, F2 und F3 dargestellt. Natürlich können auch zwei oder mehr als drei unterschiedliche Fokusebenen dargestellt werden. Insbesondere können z.B. vier bis zehn verschiedene Fokusebenen dargestellt werden.
-
Als Bildgeber 10 kann z.B. zumindest eine Kippspiegelmatrix, ein LCD-Modul oder ein sonstiger flächiger Lichtmodulator eingesetzt werden, wobei in diesem Fall natürlich noch die entsprechende Beleuchtungsquelle vorgesehen ist. Der Bildgeber 10 kann somit ein passiver Bildgeber sein. Es ist jedoch auch möglich, daß der Bildgeber 10 ein aktiver Bildgeber ist, der keine separate Beleuchtungsquelle benötigt. Solche flächige (passive oder aktive) Bildgeber 10 weisen in der Regel in Zeilen und Spalten angeordnete Pixel aus, die unabhängig voneinander ansteuerbar sind.
-
Zur Erzeugung der unterschiedlichen Fokusebenen kann die Detektionsoptik 11 auch als Optik mit variabler Fokussierung (z.B. klassischer Schiebefokus) ausgebildet sein.
-
Ferner ist es möglich, daß die Detektionsoptik 11, wie in 4 gezeigt ist, zwei nicht planparallele Elemente 14, 15 aufweist, deren gegenüberliegenden Flächen 16, 17 zueinander komplementär ausgebildet sind, wobei zumindest eines der Elemente 14, 15, wie durch die Doppelpfeile P1 und P2 angedeutet ist, quer zur Abbildungsrichtung bzw. quer zur optischen Achse OA der Detektionsoptik 4 (1) verschiebbar ist. Die Flächen 16, 17 können dabei z.B. der Gleichung eines Polynom n-ten Grades genügen, wobei n eine ganze Zahl größer oder gleich 3 sein kann.
-
Um die verschiedenen Fokusebenen F1-F3 zu erzeugen, ist es auch möglich, den Bildgeber 10 entlang der optischen Achse OA des Bilderzeugungsmoduls 4 zu bewegen. Ferner ist es möglich, für jede Fokusebene für eine gleichzeitige Bilddarstellung einen separaten Bildgeber 10 vorzusehen, wobei die Bildgeber 10 optisch überlagert dem Auge 12 des Betrachters dargeboten werden. Natürlich sind auch beliebige Kombinationen der beschriebenen Möglichkeiten (z.B. der zeitsequentiellen und der gleichzeitigen Bilddarstellung) zur Erzeugung der Bilder in den unterschiedlichen Fokusebenen F1-F3 möglich.
-
Bei der bisherigen Beschreibung wurde davon ausgegangen, daß sich die hellen Bereiche der Bilder der verschiedenen Fokusebenen nicht überlappen, sondern aneinandergrenzen. Dadurch ist quasi jedes Pixel des Bildgebers 10 genau einer Fokusebene F1-F3 zugeordnet. Es kann jedoch je nach Auslegung der Detektionsoptik 11 passieren, daß eine Vergrößerungsänderung des durch den Bildgeber 10 dargestellten Bildes für die unterschiedlichen Fokusebenen F1-F3 hervorgerufen wird. Das hätte zur Folge, daß für einen Betrachter, der sein Auge 12 auf eine Fokusebene (z.B. Fokusebene F2) akkommodiert, die Informationen des darzustellenden Bildinhaltes, daß in den anderen Fokusebenen (hier Fokusebenen F1 und F3) scharf ist und dort dargestellt wird, nicht an der Position erscheinen, die einem natürlichen Sehen entsprechen, sondern leicht versetzt ist. Dieser nicht dem normalen Seheindruck entsprechende Positionsverschiebung kann durch eine entsprechende digitale Korrektur der Bilddaten entgegengewirkt werden. So kann z.B. eine entsprechende Größenanpassung für die unterschiedlichen Fokusebenen F1-F3 durchgeführt werden, so daß ein natürlicher und geometrisch korrekter Eindruck für den Betrachter entsteht. Dies führt dazu, daß einige Pixel des Bildgebers nicht mehr genau einer Fokusebene zugeordnet sind, sondern mehreren. Für diese Pixel, die mehreren Fokusebenen F1-F3 zugeordnet sind (die also in mehreren Fokusebenen helle Bildelemente darstellen sollen), wird für die verschiedenen Fokusebenen eine Anpassung der Helligkeit durchgeführt, so daß in der Überlagerung der Bilder der verschiedenen Fokusebenen F1-F3 wiederum die dem natürlichen Seheindruck entsprechende Helligkeit vorliegt.
-
Die digitale Korrektur der Bilddaten kann z.B. auch dazu benutzt werden, daß Bildfehler (wie Verzeichnung) in den einzelnen Bildern korrigiert werden. Dies ist insbesondere dann von Vorteil, wenn sich die Bildfehler zwischen den einzelnen Fokusebenen stark ändern.
-
Der beschriebenen Positionsverschiebung kann auch dadurch entgegengewirkt werden, daß der Akkommodationszustand des Auges 12 und somit die vom Betrachter betrachtete Fokusebene und/oder die Blickrichtung und damit die wahrscheinlichste Fokusebene bestimmt und entsprechend dargestellt werden.
-
Des weiteren ist es möglich, die Aufnahmeoptik 5 und/oder die Detektionsoptik 11 telezentrisch auszulegen. Damit kann z.B. Vergrößerungsfehlern entgegengewirkt werden.
-
Bisher wurde davon ausgegangen, daß die Fokusebenen F1-F3 äquidistant gewählt sind. Es ist jedoch auch möglich, daß die Fokusebenen in der Darstellung nicht äquidistant gewählt sind. Dies ist z.B. dann vorteilhaft, wenn ein Betrachter zwei Bereiche beobachten muß, die einen großen axialen Abstand besitzen (im Vergleich zur Tiefenschärfe der Aufnahmeoptik 5), wobei im Tiefenbereich dazwischen keine Bildinformation vorhanden ist. Dies kann im Bereich der Chirurgie z.B. bei Operationen in engen Kanälen auftreten. So sind z.B. bei neurologischen Operationen Regionen an der Oberfläche und in der Tiefe des Kanals von Interesse. Auf diese Weise kann beispielsweise bei einer festen Anzahl von Fokusebenen F1-F3, die dargestellt werden können, der Abstand zwischen erster und letzter Fokusebene erweitert werden, wenn in dazwischenliegenden Fokusebenen sich keine scharfen Bildinhalte befinden. Bei beispielsweise sechs darstellbaren Fokusebenen kann man drei für die Operationsoberfläche und drei für den Tiefenbereich im Operationskanal verwenden. Dabei sind die Abstände der Fokusebenen innerhalb der beiden Bereiche jeweils geringer als zwischen den beiden Bereichen.
-
Wenn die darzustellenden Bilder mit Hilfe eines (oder mehreren) Aufnahmemodulen 2 aufgenommen wurden, wobei die Anzahl der aufgenommenen Objektebenen 8, 9 größer ist als die Anzahl der darstellbaren Fokusebenen F1-F3, kann z.B. aus den Aufnahmen mehrerer Objektebenen 8, 9 jeweils ein in einer Fokusebene F1-F3 darzustellendes Bild mit erhöhter Tiefenschärfe berechnet werden. Es wird also für jede Fokusebene F1-F3 des digitalen Bilderzeugungsmoduls 4 ein Bild errechnet, das aus mehreren Aufnahmen aus unterschiedlichen Objektebenen 8, 9 errechnet wurde, wobei wiederum die nicht scharf darzustellenden Bereiche dunkel dargestellt werden. Es liegen somit dann in der jeweiligen Fokusebene F1-F3 ein Bild mit erhöhter Tiefenschärfe vor, wobei der Betrachter wiederum frei zwischen den verschiedenen Fokusebenen F1-F3 akkommodieren und somit einen dreidimensionalen Bildeindruck gewinnen kann.
-
Die erfindungsgemäße Abbildung eines Fokusstapels (bzw. eines virtuellen Bildstapels) in mehreren Fokusebenen F1-F3 ermöglicht zudem ein Hinzufügen von Augmentierungen in zumindest einer der Fokusebenen F1-F3. So kann z.B. eine Markierung, wie z.B. eine Pfeilspitze, in einer bestimmten Fokusebene F1-F3 des virtuellen Bildstapels bei der Erzeugung des entsprechenden Bildes bzw. der entsprechenden Bilddaten für den Bildgeber 10 hinzugefügt werden. Damit kann die Aufmerksamkeit des Betrachters auf die relevante Fokusebene F1-F3 gelenkt werden. Somit erhält der Betrachter nicht nur eine Information über die laterale Position des markierten Bildabschnittes sondern auch noch über die axiale Position aufgrund der Augmentierung in zumindest einer der Fokusebenen. Dies ist z.B. im Bereich der digitalen Mikroskopie für die Chirurgie von Vorteil.
-
Bei der beschriebenen Augmentierung kann es durch die im Bild in der entsprechenden Fokusebene F1-F3 vorgesehene Markierung dazu kommen, daß die ursprüngliche Bildinformation an dieser Stelle verloren geht bzw. überschrieben wird. Dies wird um so relevanter, je mehr Markierungen oder Informationen, wie z.B. Buchstaben oder Zahlen, angezeigt werden. Daher kann in einer Weiterbildung für die Augmentierung bzw. die einzublendenden Informationen eine separate Fokusebene vorgesehen werden, die unmittelbar vor oder hinter der eigentlichen Fokusebene F1-F3 liegt. Dem Betrachter wird somit ermöglicht, sich entweder auf die relevante Fokusebene F1-F3 mit dem ursprünglichen Bildinhalt oder auf die Fokusebene mit der Augmentierung zu konzentrieren. Der ursprüngliche Bildinhalt bleibt damit unverändert und kann, abgesehen von einem geringen Kontrastverlust durch die zusätzliche Fokusebene mit der Augmentierung, betrachtet werden, da es nicht zu einer echten Überdeckung bzw. einem echten Überschreiben der ursprünglichen Bildinformation kommt.
-
Das digitale Bilderzeugungsmodul kann z.B. in einer Weiterbildung für zwei Betrachter ausgebildet sein, wobei für den zweiten Betrachter in gleicher Weise die erfindungsgemäße Akkommodationsmöglichkeit vorgesehen werden kann oder auch nicht. Bei dieser Ausführungsform kann dann für den zweiten Betrachter beispielsweise die Fokusebene, auf die der erste Betrachter gerade schaut, markiert werden. Dazu können z.B. Konturlinien eingeblendet werden und/oder kann die oben beschriebenen Augmentierungen durchgeführt werden. Für diese Ausführungsform wird das Bilderzeugungsmodul 4 z.B. so ausgebildet, daß die Fokusebene und/oder die Blickrichtung des ersten Betrachters bestimmt werden kann.
-
Bei den bisher beschriebenen Ausführungsformen wurde davon ausgegangen, daß die darzustellenden Bilddaten auf tatsächlich durchgeführten Bildaufnahmen beruhen.
-
Es ist jedoch auch möglich, daß es sich bei den darzustellenden Bildinhalten um synthetische Daten handelt, die beispielsweise aus einem 3D-Modell (z.B. beschrieben über 3D-Vektoren und Texturen) bestimmen lassen. So läßt sich basierend auf dem 3D-Modelle errechnen, welche Anteile welcher Fokusebene am nächsten liegen. Damit können dann die scharfen Bildanteile für die einzelnen Fokusebenen bestimmt werden.
-
Handelt es sich bei den darzustellenden Bilddaten um Daten, die mit Hilfe eines Stereo-Kamerapaars gewonnen wurden oder mit anderen optischen oder nicht-optischen Verfahren, die „3D-fähig“ sind (wie z.B. mittels einer plenoptischer Kamera oder (optischer) Tomographie nach einer Umrechnung der Daten), kann über eine Stereokorrelation die z-Position eines bestimmten Bildpunktes ermittelt werden (falls die Tiefenschärfe der verwendeten Kamera-Optik den Tiefenbereich des betrachteten Volumens abdeckt). Dadurch kann bei nichttransparenten Objekten die Topographie der Oberfläche rekonstruiert werden. Jeder Bildpunkte kann dann entsprechend seiner z-Position eindeutig einer korrespondierenden Bildebene zugewiesen werden. Unscharfe Bildanteile, die den Kontrast des multifokalen Endbildes reduzieren, können eliminiert werden.
-
Erfindungsgemäß kann somit unabhängig davon, auf welche Weise der darzustellende Bildinhalt gewonnen wurde, stets für einen vorgegebenen Fokusstapel (gemeint ist ein Stapel von Bildern, der den darzustellenden Bildinhalt mit definierten aber unterschiedlichen Fokusebenen wiedergibt) die jeweilige Fokusebene ermitteln, die für jedes Pixel des Bildgebers 10 am schärfsten ist. Ein jedes Bild dieses Stapels enthält dabei die scharfen Bildinhalte (in 2A-2C schraffiert dargestellt) und leere Regionen (in 2A-2C nicht schraffiert dargestellt). Für diese leeren Regionen werden die entsprechenden Pixel des Bildgebers 10 bei der Darstellung auf „schwarz“ geschaltet. Es wird somit erfindungsgemäß die Erzeugung von kontrastverminderndem Licht aus anderen Fokusebenen F1-F3 vermieden, das zu einer Verminderung des Kontrastes führen würde. Damit wird erreicht, daß der In-Bild-Kontrast des so dargestellten Bildstapels dem In-Bild-Kontrast eines einzelnen Bildes entspricht.
