-
Die Erfindung betrifft eine optische Abbildungsvorrichtung, insbesondere ein digitales Operationsmikroskop mit mindestens zwei Bildaufnahmeeinheiten je Beobachtungsperspektive, sowie ein Verfahren zur Erzeugung von Bildern für einen Betrachter. Digitale Operationsmikroskope dienen dazu, dem Beobachter, z.B. einem medizinischen Fachpersonal, eine verbesserte räumliche Darstellung des gewählten optischen Bereiches zu gewährleisten. Insbesondere ist die Anpassung optischer Parameter wie optische Vergrößerung, Objektauflösung als auch eine bestimmte Tiefenschärfe gewünscht.
-
Digitale Operationsmikroskope haben aufgrund der digitalen Verarbeitungsprozesse den Vorteil, dass die erhaltenen Bilder in Bezug auf optische Parameter digital nachbearbeitet und somit verbessert werden können. Jedoch sind technische Grenzen durch die vorhandene Optik gegeben, so ist beispielsweise für ein einfaches optisches System einer Kamera eine hohe Tiefenschärfe mit einer niedrigen Objektauflösung verknüpft.
-
Ein möglicher Ansatz, diesem Problem zu begegnen, ist in der deutschen Patentschrift
DE 10 2006 036 300 B4 beschrieben. Dort ist ein Stereo-Mikroskop mit jeweils einem Strahlengang für ein Auge des Betrachters gezeigt, wobei der optisch wirksame Durchmesser eines optischen Elementes in einem ersten Strahlengang gegenüber dem optisch wirksamen Durchmesser eines optischen Elementes in einem zweiten Strahlengang abweichend ausgeführt ist. Durch diese Maßnahme wird erreicht, dass sich Objektauflösung und Tiefenschärfe der beiden Strahlengänge und damit der den beiden Augen des Betrachters angebotenen Bilder unterscheiden. Im Gehirn des Betrachters wird dann eine Kombination der beiden Bilder zu einem hinsichtlich Auflösung und Tiefenschärfe optimierten Bild vorgenommen. Die in der genannten Schrift gezeigte Lösung hat jedoch insbesondere den Nachteil, dass der Betrachter durch die erforderliche Anstrengung bei der Zusammensetzung der ungleichartigen Bilder schnell ermüdet.
-
Ein weiteres Verfahren zur Bildaufbereitung ist in der deutschen Offenlegungsschrift
DE 10 2015 118 154 A1 offenbart. In der genannten Schrift wird ein Verfahren vorgestellt, bei welchem sequenziell mehrere Bilder von derselben Bildaufnahmeeinrichtung aufgenommen. Zur Erreichung einer erhöhten Schärfentiefe werden entsprechend der Lehre der
DE 10 2015 118 154 A1 Bilder mehrerer unterschiedlicher Fokuslagen kombiniert und nachfolgend dem Betrachter angeboten.
-
Weiterhin wird in der US-Patentanmeldung
US 2015/0297311 A1 eine Kombination zweier aus derselben Perspektive aufgenommen Bilder unterschiedlicher Bildaufnahmeeinheiten zur Darstellung eines insgesamt verbesserten Bildes vorgeschlagen, wobei es sich bei den Bildern zum einen um ein Fluoreszenzbild und zum anderen um ein konventionelles Bild handelt.
-
Aufgabe der vorliegenden Erfindung ist es, eine gegenüber dem Stand der Technik verbesserte optische Abbildungsvorrichtung, insbesondere ein digitales Operationsmikroskop und ein Verfahren zur Bilderzeugung zu schaffen, wobei die erzeugten Bilder gegenüber den aus dem Stand der Technik bekannten Lösungen mit weniger Anstrengung für einen Benutzer betrachtet werden können und einen erhöhten Informationsgehalt aufweisen.
-
Diese Aufgabe wird gelöst durch eine Vorrichtung und ein Verfahren mit den Merkmalen der unabhängigen Ansprüche. Die Unteransprüche betreffen vorteilhafte Weiterbildungen und Varianten der Erfindung.
-
Eine erfindungsgemäße optische Abbildungsvorrichtung umfasst mindestens eine erste und eine zweite Bildaufnahmeeinheit zur Erzeugung eines ersten und eines zweiten Originalbildes eines Objektes. Dabei unterscheiden sich die Originalbilder mindestens hinsichtlich eines Bildparameters. Die Bildaufnahmeeinheiten sind dabei derart angeordnet, dass Originalbilder aus derselben Perspektive aufgenommen werden. Weiterhin umfasst die erfindungsgemäße optische Abbildungsvorrichtung eine Bildverarbeitungseinheit zur Weiterverarbeitung der Originalbilder und eine Bilddarstellungseinheit zur Wiedergabe von aus den verarbeiteten Originalbildern erzeugten dargestellten Bildern. Die Bildverarbeitungseinheit ist dabei dazu eingerichtet, zur Erzeugung eines dargestellten Bildes mindestens eines der beiden Originalbilder um Bildinformationen aus dem anderen Originalbild zu ergänzen. Durch die Ergänzung der Bildinformationen des einen Originalbildes mit Bildinformationen aus dem anderen Originalbild kann insgesamt ein verbessertes dargestelltes Bild geschaffen werden. Das neue Bild kann dann verbesserte Eigenschaften wie z.B. höhere Dynamik oder niedrigeres Rauschen aufweisen.
-
Erfindungsgemäß handelt es sich bei dem ersten Originalbild um ein Farbbild und bei dem anderen Originalbild um ein Monochrombild, wobei die maximale Tiefenschärfe eines der Originalbilder höher ist als die des anderen und gleichzeitig die maximale Auflösung des einen der Originalbilder geringer ist als die maximale Auflösung des anderen.
-
Diese Art der Bildaufbereitung ist insbesondere für Anwendungen vorteilhaft, in welchen es sich bei der optischen Abbildungsvorrichtung um ein digitales Operationsmikroskop, insbesondere um ein Stereo-Operationsmikroskop handelt. In derartigen Fällen kann dadurch, dass ein Operateur mit einem verbesserten Bild versorgt wird, eine sicherere Durchführung einer gegebenenfalls komplexen Operation erreicht werden. Die erfinderische Lösung kann dabei in einem oder beiden der Stereokanäle verwirklicht sein.
-
Insbesondere kann die maximale Tiefenschärfe der Monochromkamera höher sei als diejenige der Farbkamera und die maximale Auflösung der Farbkamera kann höher sein als die der Monochromkamera.
-
Wie bereits erwähnt erfassen beide Kameras das Objekt, wie beispielsweise eine Operationsszene unter mindestens näherungsweise der gleichen Perspektive. Das Bild wird anschließend mittels der Bildverarbeitungseinheit aufbereitet und dem Betrachter auf einer monoskopischen bzw. stereoskopischen digitalen Anzeigeeinheit dargestellt. Die maximale Objektauflösung in dem dargestellten Bild für Objekte in und nahe der Fokusebene kann dabei nahezu bzw. vollständig derjenigen des von der Farbkamera erfassten Originalbildes entsprechen. In jedem Fall ist die maximale Objektauflösung in dem dargestellten Bild höher als die maximale Objektauflösung der von der Monochromkamera erfassten Bilder für Objekte in und nahe der Fokusebene. Objekte, welche außerhalb des Tiefenschärfebereichs von der Farbkamera liegen, können im dargestellten Bild eine Objektauflösung haben, welche nahezu oder vollständig der Objektauflösung in dem von der Monochromkamera erfassten Originalbild entspricht. In jedem Fall ist die maximale Objektauflösung für Objekte außerhalb der Fokusebene in dem dargestellten Bild höher als die maximale Objektauflösung der von der Farbkamera erfassten Bilder. Es ist dabei von Vorteil, wenn beide Bildaufnahmeeinheiten auf die gleiche Fokusebene fokussiert sind.
-
Ebenso kann die maximale Tiefenschärfe der Farbkamera höher sein als diejenige der Monochromkamera und die maximale Auflösung der Monochromkamera größer ist als die der Farbkamera.
-
In einer vorteilhaften Variante der Erfindung ist im Lichtweg zwischen dem Objekt und den Bildaufnahmeeinheiten ein Strahlteiler angeordnet. Der Strahlteiler gewährleistet dabei, dass beide Bildaufnahmeeinheiten die exakt gleiche Perspektive des Objektes angeboten bekommen. Seine Kennlinie kann insbesondere einen möglichst glatten, von null verschiedenen spektralen Transmissionsverlauf im sichtbaren Spektralbereich aufweisen, so dass das sichtbare Licht mit einem definierten Teilungsverhältnis von beiden Bildaufnahmeeinheiten aufgenommen wird.
-
Insbesondere kann es sich bei dem Strahlteiler um einen dichroitischen Strahlteiler handeln.
-
In einer bevorzugten Ausführungsform der Erfindung kann vor einer der Bildaufnahmeeinheiten eine Aperturblende angeordnet sein. So kann beispielsweise eine einstellbare Aperturblende, welche vorzugsweise die Tiefenschärfe des von der Monochromkamera aufgenommen Bildes variabel einstellen kann, zur Anwendung kommen. Optional können auch weitere Blenden verwendet werden, wie beispielsweise eine zusätzliche Blende vor der Farbkamera. Eine einstellbare Blende ist insbesondere für Fluoreszenzaufnahmen vorteilhaft, weil dann die Blende geöffnet werde kann, damit mehr Fluoreszenzlicht auf die Monochromkamera gelangt.
-
Für eine Änderung der Tiefenschärfe kann ebenfalls ein Objektiv einer Bildaufnahmeeinheit, beispielsweise einer Monochromkamera, derart ausgelegt werden, dass die Tiefenschärfe der Abbildung erhöht ist.
-
Ein erfindungsgemäßes Verfahren zum Erzeugen mindestens eines auf einer Bilddarstellungseinheit dargestellten Bildes aus mindestens zwei von zwei unterschiedlichen Bildaufnahmeeinheiten aufgenommenen Originalbildern eines Objektes zeichnet sich dadurch aus, dass sich die beiden Originalbilder mindestens hinsichtlich eines Bildparameters unterscheiden. Erfindungsgemäß werden die mindestens zwei Originalbilder aus derselben Perspektive aufgenommen und zur Erzeugung des dargestellten Bildes wird mindestens eines der Originalbilder mittels einer Bildverarbeitungseinheit um Bildinformationen des anderen Originalbildes ergänzt.
-
Erfindungsgemäß handelt es sich bei dem ersten Originalbild um ein Farbbild und bei dem anderen Originalbild um ein Monochrombild und die maximale Tiefenschärfe eines der Originalbilder ist höher als die des anderen und gleichzeitig ist die maximale Auflösung des einen der Originalbilder geringer als die maximale Auflösung des anderen.
-
Wie bereits erwähnt kann das Verfahren insbesondere mittels eines digitalen Operationsmikroskops durchgeführt werden, beispielsweise mittels eines digitalen Stereo-Operationsm ikroskops.
-
In diesem Fall ist es von Vorteil, wenn für beide Bildkanäle eine Bildregistrierung vorgenommen wird. Unter einer Bildregistrierung ist hierbei ein Verfahrensschritt zu verstehen, welcher sicherstellt, dass beiden Augen eines Betrachters derselbe Bildausschnitt, wenn auch unter verschiedenen Perspektiven, angeboten wird. Eine derartige Registrierung kann beispielsweise durch die Identifikation und anschließendes Matching zweier markanter Bildbereiche erfolgen. Unter einem Matching ist vorliegend eine Maßnahme zu verstehen, mittels derer die beiden Bildausschnitte zur Deckung gebracht werden. Durch die Bildregistrierung kann ein insgesamt verbesserter Seheindruck erreicht werden. Ebenso kann zur weiteren Verbesserung des Seheindrucks für beide Bildkanäle eine Helligkeitsangleichung vorgenommen werden.
-
Bei dem dargestellten Bild muss es sich nicht zwingend um ein Farbbild handeln. Alternativ oder zusätzlich kann auch ein neues Monochrombild als dargestelltes Bild errechnet werden, welches ebenfalls eine Kombination aus hoher Tiefenschärfe und hoher maximaler Objektauflösung von Objekten in der Fokusebene aufweist.
-
Darüber hinaus kann ein Farbbild als dargestelltes Bild derart zusammengesetzt werden, dass es in Bereichen außerhalb des Tiefenschärfebereichs des Original-Farbbildes nach und nach in ein monochromes Bild, beispielsweise in ein Graustufenbild übergeht. Dadurch werden verschwommene Farb- bzw. Chrominanz-Informationen auf einem fein strukturierten Helligkeitswert- bzw. Luminanz-Muster vermieden.
-
Ferner kann die erste Bildaufnahmeeinheit ein Monochrombild mit einem geringeren optischen Abbildungsmaßstab als das von der zweiten Bildaufnahmeeinheit aufgenommene Farbbild aufnehmen. In diesem Fall wird das aufgenommene Monochrombild zunächst digital gezoomt und geeignet interpoliert, so dass das vorverarbeitete Monochrombild den gleichen Objektausschnitt wie das Farbbild zeigt.
-
Alternativ oder zusätzlich kann die als Monochromkamera ausgebildete erste Bildaufnahmeeinheit eine geringere Pixelzahl als die Farbkamera aufweisen. In diesem Fall wird das Monochrombild zunächst auf die Pixelzahl des Farbbilds hochskaliert/interpoliert. Grundsätzlich kann diejenige Bildaufnahmeeinheit, welche das Bild mit der höheren Tiefenschärfe aufnimmt, eine geringere Pixelzahl aufweisen.
-
Nachfolgend werden Ausführungsbeispiele und Varianten der Erfindung anhand der Zeichnung näher erläutert. Es zeigen
- 1 ein exemplarisches erfindungsgemäßes digitales Operationsmikroskop in einer schematischen Darstellung,
- 2 eine beispielhafte Ausführungsform der Kennlinie eines dichroitischen Strahlteilers,
- 3 ein Flussdiagramm einer ersten Methode zur Bildverarbeitung; und
- 4 ein Flussdiagramm einer zweiten Methode zur Bildverarbeitung.
-
In 1 ist in einer schematischen Darstellung eine Ausführungsform der erfindungsgemäßen Abbildungsvorrichtung 1 als digitales Operationsmikroskop dargestellt. Dabei kann es sich sowohl wie dargestellt um ein monoskopisches Mikroskop mit einer Beobachtungsperspektive als auch um ein stereoskopisches Mikroskop mit zwei Beobachtungsperspektiven handeln. Je Beobachtungsperspektive umfasst das Operationsmikroskop ein Kamerapaar aus einer Farbkamera 2 und einer Monochromkamera 3 als Bildaufnahmeeinheiten zur Aufnahme von Originalbildern des Objektes 4. Der geteilte Strahlengang des Lichtes von dem Objekt 4 zu den Kameras (2,3) wird mittels eines dichroitischen Strahlteilers 5 realisiert. Dabei verläuft der Strahlengang vom Objekt 4 über ein Hauptobjektiv 6 in eine Zoom-Optik 17 und anschließend in den dichroitischen Strahlteiler 5. Anschließend wird ein Teilstrahl über ein Videoobjektiv 8 zur Farbkamera 2 geführt. Zum anderen wird der zweite Teilstrahl über eine einstellbare Aperturblende 10 und über ein Videoobjektiv 11 zur Monochromkamera 3 geführt. Für Fluoreszenzaufnahmen umfasst das digitale Operationsmikroskop 1 schwenkbare Fluoreszenz-Beobachtungsfilter 7 und 9 zwischen dem Strahlteiler 5 und den Videoobjektiven 8 und 11. Zur Verarbeitung der von den beiden Kameras 2 und 3 aufgenommenen Originalbilder weist das digitale Operationsmikroskop 1 eine Bildverarbeitungseinheit 12 auf, welche einerseits mit der Farbkamera 2 und der Monochromkamera 3 und andererseits mit der Bilddarstellungseinheit 16 verbunden ist. Das Objekt 4 ist mittels einer Beleuchtungsquelle 13 beleuchtet.
-
In der beispielhaften Ausführungsform sind die Farbkamera 2 und die Monochromkamera 3 auf die gleiche Fokusebene fokussiert. Die Abbildung auf die Farbkamera 2 erfolgt derart, dass das Bild der Farbkamera 2 eine hohe Auflösung für Objekte besitzt, welche in der Fokusebene liegen. Jedoch geht damit eine niedrige Tiefenschärfe der Bilder der Farbkamera 2 einher. Das Bild der Monochromkamera 3 weist eine hohe Tiefenschärfe, dafür aber eine geringere Auflösung der in der Fokusebene liegenden Objekte auf.
-
Denkbar ist hier, dass die Tiefenschärfe der Monochromkamera 3 sowohl mittels der einstellbaren Aperturblende 10 als auch mittels des Videoobjektives 11 angepasst werden kann. Die einstellbare Aperturblende 10 kann ebenso zur Einstellung des geeigneten Lichtdurchlasses bei Fluoreszenzaufnahmen dienen. Die Monochromkamera 3 kann einen im Vergleich zur Farbkamera 2 niedriger auflösenden Sensor umfassen, da aufgrund der hohen Tiefenschärfe eine niedrige Auflösung gegeben ist. Ein niedrig auflösender Sensor weist eine erhöhte Lichtempfindlichkeit auf, was bei Fluoreszenzaufnahmen vorteilhaft ist. Somit kann z.B. mehr Licht über den dichroitischen Strahlteiler 5 zur Farbkamera 2 geführt werden.
-
Mittels der Bildverarbeitungseinheit 12 wird erfindungsgemäß das aufgenommene Bild einer Kamera mit den Bildinformationen der anderen Kamera ergänzt, wodurch ein generiertes Gesamtbild mit sowohl einer hohen Tiefenschärfe als auch einer hohen Auflösung je Beobachtungsperspektive generiert wird.
-
In 2 ist die Kennlinie eines dichroitischen Strahlteilers 5 in beispielhafter Ausführungsform dargestellt. Im sichtbaren Spektralbereich weist der dichroitische Strahlteiler 5 einen glatten Transmissionsverlauf mit einem konstanten Transmissionsgrad auf, sodass das sichtbare Licht mit einem definierten Teilungsverhältnis zu der Farbkamera 2 als auch zu der Monochromkamera 3 geführt wird. Der dichroitische Strahlteiler 5 weist für Licht im nahen Infrarot (700-850nm) einen hohen Transmissionsgrad auf. Denkbar ist auch, dass das Licht im nahen infraroten Wellenlängenbereich zusätzlich zum Licht des sichtbaren Wellenlängenbereichs von der monochromen Kamera detektiert wird.
-
3 zeigt das Flussdiagramm eines Lokal-Vergleich-Algorithmus 14, wie er von der Bildverarbeitungseinheit 12 vorgenommen werden kann. Dabei entspricht das Bild F dem aufgenommenen Originalbild der Farbkamera 2 und das Originalbild M dem aufgenommenen Bild der Monochromkamera 3. Der lokale Kontrast und die lokale Bildschärfe von Bild F und Bild M werden mit einem üblichen Bildschärfe-Algorithmus bestimmt. Für jeden Bildbereich von Bild M und Bild F erfolgt ein lokaler Vergleich des Kontrastes und der Bildschärfe. Das dargestellte Bild D1 wird anschließend derart zusammengesetzt, dass an jedem Bildbereich von D1 der entsprechende Bildbereich aus Bild F oder Bild M mit der höheren Schärfe bzw. dem höheren Kontrast genommen wird, wobei die Farbinformation aus Bild F übernommen wird. Denkbar ist, dass bei einer höher aufgelösten Grauwert-Information aus Bild M, das generierte Farbbild D1 digital nachgeschärft wird. In Übergangsbereichen wird vorzugsweise eine Mischung der beiden Quellen Bild M und Bild F verwendet. Die Methode findet beispielsweise nur im Luminanz- bzw. Luma-Kanal („Y“) des Farbbilds F im YCbCr Format Anwendung, während der Chrominanz-Anteil („CbCr“) des Farbbilds F unverändert (oder auf Basis des Luminanz-Kanals digital nachgeschärft) in F' übernommen wird. Für andere Luminanz-Chrominanz-Farbmodelle als YcbCr wird das Verfahren ebenfalls bevorzugt getrennt nach Luminanz- und Chrominanz-Kanal ausgeführt. Andere Farbmodelle aus dem Stand der Technik können ebenfalls mit geeigneter Differenzierung zwischen Grauwert- und Farbinformationen verwendet werden.
-
4 zeigt das Flussdiagramm einer alternativen Bildverarbeitungsmethode, bei der ein Tiefenkarte-Algorithmus 15 in der Bildverarbeitungseinheit 12 zur Anwendung kommt. Dabei wird zur Datenverarbeitung eine Tiefenkarte verwendet, welche mittels eines Tiefensensors erstellt wurde. Denkbar ist, dass bei einem stereoskopischen Operationsmikroskop eine Tiefenkarte über Stereo-Rekonstruktion gewonnen wird. Über die bekannte Tiefe aus der Tiefenkarte des jeweiligen Bildbereiches erfolgt eine Entscheidung, ob Bild M oder Bild F die lokal höhere Tiefenschärfe oder Objektauflösung aufweist. Für das dargestellte Bild D2 wird für jeden Bildbereich derjenige ausgewählt, welcher eine höhere Tiefenschärfe oder Auflösung aufweist. Die Farbinformation des dargestellten Bildes D2 wird aus Bild F übernommen. Optional kann eine geeignete gemischte Gewichtung von Bild F und Bild M in Übergangsbereichen vorgenommen werden.
-
Bezugszeichenliste
-
- 1
- Abbildungsvorrichtung
- 2
- Farbkamera
- 3
- Monochromkamera
- 4
- Objekt
- 5
- Strahlteiler
- 6
- Hauptobjektiv
- 7
- Fluoreszenz-Beobachtungsfilter
- 8
- Videoobjektiv
- 9
- Fluoreszenz-Beobachtungsfilter
- 10
- Aperturblende
- 11
- Videoobjektiv
- 12
- Bildverarbeitungseinheit
- 13
- Beleuchtungsquelle
- 14
- Lokal-Vergleich-Algorithmus
- 15
- Tiefenkarte-Algorithmus
- 16
- Bilddarstellungseinheit
- 17
- Zoom-Optik
- F
- Farbbild
- M
- Monochrombild
- D1
- Dargestelltes Bild
- D2
- Dargestelltes Bild
