-
Die Erfindung betrifft ein Verfahren zur Darstellung von Bildern, welche mittels eines digitalen Operationsmikroskops aufgenommen wurden. Ferner umfasst die Erfindung ein digitales Operationsmikroskop-System, in welchem das erfindungsgemäße Verfahren verwirklicht ist.
-
Digitale Bilder, die von einem Operationsmikroskop aufgenommen wurden, werden von einem Benutzer, beispielsweise einem operierenden Arzt, üblicherweise mittels einer Anzeigeeinrichtung, beispielsweise einem Monitor, einem digitalen Binokular oder einem Head Mounted Display betrachtet. Hat die Anzeigeeinrichtung eine hohe Anzeigeauflösung, ist aber zu weit vom Benutzer entfernt, dann kann der Benutzer aufgrund des eingeschränkten Sehvermögens seiner Augen nicht alle auf dem Monitor dargestellten Details des Objekts erkennen.
-
Eine ähnliche Problematik ist aus dem Gebiet der Digitalkameras bekannt: Digitale Kameras enthalten in der Regel eine optische Zoomfunktion, die es dem Benutzer ermöglicht, Fotoobjekte in einer gewünschten Vergrößerung aufzunehmen. Der Benutzer erkennt dann allerdings evtl. nicht alle Einzelheiten, die auf dem Monitor dargestellt sind, da die Pixeldichte auf dem Monitor sehr hoch ist und der Benutzer den Monitor aus einer zu großen Entfernung betrachtet, um alle Details, die durch den optischen Zoom und den Bildsensor aufgelöst wurden, zu erkennen. Für diese Fälle, in denen der in der Digitalkamera eingebaute optische Zoom nicht ausreicht, um das zu fotografierende Objekt in ausreichender Größe auf dem Monitor darzustellen, wird dem Benutzer eine sogenannte Digitalzoomfunktion zur Verfügung gestellt, die eine weitere Vergrößerung des Fotoobjekts gestattet. Während sich allerdings bei der Verwendung des optischen Zooms die Linsen im Objektiv bewegen und den Bildwinkel unter Ausnutzung des vollen Formats des Kamerabildsensors verändern, wodurch die Bildqualität über den gesamten optischen Zoombereich gleich hoch bleibt, wird bei Verwendung des Digitalzooms das Objektiv in seine maximale Teleeinstellung gebracht und. ein kleinerer Bereich des Bildsensors für die Aufnahme verwendet. Dieses Bild wird anschließend auf die ursprüngliche Größe (und Pixelzahl) hochgerechnet, um denselben Vergrößerungsmaßstab zu erzielen wie bei der Verwendung eines stärkeren Teleobjektivs. Je größer die Digitalzoomeinstellung ist, desto kleiner ist der genutzte Bereich des Bildsensors, sodass die Bildqualität immer weiter abnimmt.
-
Durch Verwendung eines digitalen Zooms können keine zusätzlichen Bildinformation, d.h. keine Kenntnis über kleinere Details des Fotoobjekts, gewonnen werden. Um eine möglichst hohe Bildqualität zu erreichen, wird daher zunächst der optische Zoom der Kamera in die maximale Teleeinstellung gebracht und anschließend - sofern dies nötig ist - der digitale Zoom zugeschaltet.
-
Ein ähnliches Verfahren ist für die Kodak EasyShare LS633 Digitalkamera bekannt: Dort wird ein sogenanntes „Advanced Digital Zoom“-Verfahren verwendet, bei dem zunächst der optische Zoom auf die maximale Vergrößerung eingestellt wird und anschließend vom Benutzer wahlweise ein digitaler Zoom zugeschaltet werden kann, wenn dieser optische Zoom nicht ausreicht.
-
Viele Digitalkameras verfügen also über ein zweistufiges Zoomverfahren, bei dem zunächst ein kamerainterner optischer Zoom auf die maximale Vergrößerung eingestellt wird und das Bild anschließend bei Bedarf digital nachvergrößert wird. Dies gibt dem Benutzer die Möglichkeit, mit Hilfe des digitalen Zooms kleine Details so weit zu vergrößern, bis ihre Größe auf dem Monitor ausreicht, um für den Benutzer zugänglich zu sein. Dabei ist es für den Benutzer allerdings relativ langwierig und schwierig, genau diejenige Gesamtvergrößerung zu finden, bei der er die Details in der optimalen Vergrößerung erkennen kann: Zoomt er zu wenig, ist für ihn auf dem Monitor nicht die gesamte Detailinformation des Objekts erkennbar, obwohl diese Information durch die digitale Bildaufnahmeeinrichtung registriert wurde. Zoomt er jedoch zu stark digital in das Bild hinein, so kommt es sehr schnell zu einem merklichen Verlust der Bildqualität, und das Bild sieht unscharf und verschwommen aus.
-
Aus dem Bereich der Endoskopie ist es bekannt, Bildaufnahmeverfahren situationsabhängig anzupassen. Beispielsweise wird in der Europäischen Patentschrift
EP 2 335 551 B1 ein Verfahren vorgestellt, bei welchem ein Parameter aus dem Abstand einer Bildaufnahmevorrichtung eines Endoskops von einem Operationsbereich gewonnen wird und auf Basis dieses Parameters zwischen zwei Bildaufnahmeverfahren unterschieden bzw. umgeschaltet wird.
-
Ein gattungsgemäßes Bildanzeigeverfahren für Operationsmikroskope ist beispielsweise in der US-Offenlegungsschrift
US 2015/0173846 A1 offenbart. Nach der Lehre der genannten Schrift wird eine selektiv vergrößerte Darstellung einer „Region of Interest“ unter Verwendung einer festgelegten Maximalvergrößerung vorgenommen.
-
Die momentane Situation eines Benutzers wird jedoch in den aus dem Stand der Technik bekannten Lösungen nicht ausreichend berücksichtigt.
-
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung bereitzustellen, das beziehungsweise die den Benutzer bei der Einstellung einer geeigneten Gesamtvergrößerung eines digitalen Mikroskopsystems unterstützt. Insbesondere soll auf einfache Weise diejenige Gesamtvergrößerung eingestellt werden können, bei der der Benutzer die kleinsten durch die digitale Bildaufnahmeeinheit aufgelösten Objektdetails mit seinen Augen gerade noch wahrnehmen kann, ohne dass es bereits zu einem durch den Digitalzoom verursachten Qualitätsverlust kommt.
-
Diese Aufgabe wird gelöst durch ein Verfahren und eine Vorrichtung mit den Merkmalen der unabhängigen Ansprüche. Die Unteransprüche betreffen vorteilhafte Weiterbildungen und Varianten der Erfindung.
-
Ein erfindungsgemäßes Verfahren zur Darstellung von Bildern, die mittels eines digitalen Operationsmikroskop-Systems aufgenommen wurden, verwendet den durch einen Sensor ermittelten Abstand eines Benutzers von einer als Monitor ausgebildeten Anzeigeeinheit als situativen Parameter, um die Bilder in einer geeigneten Vergrößerung darzustellen. Hierzu wird mittels einer Bildaufnahmeeinheit ein Bild auf einem Bildsensor erzeugt, und dieses Bild wird dem Benutzer mindestens bereichsweise auf dem Monitor wiedergegeben. Die Vergrößerung des wiedergegebenen Bildes wird dann auf elektronischem Wege erhöht, wobei ein Grenzwert der Vergrö-ßerung verwendet wird, in dessen Ermittlung der gemessene Abstand einfließt. Unter einer Erhöhung der Vergrößerung des wiedergegebenen Bildes auf elektronischem Wege werden Maßnahmen verstanden, bei welchen sich die Vergrößerung des Bildes auf dem Bildsensor nicht ändert, also insbesondere Maßnahmen, bei welchen kein optischer Zoom erfolgt.
-
Situative Parameter im Sinne der vorliegenden Erfindung sind Parameter, die aus der jeweiligen Anwendungssituation des Operationsmikroskops entstehen.
-
Dadurch, dass der Abstand eines Benutzers von der Anzeigeeinheit verwendet wird, kann im Vorfeld abgeschätzt werden, welche Vergrößerung des Bildes am besten geeignet ist, um dem Benutzer die optimale Information über die kleinsten vom digitalen Mikroskop auflösbaren Strukturen zu liefern.
-
Weiterhin ist es beispielsweise nützlich, bei der Wahl einer geeigneten Vergrößerung den Visus (d.h. die Sehschärfe) des Benutzers einzubeziehen: Ist beispielsweise der Visus des Benutzers stark begrenzt, dann ist eine Darstellung sehr kleiner Details auf der Anzeigeeinheit nicht vollständig nutzbar, da der Benutzer sie mit seiner geringen Sehschärfe nicht auflösen kann. In diesem Fall umfassen die situativen Parameter nicht lediglich die Anwendungssituation unabhängig von dem jeweiligen Benutzer, sondern es fließen auch nutzerspezifische Parameter - im geschilderten Beispiel die Sehschärfe des Benutzers - mit in die Festlegung des Grenzwertes mit ein.
-
In einer vorteilhaften Ausgestaltung der Erfindung wird ein Verfahren vorgeschlagen, bei dem ein optischer Zoom gefolgt von einem digitalen Zoom durchgeführt wird. Dazu wird zunächst der Grenzwert der Vergrößerung bestimmt und anschließend ein optischer Zoomfaktor der Bildaufnahmeeinheit iterativ bis zur Erreichung seines Maximalwerts erhöht. Anschließend wird ein digitaler Zoomfaktor zugeschaltet und iterativ so lange erhöht, bis das auf der Anzeigeeinheit wiedergegebene Bild mit einer Gesamtvergrößerung dargestellt wird, die dem Grenzwert der Vergrößerung entspricht.
-
Nachfolgend werden Ausführungsbeispiele und Varianten der Erfindung anhand der Zeichnung näher erläutert. Es zeigen
- 1 eine schematische Darstellung eines Operationsmikroskop-Systems mit einer Steuerungseinrichtung, die eine erfindungsgemäße Darstellung aufgenommener Bilder gestattet;
- 2 ein Ablaufdiagramm eines erfindungsgemäßen Verfahrens zur Darstellung von Bildern aus dem Operationsmikroskop-System der 1;
- 3 ein Diagramm der durch das Verfahren der 2 erreichten (momentanen) Gesamtvergrößerung des Bildes auf einer Anzeigeeinheit als Funktion der Betätigungsdauer einer Zoomtaste durch den Benutzer;
-
1 zeigt ein digitales Operationsmikroskop-System 10 mit einem Benutzer 5, der auf einer digitalen Anzeigeeinheit 18, beispielsweise einem Monitor, ein von dem Operationsmikroskop-System 10 erzeugtes, vergrößertes Videobild eines Objektbereichs 30 betrachtet. Das Operationsmikroskop-System 10 umfasst eine Aufnahmeeinheit 12, welche monoskopisch oder stereoskopisch ein vergrößertes Videobild des Objektbereichs 30 aufnimmt sowie einen (in 1 nicht gezeigten) verstellbaren optischen Zoom, der eine Bewegung optischer Komponenten, insbesondere Linsen, in der Aufnahmeeinheit 12 gestattet und eine Veränderung des Bildausschnitts unter Ausnutzung des vollen Formats eines Bildsensors 13 (oder mehrerer Bildsensoren 13) der Aufnahmeeinheit 12 ermöglicht. Eine Steuerungseinrichtung 14 des Operationsmikroskop-Systems 10 steuert bzw. regelt Betriebsparameter des Operationsmikroskop-Systems 10, insbesondere den optischen Zoomfaktor, die Stellung von Blenden innerhalb der Aufnahmeeinheit sowie andere Parameter.
-
Eine Video-Datenverarbeitungseinheit 16 wandelt das digitale/elektronische Signal des Bildsensors 13 in der Aufnahmeeinheit 12 in ein digitales Videosignal um, das von der digitalen Anzeigeeinheit 18, z.B. einem 2D- oder 3D-Monitor, wiedergegeben wird. Die Video-Datenverarbeitungseinheit 16 ist dabei in der Lage, einen Bildausschnitt aus den Videosignalen des Bildsensors 13 digital zu vergrößern („Digitalzoom“) und entsprechend zu interpolieren, so dass z.B. ein Videosignal mit der Auflösung der Anzeigeeinheit 18 ausgegeben werden kann. 1 zeigt die Video-Datenverarbeitungseinheit 16 und die Steuerungseinrichtung 14 als separate Elemente des Operationsmikroskop-Systems 10, die beiden Einheiten 14, 16 können jedoch auch als gemeinsame Systemkomponente ausgeführt sein.
-
Das Operationsmikroskop-System 10 umfasst weiterhin eine Eingabeeinheit 20, mit der der Benutzer 5 die Vergrößerung, mit welcher der Objektbereich 30 auf der Anzeigeeinheit 18 dargestellt werden soll, kontinuierlich und/oder schrittweise interaktiv verändern kann. Im Ausführungsbeispiel der 1 weist diese Eingabeeinheit 20 mehrere Tasten auf, nämlich eine Taste 21 für „Erhöhung des Zoomfaktors“ und eine Taste 22 für „Reduktion des Zoomfaktors“; weiterhin ist eine Bedienmöglichkeit (Taste 23) „maximaler Zoom ohne Qualitätsverlust“ vorgesehen, mittels derer der Zoomfaktor automatisiert eingestellt werden kann.
-
Weiterhin umfasst das Operationsmikroskop-System 10 einen Sensor 25, mit dem ein Abstand 26 des Benutzers 5 zur Anzeigeeinheit 18 gemessen werden kann. Der Sensor 25 kann beispielsweise auf Basis einer integrierten Kamera den Abstand 26 messen. Der Abstand 26 kann alternativ auch manuell in die Steuerungseinrichtung 14 eingegeben werden; dies empfiehlt sich insbesondere bei Anwendungen, in denen die Anzeigeeinheit 18 ein digitales Binokular oder ein Head Mounted Display ist, bei denen in der Regel ein fester Betrachtungsabstand bzw. Skalierungsfaktor zwischen den Augen des Benutzers 5 und der Anzeigeeinheit 18 besteht.
-
In 2 ist schematisch ein Ablaufdiagramm eines Verfahrens 100 dargestellt, mit dessen Hilfe eine optimierte, auf die aktuelle Anwendungssituation zugeschnittene Darstellung der mittels des Operationsmikroskop-Systems 10 aufgenommenen Bilder des Objektbereichs 30 auf der Anzeigeeinheit 18 erreicht werden kann.
-
Dabei wird zunächst unter Berücksichtigung der Parameter
- - Größe (und ggf. Pixelzahl) der Anzeigeeinheit 18,
- - die kleinste durch das digitale Mikroskop digital auflösbare Strukturgröße in dem zu beobachtenden Objektbereich 30,
- - Abstand 26 des Benutzers 5 von der Anzeigeeinheit 18,
- - optional Sehschärfe (Visus) des Benutzers 5
ein „Grenzwert der Vergrößerung“ (GW) ermittelt (Schritt 120), der einer optimalen Gesamtvergrößerung entspricht, bei welcher der Benutzer 5 beim Blick auf die Anzeigeeinheit 18 die kleinsten von der digitalen Aufnahmeeinheit 12 aufgelösten Strukturdetails auf der Objektoberfläche 30 gerade noch anstrengungsfrei erkennen kann. Falls die Anzeigeeinheit 18 ein digitales Binokular oder ein Head Mounted Display ist, ist der Abstand 26 ein durch die Gestaltung der Anzeigeeinheit 18 bestimmter, zeitlich konstanter Wert. Falls als Anzeigeeinheit 18 ein raumfester Monitor verwendet wird, so wird der Abstand 26 unter Zuhilfenahme von Messdaten des Sensors 25 ermittelt und kann sich zeitlich ändern, wenn der Benutzer 5 sich relativ zum Monitor bewegt. In diesem Fall muss der in Schritt 120 ermittelte „Grenzwert der Vergrößerung“ je nach Position des Benutzers 5 zum Monitor angepasst bzw. korrigiert werden.
-
Die Gesamtvergrößerung ergibt sich dabei als das Produkt des optischen Zoomfaktors und des digitalen Zoomfaktors:
-
Will der Benutzer 5 mit Hilfe des Operationsmikroskop-Systems 10 einen Objektbereich 30 betrachten, so legt er zunächst fest, welcher Ausschnitt des Objektbereichs 30 auf der Anzeigeeinheit 18 angezeigt werden soll. Anschließend drückt er auf die Zoomtaste 21, um auf der Anzeigeeinheit 18 ein vergrößertes Bild des gewählten Ausschnitts des Objektbereichs 30 zu erhalten; dabei wird iterativ die Vergrößerung des darzustellenden Bildes erhöht (Schritt 130).
-
3 zeigt ein Diagramm 200, in dem eine erreichte (momentane) Gesamtvergrö-ßerung als Funktion der Betätigungsdauer der Zoomtaste 21 durch den Benutzer 5 dargestellt ist. Drückt der Benutzer 5 kontinuierlich die Zoomtaste 21, so wird zunächst in einer ersten (optischen) Zoomphase der optische Zoomfaktor kontinuierlich oder schrittweise erhöht (Kurvenabschnitt 210), bis der maximale (durch den optischen Zoom der Aufnahmeeinheit 12 erreichbare) optische Zoomfaktor 215 erreicht ist (Schritt 132 im Ablaufdiagramm der 2). Bei Erreichen des maximalen optischen Zoomfaktors findet (optional) eine erste Pause (Kurvenabschnitt 220) statt, die dem Benutzer 5 signalisiert, dass der optische Zoomfaktor seinen Maximalwert erreicht hat (Schritt 134 im Ablaufdiagramm der 2). Alternativ oder zusätzlich zu einer Pause könnte auch ein taktiles Feedback der Taste/des Schalters erfolgen, d.h. eine kurze Vibration oder ein vorübergehender Widerstand beim Tastendruck. Drückt der Benutzer 5 weiter die Zoomtaste 21, dann wird anschließend in einer zweiten Zoomphase ein Digitalzoom aktiviert (Kurvenabschnitt 210'), der dazu dient, für den Benutzer 5 mehr Details auf der Anzeigeeinheit 18 sichtbar zu machen (Schritt 236 im Ablaufdiagramm der 2). Dabei wird der digitale Zoomfaktor iterativ erhöht, bis die Gesamtvergrößerung den oben beschriebenen, durch situative Parameter bestimmten „Grenzwert der Vergrößerung“ (GW) 225 erreicht hat. Bei Erreichen dieses Vergrößerungswerts wird eine weitere Pause (Kurvenabschnitt 230) eingelegt. Mit dieser weiteren Pause 230 wird dem Benutzer 5 angezeigt, dass die situativ optimale Vergrößerung erreicht ist und dass bei weiterer Erhöhung des digitalen Zooms keine zusätzlichen Objektdetails mehr sichtbar werden, sondern ein sichtbarer Qualitätsverlust des Bildes einsetzt (Schritt 138 im Ablaufdiagramm der 2).
-
Optional kann der Benutzer 5 durch weiteres Drücken der Zoomtaste 21 nun zwar den digitalen Zoom aktiv weiter erhöhen (Kurvenabschnitt 240, Schritt 140), dies führt jedoch zu keiner weiteren nutzbaren Erhöhung der Auflösung des auf der Anzeigeeinheit 18 dargestellten Bildes. Diese Möglichkeit einer weiteren (unproduktiven) Erhöhung der Vergrößerung wird vorteilhafterweise systemseitig unterdrückt.
-
Bewegt sich der Benutzer 5 im Raum, so kann sich - bei Verwendung eines räumlich feststehenden Monitors als Anzeigeeinheit 18 - der Abstand 26 des Benutzers 5 von der Anzeigeeinheit 18 ändern und die dargestellte Vergrößerung muss nachjustiert werden, um optimal auf den Benutzer 5 und insbesondere dessen Position eingestellt zu sein. In einem solchen Fall wird basierend auf einer Messung des vom Sensor 25 ermittelten Abstands 26 des Benutzers 5 zur Anzeigeeinheit 18 prozessbegleitend jeweils diejenige (maximale) Auflösung bzw. Detaildichte der Anzeigeeinheit 18 ermittelt, die maximal für den Benutzer 5 sichtbar bzw. nutzbar ist. Werden auf der Anzeigeeinheit 18 Details dargestellt, welche für den Benutzer 5 effektiv nicht sichtbar sind, so wird die optische Vergrößerung der Aufnahmeeinheit 12 reduziert und durch digitalen Zoom derart kompensiert, dass die Gesamtvergrößerung und somit der dargestellte Objektausschnitt unverändert bleibt. Die optische Vergrößerung wird dabei in einer solchen Weise gewählt, dass nur solche Objektdetails optisch aufgelöst und vom Bildsensor 13 digital registriert werden, die tatsächlich von den Augen des Benutzers 5 wahrnehmbar sind.
-
Während im Diagramm der 3 die der „optimalen Vergrößerung“ entsprechende Pause 230 beim Erreichen des vorher berechneten „Grenzwertes der Vergrößerung“ 225 stattfindet, ist es auch möglich, den iterativen digitalen Zoomprozess erst dann zu unterbrechen, wenn eine höhere Vergrößerung erreicht wurde als diejenige, die dem Auflösungsvermögen des Benutzerauges entsprechen würde. Das Bild wird in diesem Fall also etwas stärker vergrößert als es eigentlich optimal wäre.
-
Durch Betätigung der „negativen Zoomtaste“ 22 kann der Benutzer 5 bei Bedarf die Vergrößerung reduzieren und auf diese Weise einen größeren Ausschnitt des Objektbereiches 30 auf der Anzeigeeinheit 18 sichtbar machen.
-
In einem alternativen Zoomverfahren drückt der Benutzer 5 die Bedientaste 23, die mit einer Automatikfunktion „maximaler Zoom ohne Qualitätsverlust“ belegt ist. In diesem Fall stellt das Operationsmikroskops-System 10 durch Einstellung einer entsprechenden vorteilhaften Kombination von optischem und digitalem Zoomfaktor die „optimale Gesamtvergrößerung“ ein.
