DE102021203187B3

DE102021203187B3 - Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und Operationsmikroskop

Info

Publication number: DE102021203187B3
Application number: DE102021203187.0A
Authority: DE
Inventors: Dominik Scherer; Senay Karaali; Selamawit Getachew Kelemu
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2022-02-24
Anticipated expiration: 2041-03-31
Also published as: US20220318969A1

Abstract

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Abbildung (20) mittels eines Operationsmikroskops (1), umfassend: Erfassen einer Farbabbildung (11) eines Erfassungsbereichs (10) mittels einer Kamera (2), Erfassen einer Fluoreszenzabbildung (12) des Erfassungsbereichs (10) mittels einer Fluoreszenzkamera (3), Erzeugen eines Detailbildes (13) aus der erfassten Farbabbildung (11) mittels eines Raumfilters (15) und einer Edge-stop-Funktion (16), Mischen der erfassten Farbabbildung (11), der erfassten Fluoreszenzabbildung (12) und des erzeugten Detailbildes (13) zu einer gemischten Abbildung (20), und Bereitstellen eines Bildsignals (21), welches die gemischte Abbildung (20) kodiert. Ferner betrifft die Erfindung ein Operationsmikroskop (1).

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und ein Operationsmikroskop.
Eines der Hauptprobleme bei der Operation von Tumoren, insbesondere im Bereich des Gehirns, ist die Unterscheidung von Tumorgewebe und Nicht-Tumorgewebe. Operationsmikroskope können neben der Information aus erfassten Farbabbildungen (Weißlicht-Abbildungen) hierzu auch Fluoreszenzabbildungen erfassen, wobei beim Erfassen durch spezielle Anregung fluoreszierende Kontrastmittel im Gewebe angeregt werden, sodass das Tumorgewebe in der erfassten Fluoreszenzabbildung sichtbar gemacht und markiert wird. Hierbei können eine erfasste Weißlichtabbildung und eine erfasste Fluoreszenzabbildung übereinandergelegt bzw. gemischt werden. Dies hat jedoch den Nachteil, dass Detailinformationen (z.B. von Gehirngefäßen oder von Sulcistrukturen des Gehirns) verloren gehen können.
Aus der US 2018/0364470 A1 sind ein Mikroskopiesystem und ein Mikroskopieverfahren zum Aufzeichnen eines Fluoreszenzbildes und eines Weißlichtbildes bekannt. Ein solches Mikroskopiesystem umfasst eine Beleuchtungsvorrichtung zum Beleuchten eines Objektbereichs und zum Anregen mindestens eines fluoreszierenden Farbstoffs, eine optische Einheit zum Abbilden des Objektbereichs auf mindestens einen Fluoreszenzbilddetektor und mindestens einen Weißlichtbilddetektor. Ein Strahlteiler und ein Filter sind in dem von der optischen Einheit bereitgestellten Strahlengang angeordnet und so konfiguriert, dass im Wesentlichen nur die von den Fluoreszenzfarbstoffen emittierte Fluoreszenz auf den Fluoreszenzbilddetektor einfällt und ein Bild, so farbneutral wie möglich, von dem Weißlichtbilddetektor aufgezeichnet wird.
Aus der US 2016/0007856 A1 ist eine Fluoreszenzbeobachtungsvorrichtung bekannt, mit einer Lichtquelle, die konfiguriert ist, um ein Objekt mit weißem Licht und Anregungslicht zu bestrahlen; und einem Prozessor, umfassend Hardware, wobei der Prozessor konfiguriert ist, um Folgendes zu implementieren: eine Fluoreszenzbilderzeugungseinheit und eine Weißlichtbilderzeugungseinheit, die konfiguriert sind, um ein Fluoreszenzbild bzw. ein Farbweißlichtbild zu erzeugen; eine Zustandseinstellungseinheit, die konfiguriert ist, um Gewichte individuell für mehrere Farbkomponentenbilder einzustellen, die das Weißlichtbild bilden; und eine Kombinationseinheit, die konfiguriert ist, um mindestens ein Farbkomponentenbild zu kombinieren, zu dem das Fluoreszenzbild hinzugefügt wurde, und die anderen Farbkomponentenbilder, während die Gewichte angewendet werden, und die Bedingungseinstellungseinheit, die konfiguriert ist, um die Gewichte basierend auf den Farbkomponentenbildern so einzustellen, dass das Gewicht für das Farbkomponentenbild, zu dem das Fluoreszenzbild hinzugefügt wird, größer ist als das Gewicht für die anderen Farbkomponentenbilder.
Aus der CN 1 12 037 216 A ist ein Bildfusionsverfahren für ein medizinisches Fluoreszenz-Bildgebungssystem auf dem technischen Gebiet der medizinischen Fluoreszenz-Bildgebung bekannt. Das Verfahren umfasst die folgenden Schritte: Ausführen der Salienzbereichsdetektion eines sichtbaren Lichtbildes, Erhalten einer Salienzkarte, und Ausführen der Auffälligkeitsbereichsdetektion eines Fluoreszenzbildes und Erhalten einer Auffälligkeitskarte; Berechnen einer Fusionsgewichtung der Salienzkarte von sichtbarem Licht und der Salienzkarte von Infrarotlicht; und Durchführen einer Bildfusion an dem Fluoreszenzbild und dem Bild mit sichtbarem Licht und Ausgeben eines Fusionsbildergebnisses. Gemäß dem Verfahren wird das Fusionsgewicht durch Anwenden der Salienzkarte berechnet, und die Pseudofarbbildfusion wird im RGB-Farbraum ausgeführt, sodass die Merkmale der fluoreszierenden Region hervorgehoben werden können; hierdurch können die Texturmerkmale einer fluoreszenzstimulierten Region verbessert werden und das verschmolzene Bild ist im Eindruck natürlicher und angenehmer; und das verschmolzene Bild kann effektiv Schlüsselinformationen in dem Bild reservieren, Fluoreszenzeigenschaften in dem verschmolzenen Bild verbessern und Texturinformationen eines Fluoreszenzbereichs hervorheben.
Aus der DE 11 2016 004 455 T5 sind eine Bildverarbeitungsvorrichtung, ein Bildverarbeitungsverfahren, ein Operationssystem und ein chirurgischer Faden bekannt, wodurch die Sichtbarkeit des Fadens weiter verbessert werden kann. Die Bildverarbeitungsvorrichtung weist Folgendes auf: eine bilderhaltende Einheit, welche ein unter einer Beleuchtungsbedingung, bei der der chirurgische Faden fluoresziert, erzeugtes erstes Bild und ein unter einer Beleuchtungsbedingung, welche zumindest sichtbares Licht aufweist, erzeugtes zweites Bild als Bilder einer Operationsstelle unter Verwendung des fluoreszierenden chirurgischen Fadens erhält, und eine Syntheseeinheit, die ein durch Synthetisieren eines Bereichs des chirurgischen Fadens des ersten Bilds und des zweiten Bilds erhaltenes synthetisches Bild erzeugt. Dies ist beispielsweise auf ein Operationssystem und dergleichen anwendbar.
Aus der EP 3 616 596 A2 ist ein medizinisches Beobachtungsgerät wie ein Mikroskop oder Endoskop bekannt. Weiterhin ist ein Verfahren zum Verarbeiten medizinischer Bilder bekannt. Eingabebilddaten werden von einer Kamera für sichtbares Licht erzeugt und mit Hilfseingabedaten überlagert, wie beispielsweise Fluoreszenzlicht-Bilddaten, die aus Hilfseingabedaten erzeugt werden, z. B. von einer Fluoreszenzkamera oder einem Ultraschallsensor. Aus den Hilfseingabedaten werden nachfolgende Sätze von Pseudofarbbilddaten durch einen Bildprozessor erzeugt. Die Pseudofarbbilder werden mit den Eingangsbilddaten verschmolzen, um dreidimensionale Ausgangsbilddaten zu erhalten. Der Bildprozessor ist konfiguriert, um Pseudofarbbilddaten in unterschiedlichen Tiefenschichten der dreidimensionalen Ausgabebilddaten in Abhängigkeit vom Inhalt der Hilfseingabedaten zu erzeugen.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops und ein Operationsmikroskop zu schaffen, bei denen das Mischen einer Farbabbildung und einer Fluoreszenzabbildung verbessert ist, und bei denen insbesondere Details in der gemischten Abbildung erhalten bleiben.
Die Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und ein Operationsmikroskop mit den Merkmalen des Patentanspruchs 12 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Es ist einer der Grundgedanken der Erfindung, aus einer erfassten Farbabbildung, welche insbesondere auch als Weißlichtabbildung oder RGB-Abbildung bezeichnet werden kann, ein Detailbild zu erzeugen, welches zusätzlich in die gemischte Abbildung hineingemischt wird. Das Detailbild wird hierbei aus der erfassten Farbabbildung mittels eines, insbesondere zweidimensionalen, Raumfilters (engl. spatial filter) und einer Edge-stop-Funktion erzeugt. Dies ermöglicht es, relevante Details aus der Farbabbildung zu extrahieren und beim Mischen der erfassten Farbabbildung und der erfassten Fluoreszenzabbildung zusätzlich zu berücksichtigen. In der gemischten Abbildung sind die extrahierten Details dann weiterhin gut zu erkennen.
Insbesondere wird ein Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops zur Verfügung gestellt, umfassend: Erfassen einer Farbabbildung eines Erfassungsbereichs mittels einer Kamera, Erfassen einer Fluoreszenzabbildung des Erfassungsbereichs mittels einer Fluoreszenzkamera, Erzeugen eines Detailbildes aus der erfassten Farbabbildung mittels eines Raumfilters und einer Edge-stop-Funktion, Mischen der erfassten Farbabbildung, der erfassten Fluoreszenzabbildung und des erzeugten Detailbildes zu einer gemischten Abbildung, und Bereitstellen eines Bildsignals, welches die gemischte Abbildung kodiert.
Ferner wird insbesondere ein Operationsmikroskop geschaffen, umfassend eine Kamera, eingerichtet zum Erfassen einer Farbabbildung eines Erfassungsbereichs, eine Fluoreszenzkamera, eingerichtet zum Erfassen einer Fluoreszenzabbildung des Erfassungsbereichs, und eine Auswertungseinrichtung, wobei die Auswertungseinrichtung dazu eingerichtet ist, ein Detailbild aus der erfassten Farbabbildung mittels eines Raumfilters und einer Edge-stop-Funktion zu extrahieren, die erfasste Farbabbildung, die erfasste Fluoreszenzabbildung und das extrahierte Detailbild zu einer gemischten Abbildung zu mischen, und ein Bildsignal, welches die gemischte Abbildung kodiert, bereitzustellen.
Das Verfahren und das Operationsmikroskop haben den Vorteil, das auch bei einer aus der erfassten Farbabbildung und der erfassten Fluoreszenzabbildung gemischten Abbildung Details aus der erfassten Farbabbildung weiterhin enthalten sind. Insbesondere erlauben es das Verfahren und das Operationsmikroskop, die Details in der gemischten Abbildung hervorzuheben. Insbesondere können hierdurch auch nach dem Mischen noch Gefäße und Sulcistrukturen im Gehirn klar und deutlich in der gemischten Abbildung sichtbar gemacht werden. Ein Chirurg und/oder Hilfspersonal können diese Details hierdurch verbessert erfassen und in der erfassten Farbabbildung und der erfassten Fluoreszenzabbildung vorhandene Informationen können optimal dargestellt werden. Ein Arbeitsablauf und ein Arbeitsfluss bei der Operation können hierdurch verbessert werden.
Das Operationsmikroskop umfasst insbesondere eine Lichtquelle, um den Erfassungsbereich, in dem ein zu erfassendes Objekt, insbesondere ein Körperteil eines Patienten, angeordnet ist, mit, insbesondere weißem bzw. breitbandigem, Licht zu beleuchten. Ferner kann das Operationsmikroskop auch eine (zusätzliche) Anregungslichtquelle umfassen, um einen Fluoreszenzfarbstoff anzuregen. Das Operationsmikroskop kann ferner optische Elemente, insbesondere zum Fokussieren und/oder Vergrößern, aufweisen. Die optischen Elemente können auch Teil der Kamera(s) sein. Ferner kann ein Strahlteiler in einem Strahlengang des Operationsmikroskops angeordnet sein, um beispielsweise Licht vom Erfassungsbereich sowohl auf die Kamera als auch die Fluoreszenzkamera zu führen. Weiter können auch optische Filter beim Erfassen von Fluoreszenzabbildungen verwendet werden.
Insbesondere ist vorgesehen, dass das Raumfilter (engl. spatial filter) als Glättungsfilter ausgestaltet ist, ohne hierbei zusätzliche Artefakte zu schaffen. Die Edge-stop-Funktion (engl. edge stop function) wird hierbei insbesondere dazu verwendet, um zu starke Glättungseffekte an Kanten (engl. edges) zu verhindern oder zu verringern. Das Detailbild wird dann insbesondere dadurch erzeugt, dass das erfasste Farbbild mittels des Raumfilters, insbesondere des Glättungsfilters, unter Berücksichtigung der Edge-stop-Funktion gefiltert wird. Insbesondere aus einer Differenz zwischen der erfassten Farbabbildung und der derart gefilterten Farbabbildung ergibt sich das Detailbild.
Die Kamera ist insbesondere als Farbbilddetektor bzw. Weißlichtbilddetektor ausgebildet, das heißt die Kamera ist insbesondere konfiguriert, um Licht im Wellenlängenbereich von weißem Licht zu erfassen, beispielsweise im Wellenlängenbereich von sichtbarem Licht. Die Kamera erzeugt und stellt insbesondere ein Signal bereit, das eine Intensitätsverteilung des auf die Kamera aus dem Erfassungsbereich einfallenden Lichts darstellt, das heißt eine Farbabbildung (bzw. Weißlichtabbildung oder RGB-Abbildung). Die Farbabbildung ist insbesondere polychrom. Die Kamera kann optische Elemente (Linsen, Spiegel, Strahlteiler, optische Filter etc.) zum Fokussieren und/oder Vergrößern und/oder zur Strahlführung umfassen.
Die Fluoreszenzkamera ist insbesondere als Fluoreszenzbilddetektor ausgebildet, das heißt die Fluoreszenzkamera ist konfiguriert, um Licht im Emissionswellenlängenbereich von mindestens einem Fluoreszenzfarbstoff im Erfassungsbereich räumlich aufgelöst zu erfassen. Die Fluoreszenzkamera erzeugt und stellt insbesondere ein Signal bereit, das eine Intensitätsverteilung des auf die Fluoreszenzkamera einfallenden Lichts darstellt, das heißt eine Fluoreszenzabbildung. Die Fluoreszenzabbildung ist insbesondere monochrom. Die Fluoreszenzkamera kann optische Elemente (Linsen, Spiegel, Strahlteiler, optische Filter etc.) zum Fokussieren und/oder Vergrößern und/oder zur Strahlführung und/oder zum Filtern umfassen.
Beim Mischen kann vorgesehen sein, dass monochrome Bildinformationen in einen polychromen Farbraum bzw. ein polychromes Farbmodell konvertiert werden, wenn beispielsweise eine monochrome Bildinformation zu einer polychromen Bildinformation gemischt werden soll.
Das Bildsignal kann sowohl analog als auch digital ausgebildet sein. Insbesondere kann das Bildsignal auch in Form eines digitalen Datenpakets bereitgestellt werden, das in einem flüchtigen oder nichtflüchtigen Speicher oder Speichermedium hinterlegt ist und/oder über eine hierfür eingerichtete Schnittstelle ausgegeben wird.
Die gemischte Abbildung bzw. das Bildsignal kann auf einer Anzeigeeinrichtung angezeigt werden.
Teile des Operationsmikroskops, insbesondere die Auswertungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind. Die Auswertungseinrichtung kann insbesondere mindestens eine Recheneinrichtung und mindestens einen Speicher umfassen.
In einer Ausführungsform ist vorgesehen, dass aus der erfassten Farbabbildung ein Intensitätsbild erzeugt wird, wobei das Erzeugen des Detailbildes aus dem erzeugten Intensitätsbild erfolgt. Hierdurch kann eine beim Erzeugen des Detailbildes benötigte Rechenleistung reduziert werden, sodass das Erzeugen des Detailbildes besonders effizient durchgeführt werden kann. Beispielsweise kann vorgesehen sein, die erfasste Farbabbildung (RGB-Abbildung) in das YCbCr-Farbmodell zu konvertieren und anschließend nur noch den Luminanzkanal Y zu betrachten, der insbesondere der Intensität entspricht. Dies kann beispielsweise mittels des nachfolgenden MATLAB-Codes erfolgen:

 img_ycbcr = rgb2ycbcr(img_rgb);      % Konvertiere RGB-Abbildung zu YCbCr
 img_Y = img_ycbcr(:, :,1);            % Extrahiere Intensitätsinformation

Grundsätzlich können jedoch auch andere Intensitätsdarstellungen verwendet werden. Es kann beispielsweise alternativ auch vorgesehen sein, mindestens einen Farbkanal der Farbabbildung (RGB-Abbildung) einzeln zu verarbeiten und als Intensitätsinformation zu verwenden. Werden mehrere Farbkanäle einzeln verarbeitet, so kann ein Detailbild für jeden der Farbkanäle erzeugt werden. Die erzeugten Detailbilder können anschließend zusammengeführt, beispielsweise gemischt, werden, und gemischt im Verfahren weiterverwendet werden.

In einer Ausführungsform ist vorgesehen, dass das Intensitätsbild auf einer logarithmischen Skala erzeugt und/oder verarbeitet wird. Hierdurch kann insbesondere das Raumfilter in Bezug auf eine benötigte Rechenleistung besonders effizient ausgeführt werden. Auf dem voranstehend angegebenen MATLAB-Code aufbauend kann das Konvertieren in die logarithmische Darstellung beispielsweise mittels des folgenden MATLAB-Codes erfolgen:

 img_Y_log = log10(double(img_Y)/255); % Konvertiere in log. Darstellung

In einer Ausführungsform ist vorgesehen, dass das Raumfilter ein zweidimensionales Gaußsches Raumfilter (engl. Gaussian spatial filter) ist. Das zweidimensionale Gaußsche Raumfilter erzeugt einen Glättungseffekt, ohne hierbei zusätzliche Artefakte zu erzeugen.

In einer Ausführungsform ist vorgesehen, dass als Eingangsparameter der Edge-stop-Funktion jeweils ein positionsbezogener Wert eines Gradienten einer Intensität im erzeugten Intensitätsbild verwendet wird. Insbesondere wird für jede Position des Intensitätsbildes, das heißt für jedes Bildelement bzw. bildelementweise, ein solcher Gradient der Intensität bestimmt. Hierzu kann beispielsweise das folgende Maß verwendet werden, wobei x und y jeweils Koordinaten des betrachteten Bildelements bezeichnen:

‖ \nabla I (x, y) ‖ = \sqrt{\nabla_{x}^{2} (x, y) + \nabla_{y}^{2} (x, y)}

In einer Ausführungsform ist vorgesehen, dass das Detailbild durch gewichtete Summation der mittels des Raumfilters gefilterten erfassten Farbabbildung und der erfassten Farbabbildung und anschließende Subtraktion der Summenabbildung von der erfassten Farbabbildung erzeugt wird, wobei ein Ausgabewert der Edge-stop-Funktion als Gewichtungsparameter verwendet wird. Hierdurch werden die Details aus dem Farbbild extrahiert und als Detailbild bereitgestellt. Beispielsweise kann die folgende Edge-stop-Funktion definiert werden:

w_{r} = {\begin{array}{l} {(1 - {(\frac{x}{λ})}^{2})}^{2}, (x \leq λ) \\ 0, (x > λ) \end{array}

Hierbei ist x der Wert des Gradienten, der mittels des oben angegebenen Maßes, insbesondere an dem jeweiligen Bildelement, bestimmt wurde. Der Parameter λ erlaubt hierbei die Empfindlichkeit der Edge-stop-Funktion einzustellen, z.B. ist λ = 0,6.

Anschließend wird die Summation durchgeführt:

(1 - w_{r}) \cdot l_{f} + w_{r} \cdot l_{n |}

Hierbei ist l_f der Intensitätswert aus der erfassten Farbabbildung und l_n| der Intensitätswert aus der mittels des, insbesondere zweidimensionalen, Raumfilters, insbesondere des zweidimensionalen Gaußschen Raumfilters, gefilterten erfassten Farbabbildung. Die Summation erfolgt insbesondere bildelementweise, wobei der Gewichtungsparameter w_r für das jeweils betrachtete Bildelement (insbesondere mit den Koordinaten x, y, siehe oben) gewählt bzw. berechnet wird.

Die hierdurch erhaltene Summenabbildung wird von der erfassten Farbabbildung, insbesondere bildelementweise, subtrahiert. Bei Verwendung der Intensität wird dies insbesondere mit dem Intensitätsbild und dem mittels des Raumfilters gefilterten Intensitätsbild durchgeführt.

In einer Ausführungsform ist vorgesehen, dass das Erzeugen des Detailbildes iterativ mit geänderten Parametern wiederholt wird. Dies erlaubt insbesondere das iterative Verwenden verschiedener Parameter, um beispielsweise bestimmte Zielkriterien zu erreichen. Die einzelnen Iterationsschritte sind hierbei insbesondere unabhängig voneinander. Bei der Iteration wird jedoch mindestens eine Abbruchbedingung überwacht.

Beispielsweise wird das Iterieren abgebrochen, wenn die folgende Abbruchbedingung für den Gradienten der Intensität der erfassten Farbabbildung erfüllt ist:

‖ \nabla l_{f} ‖ < k | l_{n} - l_{f} |

da ansonsten ein Glättungseffekt des Raumfilters zu stark werden kann. Unabhängig von dieser Abbruchbedingung kann vorgesehen sein, dass das Iterieren abgebrochen wird wenn eine bestimmte Anzahl von Iterationen durchlaufen wurde, ohne dass die Abbruchbedingung erfüllt ist (z.B. nach 12 Iterationen etc.).

Grundsätzlich gibt es drei Möglichkeiten, wie das Mischen der erfassten Farbabbildung, der erfassten Fluoreszenzabbildung und des erzeugten Detailbildes zu einer gemischten Abbildung erfolgen kann.

In der ersten Möglichkeit, werden vorzugsweise zuerst die erfasste Farbabbildung und die erfasste Fluoreszenzabbildung gemischt, anschließend wird das erzeugte Detailbild hinzugefügt. Die monochromatische Fluoreszenzabbildung kann vor dem Mischen insbesondere in einen polychromatischen Farbraum bzw. ein polychromatisches Farbmodell konvertiert werden. Alternativ können auch feste Farben oder polychromatische Farben (basierend auf einer Intensitätsverteilung) zugewiesen werden.

In der zweiten Möglichkeit wird vorzugsweise zuerst das erzeugte Detailbild dem erfassten Farbbild hinzugefügt, anschließend wird das derart angereicherte Farbabbildung mit der Fluoreszenzabbildung gemischt. Insbesondere bei Verwendung eines Intensitätsbildes zum Erzeugen des Detailbildes ist es vorteilhaft, das erzeugte (monochromatische) Detailbild vor dem Mischen mit dem erfassten Farbbild in einen polychromatischen Farbraum bzw. ein polychromatisches Farbmodell zu konvertieren.

In einer Ausführungsform, welche die dritte Möglichkeit darstellt, ist vorgesehen, dass beim Mischen das erzeugte Detailbild mit der Fluoreszenzabbildung gemischt wird und die hieraus resultierende angereicherte Fluoreszenzabbildung mit der erfassten Farbabbildung gemischt wird. Wenn das Detailbild aus einem Intensitätsbild erzeugt wurde, liegt die Information im erzeugten Detailbild innerhalb eines monochromatischen Farbraums (Intensitätsbild). Dies bedeutet, dass das erzeugte Detailbild kompatibel ist mit der ebenfalls monochromatischen Fluoreszenzabbildung. Wird das erzeugte Detailbild (zuerst) mit der Fluoreszenzabbildung gemischt, so können hierdurch Fehler und Artefakte, insbesondere an Kanten, vermieden werden, die im nicht-monochromatischen Farbraum sichtbar wären. Eine Qualität der gemischten Abbildung kann hierdurch verbessert werden.

In einer Ausführungsform ist vorgesehen, dass für die Kamera und die Fluoreszenzkamera eine geometrische Verzerrungskorrektur und/oder eine Shading-Korrektur durchgeführt werden. Hierdurch können die erfasste Farbabbildung und die erfasste Fluoreszenzabbildung aufeinander ausgerichtet und/oder skaliert werden, sodass ein jeweils enthaltender Bildinhalt in der gemischten Abbildung übereinander angeordnet ist. Insbesondere können eventuell vorhandene Fehler in einem Strahlengang und in einer Abbildungsoptik der Kamera und der Fluoreszenzkamera hierdurch (elektronisch) ausgeglichen werden, wenn dies nicht durch optische Verfahren bzw. optische Elemente erfolgen kann oder erfolgt.

In einer weiteren Ausführungsform ist vorgesehen, dass eine Bildverbesserung und/oder Bildanreicherung durchgeführt wird. Beispielsweise kann eine Maßnahme zur Kontrastverbesserung erfolgen. Ebenso kann eine Farbkodierung der Fluoreszenzabbildung erfolgen, wodurch in einer gemischten Abbildung die Informationen aus der Fluoreszenzabbildung besser erkennbar sind. Hierzu kann auch eine Farbkodierung basierend auf den Intensitätswerten erfolgen („Pseudocoloring“). Eine Bildanreicherung kann ferner das Erkennen und Markieren einer Begrenzung eines Tumors in der erfassten Fluoreszenzabbildung umfassen.

In einer Ausführungsform ist vorgesehen, dass das Verfahren an einer stereoskopischen Kamera und/oder stereoskopischen Fluoreszenzkamera durchgeführt wird. Hierdurch kann eine stereoskopische gemischte Abbildung erzeugt und bereitgestellt werden, welche ein stereoskopisches Erfassen des Erfassungsbereichs durch einen Chirurgen und/oder eine Hilfskraft erlaubt. Das Verfahren kann entsprechend für jeden der Kanäle (links und rechts) durchgeführt werden.

Weitere Merkmale zur Ausgestaltung des Operationsmikroskops ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens. Die Vorteile des Operationsmikroskops sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Verfahrens. Insbesondere ist die Auswertungseinrichtung des Operationsmikroskops dazu eingerichtet, die zusätzlichen Merkmale der Ausführungsformen des Verfahrens durchzuführen.

Ferner wird auch ein Verfahren zum Bereitstellen einer Abbildung für ein Operationsmikroskop zur Verfügung gestellt, umfassend: Empfangen einer mittels einer Kamera erfassten Farbabbildung eines Erfassungsbereichs, Empfangen einer mittels einer Fluoreszenzkamera erfassten Fluoreszenzabbildung des Erfassungsbereichs, Erzeugen eines Detailbildes aus der empfangenen Farbabbildung mittels eines Raumfilters und einer Edge-stop-Funktion, Mischen der empfangenen Farbabbildung, der empfangenen Fluoreszenzabbildung und des erzeugten Detailbildes zu einer gemischten Abbildung, und Bereitstellen eines Bildsignals, welches die gemischte Abbildung kodiert. Das Verfahren kann mittels einer Datenverarbeitungseinrichtung, bestehend insbesondere aus mindestens einer Recheneinrichtung und mindestens einem Speicher, ausgeführt werden.

Weitere Merkmale zur Ausgestaltung des Verfahrens zum Bereitstellen einer Abbildung für ein Operationsmikroskop ergeben sich aus der Beschreibung von Ausgestaltungen des Verfahrens zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops. Die Vorteile des Verfahrens sind jeweils die gleichen.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

1 eine schematische Darstellung einer Ausführungsform des Operationsmikroskops;
2 eine schematische Darstellung eines Flussdiagramms einer Ausführungsform des Verfahrens zur Erläuterung einer Verarbeitung der erfassten Farbabbildung und der erfassten Fluoreszenzabbildung mittels der Auswertungseinrichtung;
3 ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops;
4 ein schematisches Ablaufdiagramm zur Verdeutlichung einer Ausführungsform des Verfahrens;
5 eine schematische Darstellung zur Verdeutlichung einer Verarbeitungskette in einem Operationsmikroskop und die Integration des in dieser Offenbarung beschriebenen Verfahrens in dieser Verarbeitungskette.

In 1 ist eine schematische Darstellung einer Ausführungsform des Operationsmikroskops 1 gezeigt. Das Operationsmikroskop 1 umfasst eine Kamera 2, eine Fluoreszenzkamera 3 und eine Auswertungseinrichtung 4. Das Operationsmikroskop 1 ist dazu eingerichtet, das in dieser Offenbarung beschriebene Verfahren zum Bereitstellen einer durchzuführen.

Die Kamera 2 ist dazu eingerichtet, eine Farbabbildung 11 von dem Erfassungsbereich 10 zu erfassen. Die Fluoreszenzkamera 3 ist dazu eingerichtet, eine Fluoreszenzabbildung 12 des Erfassungsbereichs 10 zu erfassen. Die von der Kamera 2 und der Fluoreszenzkamera 3 erfassten Bereiche können insbesondere auch unterschiedlich groß sein, solange ein gemeinsamer Erfassungsbereich 10 vorhanden ist. Die Fluoreszenzkamera 3 ist insbesondere in einem Wellenlängenbereich empfindlich, in dem ein geeigneter Fluoreszenzfarbstoff emittiert. In dem Erfassungsbereich 10 ist insbesondere ein zu erfassender Körperteil eines Patienten (nicht gezeigt) angeordnet.

Das Operationsmikroskop 1 kann ferner mindestens eine Beleuchtungseinrichtung (nicht gezeigt) aufweisen, die der Ausleuchtung des Erfassungsbereichs 10 und/oder der gezielten Anregung eines Fluoreszenzfarbstoffs dient.

Die Auswertungseinrichtung 4 umfasst insbesondere mindestens eine Recheneinrichtung 5, beispielsweise einen Mikroprozessor oder einen Mikrocontroller, und mindestens einen Speicher 6. Zum Verarbeiten der erfassten Farbabbildung 11 und der erfassten Fluoreszenzabbildung 12 führt die Recheneinrichtung 5 insbesondere in dem Speicher 6 hinterlegten Programmcode aus.

Die erfasste Farbabbildung 11 und die erfasste Fluoreszenzabbildung 12 werden der Auswertungseinrichtung 4 über entsprechend hierfür eingerichtete Schnittstellen 7 zugeführt.

Die Auswertungseinrichtung 4 ist dazu eingerichtet, aus der erfassten Farbabbildung 11 ein Detailbild 13 mittels eines Raumfilters und einer Edge-stop-Funktion zu erzeugen bzw. zu extrahieren. Das Raumfilter ist insbesondere ein zweidimensionales Gaußsches Raumfilter (engl. Gaussian spatial filter).

Ferner ist die Auswertungseinrichtung 4 dazu eingerichtet, die erfasste Farbabbildung 11, die erfasste Fluoreszenzabbildung 12 und das erzeugte bzw. extrahierte Detailbild 13 zu einer gemischten zu mischen.

Hierbei kann vorgesehen sein, dass das Detailbild 13 durch gewichtete Summation der mittels des Raumfilters gefilterten erfassten Farbabbildung 11 und der erfassten Farbabbildung 11 und anschließende Subtraktion der Summenabbildung 11s von der erfassten Farbabbildung 11 erzeugt wird, wobei ein Ausgabewert der Edge-stop-Funktion als Gewichtungsparameter verwendet wird.

Die gemischte wird in Form eines Bildsignals 21, welches die gemischte kodiert, bereitgestellt. Hierzu erzeugt die Auswertungseinrichtung 4 das Bildsignal 21, beispielsweise in Form eines analogen oder digitalen Bildsignals 21, insbesondere in Form eines digitalen Datenpakets. Das erzeugte Bildsignal 21 wird an einer hierfür eingerichteten Schnittstelle 7 bereitgestellt.

Das bereitgestellte Bildsignal 21 kann anschließend auf einer Anzeigeeinrichtung 8 ausgegeben, insbesondere angezeigt, werden, sodass ein Chirurg und/oder eine Hilfskraft die gemischte erfassen können.

Es kann vorgesehen sein, dass Operationsmikroskop 1 als stereoskopisches Operationsmikroskop 1 ausgebildet ist, das heißt, dass es jeweils zwei Kanäle zum Erfassen der Farbabbildung 11 und der Fluoreszenzabbildung 12 aufweist, wie dies beispielsweise in der US 2018/0364470 A1 beschrieben ist. Das Verfahren wird dann für jeden Kanal durchgeführt, sodass für jeden der beiden Kanäle eine eigene gemischte und ein eigenes Bildsignal 21 erzeugt und bereitgestellt wird. Es kann vorgesehen sein, dass hieraus eine stereoskopische Abbildung bzw. ein stereoskopisches Bildsignal (nicht gezeigt) erzeugt wird.

In 2 ist eine schematische Darstellung eines Flussdiagramms einer Ausführungsform des Verfahrens gezeigt, welches eine Verarbeitung der erfassten Farbabbildung 11 und der erfassten Fluoreszenzabbildung 12 mittels der Auswertungseinrichtung zeigt.

Es kann vorgesehen sein, dass die Auswertungseinrichtung dazu eingerichtet ist, aus der erfassten Farbabbildung 11 ein Intensitätsbild 14 zu erzeugen, wobei das Erzeugen des Detailbildes 13 aus dem erzeugten Intensitätsbild 14 erfolgt. Hierzu kann beispielsweise vorgesehen sein, die erfasste Farbabbildung 11 in das YCbCr-Farbmodell zu konvertieren und anschließend nur die Luminanzinformation (d.h. Y) als Intensitätsinformation zu verwenden. Grundsätzlich können aber auch andere Intensitätswerte verwendet werden (z.B. auch einzelne Farbkanäle der erfassten Farbabbildung 11 etc.).

Insbesondere kann vorgesehen sein, zur Darstellung der Intensitätsinformation des Intensitätsbildes 14 eine logarithmische Skala bzw. Darstellung zu verwenden.

Das Intensitätsbild 14 wird anschließend mittels eines Raumfilters 15, das insbesondere ein zweidimensionales Raumfilter ist, gefiltert. Das zweidimensionale Raumfilter 15 ist insbesondere ein zweidimensionales Gaußsches Raumfilter.

Mittels einer Edge-stop-Funktion 16 wird ein Gewichtungsparameter 17 bestimmt:

w_{r} = {\begin{array}{l} {(1 - {(\frac{x}{λ})}^{2})}^{2}, (x \leq λ) \\ 0, (x > λ) \end{array}

Hierbei ist x der Wert eines Intensitäts-Gradienten, der mittels des nachstehend angegebenen Maßes, insbesondere an dem jeweiligen Bildelement, bestimmt wird. Der Parameter λ erlaubt hierbei die Empfindlichkeit der Edge-stop-Funktion 16 einzustellen, z.B. ist λ = 0,6.

Der Edge-stop-Funktion 16 wird über den Eingangswert x insbesondere bildelementweise (mit den Koordinaten x und y) ein Gradient der Intensität im Intensitätsbild 14 zugeführt:

‖ \nabla I (x, y) ‖ = \sqrt{\nabla_{x}^{2} (x, y) + \nabla_{y}^{2} (x, y)}

Anschließend werden die erfasste Farbabbildung 11 bzw. das Intensitätsbild 14 und die mittels des Raumfilters 15 räumlich gefilterte erfasste Farbabbildung 11 bzw. das räumlich gefilterte Intensitätsbild 14 bildelementweise gewichtet zu einer Summenabbildung 11s aufsummiert bzw. gemischt:

(1 - w_{r}) \cdot l_{f} + w_{r} \cdot l_{n |}

Hierbei ist l_f der Intensitätswert aus dem Intensitätsbild 14 der erfassten Farbabbildung 11 und l_n| der Intensitätswert aus der mittels des, insbesondere zweidimensionalen, Raumfilters 15, insbesondere des zweidimensionalen Gaußschen Raumfilters, gefilterten erfassten Farbabbildung 11 bzw. des Intensitätsbildes 14. Die Summation erfolgt insbesondere bildelementweise, wobei der Gewichtungsparameter 17 (d.h. w_r) für das jeweils betrachtete Bildelement gewählt bzw. berechnet wird.

Die Summenabbildung 11 s wird von der erfassten Farbabbildung 11 bzw. dem Intensitätsbild 14 subtrahiert, wobei das Ergebnis das Detailbild 13 ergibt.

Das Detailbild 13 und die erfasste Fluoreszenzabbildung 12 werden zu einer angereicherten Fluoreszenzabbildung 12a gemischt. Anschließend werden die erfasste Farbabbildung 11 und die angereicherte Fluoreszenzabbildung 12a gemischt, wodurch die gemischte erzeugt wird. Es erfolgt hierbei insbesondere eine Konvertierung der monochromatischen angereicherten Fluoreszenzabbildung 12a in einen geeigneten Farbraum bzw. in ein geeignetes Farbmodell, sodass das Mischen mit der erfassten Farbabbildung 11 möglich ist.

In 3 ist ein schematisches Ablaufdiagramm einer Ausführungsform des Verfahrens zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops gezeigt. Das Operationsmikroskop ist beispielsweise ein Operationsmikroskop gemäß der in der 1 gezeigten Ausführungsform.

In einer Maßnahme 100 werden mittels einer Kamera eine Farbabbildung und mittels einer Fluoreszenzkamera eine Fluoreszenzabbildung eines Erfassungsbereichs erfasst. Ein solcher Erfassungsbereich kann beispielsweise einen zu operierenden und mittels eines Fluoreszenzfarbstoffs markierten Tumor im Gehirn eines Patienten umfassen.

In einer Maßnahme 101 wird ein Detailbild aus der erfassten Farbabbildung mittels eines Raumfilters und einer Edge-stop-Funktion erzeugt. Insbesondere kann hierzu ein zweidimensionales Gaußsches Raumfilter verwendet werden.

In einer Maßnahme 102 werden die erfasste Farbabbildung, die erfasste Fluoreszenzabbildung und das erzeugte Detailbild zu einer gemischten Abbildung gemischt.

In einer Maßnahme 103 wird ein Bildsignal bereitgestellt, insbesondere erzeugt und/oder ausgegeben, welches die gemischte Abbildung kodiert.

In einer Maßnahme 104 kann vorgesehen sein, dass die gemischte Abbildung auf einer Anzeigeeinrichtung angezeigt wird, indem einer Anzeigeeinrichtung das Bildsignal zugeführt wird.

Es kann in einer Maßnahme 100a vorgesehen sein, dass für die Kamera und die Fluoreszenzkamera eine geometrische Verzerrungskorrektur und/oder eine Shading-Korrektur durchgeführt werden. Insbesondere werden die Korrekturen an der erfassten Farbabbildung und der erfassten Fluoreszenzabbildung durchgeführt.

Es kann in einer Maßnahme 100b vorgesehen sein, dass aus der erfassten (ggf. korrigierten) Farbabbildung ein Intensitätsbild erzeugt wird, wobei das Erzeugen des Detailbildes in Maßnahme 101 aus dem erzeugten Intensitätsbild erfolgt. Insbesondere kann vorgesehen sein, dass das Intensitätsbild auf einer logarithmischen Skala bzw. in einer logarithmischen Darstellung erzeugt und/oder verarbeitet wird.

Es kann in Maßnahme 101 vorgesehen sein, dass als Eingangsparameter der Edge-stop-Funktion jeweils ein positionsbezogener Wert eines Gradienten einer Intensität im erzeugten Intensitätsbild verwendet wird.

Weiterbildend kann in Maßnahme 101 vorgesehen sein, dass das Detailbild durch gewichtete Summation der mittels des Raumfilters gefilterten erfassten Farbabbildung und der erfassten Farbabbildung und anschließende Subtraktion der Summenabbildung von der erfassten Farbabbildung erzeugt wird, wobei ein Ausgabewert der Edge-stop-Funktion als Gewichtungsparameter verwendet wird.

Weiter kann vorgesehen sein, dass das Erzeugen des Detailbildes iterativ mit geänderten Parametern wiederholt wird. Hierzu wird die Maßnahme 101 wiederholt, bis mindestens ein Abbruchkriterium erfüllt ist oder eine vorgegebene Anzahl an Iterationen durchgeführt wurde. Ob das Abbruchkriterium erfüllt ist oder die vorgegebene Anzahl an Iterationen erreicht wurde, wird hierzu in einer Maßnahme 101a überprüft.

Es kann in Maßnahme 102 vorgesehen sein, dass beim Mischen das erzeugte Detailbild mit der Fluoreszenzabbildung gemischt wird und die hieraus resultierende angereicherte Fluoreszenzabbildung mit der erfassten Farbabbildung gemischt wird.

Es kann vorgesehen sein, dass das Verfahren an einer stereoskopischen Kamera und/oder stereoskopischen Fluoreszenzkamera durchgeführt wird. Die Maßnahmen 100 bis 104 werden hierzu für jeden Kanal des stereoskopischen Operationsmikroskops durchgeführt. Als Ergebnis kann eine stereoskopische gemischte Abbildung zur Verfügung gestellt werden und beispielsweise in Maßnahme 104 angezeigt werden.

In 4 ist ein schematisches Ablaufdiagramm zur Verdeutlichung einer Ausführungsform des Verfahrens zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops gezeigt.

Die mittels einer Kamera vom Erfassungsbereich erfasste Farbabbildung 11 wird zu einem logarithmischen Intensitätsbild 14 konvertiert. Das Intensitätsbild 14 wird anschließend, insbesondere in mehreren Iterationen, in fünf Maßnahmen 201 bis 205 mittels der Auswertungseinrichtung 4 des Operationsmikroskops 1 (1) verarbeitet.

In Maßnahme 201 wird ein zweidimensionales Raumfilter in Form eines zweidimensionalen Gauschschen Raumfilters auf das Intensitätsbild 14 angewandt. Dies erfolgt insbesondere durch iterative Anwendung auf das Intensitätsbild 14. Hierbei wird eine Filtergröße insbesondere in Abhängigkeit der Iteration mit linear ansteigender Filtergröße gewählt (σ_i = i_σ), wobei i die aktuelle Iteration von insgesamt k Iterationen ist.

In Maßnahme 202 wird eine Größe eines Gradienten der Intensität im Intensitätsbild 14 bestimmt. Die Größe des Gradienten wird insbesondere bildelementweise bestimmt und wird für die Edge-stop-Funktion benötigt. Ein Beispiel für ein Maß für die Größe des Gradienten wurde bereits voranstehend angeben.

In Maßnahme 203 wird eine gewichtete Edge-stop-Funktion definiert. Durch die Edge-stop-Funktion können insbesondere zu starke Glättungseffekte an Kanten durch das Filtern mittels des Gaußschen Raumfilters verringert bzw. minimiert werden. Wann immer der berechnete Gradient größer als ein vorgegebener Wert ist, wird ein Gewichtungsparameter für eine Summation in Maßnahme 204 auf Null gesetzt. Ein Beispiel für eine Edge-stop-Funktion wurde bereits voranstehend angegeben.

In Maßnahme 204 wird eine gefilterte Abbildung aus dem ursprünglichen Intensitätsbild 14 und dem mittels des Gaußschen Raumfilters gefilterten Intensitätsbild 14 erzeugt, indem das ursprüngliche Intensitätsbild 14 und das mittels des Gaußschen Raumfilters gefilterte Intensitätsbild 14 gewichtet zu einer Summenabbildung 11s gemischt werden, wobei der Gewichtungsparameter für jedes Bildelement durch die Edge-stop-Funktion vorgegeben wird. Ein Beispiel für die gewichtete Summation zum Mischen wurde bereits voranstehend angegeben.

In Maßnahme 205 wird das Detailbild 13 aus dem Intensitätsbild 14 und der in Maßnahme 204 erzeugten Summenabbildung 11s erzeugt. Hierzu wird die Summenabbildung 11s von dem Intensitätsbild 14 bildelementweise subtrahiert.

In der 4 ist dies für mehrere Iterationen von 1 bis k angedeutet.

Das endgültige Detailbild 13 wird zu einem absoluten Detailbild 18 konvertiert. Dies erfolgt insbesondere, um negative Werte zu entfernen, die aus der vorangehenden Subtraktion stammen können. Dieses Vorgehen stellt insbesondere sicher, dass keine wichtigen Informationen verloren gehen, wenn nachfolgend das Detailbild 13 (bzw. das absolute Detailbild 18) zu den anderen , gemischt wird.

Ein beispielhafter MATLAB-Code zum Erzeugen des absoluten Detailbildes 18 ist der folgende:

 img_detail = img_Y_log - img baseLayer;
 img_detail = img_detail + (abs(min(min(img_detail))/10));

Dieses absolute Detailbild 18 wird anschließend mit der Fluoreszenzabbildung 12 gemischt, sodass eine angereicherte Fluoreszenzabbildung 12a entsteht, welche anschließend mit der Farbabbildung 11 gemischt wird (nicht gezeigt; vgl. 2).

Alternativ kann auch vorgesehen sein, das absolute Detailbild 18 zurück in den ursprünglichen Farbraum (z.B. RGB) zu konvertieren, sodass ein Farbdetailbild 18f entsteht, um dieses anschließend mit der Farbabbildung 11 zu mischen (nicht gezeigt).

In 5 ist eine schematische Darstellung zur Verdeutlichung einer Verarbeitungskette in einem Operationsmikroskop und die Integration des in dieser Offenbarung beschriebenen Verfahrens zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops in die Verarbeitungskette gezeigt. Hierbei müssen nicht alle Maßnahmen zwingend durchgeführt werden; einige der Maßnahmen können daher auch optional sein.

In Maßnahmen 300 und 400 können geometrische Verzerrungskorrekturen an der erfassten Fluoreszenzabbildung 12 bzw. der erfassten Farbabbildung 11 durchgeführt werden. Dies ist insbesondere von Vorteil, wenn eine optische Anordnung der Kamera 2 und der Fluoreszenzkamera 3 eine solche Korrektur nicht bereits oder nicht vollständig vornimmt.

In Maßnahmen 301 und 401 können Shading-Korrekturen vorgenommen werden.

In einer Maßnahme 302 kann eine Intensitätskalibrierung vorgenommen werden.

In einer Maßnahme 303 kann eine Bildverbesserung und/oder Bildanreicherung durchgeführt werden. Diese Maßnahme 303 kann beispielsweise eine Maßnahme 303a zur Kontrastverbesserung umfassen. Ferner kann diese Maßnahme 303 als Maßnahme 303b das in dieser Offenbarung beschriebene Verfahren zum Bereitstellen einer Abbildung mittels eines Operationsmikroskops umfassen, bei der ein Detailbild erzeugt wird, mit dem die erfasste Fluoreszenzabbildung 12 zu einer angereicherten Fluoreszenzabbildung 12a angereichert wird. In einer Maßnahme 303c kann eine Farbkodierung der Fluoreszenzabbildung erfolgen, wodurch in einer gemischten die Informationen aus der Fluoreszenzabbildung 12 besser erkennbar sind. Hierzu kann in einer Maßnahme 303d auch eine Farbkodierung basierend auf den Intensitätswerten erfolgen („Pseudocoloring“). Eine Maßnahme 303e umfasst das Erkennen und Markieren einer Begrenzung eines Tumors.

In einer Maßnahme 304 werden die derart verarbeitete Fluoreszenzabbildung 12 und die derart verarbeitete Farbabbildung 11 zu einer gemischten (bzw. 20l und 20r) gemischt. Erfolgt dies für zwei Kanäle (rechts und links), das heißt, stereoskopisch, so kann eine dreidimensionale gemischte erzeugt und bereitgestellt werden.

Ein Vorteil des in dieser Offenbarung beschriebenen Verfahrens und des beschriebenen Operationsmikroskops ist ein verbessertes Bereitstellen einer gemischten Abbildung, in der Details aus einer erfassten Farbabbildung auch nach dem Mischen mit einer erfassten Fluoreszenzabbildung weiterhin gut erkennbar sind.

Bezugszeichenliste

1: Operationsmikroskop
2: Kamera
2l: Kamera (linker Kanal)
2r: Kamera (linker Kanal)
3: Fluoreszenzkamera
3l: Fluoreszenzkamera (linker Kanal)
3r: Fluoreszenzkamera (rechter Kanal)
4: Auswertungseinrichtung
5: Recheneinrichtung
6: Speicher
7: Schnittstelle
8: Anzeigeeinrichtung
10: Erfassungsbereich
11: Farbabbildung
11s: Summenabbildung
12: Fluoreszenzabbildung
12a: angereicherte Fluoreszenzabbildung
13: Detailbild
14: Intensitätsbild
15: Raumfilter
16: Edge-stop-Funktion
17: Gewichtungsparameter
18: absolutes Detailbild
18f: Farbdetailbild
20: gemischte Abbildung
20l: gemischte Abbildung (linker Kanal)
20r: gemischte Abbildung (rechter Kanal)
20-3D: dreidimensionale gemischte Abbildung
21: Bildsignal
100-104: Maßnahmen
201-205: Maßnahmen
300-304: Maßnahmen
400-401: Maßnahmen
i: Iteration
k: Anzahl der Iterationen

Claims

Verfahren zum Bereitstellen einer Abbildung (20) mittels eines Operationsmikroskops (1), umfassend: Erfassen einer Farbabbildung (11) eines Erfassungsbereichs (10) mittels einer Kamera (2), Erfassen einer Fluoreszenzabbildung (12) des Erfassungsbereichs (10) mittels einer Fluoreszenzkamera (3), Erzeugen eines Detailbildes (13) aus der erfassten Farbabbildung (11) mittels eines Raumfilters (15) und einer Edge-stop-Funktion (16), Mischen der erfassten Farbabbildung (11), der erfassten Fluoreszenzabbildung (12) und des erzeugten Detailbildes (13) zu einer gemischten Abbildung (20), und Bereitstellen eines Bildsignals (21), welches die gemischte Abbildung (20) kodiert.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass aus der erfassten Farbabbildung (11) ein Intensitätsbild (14) erzeugt wird, wobei das Erzeugen des Detailbildes (13) aus dem erzeugten Intensitätsbild (14) erfolgt.
Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Intensitätsbild (14) auf einer logarithmischen Skala erzeugt und/oder verarbeitet wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Raumfilter (15) ein zweidimensionales Gaußsches Raumfilter ist.
Verfahren nach Anspruch 2 bis 4, dadurch gekennzeichnet, dass als Eingangsparameter der Edge-stop-Funktion (16) jeweils ein positionsbezogener Wert eines Gradienten einer Intensität im erzeugten Intensitätsbild (14) verwendet wird.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass das Detailbild (13) durch gewichtete Summation der mittels des Raumfilters (15) gefilterten erfassten Farbabbildung (11) und der erfassten Farbabbildung (11) und anschließende Subtraktion der Summenabbildung (11s) von der erfassten Farbabbildung (11) erzeugt wird, wobei ein Ausgabewert der Edge-stop-Funktion (16) als Gewichtungsparameter (17) verwendet wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Erzeugen des Detailbildes (13) iterativ mit geänderten Parametern wiederholt wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass beim Mischen das erzeugte Detailbild (13) mit der Fluoreszenzabbildung (12) gemischt wird und die hieraus resultierende angereicherte Fluoreszenzabbildung (12a) mit der erfassten Farbabbildung (11) gemischt wird.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass für die Kamera (2) und die Fluoreszenzkamera (3) eine geometrische Verzerrungskorrektur und/oder eine Shading-Korrektur durchgeführt werden.
Verfahren nach einem der vorangegangenen Ansprüche, dadurch gekennzeichnet, dass das Verfahren an einer stereoskopischen Kamera und/oder stereoskopischen Fluoreszenzkamera durchgeführt wird.
Verfahren zum Bereitstellen einer Abbildung (20) für ein Operationsmikroskop (1), umfassend: Empfangen einer mittels einer Kamera (2) erfassten Farbabbildung (11) eines Erfassungsbereichs (10), Empfangen einer mittels einer Fluoreszenzkamera (3) erfassten Fluoreszenzabbildung (12) des Erfassungsbereichs (10), Erzeugen eines Detailbildes (13) aus der empfangenen Farbabbildung (11) mittels eines Raumfilters (15) und einer Edge-stop-Funktion (16), Mischen der empfangenen Farbabbildung (11), der empfangenen Fluoreszenzabbildung (12) und des erzeugten Detailbildes (13) zu einer gemischten Abbildung (20), und Bereitstellen eines Bildsignals (21), welches die gemischte Abbildung (20) kodiert.
Operationsmikroskop (1), umfassend: eine Kamera (2), eingerichtet zum Erfassen einer Farbabbildung (11) eines Erfassungsbereichs (10), eine Fluoreszenzkamera (3), eingerichtet zum Erfassen einer Fluoreszenzabbildung (12) des Erfassungsbereichs (10), eine Auswertungseinrichtung (4), wobei die Auswertungseinrichtung (4) dazu eingerichtet ist, ein Detailbild (13) aus der erfassten Farbabbildung (11) mittels eines Raumfilters (15) und einer Edge-stop-Funktion (16) zu extrahieren, die erfasste Farbabbildung (11), die erfasste Fluoreszenzabbildung (12) und das extrahierte Detailbild (13) zu einer gemischten Abbildung (20) zu mischen, und ein Bildsignal (21), welches die gemischte Abbildung (20) kodiert, bereitzustellen.