DE102019132514B3

DE102019132514B3 - Optisches Beobachtungsgerät sowie Verfahren und Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen

Info

Publication number: DE102019132514B3
Application number: DE102019132514.5A
Authority: DE
Inventors: Patrick Hoyer; Stefan Saur; Gerald Panitz
Original assignee: Carl Zeiss Meditec AG
Current assignee: Carl Zeiss Meditec AG
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2021-02-04
Anticipated expiration: 2039-11-30
Also published as: WO2021104740A1; CN114787858A; US20220392061A1

Abstract

Es wird ein Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich zur Verfügung gestellt. In dem Verfahren wird auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zugegriffen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate gewonnen.

Description

Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich, ein Datenverarbeitungssystem zum Durchführen des Verfahrens sowie ein Computerprogramm und ein nichtflüchtiges computerlesbares Speichermedium mit Instruktionen zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich. Daneben betrifft die Erfindung ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mit dem Bild zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen mittels eines scannenden Bildgebungsverfahrens sowie ein optisches Beobachtungsgerät.
In der Endoskopie und insbesondere in der Endomikroskopie wurde die Entwicklung scannender Bildgebungsverfahren durch die Entwicklung von auf mikroelektromechanischen Systemen (MEMS, micro-elctro-mechanical systems) beruhenden Scaneinrichtungen begünstigt, die das laterale Scannen eines Objekts mit einer bewegten optischen Faser oder mittels eines beweglichen mikroelektromechanischen Spiegels (MEMS-Spiegels) bei feststehende Faser ermöglichen. Eine auf mikroelektromechanischen Systemen beruhende Scaneinrichtung für eine optische Faser ist beispielsweise in US 2016 / 0 051 131 A1 beschrieben. Scannende Bildgebungsverfahren kommen dabei insbesondere im Rahmen der optischen Kohärenztomografie (OCT, Optical Coherence Tomography) oder im Rahmen der konfokalen Abbildung zum Einsatz, wie sie beispielsweise in US 2010 / 0 157 308 A1 und US 9 921 406 B2 beschrieben sind.
Bei scannenden Bildgebungsverfahren werden die Objekte beispielsweise zunächst entlang einer Linie gescannt, die üblicherweise als x-Richtung oder x-Zeile bezeichnet wird. Danach erfolgt ein Zeilenvorschub in y-Richtung und anschließend wieder ein Scan entlang einer Linie in x-Richtung. Der kleinstmögliche Abstand, den die Zeilen in y-Richtung voneinander haben können, definiert dabei die Auflösung des mit dem scannenden Bildgebungsverfahren gewonnenen Bildes, wenn für den Scan alle Zeilen herangezogen werden. Ein Bild, bei dem für den Scan alle Zeilen herangezogen werden, erfordert jedoch auch den längsten Scanprozess, da viele Zeilen gescannt werden müssen. Aufgrund der langen Scandauer ist die Bildrate in einem Videostream, der auf dem scannenden Bildgebungsverfahren beruht, gering. Die Bildrate gibt dabei an, wie viele Einzelbilder (Frames) pro Sekunde (Frames per Second, „fps“) im Videostream erreichbar sind. Um höhere Bildraten erreichen zu können, muss die Zeitdauer, die zur Aufnahme eines Einzelbildes mit dem scannenden Bildgebungsverfahren benötigt wird, reduziert werden. Dies wird in der Regel dadurch erreicht, dass bei einem Scan für ein Einzelbild nicht alle Zeilen herangezogen werden, sondern nur beispielsweise jede 10. Zeile, wodurch sich die Bildrate erhöhen lässt, allerdings auf Kosten der Auflösung der Einzelbilder. Ein scannendes Endoskopsystem mit einstellbarer Auflösung ist beispielsweise in US 2010 / 0 157 037 A1 für ein Edoskop mit einem spiralförmig scannenden Scanner beschreiben.
Im medizinischen Bereich kommen scannende Bildgebungsverfahren beispielsweise im Rahmen der konfokalen Mikroskopie, insbesondere im Rahmen der konfokalen Endomikroskopie, sowie im Rahmen der optischen Kohärenztomographie zur Anwendung, um hochaufgelöste Bilder von Gewebebereichen aufzunehmen, anhand derer Gewebeveränderungen diagnostiziert werden können. Dabei besteht die Problematik, dass sich in den mit den scannenden Bildgebungsverfahren gewonnenen Bildern nur schwer zwischen Gewebezellen und Zellen von Gewebeflüssigkeiten unterscheiden lässt.
Es ist daher eine erste Aufgabe der vorliegenden Erfindung, ein computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich sowie ein Datenverarbeitungssystem zum Durchführen des Verfahrens zur Verfügung zu stellen.
Eine zweite Aufgabe ist es, ein Computerprogramm und ein nichtflüchtiges computerlesbares Speichermedium mit Instruktionen zur Verfügung zu stellen, die ein Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich ermöglichen.
Eine dritte Aufgabe der vorliegenden Erfindung ist es, ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mittels eines scannenden Bildgebungsverfahrens zur Verfügung zu stellen, mit dem auch dem hochaufgelösten Bild zugeordnete Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen ermittelt werden können.
Eine vierte Aufgabe der vorliegenden Erfindung ist es, ein optisches Beobachtungsgerät zur Verfügung zu stellen, das ein Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich ermöglicht.
Die erste Aufgabe wird durch ein computerimplementiertes Verfahren nach Anspruch 1 sowie durch ein Datenverarbeitungssystem nach Anspruch 12 gelöst, die zweite Aufgabe durch ein Computerprogramm nach Anspruch 10 und ein nichtflüchtiges computerlesbares Speichermedium nach Anspruch 11, die dritte Aufgabe durch ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes nach Anspruch 13 und die vierte Aufgabe durch ein optisches Beobachtungsgerät nach Anspruch 16. Die abhängigen Ansprüche beanspruchen vorteilhafte Ausgestaltungen der Erfindung.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild vom einem Gewebebereich zur Verfügung gestellt. Im Rahmen der vorliegenden Erfindung wird zwischen Gewebeflüssigkeitszellen einerseits und Gewebezellen anderseits unterschieden. Als Gewebezellen werden dabei solche Zellen angesehen, die in eine extrazelluläre Matrix eingebunden sind. Gewebezellen sind insbesondere die Zellen des Epithelgewebes, des Binde- und Stützgewebes, des Muskelgewebes sowie des Nervengewebes. Als Gewebeflüssigkeitszellen werden dagegen solche Zellen angesehen, die sich in einer Gewebeflüssigkeit, insbesondere im Blut oder in der Lymphe, befinden.
In dem erfindungsgemäßen computerimplementierten Verfahren wird auf zwischengespeicherte Bilder zurückgegriffen, die vor dem Aufnehmen des hochaufgelösten Bildes mit einer niedrigen Auflösung und einer hohen Bildrate aufgenommen und zwischengespeichert worden sind. Die Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen wird aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate gewonnen.
Insbesondere mikroendoskopische optische Beobachtungsgeräte werden häufig mit einer scannenden Bildaufnahmevorrichtung in einer niedrigen Bildauflösung betrieben, während der Nutzer zum interessierenden Gewebebereich navigiert oder das Gewebe absucht, um Gewebeveränderungen zu finden. Unter der Bildauflösung ist im Rahmen der vorliegenden Erfindung nicht die optische Auflösung, wie sie sich aus den optischen Eigenschaften der abbildenden optischen Elemente ergibt, zu verstehen, sondern die Pixelauflösung, die sich aus der Größe der das Bild formenden Pixel und dem Abstand dieser Pixel voneinander ergibt. Aufgrund der verringerten Bildauflösung ist eine raschere Aufnahme eines Einzelbildes (Frames) mit der scannenden Bildaufnahmevorrichtung möglich, so dass eine hohe Bildrate erreicht werden kann. Im Ergebnis kann dem Nutzer eine Bildrate von 4 Bildern pro Sekunde oder mehr dargeboten werden. Sobald der Nutzer den Zielbereich erreicht hat oder eine Stelle mit Gewebeänderungen gefunden hat, wird ein hochaufgelöstes Bild benötigt, um den entsprechenden Gewebebereich genauer zu untersuchen. Dabei besteht die Schwierigkeit, im hochaufgelösten Bild zwischen Gewebeflüssigkeitszellen einerseits und in eine extrazelluläre Matrix eingebetteten Gewebezellen andererseits zu unterscheiden. Um die nötigen Informationen zu gewinnen, die eine Unterscheidung zwischen Gewebeflüssigkeitszellen und Gewebezellen ermöglicht, nutzt das erfindungsgemäße computerimplementierte Verfahren die Tatsache aus, dass vor dem Aufnehmen des hochaufgelösten Bildes eine Anzahl niedrig aufgelöster Bilder mit hoher Bildrate aufgenommen worden ist. Diese Bilder enthalten Informationen, mit denen sich Gewebeflüssigkeitszellen von in die extrazelluläre Matrix eingebetteten Gewebezellen unterscheiden lassen. Aufgrund der hohen Bildrate sind die sich gegenüber der extrazellulären Matrix bewegenden Gewebeflüssigkeitszellen in den niedrig aufgelösten Bildern wegen ihrer Bewegung und der daraus resultierenden veränderten Position in den Einzelbildern leicht aufzufinden, sofern eine Anzahl an zeitlich aufeinander folgender niedrig aufgelöster Bilder vorhanden ist. Diese Bilder kann das erfindungsgemäße computerimplementierte Verfahren einem Zwischenspeicher entnehmen, in dem diese laufend zwischengespeichert werden. Wenn nun ein hochaufgelöstes Bild erstellt wird, kann das Verfahren auf die zwischengespeicherten Bilder zurückgreifen, um die Informationen, welche die Unterscheidung zwischen Gewebeflüssigkeitszellen und Gewebezellen ermöglicht, zu gewinnen und aufzubereiten. Diese Informationen beruhen insbesondere auf der Detektion von Positionsänderungen von Zellen in Bezug auf einen Bildhintergrund. Als Bildhintergrund können bspw. in den Einzelbildern verteilte Zellen angesehen werden, die in allen Einzelbildern im Wesentlichen dieselbe relative Position zueinander aufweisen,
Im einfachsten Fall kann das computerimplementierte Verfahren zumindest aus einem Teil der zwischengespeicherten Bilder der niedrigen Auflösung und der hohen Bildrate eine Videosequenz erzeugen, die dann neben dem hochaufgelösten Bild dargestellt wird oder dem hochaufgelösten Bild überlagert wird. In dieser Videosequenz bewegen sich die Gewebeflüssigkeitszellen gegenüber den in die extrazelluläre Matrix eingebetteten Gewebezellen und sind daher für einen Betrachter der Videosequenz leicht zu identifizieren.
Eine alternative Möglichkeit, die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen darzustellen, besteht darin, in den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate einen Bildhintergrund wie etwa Zellen, die in allen Einzelbildern im Wesentlichen dieselbe relative Position zueinander aufweisen, und solche Bildelemente, die sich gegenüber dem Bildhintergrund bewegen, zu ermitteln. Diejenigen Bildelemente, die als sich gegenüber dem Bildhintergrund bewegende Bildelemente ermittelt worden sind, können dann in einem Bild hervorgehoben dargestellt werden. Insbesondere können sie auch dem hochaufgelösten Bild überlagert werden, so dass die Gewebeflüssigkeitszellen direkt im hochaufgelösten Bild hervorgehoben dargestellt sind. Alternativ besteht auch die Möglichkeit, ein zweites Bild neben dem hochaufgelösten Bild darzustellen, in dem die Gewebeflüssigkeitszellen hervorgehoben sind. Das Ermitteln der sich gegenüber dem Bildhintergrund bewegenden Bildelemente kann beispielsweise anhand einer Analyse einer auf der Basis der Bilder mit der niedrigen Auflösung und der hohen Bildrate erstellten Videosequenz erfolgen. Grundsätzlich reichen aber zwei Bilder aus, die einen geeigneten zeitlichen Abstand voneinander haben, um aus der unterschiedlichen Position von bestimmten Bildelementen relativ zum Bildhintergrund auf die sich bewegenden Bildelemente zu schließen.
Selbstverständlich besteht auch die Möglichkeit, die Videosequenz dem hochaufgelösten Bild zu überlagern.
Wenn das Objekt, von dem das hochaufgelöste Bild aufgenommen wird, lebendes Gewebe ist, führen physiologische Prozesse dazu, dass eine ständige Bewegung des Gewebes stattfindet. Dies führt dazu, dass bei den zwischengespeicherten Bildern das abgebildete Objekt jeweils leicht unterschiedliche Positionen im Bild einnimmt. Mit anderen Worten, der Bildhintergrund, gegenüber dem sich die Gewebeflüssigkeitszellen bewegen, bewegt sich selber ebenfalls. Um diese Bewegung in der erstellten Videosequenz oder in dem Bild, in dem die sich gegenüber dem Bildhintergrund bewegenden Bildelemente hervorgehoben dargestellt sind, auszugleichen, können die zum Erzeugen der Videosequenz oder die zum Ermitteln der sich gegenüber dem Bildhintergrund bewegenden Bildelemente herangezogenen zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate gegen ein Referenzbild registriert werden. Das heißt, alle Bilder außer dem Referenzbild werden einer Transformation unterzogen, die dazu führt, dass sich bestimmte Strukturen des Bildhintergrundes in jedem Bild im selben Bildausschnitt befinden. Die verwendeten Transformationen beinhalten in der Regel zumindest eine Verschiebung des Objektes im Bild. Sie können aber auch eine Rotation oder eine Verzerrung beinhalten, wenn die physiologischen Prozesse beispielsweise zu einer Drehung oder einer zyklischen Expansion und Kontraktion des Gewebes führen. Dabei kann insbesondere auch das hochaufgelöste Bild als Referenzbild Verwendung finden. Ggf. kann das hochaufgelöste Referenzbild dabei in seiner Auflösung an die niedrig aufgelösten Bilder angepasst werden, oder die niedrig aufgelösten Bilder können mittels einer Interpolation an die hohe Auflösung des hochaufgelösten Bildes angepasst werden. Alternativ kann aber auch eines der zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate als Referenzbild ausgewählt werden. Typischerweise wird hierbei ein Bild mit ausreichender Schärfe herangezogen.
Im Rahmen des erfindungsgemäßen Verfahrens können außerdem die in die extrazelluläre Matrix eingebetteten Gewebezellen klassifiziert werden. Eine derartige Klassifikation kann mittels einer geeigneten Software erfolgen. Voraussetzung für die Klassifikation ist, dass nicht fälschlicherweise Gewebeflüssigkeitszellen als in die extrazelluläre Matrix eingebettete Zellen angesehen werden oder umgekehrt. Das vorliegende erfindungsgemäße computerimplementierte Verfahren schafft daher die Voraussetzung dafür, dass eine Klassifikation der in die extrazelluläre Matrix eingebetteten Gewebezellen möglich wird. Die Klassifikation lässt es zu, Gewebezellen gemäß ihrer Klassifizierung zu kennzeichnen. Beispielsweise können die Gewebezellen mittels der Kennzeichnung in eine erste Art von Gewebezellen, die keine Veränderung gegenüber dem Normalzustand aufweisen, und in eine zweite Art von Gewebezellen, die eine Veränderung gegenüber dem Normalzustand aufweisen, unterteilt werden. Mit Hilfe der Klassifizierung und der Kennzeichnung kann dann beispielsweise eine Vorauswahl an Gewebebereichen getroffen werden, die von einem Pathologen auf Veränderungen hin überprüft werden müssen.
Das erfindungsgemäße computerimplementierte Verfahren kann einen Verfahrensschritt umfassen, in dem für jedes zwischengespeicherte Bild mit der niedrigen Auflösung und der hohen Bildrate überprüft wird, ob es sich für die Gewinnung der Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen eignet. Kriterien für die Eignung können sein: Ausreichender Kontrast, ausreichende Schärfe, keine störenden Bewegungsadefakte, etc. Es werden dann nur diejenigen zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate für das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen herangezogen, für die festgestellt worden ist, dass sie sich für die Gewinnung dieser Informationen eignen. Auf diese Weise kann sichergestellt werden, dass die Qualität der Informationsgewinnung durch schlechte Einzelbilder nicht herabgesetzt wird.
Optional kann das erfindungsgemäße computerimplementierte Verfahren auch einen Schritt umfassen, in dem überprüft wird, ob eine ausreichende Anzahl an für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeigneten zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate vorhanden ist. Falls diese Überprüfung ergibt, dass keine ausreichende Anzahl an für die Gewinnung von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeigneten zwischengespeicherten Bildern mit der niedrigen Auslösung und der hohen Bildrate vorhanden ist, veranlasst das computerimplementierte Verfahren die Aufnahme weiterer Bilder mit der niedrigen Auflösung und der hohen Bildrate. Zwar verzögert sich dadurch das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen, jedoch erhöht diese Vorgehensweise die Wahrscheinlichkeit, dass eine qualitativ hochwertige Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gewonnen werden kann.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Computerprogramm zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich zur Verfügung gestellt. Das Computerprogramm umfasst Instruktionen, die, wenn sie auf einem Computer ausgeführt werden, den Computer dazu veranlassen, vor dem Aufnehmen des hochaufgelösten Bildes zwischengespeicherte Bilder mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und hohen Bildrate zu gewinnen. Das erfindungsgemäße Computerprogramm enthält somit Instruktionen, mit deren Hilfe das erfindungsgemäße computerimplementierte Verfahren auf einem Computer oder einer sonstigen Datenverarbeitungsvorrichtung ausgeführt werden kann. Das erfindungsgemäße Computerprogramm kann dabei auch Instruktionen umfassen, mit deren Hilfe die beschriebenen weiteren Ausgestaltungen des erfindungsgemäßen computerimplementierten Verfahrens auf einen Computer oder einer sonstigen Datenverarbeitungsvorrichtung ausgeführt werden können. Die mit Bezug auf das erfindungsgemäße computerimplementierte Verfahren und seine weiteren Ausgestaltungen beschriebenen Eigenschaften und Vorteile können so mit Hilfe des Computerprogramms realisiert werden.
Gemäß einem dritten Aspekt der Erfindung wird außerdem ein nicht flüchtiges computerlesbares Speichermedium mit darauf gespeicherten Instruktionen zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich zur Verfügung gestellt. Wenn sie auf einem Computer ausgeführt werden, veranlassen die Instruktionen den Computer dazu, auf vor dem Aufnehmen des hochaufgelösten Bildes zwischengespeicherte Bilder mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen. Das erfindungsgemäße nicht flüchtige computerlesbare Speichermedium ermöglicht es, das erfindungsgemäße Computerprogramm in einen Computer oder eine sonstige Datenverarbeitungsvorrichtung zu laden, so dass mit dem Computer bzw. mit der sonstigen Datenverarbeitungsvorrichtung das erfindungsgemäße computerimplementierte Verfahren ausgeführt werden kann. Die mit Bezug auf das erfindungsgemäße computerimplementierte Verfahren und seine weiteren Ausgestaltungen beschriebenen Eigenschaften und Vorteile können so mit Hilfe eines Computers oder einer sonstigen Datenverarbeitungsvorrichtung realisiert werden.
Gemäß einem vierten Aspekt der vorliegenden Erfindung wird ein Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild von einem Gewebebereich zur Verfügung gestellt. Das Datenverarbeitungssystem, das insbesondere auf einem handelsüblichen Computer basieren kann, umfasst einen Prozessor und wenigstens einen Speicher, wobei der Prozessor dazu ausgestaltet ist, basierend auf Instruktionen eines im Speicher gespeicherten Computerprogramms auf vor dem Aufnehmen des hochaufgelösten Bildes zwischengespeicherte Bilder mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen. Mit Hilfe eines derartigen Datenverarbeitungssystems lässt sich die Ausführung des erfindungsgemäßen computerimplementierten Verfahrens und seiner weiteren Ausgestaltungen und damit der mit dem computerimplementierten Verfahren verbundenen Eigenschaften und Vorteile realisieren.
Gemäß einem fünften Aspekt der Erfindung wird außerdem ein Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mit zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen mittels eines scannenden Bildgebungsverfahrens zur Verfügung gestellt. In einem ersten Scanmodus werden von dem Gewebebereich Bilder mit einer niedrigen Auflösung und einer hohen Bildrate aufgenommen. Die aufgenommenen Bilder mit der niedrigen Auflösung und der hohen Bildrate werden für einen bestimmten Zeitraum zwischengespeichert. Auf ein Auslösesignal hin wird in einen zweiten Scanmodus mit hoher Auflösung gewechselt, in dem ein hochaufgelöstes Bild aufgenommen wird. Außerdem werden die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen gemäß den Schritten des erfindungsgemäßen computerimplementierten Verfahrens ermittelt. Dadurch wird es möglich, dem aufgenommen hochaufgelösten Bild Informationen zuzuordnen, anhand derer eine Unterscheidung zwischen Gewebeflüssigkeitszellen und Gewebezellen möglich ist. Nach dem Aufnehmen des hochaufgelösten Bildes kann dabei in den ersten Scanmodus zurückgekehrt werden, um mit der Aufnahme von Bildern mit der niedrigen Auflösung und der hohen Bildrate fortzufahren. Dies ist insbesondere dann vorteilhaft, wenn die zwischengespeicherten Bilder mit der niedrigen Auflösung und der hohen Bildrate nicht genügend Bilder umfassen, die zum Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeignet sind. Es können dann weitere, nach dem Aufnehmen des hochaufgelösten Bildes aufgenommene Bilder mit der niedrigen Auflösung und der hohen Bildrate zum Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen herangezogen werden.
Im Rahmen des erfindungsgemäßen Verfahrens kann das Aufnehmen eines hochaufgelösten Bildes automatisch das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen auslösen. Auf diese Weise ist kein weiterer Auslöseschritt nötig, was insbesondere dann vorteilhaft ist, wenn zur Durchführung des Verfahrens eine scannende Bildaufnahmevorrichtung im Rahmen einer Operation zum Einsatz kommt. Der Operateur braucht dann lediglich die Aufnahme des hochaufgelösten Bildes auszulösen und kann sich dann wieder auf die Operation konzentrieren.
Schließlich stellt die vorliegende Erfindung auch ein optisches Beobachtungsgerät zur Verfügung, das eine scannende Bildaufnahmevorrichtung sowie ein erfindungsgemäßes Datenverarbeitungssystem umfasst. Das optische Beobachtungsgerät kann insbesondere ein Endomikroskop und weiter insbesondere ein konfokales Endomikroskop oder ein zum Durchführen einer optischen Kohärenztopographie ausgebildetes Endomikroskop sein. Mit dem erfindungsgemäßen optischen Beobachtungsgerät lässt sich das erfindungsgemäße Verfahren zum Aufnehmen des hochaufgelösten Bildes von einem Gewebebereich mit zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen durchführen. Das erfindungsgemäße optische Beobachtungsgerät ermöglicht daher die Realisierung der mit dem erfindungsgemäßen Verfahren verbundenen Eigenschaften und Vorteile.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung exemplarischer Ausführungsbeispiele unter Bezugnahme auf die beiliegenden Figuren.

1 zeigt in einer stark schematisierten Darstellung ein Endomikroskop, welches zum Ausführen eines scannenden Bildgebungsverfahrens ausgestaltet ist.
2 zeigt in einer schematisierten Darstellung ein hochaufgelöstes Bild.
3 zeigt in schematisierten Darstellungen ein niedrig aufgelöstes Bild.
4 zeigt ein Beispiel für das computerimplementierte Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild anhand eines Flussdiagramms.
5 zeigt eine Abfolge von aufgenommenen Bildern.
6 zeigt in einer stark schematisierten Darstellung ein Bild mit Gewebezellen und einer Gewebeflüssigkeitszelle in einer ersten Position.
7 zeigt das Bild aus 6 mit der Gewebeflüssigkeitszelle in einer zweiten Position.

Die Erfindung wird nachfolgend zu Erläuterungszwecken anhand exemplarischer Ausführungsbeispiele im Detail beschrieben. Dabei zeigt 1 als ein exemplarisches Ausführungsbeispiel für ein optisches Beobachtungsgerät mit einer Bildaufnahmeeinrichtung, die zum Aufnehmen von aus einem Pixelraster zusammengesetzten Bildern von einem Objekt ausgebildet ist, ein Endomikroskop mit einer Scaneinrichtung. Die 2 und 3 zeigen stark schematisiert Bilder, die anhand von mit dem Endomikroskop durchgeführten Scans gewonnen worden sind.
Das in 1 gezeigte Endomikroskop 1 umfasst eine optische Faser 3 mit einem Eingangsende 5 und einem Ausgangsende 7. Das Eingangsende 5 wird dem Beobachtungsobjekt 9 zugewandt und befindet sich in einer Scaneinrichtung 11 mit deren Hilfe das Ende 5 entlang zweiter Richtungen, in folgenden als x-Richtung und y-Richtung bezeichnet, lateral zum Beobachtungsobjekt 9 versetzt werden kann. Die Scaneinrichtung kann insbesondere mittels mikroelektromechanischer Systeme (MEMS, micro-elctro-mechanical systems) realisiert sein. Eine Scaneinrichtung, die mikroelektromechanische Systeme verwendet, ist bspw. in US 2016 / 0 051 131 A1 beschrieben. Auf dieses Dokument wird hinsichtlich des Aufbaus einer geeigneten Scaneinrichtungen verwiesen. Alternativ kann das Scannen des Beobachtungsobjekts 9 bei einem stationären Faserende 5 mit Hilfe eines beweglichen mikroelektromechanischen Spiegels (MEMS-Spiegels) oder mit Hilfe mehrerer beweglicher mikroelektromechanischer Spiegel erfolgen.
Das zweite Ende 7 der optischen Faser 3 ist einem Sensor 13 zugewandt, mit dem eine auf den Sensor 13 fallende Lichtmenge erfasst werden kann. Der Sensor 13 befindet sich in einem Gehäuse 15, das im vorliegenden Ausführungsbeispiel als gesondertes Modul ausgebildet ist, das aber auch als Handgriff ausgebildet sein kann, und in dem außerdem eine Lichtquelle (in der Figur nicht dargestellt) zum Generieren von Beleuchtungslicht zur Beleuchtung des Beobachtungsobjekts 9 und eine Einkoppelvorrichtung zum Einkoppeln des Beleuchtungslichtes in das zweite Ende 7 der optischen Faser 3 untergebracht sind. Die Lichtquelle kann insbesondere eine Laserlichtquelle sein. Die Lichtquelle kann jedoch auch außerhalb des Gehäuses 15 angeordnet und mit diesem über einen Lichtleiter verbunden sein. Im Gehäuse 15 befindet sich dann das Austrittsende des Lichtleiters. In diesem Fall koppelt die Einkoppelvorrichtung das aus dem Austrittsende des Lichtleiters austretende Beleuchtungslicht in das zweite Ende 7 der optischen Faser 3 ein. Das Beleuchtungslicht kann Weißlicht sein, also ein breitbandiges Spektrum aufweisen, oder Licht mit einem Spektrum, welches aus einem oder mehreren schmalbandigen Spektralbereichen besteht, bspw. aus einem oder mehreren zur Anregung einer Fluoreszenz im Beobachtungsobjekt 9 geeigneten schmalbandigen Spektralbereichen.
In das zweite Ende 7 der optischen Faser 3 eingekoppeltes Beleuchtungslicht wird durch die optische Faser 3 zum ersten Ende 5 geleitet, aus dem das Beleuchtungslicht in Richtung auf das Beobachtungsobjekt 9 austritt. Vom Beobachtungsobjekt 9 reflektiertes Beleuchtungslicht oder durch das Beleuchtungslicht angeregtes, vom Beobachtungsobjekt 9 emittiertes Licht, etwa Fluoreszenzlicht, tritt wiederum in das erste Ende 5 der der optischen Faser 3 ein und wird von dieser zum zweiten Ende 7 geleitet, aus dem es in Richtung auf den Sensor 13 austritt. An oder vor den Enden 5, 7 der optischen Faser 3 können sich zudem Fokussieroptiken befinden, mit denen Licht auf die Oberfläche des Beobachtungsobjektes 9 bzw. auf den Sensor 13 fokussiert werden kann. Das Endomikroskop 1 kann insbesondere als konfokales Endomikroskop ausgebildet sein. Zusätzlich oder alternativ kann es auch als Endomikroskop zur Durchführung einer optischen Kohärenztomografie (OCT, Optical Coherence Tomography) ausgebildet sein. Konfokale Mikroskopie und optische Kohärenztomografie sind allgemein bekannte Verfahren und bspw. in US 2010 / 0 157 308 A1 und US 9 921 406 B2 beschrieben. Auf die Beschreibung von Details zur konfokalen Mikroskopie und zur optischen Kohärenztomografie wird im Rahmen der vorliegenden Beschreibung daher verzichtet. Stattdessen wird auf die US 2010 / 0 157 308 A1 und die US 9 921 406 B2 verwiesen.
Die Bildaufnahme mit Hilfe des Endomikroskops 1 wird im vorliegenden exemplarischen Ausführungsbeispiel mit Hilfe eines Computers 17 gesteuert. Die Steuerung kann aber auch mittels einer dedizierten Steuereinrichtung erfolgen. Der im vorliegenden exemplarischen Ausführungsbeispiel zur Steuerung verwendete Computer 17 ist sowohl mit der Scaneinrichtung 11 als auch mit dem Sensor 13 verbunden. Die Scaneinrichtung 11 wird im vorliegenden Ausführungsbeispiel von dem Computer 17 derart gesteuert, dass das Beobachtungsobjekt 9 entlang eines Rasters 19 mit Rasterpunkten 21 gescannt wird (siehe 2). An jedem gescannten Rasterpunkt 21 erfolgen ein Beleuchten des Beobachtungsobjekts 9 mit Beleuchtungslicht und eine Aufnahme des reflektierten Beleuchtungslichtes oder des von dem Beobachtungsobjekt 9 aufgrund einer Anregung mittels des Beleuchtungslichtes emittierten Lichtes. Aus dem an den Rasterpunkten 21 aufgenommenen reflektierten Beleuchtungslicht oder dem an den Rasterpunkten 21 aufgenommenen vom Beobachtungsobjekt emittierten Licht erzeugt der Computer dann ein Bild, dessen Pixelraster dem beim Scannen verwendeten Raster 19 entspricht. Die optische Faser 3, die Scaneinrichtung 11, der Sensor 13 und der Computer 17 bilden zusammen daher eine Bildaufnahmeeinrichtung in der der Computer 17 als Bilderzeugungseinrichtung dient.
Im vorliegenden exemplarischen Ausführungsbeispiel umfasst das Raster Rasterzeilen, die sich in 2 in x-Richtung erstrecken und Rasterspalten, die sich in 2 in y-Richtung erstrecken. Das Scannen des Beobachtungsobjekts erfolgt dabei im vorliegenden exemplarischen Ausführungsbeispiel zeilenweise, also so, dass eine Zeile gescannt wird, d.h. ein Scan entlang der x-Richtung erfolgt, und, nachdem die Zeile vollendet ist, ein Versatz der optischen Faser 3 in y-Richtung erfolgt, bevor mit der in y-Richtung versetzten optischen Faser 3 wieder eine sich in x-Richtung erstreckende Zeile gescannt wird. Während des Scanvorgangs wird für jeden Rasterpunkt 21, an dem sich die optische Faser zum Zeitpunkt einer Aufnahme befindet, der Sensor 13 belichtet. Auf diese Weise wird mit Hilfe des Sensors 13 und der Scaneinrichtung 11 zeilenweise ein Bild von dem Beobachtungsobjekt 9 generiert, wie es schematisch in 2 gezeigt ist.
2 zeigt stark schematisiert ein Bild, in dem beim Scannen des Beobachtungsobjekts 9 alle Rasterpunkte 21 des Rasters 19 verwendet worden sind. Dabei zeigt 2 schematisch eine Struktur 23 des Beobachtungsobjektes 9, die zu Illustrationszwecken als Ring dargestellt ist. Rasterpunkte 21, die sich über der Struktur 23 befinden, führen auf dem Sensor 13 zu einem anderen Signal als solche Rasterpunkte 21, die sich nicht über der Struktur 23 befinden. In 2 ist das von den über der Struktur 23 befindlichen Rasterpunkten 21 generierte Signal durch schraffierte Rasterpunkte 21 dargestellt. Mit kleinen Abmessungen der Rasterpunkte 21 und entsprechend kleinen Abständen zwischen den Rasterpunkten 21, wie sie die Verwendung der optischen Faser 3 ermöglicht, ist eine hohe Auflösung von Strukturen 23 des Beobachtungsobjektes 9 möglich. Aufgrund der mit der hohen Auflösung verbundenen hohen Zahl an zu scannenden Rasterpunkten benötigt das Erzeugen eines hochaufgelösten Bildes mit Hilfe des scannenden Bildgebungsverfahrens relativ viel Zeit. Falls mit dem scannenden Bildgebungsverfahren eine Videosequenz aufgenommen werden soll, können daher aufgrund der für die Aufnahme eines Einzelbildes mit Hilfe des scannenden Bildgebungsverfahrens benötigten Zeitdauer nur geringe Bildraten erreicht werden.
Um die Bildrate zu erhöhen, besteht die Möglichkeit, die Zahl der beim Scannen verwendeten Rasterpunkte 21 zu verringern, wie dies in 3 gezeigt ist, um die Geschwindigkeit, mit der der Scan für ein Einzelbild durchgeführt werden kann, zu erhöhen. Dazu kann im vorliegenden exemplarischen Ausführungsbeispiel mit dem Computer 17 derart steuernd auf die Scaneinrichtung 11 eingewirkt werden, dass bestimmte Zeilen 25 beim Scannen entlang des Rasters 19 ausgelassen werden. Mit anderen Worten, beim Scannen wird nur jede n-te Zeile gescannt, wie dies schematisch in 3 dargestellt ist, wo beispielhaft nur jede dritte Zeile gescannt wird. Die Rasterpunkte 21 der beim Scannen verwendeten Zeilen 21 sind in der Figur mit durchgezogenen Linien dargestellt, die Rasterpunkte 21 der beim Scannen ausgelassenen Zeilen 25 gestrichelt. In der gezeigten Darstellung wird nur jede dritte Zeile des Rasters 19 beim Scannen genutzt, so dass sich die Bildrate etwa verdreifachen lässt. In der Realität werden mehr als zwei Zeilen zwischen zwei gescannten Zeilen ausgelassen, um die Bildrate auf mindestens 4 fps zu erhöhen.
Das Auslassen von Zeilen 25 den beim Scannen führt zu einer Verringerung der Bildauflösung in y-Richtung. In 3 ist zu erkennen, dass aufgrund der verringerten Zeilenanzahl im Bild zur Darstellung der Struktur 23 weniger Rasterpunkte 21 zur Verfügung stehen als bei Verwendung aller Zeilen.
Während das Aufnehmen eines Videostreams mit verringerter Auflösung in einigen Fällen ausreicht, beispielsweise solange nur zu einer Untersuchungsstelle navigiert wird, gibt es Situationen, in denen ein hochaufgelöstes Bild der Strukturen 23 im Beobachtungsobjekt 9 erforderlich ist. Dies gilt insbesondere dann, wenn mit dem Endomikroskop 1 die Untersuchungsstelle erreicht ist und die Untersuchungsstelle im Hinblick auf Veränderungen untersucht werden soll.
Während des Aufnehmens des Videostreams werden im vorliegenden exemplarischen Ausführungsbeispiel die niedrig aufgelösten Einzelbilder des Videostreams für eine bestimmte Zeit im Speicher des Computers 17 zwischengespeichert, wozu beispielsweise ein Ringspeicher Verwendung finden kann, also ein Speicher, in dem Daten über einen bestimmten Speicherzeitrum gespeichert und dabei diejenigen Daten im Speicher, für welche der Speicherzeitrum erreicht ist, mit aktuellen Daten überschrieben werden. Wenn der Nutzer die Untersuchungsstelle erreicht hat, kann er die Aufnahme eines hochaufgelösten Bildes auslösen, in dem er einen entsprechenden Befehl als Auslösesignal in den Computer 17 eingibt. Der Befehl kann beispielsweise eine Tastatureingabe oder, falls der Computer 17 zur Entgegennahme von Sprachbefehlen ausgerüstet ist, Sprachbefehl sein. Es besteht aber auch die Möglichkeit, ein externes Eingabegerät zu verwenden, das mit dem Computer 17 über Kabel oder Funk verbunden ist. Ein solches externes Eingabegerät kann beispielsweise ein Fußschalter sein, auf dessen Betätigung hin ein Auslösesignal an den Computer 17 gesendet wird. Fußschalter und Sprachbefehle haben dabei gegenüber einer Tastatureingabe den Vorteil, dass der Nutzer des Endomikroskops 1 keine Hand zum Erzeugen des Auslösesignals benötigt.
Ein Ausführungsbeispiel für das computerimplementierte Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und in eine extrazelluläre Matrix eingebetteten Zellen in einem hochaufgelösten Bild wird nachfolgend anhand des in 4 gezeigten Flussdiagramms erläutert.
Das computerimplementierte Verfahren wird im vorliegenden exemplarischen Ausführungsbeispiel auf dem Computer 17 ausgeführt. Seine Ausführung wird durch ein Auslösesignal, beispielsweise durch betätigen eines Fußschalters, durch eine Tastatureingabe oder einen Sprachbefehl, ausgelöst. Das Auslösesignal kann ein ausschließlich zum Ausführen des Verfahrens ausgestaltetes Signal sein, es kann aber auch, wie im vorliegenden Ausführungsbeispiel ein anders auslösen eines hochaufgelösten Bildes 34 (siehe 5) gekoppeltes Signal sein. Nachdem in Schritt S1 das Verfahren auf das Auslösesignal hin gestartet worden ist, greift das Verfahren in Schritt S2 auf die im Ringspeicher befindlichen, vor dem Aufnehmen des hochaufgelösten Bildes 34 aufgenommenen niedrig aufgelösten Einzelbilder 33A-E des Videostreams zu. Falls die niedrig aufgelösten Einzelbilder 33A-E nicht in einem Speicher des Computers 17 gespeichert sind, sondern extern wie bspw. in einem Speicher des Endomikroskops 1, umfasst das Zugreifen auf die niedrig aufgelösten Einzelbilder 33A-E des Videostreams auch ein Einlesen der niedrig aufgelösten Einzelbilder 33A-E in den Computer 17. An dieser Stelle sei angemerkt, dass die niedrig aufgelösten Einzelbilder 33A-E im vorliegenden Ausführungsbeispiel zwar die Einzelbilder eines Videostreams sind, dies für die vorliegende Erfindung jedoch nicht zwingend erforderlich ist.
Nach dem in Schritt S2 auf die zwischengespeicherten Einzelbilder 33A-E zugegriffen worden ist, werden die Einzelbilder 33A-E in Schritt S3 auf ihrer Qualität hin ausgewertet und diejenigen Einzelbilder mit einer zu geringen Qualität aussortiert. Das Auswerten der Einzelbilder im Hinblick auf ihre Qualität kann insbesondere im Hinblick auf die Schärfe des jeweiligen Einzelbildes, das Vorliegen von Bewegungsartefakten, den Kontrast etc. erfolgen. Insbesondere kann auf der Basis der Bildschärfe, des Kontrastes, des Vorhandenseins von Bewegungsartefakten, etc. ein Qualitätsparameter ermittelt werden. Diejenigen niedrig aufgelösten Einzelbilder 33A-E, die einen vorgegebenen Wert des Qualitätsparameters nicht erreichen, werden aussortiert. Dabei besteht auch die Möglichkeit, mehrere Qualitätsparameter zu definieren und all diejenigen Bilder auszusortieren, die für wenigstens einen Qualitätsparameter den vorgegebenen Wert nicht erreichen.
Für die Einzelbilder, deren Qualität einen ausreichenden Wert aufweist, erfolgt in Schritt S4 eine Prüfung dahingehend, ob ein ausreichender Überlapp der Bildfelder der jeweiligen Einzelbilder vorhanden ist. diejenigen Einzelbilder, für die kein ausreichender Überlapp der Bildfelder vorhanden ist, werden aussortiert. Um einen ausreichenden Überlapp festzustellen, kann beispielsweise aus den Einzelbildern 33A-E mit niedriger Auflösung ein Referenzbild bestimmt und der Überlapp der übrigen Einzelbilder 33A-E mit dem Referenzbild ermittelt werden. Der Überlapp kann beispielsweise durch einen Zahlenwert repräsentiert werden, der anzeigt, welcher Anteil des Bildfeldes des jeweiligen Einzelbildes 33A-E mit dem Bildfeld des Referenzbildes übereinstimmt. Obwohl im vorliegenden Ausführungsbeispiel zuerst diejenigen Einzelbilder mit nicht ausreichender Bildqualität aussortiert werden, bevor solche Einzelbilder aussortiert werden, die keinen ausreichenden Überlapp mit dem Referenzbild aufweisen, besteht auch die Möglichkeit, die Reihenfolge der Prüfung umzudrehen, d.h. zuerst diejenigen Einzelbilder auszusortieren, die keinen ausreichenden Überlapp mit dem Referenzbild aufweisen und im Anschluss daran diejenigen Einzelbilder auszusortieren, deren Qualität nicht ausreichend ist. Anstatt eines Einzelbildes kann auch das hochaufgelöste Bild 34 als Referenzbild dienen.
Nachdem in den Schritten S3 und S4 die Bilder, deren Qualität nicht ausreichend ist, oder die keinen ausreichenden Überlapp aufweisen, aussortiert worden sind, wird in Schritt S5 überprüft, ob die verbleibende Anzahl an Einzelbildern 33A-E mit niedriger Auflösung ausreichend ist, um die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und in einer extrazellulären Matrix eingebetteten Gewebezellen zu ermitteln. Hierzu kann beispielsweise eine Untergrenze für die Anzahl an Einzelbildern vorgegeben werden, die nicht unterschritten werden soll. Zusätzlich oder alternativ kann eine maximale Zeitspanne zwischen zwei Einzelbildern 33A-E mit niedriger Auflösung vorgegeben werden, die nicht überschritten werden soll. Weiter zusätzlich oder alternativ kann auch eine gesamte Zeitspanne vorgegeben werden, die von den Einzelbildern 33A-E mit niedriger Auflösung abgedeckt werden soll.
Wird in Schritt S5 festgestellt, dass die Zahl an Einzelbildern 33A-E mit niedriger Auflösung nicht ausreicht um die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und in einer extrazellulären Matrix eingebetteten Gewebezellen zu ermitteln, schreitet das Verfahren zu Schritt S6 fort, in dem weitere Einzelbilder 35A-C mit niedriger Auflösung zu den bereits vorhandenen Einzelbildern 33A-E hinzugenommen werden. Typischerweise fährt das Endomikroskop 1 nach dem Erstellen des hochaufgelösten Bildes mit der Aufnahme niedrig aufgelöster Einzelbilder 35A-C fort. In Schritt S6 braucht daher lediglich auf die nach dem Erstellen des hochaufgelösten Bildes aufgenommenen niedrig aufgelösten Einzelbilder 35A-C zugegriffen zu werden. Falls das Endomikroskop 1 nach dem Erstellen des hochaufgelösten Bildes 34 nicht automatisch mit dem Aufnehmen von niedrig aufgelösten Einzelbildern 35A-C fortfährt, wird in Schritt S6 die Aufnahme einer Anzahl niedrig aufgelöster Einzelbilder 35A-C ausgelöst. Unabhängig davon, ob die Aufnahme einer Anzahl niedrig aufgelöster Einzelbilder 35A-C in Schritt S6 ausgelöst wird, oder ob das Endomikroskop 1 nach dem Erstellen des hochaufgelösten Bildes 34 automatisch mit der Aufnahme niedrig aufgelöster Einzelbilder 35A-C fortfährt, kehrt das Verfahren von Schritt S6 zu Schritt S3 zurück, um die Prüfung der Schritte S3, S4 und S5 erneut auszuführen. Dies erfolgt solange, bis in Schritt S5 festgestellt wird, dass eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern 33A-E, 35A-C vorliegt.
5 zeigt in einer schematischen Darstellung die zeitliche Abfolge des Aufnehmens niedrig aufgelöster Einzelbilder 33A-D sowie 35A-C, die zu verschiedenen Zeitpunkten aufgenommen und in den Schritten S3 bis S6 verwendet werden. Weiterhin stellt 5 ein hochaufgelöstes Bild 34 dar, dass zu einem Zeitpunkt to aufgenommen wird. Das Auslösen des hochaufgelösten Bildes 34 zum Zeitpunkt to löst beispielsweise gleichzeitig das Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen im hochaufgelösten Bild 34 aus. Hierzu werden gemäß Schritt S2 die zwischengespeicherten, zu den Zeitpunkten t_-1 bis t_-m aufgenommenen niedrig aufgelösten Einzelbilder gemäß der Schritte S3 bis S5 ausgewertet. Gleichzeitig wird im vorliegenden exemplarischen Ausführungsbeispiel nach dem Aufnehmen des hochaufgelösten Bildes 34 die Aufnahme niedrig aufgelöster Einzelbilder 35A-C fortgesetzt. Wenn die Auswertung gemäß der Schritt S3 bis S5 ergibt, dass die Anzahl an niedrig aufgelösten Einzelbildern 33A-E welche die geforderten Qualitätskriterien erfüllen, nicht ausreicht, um die Information zum Unterscheiden zwischen Gewebeflüssigkeitszellen und ein eine extrazelluläre Matrix eingebetteten Gewebezellen zu ermitteln, werden zu den Zeitpunkten t₁-t₃ aufgenommenen niedrig aufgelöste Einzelbilder 35A-C bis hinzugenommen, die nach dem Aufnehmen des hochaufgelösten Bildes 34 aufgenommen werden. Sobald in Schritt S5 festgestellt wird, dass eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern vorhanden ist, welche die Qualitätskriterien erfüllen, fährt das Verfahren zu Schritt S7 fort, in dem es die niedrig aufgelösten Bilder registriert.)
Sobald in Schritt S5 festgestellt wird, dass eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern 33A-E, 35A-C vorliegt, schreitet das Verfahren zu Schritt S7 fort, in dem die Einzelbilder mit niedriger Auflösung gegen das Referenzbild registriert werden. Wenn das Referenzbild das hochaufgelöste Bild 34 ist, ist es für die Qualität der Registrierung vorteilhaft, wenn für die in den niedrig aufgelösten Einzelbildern 33A-E, 35A-C weggelassenen Pixel mittels einer Interpolation auf der Basis der nicht weggelassenen Pixel Pixelwerte berechnet werden.
Anhand eines Vergleiches der registrierten Einzelbilder miteinander werden im vorliegenden Ausführungsbeispiel dann in Schritt S8 diejenigen Bildelemente ermittelt, die in den Einzelbildern 33A-E, 35A-C jeweils die gleiche Position im Bildfeld einnehmen. Diese Bildelemente sind in den 6 und 7 dargestellt und mit der Bezugsziffer 29 gekennzeichnet. Durch Vergleich der niedrig aufgelösten Einzelbilder 33A-E, 35A-C miteinander werden außerdem solche Bildelemente ermittelt, die in den Einzelbildern 33A-E, 35A-C unterschiedliche Positionen einnehmen. Ein solches Bildelement ist in den 6 und 7 exemplarisch mit der Bezugsziffer 31 gekennzeichnet. Diejenigen Bildelemente 29, die in den Einzelbildern 33A-E, 35A-C jeweils in derselben Position des Bildfeldes vorliegen, stellen die in die extrazelluläre Matrix eingebetteten Gewebezellen dar, diejenigen Bildelemente 31, deren Position sich im Bildfeld in den Einzelbildern voneinander unterscheidet, die sich bewegenden Gewebeflüssigkeitszellen .
Nachdem in Schritt S8 die Information, welche Bildelemente in einer extrazellulären Matrix eingebettete Gewebezellen und welche Bildelement Gewebeflüssigkeitszellen darstellen, gewonnen wurde, wird die gewonnene Information in Schritt S9 für eine Darstellung geeignet aufbereitet. Die Aufbereitung kann beispielsweise beinhalten, dass im hochaufgelösten Bild die in die extrazelluläre Matrix eingebetteten Gewebezellen oder die Gewebeflüssigkeitszellen farblich hervorgehoben werden. Alternativ besteht auch die Möglichkeit, auf der Basis der niedrig aufgelösten Einzelbilder 33A-E, 35A-C eine kurze Videosequenz zu generieren, die nach einer Registrierung mit dem hochaufgelösten Bild 34 dem hochaufgelösten Bild überlagert wird. Statt einer Überlagerung besteht auch die Möglichkeit, die Videosequenz neben dem hochaufgelösten Bild 34 darzustellen. Die aufbereitete Information wird dann zur Darstellung an einen externen Monitor ausgegeben (Schritt S10). Alternativ kann die Information auch auf dem Monitor des Computers 17 dargestellt werden. Nach dem Darstellen der Information endet das Verfahren.
An das Ermitteln der Information, die ein Unterscheiden der in die extrazelluläre Matrix eingebetteten Gewebezellen von den Gewebeflüssigkeitszellen ermöglicht, können die Gewebezellen klassifiziert werden. Eine derartige Klassifikation kann mittels einer geeigneten Software erfolgen und bspw. auf Verfahren beruhen, wie sie in den folgenden Publikationen beschrieben sind: A. BenTaieb et al. „Deep Learning Models for Digital Pathology", arXiv:1910:12329v2 [cs.CV] 29 Oct 2019; A. Bizzego et al. „Evaluating reproducibility of AI algotithms in digital pathology with DAPPER" in PLoS Comput Biol 15(3):e1006269, March 27, 2019 und T. Fuchs et al. Computational pathology: „Challenges and promises for tissue analysis‟ in Computerized Medical Imaging and Graphics 35 (2011), Seiten 515-530. Mit Hilfe der Klassifizierung können die Gewebezellen im vorliegenden exemplarischen Ausführungsbeispiel unterschiedlich gekennzeichnet werden. Beispielsweise kann mittels der Kennzeichnung im hochaufgelösten Bild eine Unterscheidung zwischen Gewebezellen, die keine Veränderung gegenüber dem Normalzustand aufweisen, und solchen, die eine Veränderung aufweisen, vorgenommen werden.
Die vorliegende Erfindung wurde anhand von exemplarischen Ausführungsbeispielen zu Erläuterungszwecken im Detail beschrieben. Ein Fachmann erkennt jedoch, dass im Rahmen der vorliegenden Erfindung von den exemplarischen Ausführungsbeispielen abgewichen werden kann, wie dies auch bereits im Rahmen der exemplarischen Ausführungsbeispiele angedeutet worden ist. So besteht beispielsweise die Möglichkeit, statt anhand der niedrig aufgelösten Einzelbilder den Hintergrund bildende Bildbereiche und sich gegenüber dem Hintergrund bewegende Bildbereiche zu bestimmen, die Möglichkeit, die registrierten niedrigen aufgelösten Einzelbilder lediglich zu einer kurzen Videosequenz zusammenzufügen, die neben dem hochaufgelösten Bild dargestellt wird. In der aus den registrierten niedrig aufgelösten Einzelbildern aufgebauten Videosequenz kann ein Nutzer des Endomikroskops die Gewebeflüssigkeitszellen anhand ihrer in der kurzen Videosequenz dargestellten Bewegung identifizieren. Ein automatisiertes Ermitteln der den Bildhintergrund bildenden Bildbereiche und der sich gegenüber dem ermittelten Bildhintergrund bewegende Bildbereiche, wie dies im beschriebenen exemplarischen Ausführungsbeispiel erfolgt ist, ist deshalb nicht zwingend notwendig. Ein Fachmann erkennt, dass weitere Abwandlungen von den beschriebenen exemplarischen Ausführungsbeispielen möglich sind. Die vorliegende Erfindung soll daher lediglich durch die gehängten Ansprüche beschränkt sein.
Bezugszeichenliste

1: Endomikroskop
3: optische Faser
5: erstes Ende
7: zweites Ende
9: Beobachtungsobjekt
11: Scaneinrichtung
13: Sensor
15: Gehäuse
17: Computer
19: Raster
21: Rasterpunkt
23: Struktur
25: ausgelassene Zeilen
27: gescannte Zeilen
29: Bildhintergrundformende Bildelemente
31: sich gegenüber dem Bildhintergrund bewegende Bildelemente
33: niedrig aufgelöste Bilder
34: hochaufgelöstes Bild
S1: Start
S2: Einlesen zwischengespeicherter Bilder
S3: Auswahl nach Bildqualität
S4: Auswahl nach Bildfeld
S5: Überprüfung, ob eine ausreichende Anzahl an niedrig aufgelösten Einzelbildern vorliegt
S6: Hinzunahme weiterer niedrig aufgelöster Einzelbilder
S7: Registrieren der niedrig aufgelösten Einzelbilder
S8: Bestimmen der den Bildhintergrund bildenden Bildelemente und gegenüber dem Bildhintergrund bewegter Bildelemente
S9: Aufarbeiten der Informationen
S10: Ausgabe der Informationen zur Darstellung

Claims

Computerimplementiertes Verfahren zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich, in dem - auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zugegriffen wird und - die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate gewonnen werden.
Computerimplementiertes Verfahren nach Anspruch 1, in dem die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gewonnen werden, indem zumindest aus einem Teil der zwischengespeicherten Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate eine Videosequenz erzeugt wird.
Computerimplementiertes Verfahren nach Anspruch 1 oder Anspruch 2, in dem die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gewonnen werden, indem in den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate ein Bildhintergrund (29) und solche Bildelemente (31), die sich gegenüber dem Bildhintergrund (29) bewegen, ermittelt werden und die sich gegenüber dem Bildhintergrund (29) bewegenden Bildelemente (31) in einem Bild als Gewebeflüssigkeitszellen hervorgehoben dargestellt werden.
Computerimplementiertes Verfahren nach Anspruch 2 oder Anspruch 3, in dem die Videosequenz oder die als Gewebeflüssigkeitszellen hervorgehoben dargestellten Bildelemente (31) dem hochaufgelösten Bild überlagert werden.
Computerimplementiertes Verfahren nach einem der Ansprüche 2 bis 4, in dem die zum Erzeugen der Videosequenz oder die zum Ermitteln der sich gegenüber dem Bildhintergrund (29) bewegenden Bildelemente (31) herangezogenen zwischengespeicherten Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate gegen ein Referenzbild registriert werden.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, in dem die Gewebezellen klassifiziert werden.
Computerimplementiertes Verfahren nach Anspruch 6, in dem die Gewebezellen im hochaufgelösten Bild gemäß ihrer Klassifizierung gekennzeichnet werden.
Computerimplementiertes Verfahren nach einem der Ansprüche 1 bis 5, in dem für jedes zwischengespeicherte Bild (33A-E) mit der niedrigen Auflösung und der hohen Bildrate überprüft wird, ob es sich für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen eignet und nur diejenigen zwischengespeicherten Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate, für die festgestellt worden ist, dass sie sich für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen eignen, zum Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen herangezogen werden.
Computerimplementiertes Verfahren nach Anspruch 8, in dem überprüft wird, ob eine ausreichende Anzahl an für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeigneten zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate vorhanden ist, und wenn die Überprüfung ergibt, dass keine ausreichende Anzahl an für die Gewinnung der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen geeignete zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate vorhanden ist, die Aufnahme weiterer Bilder (35A-C) mit der niedrigen Auflösung und der hohen Bildrate veranlasst wird.
Computerprogramm zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich, umfassend Instruktionen, die, wenn sie auf einem Computer (17) ausgeführt werden, den Computer (17) dazu veranlassen, auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen.
Nichtflüchtiges computerlesbares Speichermedium mit darauf gespeicherten Instruktionen zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich die, wenn sie auf einem Computer (17) ausgeführt werden, den Computer (17) dazu veranlassen, auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen.
Datenverarbeitungssystem zum Ermitteln von Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen in einem hochaufgelösten Bild (34) von einem Gewebebereich mit einem Prozessor und wenigstens einem Speicher, wobei der Prozessor dazu ausgestaltet ist, basierend auf Instruktionen eines im Speicher gespeicherten Computerprogramms auf vor dem Aufnehmen des hochaufgelösten Bildes (34) zwischengespeicherte Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate zuzugreifen und die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen aus den zwischengespeicherten Bildern (33A-E) mit der niedrigen Auflösung und der hohen Bildrate zu gewinnen.
Verfahren zum Aufnehmen eines hochaufgelösten Bildes von einem Gewebebereich mit zugeordneten Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen mittels eines scannenden Bildgebungsverfahrens, in dem von dem Gewebebereich in einem ersten Scanmodus Bilder (33A-E) mit einer niedrigen Auflösung und einer hohen Bildrate aufgenommen werden und die aufgenommenen Bilder (33A-E) mit der niedrigen Auflösung und der hohen Bildrate für einen bestimmten Zeitraum zwischengespeichert werden, und in dem auf ein Auslösesignal hin - zu einem zweiten Scanmodus mit hoher Auflösung gewechselt wird, in dem ein hochaufgelöstes Bild (34) aufgenommen wird, und - die Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen gemäß den Schritten des Verfahrens nach einem der Ansprüche 1 bis 9 ermittelt werden.
Verfahren nach Anspruch 13, in dem nach dem Aufnehmen des hochaufgelösten Bildes (34) in den ersten Scanmodus zurückgekehrt wird und mit der Aufnahme von Bildern (35A-C) mit der niedrigen Auflösung und der hohen Bildrate fortgefahren wird.
Verfahren nach Anspruch 13, in dem das Aufnehmen eines hochaufgelösten Bildes (34) das Gewinnen der Informationen zum Unterscheiden zwischen Gewebeflüssigkeitszellen und Gewebezellen auslöst.
Optisches Beobachtungsgerät mit einer scannenden Bildaufnahmevorrichtung und einem Datenverarbeitungssystem nach Anspruch 12.