DE69838297T2

DE69838297T2 - Verfahren und gerät zum erfassen und wiederherstellen von vergrösserten probebildern durch ein rechnergesteuertes mikroskop

Info

Publication number: DE69838297T2
Application number: DE69838297T
Authority: DE
Inventors: James V. Downers Grove BACUS; James W. Oakbrook BACUS
Original assignee: Bacus Laboratories Inc
Current assignee: Olympus America Inc
Priority date: 1997-03-03
Filing date: 1998-03-02
Publication date: 2008-05-15
Anticipated expiration: 2018-03-03
Also published as: JP4237264B2; EP1021786A4; US20040236773A1; US20050254696A1; US8625920B2; EP1021786A1; US6775402B2; WO1998039728A1; JP4789989B2; EP1021786B1; DE69838297D1; EP1016031B1; AU6677098A; EP2124188A1; DE69834564T2; US6522774B1; EP2124188B1; EP1686533A3; US7146372B2; EP1016031A4

Description

Gebiet der Erfindung
Diese Erfindung betrifft ein Verfahren und ein Gerät zum Aufnehmen und Aufzeichnen digitaler Bilder eines durch ein computergesteuertes automatisiertes Mikroskop gesehenes optisches Bildes, und auch das Verwenden dessen in einer quantitativen Analyse von Pflanzen oder biologischen Proben.
Hintergrund der Erfindung
In der Bildanalyse und Quantifizierung von DNA aus Gewebeabschnitten, wie im US-Patent 4,741,031 offenbart, und auch speziell in den immunohisto-chemischen Untersuchungen zu den Arten von Zellanalysesystemen, die in den für Bacus erteilten US-Patenten 5,086,476 , 5,202,931 und 5,252,487 offenbart sind, ist es problematisch, zuerst mit geringer Leistung die Krebsregionen zur Analyse zu lokalisieren und sich diese dann zu merken, wenn die Analyse mit höherer Leistung durchgeführt wird. Es besteht eine Notwendigkeit, eine Anforderung, ein Objekt in einer relativ flachen Ebene bei hoher Auflösung/Vergrößerung abzubilden und digital aufzuzeichnen. Heutzutage ist es unmöglich, einen ausreichend großen optischen Bildsensor zu konstruieren, um den gesamten Bildbereich, beispielsweise von einer Probe auf einem Mikroskop-Objektträger, bei geforderter Auflösung abzudecken. Deshalb begrenzen Fragen zur Linsengröße und Auflösung/Vergrößerung die Größe des Sichtfeldes von vergrößerten Objekten und ihrer resultierenden Bilder. Durch ein Mikroskop zu sehen ist ähnlich, wie wenn man durch ein Periskop sieht, weil man auch bei geringen Vergrößerungen, wie zum Beispiel 1.25X, ein kleines Sichtfeld erfasst. Ein Pathologe, der ein Mikroskop verwendet, scannt häufig einen Objektträger, um gedanklich einen Gesamtüberblick zu bekommen oder um abzuschätzen, was die Probe ausmacht, und er merkt sich die ungefähren Orte der diagnostisch signifikanten, kleinen Stücke der Probe. Gewöhnlich sind dies die erkrankten Bereiche, wie bösartige oder potentiell bösartige Teile der Probe. Um eine höhere Auflösung und Vergrößerung dieser verdächtigen Teile zu erhalten, schaltet der Pathologe zu einer Objektivlinse mit höherer Vergrößerung, allerdings wird dann wiederum das Sichtfeld sehr viel kleiner. Der Pathologe schaltet oft zwischen der Objektivlinse mit niedriger Vergrößerung und mit größerem Sichtfeld, um sich relativ zur Probe zu orientieren, und der höheren Vergrößerung mit kleinerem Sichtfeld, um die detaillierte, hoch-aufgelöste Ansicht des verdächtigen Bereichs auf der Probe zu erhalten, hin und her. So erhält der Benutzer nie eine vergrößerte, verdichtete Gesamtansicht der Probe oder eines Teils der Probe, sondern muss sich an die Reihe der mit niedriger Vergrößerung aufgenommenen Ansichten erinnern. Genauso erhält oder sieht der Benutzer bei hohen Auflösungen und hohen Vergrößerungen niemals eine Sammlung benachbarter Bilder, sondern muss diese aufeinander folgenden Bilder im Benutzergedächtnis verknüpfen.
Anders gesagt ist das Problem, dass, falls sich der Bediener, sobald das Mikroskop zur Quantifizierung mittels Bildanalyse mit beispielsweise 40x eingestellt ist, wo alle Blenden eingestellt und Licht angepasst ist, etc., in einen anderen Gewebebereich bewegen muss, es als erstes wünschenswert ist, diesen bei beispielsweise 10x zu lokalisieren. Tatsächlich können Regionen oft nur mit dieser Leistung lokalisiert werden. Um dies jedoch durchzuführen, müssen alle Einstellungen (Blenden, Lichtniveaus, Wellenlängen des Lichts, etc.) verändert werden, um das Gewebe bei dieser Vergrößerung anzusehen. Im Augenblick gibt es keine Möglichkeit sicherzustellen, dass man zu den Einstellungen der vorherigen 40x Vergrößerung zurückgehen könnte und mit der quantitativen Bildanalyse dieser gleichen Probe fortfahren könnte. Dies macht es nötig, diese Bereiche ohne Änderung der Objektive mit 40x zu finden, was sehr langsam und zeitraubend ist, und oft werden wichtige Krebsbereiche ausgelassen.
Ein weiteres Problem bei einer Gewebeanalyse nach ihrem jetzigem Stand der Technik ist auch, dass sie nicht vollständig automatisiert ist, zum Beispiel hinsichtlich eines Auffindens struktureller Regionen, wie Drüsen, Basisschichten oder wichtige diagnostische Regionen. Wenn jedoch diese Regionen, wie in der US 6031930 dargelegt, lokalisiert sind, können wichtige, hochempfindliche diagnostische Messungen durchgeführt werden. Wie zum Beispiel in der zuvor genannten Patentanmeldung offenbart, werden Untersuchungen für eine Vielzahl von Gewebetypen, sowohl menschlich als auch tierisch, zur Analyse von Neoplasma im Gewebe, zur pre-invasiven Untersuchung von Krebs im Gewebe, und zur Analyse der Auswirkungen von chemo-preventiven Mitteln auf Gewebe durchgeführt. Eine quantitative Analyse mittels Bildverarbeitungstechniken wird auf Gewebetypen mit verschiedenen architektonischen Merkmalen, wie Brustgewebe, Darmgewebe, Prostatagewebe, Speiseröhrengewebe, Hautgewebe, Gebärmutterhalsgewebe etc., angewandt. Diese Gewebe weisen unterschiedliche Morphologien auf und durchleben unterschiedliche Neoplasmen, die normalerweise aus einer Zellmutation, wie sie durch ein Karzinom bedingt sein kann, oder aus einer durch Hormone, Wachstumsfaktoren oder andere Anreger abnormalen Gewebewachstums bedingten Zellwucherungsrate resultieren. Oftmals ist es gewünscht, kleine Änderungen in der Neoplasmen im Anfangsstadium, oder durch eine Serie von in kurzen Zeitintervallen durchgeführten Analysen zu quantifizieren, um zu messen, ob der Neoplasma-Fortschritt zunimmt oder sich verlangsamt, gestoppt oder rückläufig ist.
Normalerweise werden die Gewebeproben geschnitten, um die Basisschicht zur Durchsicht unter das Mikroskop freizulegen.
Typischerweise werden die quantitativen Messungen bei 40x durchgeführt, um 100 bis 400 Gewebebilder zu erhalten. Das 40x-Objektiv liefert ein schmales Sichtfeld eines sehr kleinen Teils der gesamten Basisschicht. Oft ist die Basisschicht etwas länglich und üblicherweise linear, wie eine Basisschicht in einer Ratten-Speiseröhre; und die Analyse der Basisschicht erfordert es, sie entlang ihrer Länge zu untersuchen. Die Basisschicht in einem Mausdarm ist eher in Form einer irregulären, kreisrunden Gestalt; und die Analyse dieser Basisschicht erfordert es, über diese kreisrunde Gestalt zu fahren. In Proben von Brustgewebe können sich verdächtige Krebsbereiche an weit beabstandeten Punkten im gefleckten Gewebe befinden; und es soll möglich sein, zu diesen besonderen, verdächtigen Bereichen zu navigieren und zu fahren und in diesen Bereichen auf effektive Weise die 40x-Analyse durchzuführen. Es besteht das Bedürfnis, es einem erfahrenen Bediener zu ermöglichen, mit der Analyse zu interagieren, um solche Regionen auf eine interaktive Weise zu lokalisieren und zu kennzeichnen. Speziell eine interaktive Weise, die ähnlich und konsistent mit der manuellen Bedienung eines Mikroskops wäre, wobei eine Hochleistungsvergrößerung und eine Niedrigleistungsvergrößerung simultan verfügbar wäre, allerdings auf einem Computerbildschirm durchgeführt würde. Ein solches Niveau an Interaktion unterscheidet sich von der Interaktion mit dem in den oben aufgeführten Bacus-Patenten offenbarten System. Es besteht eine Notwendigkeit, das Niveau der Interaktion auf ein höheres Niveau zu bringen und jede Komponente, den Mensch und den Computer, den Teil auf kosteneffektivste Weise durchführen zu lassen, den es am besten kann.
Aktuell geschieht das Archivieren der durch ein Mikroskop erhaltenen digitalen Bilder oft mittels Photographien oder mittels Videobändern. Die Photographien wie auch ein Videoband sind schwer zu verwenden, speziell wenn sich der Benutzer schnell zwischen verschiedenen Bildern hin und her bewegen will und durch verschiedene, benachbarte Teile des Probenbilds scrollen will. Weiter fehlt aktuellen Archivierungsmethoden ein Gesamtmakrobild der Probe, welches dem Benutzer Kenntnis davon verleiht, woher die spezielle hoch-aufgelöste Ansicht stammt, während der Benutzer eine Analyse des hoch-aufgelösten Bildes durchführt.
Während digitalisierte Bilder magnetisch oder anders digitalisiert gespeichert werden können und auf verschiedenen Aufzeichnungsmedien aufgezeichnet werden können, ermöglicht es kein aktuelles Archivierungssystem dem Benutzer, zwischen Bildern hoher Vergrößerung und Bildern niedriger Vergrößerung oder zwischen verschiedenen Bildern mit unterschiedlichen Vergrößerungen hin und her zu schalten, wie es von einem Pathologen erreicht würde, der Mikroskop-Objektivlinsen in Echtzeit wechselt, um Makro- und Mikro-Bilder vom gleichen Ort der Probe zu erhalten. Vormals war die Tätigkeit des Pathologen ziemlich auf die Benutzung von Mikroskopen begrenzt und der Pathologe musste das Mikroskop verwenden, um die jeweilige Probe nochmals anzusehen.
Es besteht der Bedarf nach einem dynamischen System, bei dem ein oder mehrere oder etliche Pathologen inklusive einem beratschlagenden Pathologen, den gleichen Bereich simultan ansehen können und entweder in einer Diagnose oder einer Analyse untereinander interagieren können. Auch wäre es am besten, wenn die Bilder von der Probe derart gespeichert werden können, dass ein Pathologe die Bilder zu einem späteren Zeitpunkt in seiner Freizeit mit Hilfe eines Intranet- oder Internet-Browsers untersuchen könnte, indem er lediglich die entsprechende Webseite aufruft, auf der die Bilder lokalisiert sind.
Ein ähnliches Problem existiert im Internet oder Intranet, wo ein Pathologe ein einzelnes Sichtfeld eines vergrößerten Bildes, das von einer Probe über das Internet oder das Intranet auf seinen Browser geleitet wurde, erhalten kann.
Der Pathologe muss mit Erläuterungen versorgt werden, um die Ansicht hoher Auflösung mit der Ansicht niedriger Auflösung zu koordinieren. Die dem Pathologen zur Verfügung stehende Anzahl an Ansichten ist sehr begrenzt, und der Pathologe kann keine anderen Ansichten auswählen oder zu benachbarten Ansichten in den Bereichen, die für den Pathologen am interessantesten sind, scrollen.
Auf dem Markt sind computergesteuerte, automatisierte Mikroskope, wie die von Carl Zeiss, Inc., Thornwood, N.J., unter dem Namen Axioplan 2 verkauften, verfügbar, um photographische Bilder von einer Probe im Mikroskop-Sichtfeld aufzunehmen. Diese entsprechenden Mikroskope haben computergesteuerte und automatisch angepasste Subsysteme, wie ein Beleuchtungssubsystem, ein Fokussierungssubsystem, ein Subsystem für eine Blende oder optische Haltepunkte, ein Subsystem für optische Linsen oder ein Filtersubsystem. Wenn ein Benutzer Änderungen von einer Objektivlinse, wie von einer mit niedriger Vergrößerung, beispielsweise 4x, zu einer höheren Vergrößerung, beispielsweise 40x, wählt, dreht das computerautomatisierte System den Linsenrevolver, um automatisch zur höheren Vergrößerung zu wechseln, und passt auch automatisch die Beleuchtung an, um grelles Licht zu unterbinden und um Leuchtdichte umfassende, geeignet helle Beleuchtung (eng: light illumination) bereitzustellen. Weiter wird der Fokus angepasst und die geeigneten Blendenöffnungen werden automatisch nachgestellt. So werden die computergesteuerten, automatischen Subsysteme automatisch auf gespeicherte und für jede ausgewählte Objektivlinse vorbestimmte Werte nachgestellt und die Analyse wird durchgeführt.
Solche entsprechenden Mikroskope können verwendet werden, um verschiedene Objekte und Proben anzusehen, werden aber typischsterweise verwendet, um unbewegte Photographien von biologischen Proben, wie Geweben oder Zellen, anzusehen und aufzunehmen. Diesen entsprechenden Mikroskopen fehlt es an einem computergesteuerten X und Y Objekttisch, um den probentragenden Objektträger bezüglich des Sichtfeldes der ausgewählten Objektivlinse zu versetzen. Augenblicklich wollen Pathologen und andere, die solche Mikroskope verwenden, die Probenbilder in voller Farbe oder in verbesserten Farben mit fluoriszierender Beleuchtung und/oder monochromatische Bilder unter Verwendung der an Mikroskopen angebrachten automatisierten Filtersubsysteme ansehen. Aktuell ausgebildete Pathologen oder Krankenhausärzte sind daran gewöhnt, manuell zu arretieren und sie haben ein Mikroskop dabei, um größere Bereiche der Probe mit niedriger Vergrößerung anzusehen, und dann vorübergehend zu einer neuen Linse mit höherer Vergrößerung zu schalten, um ein hoch vergrößertes Bild eines Teil der bei niedriger Vergrößerung angesehenen Probe zu erhalten. Pathologen und solche in diesem Bereich Arbeitende wünschen sich verdächtiges Gewebe so anzusehen, als wenn sie Probengewebe durch ein Mikroskop ansehen und sie scheinen Analysensystemen zu widerstehen, die ihnen diese Möglichkeit nicht bieten.
Das Mikroskopsichtfeld verringert sich sehr wesentlich, wenn die Vergrößerung zunimmt. Das Wissensniveau des Krankenhausarztes und/oder Pathologen ist wichtig, um die verdächtigen Bereiche oder interessanten Punkte der Probe zur Ansicht zu lokalisieren. Manchmal führt ein Assistent eine erste Untersuchung und Analyse durch. Ein Pathologe kehrt auf die ausgewählten, interessanten Punkte oder andere interessante Punkte zur nochmaligen Ansicht und Analyse zurück. Eine Sorge bezüglich einer quantitativen Analyse von Brustkrebsgewebe oder Prostatabiopsie, Gewebeproben für Papp-Abstriche oder anderen Tests für verschiedene Krebse oder ähnlichem ist, dass ein entsprechend verdächtiger Punkt im Gewebe während der visuellen Untersuchung oder für eine Auswahl für eine automatisierte, nochmalige Sicht-Analyse übersehen oder ausgelassen werden könnte. Bei Betrachtung bei hohen Vergrößerungen ist das Sichtfeld auf einen sehr kleinen Bereich der Probe begrenzt. Demzufolge hat der Betrachter Schwierigkeiten, die eigentliche, exakte Position dieser kleinen periskopischen Ansicht innerhalb der sehr großen gesamten Probe zu kennen und sich daran zu erinnern.
Oft ist auch das Problem, das Gewebe oder die Zellen zur Ansicht bei höherer Vergrößerung derart zu finden oder zu lokalisieren, dass kleine Prüfgegenstände und/oder freie Räume auf dem Objektträger nicht zu sehen sind. Es wurde eine große Zahl von Ansätzen vorgeschlagen, um die Zellen oder kleinen, interessanten Punkte aus einer sehr großen Anzahl potentieller, interessanter Punkten durch eine X- und Y-Adresse zu lokalisieren und vorzuprüfen.
Aktuell sind kommerzielle Dienste zur Vorüberprüfung von Papp-Abstrichen verfügbar, bei denen man Objektträger einsenden kann und der Dienst einen mikroskopischen Vorabscan bei höherer Vergrößerung für vermutete oder verdächtige, interessante Bereiche, durchführt, welche markiert und mit Lageadressen versehen werden, und auch ein Videoband der Objektträgerprobe wird durch diesen Dienst dem Absender zurückgesandt. Der Absender betrachtet dann die interessanten, während der Voruntersuchung lokalisierten Bereiche und/oder das Videoband nochmals, um die Analyse abzuschließen.
In einem Ansatz, ein Lokalisieren und eine nochmalige Ansicht bestimmter interessanter Punkte zu ermöglichen, offenbart das US-Patent Nr. 5,428,690 von Bacus ein System zur Vorprüfung eines Zellen-Feldes auf einem Probenobjektträger bei niedriger Vergrößerung vorab dem Betrachter. Wenn der Betrachter einen interessanten, bei einer höheren Vergrößerung zu betrachtenden Punkt sieht, bedient er einen Schalter oder ähnliches, um die Adresse dieser ausgewählten, vorüberprüften, interessanten Punkte auszuwählen und aufzuzeichnen. Später werden diese vorüberprüften, interessanten Punkte in Position gebracht, um bei höherer Vergrößerung analysiert zu werden. Dieses System ist ziemlich langsam oder zu langsam für viele Anwendungen.
Ein sehr teures System wird zur Zeit verwendet, in dem ein in einem diagnostischen Zentrum befindlicher Pathologe eine diagnostische Meinung bezüglich Proben unter einem Mikroskop an einem entfernten Zentrum abgeben kann. Der Pathologe im diagnostischen Zentrum bedient robotische Steuerungen, um telepatische Signale über einen reservierten Satelliten oder einen anderen großen Breitbandkanal zu senden, um das Mikroskop von einem entfernten Ort in annähernd Echtzeit zu steuern. Der Pathologe kann dann das entfernte Mikroskop manövrieren, um das Sichtfeld des Mikroskops zu verschieben und um telepatisch ein hoch-vergrößertes, sehr kleines Bild zurück zum Pathologen zu senden. Dieses System erfordert es für jeden Teilnehmer, ein spezielles, durch Manipulation der robotischen Steuerungen am diagnostischen Zentrum manipulierbares Mikroskop betriebsbereit zu haben und einen reservierten Kanal oder Kanal mit großer Bandbreite zu haben, um Videosignale in Echtzeit zu übertragen, und deshalb in sehr hohen Kosten für die durchzuführende Untersuchung resultiert. Um den Pathologen zu unterstützen, am entfernten Ort innerhalb der Probe zu bleiben, wird eine Umfangskante oder Karte der Probe unter Verwendung einer zweiten Videokamera und einer Lichtbox angefertigt, oder indem eine computerbasierende Scanausrüstung zum Verfolgen der äußeren Linie oder Umfangskante der Probengrenzen verwendet wird. Ein kleiner Lichtkreis wird derart in der Karte der Probe angezeigt, dass der Pathologe am diagnostischen Zentrum den Ort des Sichtfeldes des hoch-vergrößerten Bildes innerhalb der Probe kennt. Auf gewisse Weise bedient der Pathologe auf gleiche Weise in Echtzeit, als wenn er sein eigenes Mikroskop im diagnostischen Zentrum benutzen würde, abgesehen von einer leichten Übertragungsverzögerung zur Übertragung der Videosignale des hoch-vergrößerten Bildes über den großen Breitbandkanal. Obwohl der Pathologe eine kleine Karte oder Umfangslinie der Probe hat, ist das Sichtfeld des Pathologen der eigentlichen Probe lediglich ein kleiner Sichtkreis, der durch die Mikroskopobjektivlinse kommt. Dies hilft dem Pathologen nicht, verdächtige, interessante Bereiche während einer Vorprüfung des gesamten Gewebes zu lokalisieren. Der Pathologe kann auf die niedrigste Vergrößerung schalten, um das größte Ansichtsfeld einer kleinen Sektion der Probe zu erhalten, aber er sieht niemals die gesamte Probe bei irgendeiner Vergrößerung. Auch gibt es keine Bildanalyse oder quantitativen Test von den empfangenen Bildern im diagnostischen Zentrum; und es wird keine quantitative Untersuchung mit diesen Bildern im diagnostischen Zentrum durchgeführt.
Es gibt heutzutage ein besonderes Interesse, das Internetsystem zu nutzen, weil es so einfach für Benutzer bei geringen Kosten verfügbar ist, und einen Computer und einen mit dem Computer verbundenen Bildschirm zu benutzen. Ein Problem beim Versuch jeglicher Übertragung von digitalisierten, mikroskopischen, hoch-aufgelösten Bildern über das Internet ist, dass die Bandbreite zu schmal ist, um die gewaltige Menge gespeicherter Daten, die übertragen werden müssen, unterzubringen. Es besteht der Bedarf nach einem System, das es einem Pathologen oder einer anderen Person erlaubt, Gewebeanalysen oder quantitative Untersuchungen mittels eines Standard-Computerterminals von einem, vom automatisierten, das die optischen Bilder digitalisierenden Mikroskopsystem entfernten Ort durchzuführen.
Im Artikel „Image acquisition of microscopic slides" von Earl Henderson und James R. Seamans, der im „Proceedings of the SPIE" Ausgabe 2173, Seiten 21–27, veröffentlicht durch die International Siciety for Optical Engineering, wird ein System beschrieben, in dem eine Probe auf einem Mikroskop Objektträger bei verschiedenen unterschiedlichen Vergrößerungen abgebildet wird, einschließlich einem „Basisbild" mit niedriger Vergrößerung und höheren Vergrößerungen. Bei den höheren Vergrößerungen sind die Bilder jeweils nur aus einem kleinen Segment der Probe. Diese Bildsegmente, die 50% überlappen, werden durch einen Auto-Korrelations-Algorithmus miteinander verknüpft, um eine Bilddatei der Probe mit höherer Definition bei allen höheren Vergrößerungen auszubilden.
In den Artikeln „Implementing a Collaboratory for Microscopic Digital Anatomy", von Young, S.J. et al., das im International Journal for Supercomputer Applications and High Performance Computing, Herbst 1996 USA Vol. 10, Seiten 170–181 erschienen ist, und "Telemicroscopy" von Fan G. Y., das in Ultramicroscopy Dezember 1993, Seiten 499–503 erschienen ist, sind Forschungsarbeiten beschrieben, die ein an der Universität von Kalifornien in San Diego aufgestelltes Hochspannungselektronenmikroskop für eine entfernte Steuerung und Betrachtung für andere Forscher an anderen Orten über das Internet verfügbar machen sollte. Die entfernte Steuerung umfasst eine Einstellung der Mikroskopvergrößerung. Die Bilder werden als Mosaik rück-übertragen, um an dem entfernten Ort wieder zusammengesetzt und angezeigt zu werden.
Das MAC 2000 Konfigurationshandbuch, überarbeitet am 12. April 1995, Ludl Elecronic Products Ltd., beschreibt den MAC 2000 als ein modulares System, um eine automatische Steuerung bereitzustellen. Das System kann mit unterschiedlichen Modulen konfiguriert sein, um auf verschiedene Aufgaben zu passen, zum Beispiel mit Mikroskopen. Verschiedene Systeme sind als Produkte definiert, die die MAC 2000 Steuereinheit verwenden. Motorisierte XY(Z) Objekttische sind die häufigsten Konfigurationen für den MAC 2000. Der MAC 2000 kann auch als Photometersteuerung, Filter/Blendensteuerung, oder als eine Autofocussteuerung, um einige zu nennen, konfiguriert sein. Jede Kombination der zuvor genannten ist auch möglich. Das Handbuch beschreibt die möglichen Konfigurationsoptionen für jeden Typ des Moduls im MAC 2000.
Inhalt der Erfindung
Gemäß der vorliegenden Erfindung wird ein Verfahren, wie in Anspruch 1 dargelegt, bereitgestellt. Die vorliegende Erfindung stellt auch ein System, wie in Anspruch 12 dargelegt, bereit.
Optionale Merkmale sind in den anderen Ansprüchen dargelegt.
Gemäß einer Ausführungsform kann eine Person, wie ein Pathologie an einem Computerterminal auf einem Computerbildschirm oder Monitor digitalisierte Bilder einer Mikroskop-Probe bei unterschiedlichen Vergrößerungen, wie sie von der Person ausgewählt wurden, betrachten. Weiter kann die Person auf dem Bildschirm ein niedrig vergrößertes, rekonstruiertes Bild der gesamten Probe erhalten, um der Person dabei zu helfen, interaktiv interessante Punkte auf der Probe auszuwählen, wie entlang einer Basisschicht von einer Gewebeprobe.
Das kleine Sichtfeld des Mikroskops und die Begrenzung einer Probe wird spezieller und gemäß einer Ausführungsform dadurch überwunden, dass dem Betrachter ein rekonstruiertes, digitalisiertes und vergrößertes Bild der gesamten Probe, (oder eines sehr großen Teils der Probe) bereitgestellt wird, um eine visuelle Analyse des gesamten Gewebes in voller Farbe durchzuführen, um bei einer Auswahl der interessanten Punkte, die bei einer höheren Vergrößerung und höheren Auflösung betrachtet werden sollen, behilflich zu sein. Dies wird dadurch erreicht, dass eine große Anzahl von Bildern mit niedriger Vergrößerung der Probe durch ein Mikroskopscanning-System aufgenommen und gespeichert werden, beispielsweise 35 Bildscheiben der Probe bei 1.25X, und dann diese gespeicherten Bildscheiben zusammenzusetzen und koordinieren, um ein niedrig vergrößertes Gesamtbild der Probe zu bilden, d.h. ein Makrobild der Probe. Vorzugsweise wird das digitalisierte, gespeicherte Makrobild größenmäßig durch ein Softwaresystem auf eine kleinere Größe reduziert, beispielsweise ein ¼-so großes Bild, und wird in der Größe auf ein Makroscheibenbild reduziert, das an einem lokalen Bildschirm angezeigt wird oder über eine geringe Bandbereite oder einen hohen Bandbreitenkanal zu einem entfernten Bildschirm gesendet wird. Der Pathologe braucht nicht nur keine anderen Personen, um eine langsame, arbeitsintensive Vorüberprüfung durchzuführen, um verdächtige Bereiche für eine Analyse oder für eine Betrachtung bei höherer Vergrößerung zu lokalisieren, sondern er kann seine eigene Erfahrung verwenden, um direkt zu den höchst-verdächtigen Bereichen zu gehen, die er auf dem Makrobild sieht. Er kann sich nach Priorität des höchst-verdächtigsten Bereiches zuerst annehmen, gefolgt durch interessante Bereiche geringerer Priorität.
Gemäß einer Ausführungsform wird ein neues und verbessertes, mikroskopisches Displaysystem bereitgestellt, dass das zusammengesetzte Bild niedriger Vergrößerung der Probe anzeigt, um es dem Benutzer zu ermöglichen, interessante Punkte, von denen jeder bei hoher Vergrößerung und Auflösung angezeigt werden kann, anzusehen und interaktiv auszuwählen. Dies wird dadurch erreicht, dass der Benutzer mit einem Marker, wie zum Beispiel einem Zeiger oder ähnlichem ausgestattet wird, um die definierten, interessanten Bereiche aus dem gespeicherten Makrobild auszuwählen und reproduzierte, räumlich benachbarte digitalisierte Bilder mit hoher Auflösung aus dem ausgewählten, interessanten Bereich zu erhalten. Genauer gesagt, werden die Adressen oder Orte der Scheibenbilder und/oder Pixel für das Makro-Bild der Probe aufgenommen, wenn die Probe zuerst bei niedriger Vergrößerung gescannt wird, um eine Makroansicht der Probe zu erhalten. Deshalb weist jede ausgewählte, interessante Region im Makrobild Orte auf, zu denen der Mikroskop-Objekttisch unter einer geänderten, höheren Vergrößerungslinse zurückgesetzt werden kann, um digitalisierte Bildscheiben mit höherer Vergrößerung aufzunehmen, die in ein Mikrobild zusammengesetzt werden können. Dabei sind sowohl die Makroals auch die Mikrobilder aus benachbarten, digitalisierten Bildscheiben ausgebildet, die koordiniert wurden, um das gescannte Originalbild räumlich zu reproduzieren.
Es sind die Bilder hoher Vergrößerung, üblicherweise bei 40X, die unter Verwendung von Bildverarbeitungstechniken, wie in den zuvor genannten Patentanmeldungen offenbart, analysiert werden, um eine Untersuchung oder numerisch histologische Daten für die Probe bereitzustellen.
Gemäß der bevorzugten Ausführungsform der Erfindung könnte der Pathologe es wünschen, eine größere Region zur Analyse bei hoher Auflösung zu sehen, als bei dieser Vergrößerung auf seinem Bildschirm mit hoher Vergrößerung untergebracht werden könnte. Der Pathologe kann schnell die Ansicht auf seinem Bildschirm wechseln, um benachbarte, hoch-vergrößerte, digitalisierte Bildscheiben bei dieser hohen Auflösung zu sehen, indem er hoch oder runter oder von rechts nach links scrolled, um diese digitalisierten, benachbarten Bildscheiben in die Ansicht auf dem Bildschirm zu verschieben. So kann der Pathologe auch bei einer höheren Vergrößerung einer Region eine viel größere Ansicht als das kleine Feld erhalten, damit ihm die für benachbarte Gewebe oder Zellen verwendete Objektivlinse eine breitere Gesamtperspektive davon gibt, was in der besonderen Sektion einer Probe passiert oder passiert ist. Zum Beispiel möchte ein Pathologe einen verdächtigen Bereich bei einer hohen Vergrößerung sehen und diesen bei dieser hohen Vergrößerung untersuchen, dann kann der Pathologe eine Markierung um den Bereich zeichnen und ihn dann damit untersuchen und anzeigen lassen.
Durch Anzeige auf einem Bildschirm niedriger Vergrößerung oder einem Teilbildschirm (eng: split screen) des gesamten, zusammengesetzten Bereichs, durch Markierung der Region mit hoher Auflösung auf dem Bildschirm niedriger Auflösung, und durch scrollen der Region, um benachbarte Bilder mit hoher Vergrößerung auf dem Bildschirm hoher Vergrößerung zu sehen, hat der Pathologe Informationen zur Verfügung, um ihn intelligent unterstützend innerhalb der Probe bei seiner Suche nach Krebsgewebe oder ähnlichem für weitere Inspektion oder Messung der bösartigen Charakteristiken zu führen. Oft hat der Pathologe Schwierigkeiten, wenn er auf ein Sichtfeld eines Mikroskopobjektivs eingeschränkt ist, sprichwörtlich den Wald vor lauter Bäumen zu sehen. In der vorliegenden Erfindung steht dem Pathologen eine volle, vergrößerte, größenmäßig reduzierte Ansicht der Probe zur Verfügung, bei der der höhere Bildbereich markiert ist, und er dadurch geführt wird und somit "den Wald sehen kann". Er kann auch eine Region des Waldes bei höherer Vergrößerung sehen, indem er nahe Baum-Bilder auf den Bildschirm hoher Vergrößerung scrolled. Gemäß einer weiteren Ausführungsform kann der Benutzer bestimmen, eine mittlere Vergrößerung und Auflösung anzusehen. Im bevorzugten System werden mindestens drei Vergrößerungsbilder aufgenommen und als digitalisierte Bilder gespeichert. Die Bilder mit mittlerer Auflösung können entweder aufgenommen werden, indem automatisch auf eine neue Objektivlinse gewechselt wird und neue digitalisierte Bildscheiben bei der mittleren Vergrößerung aufgenommen werden oder indem Software verwendet wird, um ein neues, mittleres, digitalisiertes Bild aus den existierenden digitalisierten Bildern mit hoher und niedriger Vergrößerung zu rekonstruieren.
Das bevorzugte Bild mit niedriger Vergrößerung, das größenmäßig reduziert wurde, kann über Kanäle mit schmalerer Bandbreite übertragen werden, wie ein lokales Netzwerk (LAN), oder über verschiedene Server und Computer über das Internet. Ebenso können die rekonstruierten Bilder mit höherer Vergrößerung über solche Kanäle mit schmaler Bandbreite übertragen werden.
Das bevorzugte Mikroskop ist vollkommen computergesteuert, wobei ein Pathologe oder eine andere Person einen geteilten Bildschirmcomputer wie einen PC hat, mit dem Mikroskop verbunden sein kann und von einem entfernten Ort bedient werden kann, wobei das Computermikroskopsystem das Makrobild digitalisiert und aufbaut. Ebenso kann der Pathologe an die interessanten Punkte navigieren und mit dem Computermikroskopsystem die gewünschten Mikrobilder digitalisieren und aufbauen. Mit einer Ausführungsform besteht kein Bedarf nach einem besonderen Mikroskop an jedem entfernten Ort noch für einen Breitbandkanal, um zwischen dem diagnostischen Zentrum und dem entfernten Ort Videosignale in Echtzeit zu befördern.
Kurze Beschreibung der Zeichnungen
1 ist eine Bildschirmansicht eines die vorliegende Erfindung umfassendes Systems, das ein Bild einer Probe mit niedriger Vergrößerung auf einem Mikroskop-Objektträger in einem Fenster, ein Bild mit hoher Vergrößerung eines mittels einer Regionsmarkierung ausgewählten Teils des Bildes mit niedriger Vergrößerung und ein Steuerungsfenster zeigt;
2 ist eine Ansicht eines Bildschirm-Display des die vorliegende Erfindung umfassenden Gerätes, das das Kontrollfenster, ein Fenster niedriger Vergrößerung mit einer Vielzahl von darin skizzierten Mikrobildregionen mit hoher Vergrößerung und ein Fenster hoher Vergrößerung mit einer oder mehreren Mikrobildregionen zeigt;
3 ist eine Ansicht ähnlich 2, umfassend das Kontrollfenster, aber auch eine Region niedriger Vergrößerung vom Objektträger umfassend, die mittels eines histologischen Rangs oder Struktur durch automatische Analyse von Gewebe markierte Regionen zeigt, und ein Fenster hoher Vergrößerung, das Markierungen zeigt, die sich auf die Einstufung oder den histologischen Grad beziehen und durch die automatische Gewebeanalyse in Kombination mit einem, einen numerischen Wert anzeigenden Fenster gewonnen wurden;
4 ist ein Blockdiagramm des die vorliegende Erfindung umfassenden Geräts;
5 ist ein Blockdiagramm eines Teils des in 4 gezeigten Gerätes, das Details einer mechanischen Anordnung eines Mikroskops zeigt;
6 ist ein Flussdiagramm, das sich auf die Bedienung des Gerätes bezieht;
7 ist ein Flussdiagramm von Details von einem der Schritte in 6;
8 ist ein Display-Bildschirm, der zu manipulierende Steuerungsparameter darauf anzeigt;
9 ist ein Flussschema für eine regionsausgelagerte Routine;
10 ist ein Flussschema für eine Scan- und Analyseroutine;
11 ist eine schematische Anzeige der Bewegungsgrenzen des Mikroskop-Objekttisches im Bezug auf die Bildscheiben;
11A ist eine perspektivische Ansicht des Mikroskop-Objekttisches und Schrittmotoren und Gebern, die einen Regelkreisantrieb für Motoren bereitstellen;
12 ist ein Blockdiagramm eines Netzwerksystems, das es multiplen Arbeitsstationen erlaubt, Zugang zu diagnostischen Bildinformationen zu bekommen und solche Informationen lokal an jeder Arbeitsstation zu manipulieren;
12A ist eine Ansicht des in Verbindung mit 5 beschriebenen Systems;
13 ist ein Blockdiagramm eines entfernten Netzwerksystems zur Verteilung und zum Zugang diagnostischer Bilder und Daten direkt oder über ein Paketnetzwerk eines hypertext-transport-Protocol (HTTP) basierenden Servers;
14 ist eine Ansicht eines rekonstruierten Bildes mit niedriger Vergrößerung von einer Basisschicht einer Speiseröhre einer Ratte;
14A ist eine Ansicht eines rekonstruierten Bildes mit hoher Vergrößerung von einem ausgewählten, interessanten Punkt aus 14;
15 ist eine Ansicht eines Bildes mit niedriger Vergrößerung von einem eine Basisschicht aufweisenden Mäusedarms mit;
15A ist eine Ansicht eines rekonstruierten Makrobildes von einem Mäusedarms;
16 ist eine schematische Ansicht einer Analyse aus Regionen von einer Basisschicht;
16A ist eine schematische Ansicht einer Analyse, um einen Z-Wert zu erhalten; und
17 ist eine schematische Ansicht, die Texturanalysetests für Regionen zeigt.
Detaillierte Beschreibung der bevorzugten Ausführungsform
Jetzt bezüglich der Zeichnungen, und speziell der 4 und 5, ist darin ein Gerät zum Synthetisieren mikroskopischer Bilder mit niedriger Vergrößerung gezeigt und hoher Vergrößerung und generell durch eine Referenznummer 10 gekennzeichnet. Das System weist einen Computer 12 auf, der ein Dual-Pentium-Pro PC (Personal Computer) in Kombination mit einer mit einem Zeiss Axioplan-2-Mikroskop 16 verbundenen Hitachi HV-C20 Videokamera 14 ist. Das Computersystem 12 kann Signale von der Kamera 14 empfangen, welche Licht vom Mikroskop 16 einfängt, das einen auf einem LUDL-codierten, motorisierten Objekttisch 20 positionierten Mikroskopträger 18 aufweist. Der codierte, motorisierte Objekttisch 20 weist einen MAC 2000-Objekttisch-Controller auf, um den Objekttisch als Antwort auf den Computer 12 zu steuern. Ein Mikroskop-Objektträger 18 weist eine biologische Probe 21 auf, die durch das Mikroskop angesehen werden soll und deren Bild, wie durch einen Benutzer ausgewählt, sowohl bei niedriger Vergrößerung und bei hoher Vergrößerung digitalisiert werden soll. Das digitalisierte Bild mit niedriger Vergrößerung wird dann auf einem 21 Inch Iiyama-Video-Anzeige-Monitor 22 angezeigt, der eine Auflösung von 1600 zu 1200 aufweist, um Bildschirm-Displays nach der in 1 bis 3 gezeigten Art einschließlich einem Bild mit niedriger Vergrößerung 24 zum Beispiel bei 1.25-fachen Leistung, ein Bild mit hoher Vergrößerung 26, zum Beispiel bei 40-facher Leistung und ein Steuerungsfenster oder Bild 28 bereitzustellen. Das Bild mit niedriger Vergrößerung kann darin eine Region 30 identifiziert haben, die bei einer hohen Vergrößerung in einem Bildschirm oder Fenster 26 mit hoher Vergrößerung derart reproduziert wird, dass ein Pathologe oder ein anderer Benutzer des Systems architektonische, interessante Regionen in einem Bild mit niedriger Vergrößerung 24 nochmals anschauen kann und sie simultan in hoher Vergrößerung in einem Bildschirm oder Fenster 26 mit hoher Vergrößerung anschauen kann, um festzustellen, ob die einen Teil des architektonischen Merkmals bildenden Zellen weiter nach Krebs oder ähnlichem untersucht werden müssen, oder nicht.
Der Computer 10 ist um einen PCI-System-Bus 40 aufgebaut und weist einen hierzu verbundenen ersten Pentium-Pro-Mikroprozessor 42 und einen zweiten Pentium-Pro-Mikroprozessor 44 auf. Am System-Bus 40 ist ein PCI-Bus 50 und ein ISA-Bus 52 verbunden. Der PCI-Bus 50 weist einen hierzu verbundenen SCSI-Controller 60 auf, um Informationen von einer Festplatte 62 zu senden und zu empfangen. Die Festplatte 62 ist auf eine Art SCSI-Reihenschaltung mit einem Wechsellaufwerk mit hoher Kapazität und mit einem CD-ROM-Laufwerk 66 verbunden. Die Festplatte 62 weist die Programme zum Bedienen des Systems zum Steuern des Mikroskops 16 und zu weiteren Verarbeitung der Bilder, sowie zum Durchführen einer quantitativen Analyse der gewählten Teile der auf dem Objektträger 18 betrachteten histologischen Proben auf. Am System-Bus 40 ist auch ein Arbeitsspeicher 70 verbunden, in dem Teile des ausgeführten Programms gespeichert sind, sowie einen Nur-lese-Speicher 72 (eng.: read only memory) zum Beherbergen eines Urladeprogramms sowie Teile des grundlegenden Input/Output-Bediensystems. Ein Disketten-Controller 74 (eng.: floppydisk-controller) ist mit dem System-Bus 40 verbunden und weist ein mit ihm verbundenes Diskettenlaufwerk 70 zum Lesen und Schreiben von Informationen auf eine Diskette, soweit erforderlich, auf. Ein Maus-Controller 80 ist mit dem System-Bus verbunden und weist eine Maus 82 auf, die als Zeigegerät fungiert, um Manipulationen auf dem Bildschirm 22 und in den Fenstern 24, 26 und 28 zu steuern. Ein Tastatur-Controller 90 ist mit dem System-Bus verbunden und weist eine hierzu verbundene Tastatur 92 auf. Die Tastatur 92 kann dazu verwendet werden, alpha-numerische Signale zu anderen Teilen des Computers zu senden und zu empfangen. Ein Audio-Controller 100 weist eine Vielzahl von Lautsprechern 102 und ein hierzu verbundenes Mikrofon 104 für einen Audio-Input und einen Audio-Output auf, und ist mit dem System-Bus 40 verbunden. Ein Netzwerkinterface, wie zum Beispiel eine Netzwerkinterfacekarte 104, ist mit dem System-Bus verbunden und kann Signale über einen Kanal 106 zu anderen Teilen eines Netzwerkes oder zum Internet liefern, mit dem das System verbunden sein kann. Ebenso können Signale aus dem System über ein mit dem ISA-Bus 52 verbundenes Modem 110 gesendet werden und können über einen Kanal 112 zum Beispiel ins Internet gesendet werden. Ein Drucker 116 ist über einen parallelen I/O-Controller 118 mit dem System-Bus verbunden, um Ausdrucke, soweit erforderlich, von Bildschirmen und andere generierte Information zu liefern. Ein serieller I/O-Controller 122 ist mit dem System-Bus verbunden und weist einen mit ihm verbundenen Kamera-Controller 124, der mit CCD-Sensoren 126 in den Kameras verbunden ist. Die CCD-Sensoren 126 liefern Pixel oder Bildsignale, die darstellen was sich auf dem Objektträger 18 befindet, zu einem mit dem PCI-Bus 50 verbundenen Epix-Pixci-Bild-Aufnahme-Controller 130 (Epix pixci image acquisition controller).
Das Mikroskop 16 weist eine Basis 140 mit einem hierauf positionierten Objekttisch 20 sowie einen Objektivrevolver 142 mit einer Vielzahl von Objektiven 144, 146 und 148 hierauf auf. Das Objektiv 144 kann zum Beispiel ein 1.25x-Objektiv sein. Das Objektiv 146 kann ein 20x-Objektiv sein. Das Objektiv 148 kann ein 40x-Objektiv sein. Signale von den Kamerasensoren und Controllern werden über einen Bus 128 zu einem Bildaufnahmesystem geliefert, wo sie digitalisiert werden und zu einem PCI-Bus geliefert werden, um im RAM gespeichert oder zusätzlich auf der Festplatte 62 gesichert zu werden.
Wenn sich eine Probe auf dem Objektträger 18 befindet, kann der Objekttisch 20 unter der Regelung des Computers durch einen mit einem seriellen I/O-Controller 122 verbundenen Objekttisch-Controller 160 manipuliert werden. Ebenso regelt der Mikroskop-Controller 162 Perspektiveneinstellungen des Mikroskops, wie die Beleuchtung, die Farbtemperatur oder den spektralen Output der Lampe 168 und ähnlichem. Wenn zum Beispiel eine Probe bei normaler Bedienung auf einem Objektträger platziert wird, wird der Proben-Objektträger 18 auf dem Objekttisch 20 in einem Schritt 200, wie in 6 gezeigt, platziert, und die Prozessoren 42 und 44 senden einen Befehl über den System-Bus, dass der serielle I/O-Controller 122 dem Mikroskop-Controller signalisiert, in einem Schritt 202 die Vergrößerung auf 1.25X zu ändern. Dies wird durchgeführt, indem der Objektivrevolver des Axiollan-2-Mikroskops zur Auswahl des Objektivs 144 gedreht wird. Ebenso stellt der Controller die Farbtemperatur der Lampe 168, ein Paar von Graufilter-Rädern 170 und 172 und eine Feldblende 174 für die korrekte Beleuchtung ein. Eine Kondensatorblende 176 wird ebenfalls gesteuert und ein Farbfilterrad 180 kann ebenfalls gesteuert werden, um die geeignete Filterfarbe für die CCD-Sensoren 126 in der Kamera anzuwenden. Der gesamte Objektträger wird dann in einem Schritt 204 gescannt. Die Bilder werden in Scheiben geteilt und in ein, auf dem Bildschirm geliefertes Gesamtbild 24 zusammen geschmolzen, um den Bediener in einem Schritt 206 mit einem visuell zu inspizierbaren Makrobild der relevanten Regionen des interessanten Objektträgers zu versorgen.
Um ein vergrößertes Bild zu liefern, kann die Maus zum Kennzeichnen eines Markersegments oder einer Region bewegt werden, die zum Beispiel eine rechteckige Region (als 30 in 1 gezeigt) sein kann, was das Mikroskop wie in Schritt 208 dazu bewegt, auf eine Vergrößerung 4x, 20x, 40x, usw. zu wechseln, indem der Revolver rotiert wird, um das geeignete Objektivlinsensystem in eine Ansichtsposition zu bringen.
Als nächstes benutzt der Benutzer in einem Schritt 209a die Maus, um eine Region auf dem Makrobild auszuwählen, um ein auf dem Bildschirm 22 zu betrachtendes Mikrobild auszuwählen. In einem Schritt 209b wird ein Test durchgeführt, um festzustellen, ob der Benutzer eine fortgeführte Inspektion befohlen hat. Falls der Benutzer dies hat, wird ein Test in einem Schritt 209c durchgeführt, um festzustellen, ob die Vergrößerung durch Ändern des gewählten Objektivs geändert werden muss. Im Falle, dass die Vergrößerung geändert werden muss, wird eine Steuerung auf den Schritt 208 übertragen. Falls die Vergrößerung unverändert bleiben soll, wird eine Steuerung auf den Schritt 209a übertragen. Für den Fall, dass die Inspektion nicht fortgeführt wird, wird die gewählte Region in einem Schritt 209d für einen Scan mit höherer Vergrößerung abgegrenzt. In einem Schritt 209e kann ein Befehl empfangen werden, damit das Bild mit höherer Vergrößerung zur Anzeige im Bildschirm 26 gescannt und aufgenommen wird. Das Bild kann dann für eine spätere Analyse archiviert, angezeigt oder unmittelbar analysiert werden.
Um die im Schritt 208 aufgerufene Vergrößerung durchzuführen, wird die Gesamtbeleuchtung und Steuerung des Mikroskops derart gesteuert, dass der Objektivrevolver 142 in einem Schritt 310 rotiert wird, um das Objektiv mit höherer Leistung über den Objektträger 18 zu platzieren. In einem Schritt 212 wird die Spannung für die Lampe geändert, um die Lampe 168 anzupassen, um die geeignete Beleuchtung und Farbtemperatur, wie sie für das gewählte Objektiv vorbestimmt ist, bereitzustellen. In einem Schritt 214 wird eine Öffnung der Kondensatorblende 176 geeignet gewählt, um die geeignete Beleuchtung für dieses Objektiv bereitzustellen. In einem Schritt 216 wählt der Filterrevolver 180 den geeigneten Lichtwellenfilter aus, der für die Kamerasensoren bereitzustellen ist. Zum Beispiel, wenn geeignet, ein roter, blauer und grüner Filter, besonders wenn die Probe eingefärbt wurde. In einem Schritt 218 wird eine Öffnung der Feldblende 174 geändert. In einem Schritt 220 wählt das Graufilterrad 170 einen Graufilter aus und in einem Schritt 222 wählt auch das Graufilterrad 172 einen Graufilter aus. In einem Schritt 224 werden die X-, Y- und Z-Offsets zur Rekonstruktion des aufgezeichneten Bildes bei der Vergrößerung verwendet und in einem Schritt 226 wird die augenblickliche Position durch Geber im Objekttisch gelesen, die auf 0,10 μm genau sind.
Um die gewählte Region zu identifizieren, wird die Maus in diesen Bereich der Region durch eine Zeigeoperation in einem Schritt 204, wie in 9 gezeigt, bewegt. Die Maus kann bewegt werden, um eine Box um die gewählte Region zu zeichnen. In einem Schritt 242 werden die X- und Y-Bildschirmpunkte für die Kanten der gewählten Regionen berechnet und das berechnete Bild oder die Pixelpunkte werden in Objekttischkoordinatenpunkte übersetzt, um den Objekttisch des Mikroskops zu steuern. In einem Schritt 244 wird eine Liste von all den X-Feldern zum Positionieren des Objekttisches für das Objektiv im RAM-Speicher (eng.: random access memory) gespeichert und kann auf der Festplatte gesichert werden. Die Informationen von den X-Offsets des Objektivs und den Objekttisch-Offsets werden ebenso verwendet wie die Größe des Feldes, um den Objektträger zum Einfangen des Mikrobildes richtig unter dem Objektiv zu positionieren.
Wenn der Objektträger, wie in 10 gezeigt, richtig positioniert wurde, wird der Objekttisch in einem Schritt 250 für jeden der X- und Y-Koordinatenwerte in Objekttischkoordinatenwerten positioniert und das digitalisierte Bild wird durch die Kameras eingefangen und im RAM gespeichert und auf der Festplatte gesichert. Das Bild kann dann auf verschiedene Arten quantitativ analysiert werden, wie dies in den zuvor aufgezeigten US-Anmeldungen dargelegt wurde. Optional kann das Bild in einem Schritt 254 für archivarische Zwecke gespeichert werden.
Um die besonderen Steuerfunktionen, die wie in 7 gezeigt stattfinden, zu überwinden, wird ein Bildschirm, wie in 8 gezeigt, bereitgestellt, in dem die XY-Schrittgröße editiert werden kann, der X, Y und Z-Offset editiert werden kann, die Lampenspannung ausgewählt werden kann, der Graufilter sowie auch die Öffnung der Feldblende und verschiedener anderer Mikroskopcharakteristiken ausgewählt werden kann. 8 ist eine Ansicht der Einstellungen der Mikroskop-Objektiveigenschaften des computergesteuerten Axioplan 2 Mikroskops.
Die X- und Y-Positionierung wird, wie in 11 gezeigt, besonders ausgeführt wo der Objektträger 18 mit einer Objektträgergrenze 270, 272, 274 und 276 gezeigt ist. Eine Objekttischbegrenzung zur Begrenzung des Objekttisch-Verfahrweges für Zwecke des Objekttisches, wobei der Objekttisch den gesamten Weg von der oberen linken Ecke des Verfahrweges 276 zu einer unteren rechten Ecke des Verfahrweges 280 bewegt werden kann. Am oberen, linken, begrenzten Eck des Verfahrweges 278 begrenzt ein Signal, dass das Ende des Verfahrweges erreicht wurde, und der Objekttisch wird dann in den Extravorgang einen kleinen Abstand 282 übersetzen und einen kleinen Abstand 284 in die Y-Richtung übersetzt, um die erste Scheibe 288 mittels eines Referenzpunktes 290 an seiner oberen linken Ecke zu definieren.
Nachdem die Größe der Makrobildscheibe 288 bekannt ist, kann die nächste Makrobildscheibe 292 zusammenhängend von ihr platziert werden, indem der Objekttisch geeignet bewegt wird und indem der Ort des Objekttischs vom eingefahrenen Objekttisch ohne jegliche Bildmanipulationen durchführen zu müssen, gemessen wird. Die Bildscheiben 288 und 292 können ohne jegliche substantielle Überlappung aneinandergrenzen oder sie können leicht überlappen, wie ein Pixel Überlappung, was insofern vernachlässigbar ist, als jegliche benachbarte Kanten aneinandergrenzender Bildscheiben verschwimmen. Die obere linke Ecke 300 der Scheibe 292 definiert den Rest von 292, und andere Scheiben können so definiert werden. Mikrobildscheiben können ebenso definiert werden, so dass sie zusammenhängend, aber im Wesentlichen nicht überlappend sind, weil sie mit dem zusammengesetzten Bild interferieren würden. Dies vermeidet die angetroffenen Probleme, nämlich ausgedehnte Berechnungen auf digitale Bilder in einem Frame-Speicher oder multiplen Frame-Speicher durchführen zu müssen, um die Bilder ohne Verwischen an den Kanten der zusammenhängenden Bildscheiben abzustimmen oder in Zusammenhang zu bringen. Es kann, wie in 2 gezeigt, bevorzugt sein, dass das Bild mit niedriger Leistung 24 eine Vielzahl von Mikrobildern darin definiert hat, die in Scheiben geteilt sind und die in einer höheren Vergrößerung als individuelle Scheiben 312, 314, 316 und ähnliche in 2 gezeigt sind. Zusätzlich kann die Region 310, wenn sie wie in dem Fenster 26 gezeigt, vergrößert ist, die Grenzen des Fensters überschreiten und so kann das Fenster Scroll-Balken oder andere Mittel aufweisen, um es zu ermöglichen, das Bild 310, das größer als das Fenster 26 ist, innerhalb des Fensters 26 zu untersuchen.
Der Objekttisch 200 kann am besten in 11A gesehen werden und er umfasst die X-und Y-Schrittmotoren 279 und 281 mit ihren entsprechenden Gebern, die einen geschlossenen Regelkreis bereitstellen, um die 0,1 μm Genauigkeit gegenüber der üblichen 5 oder 6 μm Genauigkeit der meisten Mikroskopobjekttische ohne geschlossenen Regelkreissystem zu bieten. Dieser geschlossene Regelkreis und diese sehr hohe Genauigkeit ermöglicht das Aneinandergrenzen der Scheibenbilder für sowohl Bilder mit hoher Vergrößerung und Bilder mit niedriger Vergrößerung, ohne dem substantiellen Überlappen und der zeitraubenden und teuren Software, die aktuell zum Eliminieren der Überlappung und der Unschärfe an den überlappenden Kanten der benachbarten Bildscheiben verwendet wird. Mit dem präzise positionierten Objekttisch und unter dem in Verbindung mit 11 beschriebenen Scheibensystem, bei dem der Objektträger relativ zum Mittelpunkt CP des Objektträgers präzise positioniert ist, und die bekannte Position des Punktes 278 immer vom selben Punkt entnommen wird, können die Scheiben präzise in einer horizontalen Zeile und präzise in vertikalen Reihen positioniert werden, um das Makrobild und das Mikrobild zu rekonstruieren. Diese Rekonstruktion ohne Verwendung teurer Softwaremanipulation, wie im Stand der Technik durchgeführt, um die überlappenden Bildscheiben, horizontal oder vertikal oder die zufällige Orientierung der Bildscheiben zu eliminieren.
Weiter kann, wie in 3 gezeigt, das Fenster mit niedriger Leistung 24, das Fenster mit hoher Leistung 26 und das Kontrollfenster 28 in Verbindung mit einer Auswertung von quantitativen Analysedaten, Histogrammen, etc. für die betrachtete Probe verwendet werden; und solche Analyseinformationen können als visueller Output in einem Fenster 320 bereitgestellt werden. Jede der verschiedenen Regionen 30, die ein Pathologe beim Markieren verschiedener Merkmale in dem Fenster mit niedriger Leistung 24 und in dem Fenster mit hoher Leistung 26 nachverfolgen kann, kann in beiden Fenstern widergespiegelt werden, so dass ein Protokoll für das System bereitgestellt wird.
Die vorliegende Erfindung umfasst auch die Einrichtung zur Durchführung von Ferndiagnosen, indem das System entweder über eine Netzwerkkommunikationseinrichtung mit dem Intranet, zum Beispiel über das Netzwerk Interface, oder über ein Modem oder eine andere geeignete Verbindung mit dem Internet verbunden werden kann, so dass, sobald das Bild gescannt und im Speicher auf der Festplatte oder einem anderen Speicher gespeichert wurde, entfernte Benutzer sowohl auf das Bild mit niedriger Vergrößerung wie auch das Bild mit hoher Vergrößerung zugreifen und sich innerhalb beider Bilder bewegen können, um Entscheidungen bezüglich der histologischen Charakteristiken der Proben über Z-Werte zu treffen.
Ein zusätzliches Merkmal des Systems weist eine Vielzahl von mit einer ersten Computerkonsole 12 verbundenen, vernetzten Arbeitsstationen auf, die ein mit dem Mikroskop 14 verbundenes Bildschirmdisplay 22 aufweisen. Satellitenarbeitsstationen 350 und 352 sind im Wesentlichen identisch zu der Arbeitsstation 12 und umfassen entsprechende, mit den Displays 358 und 360 verbundene Computer 354 und 356. Die Geräte können durch Eingabegeräte 360 und 362 manipuliert werden, die eine Tastatur, eine Maus und ähnliches umfassen können. Es kann auch ein drittes, eine Arbeitsstation 370 umfassendes Gerät verbunden sein, das einen Bildschirm 372, einen Computer 374 und ein Eingabegerät 376 aufweist. Jedes der Geräte ist über entsprechende Netzwerkkabel 380, 382, 384 mit dem Computer 12 verbunden, dessen Übertragung entweder über Netz oder ähnliches stattfinden kann. Jeder der unterschiedlichen Bediener an den physikalisch getrennten Betrachtungsstationen kann Regionen von der Ansicht der gesamten Gewebequerschnitte über eine Makroansicht lokalisieren und die Regionen für ein darauf folgendes Scannen und/oder quantitative Analyse kennzeichnen. Ein einzelner Bediener an der Instrumentenstation 12 kann Regionen lokalisieren, um den gesamten Gewebequerschnitt zu sehen. Diese Regionen können für nachfolgendes Scannen und/oder quantitative Analyse mit nachfolgender, nochmaliger Ansicht an physikalisch entfernten Ansichtsstationen, zum Beispiel in einem Operationsraum oder in für einzelne Pathologen zugänglichen Bereichen gekennzeichnet sein, um Analyseergebnisse nochmals anzusehen, während das gesamte Makrobild des Gewebes und/oder die individuell gespeicherten Bilder, von der die quantitativen Ergebnissen erhalten wurden, behalten und nochmals angesehen werden. Die Ansichtsstationen 350, 352 und 370 können Desktop-Computer, Laptops, etc. aufweisen. Es besteht keine Notwendigkeit für ein Mikroskop an den Netzwerkstationen 350, 352 und 370.
In noch einer weiteren alternativen Ausführungsform können entfernte Arbeitsstationen 400, 402, 404, 406 und 408 über einen Server 410 verbunden, der über ein Paket Vermittlungsnetz (packet switched network) versorgt sein kann. Der Server 410 kann ein Hypertext-Transport-Protocolbasierender Server des für das World Wide Web verwendeten Typs oder kann ein Telnet Servertyp sein, wie er vormals bei entfernten Internetoperationsanwendungen verwendet wurde. Der Server 410 kommuniziert über einen Kommunikationskanal 414 mit einem lokalen Computer 416, der ein damit assoziiertes Display 418 aufweist, wobei der lokale Computer 416 mit dem Mikroskop 420 verbunden ist. Jede der entfernt gelegenen Arbeitsstationen 400, 402, 404, 406 und 408 kann die gleichen Operationen wie die Stationen 350, 352 und 370 durchführen, obwohl sie dies von nahen Gebäuden oder sogar von irgendwo auf der Welt her tun, und somit zusätzliche Flexibilität für andere Personen bereitstellen, um Nutzen aus der vom Mikroskop erhaltenen und anzusehenden Probe zu ziehen. Zusätzlich können gespeicherte Bilder über den Server 410 zu entfernten Servern 400 bis 408 für eine weitere Analyse und nochmalige Ansicht verbreitet werden.
In 14 ist auf dem Bildschirm 28 eine Basisschicht 431a eines geschnittenen Querschnitts einer Ratten-Speiseröhre abgebildet. Die Basisschicht ist länglich und in einer nach unten gerichteten Richtung linear, und der ausgewählte, interessante Punkt ist als eine Box 30 auf der Basisschicht auf dem zusammengesetzten Bild mit niedriger Vergrößerung gezeigt. Das Bild mit hoher Vergrößerung 26 dieses ausgewählten interessanten Punktes ist auf dem Bildschirm 26 in 14A gezeigt. In 15 ist ein Mausdarm als ein rekonstruiertes Makrobild mit niedriger Vergrößerung 28 gezeigt, das auf 1/16-tel der Größe reduziert wurde. Das Mikrobild 26 ist in 15A gezeigt, und die Markierung davon ist in 15 gezeigt.
Die Analyse nach Textur und nach morphologischen Merkmalen, die zur Analyse einer Serie von Regionen 30 auf der länglichen Basisschicht verwendet wurde, die bei hoher Vergrößerung analysiert wurden, ist in 16, 16A und 17 gezeigt. Die Art diese Tests durchzuführen und einen Z-Werte oder eine Stufe zu erhalten ist in der zuvor genannten Patentanmeldung offenbart.
Während eine besondere Ausführungsform der vorliegenden Erfindung gezeigt und beschrieben wurde, ist es bevorzugt, dass sich für Fachleute zahlreiche Änderungen und Modifikationen eröffnen.

Claims

Verfahren der Verwendung eines computergesteuerten optischen Mikroskop-Bildsystems, welches einen bezüglich einer Objektivlinse in X-Y-Richtungen beweglichen Objekttisch aufweist, um Bilder mit mehrfacher Auflösung von einer Probe (21) auf einem Mikroskop-Objektträger (18) aufzunehmen und zu speichern, wobei das Verfahren folgende Schritte aufweist: Platzieren der Probe (21) und des Mikroskop-Objektträgers (18) auf dem Mikroskop-Objekttisch (20) in dem computergesteuerten optischen Mikroskop-Bildsystem; digitales Scannen durch wiederholtes Ausbilden digitalisierter Bilder und Bewegen des Objekttisches (20), um einen ersten Satz von der Probe (21) auf dem Mikroskop-Objektträger (18) aufgenommener, digitalisierter Bilder zu erzeugen und Speichern des ersten Satzes digitalisierter Bilder, wobei die Größe jeder Objekttischbewegung und die Bildgröße so ist, dass ein erster Satz zusammenhängender Bildscheiben erzeugt wird und das Mikroskop (16) bei einer ersten optischen Vergrößerung ist, um die Ausbildung einer vergrößerten Gesamtansicht (24) der Probe zu ermöglichen; Anzeigen der Gesamtansicht der Probe für einen Benutzer des computergesteuerten Mikroskop-Bildsystems (16) an einem entfernten Ort; interaktives Auswählen eines Gebiets aus der Gesamtansicht von dem entfernten Ort aus, zum Scannen und Speichern mit einer zweiten, höheren optischen Vergrößerungsauflösung als der ersten Vergrößerung, indem um die auszuwählende Fläche herum gezeichnet wird, Berechnen der X- und Y-Koordinaten der Kanten des gewählten Gebiets und Umrechnen der Koordinaten auf Objekttisch-Koordinaten; entferntes Bedienen des computergesteuerten Mikroskop-Bildsystems (16) von dem entfernten Ort aus in Überreinstimmung mit den Objekttisch-Koordinaten, um das digitale Scannen und Speichern eines zweiten Satzes digitalisierter Bilder (312, 314, 316) des gewählten Gebietes der Probe (21) auf dem Mikroskop-Objektträger (18) zu bewirken, mit dem Mikroskop (16) bei einer zweiten, höheren optischen Vergrößerung als der ersten Vergrößerung, und Übertragen der Bilder zum entfernten Ort, wobei der zweite Satz von Bildern zusammenhängende Bildscheiben umfasst; und Kennzeichnen der ersten und zweiten digitalisierten Bilder, so dass die Bilder mit höherer Vergrößerung des gewählten Gebietes leicht von den Bildern mit geringerer Vergrößerung unterschieden werden können.
Verfahren nach Anspruch 1, weiterhin umfassend: Markieren eines gewählten Punktes auf der Gesamtansicht der Probe; und Darstellen der Bilder bei der höheren Vergrößerungsauflösung für den gewählten Punkt.
Verfahren nach Anspruch 1, umfassend: Navigieren innerhalb einer länglichen Probe durch Zeigen von Bildern mit hoher Vergrößerung für jeden einer Serie von gewählten Punkten entlang der länglichen Probe, zur Darstellung in der Gesamtansicht.
Verfahren nach Anspruch 1, welches weiterhin aufweist: Speichern eines dritten Satzes von digitalisierten Bildern der Probe mit einer Zwischenvergrößerung, entweder durch einen weiteren Scan mit einer optischen Zwischenvergrößerung oder durch die Rekonstruktion aus den bestehenden, digitalisierten Bildern mit hoher und niedriger Vergrößerung.
Verfahren nach Anspruch 1 oder 4, umfassend: Zoomen zwischen verschieden vergrößerten Ansichten eines gewählten Punktes der Probe (21).
Verfahren nach Anspruch 1, umfassend: Darbieten der Bilder des Bildes mit höherer Vergrößerung für einen Bildschirm, und zwar so, dass der Benutzer an dem entfernten Ort ein benachbartes, zusammenhängendes Bild in der gewählten höheren Vergrößerung in die Ansicht scrollen kann.
Verfahren nach Anspruch 1, bei dem die Bilder komprimiert sind.
Verfahren nach Anspruch 1, welches umfasst: Übertragen der Bilder und Bedienen des computergesteuerten Mikroskops über das Internet.
Verfahren nach Anspruch 1, welches umfasst: Speichern der digitalisierten Bilder auf einem Server und gleichzeitiges Bereitstellen (engl.: share) der digitalisierten, vergrößerten Bilder für eine Vielzahl von Betrachtungsgeräten, welche durch das Internet verbunden sind.
Verfahren nach Anspruch 4, bei dem der dritte Satz digitalisierter Bilder mit Hilfe von Software aus den Daten gebildet wird, welche während des Scannens und Speicherns des zweiten Satzes von Bildern mit höherer Vergrößerung erhalten wurden.
Verfahren nach Anspruch 1, welches weiter umfasst: entferntes Bedienen des computergesteuerten Mikroskop-Bildsystems (16) von einem entfernten Ort aus, um das digitale Scannen und Speichern des ersten Satzes von digitalisierten Bildern, welche von der Probe (21) auf dem Mikroskop-Objektträger (18) im ersten Satz der zusammenhängenden Bildscheiben mit dem Mikroskop (16) aufgenommen wurden, zu bewirken.
Computergesteuertes optisches Mikroskop-Bildsystem, welches aufweist: einen Objekttisch (20) zur Aufnahme eines Mikroskop-Objektträgers (18), welcher bezüglich einer Objektivlinse in X-Y-Richtungen beweglich ist, um Bilder mit mehrfacher Auflösung einer Probe (21) auf dem Mikroskop-Objektträger (18) aufzunehmen und zu speichern; Mittel zum digitalen Scannen durch wiederholtes Ausbilden digitalisierter Bilder und Bewegungen des Objekttisches (20), um einen ersten Satz von der Probe (21) auf dem Mikroskop-Objektträger (18) aufgenommener, digitalisierter Bilder zu erzeugen und Speichern des ersten Satzes digitalisierter Bilder, wobei die Größe jeder Objekttischbewegung und die Bildgröße so ist, dass ein erster Satz zusammenhängender Bildscheiben erzeugt wird, und das Mikroskop (16) bei einer ersten Vergrößerung ist, um die Ausbildung einer vergrößerten Gesamtansicht (24) der Probe zu ermöglichen; Mittel zum Anzeigen der Gesamtansicht der Probe für einen Benutzer des computergesteuerten Mikroskop-Bildsystems (16) an einem entfernten Ort; Mittel zum interaktiven Auswählen eines Gebiets aus der Gesamtansicht von dem entfernten Ort aus, zum Scannen und Speichern mit einer zweiten, höheren optischen Vergrößerungsauflösung als der ersten Vergrößerung, indem um die auszuwählende Fläche herum gezeichnet wird, Mittel zum Berechnen der X- und Y-Koordinaten der Kanten des gewählten Bereichs und zum Umrechnen der Koordinaten auf Objekttisch-Koordinaten; Mittel zum entfernten Bedienen des computergesteuerten Mikroskop-Bildsystems (16) von dem entfernten Ort aus in Überreinstimmung mit den Objekttisch-Koordinaten, um das digitale Scannen und Speichern eines zweiten Satzes digitalisierter Bilder (312, 314, 316) des gewählten Gebietes der Probe (21) auf dem Mikroskop-Objektträger (18) zu bewirken, mit dem Mikroskop (16) bei einer zweiten, höheren optischen Vergrößerung als der ersten Vergrößerung, und zum Übertragen der Bilder zum entfernten Ort, wobei der zweite Satz von Bildern aus zusammenhängenden Bildscheiben besteht; und Mittel zum Kennzeichnen der ersten und zweiten digitalisierten Bilder, so dass die Bilder mit höherer Vergrößerung des gewählten Gebietes leicht von den Bildern mit geringerer Vergrößerung unterschieden werden können.