Die Erfindung betrifft ein Mikroskopsystem und ein Verfahren zur Datenerfassung. Die Erfindung betrifft insbesondere ein derartiges Mikroskopsystem und Verfahren, bei dem eine Steuereinrichtung mit einem optischen System gekoppelt ist, um dieses zu steuern, und bei dem Informationen, die eine benutzerdefinierten Steuerung erlauben, über eine optische Anzeigeeinrichtung ausgegeben werden. Die Erfindung betrifft auch ein Mikroskopsystem, das eine einfache Bearbeitung erfasster Daten erlaubt.The invention relates to a microscope system and a method for data acquisition. More particularly, the invention relates to such a microscope system and method in which a control device is coupled to an optical system for controlling the same, and wherein information allowing a user-defined control is output via an optical display device. The invention also relates to a microscope system that allows easy processing of acquired data.
Mikroskopsysteme, bei denen ein optisches System einen optoelektronischen Bildsensor aufweist und mit einem Steuerrechner gekoppelt ist, der Funktionen der Steuerung und/oder Auswertung erfasster Bilder übernimmt, werden weithin eingesetzt. Derartige Systeme erlauben die rechnergestützte Umsetzung von benutzerdefiniert vorgegebenen Bilderfassungsvorgängen, die Abarbeitung auch komplexer Bildgebungsverfahren und/oder die weitergehende rechnerische Auswertung von erfassten Bildern. Auf diese Weise können neben der reinen optischen Abbildung eines Präparats auch komplexere Analysen durchgeführt werden. Beispielsweise kann ortsaufgelöste Raman-Spektroskopie an einem biologischen Präparat durchgeführt werden, um weitere Informationen über biologische Objekte zu gewinnen.Microscope systems in which an optical system has an optoelectronic image sensor and is coupled to a control computer that performs functions of controlling and / or evaluating acquired images are widely used. Such systems allow the computer-aided implementation of user-defined image acquisition processes, the processing of even complex imaging methods and / or the further computational evaluation of captured images. In this way, in addition to the pure optical image of a preparation and more complex analyzes can be performed. For example, spatially resolved Raman spectroscopy can be performed on a biological specimen to obtain more information about biological objects.
Zur Erhöhung des Bedienkomforts weisen derartige Mikroskopsysteme Benutzerschnittstellen auf, die eine benutzerdefinierte Auswahl eines Ausschnitts am Präparat erlauben, für den eine Bilderfassung durchgeführt werden soll. Entsprechende Steuerelemente zum Einstellen des Ausschnitts können beispielsweise pfeilartige Tasten umfassen, mit denen der Benutzer eine Bewegung eines Objekttisches relativ zu einem Strahlengang des Mikroskops hervorrufen kann.To increase the ease of use, such microscope systems have user interfaces that allow a user-defined selection of a section on the preparation for which image acquisition is to be carried out. Corresponding controls for adjusting the cutout may include, for example, arrow-like keys with which the user can cause a movement of a stage relative to a beam path of the microscope.
Zur weiteren Unterstützung bei der Planung und Durchführung einer Datenerfassung mit dem Mikroskopsystem kann zunächst ein Übersichtsbild erfasst werden. Ein derartiges Übersichtsbild kann die Auswahl interessierender Präparatbereiche erleichtern. Ein Übersichtsbild wird herkömmliche durch die rechnerische Kombination mehrerer Einzelbilder zu einem neuen Gesamtbild bestimmt. Die US 7 756 357 beschreibt ein System, das die Kombination von mehreren Bildern zu einem Übersichtsbild erlaubt, das aus den mehreren Bildern berechnet wird. Dabei können Übersichtsbilder unterschiedlicher Auflösung erzeugt werden.For further support in the planning and implementation of data acquisition with the microscope system, an overview image can first be recorded. Such an overview image can facilitate the selection of specimen areas of interest. An overview image is determined conventionally by the computational combination of several individual images into a new overall image. The US 7,756,357 describes a system that allows the combination of multiple images into an overview image calculated from the multiple images. In this case, overview images of different resolution can be generated.
Herkömmliche Ansätze zur Erzeugung von Übersichtsbildern berechnen häufig das Übersichtsbild aus mehreren Bildern, die jeweils mit derselben Auflösung des Mikroskops erfasst wurden. Um die Datenmengen handhabbar zu halten, wird diese Auflösung regelmäßig nicht zu groß gewählt. Es besteht das Risiko, dass ein derartiges Übersichtsbild nicht ausreichend Informationen für eine höher aufgelöste Bildgebung in bestimmten Bereichen des Präparats zur Verfügung stellt. Dies gilt beispielsweise dann, wenn die Auflösung des Übersichtsbildes so gering ist, dass der Benutzer die interessierenden Objekte oder Bereiche des Präparats auf dem Übersichtsbild nicht erkennen kann. Wird das Übersichtsbild aus Einzelbildern mit hoher Auflösung berechnet, die über das gesamte Präparat gewonnen werden, werden die zur Datenerfassung benötigte Zeit und die resultierenden Datenmengen rasch übermäßig groß. Diese Probleme bestehen verstärkt bei Mikroskopie in drei Dimensionen.Conventional approaches to generating overview images often calculate the overview image from a plurality of images, each of which has been acquired with the same resolution of the microscope. In order to keep the amount of data manageable, this resolution is regularly not too large. There is a risk that such an overview image will not provide sufficient information for higher-resolution imaging in certain areas of the preparation. This applies, for example, when the resolution of the overview image is so small that the user can not recognize the objects or regions of interest of the preparation on the overview image. If the overview image is calculated from high-resolution single-frame images collected throughout the preparation, the time required to collect data and the resulting data becomes rapidly excessive. These problems are compounded by microscopy in three dimensions.
Während Übersichtsbilder bei der Bedienung des Mikroskops hilfreich sein können, stoßen herkömmliche Übersichtsbilder aufgrund ihrer Auflösung dann an Grenzen, wenn der Benutzer Objekte in einem großen Bereich unterschiedlicher Auflösungen untersuchen möchte. Eine dynamische Anpassung von Navigationshilfen ist bei herkömmlichen Systemen nicht vorgesehen.While overview images can be helpful in operating the microscope, conventional overview images are limited by their resolution when the user wants to examine objects in a wide range of different resolutions. A dynamic adaptation of navigation aids is not provided in conventional systems.
Der Erfindung liegt die Aufgabe zugrunde, Mikroskopsysteme und Verfahren anzugeben, die Verbesserungen im Hinblick auf diese Nachteile bringen.The invention has for its object to provide microscope systems and methods that bring improvements in terms of these disadvantages.
Die Aufgabe wird gelöst durch ein Mikroskopsystem und ein Verfahren mit den in den unabhängigen Ansprüchen angegebenen Merkmalen. Die abhängigen Ansprüche definieren bevorzugte oder vorteilhafte Ausgestaltungen.The object is achieved by a microscope system and a method having the features specified in the independent claims. The dependent claims define preferred or advantageous embodiments.
Erfindungsgemäß ist ein Mikroskopsystem so ausgestaltet, dass eine Navigationsansicht, die über eine grafische Benutzerschnittstelle ausgegeben wird und zur benutzerdefinierten Auswahl von abzubildenden Präparatbereichen dient, bei aufeinanderfolgenden Bilderfassungen dynamisch angepasst wird. Ein aktuelles erfasstes Bild kann in eine vor der Bilderfassung erzeugte Navigationsansicht einbezogen werden, um die Navigationsansicht zu aktualisieren. Das aktuelle erfasste Bild kann als Overlay in die Navigationsansicht einbezogen werden, ohne dass eine rechnerisches Zusammenfügen (beispielsweise ein so genanntes „Stitching”) mehrerer Bilder erfolgen muss. Bilder, die mit unterschiedlicher Vergrößerung des Mikroskopsystems erfasst wurden, können so nacheinander in die Navigationsansicht integriert werden. Dies erlaubt dem Benutzer, durch Wahl zunehmend größerer Vergrößerungen des optischen Systems zur Bilderfassung auch die Navigationsansicht zu verbessern, indem die entsprechenden Bilder mit höherer Vergrößerung bzw. höherer Auflösung in die Navigationsansicht einbezogen werden. Eine entsprechende Verbesserung der Navigationsansicht kann örtlich begrenzt in den Präparatbereichen erfolgen, an denen der Benutzer eine Abbildung mit höherer Ortsauflösung durchführt.According to the invention, a microscope system is designed such that a navigation view, which is output via a graphical user interface and serves for the user-defined selection of preparation regions to be imaged, is adapted dynamically in successive image captures. A current captured image may be included in a pre-captured navigation view to update the navigation view. The current captured image can be included as an overlay in the navigation view, without computational merging (for example, a so-called "stitching") of multiple images must be made. Images that were acquired with different magnification of the microscope system can thus be successively integrated into the navigation view. This also allows the user to improve the navigation view by choosing increasingly larger magnifications of the image acquisition optical system by including the corresponding higher magnification and higher resolution images in the navigation view. A corresponding improvement of the navigation view can be localized in the Preparation areas take place at which the user performs a mapping with higher spatial resolution.
Ein Mikroskopsystem nach einem Ausführungsbeispiel umfasst ein optisches System zur Bilderfassung eines Präparats und eine Steuereinrichtung. Das optische System weist einen Bildsensor auf. Die Steuereinrichtung ist mit dem optischen System gekoppelt und umfasst eine optische Ausgabeeinrichtung. Die Steuereinrichtung ist eingerichtet, um in einem ersten Abschnitt der optischen Ausgabeeinrichtung ein aktuelles mit dem Bildsensor erfasstes Bild auszugeben und um in einem zweiten Abschnitt der optischen Ausgabeeinrichtung eine Navigationsansicht zur benutzerdefinierten Steuerung der Bilderfassung auszugeben. Die Steuereinrichtung ist eingerichtet, um das optische System so anzusteuern, dass eine Bilderfassung an einer über die Navigationsansicht benutzerdefiniert festgelegten Stelle des Präparats durchgeführt wird. Die Steuereinrichtung ist eingerichtet, um ein mit dem Bildsensor erfasstes Bild nach der Bilderfassung in der Navigationsansicht darzustellen.A microscope system according to an embodiment comprises an optical system for image acquisition of a preparation and a control device. The optical system has an image sensor. The control device is coupled to the optical system and comprises an optical output device. The control device is configured to output a current image captured by the image sensor in a first section of the optical output device and to output a navigation view for user-defined control of the image acquisition in a second section of the optical output device. The control device is set up to control the optical system in such a way that image acquisition is carried out on a location of the preparation which is defined in a user-defined manner via the navigation view. The control device is set up to display an image captured by the image sensor after image acquisition in the navigation view.
Ein derartiges Mikroskopsystem erlaubt die zunehmende Verbesserung der Navigationsansicht in den Bereichen des Präparats, in denen das Mikroskopsystem Bilderfassungen mit höherer Auflösung durchführt und die anhand der Navigationsansicht festgelegt wurden. Der Benutzer kann über die Navigationsansicht Bereiche des Präparats, die von besonderem Interesse sind, abrastern. Dadurch wird jeweils eine Bilderfassung an dem entsprechenden Bereich veranlasst. In dem ersten Abschnitt der optischen Ausgabeeinrichtung wird das Bild als aktuelles Bild bzw. „Live-Ansicht” dargestellt. Die Navigationsansicht wird gemäß der Bilderfassung aktualisiert.Such a microscope system allows the increasing improvement of the navigation view in the areas of the preparation in which the microscope system performs image capturing with higher resolution and which were determined by the navigation view. The user can use the navigation view to scan areas of the specimen that are of particular interest. As a result, in each case an image acquisition is initiated at the corresponding area. In the first section of the optical output device, the image is displayed as a current image or "live view". The navigation view is updated according to the image capture.
Die Steuereinrichtung kann eingerichtet sein, um die Navigationsansicht abhängig von mehreren Bildern, die mit dem Bildsensor sequentiell erfasst wurden, auszugeben. Die Steuereinrichtung kann eingerichtet sein, um die Navigationsansicht nach der Bilderfassung so anzupassen, dass das bei der Bilderfassung erfasste Bild in der Navigationsansicht dargestellt wird. Die Steuereinrichtung kann eingerichtet sein, um die Navigationsansicht so anzupassen, dass kein rechnerisches Zusammenfügen des in der Bilderfassung erfassten Bildes mit den mehreren Bildern erfolgen muss. Durch Erzeugung der Navigationsansicht aus mehreren einzelnen Bildern, die nicht vorab rechnerisch zu einem Gesamtbild verarbeitet wurden, können lange Verarbeitungszeiten und/oder übermäßige Dateigrößen von hochaufgelösten Übersichtsbildern vermieden werden. Die mehreren Bildern, aus denen die Navigationsansicht erzeugt wird, können unterschiedliche Auflösungen aufweisen, d. h. mit unterschiedlichen Vergrößerungen des optischen Systems erfasst worden sein.The controller may be configured to output the navigation view depending on a plurality of images sequentially acquired with the image sensor. The control device may be configured to adapt the navigation view after the image acquisition in such a way that the image captured during the image acquisition is displayed in the navigation view. The control device can be set up in order to adapt the navigation view so that there is no computational merging of the image captured in the image acquisition with the multiple images. Generating the navigation view from multiple individual images that have not previously been computationally processed into an overall image avoids long processing times and / or excessive file sizes of high-resolution overview images. The multiple images from which the navigation view is generated may have different resolutions, i. H. be detected with different magnifications of the optical system.
Die Steuereinrichtung kann eingerichtet sein, um das bei der Bilderfassung erfasste Bild als Overlay in dem zweiten Abschnitt einzufügen, um die Navigationsansicht anzupassen.The control device may be configured to insert the image acquired during the image acquisition as an overlay in the second section in order to adapt the navigation view.
Die Steuereinrichtung kann eingerichtet sein, um ein stufenloses Zoomen in der Navigationsansicht zu erlauben.The controller may be configured to allow infinite zooming in the navigation view.
Die Steuereinrichtung kann eingerichtet sein, um zum Ausgeben der Navigationsansicht die mehreren Bilder aus einer Datenbank der Steuereinrichtung abzurufen. Die Datenbank kann für darin enthaltene Bildern jeweils Positionsdaten und Informationen zur Vergrößerung des optischen Systems bei Bilderfassung des entsprechenden Bildes speichern.The controller may be configured to retrieve the multiple images from a database of the controller to output the navigation view. The database can store, for images contained therein, position data and information for enlarging the optical system during image acquisition of the corresponding image.
Die Steuereinrichtung kann eingerichtet sein, um zum Ausgeben der Navigationsansicht die mehreren Bilder aus der Datenbank abhängig von den Positionsdaten, die den Bildern jeweils zugeordnet sind, und abhängig von einem Vergleich der Informationen zur Vergrößerung mit einem Schwellenwert, der von einem benutzerdefiniert gewählten Vergrößerungsfaktor für die Navigationsansicht abhängt, auszuwählen. Erfasste Bilder können für die Erzeugung der Navigationsansicht unberücksichtigt bleiben, auch wenn sie mit dem in der Navigationsansicht dargestellten Präparatabschnitt überlappen, wenn die Vergrößerung des optischen Systems bei der entsprechenden Bilderfassung größer als der Schwellenwert war. Dadurch können Verarbeitungszeiten von Bildern, deren Auflösung für den momentanen Vergrößerungsfaktor der Navigationsansicht nicht benötigt wird, vermieden werden.The controller may be configured to output the navigation view of the plurality of images from the database depending on the positional data associated with the images, respectively, and based on a comparison of the magnification information with a threshold selected by a user-selected magnification factor for the image Navigation view depends. Captured images may be disregarded for creating the navigation view even if they overlap with the preparation section shown in the navigation view if the magnification of the optical system was larger than the threshold at the corresponding image acquisition. As a result, processing times of images whose resolution is not needed for the current magnification factor of the navigation view can be avoided.
De Steuereinrichtung kann eingerichtet sein, um zum Ausgeben der Navigationsansicht die mehreren Bilder aus der Datenbank basierend auf einer Indexstruktur der Datenbank auszuwählen. Die Indexstruktur kann eine Quadtree-Struktur oder als Quadtree-Struktur konfiguriert sein umfassen.The controller may be configured to select the plurality of images from the database based on an index structure of the database to output the navigation view. The index structure may include a quadtree structure or configured as a quadtree structure.
Die Steuereinrichtung kann eingerichtet sein, um bei einer benutzerdefinierten Erhöhung eines Vergrößerungsfaktors für die Navigationsansicht selektiv weitere Bilder zu laden, um die Navigationsansicht mit einem höheren Vergrößerungsfaktor auszugeben. Es können selektiv weitere Bilder geladen werden, die mit einer größeren Vergrößerung des optischen Systems erfasst wurden als diejenigen Bilder, auf deren Basis die Navigationsansicht vor Erhöhung des Vergrößerungsfaktors erzeugt wurde.The controller may be configured to selectively load additional images at a user-defined increase in navigation view magnification to output the navigation view at a higher magnification. It is possible to selectively load further images acquired at a greater magnification of the optical system than those images on the basis of which the navigation view was generated before increasing the magnification factor.
Die Steuereinrichtung kann eingerichtet sein, um die Navigationsansicht abhängig von einem benutzerdefiniert stufenlos wählbaren Vergrößerungsfaktor der Navigationsansicht aus den mehreren Bildern zu erzeugen. The controller may be configured to generate the navigation view from the plurality of images depending on a user-definable infinitely variable magnification factor of the navigation view.
Die Steuereinrichtung kann eingerichtet sein, um in der Navigationsansicht ein grafisches Auswahlelement zur benutzerdefinierten Festlegung einer Stelle des Präparats darzustellen. Das optische System kann mehrere Vergrößerungen aufweisen. Die Steuereinrichtung kann eingerichtet sein, um Abmessungen des grafischen Auswahlelements abhängig von einer aktuellen Vergrößerung des optischen Systems einzustellen. Die Steuereinrichtung kann eingerichtet sein, um Abmessungen des grafischen Auswahlelements abhängig von einem benutzerdefiniert gewählten Vergrößerungsfaktor für die Navigationsansicht und abhängig von der aktuell gewählten Vergrößerung des optischen Systems einzustellen. Die Größe des Auswahlelements kann sowohl bei einer Änderung des Vergrößerungsfaktors für die Navigationsansicht als auch bei einer Änderung der aktuell gewählten Vergrößerung des optischen Systems geändert werden.The control device can be set up to display in the navigation view a graphical selection element for user-defined definition of a location of the preparation. The optical system may have multiple magnifications. The controller may be configured to adjust dimensions of the graphical selection element depending on a current magnification of the optical system. The controller may be configured to set dimensions of the graphical selection element depending on a user-selected magnification magnification for the navigation view and depending on the currently selected magnification of the optical system. The size of the selection item can be changed both in a change of the magnification factor for the navigation view and in a change of the currently selected magnification of the optical system.
Die Steuereinrichtung kann eingerichtet sein, um eine Grafik zu erzeugen und selektiv in dem zweiten Abschnitt der optischen Ausgabeeinrichtung auszugeben, die örtlich aufgelöst eine Dichte von erfassten Bildern darstellt. Dadurch kann der Benutzer ortsaufgelöste Informationen dazu erhalten, in welchem Grad das Präparat durch Bilderfassungen abgedeckt ist. Die Grafik kann unterschiedliche Farben und/oder Helligkeiten beinhalten, um die Abdeckung zu repräsentieren. Abhängig von einem für die Navigationsansicht gewählten Zoomfaktor kann die Grafik auch so umgeschaltet werden, dass sie alphanumerische Symbole enthält, die die Abdeckung repräsentieren.The controller may be configured to generate a graphic and selectively output in the second portion of the optical output device that displays, in a locally resolved manner, a density of captured images. This allows the user to obtain spatially resolved information about the degree to which the preparation is covered by image captures. The graphic may include different colors and / or magnitudes to represent the coverage. Depending on a zoom factor selected for the navigation view, the graphic may also be switched to include alphanumeric symbols representing the coverage.
Die Bilder, die im ersten Abschnitt angezeigt und/oder in der Navigationsansicht dargestellte Bilder sind, können direkt mit dem Bildsensor erfasste Bilder sein. Die Bilder können auch durch weitere optische oder elektronische Bildverarbeitung erzeugt werden. Beispielsweise können Bilder jeweils ortsaufgelöste Raman-Spektren des Präparats darstellen. Dazu kann das optische System ein Raman-Spektrometer umfassen. Die Bilder können Falschfarbendarstellungen der Raman-Spektren sein. Das optische System kann eingerichtet sein, um ortsaufgelöst Raman-Spektren des Präparats zu erfassen, und die Steuereinrichtung kann eingerichtet sein, um die Navigationsansicht abhängig von den ortsaufgelöst erfassten Raman-Spektren zu erzeugen. Es können sowohl mikroskopische Bilder als auch ortsaufgelöste Raman-Bilder erfasst werden.The images displayed in the first section and / or images displayed in the navigation view may be images captured directly with the image sensor. The images can also be generated by further optical or electronic image processing. For example, images can each represent spatially resolved Raman spectra of the preparation. For this purpose, the optical system may comprise a Raman spectrometer. The images may be false color representations of the Raman spectra. The optical system may be configured to detect spatially resolved Raman spectra of the specimen, and the controller may be configured to generate the navigation view depending on the spatially resolved Raman spectra. Both microscopic images and spatially resolved Raman images can be captured.
Ein Raman-Bild, in dem Raman-Daten ortsaufgelöst dargestellt sind, kann einem mit dem Mikroskopsystem erfassten Live-Bild überlagert werden. Das Raman-Bild kann der Navigationsansicht überlagert werden. Das Raman-Bild kann in einer Falschfarbendarstellung in dem ersten Abschnitt und/oder der Navigationsansicht dargestellt werden.A Raman image in which Raman data is shown spatially resolved can be superimposed on a live image captured by the microscope system. The Raman image can be superimposed on the navigation view. The Raman image may be displayed in a false color representation in the first section and / or the navigation view.
Die Raman-Spektren und/oder andere mit dem Mikroskopsystem erfasste Daten können in einer dokumentbasierten Datenbank, beispielsweise einer noSQL-Datenbank, gespeichert werden. Es kann ein offenes Austauschformat für die Spektraldaten verwendet werden. Falls eine Datenaufbereitung, beispielsweise durch statistische Analyse, durchgeführt wird, können neben den Rohdaten, beispielsweise einem optischen Bild und Raman-Spektren, auch Parameter für die Aufarbeitungsschritte des Spektrums gespeichert werden. Das Raman-Spektrum kann so aufgearbeitet werden, dass es Baseline-korrigiert ist. Die Daten können in einer JavaScript Object Notation(JSON)-kompatiblen Datenstruktur abgelegt werden.The Raman spectra and / or other data acquired with the microscope system can be stored in a document-based database, such as a noSQL database. An open exchange format for the spectral data can be used. If data processing is carried out, for example by statistical analysis, parameters for the reprocessing steps of the spectrum can be stored in addition to the raw data, for example an optical image and Raman spectra. The Raman spectrum can be processed to be baseline corrected. The data can be stored in a JavaScript Object Notation (JSON) -compatible data structure.
Das optische System kann eingerichtet sein, um die Bilderfassung in unterschiedlichen Ebenen des Präparats durchzuführen. Dadurch kann eine dreidimensionale bzw. volumetrische Bildgebung am Präparat erfolgen. Die Steuereinrichtung kann eingerichtet sein, um die Navigationsansicht abhängig von einer Ebene, in der die Bilderfassung durchgeführt wird, zu erzeugen. Es können Stapel bzw. „Stacks” von Bildern erzeugt. So kann eine Navigationsansicht zur Navigation in drei Dimensionen erzeugt werden, die aktualisiert werden kann, wenn der Benutzer in bestimmten Präparatbereichen eine Bildgebung mit höherer Auflösung durchführt.The optical system may be configured to perform image acquisition at different levels of the preparation. As a result, a three-dimensional or volumetric imaging can take place on the preparation. The controller may be configured to generate the navigation view depending on a plane in which the image capture is performed. You can create stacks or "stacks" of images. Thus, a navigational view can be generated for navigation in three dimensions, which can be updated as the user performs higher resolution imaging in certain specimen areas.
Das Mikroskopsystem kann eingerichtet sein, um eine Reaktion des Präparats auf einen Stimulus zu erfassen. Die Steuereinrichtung kann eingerichtet sein, um abhängig von einem Vergleich von Bildern, die vor und nach Setzen des Stimulus erfasst wurden, die Reaktion des Präparats auf den Stimulus zu bestimmen. Das Mikroskopsystem kann eingerichtet sein, um die Reaktion des Präparats durch Erfassen eines Raman-Spektrums vor dem Stimulus, Erfassen eines weiteren Raman-Spektrums nach dem Stimulus oder während des Stimulus und Vergleichen der beiden Raman-Spektren zu ermitteln.The microscope system may be configured to detect a response of the preparation to a stimulus. The controller may be configured to determine the response of the preparation to the stimulus depending on a comparison of images acquired before and after the stimulus is set. The microscope system may be configured to determine the response of the preparation by detecting a Raman spectrum before the stimulus, detecting another Raman spectrum after the stimulus or during the stimulus, and comparing the two Raman spectra.
Das Mikroskopsystem kann eingerichtet sein, um eine Datenauswertung durchzuführen. Es kann eine Falschfarbendarstellung erzeugt werden, beispielsweise um ortsaufgelöst erfasste Raman-Spektren zu veranschaulichen. Die Falschfarbendarstellung der Raman-Daten kann einem Bild überlagert werden, das aus lichtmikroskopischen Bildern erzeugt wird.The microscope system can be set up to perform a data evaluation. A false color representation can be generated, for example to illustrate spatially resolved Raman spectra. The false color representation of the Raman data can be superimposed on an image generated from light microscopic images.
Das Mikroskopsystem kann so ausgestaltet sein, dass ein Objekt des Präparats, beispielsweise eine Zelle oder ein anderes biologisches Objekt, für weitere Analysen wieder angefahren und aufgefunden werden kann. Hierzu kann eine Markierung oder eine Mehrzahl von Markierungen auf einem Präparatträger verwendet werden. Diese können bei erneuter Datenerfassung zur Auffinden und erneuten Anfahren von biologischen Objekten verwendet werden, für die bereits früher eine Datenerfassung durchgeführt wurde. Eine Kalibrierung derart, dass Daten einander zugeordnet werden können, auch wenn der Präparatträger zwischenzeitlich entnommen wird, wird dadurch möglich. Markierungen können durch Verwendung einer Strahlungsquelle des Mikroskopsystems, insbesondere eines Lasers des Mikroskopsystems, an dem Präparatträger erzeugt werden. Beispielsweise können mit dem Laser Markierungen in licht- oder wärmeempfindliche Abschnitte des Präparatträgers eingebrannt werden. Ergebnisse, die mit statistischer Analyse von Raman-Daten oder anderen Daten erzeugt wurden, können einem Realbild, d. h. einem mikroskopischen Bild eines biologischen Objekts, zugeordnet werden. Ergebnisse, die mit statistischer Analyse von Raman-Daten oder anderen Daten erzeugt wurden, können bestimmten Koordinaten zugeordnet werden, um ein erneutes Anfahren des entsprechenden Objekts zu erlauben.The microscope system can be designed so that an object of the preparation, for example a cell or another biological object, can be approached and found again for further analyzes. For this purpose, a marking or a plurality of markings on a preparation carrier can be used. These can be used to retrieve and retrieve data Approaching biological objects for which data collection was previously performed. A calibration such that data can be assigned to each other, even if the specimen carrier is taken in the meantime, is made possible. Markings can be generated by using a radiation source of the microscope system, in particular a laser of the microscope system, on the specimen carrier. For example, markings can be burned into light-sensitive or heat-sensitive sections of the specimen slide with the laser. Results generated by statistical analysis of Raman data or other data can be assigned to a real image, ie a microscopic image of a biological object. Results generated with statistical analysis of Raman data or other data can be assigned to specific coordinates to allow a restart of the corresponding object.
Das Mikroskopsystem kann einen Speicher umfassen, um Ergebnisse einer Bilderfassung und/oder einer weiteren Bildauswertung in einer lokalen Datenbank zu speichern. Nach Datenerfassung und Datenauswertung an einer neuen Probe kann durch einen Abgleich mit den hinterlegten Daten, beispielsweise hinterlegten Ramanspektren, die unbekannte Probe identifiziert werden.The microscope system may include a memory to store results of image capture and / or further image analysis in a local database. After data acquisition and data evaluation on a new sample, the unknown sample can be identified by comparison with the stored data, for example stored Raman spectra.
Das Mikroskopsystem kann eine Schnittstelle umfassen, um Ergebnisse einer Bilderfassung und/oder einer weiteren Bildauswertung an eine zentrale Datenbank zu übermitteln. Die Schnittstelle kann für eine Datenübermittlung über ein Weitverkehrsnetz (WAN), insbesondere das Internet, oder über ein Lokalnetz (LAN) ausgestaltet sein. Das Mikroskopsystem kann eingerichtet sein, um über die Schnittstelle einen Abgleich von mit dem Mikroskopsystem erfassten Daten mit Daten, die in der zentralen Datenbank hinterlegt sind, durchzuführen. Über das Weitverkehrsnetz können mehrere Mikroskopsysteme, die jeweils nach Ausführungsbeispielen der Erfindung ausgestaltet sind, mit der zentralen Datenbank gekoppelt sein. Eine Distribution der Daten kann eine gefilterte Replikation einer Datenbank umfassen. Die Daten können in einer JSON-kompatiblen Datenstruktur gespeichert sein. Die Daten können neben Rohdaten und/oder aufbereiteten Daten auch Informationen über Parameter von Aufarbeitungsschritten umfassen.The microscope system may include an interface to transmit results of an image capture and / or a further image analysis to a central database. The interface can be configured for data transmission over a wide area network (WAN), in particular the Internet, or via a local area network (LAN). The microscope system can be set up to perform a comparison of data acquired by the microscope system with data stored in the central database via the interface. Via the wide area network, a plurality of microscope systems, each of which is designed according to exemplary embodiments of the invention, can be coupled to the central database. A distribution of the data may include a filtered replication of a database. The data may be stored in a JSON-compatible data structure. In addition to raw data and / or processed data, the data may also include information about parameters of processing steps.
Nach einem weiteren Ausführungsbeispiel wird ein Verfahren zur Datenerfassung unter Verwendung eines Mikroskopsystems angegeben. Bei dem Verfahren wird ein aktuelles mit einem Bildsensor erfasstes Bild eines Präparats in einem ersten Abschnitt einer optischen Ausgabeeinrichtung ausgegeben. Eine Navigationsansicht zur benutzerdefinierten Steuerung der Bilderfassung wird in einem zweiten Abschnitt der optischen Ausgabeeinrichtung ausgegeben. Ein optisches System wird derart gesteuert, dass eine Bilderfassung an einer über die Navigationsansicht benutzerdefiniert festgelegten Stelle des Präparats durchgeführt wird. Ein mit dem Bildsensor erfassten Bildes wird nach der Bilderfassung in der Navigationsansicht dargestellt.According to a further embodiment, a method for data acquisition using a microscope system is specified. In the method, a current image of a specimen captured with an image sensor is output in a first portion of an optical output device. A navigation view for user-defined control of image capture is output in a second section of the optical output device. An optical system is controlled such that image acquisition is performed on a custom defined location of the preparation via the navigation view. An image captured by the image sensor is displayed in the navigation view after image acquisition.
Das Verfahren kann mit einem Mikroskopsystem nach einem Aspekt oder Ausführungsbeispiel ausgeführt werden.The method may be performed with a microscope system according to one aspect or embodiment.
Ausgestaltungen des Verfahrens und die damit jeweils erzielten Wirkungen entsprechen Ausgestaltungen des Mikroskopsystems nach Ausführungsbeispielen.Embodiments of the method and the effects thus achieved correspond to embodiments of the microscope system according to embodiments.
Nach einem weiteren Ausführungsbeispiel wird ein Datenträger mit computerlesbarem Befehlscode angegeben, der bei Ausführung durch eine Steuereinrichtung eines Mikroskopsystems, die mit einem optischen System zur Bilderfassung gekoppelt ist, die Steuereinrichtung zur Ausführung des Verfahrens nach einem Ausführungsbeispiel veranlasst.According to a further embodiment, a data carrier with computer-readable instruction code is specified, which, when executed by a control device of a microscope system, which is coupled to an optical system for image acquisition, causes the control device to carry out the method according to an embodiment.
Nach einem weiteren Aspekt der Erfindung wird ein Mikroskopsystem angegeben, bei dem eine Bearbeitungssoftware zum Verarbeiten von Daten, die insbesondere Algorithmen zur statistischen Datenaufbereitung beinhalten können, auf einer Systemplattform kombiniert. Datenerfassung und Datenanalyse sowie die nachfolgende Zuordnung eines jeden Datenpunktes aus der statistischen Analyse zu der jeweiligen biologischen Probe, beispielsweise einer Zelle, können schnell und sicher stattfinden. Eine Markierung der statistischen Ergebnisse kann erfolgen, indem beispielsweise eine Falschfarbendarstellung der durch Datenverarbeitung erhaltenen Ergebnisse einem Mikroskopbild überlagert wird.According to a further aspect of the invention, a microscope system is specified, in which a processing software for processing data, which may in particular include algorithms for statistical data processing, is combined on a system platform. Data acquisition and data analysis as well as the subsequent assignment of each data point from the statistical analysis to the respective biological sample, for example a cell, can take place quickly and safely. A marking of the statistical results can be done, for example, by superimposing a false color representation of the results obtained by data processing on a microscope image.
Die für eine statistische Analyse der erfassten Daten wesentlichen Funktionen, beispielsweise Basislinienkorrektur, Auswahl eines Teils eines Gesamtspektrums, Subtraktion eines Hintergrundsignals etc., können unmittelbar auf einer Systemplattform des Mikroskopsystems integriert sein.The functions essential for a statistical analysis of the acquired data, for example, baseline correction, selection of a part of an entire spectrum, subtraction of a background signal, etc., can be integrated directly on a system platform of the microscope system.
Ein Rechner des Mikroskopsystems kann eine Datenexportfunktion bereitstellen, mit der eine Datenvorbereitung für die statistische Analyse erfolgt. Der Rechner kann eine Datenauswertung bereitstellen, die sowohl Möglichkeiten der qualitativen Datenanalyse als auch der quantitativen Datenanalyse umfassen kann. Die qualitative Analyse kann dazu dienen, signifikante Unterschiede in Zell- oder Gewebespektren unterschiedlicher Art zu finden und diese Unterschiede auf das ursprüngliche Spektrum zurückzurechnen. Für eine quantitative Aussage und Vorhersage der Zugehörigkeit einer unbekannten Probe zu einer vordefinierten Klasse können ergänzende Methoden verwendet werden.A computer of the microscope system can provide a data export function with which data preparation for statistical analysis is performed. The computer can provide a data evaluation, which can include both possibilities of qualitative data analysis and quantitative data analysis. The qualitative analysis can serve to find significant differences in cell or tissue spectra of different kinds and to re-calculate these differences to the original spectrum. For a quantitative statement and prediction of the affiliation of an unknown Supplementary methods can be used to sample a predefined class.
Die Erfindung wird nachfolgend unter Bezugnahme auf die Zeichnung anhand bevorzugter Ausführungsbeispiele weiter erläutert.The invention will be further explained below with reference to the drawing with reference to preferred embodiments.
1 zeigt eine schematische Darstellung eines Mikroskopsystems nach einem Ausführungsbeispiel. 1 shows a schematic representation of a microscope system according to an embodiment.
2 zeigt eine schematische Darstellung einer grafischen Benutzerschnittstelle zur Steuerung des Mikroskopsystems nach einem Ausführungsbeispiel. 2 shows a schematic representation of a graphical user interface for controlling the microscope system according to an embodiment.
3–11 zeigen eine Realisierung der grafischen Benutzerschnittstelle während aufeinanderfolgender Bilderfassungen zur Erläuterung der Funktionsweise des Mikroskopsystems nach einem Ausführungsbeispiel. 3 - 11 show a realization of the graphical user interface during successive image captures to explain the operation of the microscope system according to an embodiment.
12 zeigt eine schematische Darstellung der grafischen Benutzerschnittstelle in einem weiteren Betriebszustand. 12 shows a schematic representation of the graphical user interface in another operating state.
13 veranschaulicht eine Segmentierung eines Objekttisches zur Erzeugung einer Indexstruktur, die zum Erzeugen der Navigationsansicht in dem Mikroskopsystems nach einem Ausführungsbeispiel verwendet wird. 13 Figure 12 illustrates a segmentation of an object table for generating an index structure used to generate the navigation view in the microscope system according to an embodiment.
14 zeigt eine schematische Darstellung einer Indexstruktur, die zum Erzeugen der Navigationsansicht in dem Mikroskopsystems nach einem Ausführungsbeispiel verwendet wird. 14 shows a schematic representation of an index structure, which is used for generating the navigation view in the microscope system according to an embodiment.
15 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel. 15 is a flowchart of a method according to an embodiment.
16 zeigt eine schematische Darstellung der grafischen Benutzerschnittstelle in einem weiteren Betriebszustand. 16 shows a schematic representation of the graphical user interface in another operating state.
17 zeigt eine schematische Darstellung zur Erläuterung der Funktionsweise des Mikroskopsystems nach einem Ausführungsbeispiel bei der Bildgebung an einem dreidimensionalen Präparat. 17 shows a schematic representation for explaining the operation of the microscope system according to an embodiment in the imaging of a three-dimensional specimen.
18 zeigt eine schematische Darstellung eines Systems, bei dem mehrere Mikroskopsysteme mit einer zentralen Datenbank gekoppelt sind. 18 shows a schematic representation of a system in which a plurality of microscope systems are coupled to a central database.
19 ist ein Flussdiagramm zur Erläuterung einer Datenverarbeitung durch das Mikroskopsystem. 19 FIG. 4 is a flowchart for explaining data processing by the microscope system. FIG.
20 ist eine schematische Darstellung zur Erläuterung eines erneuten Anfahrens von biologischen Objekten. 20 is a schematic representation for explaining a restart of biological objects.
Die Merkmale der verschiedenen beschriebenen Ausführungsformen können miteinander kombiniert werden, sofern dies in der nachfolgenden Beschreibung nicht ausdrücklich ausgeschlossen ist.The features of the various described embodiments may be combined with each other unless expressly excluded in the following description.
1 ist eine schematische Darstellung eines Mikroskopsystems 1 nach einem Ausführungsbeispiel. Das Mikroskopsystem 1 umfasst ein optisches System 10 und eine elektronische Steuereinrichtung 30. Das optische System 1 ist zur Bilderfassung eines Präparats 2 eingerichtet. Das optische System 10 kann eine Vergrößerungsoptik aufweisen und somit als Mikroskop ausgestaltet sein. Das optische System 10 kann weitere Funktionen aufweisen. Das optische System 10 kann eingerichtet sein, um ortsaufgelöst Raman-Spektren des Präparats 2 zu erfassen. Alternativ oder zusätzlich kann das optische System 10 auch zur Manipulation des Präparats unter Einsatz von Licht oder zur anderweitigen Reizsetzung eingerichtet sein. Eine Erfassung von Daten, z. B. Raman-Spektren, oder eine Reizsetzung kann automatisch und rechnergestützt erfolgen. Beispielsweise können benutzerdefiniert mehrere Objekte auf einem Präparat markiert werden. Die Steuereinrichtung 30 kann dann das Mikroskopsystem 1 für eine automatische Datenerfassung steuern. Dazu kann beispielsweise ein Objekttisch verfahren, ein Laser mit vorgegebener Zeit und Intensität aktiviert werden, um ein Raman-Spektrum zu erfassen, und eine mikroskopisches Bild für den entsprechenden Messpunkt erzeugt werden. Alle Daten sowie das Bild des Messpunktes können dann automatisch in einer Datenbank hinterlegt werden. 1 is a schematic representation of a microscope system 1 according to an embodiment. The microscope system 1 includes an optical system 10 and an electronic control device 30 , The optical system 1 is for image capture of a preparation 2 set up. The optical system 10 may have a magnifying optics and thus be designed as a microscope. The optical system 10 can have more functions. The optical system 10 can be set up to spatially resolved Raman spectra of the preparation 2 capture. Alternatively or additionally, the optical system 10 also be adapted for manipulation of the preparation using light or for other purposes. A collection of data, eg. B. Raman spectra, or a stimulus can be done automatically and computer-aided. For example, user-defined multiple objects can be marked on a specimen. The control device 30 then can the microscope system 1 control for automatic data collection. This can be done, for example, a stage, a laser with a predetermined time and intensity are activated to detect a Raman spectrum, and a microscopic image are generated for the corresponding measurement point. All data and the image of the measuring point can then be automatically stored in a database.
Das optische System 10 umfasst eine Lichtquelle 11, die eine Laserlichtquelle umfassen kann. Das optische System 10 umfasst einen Objekttisch 12, auf dem das Präparat 2 gehalten werden kann. Der Objekttisch 12 kann in zwei oder drei räumlichen Richtungen verstellbar sein. Das optische System 11 kann einen ersten Antrieb 13 zur x-y-Verstellung und einen zweiten Antrieb 14 zur z-Verstellung des Objekttisches 12 umfassen. Die z-Verstellung kann auch durch Verstellen der Objektivhalterung erfolgen. Der erste Antrieb 13 und zweite Antrieb 14 können von einer in das optische System 10 integrierten Steuerung oder von einem externen Steuercomputer gesteuert werden. Der erste Antrieb 13 und zweite Antrieb 14 können jeweils als Stellantrieb ausgestaltet sein. Die Ansteuerung erfolgt, indem die Steuereinrichtung 30 eine Benutzereingabe, mit der der Benutzer über eine Navigationsansicht des Präparats einen abzubildenden Präparatbereich auswählt, in einen Navigationsbefehl umsetzt und den ersten Antrieb 13, die Lichtquelle 11, eine gewählte Vergrößerung des optischen Systems und, falls erforderlich, den zweiten Antrieb 14 für eine Bilderfassung steuert. Die mit einem Bildsensor erfassten Daten werden ausgelesen und, wie noch ausführlicher beschrieben werden wird, in die Navigationsansicht einbezogen, um die Navigationsansicht im Gebrauch des Mikroskopsystems dynamisch zu verbessern.The optical system 10 includes a light source 11 which may include a laser light source. The optical system 10 includes a stage 12 on which the drug 2 can be held. The stage 12 can be adjustable in two or three spatial directions. The optical system 11 can be a first drive 13 for xy adjustment and a second drive 14 for z-adjustment of the object table 12 include. The z adjustment can also be done by adjusting the lens mount. The first drive 13 and second drive 14 can from one into the optical system 10 integrated control or controlled by an external control computer. The first drive 13 and second drive 14 can each be configured as an actuator. The control takes place by the control device 30 a user input, with which the user selects a preparation area to be imaged via a navigation view of the preparation, converts it into a navigation command and the first drive 13 , the light source 11 , a selected magnification of the optical system and, if necessary, the second drive 14 for image capture controls. The data acquired with an image sensor is read out and, as will be described in more detail, included in the navigation view, to dynamically improve the navigation view in use of the microscope system.
Das optische System 10 weist verschiedene optische Komponenten 15–20 auf. Diese können Linsen und/oder Filter 15, Umlenkspiegel 16, 17 und eine oder mehrere Objektivlinsen umfassen. Zur Einstellung unterschiedlicher Vergrößerungen des optischen Systems können mehrere unterschiedliche Objektive 19, 20 vorhanden sein, die an einem Revolver 18 gelagert sind. Die Stellung des Revolvers 18 kann von der Steuereinrichtung 30 abhängig von einer benutzerdefiniert festgelegten Vergrößerung des optischen Systems 10 eingestellt werden.The optical system 10 has different optical components 15 - 20 on. These can be lenses and / or filters 15 , Deflection mirror 16 . 17 and one or more objective lenses. To set different magnifications of the optical system, several different lenses 19 . 20 be present, attached to a revolver 18 are stored. The position of the revolver 18 can from the controller 30 depending on a user-defined magnification of the optical system 10 be set.
Das optische System 10 umfasst einen oder mehrere Bildsensoren. Das optische System 10 kann einen Bildsensor 21 aufweisen, auf den das Objektiv 19 das Präparat abbildet. Das entsprechende Bild ist eine Darstellung der Morphologie eines Präparatbereichs, die in Durchlicht- oder Auflichtmikroskopie erfasst wird. Das optische System 10 kann einen weiteren Bildsensor 22 aufweisen, der als Teil eines Raman-Spektrometers 23 wirkt. Der weitere Bildsensor 22 kann bei Verwendung des optischen Systems 10 zur ortsaufgelösten Raman-Spektroskopie Raman-Spektren erfassen, die über ein Gitter 24 oder eine andere beugende oder brechende optische Struktur auf den weiteren Bildsensor 22 abgebildet werden. Der Bildsensor 21 und/oder der weitere Bildsensor 22 können als optoelektronischer Flächensensor ausgestaltet sein, die optische Information in Bilddaten umwandeln. Die Bilddaten können als zweidimensionale Ladungsinformation erzeugt und ausgelesen werden. Der Bildsensor 21 und/oder der weitere Bildsensor 22 können beispielsweise als CMOS oder CCD-Chip ausgestaltet sein.The optical system 10 includes one or more image sensors. The optical system 10 can be an image sensor 21 have on which the lens 19 the drug is imaging. The corresponding image is a representation of the morphology of a specimen area, which is detected by transmitted light or reflected light microscopy. The optical system 10 can be another image sensor 22 which, as part of a Raman spectrometer 23 acts. The other image sensor 22 can when using the optical system 10 For spatially resolved Raman spectroscopy, Raman spectra are acquired by a grating 24 or another diffractive or refractive optical structure on the further image sensor 22 be imaged. The image sensor 21 and / or the further image sensor 22 can be designed as an optoelectronic surface sensor, which convert optical information into image data. The image data can be generated and read out as two-dimensional charge information. The image sensor 21 and / or the further image sensor 22 For example, they may be configured as CMOS or CCD chips.
Die Ansteuerung des optischen Systems erfolgt über die Steuereinrichtung 30. Die Steuereinrichtung 30 weist einen Rechner 40 und eine mit dem Rechner 40 gekoppelte optische Ausgabeeinrichtung 50 auf. Der Rechner 40 kann ein Computer sein, der so programmiert ist, dass er die unter Bezugnahme auf 2–18 noch näher beschriebenen Verfahren durchführt, mit denen der Benutzer über eine Navigationsansicht den Bereich des Präparats auswählen kann, in dem die nächste Bilderfassung erfolgen soll, und bei denen die Navigationsansicht im Gebrauch des Mikroskopsystems dynamisch angepasst wird. Die optische Ausgabeeinrichtung 50 kann ein Bildschirm, ein Projektor oder eine andere Einrichtung zur grafischen Ausgabe von Daten an den Benutzer sein.The control of the optical system via the control device 30 , The control device 30 has a calculator 40 and one with the calculator 40 coupled optical output device 50 on. The computer 40 may be a computer that is programmed to refer to 2 - 18 described in more detail with which the user can select the area of the preparation in a navigation view in which the next image acquisition is to take place, and in which the navigation view is dynamically adjusted in the use of the microscope system. The optical output device 50 may be a screen, projector, or other device for graphically outputting data to the user.
Der Rechner 40 weist einen Prozessor 41 auf, der über eine Schnittstelle 42 mit dem optischen System 10 gekoppelt ist. Auch wenn der Rechner 40 in 1 schematisch als separates Gerät dargestellt ist, kann der Rechner 40 oder ein weiterer Prozessor in das optische System 10 integriert sein. Der Prozessor 41 kann über die Schnittstelle 42 Steuerbefehle an das optische System 10 ausgeben, die eine Bilderfassung an einer vom Benutzer über eine Navigationsansicht festgelegten Stelle des Präparats 2 veranlassen. Die Steuerbefehle können Stellbefehle für einen oder mehrere Antriebe des Objekttisches 12 sein. Die Steuerbefehle können einen Stellbefehl für einen Antrieb des Revolvers 18 umfassen, mit dem eine benutzerdefiniert festgelegte Vergrößerung desoptischen Systems 10 eingestellt wird. Die Steuerbefehle können Befehle zum Einstellen der Helligkeit der Lichtquelle und/oder Beleuchtungszeit umfassen. Der Prozessor 41 kann über die Schnittstelle 42 Bilddaten empfangen, die von dem Bildsensor 21 und/oder dem weiteren Bildsensor 22 erfasst werden. Es können mehrere separate Schnittstellen 42 vorgesehen sein, um den Prozessor 41 mit elektronischen Komponenten des optischen Systems 10 zu koppeln.The computer 40 has a processor 41 up, over an interface 42 with the optical system 10 is coupled. Even if the calculator 40 in 1 is shown schematically as a separate device, the calculator 40 or another processor in the optical system 10 be integrated. The processor 41 can over the interface 42 Control commands to the optical system 10 which capture an image at a location of the preparation defined by the user via a navigation view 2 cause. The control commands can control commands for one or more drives of the object table 12 be. The control commands can be a control command for a drive of the revolver 18 comprising a user defined magnification of the optical system 10 is set. The control commands may include commands for adjusting the brightness of the light source and / or illumination time. The processor 41 can over the interface 42 Image data received by the image sensor 21 and / or the further image sensor 22 be recorded. There may be several separate interfaces 42 be provided to the processor 41 with electronic components of the optical system 10 to pair.
Der Prozessor 41 kann die empfangenen Bilddaten weiter verarbeiten, bevor die Bilddaten in eine Datenbank 44 abgelegt werden. Beispielsweise kann der Prozessor 41 Informationen über die Stellung des Objekttisches 12 und von dem weiteren Bildsensor 22 gelieferte Daten rechnerisch verarbeiten, um ein Falschfarbenbild zu erzeugen, das ortsaufgelöst erfasste Raman-Spektren repräsentiert. Dieses Falschfarbenbild lässt sich auf ein Bild der Probe überlagern. Insbesondere kann eine Zuordnung zwischen einem mikroskopischen Bild eines Objekts, z. B. einer Zelle, und den entsprechenden Daten in der Datenbank 44 gespeichert sein, um eine derartige Überlagerung darzustellen. Die Datenbank 44 kann in einem Speicher 43 des Rechners 40 gespeichert sein. Die Datenbank 44 kann einen Index 45 umfassen, der bei einer Bilderfassung entsprechend aktualisiert wird. Wie noch ausführlicher beschrieben wird, liest der Prozessor 41 mehrere einzelne Bilder aus der Datenbank 44 aus, um über die optische Ausgabeeinrichtung 50 eine Navigationsansicht auszugeben, die eine benutzerdefinierte Navigation auf dem Präparat 2 erlaubt. Insbesondere kann der Benutzer über die Navigationsansicht einen Präparatbereich auswählen, in dem die nächste Bilderfassung durchgeführt werden soll. Nach Bilderfassung wird das Bild verwendet, um die Navigationsansicht zu aktualisieren und so dynamisch anzupassen. Die Auswahl eines interessierenden Präparatsbereichs über die Navigationsansicht kann beispielsweise unter Verwendung eines weiteren Peripheriegeräts 31, z. B. einer Computermaus oder eines anderen Zeigers, erfolgen.The processor 41 can further process the received image data before the image data into a database 44 be filed. For example, the processor 41 Information about the position of the object table 12 and from the other image sensor 22 Process supplied data to produce a false color image representing spatially resolved acquired Raman spectra. This false color image can be superimposed on an image of the sample. In particular, an association between a microscopic image of an object, e.g. A cell, and the corresponding data in the database 44 stored to represent such an overlay. Database 44 can in a store 43 of the computer 40 be saved. Database 44 can have an index 45 which is updated accordingly in an image acquisition. As will be described in more detail, the processor reads 41 several individual pictures from the database 44 off to go through the optical output device 50 to output a navigation view showing a custom navigation on the specimen 2 allowed. In particular, the user can select a preparation area via the navigation view in which the next image acquisition is to be carried out. After image capture, the image is used to refresh the navigation view and dynamically adjust it. The selection of a preparation area of interest via the navigation view can be made, for example, by using a further peripheral device 31 , z. As a computer mouse or another pointer done.
Der Rechner 40 steuert die optische Ausgabeeinrichtung 50 so, dass in einem ersten Abschnitt 51 der optischen Ausgabeeinrichtung 50 ein mit dem optischen System 10 erfasstes aktuelles Bild dargestellt ist. Der Abschnitt 51 dient zur Anzeige einer „Live-Ansicht”. Das in dem Abschnitt 51 dargestellte Bild kann das bei der letzten Bilderfassung erfasste Bild sein. Der Rechner 40 steuert die optische Ausgabeeinrichtung 50 so, dass in einem zweiten Abschnitt 52 die Navigationsansicht dargestellt wird, die dem Benutzer eine Navigation auf dem Präparat erlaubt. Der Rechner 40 kann zum Erzeugen der Navigationsansicht mehrere Bilder aus der Datenbank 44 unter Verwendung des Index 45 auswählen. Die Auswahl kann abhängig von der bei der Bilderfassung der entsprechenden Bilder jeweils gewählten Vergrößerung des optischen Systems und abhängig davon erfolgen, welcher Bereich des Präparats 2 in der Navigationsansicht im zweiten Abschnitt 52 gerade dargestellt werden soll. Unter den Bildern der Datenbank 44, die mit dem in der Navigationsansicht darzustellenden Bereich des Präparats überlappen, können selektiv Bilder ausgewählt werden, die mit einer Vergrößerung erfasst wurden, die kleiner als ein Schwellenwert ist. Der Schwellenwert wird abhängig von einer für die Navigationsansicht eingestellten Vergrößerung gewählt. Bilder, die eine hohe Auflösung aufweisen, da sie mit einer großen Vergrößerung des optischen Systems erfasst wurden, können für die Navigationsansicht unberücksichtigt bleiben, so lange nur eine Navigationsansicht mit kleiner Vergrößerung dargestellt werden soll. Der Rechner 40 ist so eingerichtet, dass ein stufenloses Einstellen der Vergrößerung der Navigationsansicht möglich ist. Die Auswahl und Skalierung der Bilder aus der Datenbank 44 erfolgt dabei jeweils abhängig von der gewählten Vergrößerung für die Navigationsansicht. Bilder, die mit im Vergleich zur für die Navigationsansicht gewählten Auflösung mit hoher Auflösung erfasst wurden, können unberücksichtigt bleiben, wenn die Navigationsansicht erzeugt wird. Die Navigationsansicht kann aus den Einzelbildern der Datenbank 44 erzeugt werden, ohne dass diese hierfür zu einem Gesamtbild zusammengefügt oder „gestitcht” werden müssen. Beispielsweise kann die Navigationsansicht dadurch erzeugt werden, dass mit höherer Auflösung erfasste Bilder in der Navigationsansicht als Overlay solchen Bildern überlagert werden, die mit niedrigerer Auflösung erfasst wurden. Wenn eine neue Bilderfassung durchgeführt wird, kann das entsprechende Bild im ersten Abschnitt 51 als „Live-Bild” dargestellt werden. Zusätzlich kann die Navigationsansicht, die im zweiten Abschnitt 52 dargestellt ist, gemäß der Bilderfassung aktualisiert werden. Dazu kann das bei der neuen Bilderfassung erfasste Bild beispielsweise als Overlay in die Navigationsansicht einbezogen werden.The computer 40 controls the optical output device 50 so that in a first section 51 the optical output device 50 one with the optical system 10 recorded current image is shown. The section 51 serves to display a "live view". That in the section 51 illustrated picture may be the image captured at the last image capture. The computer 40 controls the optical output device 50 so that in a second section 52 the navigation view is displayed, which allows the user to navigate on the preparation. The computer 40 can generate several images from the database to create the navigation view 44 using the index 45 choose. The selection can be made depending on the respective magnification of the optical system selected during the image acquisition of the corresponding images and depending on which region of the preparation 2 in the navigation view in the second section 52 just to be displayed. Among the pictures of the database 44 which overlap with the region of the specimen to be displayed in the navigation view, images which have been acquired at a magnification smaller than a threshold can be selectively selected. The threshold is selected based on a magnification set for the navigation view. Images that have a high resolution because they were acquired with a large magnification of the optical system can be disregarded for the navigation view, as long as only a small magnification navigation view is to be displayed. The computer 40 is set up so that a continuous adjustment of the magnification of the navigation view is possible. The selection and scaling of images from the database 44 depends on the selected magnification for the navigation view. Images captured at high resolution compared to the navigation view selected for the navigation view may be disregarded when the navigation view is created. The navigation view can be taken from the individual images of the database 44 be generated without this need to be assembled or "gestitcht" to an overall picture. For example, the navigation view may be generated by superimposing images captured at a higher resolution in the navigation view as an overlay to images acquired at a lower resolution. When a new image capture is performed, the corresponding image in the first section 51 as a "live image". Additionally, the navigation view shown in the second section 52 is displayed, are updated according to the image acquisition. For this purpose, the image captured in the new image acquisition can be included as an overlay in the navigation view, for example.
Wie noch näher beschrieben wird, kann der Rechner 40 so ausgestaltet sein, dass über die optische Ausgabeeinrichtung 50 weitere Funktionen durchführbar sind. Beispielsweise kann in dem zweiten Abschnitt 52 eine Grafik dargestellt werden, die darstellt, in welchen Präparatbereichen wie viele Bilderfassungen durchgeführt wurden. So kann die Abdeckung des Präparats durch Bilder in einfach verständlicher Weise dargestellt werden. Der erste Abschnitt 51 und der zweite Abschnitt 52 müssen nicht ortsfest sein, sondern können beispielsweise auf einen entsprechenden Benutzerbefehl hin in ihren Positionen vertauscht werden. Der Rechner 40 kann zusätzliche Informationen über die optische Ausgabeeinrichtung 50 ausgeben. Beispielsweise kann eine Historie angezeigt werden, in der die in verschiedenen sequentiellen Bilderfassungen erfassten Bilder mit der zugehörigen Vergrößerung des optischen Systems 10 enthalten sind. In der Datenbank 44 können neben der Vergrößerung des optischen Systems bei der entsprechenden Bilderfassung auch Informationen zur Position des Bereichs, den das entsprechende Bild repräsentiert, hinterlegt sein. Unter Verwendung einer Historie oder unter Verwendung der Navigationsansicht kann ein Präparatbereich, für den bereits früher eine Bilderfassung durchgeführt wurde, erneut angefahren werden. Dabei kann das optische System 10 unter Kontrolle der Steuereinrichtung 30 erneut so positioniert werden, wie es bei der früheren Bilderfassung positioniert war.As will be described in more detail, the calculator 40 be configured so that the optical output device 50 additional functions are feasible. For example, in the second section 52 a graph showing which sections of the preparation were performed and how many frames were taken. Thus, the cover of the preparation can be represented by images in a simple way. The first paragraph 51 and the second section 52 Do not need to be stationary, but can be reversed in their positions, for example, to a corresponding user command. The computer 40 can provide additional information about the optical output device 50 output. For example, a history may be displayed in which the images acquired in various sequential image captures are associated with the associated magnification of the optical system 10 are included. In the database 44 In addition to the enlargement of the optical system in the corresponding image acquisition, information about the position of the area represented by the corresponding image can also be stored. Using a history or using the navigation view, a preparation area for which imaging has already been performed earlier may be restarted. In this case, the optical system 10 under control of the controller 30 be repositioned as it was in the previous image capture.
2 ist eine schematische Darstellung einer grafischen Benutzerschnittstelle, die über die optische Ausgabeeinrichtung 50 ausgegeben werden kann. Die grafische Benutzerschnittstelle wird so erzeugt, dass in einem ersten Abschnitt 51 ein aktuelles Bild, das mit dem optischen System 10 erfasst wird, dargestellt wird. In einem zweiten Abschnitt 52 wird eine Navigationsansicht dargestellt, die dem Benutzer eine Navigation auf dem Präparat 2 erlaubt. Die Navigationsansicht wird angepasst, indem bei neuen Bilderfassungen die jeweils neu erfassten Bilder auch in die Navigationsansicht integriert werden können. In einem dritten Abschnitt 53 wird eine Historie der Bilderfassungen dargestellt. Die Historie kann verkleinerte Ansichten bzw. so genannten „Thumbnails” der Bilder, Informationen zur jeweiligen Vergrößerung des optischen Systems 10 und optional weitere Informationen, wie Datum und/oder Zeit der Erfassung, enthalten. 2 is a schematic representation of a graphical user interface via the optical output device 50 can be issued. The graphical user interface is generated in a first section 51 a current image, that with the optical system 10 is detected is displayed. In a second section 52 a navigation view is displayed, giving the user navigation on the preparation 2 allowed. The navigation view is adjusted by the newly captured images can also be integrated into the navigation view with new image captures. In a third section 53 a history of image captures is displayed. The history can be reduced views or so-called "thumbnails" of the images, information about the respective magnification of the optical system 10 and optionally further information, such as date and / or time of capture included.
Die grafische Benutzerschnittstelle kann weitere Steuer- und/oder Anzeigeflächen umfassen. Beispielsweise kann eine Steuerfläche 54 vorgesehen sein, mit der die Darstellung einer Live-Ansicht in dem ersten Abschnitt 51 aktiviert werden kann. Es kann eine weitere Steuerfläche 55 vorgesehen sein, mit der in Art einer „Snapshot”-Funktion die Integration des aktuellen Bildes in die Navigationsansicht im zweiten Abschnitt 52 veranlasst werden kann.The graphical user interface may include other control and / or display areas. For example, a control surface 54 be provided with the presentation of a live view in the first section 51 can be activated. It may be another control surface 55 be provided with the type of a "snapshot" function, the integration of the current image in the navigation view in the second section 52 can be initiated.
Die grafische Benutzerschnittstelle kann auch einen Bereich 60 umfassen, in dem Informationen zu aktuellen Einstellungen des optischen Systems 10 angezeigt und/oder diese Einstellungen geändert werden können. Über Steuerflächen 61 kann eine von mehreren Vergrößerungen des optischen Systems 10 gewählt werden. Über weitere Steuerflächen 62, 63 können verschiedene Betriebsarten des optischen Systems 10 ausgewählt werden. Diese können Einstellungen für die Wahl einer Beleuchtung (flächige Beleuchtung oder Laserlichtquelle) und/oder für die Wahl einer Betriebsart (optische Abbildung der Morphologie in Durch- oder Auflichtmikroskopie oder Spektrometerfunktion) umfassen. Über Steuerflächen 64, 65, die beispielsweise als Schieber ausgestaltet sein können, können weitere Einstellungen wie eine Belichtungszeit, eine x-y-Position des Objekttisches und/oder eine Fokusposition des Strahlengangs eingestellt werden. In einem Anzeigefeld 66 können Informationen dargestellt werden, die dem Benutzer die Wahl geeigneter Parameterwerte für die Bilderfassung erleichtern. Beispielsweise kann in dem Anzeigefeld 66 eine Helligkeit oder Helligkeitsverteilung von Bildern als Histogramm dargestellt werden.The graphical user interface can also have an area 60 in which information about current settings of the optical system 10 and / or these settings can be changed. About control surfaces 61 can be one of several magnifications of the optical system 10 to get voted. About more control surfaces 62 . 63 can be different modes of the optical system 10 to be selected. These may include settings for the choice of illumination (area illumination or laser light source) and / or for the selection of a mode of operation (optical imaging of the morphology in transmitted or reflected light microscopy or spectrometer function). About control surfaces 64 . 65 , which can be configured, for example, as a slider, further settings such as an exposure time, an xy position of the object table and / or a focus position of the beam path can be set. In a display field 66 For example, information can be presented to help the user choose appropriate image capture parameter values. For example, in the display field 66 a brightness or brightness distribution of images can be displayed as a histogram.
Die Funktionsweise des Rechners 40 zur Erzeugung und Aktualisierung der Navigationsansicht, die die benutzerdefinierte Auswahl von Präparatbereichen erlaubt, wird unter Bezugnahme auf 3–17 näher beschrieben. Allgemein ist die Steuereinrichtung 30 so eingerichtet, dass sie über die optische Ausgabeeinrichtung 50 ein aktuelles mit dem Bildsensor erfasstes Bild und eine Navigationsansicht, die eine Navigation auf dem Präparat erleichtert, ausgibt. Die Navigationsansicht kann aktualisiert werden, wenn ein Präparatbereich, der bereits mit einer ersten Vergrößerung des optischen Systems erfasst wurde und in der Navigationsansicht dargestellt ist, erneut mit einer höheren Auflösung erfasst wird. Das entsprechend höher aufgelöste Bild kann dann als Overlay in die Navigationsansicht einbezogen werden. Die Steuereinrichtung 30 kann so ausgestaltet sein, dass eine stufenlose Wahl von Vergrößerungsfaktoren für die Darstellung der Navigationsansicht möglich ist. Dies erlaubt dem Benutzer, nach Wahl einer ersten Vergrößerung des optischen Systems gezielt einen Bereich des Präparats abzurastern. Die Navigationsansicht wird entsprechend durch die Einbeziehung der neuen Bilder verbessert. Durch einen Zoomvorgang in der Navigationsansicht kann der Benutzer den mit der ersten Vergrößerung abgebildeten Bereich in der Navigationsansicht vergrößert darstellen. Nach Wahl einer zweiten Vergrößerung des optischen Systems, die größer als die erste Vergrößerung ist, kann die Steuereinrichtung das optische System erneut zur Bilderfassung ansteuern. Die mit der zweiten Vergrößerung erfassten Bilder können erneut als Overlay in die Navigationsansicht einbezogen werden. Die Vorgänge können wiederholt werden. Die Navigationsansicht wird so gezielt in den Bereichen mit höherer Auflösung erzeugt, in denen Bildaufnahmen mit größerer Vergrößerung durchgeführt werden.The functioning of the computer 40 to create and update the navigation view that allows the custom selection of specimen areas is discussed with reference to 3 - 17 described in more detail. Generally, the controller is 30 set up so that they have the optical output device 50 a current image captured with the image sensor and a navigation view that facilitates navigation on the specimen issues. The navigation view can be updated if a preparation area that has already been acquired with a first magnification of the optical system and is shown in the navigation view is recorded again with a higher resolution. The higher-resolution image can then be included as an overlay in the navigation view. The control device 30 can be designed so that a continuous selection of magnification factors for the presentation of the navigation view is possible. This allows the user to selectively scan a portion of the specimen at the option of a first magnification of the optical system. The navigation view is enhanced accordingly by the inclusion of new images. Zooming in the navigation view allows the user to zoom in on the area of the first magnification in the navigation view. Upon selection of a second magnification of the optical system that is greater than the first magnification, the controller may re-drive the optical system for image acquisition. The images acquired with the second magnification can be included as an overlay in the navigation view again. The processes can be repeated. The navigation view is thus targeted in the areas of higher resolution, in which images are taken with greater magnification.
3 zeigt schematisch die grafische Benutzerschnittstelle, die über die optische Ausgabeeinrichtung 50 ausgegeben wird. Dargestellt ist ein Zustand, der vor einer ersten Bilderfassung besteht. Der dritte Abschnitt 53 mit der Historie ist leer. Der zweite Abschnitt 52 kann eine schematische Darstellung 58 des äußeren Rands des Präparats oder Präparatträgers zeigen. Ein Auswahlelement 57 ist in der Navigationsansicht dargestellt. Die Position des Auswahlelements 57 kann benutzerdefiniert eingestellt werden. Nach Aktivierung der Steuerfläche 54 wird in dem ersten Abschnitt 51 ein Bild 71 gezeigt, das mit dem Bildsensor aktuell erfasst wird. Dazu kann die Steuereinrichtung das optische System so ansteuern, dass der durch das Auswahlelement 57 festgelegte Bereich des Präparats angefahren und abgebildet wird. Alternativ oder zusätzlich zur Aktivierung der Steuerfläche 54 auf der grafischen Benutzerschnittstelle kann die Darstellung des „Live-Bilds” auch auf andere Weisen eingeleitet werden, beispielsweise durch Tastenkombination auf einer Tastatur und/oder die Betätigung eines Knopfes oder einer Taste eines Peripheriegeräts, beispielsweise einer Computermaus. 3 schematically shows the graphical user interface, via the optical output device 50 is issued. Shown is a state that exists before a first image capture. The third section 53 with the history is empty. The second section 52 can be a schematic representation 58 of the outer edge of the preparation or preparation carrier. A selection element 57 is shown in the navigation view. The position of the selection element 57 can be customized. After activation of the control surface 54 will be in the first section 51 a picture 71 shown, which is currently detected with the image sensor. For this purpose, the control device can control the optical system in such a way that the light emitted by the selection element 57 fixed area of the preparation is approached and displayed. Alternatively or in addition to activating the control surface 54 on the graphical user interface, the presentation of the "live image" can also be initiated in other ways, for example by keyboard shortcuts and / or the operation of a button or a button of a peripheral device, such as a computer mouse.
Die Größe des Auswahlelements 57, das in dem zweiten Abschnitt 52 dargestellt ist, hängt ab von der aktuell gewählten Vergrößerung des optischen Systems 10 und der aktuell gewählten Vergrößerung für die Navigationsansicht. Bei Wahl einer neuen Vergrößerung des optischen Systems 10 wird die Größe des Auswahlelements 57 entsprechend sprunghaft geändert, um zu berücksichtigen, dass bei größerer Vergrößerung des optischen Systems 10 nur ein entsprechend kleinerer Präparatbereich abgebildet werden kann. Bei einem Zoomvorgang in der Navigationsansicht kann die Größe des Auswahlelements 57 entsprechend kontinuierlich angepasst werden, um zu berücksichtigen, dass die lateralen Abmessungen der dargestellten Navigationsansicht sich relativ zu dem mit dem Auswahlelement 57 erfassbaren Präparatbereich ändern können. Ein stufenloses Zoomen der Navigationsansicht kann entsprechend zu einer stufenlosen Anpassung der Größe des Auswahlelements 57 führen.The size of the selection item 57 that in the second section 52 depends on the currently selected magnification of the optical system 10 and the currently selected magnification for the navigation view. When choosing a new magnification of the optical system 10 becomes the size of the selection item 57 changed correspondingly abruptly to take into account that at larger magnification of the optical system 10 only a correspondingly smaller preparation area can be imaged. Zooming in Navigation view may resize the selection item 57 be continuously adjusted to take into account that the lateral dimensions of the illustrated navigation view relative to that with the selection element 57 can change detectable preparation area. A stepless zooming of the navigation view may correspond to a stepless adjustment of the size of the selection element 57 to lead.
Zur Bilderfassung steuert die Steuereinrichtung 30 automatisch das optische System so, dass die Bilderfassung an der Position des Präparats durchgeführt wird, der dem durch die Position des Auswahlelements 57 in der Navigationsansicht festgelegten Bereich entspricht. Dazu kann ein Antrieb des Objekttisches oder können mehrere Antriebe des Objekttisches entsprechend aktiviert werden, um den Objekttisch relativ zum Strahlengang des optischen Systems 10 zu bewegen. Der Revolver 18 kann gedreht werden, so dass eine Bilderfassung mit einer gewünschten Vergrößerung des optischen Systems 10 erfolgt. Weitere optische Komponenten des optischen Systems können aktiviert werden, beispielsweise um einen Wellenlängenscan bei einer Raman-Spektroskopie durchzuführen.For image capture controls the controller 30 automatically the optical system so that the image acquisition is carried out at the position of the preparation, which by the position of the selection element 57 corresponds to the area defined in the navigation view. For this purpose, a drive of the object table or several drives of the object table can be activated accordingly to the object table relative to the beam path of the optical system 10 to move. The revolver 18 can be rotated, allowing image acquisition with a desired magnification of the optical system 10 he follows. Other optical components of the optical system can be activated, for example to perform a wavelength scan in a Raman spectroscopy.
4 zeigt die grafische Benutzerschnittstelle, wenn der Benutzer eine „Snapshot”-Funktion aktiviert hat. Dies kann beispielsweise durch Betätigung der weiteren Steuerfläche 55 erfolgen. Alternativ oder zusätzlich zur Aktivierung der weiteren Steuerfläche 55 auf der grafischen Benutzerschnittstelle kann die „Snapshot”-Funktion auch auf andere Weisen eingeleitet werden, beispielsweise durch Tastenkombination auf einer Tastatur und/oder die Betätigung eines Knopfes oder einer Taste eines Peripheriegeräts, beispielsweise einer Computermaus. 4 shows the graphical user interface if the user has enabled a "snapshot" feature. This can, for example, by pressing the other control surface 55 respectively. Alternatively or in addition to the activation of the further control surface 55 on the graphical user interface, the "snapshot" function can also be initiated in other ways, for example by keyboard shortcuts and / or the operation of a button or a button of a peripheral device, such as a computer mouse.
Bei Aktivierung der „Snapshot”-Funktion wird das Bild 71, das aktuell mit dem Bildsensor erfasst wird, an der entsprechenden Stelle und in der entsprechenden Größe in die Navigationsansicht im zweiten Abschnitt 52 eingefügt. Die Größe der Darstellung 72 wird dabei abhängig von der gewählten Vergrößerung des optischen Systems bei Bilderfassung und abhängig von der aktuellen Vergrößerung für die Navigationsansicht gewählt. Die Position der Darstellung 72 wird so gewählt, dass die Darstellung 72 an derjenigen Stelle in die Navigationsansicht eingefügt wird, die der Position des abgebildeten Präparatbereichs am Präparat bzw. relativ zum Objekttisch entspricht. Zum Einfügen des Bildes 71 als Darstellung 72 in die Navigationsansicht muss kein rechnerisches Zusammenfügen mehrerer Bilder erfolgen. Die Darstellung 72, die einer entsprechend skalierten und positionierten Version des Bildes 71 entspricht, kann als Overlay über die bereits existierende Navigationsansicht gelegt werden. Der entsprechende Vorgang ist schematisch mit dem Pfeil 91 dargestellt.When activating the "Snapshot" function, the image becomes 71 that is currently being captured with the image sensor, at the appropriate location and size in the navigation view in the second section 52 inserted. The size of the presentation 72 is selected depending on the selected magnification of the optical system for image acquisition and depending on the current magnification for the navigation view. The position of the presentation 72 is chosen so that the representation 72 is inserted at the point in the navigation view, which corresponds to the position of the reproduced preparation area on the preparation or relative to the stage. To insert the picture 71 as a representation 72 in the navigation view, no computational merging of multiple images must be done. The representation 72 that is a suitably scaled and positioned version of the image 71 can be overlaid on the already existing navigation view. The corresponding process is schematic with the arrow 91 shown.
Das Bild 71 bzw. die entsprechende Darstellung 72 in der Navigationsansicht kann die Morphologie des Präparatbereichs, wie sie mit Auflicht- oder Durchlichtmikroskopie erfasst wird, darstellen. Das Bild 71 bzw. die entsprechende Darstellung 72 kann jedoch auch andere relevante Eigenschaften des Präparats darstellen, beispielsweise das Ergebnis einer ortsaufgelösten Raman-Spektroskopie. Dieses kann in einer entsprechenden Falschfarbendarstellung angezeigt werden.The picture 71 or the corresponding representation 72 In the navigation view, the morphology of the preparation area, as detected by incident light or transmitted light microscopy, can be displayed. The picture 71 or the corresponding representation 72 however, may also represent other relevant properties of the preparation, such as the result of spatially resolved Raman spectroscopy. This can be displayed in a corresponding false color display.
Weitere Aktionen können bei Aktivierung der „Snapshot”-Funktion automatisch ausgelöst werden. Die Bilderfassung kann in der Historie im dritten Abschnitt 53 dargestellt werden. Ein entsprechender Eintrag 73 wird in der Historie erzeugt. Es kann eine verkleinerte Darstellung 75 des erfassten Bildes 71 in der Historie dargestellt werden. Es können weitere Informationen 74 im Eintrag 73 dargestellt werden. Diese können beispielsweise Informationen zur Vergrößerung des optischen Systems bei Bilderfassung und/oder zu Datum und Uhrzeit der Bilderfassung enthalten.Further actions can be triggered automatically when the "Snapshot" function is activated. The image capture can be found in the history in the third section 53 being represented. A corresponding entry 73 is generated in the history. It can be a scaled down representation 75 of the captured image 71 be presented in the history. It can provide more information 74 in the entry 73 being represented. These may, for example, contain information for enlarging the optical system during image acquisition and / or for the date and time of image acquisition.
Weiterhin kann wenigstens bei Aktivierung der „Snapshot”-Funktion die Datenbank 44 entsprechend aktualisiert werden. Das Bild 71 kann in der Datenbank 44 abgelegt werden. Es muss keine Verrechnung des Bildes 71 mit weiteren Bildern zur Erzeugung eines Übersichtsbildes erfolgen. Zusammen mit dem Bild 71 können Informationen zur Bilderfassung abgelegt werden. Diese können wenigstens die Vergrößerung des optischen Systems bei Bilderfassung und Informationen zum abgebildeten Bildbereich umfassen. Die letzteren Informationen können beispielsweise die Stellparameter des Objekttisches beinhalten. Zusätzliche Informationen können ebenfalls gespeichert werden. Diese können beispielsweise Informationen über die Helligkeit der Lichtquelle des optischen Systems, den bei Bilderfassung vorliegenden Betriebsmodus oder weitere Informationen umfassen.Furthermore, at least upon activation of the "snapshot" function, the database 44 be updated accordingly. The picture 71 can in the database 44 be filed. There is no need to clear the picture 71 with additional images to generate an overview image done. Together with the picture 71 Information for image acquisition can be stored. These may comprise at least the magnification of the optical system in image acquisition and information on the imaged image area. The latter information may include, for example, the adjustment parameters of the object table. Additional information can also be saved. These may include, for example, information about the brightness of the light source of the optical system, the mode of operation that is present during image acquisition, or further information.
Bei Speicherung des Bildes 71 in der Datenbank kann der Index 45 aktualisiert werden. Der Index 45 kann als Quadtree ausgestaltet sein, wie unter Bezugnahme auf 13 und 14 noch näher beschrieben wird. Der Index 45 kann einem Suchbaum entsprechen, bei dem Indexeinträge gemäß ihrer Position wenigstens einem Knoten des Suchbaums zugeordnet sind. Der dem Bild 71 entsprechende Indexeintrag kann auch mehreren Knoten des Quadtrees zugeordnet sein, um zu berücksichtigen, dass das Bild 71 mit mehreren Quadranten des Objekttisches überlappen kann.When saving the image 71 in the database, the index 45 to be updated. The index 45 can be configured as a quadtree, as with reference to 13 and 14 will be described in more detail. The index 45 may correspond to a search tree in which index entries are assigned according to their position at least one node of the search tree. The picture 71 corresponding index entry can also be assigned to multiple nodes of the quadtree to take into account that the image 71 can overlap with multiple quadrants of the stage.
5 zeigt die grafische Benutzerschnittstelle, wenn der Benutzer das Auswahlelement 57 auf eine neue Position bewegt hat, um das Präparat abzurastern. Die Vergrößerung des optischen Systems und der Navigationsansicht sind im Vergleich zu 3 unverändert geblieben. 5 shows the graphical user interface when the user selects the selector 57 moved to a new position to scrape the specimen. The magnification of the optical system and the navigation view are compared to 3 remained unchanged.
Bei Aktivierung der Live-Ansicht, z. B. durch Betätigung der Steuerfläche 54, wird im ersten Abschnitt 51 das zweite Bild 76 dargestellt. Das zweite Bild 76 stellt den Präparatbereich dar, der dem Auswahlelement 57 entspricht. Zur Ausgabe des zweiten Bildes 76 steuert die Steuereinrichtung 30 das optische System so, dass derjenige Präparatbereich angefahren wird, der der Position des Auswahlelements 57 in der Navigationsansicht entspricht. Die Bilddaten werden aus dem Bildsensor 21 oder dem weiteren Bildsensor 22 ausgelesen.When activating live view, e.g. B. by actuation of the control surface 54 , is in the first section 51 the second picture 76 shown. The second picture 76 represents the preparation area, the selection element 57 equivalent. To output the second picture 76 controls the controller 30 the optical system so that that preparation area is approached, the position of the selection element 57 in the navigation view. The image data is taken from the image sensor 21 or the other image sensor 22 read.
6 zeigt die grafische Benutzerschnittstelle, wenn der Benutzer erneut die „Snapshot”-Funktion aktiviert hat. Bei Aktivierung der „Snapshot”-Funktion wird das zweite Bild 76, das das aktuelle mit dem Bildsensor erfasste Bild ist, an der entsprechenden Stelle und in der entsprechenden Größe in die Navigationsansicht im zweiten Abschnitt 52 eingefügt. Die Größe der Darstellung 77 wird dabei abhängig von der gewählten Vergrößerung des optischen Systems bei Bilderfassung und abhängig von der aktuellen Vergrößerung für die Navigationsansicht gewählt. Die Position der Darstellung 77 wird so gewählt, dass die Darstellung 77 an derjenigen Stelle in die Navigationsansicht eingefügt wird, die der Position des abgebildeten Präparatbereichs am Präparat bzw. relativ zum Objekttisch entspricht. Zum Einfügen des zweiten Bildes 76 als Darstellung 77 in die Navigationsansicht muss kein rechnerisches Zusammenfügen mit dem vorher erfassten Bild 71 erfolgen. Die Darstellung 77, die einer entsprechend skalierten und positionierten Version des zweiten Bildes 76 entspricht, kann als Overlay über die bereits existierende Navigationsansicht gelegt werden. Der entsprechende Vorgang ist schematisch mit dem Pfeil 92 dargestellt. 6 shows the graphical user interface when the user has re-enabled the "snapshot" feature. When activating the "Snapshot" function, the second image becomes 76 , which is the current image captured by the image sensor, at the appropriate location and size in the navigation view in the second section 52 inserted. The size of the presentation 77 is selected depending on the selected magnification of the optical system for image acquisition and depending on the current magnification for the navigation view. The position of the presentation 77 is chosen so that the representation 77 is inserted at the point in the navigation view, which corresponds to the position of the reproduced preparation area on the preparation or relative to the stage. To insert the second picture 76 as a representation 77 The navigation view does not have to be compiled with the previously acquired image 71 respectively. The representation 77 corresponding to a scaled and positioned version of the second image 76 can be overlaid on the already existing navigation view. The corresponding process is schematic with the arrow 92 shown.
Bei Aktivierung der „Snapshot”-Funktion können weitere Aktionen ausgeführt werden. Ein zweiter Eintrag 78 kann in der Historie im dritten Abschnitt 53 dargestellt werden. Der zweite Eintrag 78 kann eine verkleinerte Darstellung 80 des zweiten Bildes 76 und weitere Informationen 79 umfassen. Die weiteren Informationen 79 können wieder die aktuelle Vergrößerung des optischen Systems, Datumsinformationen und/oder Zeitinformationen umfassen. Alternativ oder zusätzlich kann das zweite Bild 76 in der Datenbank 44 gespeichert und der Index entsprechend aktualisiert werden.By activating the "Snapshot" function, further actions can be performed. A second entry 78 can in the history in the third section 53 being represented. The second entry 78 can be a scaled down representation 80 of the second picture 76 and more information 79 include. The further information 79 may again include the current magnification of the optical system, date information and / or time information. Alternatively or additionally, the second image 76 in the database 44 saved and the index updated accordingly.
7 zeigt die grafische Benutzerschnittstelle, nachdem weitere Bilderfassungen durchgeführt wurden. Die Navigationsansicht im zweiten Abschnitt 52 wurde mehrfach entsprechend aktualisiert. Durch Repositionierung des Auswahlelements 57 und entsprechende automatische Ansteuerung des optischen Systems zur Bilderfassung wird die Navigationsansicht vervollständigt, während immer neue Bilderfassungen durchgeführt werden. Es ist nicht erforderlich, vorab ein vollständiges Übersichtsbild des Präparats zu erzeugen. Die Historie im dritten Abschnitt 53 kann entsprechend aktualisiert werden. Die in den unterschiedlichen Bilderfassungen erfassten Bilder können jeweils in der Datenbank 44 gespeichert werden, wobei ein entsprechender Indexeintrag erzeugt werden kann. Die Navigationsansicht, die im zweiten Abschnitt 52 dargestellt ist, wird von der Steuereinrichtung 30 automatisch aus mehreren Bildern der Datenbank 44 generiert. Wie noch näher beschrieben werden wird, werden zum Erzeugen der Navigationsansicht die Bilder, die mit dem im zweiten Abschnitt 52 dargestellten Teil des Präparats überlappen, unter Verwendung des Index 45 identifiziert. Bilder, die eine im Vergleich zur momentanen Auflösung der Navigationsansicht hohe Auflösung aufweisen, können bei der Erzeugung der Navigationsansicht unberücksichtigt bleiben, selbst wenn sie mit dem Teil des Präparats, der für die derzeitige Position der Navigationsansicht im zweiten Abschnitt 52 dargestellt werden soll, überlappen oder sogar vollständig darin enthalten sind. 7 shows the graphical user interface after more image captures have been performed. The navigation view in the second section 52 has been updated several times accordingly. By repositioning the selection element 57 and corresponding automatic control of the optical system for image acquisition, the navigation view is completed while new image captures are being performed. It is not necessary to produce a complete overview of the preparation beforehand. The history in the third section 53 can be updated accordingly. The images captured in the different image captures can each be stored in the database 44 are stored, with a corresponding index entry can be generated. The navigation view, in the second section 52 is shown by the control device 30 automatically from multiple images of the database 44 generated. As will be described in more detail, to create the navigation view, the images that are in the second section 52 portion of the preparation overlap, using the index 45 identified. Images that have a high resolution compared to the current resolution of the navigation view may be disregarded when creating the navigation view, even if they are related to the part of the preparation that is for the current position of the navigation view in the second section 52 be displayed, overlap or even completely contained therein.
Bei einer Änderung der für die Navigationsansicht gewählten Vergrößerung kann die Auswahl der Bilder, die zum Erzeugen der Navigationsansicht verwendet werden, von der Steuereinrichtung 30 entsprechend geändert werden. Es kann auch die Position desjenigen Abschnitts des Präparats, der in der Navigationsansicht dargestellt ist, relativ zum Objektträger geändert werden. So kann die Navigationsansicht gleichsam über das Präparat bewegt werden. Der Benutzer kann höher aufgelöste Bilderfassungen selektiv dort über die Steuereinrichtung 30 einleiten, wo dies angesichts der in der Navigationsansicht zu sehenden Strukturen des Präparats gewünscht ist. Die Navigationsansicht wird dann entsprechend angepasst, um eine zunehmend feinere Navigation selektiv in denjenigen Bereichen zu erlauben, die von Interesse sind und bereits mit höherer Auflösung in einem Bild abgebildet wurden.When changing the magnification selected for the navigation view, the selection of the images used to generate the navigation view may be made by the controller 30 be changed accordingly. It is also possible to change the position of the portion of the specimen shown in the navigation view relative to the slide. Thus, the navigation view can be moved over the preparation. The user can selectively display higher resolution image captures there via the controller 30 initiate where this is desired in view of the structures of the preparation to be seen in the navigation view. The navigation view is then adjusted accordingly to allow increasingly fine navigation selectively in those areas of interest that have already been imaged at a higher resolution in an image.
8 zeigt die grafische Benutzerschnittstelle, nachdem ausgehend von der in 7 dargestellten Navigationsansicht ein Vergrößerungsfaktor für die Navigationsansicht erhöht und eine Vergrößerung des optischen Systems 10 ebenfalls auf einen größeren Wert gesetzt wurde. Im Vergleich zu dem in 7 dargestellten Zustand ist in 8 der Vergrößerungsfaktor für die Navigationsansicht um einen Faktor von ungefähr drei größer gewählt. Die gewählte Vergrößerung für das optische System ist bei dem in 8 dargestellten Betriebszustand im Vergleich zu der Vergrößerung des optischen Systems, die bei dem in 7 dargestellten Betriebszustand gewählt war, um einen Faktor erhöht worden, der viel größer als drei ist. Entsprechend wird die Größe des Auswahlelements 57 in der Navigationsansicht gemäß der nun gewählten Vergrößerung des optischen Systems 10 und der für die Navigationsansicht gewählten Vergrößerung so angepasst, dass es die bei einer Bilderfassung abdeckbare Größe eines Präparatabschnitts in der Navigationsansicht wiedergibt. 8th shows the graphical user interface, starting from the in 7 navigation view increases a magnification factor for the navigation view and an enlargement of the optical system 10 was also set to a larger value. Compared to the in 7 shown state is in 8th the magnification factor for the navigation view has been increased by a factor of about three. The selected magnification for the optical system is in the in 8th shown operating state compared to the magnification of the optical system, which in the in 7 has been increased by a factor much greater than three. The size of the selection element becomes corresponding 57 in the navigation view according to the now selected magnification of the optical system 10 and the magnification selected for the navigation view is adapted to reflect the size of a specimen section in the navigation view that can be covered during image acquisition.
Wenn ein Betriebsmodus gewählt ist, in dem das erfasste aktuelle Bild 81 auf der grafischen Benutzerschnittstelle dargestellt ist, wird das Bild 81 in dem ersten Abschnitt dargestellt. Das Bild 81 zeigt einen Ausschnitt des Präparats, der an der durch die Lage des Auswahlelements 57 in der Navigationsansicht festgelegten Position mit höherer Auflösung erfasst wird. Zur Bilderfassung steuert die Steuereinrichtung 30 automatisch das optische System so, dass die Bilderfassung an der Position des Präparats durchgeführt wird, der dem durch die Position des Auswahlelements 57 in der Navigationsansicht festgelegten Bereich entspricht.When an operating mode is selected in which the captured current image 81 displayed on the graphical user interface, the image becomes 81 in the first section. The picture 81 shows a section of the preparation, which is due to the location of the selection element 57 Detected position in the navigation view with higher resolution. For image capture controls the controller 30 automatically the optical system so that the image acquisition is carried out at the position of the preparation, which by the position of the selection element 57 corresponds to the area defined in the navigation view.
Das erfasste Bild 81 kann als Overlay in die Navigationsansicht im zweiten Abschnitt 52 einbezogen werden. Der Benutzer kann gezielt die Bereiche des Präparats mit Bilderfassungen abrastern, für die er Bilder mit höherer Auflösung benötigt. Die Navigationsansicht wird entsprechend dort verbessert, wo höher aufgelöste Bilderfassungen vorgenommen werden. Strukturen, die ursprünglich in der Navigationsansicht mit einer gröberen Auflösung dargestellt sind, können so auch in der Navigationsansicht mit zunehmend besserer Auflösung dargestellt werden, wenn mit höherer Auflösung des optischen Systems eine Bilderfassung durchgeführt wird. Bei der Erzeugung der Navigationsansicht wird das Bild mit der höheren Auflösung beispielsweise als Overlay über das Bild mit der niedrigeren Auflösung gelegt. Eine rechnerische Kombination oder ein „Stitchen” des Bildes mit höherer Auflösung und des Bildes mit niedrigerer Auflösung muss nicht erfolgen.The captured picture 81 can be used as an overlay in the navigation view in the second section 52 be included. The user can specifically scan the areas of the specimen with image captures, for which he needs higher resolution images. The Navigation view is enhanced accordingly where higher resolution image captures are made. Structures that are initially displayed in the navigation view with a coarser resolution can thus also be displayed in the navigation view with increasingly better resolution when imaging with higher resolution of the optical system is performed. For example, when generating the navigation view, the higher resolution image overlays the lower resolution image as an overlay. A mathematical combination or stitching of the higher resolution image and the lower resolution image need not be done.
9 zeigt schematisch die grafische Benutzerschnittstelle, nachdem das Auswahlelement 57 an mehreren Positionen der Navigationsansicht positioniert war und so eine Struktur 83 des Präparats mit höherer Auflösung in der Navigationsansicht dargestellt ist. Das entsprechende Bild 82, das als aktuelles Bild gemäß der momentanen Position des Auswahlelements 57 in der Navigationsansicht erfasst wurde, kann im ersten Abschnitt 82 dargestellt werden. Die Historie im dritten Abschnitt 53 ist entsprechend aktualisiert dargestellt. 9 schematically shows the graphical user interface after the selection element 57 was positioned at several positions of the navigation view and so a structure 83 of the preparation with higher resolution in the navigation view. The corresponding picture 82 , as the current picture according to the current position of the selection element 57 in the navigation view can be found in the first section 82 being represented. The history in the third section 53 is shown updated accordingly.
Im Gebrauch des Mikroskopsystems 1 können die beschriebenen Vorgänge der lokal beschränkten Bilderfassung mit einer bestimmten Auflösung, der entsprechenden Aktualisierung der Navigationsansicht, des weiteren Vergrößerns der Navigationsansicht, des Wechsels zu einer größeren Vergrößerung des optischen Systems und der erneuten Bilderfassung mit der größeren Vergrößerung in mehreren Stufen wiederholt werden. Beispielsweise kann ausgehend von dem in 9 dargestellten Zustand, in dem die Struktur 83 bereits mit einer Auflösung erfasst wurde, die größer als die Auflösung des die Struktur 83 umgebenden Teils des Präparats in der Navigationsansicht ist, der Benutzer erneut den Vergrößerungsfaktor der Navigationsansicht erhöhen. Beispielsweise kann die Vergrößerung der Navigationsansicht stufenlos einstellbar sein. Der Benutzer kann so die Navigationsansicht an die Struktur 83 heranzoomen. Es kann eine weiter erhöhte Vergrößerung des optischen Systems gewählt werden, um in dem Bereich der Struktur 83 erneut mit dem Auswahlelement 57 diejenigen Bereiche auszuwählen, die mit der entsprechenden höherern Vergrößerung abgebildet werden sollen.In the use of the microscope system 1 For example, the described processes of locally limited image acquisition with a certain resolution, the corresponding update of the navigation view, the further enlargement of the navigation view, the change to a larger magnification of the optical system and the reimaging with the larger magnification can be repeated in several stages. For example, starting from the in 9 illustrated state in which the structure 83 already recorded with a resolution greater than the resolution of the structure 83 surrounding part of the specimen in the navigation view, the user again increases the magnification factor of the navigation view. For example, the magnification of the navigation view can be infinitely adjustable. The user can thus view the navigation to the structure 83 zoom back in. A further increased magnification of the optical system can be chosen to be in the range of the structure 83 again with the selection element 57 select those areas to be mapped with the corresponding higher magnification.
10 und 11 veranschaulichen die Funktionsweise der Steuereinrichtung 30 bei der Erzeugung der Navigationsansicht, die über die optische Ausgabeeinrichtung 50 ausgegeben wird. 10 and 11 illustrate the operation of the controller 30 when generating the navigation view via the optical output device 50 is issued.
Für einen Präparatbereich wurden mit einer ersten Vergrößerung des optischen Systems eine Bilderfassung oder mehrere Bilderfassungen durchgeführt. Die entsprechende Navigationsansicht 85, deren Auflösung durch die erste Vergrößerung bestimmt ist, wird im zweiten Abschnitt 52 der optischen Ausgabeeinrichtung 50 dargestellt.For a preparation area, an image acquisition or several image acquisitions were carried out with a first enlargement of the optical system. The corresponding navigation view 85 , whose resolution is determined by the first magnification, is in the second section 52 the optical output device 50 shown.
Zur Bilderfassung steuert die Steuereinrichtung 30 das optische System 10 so an, dass eine Bilderfassung für den durch das Auswahlelement in der Navigationsansicht 85 festgelegten Präparatbereich durchgeführt wird. Die Steuereinrichtung 30 kann dazu insbesondere den Antrieb bzw. die Antriebe des Objekttisches 12 und die Lichtquelle 11 steuern sowie Bilddaten von dem Bildsensor 21 oder dem weiteren Bildsensor 22 abfragen. Das mit dem Bildsensor erfasste aktuelle Bild 84 wird in dem ersten Abschnitt 51 dargestellt.For image capture controls the controller 30 the optical system 10 so on, that captures the image by the selector in the navigation view 85 specified preparation area is performed. The control device 30 can in particular the drive or the drives of the object table 12 and the light source 11 control as well as image data from the image sensor 21 or the other image sensor 22 Interrogate. The current image captured by the image sensor 84 will be in the first section 51 shown.
Wie in 11 dargestellt, kann eine aktualisierte Navigationsansicht 86 erzeugt werden. Diese entspricht der alten Navigationsansicht 85, der eine Darstellung des zuletzt erfassten Bildes entsprechend der Position des Präparatbereichs, der in der Bilderfassung abgebildet wurde, als Overlay überlagert wird. Der entsprechende Bereich, für den eine Bilderfassung mit höherer Auflösung durchgeführt wurde, steht für eine Navigation mit höherer Auflösung zur Verfügung.As in 11 can display an updated navigation view 86 be generated. This corresponds to the old navigation view 85 which superimposes a representation of the last acquired image according to the position of the preparation area, which was imaged in the image acquisition, as an overlay. The corresponding area for which higher resolution image capture has been performed is available for higher resolution navigation.
Um Intensitäts- oder Farbsprünge an den Linien in der Navigationsansicht zu reduzieren, an denen sich der Rand eines als Overlay eingefügten Bildes höherer Auflösung befindet, kann die Steuereinrichtung 30 bei der Bilderfassung Parameter des optischen Systems automatisch so ändern, dass eine konsistente Helligkeit bzw. Farbe auch bei unterschiedlichen Vergrößerungen des optischen Systems resultiert. Alternativ oder zusätzlich kann das mit dem Bildsensor erfasste Bild einer weiteren rechnerischen Nachbearbeitung unterzogen werden, bevor es in der Navigationsansicht dargestellt wird. Beispielsweise kann ein Histogramm einer Farb- oder Helligkeitsverteilung für das Bild 84 berechnet und das Bild 84 abhängig von dem Histogramm verändert werden, bevor es in die Navigationsansicht integriert wird. Das Histogramm der Farb- oder Helligkeitsverteilung für das Bild 84 kann mit einem entsprechenden Histogramm, das für den durch das Overlay überdeckten Bereich in der alten Navigationsansicht bestimmt wird, verglichen werden. Das Bild 84 kann abhängig von dem Vergleich verändert werden, bevor es in die Navigationsansicht integriert wird, um die aktualisierte Navigationsansicht 86 zu erzeugen.To reduce intensity or color jumps on the lines in the navigation view where the edge of an overlayed higher resolution image is located, the controller may 30 automatically change parameters of the optical system during image acquisition so that a consistent brightness or color results even with different magnifications of the optical system. Alternatively or additionally, the image acquired by the image sensor may be subjected to further computational post-processing before it is displayed in the navigation view. For example, a histogram of a color or brightness distribution for the image 84 calculated and the picture 84 depending on the histogram, before it is integrated into the navigation view. The histogram of the color or brightness distribution for the image 84 can be compared with a corresponding histogram determined for the area covered by the overlay in the old navigation view. The picture 84 can be changed to the updated navigation view, depending on the comparison before it is integrated into the navigation view 86 to create.
Auf der grafischen Benutzerschnittstelle müssen der erste Abschnitt, in dem ein aktuelles Bild ausgegeben wird, und der zweite Abschnitt, in dem die Navigationsansicht dargestellt wird, nicht ortsfest angeordnet sein. Die Steuereinrichtung 30 kann so ausgestaltet sein, dass sie eine benutzerdefinierte Konfiguration der Positionen, an denen das aktuelle Bild und die Navigationsansicht auf der grafischen Benutzerschnittstelle dargestellt sind, erlaubt. Beispielsweise kann auf der grafischen Benutzerschnittstelle ein erstes größeres Fenster und ein zweites kleineres Fenster definiert sein, wobei die Steuereinrichtung 30 wahlweise das aktuelle Bild im größeren Fenster und die Navigationsansicht im kleineren Fenster oder das aktuelle Bild im kleineren Fenster und die Navigationsansicht im größeren Fenster darstellen kann. Eine entsprechende Änderung kann abhängig von einer Benutzereingabe erfolgen.On the graphical user interface, the first section in which a current image is output and the second section in which the navigation view is displayed need not be stationary. The control device 30 can be configured to give you a custom configuration of the positions where the current image and the navigation view are displayed on the graphical user interface. For example, a first larger window and a second smaller window may be defined on the graphical user interface, the control device 30 Optionally display the current image in the larger window and the navigation view in the smaller window, or the current image in the smaller window and the navigation view in the larger window. A corresponding change can be made depending on a user input.
12 zeigt die grafische Benutzerschnittstelle, die von der Steuereinrichtung 30 so erzeugt wird, dass die Navigationsansicht in einem zweiten Abschnitt 102 dargestellt wird, der größer als der erste Abschnitt 101 ist, in dem das aktuelle Bild 81 dargestellt ist. Eine derartiger Zustand wird beispielsweise erreicht, wenn der Benutzer ausgehend von 8 dargestellten Zustand eine Funktion aktiviert, mit der die Positionen und Größen der Darstellung des aktuellen Bildes und der Navigationsansicht vertauscht werden. 12 shows the graphical user interface provided by the controller 30 is generated so that the navigation view in a second section 102 which is larger than the first section 101 is in which the current picture 81 is shown. Such a condition is achieved, for example, when the user starts from 8th state a function is activated, with which the positions and sizes of the representation of the current picture and the navigation view are exchanged.
Wie unter Bezugnahme auf 1–12 bereits erläutert, kann die Steuereinrichtung 30 die Navigationsansicht basierend auf mehreren einzelnen Bildern erzeugen, ohne dass diese zuvor rechnerisch zu einem Gesamtbild zusammengefügt werden müssen. Um Änderungen des Vergrößerungsfaktors der Navigationsansicht und/oder eine anderweitige Aktualisierung der Navigationsansicht effizient durchführen zu können, kann die Steuereinrichtung 30 so ausgestaltet sein, dass der Index 45 bei der Erzeugung der Navigationsansicht verwendet wird. Der Index 45 kann eine Struktur aufweisen, bei der erfasste Bilder den Knoten eines Suchbaums abhängig von ihrer Position zugeordnet sind. Dazu kann der Teil des Objekttisches, der das Präparat aufnimmt, in mehrere Abschnitte aufgeteilt werden. Für jedes der Bilder kann überprüft werden, mit welchen Abschnitten das entsprechende Bild überlappt und/oder in welchen Abschnitten das entsprechende Bild vollständig enthalten ist.As with reference to 1 - 12 already explained, the control device 30 Create the navigation view based on several individual images, without having to combine them beforehand into a complete picture. In order to be able to efficiently make changes in the magnification factor of the navigation view and / or otherwise update the navigation view, the control device may 30 be designed so that the index 45 is used when generating the navigation view. The index 45 may have a structure in which captured images are assigned to the nodes of a search tree depending on their position. For this purpose, the part of the object table, which receives the preparation can be divided into several sections. For each of the images, it is possible to check with which sections the corresponding image overlaps and / or in which sections the corresponding image is completely contained.
13 veranschaulicht eine derartige virtuelle Unterteilung, die zur Organisation einer Indexstruktur verwendet werden kann. Der Teil 110 des Objekttisches, der das Präparat aufnimmt, ist in vier Quadranten unterteilt. Jeder der Quadranten kann bei Bedarf weiter unterteilt werden. Die Aufteilung kann abhängig von den Positionen und Auflösungen der Bilder, die mit dem optischen System erfasst werden, verfeinert werden. Beispielsweise kann ein Abschnitt 111 im linken oberen Quadranten erneut in vier Quadranten unterteilt werden. Eine derartige Unterteilung liefert eine hierarchische Struktur, die beispielsweise in einen Quadtree-Index abgebildet werden kann. Für jedes der Bilder kann überprüft werden, mit welchen Abschnitten das entsprechende Bild überlappt und/oder in welchen Abschnitten das entsprechende Bild vollständig enthalten ist. 13 illustrates such a virtual partition that can be used to organize an index structure. The part 110 of the object table receiving the preparation is divided into four quadrants. Each of the quadrants can be further subdivided as needed. The division may be refined depending on the positions and resolutions of the images captured by the optical system. For example, a section 111 in the upper left quadrant again divided into four quadrants. Such a subdivision provides a hierarchical structure, which can be mapped into a quadtree index, for example. For each of the images, it is possible to check with which sections the corresponding image overlaps and / or in which sections the corresponding image is completely contained.
14 zeigt schematisch eine Baumstruktur 112, als die der Index 45 organisiert sein kann. Die Baumstruktur 112 ist ein Quadtree. Ein „Wurzelknoten” („root node”) 113 weist vier Kinder auf, die den vier in 13 dargestellten Quadranten des Teils 110 des Objekttisches, der das Präparat aufnimmt, entsprechen können. Der Knoten 114 verweist auf vier Knoten, von denen Knoten 115 und 116 wiederum auf vier Knoten verweisen. Knoten 117 und 118, deren Elternknoten Knoten 115 und 116 sind, verweisen ihrerseits wieder auf vier Knoten. Die Kinder-Knoten eines Knotens der Baumstruktur 112 können jeweils den vier Quadranten entsprechen, in die ein Abschnitt des Objekttisches gemäß der in 13 dargestellten Segmentierung unterteilt wird. 14 schematically shows a tree structure 112 than the index 45 can be organized. The tree structure 112 is a quadtree. A "root node" 113 has four children, the four in 13 represented quadrants of the part 110 of the object table which receives the preparation can correspond. The knot 114 refers to four nodes, of which nodes 115 and 116 again refer to four nodes. node 117 and 118 whose parent nodes are nodes 115 and 116 are in turn refer back to four nodes. The child nodes of a node of the tree structure 112 can each correspond to the four quadrants into which a portion of the stage according to the in 13 segmentation is divided.
Der Index 45, der beispielsweise als Quadtree organisiert sein kann, weist mehrere Hierarchieebenen 121–124 auf. Die Hierarchieebenen können unterschiedlichen Auflösungen des optischen Systems bei der Bilderfassung bzw. entsprechend unterschiedlichen Größen der erfassten Bilder entsprechen. Abhängig von dem Ausschnitt des Präparats, der in der Navigationsansicht dargestellt ist, können ein oder mehrere Zweige des Index 45 durchlaufen werden, um die mit diesem Teil des Präparats überlappenden Bilder zu identifizieren. Die Anzahl der durchlaufenen Hierarchieebenen 121–124 kann dabei abhängig von dem jeweils gewählten Vergrößerungsfaktor für die Navigationsansicht angepasst werden. Bei einem kleineren Vergrößerungsfaktor für die Navigationsansicht, ist es nicht erforderlich, auch die Bilder mit hoher Auflösung für die Erzeugung der Navigationsansicht zu verwenden. Entsprechend kann bei einer Suche nach Bildern, die zur Erzeugung der Navigationsansicht verwendet werden, die Suche auf bestimmte Hierarchieebenen des Index beschränkt werden. Für eine Navigationsansicht mit kleinem Vergrößerungsfaktor, die beispielsweise das gesamte Präparat zeigt, ist es nicht erforderlich, den Suchbaum 112 bis zu seinen Blättern zu durchlaufen.The index 45 , which can be organized as a quadtree, for example, has several hierarchical levels 121 - 124 on. The hierarchy levels may correspond to different resolutions of the optical system in the image acquisition or according to different sizes of the captured images. Depending on the section of the preparation shown in the navigation view, one or more branches of the index 45 to identify the overlapping images with this portion of the preparation. The number of hierarchical levels passed 121 - 124 can be adjusted depending on the selected magnification factor for the navigation view. With a smaller enlargement factor for the navigation view, it is not necessary to use the high-resolution images for creating the navigation view. Similarly, when searching for images used to create the navigation view, the search can be restricted to specific hierarchical levels of the index. For a navigation view with a small magnification factor, which for example shows the entire preparation, it is not necessary to search tree 112 to go through to its leaves.
Bei einer Änderung desjenigen Ausschnitts des Präparats, der in der Navigationsansicht dargestellt werden soll, können entsprechend andere Bilder aus der Datenbank geladen und zur Erzeugung der Navigationsansicht verwendet werden. Falls beispielsweise der Vergrößerungsfaktor für die Navigationsansicht erhöht wird, können selektiv Bilder höherer Auflösung, die den Hierarchiestufen 123 oder 124 der Baumstruktur entsprechen, aus der Datenbank 44 abgerufen und als Overlays in die Navigationsansicht eingefügt werden. Bei einer Reduzierung des Vergrößerungsfaktors für die Navigationsansicht können Bilder höherer Auflösung, die den Hierarchiestufen 123 oder 124 der Baumstruktur entsprechen, bei der Erzeugung der Navigationsansicht weggelassen werden.When changing the section of the specimen that is to be displayed in the navigation view, other images can be correspondingly loaded from the database and used to generate the navigation view. For example, if the magnification factor for the navigation view is increased, images of higher resolution that selectively correspond to the hierarchy levels can be selectively selected 123 or 124 correspond to the tree structure, from the database 44 retrieved and inserted as overlays in the navigation view. Reducing the magnification factor for the navigation view allows higher resolution images to be added to the hierarchy levels 123 or 124 correspond to the tree structure, be omitted when generating the navigation view.
15 zeigt ein Flussdiagramm eines Verfahrens 130 zur Erläuterung der Wirkungsweise der Steuereinrichtung 30. Das Verfahren kann automatisch von der Steuereinrichtung 30 ausgeführt werden. Dabei wird aus mehreren Bildern, die mit dem optischen System 10 erfasst wurden, eine Navigationsansicht erzeugt. Die Navigationsansicht erlaubt eine benutzerdefinierte Navigation auf dem Präparat. Die Steuereinrichtung 30 kann das optische System entsprechend für eine Bilderfassung ansteuern, und die Navigationsansicht aktualisieren, indem ein neu erfasstes Bild beispielsweise als Overlay in die Navigationsansicht einbezogen wird. 15 shows a flowchart of a method 130 to explain the operation of the control device 30 , The method can be performed automatically by the controller 30 be executed. It is made up of several images that come with the optical system 10 a navigation view was created. The navigation view allows user-defined navigation on the specimen. The control device 30 can accordingly control the optical system for image acquisition and update the navigation view by including a newly acquired image as an overlay in the navigation view, for example.
Das Verfahren 130 kann beispielsweise durch die Änderung des Vergrößerungsfaktors oder eine Verschiebung der Navigationsansicht relativ zum Präparat bei Schritt 131 ausgelöst werden.The procedure 130 may be, for example, by changing the magnification factor or shifting the navigation view relative to the specimen at step 131 to be triggered.
Bei 132 werden abhängig davon, welcher Ausschnitt des Präparats in der Navigationsansicht dargestellt werden soll, mehrere Bilder aus der Datenbank 44 ermittelt. Die mehreren Bilder können so ausgewählt werden, dass sie mit dem Ausschnitt des Präparats, der in der Navigationsansicht dargestellt werden soll, überlappen. Die mehreren Bilder können so ausgewählt werden, dass die Vergrößerung des optischen Systems bei Erfassung des entsprechenden Bildes mit einem Schwellenwert verglichen wird. Der Schwellenwert kann abhängig vom dem für die Navigationsansicht eingestellten Vergrößerungsfaktor gewählt werden. Bilder, deren Auflösung hoch im Vergleich zur gewählten Auflösung der Navigationsansicht ist, können unberücksichtigt bleiben.at 132 Depending on which section of the preparation is to be displayed in the navigation view, several images are taken from the database 44 determined. The multiple images may be selected to overlap the portion of the preparation to be displayed in the navigation view. The plurality of images may be selected to compare the magnification of the optical system to a threshold upon detection of the corresponding image. The threshold value can be selected depending on the magnification factor set for the navigation view. Images whose resolution is high compared to the selected resolution of the navigation view can be disregarded.
Bei 133 wird die Navigationsansicht abhängig von den mehreren Bildern erzeugt und ausgegeben. Die Navigationsansicht kann erzeugt werden, ohne dass die mehreren Bilder rechnerisch zu einem Gesamtbild verrechnet werden müssen.at 133 the navigation view is generated and output depending on the multiple images. The navigation view can be created without having to compute the several images computationally into an overall picture.
Bei 134 wird überprüft, ob der Benutzer eine „Snapshot”-Funktion aktiviert hat. Falls der Benutzer die „Snapshot”-Funktion nicht aktiviert hat, fährt das Verfahren bei Schritt 138 fort. Wenn der Benutzer die „Snapshot”-Funktion aktiviert, wird das optische System zur Bilderfassung angesteuert. Dazu kann der Objekttisch so verstellt werden, dass der über die Navigationsansicht festgelegte Präparatbereich abgebildet wird. Bei 136 wird der Bildsensor ausgelesen. Das Bild kann als aktuelles Bild im ersten Abschnitt der optischen Ausgabeeinrichtung angezeigt werden. Bei 137 wird das mit dem Bildsensor erfasste Bild in die Navigationsansicht eingefügt. Das erfasste Bild wird dazu entsprechend skaliert, und die Position des erfassten Bildes wird abhängig von dem Vergrößerungsfaktor der Navigationsansicht und dem in der Navigationsansicht dargestellten Ausschnitt des Präparats gewählt. Das erfasste Bild kann als Overlay der alten Navigationsansicht überlagert werden. Das Verfahren fährt bei Schritt 138 fort.at 134 Checks if the user has activated a "snapshot" function. If the user did not activate the "snapshot" function, the method continues at step 138 continued. When the user activates the "snapshot" function, the optical system is triggered for image acquisition. For this purpose, the object table can be adjusted in such a way that the preparation area defined via the navigation view is displayed. at 136 the image sensor is read out. The image may be displayed as a current image in the first section of the optical output device. at 137 The image captured by the image sensor is inserted in the navigation view. The captured image is scaled accordingly, and the position of the captured image is selected depending on the magnification of the navigation view and the detail of the specimen shown in the navigation view. The captured image can be overlaid as an overlay of the old navigation view. The procedure moves to step 138 continued.
Bei 138 kann überprüft werden, ob sich eine Einstellung des optischen Systems, insbesondere der gewählte Vergrößerungsfaktor, oder der in der Navigationsansicht darzustellende Bildausschnitt geändert hat. Der darzustellende Bildausschnitt ändert sich beispielsweise, wenn der Benutzer durch eine Navigationstaste die Navigationsansicht relativ zum Präparat verschiebt und/oder den Vergrößerungsfaktor für die Navigationsansicht ändert. Falls keine derartige Veränderung festgestellt wird, kehrt das Verfahren zu Schritt 135 zurück.at 138 It is possible to check whether a setting of the optical system, in particular the selected magnification factor, or the image detail to be displayed in the navigation view has changed. The image detail to be displayed changes, for example, if the user moves the navigation view relative to the preparation by means of a navigation key and / or changes the magnification factor for the navigation view. If no such change is detected, the method returns to step 135 back.
Falls sich die Vergrößerung des optischen Systems und/oder der Vergrößerungsfaktor des Mikroskops geändert haben, wird bei 139 die Größe eines in der Navigationsansicht dargestellten Auswahlelements angepasst. Die Größe des Auswahlelements wird so gewählt, dass sie die Größe des bei einer Bilderfassung erfassbaren Bereichs, die abhängig von dem aktuellen Vergrößerungsfaktor der Navigationsansicht skaliert wird, angibt. Das Verfahren kehrt zu Schritt 132 zurück.If the magnification of the optical system and / or the magnification factor of the microscope has changed, then 139 adjusted the size of a selection element displayed in the navigation view. The size of the selection item is chosen to be the size of the area that can be captured in an image capture, which is scaled according to the current magnification factor of the navigation view. The process returns to step 132 back.
Die Steuereinrichtung 30 kann zusätzliche Informationen grafisch umsetzen und über die optische Ausgabeeinrichtung 50 ausgeben. Beispielsweise kann die Steuereinrichtung 30 eingerichtet sein, um eine Grafik zu erzeugen und im zweiten Abschnitt 52 der optischen Ausgabeeinrichtung auszugeben, die die Abdeckung des Präparats durch bereits erfasste Bilder veranschaulicht.The control device 30 can implement additional information graphically and via the optical output device 50 output. For example, the control device 30 be set up to create a graphic and in the second section 52 output the optical output device, which illustrates the cover of the preparation by already captured images.
16 zeigt die grafische Benutzerschnittstelle, bei der im zweiten Abschnitt 52 eine Grafik 141 ausgegeben wird. Ein derartiger Zustand der grafischen Benutzerschnittstelle kann beispielsweise als Reaktion auf einen entsprechenden Benutzerbefehl eingeleitet werden, der dazu führt, dass die Steuereinrichtung 30 für einen vorübergehenden Zeitraum im zweiten Abschnitt 52 die Grafik 141 ausgibt, die die Abdeckung des Präparats durch bereits erfasste Bilder veranschaulicht. 16 shows the graphical user interface, in the second section 52 a graphic 141 is issued. Such a state of the graphical user interface may be initiated, for example, in response to a corresponding user command causing the controller 30 for a temporary period in the second section 52 the graphic 141 which illustrates the coverage of the preparation by already captured images.
Die Grafik 141 kann auf unterschiedliche Weisen erzeugt werden. Beispielsweise kann durch eine Farb- oder Intensitätskodierung ortsaufgelöst veranschaulicht werden, in welchen Bereichen des Präparats bereits Bilder erfasst wurden bzw. wie viele Bilder am jeweiligen Ort erfasst wurden. Abhängig von einem für die Navigationsansicht gewählten Vergrößerungsfaktor kann eine derartige Grafik zusätzlich oder alternativ zu einer Farb- oder Intensitätskodierung auch alphanumerische Symbole umfassen, die die Anzahl der in einem Bereich des Präparats erfassten Bilder angibt. Beispielsweise können in der Grafik 141 selektiv in denjenigen Bereichen des Präparats, in denen Bilder erfasst wurden, jeweils Zahlen angezeigt werden, die die Anzahl von erfassten Bildern im entsprechenden Bereich angeben. Die Steuereinrichtung 30 kann die Darstellung der Grafik abhängig vom Vergrößerungsfaktor für die Navigationsansicht zwischen einer Grafik mit Farb- oder Intensitätskodierung und einer Grafik mit alphanumerischen Symbolen umschalten.The graphic 141 can be generated in different ways. For example, by means of color or intensity coding, it can be displayed in a spatially resolved manner in which regions of the preparation images have already been recorded or how many images were acquired at the respective location. Depending on a magnification factor selected for the navigation view, such a graph may additionally or alternatively comprise a color or intensity coding and also alphanumeric symbols indicating the number of images acquired in a region of the specimen. For example, in the graphic 141 selectively displaying, in those areas of the specimen in which images were acquired, numbers indicating the number of acquired images in the corresponding area. The control device 30 Depending on the magnification factor for the navigation view, you can switch the display of the graphic between a graphic with color or intensity coding and a graphic with alphanumeric symbols.
Während unter Bezugnahme auf 1–16 Ausführungsbeispiele von Mikroskopsystemen und Verfahren unter Bezugnahme auf die Bildgebung in zwei Dimensionen beschrieben wurden, können die Mikroskopsysteme und Verfahren auch eingesetzt werden, wenn eine dreidimensionale Bildgebung durchgeführt wird. Dabei können beispielsweise für jede von mehreren Ebenen des Präparats, in denen Bilder erfasst werden, entsprechende Navigationsansichten generiert werden, wie unter Bezugnahme auf 1–16 beschrieben wurde. Bilder mit denselben oder überlappenden lateralen Koordinaten, aber unterschiedlichen Positionen entlang des Strahlengangs des optischen Systems können zu „Stacks” von Bildern zusammengefasst werden.While referring to 1 - 16 While embodiments of microscope systems and methods have been described with reference to imaging in two dimensions, the microscope systems and methods may also be employed when performing three-dimensional imaging. In this case, for example, for each of several levels of the preparation in which images are acquired, corresponding navigation views are generated, as with reference to FIG 1 - 16 has been described. Images with the same or overlapping lateral coordinates but different positions along the optical system's beam path can be grouped into "stacks" of images.
17 veranschaulicht ein dreidimensionales Präparat 141. Durch das Einfügen von erfassten Bildern als Overlay in eine Navigationsansicht, die zur Navigation auf dem Präparat verwendet wird, können Navigationsansichten für mehrere Ebenen 142, 143 erzeugt werden, in denen eine Bilderfassung vorgenommen wird. 17 illustrates a three-dimensional specimen 141 , By inserting captured images as an overlay into a navigation view that is used to navigate the specimen, you can create multi-level navigation views 142 . 143 be generated in which an image acquisition is made.
Mikroskopsysteme nach Ausführungsbeispielen können Kommunikationsschnittstellen aufweisen, um den Austausch von Ergebnissen lokal durchgeführter Messungen und/oder den Aufbau von Datenbanken, die von mehreren Benutzern geteilt werden, zu erleichtern.Microscope systems according to embodiments may include communication interfaces to facilitate the exchange of results of locally performed measurements and / or the construction of databases shared by multiple users.
18 veranschaulicht ein System 150, bei dem ein erstes Mikroskopsystem 1 und ein zweites Mikroskopsystem 155 über ein Netzwerk 152 mit einer zentralen Datenbank 153 kommunizieren. Jedes der Mikroskopsysteme 1, 155 kann als Mikroskopsystem nach einem Ausführungsbeispiel ausgestaltet sein, das ein optisches System 10 und eine Steuereinrichtung 30 aufweist. Das Netzwerk 152 kann ein Lokalnetz (LAN) oder ein Weitverkehrsnetz (WAN), insbesondere das Internet, sein. Jedes der Mikroskopsysteme 1 und 155 kann Ergebnisse einer vom entsprechenden Mikroskopsystem durchgeführten Messung über das Netzwerk an die zentrale Datenbank 153 senden. Jedes der Mikroskopsysteme 1 und 155 kann Daten von der zentralen Datenbank 153 abrufen, wobei die Daten Ergebnisse von Messungen, die von anderen Mikroskopsystemen durchgeführt wurden, repräsentieren. Durch einen Abgleich mit lokal erfassten Daten kann das entsprechende Mikroskopsystem ein biologisches Objekt klassifizieren oder identifizieren. Falls ein Datenabgleich negativ verläuft, kann die Datenbank 153 durch Aufnahme der entsprechenden Daten, für die noch kein korrespondierender Eintrag gefunden wurde, erweitert werden. Der Datenabgleich kann auch zentral an der Datenbank 153 vorgenommen, wobei ein Resultat des Datenabgleichs an das anfragende Mikroskopsystem übermittelt werden. 18 illustrates a system 150 in which a first microscope system 1 and a second microscope system 155 over a network 152 with a central database 153 communicate. Each of the microscope systems 1 . 155 can be configured as a microscope system according to an embodiment, which is an optical system 10 and a controller 30 having. The network 152 can be a Local Area Network (LAN) or a Wide Area Network (WAN), especially the Internet. Each of the microscope systems 1 and 155 can transmit results of a measurement carried out by the corresponding microscope system via the network to the central database 153 send. Each of the microscope systems 1 and 155 can get data from the central database 153 data representing results from measurements made by other microscope systems. By matching locally acquired data, the corresponding microscope system can classify or identify a biological object. If a reconciliation is negative, the database can 153 by adding the corresponding data for which no corresponding entry has yet been found. Data synchronization can also be done centrally on the database 153 performed, wherein a result of the data adjustment are transmitted to the requesting microscope system.
Beispielsweise kann ein Mikroskopsystem Daten, die mit einer ortsaufgelösten Raman-Spektroskopie an einem bestimmten biologischen Objekt gewonnen wurden, lokal auf dem Rechner hinterlegen und/oder über das Netzwerk an die zentrale Datenbank 153 senden. Eine Distribution der Daten kann durch gefilterte Replikation erfolgen. Es kann ein offenes Austauschformat für Spektraldaten verwendet werden. Die Daten können als JSON-kompatible Datenstruktur gespeichert werden. Zur Identifikation eines Objekts kann das Mikroskopsystem automatisch Daten von einer internen oder von der zentralen Datenbank 153 abfragen, um einen Vergleich mit von dem Mikroskopsystem erfassten Daten durchzuführen.By way of example, a microscope system can locally store data obtained with a spatially resolved Raman spectroscopy on a specific biological object on the computer and / or via the network to the central database 153 send. Distribution of the data can be done by filtered replication. An open exchange format for spectral data can be used. The data can be saved as a JSON-compatible data structure. To identify an object, the microscope system can automatically retrieve data from an internal or central database 153 to compare with data collected by the microscope system.
19 veranschaulicht eine Prozedur 160, die von dem Mikroskopsystem nach einem Ausführungsbeispiel durchgeführt werden kann. Allgemein kann der Rechner des Mikroskopsystems so ausgestaltet sein, dass die wesentlichen Funktionen für eine Aufbereitung und Verarbeitung der Daten durch entsprechende Verarbeitungsmodule erfolgen kann, die lokal an dem Mikroskopsystem zur Verfügung stehen. Die Verarbeitungsmodule können maßgeschneidert für die jeweilige Datenerfassung, z. B. Raman-Spektroskopie, vorgesehen sein. Insbesondere kann das Mikroskopsystem eingerichtet sein, um mit Raman-Spektroskopie erfasste Daten aufzubereiten und auszuwerten. 19 illustrates a procedure 160 , which can be performed by the microscope system according to an embodiment. In general, the computer of the microscope system can be designed such that the essential functions for processing and processing the data can be effected by corresponding processing modules that are available locally at the microscope system. The processing modules can be customized for the respective data acquisition, e.g. B. Raman spectroscopy, may be provided. In particular, the microscope system can be set up to process and evaluate data acquired with Raman spectroscopy.
Bei Schritt 161 kann eine Datenerfassung erfolgen. Die Datenerfassung kann die Aufnahme von Raman-Spektren an einem oder mehreren Bereichen eines Präparats umfassen. Weiterhin kann die Datenerfassung die Aufnahme von mikroskopischen Bildern umfassen.At step 161 may be a data collection. The data acquisition may include the acquisition of Raman spectra on one or more regions of a preparation. Furthermore, the data acquisition may include the acquisition of microscopic images.
Bei Schritt 162 kann eine Datenexportfunktion ausgeführt werden. Die Datenexportfunktion kann verschiedene Schritte zur Datenvorbereitung für eine statistische Analyse umfassen. Insbesondere kann die Datenexportfunktion eine oder mehrere der folgenden Funktionen bereitstellen:
- (a) Zuschneidefunktion für die Auswahl eines spezifischen Teils eines Gesamtspektrums. Die Ausgestaltung ist variabel für die Auswahl eines spezifischen Spektral-Peaks oder eines Spektralbereiches für die Analyse. Die Zuschneidefunktion wählt einen Wellenlängenbereich des Spektrums aus.
- (b) Eine Funktion für das „Entspiken”, um zufällig auftretendes Signalanteile aus dem Spektrum zu entfernen.
- (c) Eine Funktion zum Subtrahieren eines Hintergrundsignals. Das Hintergrundsignal kann beispielsweise durch Glas oder ein anderes Trägermaterial, durch Wasser oder ein anderes Zellkulturmedium etc. hervorgerufen werden.
- (d) Basislinienkorrekturfunktion für das Angleichen einer fokusabhängigen oder zufälligen Veränderung der Basislinie während einer Messreihe. Dabei kann beispielsweise ein unregelmäßiges Glassignal, das durch die Hintergrundsubtraktion allein nicht vollständig korrigierbar ist (z. B. wegen einer Wellenlängenabhängigkeit des Hintergrundsignals), korrigiert werden. Die Basislinienkorrekturfunktion kann ausgestaltet sein, um eine wellenlängenabhängig veränderliche Korrektur durchzuführen. Die „Basislinie” ist dabei das konstante Signal des Spektrums im Gegensatz zum Raman-Signal, das die Spektralpeaks aufgrund von Raman-Streuung umfasst.
- (e) Datenglättungsfunktion für stark verrauschte Spektren
- (f) Ableitungsfunktion, mit der beispielsweise die Ableitung erster Ordnung oder sowohl die Ableitung erster Ordnung als auch die Ableitung zweiter Ordnung der gewählten Spektren berechnet werden kann. Diese Funktion kann untergrundfreie Datensätze erzeugen und führt zu einer anderen Struktur der Spektren. Die Funktion kann angewandt werden, um detaillierte Peakanalysen vorzunehmen (Zuordnungen von chemischen Bindungen), oder aber um den nicht gewollten Hintergrund zu reduzieren oder zu eliminieren.
At step 162 a data export function can be executed. The data export function may include various data preparation steps for statistical analysis. In particular, the data export function may provide one or more of the following functions: - (a) Crop function for selecting a specific part of an entire spectrum. The design is variable for the selection of a specific spectral peak or spectral range for analysis. The cropping function selects a wavelength range of the spectrum.
- (b) A function for "purging" to remove random signal components from the spectrum.
- (c) A function for subtracting a background signal. The background signal may, for example, be caused by glass or another carrier material, by water or another cell culture medium, etc.
- (d) Baseline correction function for adjusting a focus-dependent or random change of the baseline during a measurement series. In this case, for example, an irregular glass signal which is not completely correctable by the background subtraction alone (for example because of a wavelength dependence of the background signal) can be corrected. The baseline correction function may be configured to perform a wavelength dependent variable correction. The "baseline" is the constant signal of the spectrum in contrast to the Raman signal, which includes the spectral peaks due to Raman scattering.
- (e) Data smoothing function for heavily noisy spectra
- (f) Derivative function with which, for example, the first order derivative or both the first order derivative and the second order derivative of the selected spectra can be calculated. This function can generate sub-free data sets and leads to a different structure of the spectra. The function can be used to perform detailed peak analyzes (assignments of chemical bonds) or to reduce or eliminate unwanted background.
Informationen über die vorgenommenen Funktionen und Parameter können in der Datenbank hinterlegt werden. Beispielsweise können neben den aufbereiteten Daten und/oder Rohdaten auch Parameter all der Funktionen gespeichert werden, die für den Datenexport verwendet wurden, um die Daten beispielsweise für eine statistische Analyse vorzubereiten.Information about the functions and parameters can be stored in the database. For example, in addition to the processed data and / or raw data, parameters of all the functions that were used for the data export can also be stored in order to prepare the data, for example, for a statistical analysis.
Anschließend kann bei Schritt 163 eine qualitative Datenanalyse erfolgen. Alternativ oder zusätzlich kann bei Schritt 164 eine quantitative Datenanalyse erfolgen. Die qualitative und insbesondere die quantitative Analyse kann eine statistische Datenanalyse beinhalten.Subsequently, at step 163 a qualitative data analysis takes place. Alternatively or additionally, at step 164 a quantitative data analysis done. The qualitative and in particular the quantitative analysis may include a statistical data analysis.
Eine qualitative Analyse bei Schritt 163 kann dazu dienen, signifikante Unterschiede in Zell- oder Gewebespektren unterschiedlicher Art zu finden und diese Unterschiede auf das ursprüngliche Spektrum zurückzurechnen. Dies dient dazu, die chemische Information, die diesen Unterschied bedingt, festzustellen. Aussagen können dabei sowohl globale Stoffklassen, wie z. B. Proteine oder DNS sein, wie auch spezifischere Aussagen wie der Nachweis des Gehalts von cRNA in Zellen.A qualitative analysis at step 163 can serve to find significant differences in cell or tissue spectra of different kinds and to re-calculate these differences to the original spectrum. This serves to determine the chemical information that causes this difference. Statements can be both global classes, such. As proteins or DNA, as well as more specific statements such as the detection of the content of cRNA in cells.
Durch eine quantitative Analyse bei Schritt 164 können Aussage und Vorhersage der Zugehörigkeit einer unbekannten Probe zu einer vordefinierten Klasse gemacht werden. Dazu kann eine von der bei Schritt 163 verwendeten Methode unterschiedliche Methode zur Klassifizierung von Proben verwendet werden. Die Klassifizierung kann dabei auf der Berechnung eines Modells, mit dem die Klassenzugehörigkeit festgelegt wird, beruhen. Die Klassifizierung kann auf einem Werkzeug beruhen, um dieses Modell zu verwenden, um unbekannte Proben oder Probengemische vorherzusagen. Das Modell kann dabei aus einem Datensatz oder aus einer Datenbank aus beliebig vielen bekannten Proben generiert sein. Die quantitative Analyse liefert dabei eine eindeutige Aussage über die Klassenzugehörigkeit einer oder mehrerer unbekannter Proben.Through a quantitative analysis at step 164 can be made statement and prediction of the affiliation of an unknown sample to a predefined class. This can be done by the at step 163 method used different method for classification of samples. The classification can be based on the calculation of a model, which determines the class membership. The classification may be based on a tool to use this model to predict unknown samples or sample mixtures. The model can be generated from a data set or from a database of any number of known samples. The quantitative analysis provides a clear statement about the class affiliation of one or more unknown samples.
Die durch Verarbeitung gewonnenen Ergebnisse sowie die Parameter der verschiedenen Funktionen, die auf Daten angewandt wurden, können in der lokalen oder zentralen Datenbank gespeichert werden. Beispielsweise können Parameter gespeichert werden, die Informationen über die Baseline-Korrektur, die Detektion von Spektralpeaks, die Glättung, den Zuschnitt und die Normierung des Spektrums beinhalten. Diese Informationen können für eine weitere Verarbeitung genutzt werden. Beispielsweise können Informationen über eine Normierung eines Raman-Spektrums genutzt werden, um Informationen über absolute Konzentrationen zu ermitteln.The results obtained by processing as well as the parameters of the various functions applied to data can be stored in the local or central database. For example, parameters may be stored that include information about the baseline correction, the detection of spectral peaks, the smoothing, the trimming, and the normalization of the spectrum. This information can be used for further processing. For example, information about a normalization of a Raman spectrum can be used to obtain information about absolute concentrations.
Darüber hinaus können in der Datenbank auch Daten gespeichert werden, die ein erneutes Anfahren eines biologischen Objekts erlauben. Dazu kann ein Träger, auf dem das Präparat angebracht ist, mit Markierungen versehen werden. Die Markierungen können für eine Kalibrierung des Mikroskopsystems zum erneuten Anfahren von bestimmten Objekten verwendet werden, auch wenn der Träger zwischenzeitlich aus dem Mikroskopsystem entnommen wurde.In addition, data can be stored in the database, which allow a re-start of a biological object. For this purpose, a carrier on which the preparation is attached, be provided with markings. The markings can be used for a calibration of the microscope system for restarting certain objects, even if the carrier has meanwhile been removed from the microscope system.
Während die Prozedur 160 unter Bezugnahme auf 19 so erläutert wurde, dass eine Datenexportfunktion vorgesehen ist, kann die Datenexportfunktion auch entfallen. Eine qualitative und/oder quantitative Analyse der Daten kann auf demselben Rechner erfolgen, mit dem die Datenerfassung durchgeführt wurde, auch wenn keine Datenexportfunktion verwendet wird.During the procedure 160 with reference to 19 has been explained that a data export function is provided, the data export function can also be omitted. A qualitative and / or quantitative analysis of the data can be done on the same computer with which the data collection was performed, even if no data export function is used.
20 zeigt schematisch einen Träger 170, auf dem ein Präparat 171 angeordnet ist. Für mehrere biologische Objekte 172, 173 kann eine Datenerfassung und – verarbeitung mit den hier beschriebenen Methoden ausgeführt werden. Die entsprechenden Daten können in einer Datenbank hinterlegt werden. Um ein erneutes Anfahren der biologischen Objekte 172, 173 für eine weitere Datenerfassung zu einem späteren Zeitpunkt zu erlauben, können auch Informationen über die Position der biologischen Objekte 172, 173 hinterlegt werden. Diese Informationen können von der Steuereinrichtung des Mikroskopsystems abgefragt und zum erneuten Anfahren verwendet werden. 20 schematically shows a carrier 170 on which a preparation 171 is arranged. For several biological objects 172 . 173 Data collection and processing can be carried out using the methods described here. The corresponding data can be stored in a database. To restart the biological objects 172 . 173 For further data collection at a later date, information may also be provided on the location of the biological objects 172 . 173 be deposited. This information can be queried by the control device of the microscope system and used for restarting.
Für eine Kalibrierung der Positionsbestimmung, die zum erneuten Anfahren von Objekten verwendet wird, können Markierungen 175, 177 an dem Träger 170 vorhanden sein. Die Markierungen 175, 177 können von dem Mikroskopsystem 1 erzeugt werden. Es können mindestens zwei Markierungen an voneinander beabstandeten Bereichen des Trägers 170 vorhanden sein. Beispielsweise kann mit einem Laserstrahl eine Markierung 175, 177 in ein Material 174, 176 an dem Träger 170 gebrannt werden. Das Material 174, 176 kann so gewählt sein, dass es aufgrund der von dem Laserstrahl eingestrahlten Leistung eine lokale Veränderung vollzieht, die später anhand optischer und/oder spektraler Eigenschaften von dem Mikroskopsystem 1 wieder erkannt werden kann. So kann eine Positionskalibrierung selbst dann vorgenommen werden, wenn der Träger 170 zwischenzeitlich aus dem Mikroskopsystem entnommen wurde.You can use markers to calibrate the position that is used to re-start objects 175 . 177 on the carrier 170 to be available. The marks 175 . 177 can from the microscope system 1 be generated. There may be at least two marks on spaced areas of the carrier 170 to be available. For example, with a laser beam, a mark 175 . 177 in a material 174 . 176 on the carrier 170 be burned. The material 174 . 176 can be chosen so that it undergoes a local change due to the radiated power from the laser beam, which later on the basis of optical and / or spectral properties of the microscope system 1 can be recognized again. Thus, a position calibration can be made even if the wearer 170 was taken from the microscope system in the meantime.
Während Ausführungsbeispiele unter Bezugnahme auf die Figuren beschrieben wurden, können Abwandlungen bei weiteren Ausführungsbeispielen realisiert sein. Beispielsweise können die Mikroskopsysteme und Verfahren nicht nur zur Erfassung der Morphologie eines Präparats eingesetzt werden, sondern auch zur Erfassung weiterer Größen, wie ortsaufgelöster Raman-Spektren. Mikroskopsysteme können weitere Funktionseinheiten umfassen, beispielsweise eine Einrichtung zur Erzeugung eines Reizes, der auf das Präparat oder einen Teil des Präparats wirkt. Die optische Ausgabeeinrichtung kann nicht nur als Bildschirm ausgestaltet sein, sondern auch einen Projektor und/oder ein Headset umfassen, um eine Navigation auf dem Präparat zu erleichtern.While embodiments have been described with reference to the figures, variations may be realized in other embodiments. For example, the microscope systems and methods can be used not only to detect the morphology of a preparation, but also to capture other variables, such as spatially resolved Raman spectra. Microscope systems may comprise further functional units, for example a device for generating a stimulus, which acts on the preparation or a part of the preparation. The optical output device may not only be configured as a screen, but also include a projector and / or a headset to facilitate navigation on the specimen.
Bei allen beschriebenen Ausführungsbeispielen kann ein Raman-Bild, in dem Raman-Daten ortsaufgelöst dargestellt sind, einem mit dem Mikroskopsystem erfassten mikroskopischen Bild überlagert werden. Das Raman-Bild kann einem in dem ersten Abschnitt dargestellten Live-Bild überlagert werden. Das Raman-Bild kann der Navigationsansicht überlagert werden. Das Raman-Bild kann in einer Falschfarbendarstellung in dem ersten Abschnitt und/oder der Navigationsansicht dargestellt werden.In all of the described embodiments, a Raman image in which Raman data is shown spatially resolved may be superimposed on a microscopic image acquired by the microscope system. The Raman image may be superimposed on a live image displayed in the first section. The Raman image can be superimposed on the navigation view. The Raman image may be displayed in a false color representation in the first section and / or the navigation view.
Mikroskopsysteme und Verfahren nach Ausführungsbeispielen können insbesondere zur Untersuchung biologischer Präparate eingesetzt werden, ohne darauf beschränkt zu sein.Microscope systems and methods according to embodiments can be used in particular for the examination of biological preparations, without being limited thereto.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
-
US 7756357 [0004] US 7756357 [0004]
